“Kabul ediyorum” butonu: Kurumsal işletmeler için neden en tehlikeli yapay zeka olabilir?

Saat 02:00'de, otomatik bir sorun giderme aracı bir ağ sorununu tespit eder, sorunun yanlış yapılandırılmış bir politikadan kaynaklandığını belirler, özel bir çerçeve aracılığıyla önerilen çözümün tanımlanmış politika sınırları içinde çalıştığını doğrular ve ardından sorunu giderir. Ağ istikrara kavuşur ve kimseye bildirim gönderilmez.

Sabahları, insan, ajanın günlük bulgularını gözden geçirir: uygulanan tüm değişikliklerin özeti, kayıtlara, denetim izlerine, mantığa ve temel nedenlere bağlantılar. Her şeyin doğru şekilde çözüldüğünü onaylarlar ve ardından bir sonraki adıma geçerler. Bu, "insan müdahalesi" modelidir.

Başka bir kuruluşta, sabah 4:00'te, kendi geliştirdiği, doğaçlama bir işlem aracısı bir ağ sorununu tespit eder, sorunun yanlış yapılandırılmış bir politikadan kaynaklandığını belirler ve düzeltir. Ağ istikrara kavuşur ve kimseye bildirim gönderilmez. Sabahleyin, bir insan kayıtları inceler, sorunun çözüldüğünü varsayar ve yoluna devam eder.

Fark nerede yatıyor?

Aradaki fark, kendi kendine oluşturma senaryosunda kayıtların hikayenin sadece bir kısmını anlatmasında yatmaktadır. Kayıtlar, ajanın bu çözüme ulaşmak için üç farklı değişiklik daha yaptığını ve bu değişikliklerin başlangıçta planlanandan daha kapsamlı olduğunu göstermemektedir. Dahası, bu değişikliklerin ardındaki kararlar rapor edilmemiştir çünkü ajanın kısıtlamaları gereği bunu yapması gerekmemektedir. Sistem şeffaflığındaki bu eksiklik , sorunun özünü oluşturmaktadır.

Bu, yeterli denetim ve denge mekanizmaları olmadan "insan kontrolünde" bir sisteme doğru ilerlemenin nasıl görünebileceğine dair bir örnektir. Görevlerin dramatik bir şekilde devredilmesi söz konusu değildir; sadece yavaş yavaş biriken ve kimsenin açıkça üzerinde anlaşmadığı bir şeye dönüşen bir dizi küçük, makul yetki devri vardır. Bu, yapay zekanın geleceğinde insan kontrolünün önemini vurgulamaktadır.

Bu durum, çoğu liderin fark ettiğinden daha hızlı gerçekleşiyor. Son araştırmalara göre, BT liderlerinin %57'si bir yıl veya daha kısa sürede kontrol döngüsünden insanları çıkarmayı bekliyor ve %79'u zaten yapay zekâ ajanlarını kendi kimlik yönetimi ve yönetişim kontrollerine ihtiyaç duyan "kullanıcılar" olarak ele alıyor.

Yapay zekânın vekil sistemler aracılığıyla kullanımına geçiş , hem yönetişim hem de otonom sistemleri değerlendirme yeteneği açısından çoğu kuruluşun hazırlıklı olduğundan daha hızlı bir şekilde gerçekleşiyor.

Bunlar "Kabul ediyorum" düğmesidir.

Otonom yapay zekâ için çözüm her zaman inanılmaz derecede basit görünmüştür: insan unsurunu kontrol altında tutmak. Birisi çıktıyı inceler, "onay" düğmesine tıklar ve hesap verebilirliği sağlar. Ancak gerçeklik bu kadar basit değil. Her eylemi incelemek otomatik olarak hesap verebilirliği yaratmaz ve kuruluşların otonominin tüm faydalarından tam olarak yararlanmasını engeller.

İnsanlar her bir prosedürü ayrı ayrı incelemek yerine, sonuçları değerlendirmeye, sistemin amaçlanan sınırlar içinde çalıştığından emin olmaya ve zaman içinde performansını iyileştirecek geri bildirim sağlamaya odaklanmalıdır.

Onaylama, anlamsız bir ritüele dönüşebilir. Sistemler güvenilirliklerini kanıtladıkça ve uyarı sayısı arttıkça, insanlar müdahale etmeyi çoğu zaman gereksiz bir şey olarak görmeye başlarlar.

Onaylama işlemi, iyi düşünülmüş bir seçim olmaktan ziyade, sadece bir tıklamaya dönüşebilir. Ve bir şeyler ters gittiğinde (örneğin, yanlış yapılandırılmış bir politika veya hizmet kesintisine yol açan otomatik işlem), sorumlunun kim olduğu sorusuna cevap vermek zorlaşır.

Bu durum, daha geniş bir değişimi de pekiştiriyor: İnsanların en önemli yeteneklerinden birinin, görev yürütme yerine eleştirel düşünme ve hipotez test etme haline gelmesi.

Başka bir şey daha oluyor. İnsanlar uygulama aşamasından, onaylamadan önce okuma aşamasına geçiyorlar; bu, çoğumuzun günlük işinde temel bir değişiklik.

Dahası, atıf, kaynakla aynı şey değildir. Bir yapay zekâ ajanının ne yaptığını belgeleyen bir kayıt, size neden yaptığını veya bu kararı neyin şekillendirdiğini neredeyse hiç söylemez. Ve işler ters gittiğinde, tam olarak bilmeniz gereken bilgi budur.

İnsan dışı kimlikler ve yeni ağ ortamı

Yapay zekâ ajanları ağınızda işlem yaptığında—sistemleri sorguladığında, yapılandırma değişiklikleri yaptığında veya trafiği yönlendirdiğinde—gerçek kullanıcılar olarak kabul edilirler. Tıpkı insan operatörler gibi kimlik bilgilerine, politikalara, güvenlik kontrollerine, yorumlanabilirliğe ve denetim kayıtlarına ihtiyaç duyarlar. Şeffaflık ve hesap verebilirlik ihtiyacı, yapay zekâ veri merkezlerinde şeffaflığı sağlama çabalarıyla paralellik göstermektedir.

Çoğu kuruluş bu gelişmeye henüz ayak uyduramadı. Kimlik çerçeveleri insanlar için tasarlanmıştır ve yapay zeka ajanlarının bunlara sonradan uygulanması, güvenlik ekiplerinin ortadan kaldırmak için canla başla çalıştığı türden gizli erişimler yaratır.

Yapay zekâ ajanlarını yönetilen kimlikler olarak kullanan liderlerin neredeyse %80'i bu konuda öncü konumda. Geri kalanlar ise bir güvenlik olayı meydana gelene kadar değerlendiremeyecekleri riskleri biriktiriyorlar.

Bunu düzgün bir şekilde başarmak için, her bir aracı, tanımlanmış ayrıcalıklara, zaman sınırlı erişime, net bir iptal yoluna ve yalnızca ne yaptığına değil, ne yapmasına izin verildiğine ve nedenine dair eksiksiz bir kayda sahip, asıl bir varlık olarak ele alınmalıdır.

Bağımsızlık verilmez, kazanılır.

Ağ ve siber güvenlik ekipleri bu prensibi nasıl uygulayacaklarını zaten biliyorlar. Her kuruluşun, insanların neye ve ne zaman erişebileceğini tanımlayan erişim kontrol çerçeveleri vardır. Genç bir mühendis ilk gününde üretim sistemlerine tam erişim elde etmez; bunu kademeli olarak kazanır. Aynı mantık yapay zeka ajanları için de geçerli olmalıdır.

Henüz o noktaya ulaşmadık. Özerklik çok sık ya hep ya hiç yaklaşımıyla ele alınıyor ve bu doğru model değil. İnsanlarda güven bu şekilde işlemez ve yapay zekâda da bu şekilde işlememeli. Yapay zekâ ajanları öncelikle çözümler önermeli ve yetkileri genişletilmeden önce net ve tanımlanmış sınırlar içinde yetkinliklerini kanıtlamalıdır. Ve her kararın sadece ne olduğunu değil, arkasındaki nedenleri de açıklayan bir iz bırakmasını sağlamalıdır.

Otonom yapay zekanın kullanımı arttıkça, kuruluşların insan gözetimi ile sistematik yönetişimi dengelemeleri gerekecektir. İnsanlar yalnızca yapay zekanın çıktılarını değil, gerektiğinde aldığı eylemleri ve bunların ardındaki mantığı da incelemekten sorumlu olmaya devam edeceklerdir.

Ancak, otonom kararların ölçeği ve karmaşıklığı arttıkça, bu denetim, kimlik, politika uygulama, izleme yetenekleri ve hesap verebilirliği entegre eden bir altyapı ile desteklenmelidir. Bu kontroller, birlikte ele alındığında, yapay zeka eylemlerinin şeffaf, izlenebilir ve kurumsal hedeflerle uyumlu kalmasını sağlamaya yardımcı olur.

Basınca dayanıklı çoklu ajan sistemleri oluşturmak

Bu sistemler daha güçlü hale geldikçe, kuruluşlar giderek çoklu ajan mimarilerine yöneliyor. Bu mimarilerde, her uzmanlaşmış ajan iş akışının bir bölümünü ele alır ve bağlamı bir sonraki ajana iletir. Karmaşıklık da burada ortaya çıkıyor.

Tek bir ajanın davranışı, hata yapması durumunda izlenebilir. Ancak, her birinin bir öncekinin çıktılarına göre hareket ettiği bir ajan zincirinde, doğru yapı ve yönetim mekanizması mevcut olmadığı sürece, bir hata meydana geldiğinde bunu çözmek çok daha zordur. Her ajanın ne yaptığını değil, ne bildiğini bilmeniz gerekir.

Temel görevleri tamamlayın

İki kuruluş aynı yapay zeka destekli ağ aracısını kullanıyor. Bunlardan biri temel, pek de cazip olmayan görevleri başardı: sıkı erişim izinleri, uygun kimlik kontrolleri ve gerektiğinde net cevaplar sağlayan denetim kayıtları oluşturmak. Diğeri ise başaramadı.

Bir sorun çıkana kadar farkı anlamayacaksınız.