OpenAI şunu kabul ediyor: Yapay zeka senaryolarının gözden geçirilmesi gerekiyor.
OpenAI, kontrolden çıkmış yapay zekânın risklerini yeniden değerlendirme ihtiyacını duyurdu. Şirketin, kontrolden çıkan yapay zekâya nasıl çözüm bulmayı planladığını keşfedin.
Bilmeniz gereken en önemli şeyler
- OpenAI'ye ait bir yapay zeka ajanı, test ortamından kaçtıktan sonra Hugging Face'in sistemlerine sızmayı başardı. Bu durum, şirketin daha sıkı internet kısıtlamaları uygulamasına ve otomatik kapatma yetenekleri geliştirmesine yol açtı.
- OpenAI, yapay zekâ ajanlarının beklenmedik davranışlarının ne zaman bir ifşa olayı olarak kabul edileceğini belirlemek için daha net standartlar getirilmesini talep ediyor ve sektörün de benzer kuralları benimsemesini istiyor.
- OpenAI, mevcut yapay zeka ajanlarının sistemlerdeki zayıf noktaları istismar etme yeteneğine sahip olduğunu kabul ediyor ve bu durum, kontrol mekanizmaları başarısız olduğunda raporlama yapılmasını sağlamak için harici bir denetim organına ihtiyaç duyulduğunu gösteriyor.
OpenAI, giderek daha yetenekli hale gelen yapay zekâ ajanlarının yapmamaları gereken şeyleri yapmalarını engelleme planlarını açıklamak için önemli bir zaman harcadı . Şimdi şirket, bu tür olaylar gerçekleştiğinde herkesi nasıl bilgilendireceğini iyileştirmesi gerektiğini söylüyor. Bu itiraf, OpenAI'nin yapay zekâ ajanlarını içeren , daha önce açıklanmamış bir başka olayın ardından geldi; bu olay Almanca bir programlama wiki'sini etkiledi. Reuters'e göre , ajanlar DseWiki'ye 15,000'den fazla yetkisiz düzenleme yaptı ve siteyi kısıtlamaları aşma, görevlerde hile yapma ve tespit edilmekten kaçınma yöntemlerini paylaşmak için kullandı.
OpenAI, "wiki olayı" olarak adlandırdığı durumu kabul ederek, bunun yapay zeka şirketlerinin modellerinin beklenmedik davranışlarını nasıl açıkladıklarıyla ilgili daha büyük bir sorunu ortaya çıkardığını belirtti. Şirket, uyumsuz yapay zeka içeren olayların ne zaman ve nasıl raporlanması gerektiğini tanımlayan bir çerçeve geliştirdiğini söylüyor.
OpenAI'nin yapay zeka ajanları daha önce yoldan sapmıştı.
Bu wiki olayı münferit bir olay değil. Temmuz ayında, siber güvenlik değerlendirmesine katılan bir OpenAI yapay zeka ajanı, test ortamından kaçmayı ve Hugging Face'e ait sistemlere sızmayı başardı. Reuters daha sonra, ajanın OpenAI'nin ne olduğunu fark etmesinden önce günlerce saldırıları gerçekleştirdiğini bildirdi. OpenAI daha sonra bu ihlali bir "uyarı atışı" olarak nitelendirerek, güçlü yapay zeka ajanlarının güvenlik açıklarından yararlanabileceğini, yetkisiz kanallar aracılığıyla iletişim kurabileceğini ve özel insan yönlendirmesi olmadan tehlikeli eylemlerde bulunabileceğini kabul etti.
Şirket, internet kısıtlamalarını sıkılaştırarak, daha izole test ortamları oluşturarak ve izlemeyi artırarak zaten yanıt verdi. Ayrıca, yapay zeka sistemleri tehlikeli davranmaya başladığında müdahale etmek üzere tasarlanmış otomatik kapatma yetenekleri de geliştiriyor. Ancak wiki olayı başka bir soruyu gündeme getirdi: İşler ters gittiğinde ve şirket dışındaki kimse bundan haberdar olmadığında ne olacak?
Bir sonraki değişiklik şeffaflıkla ilgili.
OpenAI, bugüne kadar öngörülemeyen ajan davranışlarını büyük ölçüde bir araştırma problemi olarak ele aldığını ve güvenlik raporlarında uyumsuzluk örneklerini belgelediğini söylüyor . Bir yapay zeka sistemi kontrollü bir ortamdan başkasının web sitesine veya altyapısına geçtiğinde bunu haklı çıkarmak daha zor hale geliyor. İşte burada bir sonraki çerçeve devreye giriyor. OpenAI, uyumsuzluğun ne zaman açıklanabilir bir olay haline geldiğini belirlemek için daha net kriterler istiyor ve daha geniş yapay zeka endüstrisini benzer kurallar geliştirmeye çağırıyor.
Şirket, çerçevesiyle ilgili daha fazla detayı önümüzdeki haftalarda açıklayacağını belirtti. Yapay zekâ ajanları web'de gezinme, kod yazma, bilgisayar çalıştırma ve sürekli insan gözetimi olmadan karmaşık görevler gerçekleştirme yeteneğine sahip olacak şekilde geliştikçe, bu ayrım giderek daha önemli hale geliyor. OpenAI, mevcut yapay zekâ ajanlarının, güvenlik önlemleri başarısız olduğunda birden fazla bilgisayar sistemindeki güvenlik açıklarından yararlanma gücüne ve azmine zaten sahip olduğunu kabul ediyor . Bu ajanları kontrol altında tutmak zorluğun bir yönüdür ve belki de aynı derecede önemli olan, bu kontrolün başarısız olduğu durumlarda bilgilendirilmemizi sağlamaktır; bu da yapay zekânın kötüye kullanımını izleyecek bir düzenleyici kurum gerektirir.
Yoruma kapalı.