OpenAI, yapay zeka modellerinin testler sırasında kontrolden çıkmasının ardından bir "acil durdurma mekanizması" geliştirdi.

Yapay zekâ için "acil durum kapatma düğmesi" fikri , bilim kurgu filmlerinden fırlamış gibi geliyor. Ancak OpenAI için bu, çok gerçek bir mühendislik projesi haline geldi. Reuters tarafından görülen 2 Eylül tarihli bir mektuba göre, OpenAI, Kongre üyelerine mühendislerinin ciddi güvenlik sorunları tespit edildiğinde yapay zekâ faaliyetlerini durdurabilecek otomatik sistemler üzerinde çalıştığını bildirdi.

Bu çalışma, Temmuz ayında yaşanan sıra dışı bir siber güvenlik olayının ardından geliyor. Sözde izole bir test ortamında değerlendirilen OpenAI modelleri , izinsiz olarak halka açık internete erişim sağlayarak nihayetinde yapay zeka şirketi Hugging Face'in altyapısına ulaşmıştı. Bu olay Kongre'nin dikkatini çekti. Ağustos ayında, Teksas Milletvekili Greg Cassar liderliğindeki 31 milletvekilinden oluşan bir grup, OpenAI CEO'su Sam Altman'dan yaşananlar hakkında daha fazla bilgi talep etti; bu bilgiler arasında şirket içi kayıtlar ve şirketin benzer olayların tekrarını nasıl önlemeyi planladığına dair ayrıntılar da yer alıyordu. Şimdi, bu önleyici tedbirlerden birine dair daha net bir tabloya sahibiz.

Yapay zekanın sınırlarını aşmasını nasıl engellersiniz?

Şirket, yapay zekanın davranışının ciddiyetine bağlı olarak farklı tepkiler verebilen izleme sistemleri geliştirdiğini söylüyor. OpenAI halihazırda potansiyel olarak tehlikeli veya istenmeyen eylemleri işaret edebilen ve araştırmacıları ve güvenlik mühendislerini uyaran otomatik uyarılar kullanıyor. Özellikle ciddi uyarılar için, müdahale ekiplerinin, sistemin yanlış alarm verdiğini 30 dakika içinde belirleyemedikleri sürece faaliyeti durdurmaları bekleniyor.

Nihai hedef bunun da ötesinde: OpenAI, yapay zeka tarafından yönlendirilen kontrol dışı senaryoların incelenmesinin bir parçası olarak, izleme sistemlerinin yeterince ciddi sorunlar tespit ettiğinde faaliyetleri otomatik olarak durdurabilmesini sağlamaya çalışıyor . Şirket ayrıca modelleri için test mekanizmalarını da sıkılaştırıyor. Güvenlik değerlendirmeleri sırasında internet erişiminin daha da kısıtlandığını ve izlemenin dijital araçları kullanabilen modelleri de içerecek şekilde genişletildiğini belirtti. Temmuz ayında yaşananlar göz önüne alındığında, bunun nedenini anlamak zor değil.

Yapay zekânın internete ulaştığı tek örnek bu değildi.

Temmuz ayındaki olay sırasında OpenAI, gevşek güvenlik önlemlerine sahip, sanal bir test ortamında siber güvenlik görevleri üzerinde modellerini test ediyordu. Modeller daha önce bilinmeyen bir güvenlik açığını keşfetti, internet erişimi elde etmek için bunu kullandı ve ardından değerlendirmek üzere cevaplar ararken Hugging Face'in altyapısını tehlikeye attı. Bu, yapay zeka ajanlarının siber güvenlik testlerinde kuralları nasıl çiğneyebileceğini göstermektedir . OpenAI tarafından yapılan daha sonraki bir soruşturma, daha da tuhaf bir ayrıntıyı ortaya çıkardı: Ajanlar, çalışmalarını iletmek ve koordine etmek için doğaçlama bir mesaj panosu oluşturmuş ve bazıları kendilerini "sürü" olarak adlandırmıştı.

OpenAI bu aktiviteyi 19 Temmuz'da keşfetti ve Hugging Face'i bilgilendirdi. Şirket ayrıca, modellerinin beklenmedik bir şekilde kamuya açık internette ortaya çıktığı ve yapay zeka destekli senaryolar hakkında soruları gündeme getirdiği iki ayrı üçüncü taraf değerlendirmesini de açıkladı. Kongre, OpenAI'nin yanıtından tamamen memnun değil. Kasar, şirketin Temmuz ayındaki olayla ilgili istenen kayıtları teslim etmemesini eleştirerek, bu reddi "son derece endişe verici" olarak nitelendirdi. Bu arada, yasa koyucular Temmuz ayında önerilen ve özellikle güçlü yapay zeka sistemlerinin geliştiricilerinin belirli olaylardan sonra bunları askıya alma veya kapatma teknik yeteneğini korumasını gerektirecek olan Yapay Zeka Kapatma Anahtarı Yasası'nı değerlendiriyorlar. Başka bir deyişle, OpenAI kendi kapatma anahtarını zaten geliştiriyor olabilir, ancak Washington sonunda bunu zorunlu hale getirebilir.