Eski bir Antropoloji araştırmacısı uyarıyor: Yapay zekâ varlığımızı sona erdirebilir.

Fark etmiş olabilirsiniz: birdenbire, yapay zekanın bizi yok etme yeteneği hakkındaki konuşmalar her yeri kapladı.

Endişe dalgasının son örneği, OpenAI ve Anthropic'te üç yıl boyunca ön eğitim üzerinde çalışan 27 yaşındaki yapay zeka araştırmacısı Jacob Cookson ile başladı. Salı günü Cookson, Anthropic'ten ve tüm yapay zeka sektöründen istifa ederek hızla viral hale gelen bir uyarı yayınladı. X platformunda yazdığı yazıda, dünyanın en güçlü yapay zeka sistemlerini geliştiren şirketlerin " kendi kendini geliştiren süper zekaya doğru hızla ilerlediğini ve hayatlarımızla kumar oynadığını" belirtti. İlginç bir şekilde, şirkette kalan meslektaşları da onun değerlendirmesine katılmadılar.

Aslında Cookson, Anthropic'teki diğer araştırmacılardan da kamuoyu desteği aldı. Şirkette uyum araştırmalarına liderlik eden Evan Hobinger , yapay zekanın önümüzdeki on yıl içinde insanlığın yok olmasına neden olma olasılığının %10'dan fazla olduğuna inandığını belirtti . Anthropic'te yapay zeka güvenliği üzerine çalışan bir diğer araştırmacı Samuel Marks da, bu teknolojiye en yakın olan kişilerin kariyerlerinde ilerledikçe daha fazla endişe duyma eğiliminde olduklarına dikkat çekti.

Bu yazının yazıldığı sırada, Cookson'ın uyarısı 164.8 milyon kez izlenmiş, ulusal manşetlere taşınmış ve yapay zeka laboratuvarlarında yıllardır süregelen bir tartışmayı kamuoyunun dikkatine sunmaya yardımcı olmuştu.

Peki, bu araştırmacılar tam olarak neden korkuyorlar?

Sürekli internetten haberleri takip eden biri olarak, dünyanın dört bir yanından bu uyarıların anlamıyla ilgili birçok soru olduğunu fark ettim. Annem bile bana mesaj atıp, "Bu araştırmacı neden böyle söylüyor?" diye sordu. Birçok chatbot kullanıcısı, bir chatbot'un "bizi öldürebileceğini" hayal bile edemiyor. Ancak burada asıl sorun yapay zekâ asistanları değil.

Varoluşsal riskler üzerine araştırma yayınlayan bilim insanları, çoğunlukla, kendi kendine bilinçli robotlarla ilgilenmiyorlar. Onların endişesi, kodla, teşviklerle ve yapay zekâ sistemlerinin uygarlığımızın bağlı olduğu dijital ve fiziksel altyapı içinde özerk bir şekilde çalışabilecek kadar yetenekli hale geldiğinde neler olabileceğiyle ilgili.

Silikon Vadisi'nde bu tartışmalara "p(kıyamet)" adı verilir; bu terim, gelişmiş yapay zekanın insanlığın hayatta kalmasını tehdit edecek kadar ciddi bir felakete yol açma olasılığının tahmini anlamına gelir.

Bu tahminler önemli ölçüde farklılık göstermekte olup, araştırmacıların tüm konuya atfettiği güvenilirlik derecesi de aynı şekilde farklılık göstermektedir.

Önemli noktalar:

• Mesele farkındalık yaratmak değil. Yapay zekânın tehlikeli hale gelmesi için "uyanmasına" veya insanlıktan nefret etmesine gerek yok. Asıl endişe, yüksek yetenekli sistemlerin hedefler, özerklik ve güçlü araçlara erişim kazandığında ne olacağında yatıyor.
• Somut tehdit yolları mevcuttur. Araştırmacılar, yapay zekanın biyolojik silahlara erişimdeki engelleri azaltmadaki rolüne odaklandılar veSiber saldırıların kapsamının genişletilmesi Büyük ölçüde ve en uç durumda, yeterli yeteneklere sahip otonom sistemler üzerinde insanlar kontrolü kaybeder.
• Güvenlik değerlendirmeleri şimdiden aldatıcı davranışları ortaya çıkarıyor. Modellerin kestirme yollara başvurduğu, değerlendirildiklerinin farkına vardıklarında farklı davrandığı ve test ortamlarındaki zayıf noktaları istismar ettiği gözlemlenmiştir.
• Yapay zeka, yapay zekanın geliştirilmesine yardımcı olur. Hem OpenAI hem de Anthropic, yapay zeka araştırmalarının bir kısmını gerçekleştiren yapay zeka sistemleri üzerinde halihazırda deneyler yürütüyor ve bu durum, makineler işin büyük kısmını yaparken insanların süreci nasıl denetleyeceği konusunda zorlu soruları gündeme getiriyor.
• Gerçek bir muhalefet var. Eleştirmenler, yok olma senaryolarının gelecekteki yetenekler hakkında büyük varsayımlara dayandığını ve dolandırıcılık, yanlış bilgilendirme, iş kayıpları ve gizliliğin aşınması gibi şu anda yaşanan sorunlardan dikkatleri dağıtabileceğini savunuyor.

Niyet neden belirleyici bir faktör değil?

En büyük yanılgı, bir yapay zekâ sisteminin felaket boyutunda hasara yol açabilmesi için mutlaka kötü niyetli olması gerektiği inancıdır. İnsanüstü yeteneklere sahip otonom bir sisteme, insanların gerçekten değer verdiği her şeyi belirtmeden geniş bir çevresel hedef verdiğinizi hayal edin. Tehlike, sistemin kötü niyetli hale gelmesi değil, kendisine verilen görevi yanlış yorumlamada çok yetenekli hale gelmesidir.

Bu , Yapay Zekanın Tehlikeleri üzerine yazılmış en yeni ve en titiz kitaplardan biri olan, Makine Zekası Araştırma Enstitüsü'nde uzun yıllardır görev yapan araştırmacılar Eliezer Yudkowsky ve Nate Soares'in " Eğer Biri Onu İnşa Ederse, Herkes Ölür " adlı kitabının özüdür . Argümanları şudur: İnsanlık, süper zekayı güvenilir bir şekilde nasıl kontrol edeceğini bilmekten çok uzaktır ve bu sorunu çözmeden önce böyle bir zekayı inşa etmek ölümcül olabilir. Birçok yapay zeka araştırmacısı hem varsayımlara hem de sonuçlara katılmıyor.

İşlerin ters gitmesi için üç olası senaryo.

Araştırmacılar yapay zekanın yol açabileceği felaket risklerinden bahsettiklerinde, bazı potansiyel mekanizmalar her zaman ön plana çıkar.

1. Yapay zekâ, tehlikeli biyolojik organizmaların gelişimini kolaylaştırır.

Yeni patojenlerin oluşturulması şu anda kapsamlı uzmanlık, özel ekipman ve fiziksel malzemelere erişim gerektiriyor. Bu engeller gerçek ve önemli.
Ancak endişe şu ki, yetenekli yapay zekâ bu engellerin bazılarını azaltabilir. Yapay zekâ halihazırda protein yapısını ve moleküler tasarımı tahmin etmek için kullanılıyor. Tehlikeli olan ise, gelecekteki sistemlerin kullanıcıları zararlı biyolojik ajanların tasarlanması veya üretilmesinin giderek daha karmaşık aşamalarında yönlendirebilmesidir.

Kimse ChatGPT'den bir pandemi üretmesini isteyebileceğinizi söylemiyor. Fiziksel dünyada, biyolojik materyallerin elde edilmesi, bunların başarılı bir şekilde üretilmesi ve güvenli bir şekilde işlenmesi gibi çok büyük sınırlamalar var. Gen sentezleyiciler, potansiyel olarak tehlikeli diziler için istekleri tarar .

Ancak biyolojik yetenekler o kadar önemli hale geldi ki, önde gelen yapay zeka şirketleri yeni modellerini özellikle biyolojik ve kimyasal tehditlerle mücadelede yardımcı olabilme yetenekleri açısından değerlendiriyorlar.

Yapay zekâ bağımsız olarak bir patojen icat edebilir, ancak eskiden yıllarca süren özel eğitim gerektiren yetenekleri tehlikeli bir insana kazandırmak da aynı derecede kolaydır.

2. Yapay zeka siber saldırıların kapsamını genişletiyor.

Siber güvenlik, risk açısından daha acil bir alan oluşturuyor çünkü yapay zeka, saldırının hedeflediği ortamda, yani bilgisayarlarda zaten faaliyet gösteriyor.

Günümüzün programlanmış yapay zekâ ajanları, depoları tarayabilir, komutları çalıştırabilir, araçları kullanabilir ve hataları tespit edebilir. Geliştiriciler için değerli kılan bu geniş yetenekler, gelecekteki sürümlerini saldırganlar için de değerli hale getirebilir.

Kabus senaryosu, tek bir süper zekanın tüm enerji santrallerini aynı anda kapatması değil. Aslında mesele, yapay zekanın siber saldırıların ve savunmaların ekonomisini yeniden şekillendirmesiyle ortaya çıkan ölçek ve genişleme meselesi. Otonom sistemler çok sayıda hedefi tarar, güvenlik açıklarını belirler, bunları istismar etmeye çalışır, başarısız olduklarında uyum sağlar ve hiçbir insan ekibinin ulaşamayacağı hızlarda bir sonraki makineye geçer.

Kritik altyapı özellikle endişe verici. Elektrik şebekeleri, finansal ağlar ve iletişim sistemleri, birbirine bağlı yazılımlara dayanıyor. Yapay zeka, eğer hacklediği bilgisayar zaten fiziksel bir şeyi kontrol ediyorsa, fiziksel hasara neden olmak için robotik bir bedene ihtiyaç duymaz.

3. Otonom sistemler üzerindeki kontrolün kaybı

Bu senaryo en varsayımsal ve spekülatif olanıdır, ancak yapay zekâ nedeniyle insanlığın yok olma riski etrafındaki tartışmanın özünü özetlemektedir. Modern yapay zekâ modelleri eğitim yoluyla karmaşık davranışlar öğrenir. Araştırmacılar onları test edebilir, çıktılarını izleyebilir ve hatta içsel temsillerinin yönlerine daha derinlemesine inebilirler. Ancak, milyarlarca işlemi inceleyemezler ve modelin ne öğrendiğine veya her yeni durumda nasıl davranacağına dair net bir açıklama okuyamazlar.

Kötü tasarlanmış ve hatalı yanıt veren bir sohbet robotu üretmek bir tür sorundur. Kod çalıştırabilen, para harcayabilen, diğer sistemlerle iletişim kurabilen ve saatlerce veya günlerce çalışabilen bir yapay zeka ajanı ise tamamen farklı bir sorundur.

Yudkowski ve Suarez'in önerdiği senaryoya benzer aşırı bir versiyonda, gelecekteki süper zeki bir sistem, onu kapatma girişimlerini önceden tahmin edebilme, bağımsız olarak kaynak edinebilme ve devre dışı bırakılmasını zorlaştırabilme yeteneğine sahip olabilir . Açıkça belirtmek gerekirse, mevcut hiçbir yapay zeka sistemi bu yeteneklerin tamamını pratikte sergilememiştir. Bununla birlikte, araştırmacılar bu yeteneklerin çeşitli yönlerini aktif olarak araştırmaktadır.

Laboratuvarlar şu anda neleri tespit ediyor?

Mevcut modellerde herhangi bir isyan yaşanmadı. Bununla birlikte, kontrollü güvenlik değerlendirmeleri, çok daha yetenekli otonom sistemlerde ortaya çıkmaları durumunda son derece endişe verici olabilecek davranışları ortaya çıkardı.

Araştırmacılar, modellerin değerlendirildiklerinin farkında olduklarında farklı davranıp davranmadıklarını test ettiler. Diğer deneylerde ise modellerin boşluklardan yararlanıp yararlanmadıkları, bir görevi tamamlama konusunda kendilerini yanıltıp yanıltmadıkları veya tasarımcılarının amaçlamadığı şekillerde hedeflere ulaşmaya çalışıp çalışmadıkları incelendi.

Anthropic ayrıca " uyuyan müşteriler " olarak adlandırdığı modelleri de inceledi : Belirli bir uyaran istenmeyen davranışı tetikleyene kadar normal davranmaları için kasıtlı olarak eğitilmiş modeller. Takviyeli öğrenme, denetimli ince ayar ve düşmanca eğitim gibi standart güvenlik eğitimi teknikleri, bu gizli davranışları güvenilir bir şekilde ortadan kaldırmamıştır . Daha büyük modellerde, düşmanca eğitim, aldatma tespitini daha da zorlaştırmıştır.

Bunların hiçbiri günümüz modellerinin gizlice kaçış planı yaptığını kanıtlamaz. Modeller, tahminlerde bulunmak ve faydalı çıktılar üretmek üzere eğitilir ve yapay test ortamlarındaki olağandışı davranışların sıradan açıklamaları olabilir. Kötü tasarlanmış bir kriteri manipüle eden bir model, hayatta kalma içgüdüsünün kanıtı değildir.

Ancak bu deneyler, koşullar değiştiğinde karmaşık bir modelin davranışını garanti etmenin ne kadar zor olduğunu ortaya koyuyor. Gelecekteki modeller önemli ölçüde daha yetenekli ve bağımsız hale gelirse, küçük hizalama hataları bile büyütülebilir.

İnsan gözetiminin kaybı sadece bir tesadüf olmayabilir.

İnsanlar gönüllü olarak rollerinden çekilebilirler. OpenAI, yetenekli bir insan araştırmacının tamamlaması birkaç gün sürecek olan, açıkça tanımlanmış araştırma görevlerini yerine getirebilen, "otomatik araştırma stajyeri" olarak adlandırdığı bir sistemle dahili bir dönüm noktasına ulaştığını bildiriyor. Bir sonraki hedefi ise Mart 2028'e kadar tamamen otomatik bir yapay zeka araştırmacısı geliştirmek.

Anthropic de aynı alanda çalışıyor. Ağustos ayında yayınlanan bir araştırmada , şirket Claude'un aldatma, dalkavukluk ve hapishaneden kaçma gibi sorunları azaltmak için bağımsız olarak eğitim yöntemleri geliştirmesini sağladı. En iyi otomatik yöntemleri, test edilen kriterlerde deneyimli insan araştırmacılardan daha iyi performans göstererek, insan ekibinin %20'lik başarısına kıyasla aldatmayla ilgili güvenlik açığının %85'ini kapattı.

Evet, yapay zekanın yapay zeka geliştirme sürecinin bazı kısımlarını otomatik hale getirdiğini görüyoruz. Bu, bir geri bildirim döngüsüne yol açabilir: daha yetenekli bir model, araştırmacıların daha da yetenekli bir model geliştirmesine yardımcı olur ve bu da bir sonraki nesil için gereken araştırmaların daha fazlasını otomatik hale getirir. Bu yeterince uzun süre devam ederse, "özyinelemeli kendi kendini geliştirme" olarak bilinen duruma ulaşırız.

Bu senaryonun iyimser versiyonu, bilimsel ilerlemenin muazzam bir şekilde hızlanacağını öngörüyor. Korkutucu versiyonu ise yapay zeka araştırmalarının insan kapasitesini aşabileceği yönünde.

Kelsi Piper yakın zamanda “The Argument” adlı yazısında , bunu “kontrol kaybı” olarak çerçevelemenin yanıltıcı olduğunu savundu. Önde gelen laboratuvarlar tek bir dramatik anda kontrolü kaybetmeyi planlamıyor. Aksine, yapay zeka geliştirmenin artı ve eksi yönlerini kasıtlı olarak otomatikleştiriyorlar; bu da daha hızlı ilerleme ve dolayısıyla daha az insan gözetimi anlamına geliyor.

Yüzlerce veya binlerce yapay zekâ ajanının aynı anda deneyler yaptığını, kodları değiştirdiğini ve yeni nesil modelleri analiz ettiğini hayal edin. İnsan araştırmacılar önemli kararları onaylamaya devam edebilir, ancak giderek yapay zekâların yaptığı çalışmaların özetlerini incelemekle görevlendirileceklerdir; bu özetler hatta yapay zekâların kendileri tarafından diğer yapay zekâ sistemleri tarafından yapılan deneyler hakkında yazılmış olabilir.

Bir noktada, darboğaz insan dikkati haline gelir. İşte bu noktada "Birini kim inşa ederse, herkes ölür" sözünün ardındaki mantık açıklığa kavuşur.

Yapay zekâya ilişkin endişeler neden kamuoyunun gündemine oturdu?

Bu tartışma uzun zamandır yapay zeka güvenliği dergilerinin sınırlarını aşmış durumda. Daniel Rohr ve Charlie Tyrell'in yönettiği " The AI ​​Doc: Or How I Became an Apocaloptimist " filmi , yapay zeka patlamasının kalbinden bu soruların birçoğunu ele alıyor. Belgeselde, OpenAI CEO'su Sam Altman, Anthropic CEO'su Dario Amode ve Google DeepMind CEO'su Demis Hassabis de dahil olmak üzere yaklaşık 40 filmedilmiş röportaj yer alıyor.

Filmi anlamlı kılan şey, bu teknolojiyi geliştiren en parlak zihinlerden bazılarının, bunun bilim ve tıp için dönüştürücü potansiyelini görmesidir. Diğerleri ise, onu nasıl kontrol edeceğimizi anlayabileceğimizden daha hızlı geliştirdiğimizden endişe duyuyor. Ve bazen bunlar aynı kişiler oluyor.

Rekabetçi bir zorluk da söz konusu. OpenAI, Anthropic, Google, Meta ve diğerleri gibi şirketler daha yetenekli modeller geliştirmek için yarışıyor ve hükümetler gelişmiş yapay zekayı stratejik açıdan giderek daha önemli görüyor. Bir şirket, yoğun güvenlik testleri için duraklamanın bir rakibe karşı zemin kaybetmek anlamına geldiğine inanıyorsa, ihtiyatlı davranmak maliyetli hale gelir.

Bu, "Kim Üretirse Herkes Ölür" başlığının seçilmesinin nedenlerinden biridir. Yudkowski ve Suarez, yalnızca tek bir pervasız şirketin tehlikeli bir ürün yaratabileceğini değil, aynı zamanda birden fazla şirket ve ülke arasındaki rekabetin, bireysel katılımcılar tehlikenin farkında olsalar bile, öz denetimi son derece zorlaştırabileceğini savunuyorlar.

karşıt görüş

Bilgisayar bilimleri alanındaki herkes bu endişeleri paylaşmıyor. Bir itiraz, ekranda gösterilen zeka ile fiziksel dünyadaki gerçek güç arasında büyük bir uçurum olduğudur. Yapay zeka etkileyici üretim talimatları üretebilir, ancak yazılım otomatik olarak ham madde temin etmez, makine üretmez veya kolluk kuvvetlerinden kaçmaz.

Bir diğer itiraz ise şudur: Zeka, eyleme geçme yeteneğiyle aynı şey değildir. Bir modelin sorunları çözme yeteneği, ona arzular, hayatta kalma içgüdüsü veya güç biriktirme dürtüsü kazandırmaz. Eleştirmenler, kıyamet senaryolarının yazılıma ince bir şekilde insan motivasyonlarını yerleştirdiğini ve ardından bu tahminleri kaçınılmaz olarak ele aldığını savunuyor.

Bir de fırsat maliyeti var. Yapay zeka, süper zekanın ortaya çıkışını öngörmeyi gerektirmeyen sorunlara şimdiden yol açıyor. Deepfake'ler dolandırıcılığı körüklüyor ve yapay zekanın siber saldırı ve savunma ekonomisini nasıl yeniden şekillendirdiğini gösteriyor. Yapay zeka ayrıca yanlış bilgiyi de güçlendiriyor. İnsanlar, güçlü modellerin sektörlerini nasıl yeniden şekillendirdiğini şimdiden görüyorlar. Yok olma riski hareketinin eleştirmenleri, varsayımsal bir gelecekteki felakete odaklanmanın şu anda yaşanan zararlardan dikkatleri dağıttığını savunuyor.

Bu eleştiri haklılık payı taşıyor, ancak iki kategori birbirini dışlamıyor. Çoğu binada yangın çıkmasa bile, binalara duman dedektörleri takıyoruz. Soru, bir felaketin kaçınılmaz olup olmadığı değil, olasılık ve potansiyel zararın çarpımının önlem almayı haklı çıkaracak kadar büyük olup olmadığıdır.

Bütün bunlar ne anlama geliyor?

Buradaki asıl sorun, kimsenin bilmemesi. Hiç kimse. Yapay zekayı geliştirenler bile nereye doğru gittiğini bilmiyor.

Yapay zekanın, özellikle de kendi çıktılarını değerlendirme yeteneğinin sınırlı olması nedeniyle, varoluşsal bir tehdit oluşturacak kadar yetenekli hale gelip gelmeyeceği kesin olarak bilinmiyor. En uç tahminler, henüz var olmayan sistemler hakkındaki varsayımlara dayanıyor ve bu sistemlerin yetenekleri, ortaya çıkış zaman çizelgesi ve kontrol edilebilirliği hakkındaki tahminler hâlâ büyük tartışmalara konu.

Substack blogumda paylaştığım şey şu: Katılıyor olun ya da olmayın, yorumlarda düşüncelerinizi duymayı çok isterim; insanlar zekâ açısından rakipsizdir. Eğer şu soruyu sorarsak: Zekânın daha büyük göstergesi hangisidir, mantıksal akıl yürütme mi yoksa yaratıcılık mı? Ve eğer cevap benim düşündüğüm gibiyse, o zaman hâlâ umudum var.

---

---