Google Gemini modeli kötü amaçlı kullanıldı: Akıllı ev sistemlerini hackleme ve kontrol etme olasılığı

Geçmişte veri ihlalleri manşetlere taşınırdı, ancak artık o kadar yaygınlaştılar ki çoğu insanı şaşırtmıyorlar. Bu tür haberler ancak büyük bir şirketi ilgilendirdiğinde ve milyonlarca insanı etkilediğinde ilgi çekiyor; T-Mobile'ın 64 milyon müşteriyi etkileyen veri ihlalinde olduğu gibi . Verilerinizin tehlikeye atılabileceği birçok yol olduğundan, neredeyse her tür dijital hizmet veya ürün bunu önlemek için güvenlik önlemleri almıştır.

Elbette, bu ürünler mükemmel değil ve saldırgan yeterince zeki ise her zaman kötü amaçlı saldırılar gerçekleştirmenin yolları vardır. Google'ın Gemini'si gibi Büyük Dil Modellerinin (LLM'ler) ortaya çıkmasıyla, bu yapay zeka araçlarının kötü amaçlı kullanılması potansiyeli her zaman mevcuttur. Henüz büyük bir olay bildirilmemiş olsa da, Wired, Gemini'yi kullanarak hayatınıza hayal bile edemeyeceğiniz şekillerde erişen bir araştırma projesini öne çıkardı. Bu araştırma, Gemini'nin evinizdeki akıllı cihazlar da dahil olmak üzere dijital yaşamınızın çeşitli yönlerini kontrol etmek için nasıl kullanılabileceğini göstererek, yapay zeka çağında güvenlik ve gizlilik konusunda endişeleri artırıyor.

Bu tür saldırılar daha da tehlikeli hale gelebilir.

Tel Aviv Üniversitesi'nden Ben Nasi, Stav Cohen ve Or Yair, Gemini'yi kullanarak akıllı bir eve erişim ve kontrol sağlayan " Davetiye Yeterli " adlı projelerini tanıttılar. İlginç olan nokta, saldırının evin içinden kaynaklanmaması, bunun yerine süreci başlatmak için başka, bağımsız bir Google ürününe dayanmasıdır.

Basitçe söylemek gerekirse, kullanıcı Gemini ile belirli bir komut istemiyle etkileşime girdiğinde istenmeyen bir işlem tetiklenir. İşin zekice yanı, bu işlemin kullanıcı için gizli ve görünmez olmasıdır. Araştırma ekibi, bunun nasıl çalıştığını ayrıntılı olarak açıklayarak , "komut istemi yazılımının" kötü amaçlı faaliyetleri gerçekleştirmek için Büyük Dil Modeli (LLM) kullandığını ortaya koyuyor.

Araştırmacılar, "kısa süreli bağlam zehirlenmesi" ve "uzun süreli bellek zehirlenmesi" yöntemlerini kullanarak Gemini'nin başlangıçta komut istemine dahil olmayan eylemler gerçekleştirmesini sağlayabildiklerini keşfettiler. Bu, çeşitli Google uygulamalarından etkinlikleri silebilir, bir Zoom görüşmesi açabilir, bir kullanıcının konumunu bildirebilir, akıllı ev ürünlerini kontrol edebilir ve daha fazlasını yapabilir. "Dolaylı komut istemi enjeksiyonu" olarak bilinen bu saldırı türü, büyük dil modellerinin harici verilerle nasıl etkileşim kurduğundaki güvenlik açıklarından yararlanır.

Araştırma ekibi, tüm bunların nasıl çalıştığını etkileyici eğitim videolarıyla da gösteriyor. Bu, birinin hayatını bilgisi olmadan altüst etmenin basit ve etkili bir yolu. İnsanlar geleneksel bilgisayar korsanlığı yöntemlerine daha fazla odaklanıyor, bu da böyle bir şeyin son derece beklenmedik olabileceği anlamına geliyor.

Neyse ki, araştırma ekibi bu sorunları Şubat ayında Google'a bildirdi ve ekiple bir araya gelerek sorunları çözdü. Google, "hassas eylemler için iyileştirilmiş kullanıcı onayları; temizleme ve güven düzeyi politikalarıyla sağlam URL yönetimi; ve içerik sınıflandırıcıları kullanarak gelişmiş talep enjeksiyonu tespiti de dahil olmak üzere çok katmanlı savunmalar uyguladığını" belirtiyor.

Proje, yapay zeka araçları daha karmaşık hale geldikçe yakın gelecekte daha yaygın hale gelebilecek "büyük dil modelleri tarafından desteklenen asistanları etkileyen teorik dolaylı hasar enjeksiyon tekniklerini" vurgulamaktadır. Bu da henüz başlangıç ​​aşamasındadır ve gelecekte daha ciddi zararlara yol açmasını önlemek için daha iyi bir izlemeye ihtiyaç duyacaktır. Günlük hayatımızda yapay zekaya giderek daha fazla güvendiğimiz için, bu potansiyel riskleri anlamak ve azaltmak kritik öneme sahiptir.

Güvenlik açıklarıyla ilgileniyorsanız, bulgularınızı Google'ın Bug Hunters programı aracılığıyla her zaman Google'a iletebilirsiniz. Yapay zekâ şu anda izlenen konuların sadece küçük bir bölümünü oluşturduğu için katkıda bulunmanın çeşitli yolları vardır. Daha ciddi bir durum söz konusuysa, Google çalışmalarınız için ödül de sunarak çabayı daha da değerli hale getiriyor.