Kurumlarda yapay zekanın benimsenmesi: Kullanım verileri neler ortaya koyuyor?

Yapay zekâ hakkındaki kamuoyu tartışmalarının çoğu hala sıralamalar etrafında dönüyor: hangi model en yüksek sırada, hangi sağlayıcı "kazanan" ve hangi kıyaslama puanı en önemli. Ancak yapay zekâ çözümleri geliştiren ve uygulayan kuruluşlar için bu sorular, yapay zekânın gerçek dünya senaryolarında nasıl kullanıldığını anlamaktan daha az önem taşıyor.

Bunun bir nedeni, yapay zekanın kullanımını en üst düzeye çıkarmayı amaçlayan ve genellikle içsel benimseme hedefleri, teşvikler veya liderlik tablosuna dayalı rekabetle yönlendirilen bir uygulama olan "tokenmaxxing" kavramı etrafındaki artan tartışmadır.

Ancak token tüketimine odaklanmak, yapay zekanın sunduğu gerçek ticari değeri ölçmek yerine, sırf faaliyet olsun diye faaliyet yapılmasını teşvik edebilir.

Amazon'un dahili bir yapay zeka liderlik tablosunu kapatması ve Uber'in yıllık bütçesini hızla tükettikten sonra çalışanlarının yapay zeka harcamalarına sınırlama getirmesi gibi son örnekler, kullanım oranını başarının birincil ölçütü olarak ele almanın risklerini vurgulamaktadır.

Ancak, en son veriler daha incelikli bir tablo ortaya koyuyor. Vercel'in Temmuz ayı AI Gateway verilerine göre, token hacmi Haziran ayında %29 artarken, harcamalar %27 arttı ve ortalama token fiyatı sabit kaldı. Kuruluşlar, yapay zekayı sadece tüketmek yerine, farklı modelleri nerede konuşlandıracaklarını ve maliyet ile performansı nasıl dengeleyeceklerini belirleme konusunda daha bilinçli davranıyorlar.

Gerçek yapay zekâ sistemleri geliştiren ekipler, maliyet, güvenilirlik ve çıkarım yeteneklerine bağlı olarak görevleri dinamik olarak birden fazla model arasında yönlendirmeye giderek daha fazla yöneliyor. Örneğin, düşük maliyetli bir model görevleri özetlemek için yararlı olabilirken, yüksek performanslı bir çıkarım modeli yüksek riskli kararlar için ayrılmıştır.

Pratikte yapay zekâ, tek bir sağlayıcı etrafında sistemler kurmaktan ziyade, birden fazla modeldeki katmanları koordine etmekle ilgilidir.

En son AI Gateway verileri, kuruluşların tek bir sağlayıcıya güvenmek yerine iş yüklerini farklı model kategorilerine dağıttığını gösteriyor. Açık ağırlıklı modeller artık ağ geçidi token'larının %29'unu yönetirken, harcamaların %4'ünden daha azını temsil ediyor; buna karşılık sınır modelleri daha yüksek değerli çıkarım iş yüklerinde hakimiyetini sürdürüyor.

Tek tip bir yaklaşım izlemek yerine, kuruluşlar yapılacak işe bağlı olarak farklı modeller seçerler.

En üst sıraları geride bırakmak

Şirketlerde yapay zekanın benimsenmesinin ilk aşamalarında, ekipler agresif bir şekilde denemeler yapmaya, prototipler geliştirmeye ve yeni kullanım senaryolarını keşfetmeye teşvik edildi. Bu, yapay zekanın deneysel aşamadan pratik uygulamaya geçmesini gerektiren benimseme sürecini hızlandırmaya yardımcı oldu, ancak aynı zamanda basitleştirilmiş bir varsayım da yarattı: daha fazla yapay zeka otomatik olarak daha fazla değer anlamına gelir.

Haziran ayında token hacmi ve harcamaları yaklaşık %30 oranında arttı; ancak ortalama token fiyatı istikrarlı kaldı. Kuruluşlar yapay zekaya yoğun yatırım yapmaya devam ediyor, ancak düşük maliyetli ve premium modeller arasında iş yüklerini nasıl dağıttıkları konusunda daha stratejik davranıyorlar.

Bu model, şirketlerin verimliliği artırmadan önce agresif bir şekilde genişlediği erken bulut bilişim dönemi gibi önceki teknolojik değişimleri yansıtıyor. Yapay zeka benimsenmesi de benzer bir yörünge izliyor, ancak çok daha hızlı bir tempoda.

Yapay zekâ ekipleri için en faydalı ölçüt maliyet değil, sonuçlardır; çünkü sonuçlar yapay zekâ başarısının temelini oluşturur . Haftalarca süren mühendislik çalışmalarını otomatikleştirebilen bir iş akışı, güvenilmez çıktılar üreten ve ilk tasarrufları aşan işletme maliyetleri yaratan daha düşük maliyetli bir iş akışından çok daha verimli olabilir.

Buradaki soru, ekibin ne kadar az yapay zekâ kullanabileceği değil, anlamlı sorunları çözmek için ne kadar etkili bir şekilde kullanılabileceğidir.

Yapay zeka, iş yüklerini değiştiriyor.

Geleneksel sohbet botları nispeten basit iş akışlarıyla çalışır: bir komut girin ve bir yanıt alın. Temelde daha akıllı yapay zeka ajanları olan ajan sistemleri ise çok farklı davranır.

Yapay zekâ ajanları düşünür, araçları çağırır, kod yürütür, bilgi alır, veritabanlarını sorgular ve görevi tamamlamadan önce birden fazla adımda işlemleri tekrarlar. Bu eylemlerin her biri token tüketir.

Sonuç olarak, yapay zeka iş yükleri giderek daha çok ajan tabanlı hale geliyor. Tek bir istek artık arka planda gerçekleşen araç çağrıları, doğrulama döngüleri ve sağlayıcı geçişleri zincirini içerebilir ve bu da ekonomik dengeleri tamamen değiştirir.

Arka ofis ajanları, portal başına en pahalı token'ları oluşturmaktadır ve toplam token'ların %5'ini, toplam harcamaların ise %14'ünü temsil etmektedir. Daha karmaşık ve iş açısından hassas iş yükleri, daha basit yapay zeka görevlerine göre daha fazla çıkarım gerektirir.

Bu, artan kullanımın her zaman verimsizliğin bir göstergesi olmadığı anlamına gelir. Birçok durumda, bu durum yapay zekâ sistemlerinin artan karmaşıklığını ve yeteneklerini yansıtır.

Altyapı, ayırt edici bir faktör olarak

Kuruluşlar giderek daha fazla sayıda yapay zeka modeline ve hizmet sağlayıcısına bağımlı hale geldikçe, güvenilirliği korumak daha karmaşık bir görev haline geliyor.

Çıkarım görevleri, çoklu ajan iş akışları ve karmaşık koordinasyon zincirleri, model sağlayıcılar üzerinde önemli bir yük oluşturabilir. Tek bir modelin yürütme sırasında başarısız olması durumunda, tüm iş akışı çökebilir.

Sonuç olarak, yedek yönlendirme, üretim ortamlarında temel bir yapay zeka altyapısı haline geldi. Vercel'in Mayıs ayındaki Yapay Zeka Ağ Geçidi raporu, isteklerin yaklaşık %3.5'inin arızalar, zaman aşımı veya hız belirleme sorunları nedeniyle yeniden yönlendirilmeye ihtiyaç duyduğunu ortaya koydu.

Hizmet sağlayıcılar arasında dinamik yönlendirme olmadan, bu istekler basitçe başarısız olur. Ve son kullanıcılar için, hizmet sağlayıcının istikrarsızlığı görünmezdir; sorunun kaynağıyla ilgilenmezler, sadece uygulamanın çalışmaya devam edip etmediğiyle ilgilenirler.

Bu nedenle, yapay zekâ sistemleri bağımsız ajanlar olarak çalışma yeteneklerini giderek artırdıkça, esneklik ve koordinasyon, modelin kendi yeteneği kadar önemli hale geliyor ve yapay zekânın daha akıllı ajanlara doğru kaymasının önemini vurguluyor.

Tek model döneminin sonu

Tek bir hizmet sağlayıcıya güvenme stratejilerini sürdürmek zorlaştı. Sürekli yeni modeller piyasaya sürülüyor, fiyatlar hızla değişiyor ve farklı modeller, görevin türüne bağlı olarak performans açısından üstünlük sağlıyor.

Bugünün en iyi programlama modeli, yarın bilgi alma görevleri, müşteri desteği veya çıkarım iş akışları için en iyi model olmayabilir.

Burada amaç tek bir modeli kazanan olarak seçmek değil. Amaç, herhangi bir haftada en iyi modeli benimseyebilen ve ona uyum sağlayabilen yapay zeka sistemleri oluşturmak; çünkü bu tercih hızla değişiyor ve değişmeye devam edecek.

Çoklu model formatlamayı bir altyapı olarak ele alan ekipler, yeni bir model piyasaya sürdüklerinde sistemlerini yeniden kurmak zorunda kalmayacak olan ekiplerdir.