Telefonunuzda büyük ölçekli yerel dil modellerini nasıl çalıştırabilirsiniz ve neden bunu yapmak isteyebilirsiniz?
Büyük Dil Modelini (LLM) cep telefonunuzda yerel olarak nasıl çalıştırabileceğinizi ve bu deneyimden elde edeceğiniz faydaları keşfedin.
Bilmeniz gereken en önemli şeyler
- Büyük dil modellerini telefonunuzda yerel olarak çalıştırmak, tam gizlilik ve çevrimdışı erişim sağlayarak bulut hizmetlerine olan bağımlılığı azaltır.
- LLM modellerini yerel olarak verimli bir şekilde çalıştırmak için telefonunuzun en az 6 GB RAM'e, daha büyük modeller için tercihen 8 GB veya daha fazlasına ihtiyacı vardır; 1-2 milyar parametreli modeller ise daha az belleğe sahip telefonlar için en iyi seçimdir.
- Atomic Chat veya PocketPal AI gibi uygulamalar, Gemma, Llama veya Phi-4 gibi Küçük Dil Modellerini (SLM) çalıştırmak için kullanılabilir; bu modeller, telefonda daha iyi uyumluluk ve performans elde etmek için daha az parametreye sahip modellere odaklanır.
Büyük Dil Modelleri (LLM'ler) artık o kadar ücretsiz olarak kullanılabiliyor ki, bunları yerel olarak bir bilgisayarda çalıştırmak yaygın hale geldi ve bazı açılardan daha iyi bir fikir bile olabilir; çünkü buluta hiçbir şey göndermenize gerek kalmadığı için daha gizlidirler ve çevrimdışı çalışırlar.
Bu gelişmiş yapay zeka modellerini telefonlarda çalıştırmak her zaman kolay değildi (bu yüzden en gelişmiş Siri yapay zeka özellikleri en yeni iPhone'lardan birini gerektiriyor), ancak artık çoğu cep telefonunun yeterince güçlü olduğu ve bazı modellerin de küçük ve verimli olduğu bir noktaya ulaştık, bu da bunu pratik olarak mümkün kılıyor. Daha fazla ayrıntı için iPhone'da yerel bir yapay zeka modeli çalıştırma hakkındaki makalemize bakabilirsiniz.
Avantajları, masaüstü bilgisayarda elde ettiğiniz avantajlara benzer; Google, OpenAI, Anthropic veya herhangi bir üçüncü tarafa veri göndermeden, her zaman kullanılabilir ve özel bir dil modeline (LLM) sahip olursunuz. Dezavantajları ise, daha küçük ve daha az güçlü modellerle çalıştığınız için yapay zekanızdan daha yavaş ve sınırlı performans almanız ve pil ömründe bir etki fark edebilmenizdir (bu yapay zeka konuşmaları çok kaynak yoğun olabilir).
Bu ödünlere rağmen, telefonunuzda çalıştırabileceğiniz yerel yapay zeka, günlük görevleri ve konuşmaları yüksek verimlilikle gerçekleştirebilecek; bu da Gemini veya Siri'yi (ve muhtemelen diğer yapay zeka aboneliklerinizi) bir kenara bırakabileceğiniz anlamına geliyor.
Yerel Büyük Dil Modeli (LLM) çalıştırmak için ihtiyacınız olan telefon.
Son iki yılda piyasaya sürülen herhangi bir iPhone veya Android telefon, Yerel Büyük Dil Modeli (LLM) uygulamasını sorunsuz bir şekilde çalıştırabilir; yapay zekanın yükselişi, üreticileri cihazlarını bu tür kullanım düşünülerek tasarlamaya yöneltmiştir. Daha eski telefonlar da çalışabilir, ancak daha küçük modellere ihtiyacınız olabilir ve daha düşük performansla karşılaşabilirsiniz.
Yapay zekâ modeli çalıştırma söz konusu olduğunda, işlemci (yonga seti) performansından ziyade Rastgele Erişim Belleği (RAM) daha önemli bir faktördür. Tatmin edici performans için 6 GB veya daha fazlasına ihtiyacınız olacak ve daha büyük modeller için 8 GB veya daha fazlası daha iyidir. RAM'iniz 8 GB'tan az ise, 1-2 milyar parametreye (B) sahip modellerle çalışın; burada B, milyar anlamına gelir ve modeldeki parametre sayısını (esas olarak zekasını ve çok yönlülüğünü yansıtır) tanımlar.
Depolama alanı konusunda çok fazla endişelenmenize gerek yok. 7-8 milyar parametre kullanan en büyük modeller bile telefonunuzda 5 GB'tan fazla yer kaplamayacak, bu nedenle cihazınızda birkaç yapay zeka modeli bulundurup gerektiğinde aralarında geçiş yapabilirsiniz.
Bugün yeni bir amiral gemisi iPhone veya Android telefon satın alırsanız, çevrimdışı (internet bağlantısı olmadan) gerçekleştirilebilen hızlı görevler için önceden yüklenmiş yerel yapay zeka modelleriyle birlikte gelir. Ancak, Apple ve Google tarafından oluşturulan bu modeller, kullanıcı olarak size doğrudan sunulmaz; Siri yapay zekası ve Gemini bunları en iyi seçenek olarak değerlendirdiğinde kullanılırlar.
Yerel Büyük Dil Modeli (LLM) çalıştırmak için ihtiyacınız olan uygulamalar ve modeller
Telefonunuza yapay zeka modelleri getiren ve çalıştıran birçok uygulama mevcuttur . En popüler olanlar arasında Atomic Chat ( Android veya iOS için ) ve PocketPal AI ( Android veya iOS için ) yer almaktadır. Aralarında bazı farklılıklar vardır; örneğin, Atomic Chat masaüstü bilgisayarlarda LLM modellerini içerecek şekilde ölçeklendirmek daha kolaydır, PocketPal AI ise biraz daha hafiftir, ancak her ikisi de telefonunuzda yerel yapay zeka ile çalışmaya başlamak için mükemmeldir.
Modellerin kendilerine gelince—bazen SLM veya Küçük Dil Modelleri olarak adlandırılırlar çünkü sınırlı ortamlarda çalışmak üzere tasarlanmışlardır—burada da birçok seçeneğiniz var. Örneğin, Gemma, Google'ın ücretsiz olarak sağladığı açık kaynaklı modeller için kullanılan genel bir terimdir ve bunlardan bazıları özellikle dar alanlarda ve daha az kaynakla (telefonunuz gibi) çalışmak üzere tasarlanmıştır.
Meta'nın Llama adında kendi açık kaynaklı yapay zeka modelleri bulunurken, Microsoft'un da verimlilik açısından oldukça yüksek puan alan Phi-4 modelleri mevcuttur. Telefonunuzla en iyi şekilde çalışacak paketleri bulmak için, "B" harfinden önce en az parametreye sahip sürümleri (veya adında "mini" kelimesi geçenleri) aramanız yeterlidir.
Şu anda bu küçük dil modelleri (SLM'ler) öncelikle metin tabanlıdır, ancak bazı daha yeni, daha büyük ve daha gelişmiş modeller görüntüleri ve dosyaları analiz edebilmektedir. Görüntü ve video oluşturmak istiyorsanız, en azından bir sonraki teknolojik atılım gerçekleşene kadar geleneksel bulut tabanlı yapay zeka modellerini kullanmanız gerekecektir.
Telefonunuzda Yerel Büyük Dil Modeli (LLM) ile denemeler yapmak
Bu yerel yapay zeka modellerinden birinin telefonda ne kadar kullanışlı olabileceğini görmek için, artık amiral gemisi bir telefon olmayan ama çok da eski olmayan Pixel 9 Pro'ma PocketPal AI'yı ve Google'ın daha küçük Gemma modellerinden birini yükledim. PocketPal AI'nın açtığı küçük seçim sihirbazı beni etkiledi; bu sihirbaz sizi doğrudan telefonunuz için uygun bir yapay zeka modeline yönlendiriyor.
Birkaç şablonu indirip kurduktan sonra, bunları yüklemek ve kullanmaya başlamak kolaydı. PocketPal AI ayrıca, yapay zeka şablonlarını kullanımınıza göre özelleştirebilen isteğe bağlı "arkadaşlara" (uygulamanın adından da anlaşılacağı gibi) erişim sağlar; varsayılan Pip seçeneği, Gemini veya Siri gibi standart yapay zeka uygulamalarında alışkın olduğunuz şeylere uygun bir alternatif gibi görünüyor . Rehberlik ve takip işlevleri sorunsuz çalışır ve sohbet geçmişiniz varsayılan olarak kaydedilir.
Telefonunuzda LLM modellerini çalıştırırken yanıt sürelerinde fark edilebilir (ve beklenen) bir yavaşlık söz konusu ve yapay zeka modellerinin boyutlarında belirgin bir fark var; daha küçük bir model seçmek, daha az zeki veya eksiksiz olsalar bile çok daha hızlı yanıtlar almanızı sağlayacaktır. Sizin için en uygun performans ve hız dengesini bulmak için birkaç modelle deneme yapmaya değer.
Web arama yeteneklerinin veya güncel bilgilerin eksikliği göz önüne alındığında, bu seçenek beyin fırtınası yapmak, mevcut metinleri analiz etmek ve iyileştirmek, yeni metinler oluşturmak, hızlıca bilgi toplamak veya karşılaştırmalar yapmak (örneğin, "Şuna benzer bir film önerin...") için idealdir. Her zaman olduğu gibi, bu modellerin üretebileceği "yanılsamalara" karşı dikkatli olunmalı ve yapay zeka tarafından sağlanan herhangi bir bilginin doğruluğu asla garanti edilmemelidir.
Yoruma kapalı.