Kişisel deneyimim: iPhone'da yerel olarak gerçek bir yapay zeka sohbet robotu çalıştırmak

Yapay zeka destekli sohbet robotları, örneğin: ChatGPT و İkizler burcu...işlevlerini yerine getirmek için bulut bilişime güvenmek. Peki ya bir abonelik, internet bağlantısı veya hatta verilerinizin cihazdan çıkmasına gerek kalmadan, doğrudan iPhone'unuzda büyük bir dil modeli (LLM) çalıştırabilseydiniz? Hafif ve kompakt bir uygulama ve model paketi sayesinde bu zaten mümkün.

Bunu kendim denedim ve bilmeniz gerekenler şunlar:

Yapay zekayı iPhone'da yerel olarak çalıştırın

Artık şu gibi açık kaynaklı modelleri çalıştırabilirsiniz: lama و Qwen Doğrudan iOS'ta. Bu modeller, performansı önemli ölçüde etkilemeden mobil belleğe sığacak şekilde sıkıştırılmasını sağlayan niceleme adı verilen bir işlem kullanılarak küçültülür.

Ancak önemli bir nokta var: Performans büyük ölçüde cihazınıza bağlıdır. Örneğin, Apple'ın en yeni çipiyle donatılmış iPhone 15 Pro veya 15 Pro Max, 7 veya 8 milyara kadar parametreye sahip modelleri (örneğin Llama 3.1 8B) çalıştırabilirken, eski telefonlar 1 ila 3 milyar arasında parametreye sahip daha küçük modeller için daha uygundur.

Bunu mümkün kılan uygulamalar

LLM Çiftliği (Ücretsiz): Başlamanın en kolay yolu. Küçük bir model (örneğin Phi-3.5 Instruct) indirip tek tıklamayla çevrimdışı çalıştırabilirsiniz. Hızlı sorgular için şaşırtıcı derecede akıcıdır.
MLC Sohbet (Ücretsiz):
Kullandığım uygulama bu. LLM Farm'ı denemek istedim ama nedense Apple App Store'da indirilemedi. Ücretsiz olduğu için denedim ve mükemmel çalıştı.
Özel LLM (Topluluk Projesi): Bu seçenek, ortalama bir kullanıcıdan ziyade bir "kendin yap" projesine daha çok benziyor. Bu uygulama, Llama 3.1 ve Qwen gibi modelleri iPhone'unuza indirmek için ayrıntılı kılavuzlar içeriyor. Eğer kurcalamayı ve denemeyi seviyorsanız, kesinlikle denemeye değer.
Apollo (Ücretli): Hakkında olumlu şeyler duydum ama henüz denemedim. Bu gizlilik odaklı uygulama hakkında ne düşündüğünüzü yorumlarda belirtin.

Model yerel olarak nasıl çalıştırılır?

Seçtiğiniz uygulamayı indirdikten sonra açın. Oradan, yerleşik modeller listesine göz atın ve birini seçin (örneğin, Phi-3.5 Instruct Q4 kuantize). Qwen 2.5'i seçmemin basit nedeni, bir süredir kullanmamış olmamdı.

İndirdikten sonra, formu cihazınızda göreceksiniz (boyutları birkaç yüz megabayttan birkaç gigabayta kadar değişebilir). Buradan sohbete başlayabilirsiniz.

Gerçekçi olmanız gerekecek; derinlemesine analizler veya uzun, detaylı planlar istemenin zamanı değil. Aşağıdakileri göz önünde bulundurun:

hız: Küçük modeller (1-3 milyar parametre) daha hızlı yanıt verirken, büyük modellerde sembol başına yanıt saniyeler sürebilir.
Bağlam: Makalelerin tamamını yapıştırmayın; istemleri daha kısa tutun.
Çıktı: Yerel büyük dil modelleri ChatGPT'den daha az doğru olabilir, ancak not alma, özetler, soru-cevaplar ve hafif taslaklar için faydalıdır.

Bazı komutları denemekten keyif aldım. Karmaşık bir şey değil; sadece yerel istekten nasıl yanıtlar aldığımı görmek istedim. Hemen fark edeceğiniz bir şey hız. Büyük bir dil modelinin ne kadar hızlı yanıt verdiği şaşırtıcı.

Aşağıdaki iddiaları denedim ve genel olarak sonuçları beğendim.

Bağımsızlık Bildirgesi'ni üç noktada özetleyin.
"Bir robot ve bir kedi hakkında kısa bir uyku vakti hikayesi yazın."
"Bana tavuk, pilav ve brokoli kullanarak yapabileceğim üç akşam yemeği fikri ver."

Büyük bir yerel dil modelini çalıştırmak, sohbet etmekle aynı şey değildir SohbetGPT-5Kesinlikle basit ve kaba görünüyor. Bunu denerseniz, komutlarınızı kısa tutmayı unutmayın, çünkü bağlam pencereleri normal chatbot sürümüne göre çok daha sınırlıdır. Yerel büyük dil modelini aşırı yüklerseniz yanıtların daha yavaş olduğunu hissedeceksiniz.

Bunu neden yaptın?

Abonelik ücreti yoktur. Denemek için kredinizi tüketmenize gerek yok.
Dahili gizlilik. Her şey kendi cihazınızda kalır.
Şaşırtıcı derecede çok yönlü. Minyatürün üstesinden gelebildiği görev sayısına gerçekten hayran kaldım. Sınırlarını her zorladığımda, zorlukların üstesinden kolaylıkla gelebildi.

Sonuç olarak

iPhone 15 veya sonraki bir modeliniz varsa ve yapay zekanın "içeriden" nasıl göründüğünü keşfetmek istiyorsanız, oradan başlayın. LLM Çiftliği أو MLCCohbet Başlamak için hızlı ve ücretsiz yollar. Gizliliğe önem veriyorsanız, uygulama Apollo Denemeye değer. Eğer deneme ve özelleştirmeyi seviyorsanız, Özel Yüksek Lisans Özel ayarlara daha derinlemesine inmenizi sağlar.

Unutmayın, bunlar alıştığınız tam donanımlı sohbet robotları değil, bu yüzden ChatGPT benzeri bir çıktı beklemeyin. Ancak iPhone'unuzda kendi yapay zekanızı çalıştırmak oldukça havalı ve fütüristik.