Mac bilgisayarınıza en yeni Büyük Dil Modellerini (LLM'ler) yerel olarak nasıl yükleyebilirsiniz?

Son yıllarda, büyük dil modelleri (LLM'ler), insan benzeri metin üretme ve çeşitli görevlerde yardımcı olma yetenekleri nedeniyle giderek daha popüler hale geldi. Tüm modeller açık kaynaklı olmasa da, neredeyse her büyük teknoloji şirketinin kullanıcıların indirip çalıştırabileceği bir sürümü mevcuttur.

Bu formları Mac'inizde yerel olarak çalıştırmak hem gizlilik hem de maliyet açısından faydalı olabilir. Bu makalede, geliştiriciler ve yeni başlayan kullanıcılar için güçlü bir araç olan Ollama'yı kullanarak LLM'leri nasıl kurup çalıştıracağımızı inceleyeceğiz ve macOS Terminalini kullanmayı tercih etmeyenler için süreci basitleştirebilecek bazı GUI araçlarını ele alacağız.

Bu sayede [Google], [Microsoft], [Meta] ve [Mistral] ve [DeepSeek] gibi diğer yapay zeka şirketlerinin en yeni yapay zeka destekli metin şablonlarına erişebilirsiniz.

LLM'leri Anlamak: Parametreler Ne Anlama Geliyor?

Kurulum sürecine geçmeden önce, LLM'lerden bahsederken " 7B " veya " 14B " gibi sayıların ne anlama geldiğini açıklayalım . Bu sayılar, modelin parametre sayısı (milyarlarca) cinsinden boyutunu, yani eğitim sırasında ince ayar yapılan "düğmeleri ve anahtarları" temsil eder.

Daha fazla parametre, modelin dildeki daha karmaşık kalıpları ve ilişkileri yakalamasına olanak tanıyarak potansiyel olarak daha iyi performansa yol açabilir. Bununla birlikte, daha fazla parametreye sahip olmanın her zaman daha iyi sonuçları garanti etmediğini belirtmek önemlidir; eğitim verilerinin kalitesi ve modelin kullanımına sunulan hesaplama kaynakları da önemli roller oynar.

Sistem gereksinimleri

[Mac] bilgisayarınızın en az aşağıdaki özelliklere sahip olduğundan emin olmanız gerekecektir:

• macOS 10.15 veya üzeri (macOS 13 veya üzeri önerilir)
• En az 8 GB RAM (16 GB veya üzeri önerilir)
• 10 GB boş depolama alanı (en küçük modeller için gereken minimum miktar; daha fazla parametreye sahip daha gelişmiş modeller yaklaşık 700 GB gerektirir)
• [Intel] çok çekirdekli işlemci veya [Apple Silicon] işlemci (M2 veya üzeri tercih edilir)

Ollama'yı yükle

Ollama, yerel makinenizde doğrudan LLM'leri çalıştırmanıza olanak tanıyan açık kaynaklı bir araçtır. İşte nasıl başlayacağınız:

1. Ollama'yı İndir: Web sitesini ziyaret edin Ollama macOS sürümünü indirin. Ayrıca [Homebrew] kullanarak da yükleyebilirsiniz. brew install ollama Terminalinizde.

1. Ollama'yı yükleKurulum dosyasını indirdiyseniz, çift tıklayın ve kurulum sihirbazını takip edin. Homebrew kullanıyorsanız, 4. adıma geçin.

1. Kurulum programının bir sonraki adımı, düğmeye tıklamaktır. تثبيتBu işlem sizden yönetici parolanızı isteyecektir.

1. Ollama'yı çalıştırBir terminal penceresi açın ve aşağıdaki komutu kullanarak Ollama'yı bir servis olarak başlatın. brew services start ollamaBu sayede Ollama belirtilen adreste kullanılabilir hale gelecek. http://localhost:11434/.
2. Modeli indirin ve çalıştırın.Komutu kullanın ollama pull <model-name> Şablonu indirmek için şu komutu kullanın. ollama run <model-name> Çalıştırmak için. Örneğin, bir modeli çalıştırmak için. DeepSeek-R1komutu kullanın ollama pull deepseek-r1 Ardından gelen emir ollama run deepseek-r1.
3. Şablonun daha büyük bir sürümünü indirmek için, iki dikey nokta ve ardından boyutu eklemeniz yeterlidir. Örneğin, bir şablon indirmek için... 14B DeepSeekKomutu kullanacaksınız. ollama run deepseek-r1:14bOllama web sitesinde, formlardan herhangi birine tıklarsanız, her sürüm için farklı komutların tümü size gösterilecektir.

Ollama formlarının tam listesini burada bulabilirsiniz . Ayrıca yukarıda açıklandığı gibi ikinci komutu da kullanabilirsiniz; eğer kurulu değilse, önce formu indirecek ve ardından çalıştıracaktır.

Şimdi üç dik açılı oku (>>>) gördüğünüze göre, forma komutlar yazmaya başlayabilirsiniz.

İşte bu kadar! Artık maliyetler, aşırı kullanım veya başkalarının yazdıklarınızı okuyabilmesi konusunda endişelenmeden yapay zekâ destekli öğrenme modelinizle yerel olarak etkileşim kurabilirsiniz. Bu, yapay zekâ destekli öğrenme modeliyle tartışmak istediğiniz hassas veya kişisel konularınız varsa ancak büyük bir teknoloji şirketinin düşüncelerinizi okumasını istemiyorsanız harika bir özellik.

Ollama ile grafiksel kullanıcı arayüzü araçlarını kullanma

Ollama geliştiriciler için güçlü ve verimli olsa da, bazı kullanıcılar LLM'lerle etkileşim kurmak için grafiksel bir kullanıcı arayüzünü (GUI) tercih edebilir. İşte Ollama için bir GUI ön yüzü sağlayabilecek bazı araçlar:

• • • Ollama GUIBu, SwiftUI kullanılarak geliştirilmiş, macOS kullanıcıları için ücretsiz ve açık kaynaklı bir uygulamadır. Güzel bir arayüz sunar ve terminal kullanmadan LLM formlarına yerel olarak erişmek isteyenler için mükemmel bir seçenektir.
    • Ollama UIBasit, HTML tabanlı bir web kullanıcı arayüzü olup, formları doğrudan tarayıcınızda tanımlamanıza ve bunlarla etkileşim kurmanıza olanak tanır. Kolay erişim için bir Chrome uzantısı da içerir.
    • Sohbet kutusu AIBu, yeni başlayanlar için en kolay seçenektir ve nasıl kullanılacağını aşağıda açıklayacağım. Ollama'yı kendiniz kurmak zorunda kalmadan tüm LLM şablonlarına erişebilmeniz için sundukları abonelik olan Chatbox AI hizmetini edinmenize gerek olmadığını unutmayın.

En iyi Chatbox yapay zeka arayüzünü kullanmak için indirme sayfasına gidin ve Mac'iniz için olan sürümü edinin.

Ardından, yükleyiciyi açın ve programı çalıştırın. İlk ekranda, Chatbox AI'yı nasıl kullanacağınızı soran bir açılır pencere belirecektir.

"Kendi API Anahtarımı / Yerel Modelimi Kullan" düğmesine tıklamanız gerekecek.

Ardından, yapay zeka modeli sağlayıcısı olarak Ollama API'yi seçin .

Chatbox AI, Ollama'nın çalıştığını otomatik olarak algılamalı ve API ana bilgisayarını varsayılan değerine, yani geri döngü IP adresine ve 11434 port numarasına ayarlamalıdır . Burada hiçbir şeyi değiştirmenize gerek yok. Formun içinde, Terminal kullanarak daha önce yüklediğiniz formları görmelisiniz. Benim durumumda bu, Llama 3.2 formudur.

Uygulamanın ana ekranına geri dönün, "Sadece sohbet" veya "Yeni sohbet" seçeneğine dokunun ve sağ alt köşede doğru şablonun seçili olduğundan emin olun. Şablonu istediğiniz zaman değiştirebilirsiniz, ancak farklılıkları kolayca görebilmeniz için kullandığınız her şablon için yeni bir sohbet oluşturmanızı öneririm.

LLM modellerini yerel olarak çalıştırmak için alternatif araçlar

Ollama alternatifleri arıyorsanız veya baştan itibaren daha kullanıcı dostu bir deneyim tercih ediyorsanız, LM Studio mükemmel bir seçenektir. Çeşitli yapay zeka modellerini keşfetmek ve kullanmak için kullanımı kolay bir arayüz sunar ve bunları kolayca indirip çalıştırmanıza olanak tanır. LM Studio, Linux, Mac ve Windows için mevcuttur ve model parametrelerini ve sohbet geçmişini özelleştirme gibi özellikler sunar. Şu anda ücretsiz olduğu için Chatbox AI abonelik hizmetine göre onu tavsiye ediyorum.

Sonuç

Mac'inizde büyük dil modellerini (LLM'ler) yerel olarak çalıştırmak, yapay zeka uygulamaları üzerinde daha fazla kontrol sahibi olmak ve veri gizliliğine öncelik vermek isteyen herkes için önemli olacaktır. Ollama ve yukarıda bahsedilen, LLM'leri iş akışınıza entegre etmeyi kolaylaştıran grafiksel arayüzler gibi araçlarla, yeni üretkenlik ve yaratıcılık potansiyelinin kilidini güvenli bir şekilde açabilirsiniz.

Ancak, yerel bir LLM dağıtımı başlatmak, parametreler ve bunların belirli makinenizde bu modellerin performansını nasıl etkilediği konusunda biraz bilgi sahibi olmayı gerektirir. Bunu öğrenmenin en iyi yolu, hangi modellerin size en iyi sonuçları verdiğini görmek için farklı modellerle denemeler yapmaktır. Bu kavramı anladığınızda, hangi modelleri kullanacağınıza ve performanslarını özel ihtiyaçlarınıza uyacak şekilde nasıl optimize edeceğinize dair daha iyi kararlar verebileceksiniz.