Windows 11 bilgisayarınızda büyük dil modelleri (LLM'ler) çalıştırmak için Ollama nasıl kurulur ve kullanılır

Günümüzde çoğumuzun yapay zekâ ile en sık etkileşim kurduğu yol, ChatGPT veya Copilot gibi bulut tabanlı araçlar aracılığıyladır . Bu araçların kullanımı için internet bağlantısı gereklidir, ancak işin güzel yanı neredeyse her cihazda kullanılabilir olmalarıdır.

Ancak herkes, özellikle geliştiriciler, AI uygulamaları için buluta güvenmek istemez. Bu nedenle, büyük dil modelinizin (LLM) makinenizde yerel olarak çalışmasını istersiniz. İşte Ollama'nın devreye girdiği yer burasıdır.

Ollama, bilgisayarınızda yerel olarak çok çeşitli büyük dil modelleri (LLM) çalıştırmanıza olanak tanıyan bir çıkarım aracıdır. Bunu yapabileceğiniz tek yol bu değildir, ancak en basit ve en anlaşılır olanlardan biridir. Ollama, sürekli bir internet bağlantısı gerektirmeden yapay zekanın gücünden yararlanmanızı sağlayarak verileriniz ve gizliliğiniz üzerinde tam kontrol sahibi olmanızı sağlar.

Çalışır duruma geldiğinizde Ollama ve kullandığı büyük dil modelleri (LLM'ler) ile yapabileceğiniz çok şey var, ancak ilk adım kurulumdur. Bu güçlü araçtan en iyi şekilde yararlanabilmeniz için sizi bu süreçte adım adım yönlendirelim.

Ollama Sistem Gereksinimleri

Ollama'yı çalıştırmak çok fazla sistem kaynağı tüketmez ve çok çeşitli cihazlarda çalıştırılabilir. Windows 11, macOS ve Linux ile uyumludur. Hatta WSL aracılığıyla Windows 11 içindeki Linux dağıtımlarınızdan bile kullanabilirsiniz.

Ancak büyük dil modellerini (LLM'ler) çalıştırmak daha güçlü donanım gerektirir. Model ne kadar büyükse, o kadar fazla işlem gücüne ihtiyacınız olur. Bu modeller çalışmak için bir grafik işleme birimi (GPU) gerektirir. Şu anda, yeni Copilot+ PC'lerdeki sinirsel işleme birimi (NPU) için optimize edilmemiştir.

Neyse ki, mütevazı donanımlarda kullanabileceğiniz küçük modeller var. Örneğin, Google'ın Gemma 3 modeli, tam modeli çalıştırmak için yalnızca 1 GB görsel rastgele erişim belleği (VRAM) gerektiren 2.3 milyar parametreli bir modele sahiptir. 9 milyar parametreli modele geçtiğinizde bu sayı 4 GB'ın üzerine çıkar.

Meta'nın Llama 3.2'sinde de benzer bir durum var, 1 milyar parametre modelinin başarılı bir şekilde çalışması için sadece 4 GB VRAM'li bir GPU gerekiyor. Bu daha sonra 8 milyar parametre modeli için 3 GB'a çıkıyor.

Kısacası, en az 8 GB RAM ve özel bir GPU'ya sahip nispeten modern bir bilgisayarınız varsa, Ollama'yı kullanarak bazı avantajlar elde edebilmelisiniz.

Windows 11'de Ollama Kurulum Kılavuzu

Ollama'yı Windows 11'e yüklemek çok kolay bir işlemdir; resmi web sitesinden veya GitHub deposundan program yükleyicisini indirip cihazınıza kurmanız yeterlidir.

Bunlar basit adımlardır.

Kurulum ve başlatmanın ardından masaüstünüzde hiçbir şey görünmeyecektir. Program tamamen arka planda çalışır, ancak simgesini görev çubuğunda görebilirsiniz.

Programın doğru çalıştığını kontrol etmek için web tarayıcınızda localhost:11434 adresine gidebilirsiniz .

Ollama'da ilk büyük dil modelinizi (LLM) kurun ve çalıştırın

Ollama'yı kullanarak ilk büyük dil modelinizi (LLM) çalıştırmak için öncelikle komut satırı arayüzünü (CLI) kullanmanız gerekir. Windows'ta PowerShell'i açın veya Ollama orada yüklüyse WSL'yi kullanın.

Ollama için grafiksel kullanıcı arayüzleri (GUI'ler) olmasına rağmen, burada komut satırını kullanmaya odaklanıyoruz. CLI'yi kullanmakta rahatsanız bu yardımcı olacaktır.

Bilmeniz gereken iki temel şey şunlardır:

koşmak

koy

Ollama'dan şu anda yüklü olmayan bir LLM formunu çalıştırmasını isterseniz, otomatik olarak önce indirip çalıştıracaktır. Yüklemek istediğiniz büyük dil formlarının doğru adlarını Ollama web sitesinde kolayca bulabilirsiniz.

Örneğin, 3 milyar parametreli Google Gemma 1 LLM modelini kurmak ve çalıştırmak için aşağıdaki komutu girin:

ollama koşusu Gemma:1b

İsimin sonuna `:1b` eklemenin , 1 milyar parametreli modeli istediğinizi gösterdiğini unutmayın . Eğer 4 milyar parametreli modeli istiyorsanız, bunu `:4b` olarak değiştirmeniz gerekir.

Terminalinizde formları çalıştırmak, cihazınızda yerel olarak çalışan komutlarınızı yazmanıza ve yanıtlar almanıza olanak tanıyan tanıdık bir sohbet robotu deneyimi sunacaktır.

Formdan çıkıp PowerShell'e geri dönmek için sadece **/bye** yazmanız yeterli olacaktır, böylece işlem sonlandırılacaktır.

Bu, Ollama'yı bilgisayarınıza kurmanın ve ona sunulan LLMs paketini kullanmanın mutlak temellerini kapsar. Temel deneyim çok basit ve kullanımı kolaydır, kurulum için neredeyse hiç teknik bilgi gerektirmez. Eğer ben yapabiliyorsam, siz de yapabilirsiniz!