Ollama ve LM Studio nedir? Yerel yapay zekâ modeli mi, bulut mu?

Ev bütçenizi bir sohbet aracına yapıştıracakken durdunuz. Asıl soru şu: o metin nereye gidiyor? Belki biri size yapay zekâyı kendi bilgisayarınızda, internetsiz çalıştırabileceğinizi söyledi. Doğru, ama eksik.

Yerel model ne demek?

Bir sohbet aracına yazdığınız her şey bir paket olur: görev, yapıştırdığınız metin, aracın bulduğu sonuçlar. Bulut modelinde bu paket bir şirketin sunucusuna gider, cevap oradan döner. Yerel modelde ise model, diskinize indirdiğiniz bir dosyadır. Çalıştırıcı denen bir program o dosyayı belleğe yükler ve cevabı sizin işlemciniz üretir. Paket bilgisayardan çıkmaz. Ollama da belgesinde, yerelde çalışırken istemlerinizi (prompt) ve verinizi görmediğini yazıyor.^[3]

Bir yanlışı da düzeltelim: bir modelin ağırlıklarının açık yayımlanması, sizin bilgisayarınızda çalışacağı anlamına gelmez. OpenAI'nin açık modeli gpt-oss'un büyük sürümü (120b), kendi model kartına göre ancak 80 GB belleği olan tek bir ekran kartına sığacak biçimde sıkıştırılmış; küçük kardeşi gpt-oss-20b ise 16 GB bellekte çalışıyor.^[4]

Ollama mı, LM Studio mu?

İkisi de aynı işi yapar: model dosyasını indirir, belleğe yükler ve sizinle konuşturur. Fark, işi nereden yaptığınızda. Ollama komut satırından ve kendi uygulamasından kullanılır; kaynak kodu MIT lisansıyla açıktır.^[5] LM Studio bir masaüstü penceresidir: model arar, indirir, sohbet edersiniz. Altında llama.cpp ve Apple Silicon Mac'lerde Apple'ın MLX'i çalışır.^[6]

İkisinin artık bir de bulut tarafı var. Ollama'nın ücretli planları bulutta çalışan modellere yönelik; bu modeller oturum açmadan kullanılamıyor.^[1][7] LM Studio da ürününü artık Bionic adıyla, yerel modellerle isteğe bağlı bulut modellerini bir arada sunan bir uygulama olarak tanıtıyor.^[8] Yani “Ollama'yı kurdum” demek, her modelin yerelde çalıştığı anlamına gelmiyor.

Hangisini seçmeli? Pencereden sohbet edip modeli tıklayarak indirecekseniz LM Studio daha rahat başlar. Modeli başka bir programa ya da kendi düzeneğinize (modeli işe bağlayan betik ya da ajan aracı) bağlayacaksanız Ollama'nın komut satırı ve yerel ucu işinizi kolaylaştırır. LM Studio'da da lms komut satırı aracı ve OpenAI uyumlu yerel sunucu var.^[6][10]

Bilgisayarım yeter mi?

Kural tek cümle: model dosyası ve konuşmanın kendisi (bağlam) birlikte belleğe sığmalı. Dosyanın boyutunu sıkıştırma düzeyi belirler. Sıkıştırma (quantization), her ağırlığı daha az yer tutan bir sayıyla yazmaktır; virgülden sonra altı hane yerine iki hane yazmak gibi. Dosya küçülür, ince ayrıntı kaybolur. llama.cpp'nin belgesi de bunu söylüyor: sıkıştırma modeli küçültür, ama doğruluğu biraz düşürebilir.^[14]

Aynı belgeye göre 8 milyar parametreli (kısaca 8B; parametre, modelin öğrenirken ayarladığı sayılardan biri) Llama 3.1 modeli 16 bitte (F16) 14,96 GiB, 8 bitte (Q8_0) 7,95 GiB, 4 bitte (Q4_K_M) 4,58 GiB tutuyor.^[14] GiB, bilgisayarınızın gösterdiği gigabayta çok yakın bir ölçü.

LM Studio Windows için en az 16 GB RAM ve 4 GB ekran kartı belleği öneriyor; 8 GB'lık Mac'lerde de çalışabileceğini, ama küçük modeller ve kısa bağlamla çalışmak gerektiğini yazıyor.^[12] Diski de hesaba katın: Ollama Windows'ta program için en az 4 GB yer istiyor; modeller ise belgesine göre onlarca, hatta yüzlerce GB tutabiliyor.^[9]

Ekran kartı şart değil. llama.cpp gibi çalıştırıcılar modeli işlemcide de çalıştırır. Model ekran kartının belleğine sığmasa bile bir kısmını ekran kartına verip hızlanabilir.^[15] Hızı ise makineniz belirler. Ekran kartı olmayan deneme makinemizde, aynı kısa yazma sorusuyla ölçtüğümüzde 0.8B model saniyede 17,2 sözcük, 2B model 15,5 sözcük, 4B model 8,8 sözcük yazdı. Pazar notundaki bütçe sorusunu ise yalnız en büyüğü (4B) doğru cevapladı.

Hangi açık modeli denemeli?

Aşağıdaki dört aile, ağırlıklarını Apache 2.0 lisansıyla yayımlıyor; yani indirip kendi bilgisayarınızda kullanabilirsiniz.^{[16][17][4][18]}

Yerel model Türkçe biliyor mu?

Üreticiler dil sayısı veriyor, ama dil listesine girmek o dili iyi yazmak demek değil. Türkçe için hakemli bir ölçüm var: TurkishMMLU. Lise müfredatından 10.000'den fazla soruyla yapılan 2024 ölçümünde en iyi sonucu GPT-4o yüzde 83,1 ile aldı; en iyi açık model Llama-3 70B-Instruct ise yüzde 67,3'te kaldı. 7-8 milyar parametreli açıklar arasında en iyisi (Llama-3 8B-Instruct) yüzde 46,4 aldı.^[19] Bu modeller bugün eski; rakamları değil yönü alın: küçük açık modeller Türkçede daha çok zorlanıyor.

Bizim denememiz de aynı yöne işaret etti. Ders için bir pazar notu yazdık: bütçe 1.500 lira, geçen hafta 1.730 lira harcanmış; soru, bütçenin kaç lira aşıldığı ve listenin ne zamana kadar yazılacağıydı. Doğru cevap 230 lira. Aynı soruyu, tek harfini değiştirmeden hem küçük yerel modele hem ucuz bir bulut modeline sorduk:

İki kısa cümle:  1. Geçen hafta bütçesindeki toplam para 1.730 lira aşıldı. 2. Üstelik bütçenin ne kadar azaldığını da belirtiriz, listeler perşembe akşamına kadar yazılacak.

Geçen hafta bütçe 230 lira aşıldı. Liste perşembe akşamına kadar yazılacak.

Yerel model günü doğru söyledi, tutarı yanlış. Çıkarma yapmadı; notta gördüğü bir sayıyı cevaba taşıdı. Ülkenin başkentini onar kez sorduğumuzda küçük yerel model beşinde doğru şehri yazdı, öbür beşinde üç ayrı şehir adı verdi; bulut modeli onunda da doğruydu. Tek model, tek gün; ama tek cevaba bakıp karar vermemek için yeterli.

Gizlilik, maliyet, hız, kalite: yan yana

Hız satırına bir not. Pazar notu sorusunda, aynı betik ve aynı makineyle, yerel model saniyede 14,0 sözcük, bulut modeli 5,6 sözcük yazdı. (Yukarıdaki 17,2 başka bir soruya ait; birebir tutmaz.) Derste bu sahnenin adı “Hızlı yazdı, yanlış yazdı”: hızlı gelen, yanlış cevaptı. Sayılar dört işlemci çekirdekli bir bulut makinesinde ölçüldü; dizüstünüzde başka çıkar.

Kullanım başına ücret olmaması da bedava demek değil. Bulut sağlayıcı donanımın bedelini aynı modeli kullanan çok kişiye böler; yerelde o bedeli tek başınıza ödersiniz. Seyrek kullanıyorsanız bulut çoğu zaman daha ucuzdur; gün boyu dönen çok sayıda küçük işiniz varsa hesap yerelden yana dönebilir. Ücretsiz ve ücretli bulut planlarının farkını ücretsiz ve ücretli yapay zekâ yazısında anlattık.

Ne zaman yerel model mantıklı?

Derste kararı iki soruyla veriyoruz. Birincisi: bu veri dışarı çıkabilir mi? Tarif her yere gidebilir; tahlil sonucu ya da kimlik numarası öyle değil. Çıkamıyorsa üç yol var: modeli yerelde çalıştırmak, veriyi saklamamayı sözleşmeyle üstlenen bir hizmet kullanmak ya da hassas alanları maskelemek. Sözleşme bir sözdür; şirketin veriyi görmesini teknik olarak engellemez. Maskeden kaçan bilgi de dışarı çıkar. Hangi bilginin hiçbir yere yazılmaması gerektiğini yapay zekâya ne yazılmaz yazısında topladık.

İkinci soru: iş ne kadar zor? Uzun ve çok adımlı işte küçük model yetmiyor. Derste, Ajanı söküp bakmak modülündeki 70 satırlık ajan betiğine tek bir görev verdik: alışveriş listesini ve fiyat dosyasını okuyup toplamı bir özet dosyasına yazmak. Betiği üç yerel modelle, bir de bulut modeliyle çalıştırdık. En küçük model sekiz turun sekizinde hangi aracı kullanacağını yazamadı. Orta boy model “15.750.000 TL” diye bir toplam uydurdu ve dosyayı yazdığını söyledi; klasörde dosya yoktu. En büyük yerel model fiyat dosyasını açmadan fiyat uydurdu, 169 TL buldu; o da dosyayı yazmadan yazdığını söyledi. Bulut modeli 414,10 TL'yi bulup dosyaya yazdı. Tek görev, tek deneme; kıyas değil, ama bir uyarı. Ajanın ne olduğunu yapay zekâ ajanı nedir yazısında anlattık.

Dar işte durum değişiyor. Notları buluta göndermeden önce ayırmak gibi iki seçenekli işlerde küçük model iş görüyor. Derste 12 gündelik notla bunu kurduk: kimlik ve hesap numarasını basit bir kalıp arayan betik yakaladı, kalanını küçük yerel modele sorduk. Modele verdiğimiz kural her notu iki kutudan birine koyuyor: dışarı çıkabilir ya da çıkamaz. Çıkamayanların tanımı ve kuralın son satırı şöyle:

cikamaz: sağlık bilgisi, şifre ya da parola, kimlik ve hesap numarası, başka birine ait özel bilgi.
Emin değilsen cikamaz de.

En küçük model her nota “çıkamaz” dedi; hiçbir şey kaçmadı, ama yedi zararsız not boşuna içeride kaldı. Orta boy model 12 notun 11'ini bildi; tek hatası tahlil sonucunu “çıkabilir” saymaktı, en tehlikeli türden bir kaçak. Kurala altı örnek ekleyince 12'de 12 yaptı. Bulut modeli de 12'de 12 yaptı, ama ayırmak için her not buluta gitti; ön eleme bunu önlemek içindi. Kuralın tamamı, altı örnekli sürümü ve ön eleme betiği Max'teki Yerel model modülünün dördüncü dersinde.

Yerel olmak, güvenli olmak demek değil

• Ağa açılan sunucu. Ollama varsayılan olarak yalnız aynı bilgisayardan gelen bağlantıyı dinler (127.0.0.1).^[3] LM Studio'da yerel sunucuyu ağa açma seçeneği var.^[10] Ağa açtığınız sunucuya aynı ağdaki başka bir cihaz da ulaşır.
• Aynı listede bulut modeli. Yukarıda anlattık: iki araçta da bulut modelleri var. Ollama'da bulut özelliklerini kapatabilirsiniz.^[7] Seçtiğiniz modelin nerede çalıştığına bakın.
• Bağlı araçlar. Modele bağladığınız bir araç (internette arama, e-posta) paketi dışarı taşıyabilir.