Pokretanje open-source jezičnog modela na vlastitom računalu više nije rezervirano za ML inženjere s naprednim GPU-ovima. Zahvaljujući alatima poput Ollame i sve boljim manjim modelima, danas je moguće imati sposoban AI asistent koji radi potpuno lokalno — bez interneta, bez slanja podataka trećoj strani, bez mjesečne pretplate.
Zašto uopće pokretati LLM lokalno
- Privatnost — podaci nikad ne napuštaju vaš stroj, bitno za osjetljive dokumente ili interni kod.
- Bez troška po upitu — nakon što preuzmete model, koristite ga besplatno koliko god puta želite.
- Rad bez interneta — koristan za rad na terenu ili u okruženjima s ograničenim pristupom mreži.
- Kontrola i eksperimentiranje — možete testirati različite modele, parametre i fine-tune verzije bez ograničenja API-ja.
Nedostatak: lokalni modeli, posebno manji, obično zaostaju za najboljim komercijalnim modelima u složenijim zadacima, a brzina ovisi o vašem hardveru.
Najjednostavniji put: Ollama
Ollama je alat koji upravlja preuzimanjem, pokretanjem i API-jem za lokalne modele, sličan Dockeru ali za LLM-ove.
Instalacija
# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh
# Windows: preuzmite installer sa ollama.com
Pokretanje modela
ollama run llama3.1
Prvi put ova naredba preuzima model (nekoliko GB, ovisno o veličini), a zatim otvara interaktivni chat izravno u terminalu.
Popularni modeli za lokalno pokretanje
| Model | Veličina | Preporučena RAM |
|---|---|---|
| Llama 3.1 8B | ~4.7 GB | 8 GB+ |
| Mistral 7B | ~4.1 GB | 8 GB+ |
| Phi-3 mini | ~2.3 GB | 4 GB+ |
| Qwen2.5 14B | ~8-9 GB | 16 GB+ |
Manji modeli (Phi-3, Mistral 7B) rade i na laptopima bez dedicirane grafike, dok veći modeli traže ili jaku GPU karticu (Nvidia s dovoljno VRAM-a) ili puno strpljenja na CPU-u.
Korištenje kroz API u vlastitom kodu
Ollama automatski izlaže lokalni HTTP API na portu 11434, kompatibilan s formatom sličnim OpenAI-jevom:
const response = await fetch("http://localhost:11434/api/generate", {
method: "POST",
body: JSON.stringify({
model: "llama3.1",
prompt: "Objasni RAG u dvije rečenice.",
stream: false,
}),
});
const data = await response.json();
console.log(data.response);
Ovo znači da lokalni model možete uključiti u postojeću aplikaciju gotovo bez promjene koda — samo mijenjate URL endpointa.
Alternative vrijedne spomena
- LM Studio — grafičko sučelje za preuzimanje i chat s modelima, dobar izbor ako ne volite terminal.
- llama.cpp — niskorazinska implementacija na kojoj se temelje mnogi drugi alati; nudi najviše kontrole nad performansama.
- GPT4All — desktop aplikacija fokusirana na jednostavnost, uključuje ugrađenu bazu modela.
Praktični savjeti za bolje performanse
- Koristite kvantizirane verzije modela (npr. Q4_K_M) — smanjuju veličinu i memorijski otisak uz mali gubitak kvalitete, standardno su podrazumijevane u Ollami.
- Pratite temperaturu i broj tokena konteksta — veći kontekst prozor troši više memorije; ne postavljajte ga veći nego što vam stvarno treba.
- GPU ubrzanje — ako imate Nvidia karticu s CUDA podrškom, Ollama je automatski koristi; provjerite
nvidia-smitijekom generiranja da vidite iskorištenost. - Zatvorite model kad ga ne koristite (
ollama stop <model>) — modeli ostaju učitani u memoriji određeno vrijeme nakon zadnjeg upita.
Zaključak
Lokalni LLM-ovi danas su realna opcija za svakodnevni rad, posebno za zadatke gdje privatnost ili trošak igraju ulogu. Ne očekujte da će manji lokalni model u potpunosti zamijeniti najnaprednije komercijalne modele za svaki zadatak, ali za pisanje koda, sažimanje teksta i brzu pomoć pri radu, lokalno pokretanje je iznenađujuće dobro rješenje — uz potpunu kontrolu nad vlastitim podacima.
