Ollama op Windows: lokale AI draaien op je pc (complete gids)

Wil je AI-modellen lokaal op je Windows-pc draaien — gratis, privé en offline — dan is Ollama het kortste pad ernaartoe. Draai je met echte bedrijfsdata? Loop dan eerst onze 5 checks om open modellen veilig te draaien langs. En lokaal wordt snel serieuzer: sinds juli 2026 past zelfs een 27B-model in enkele gigabytes, dus wat je hier leert wordt alleen maar bruikbaarder. Het hoeft niet via WSL of andere omwegen: sinds februari 2024 is er een gewone Windows-app. In deze gids loop je in een kwartier van “niets” naar “ik chat met een lokaal model”, met de eerlijke kanttekeningen over hardware en GPU’s erbij.

Update 25 september 2026: Gecorrigeerd: AMD-kaarten krijgen op Windows wél GPU-versnelling (via ROCm v7 of Vulkan), de NVIDIA-drivereis is 551.61 of nieuwer en Windows 10 moet minstens versie 22H2 zijn (Ollama-documentatie). Een Mac versnelt Ollama via de GPU (Metal), niet via de Neural Engine. De eisen staan nu in een aparte sectie Stand van zaken onderaan. Let op: sinds versie 0.32.0 (11 juli 2026) start een kaal ollama-commando een agent (in Ollama’s eigen voorbeeld met een cloudmodel), en sinds 0.34.2 (15 september 2026) vraagt Ollama bij de eerste start of je wilt inloggen of lokaal wilt doorgaan; kies lokaal en gebruik ollama run zoals in deze gids als je alles op je eigen pc wilt houden (Ollama).

Beginner-tip: Nog niet helemaal helder wat “lokaal draaien” inhoudt of waarom je het zou willen? Lees eerst de uitleg Wat is Ollama? Lokale taalmodellen draaien op je eigen computer. Daar staat het waarom; hier staat het hoe, specifiek voor Windows.

Wat je nodig hebt

De eisen zijn bescheiden:

• Windows 10 (versie 22H2 of nieuwer) of Windows 11, Home of Pro.
• RAM is de bepalende factor. Reken op 8 GB voor een 7-8B-model, 16 GB voor comfortabel gebruik, en 32 GB of meer voor grotere modellen.
• Een GPU is niet verplicht. Zonder snelle grafische kaart draait het op je processor (CPU) — dat werkt prima voor kleinere modellen, alleen langzamer.
• Schijfruimte: een klein model is 2-5 GB, grote modellen lopen op tot tientallen GB’s.

Gevorderden: De grootte van een model wordt aangeduid in parameters (3B, 8B, 70B). Een ruwe vuistregel: het aantal GB RAM dat je nodig hebt ligt rond het aantal miljarden parameters bij Q4-quantisatie. Een 8B-model vraagt dus ~8 GB, een 70B-model ~64 GB (Llama 3.3 70B is al een download van 43 GB). Voor de volledige hardware-tabel en uitleg over quantisatie: zie de Ollama-uitleg.

Stap 1 — Ollama installeren

Geen WSL, geen administrator-rechten nodig:

1. Ga naar ollama.com/download en kies Windows.
2. Download en draai OllamaSetup.exe. De installer plaatst Ollama in je gebruikersaccount — je hebt dus geen admin-rechten nodig.
3. Na installatie draait Ollama als achtergronddienst (je ziet het icoon in je systeemvak, rechtsonder).

Dat is alles. Geen Python-omgeving, geen losse CUDA-installatie, geen WSL2 (Bron: Ollama Windows-documentatie). Sinds juli 2025 heeft Ollama ook een app met een chatvenster, waarin je een model kiest en bijvoorbeeld een pdf in het gesprek sleept (Bron: Ollama). Deze gids gebruikt de terminal, omdat je daar het beste ziet wat er gebeurt.

Stap 2 — Je eerste model draaien

Open PowerShell of Command Prompt (Windows-toets, typ powershell, Enter) en draai:

ollama run llama3.2

De eerste keer downloadt Ollama het model. llama3.2 (3B) is ~2 GB en werkt ook op een mid-range laptop — een goede start. Zodra de download klaar is, kun je direct typen en krijg je antwoord, volledig lokaal.

Heb je een zware machine met 64 GB geheugen of meer, dan kun je een veel groter model proberen:

ollama run llama3.3

Llama 3.3 heeft 70 miljard parameters en is een download van 43 GB (Bron: Ollama-bibliotheek). Zit je daaronder, kies dan een middelgroot model uit de bibliotheek op ollama.com.

Stoppen met chatten doe je met /bye. Een lijst van je gedownloade modellen krijg je met ollama list.

Beginner-tip: Begin klein. Een 3B-model dat soepel draait, leert je meer over hoe lokale AI voelt dan een 70B-model dat je machine laat zwoegen. Bevalt het, schaal dan op. Welke modellen de moeite waard zijn, lees je in De staat van open-source AI in 2026.

Stap 3 — GPU-versnelling met NVIDIA of AMD

Met alleen een CPU werkt Ollama prima voor kleinere modellen, maar een GPU maakt het flink sneller:

• NVIDIA: werkt automatisch. Heb je een NVIDIA-kaart met compute capability 5.0 of hoger en een actuele driver, dan gebruikt Ollama die meteen via CUDA. Je hoeft de CUDA-toolkit niet apart te installeren; Ollama brengt mee wat het nodig heeft (Bron: Ollama GPU-documentatie).
• AMD: werkt ook op Windows. Recente Radeon-kaarten, zoals de RX 7900 XTX en XT en een reeks PRO-kaarten, gebruiken ROCm v7 met een geschikte driver. Voor andere AMD-kaarten staat Vulkan standaard aan als terugvaloptie (Bron: Ollama Windows-documentatie). Pakt Ollama je kaart niet op, dan draait het gewoon op de CPU.

Gevorderden: Wil je controleren of je GPU echt gebruikt wordt? Draai een model en kijk in Taakbeheer naar het GPU-gebruik, of gebruik ollama ps om te zien of een model op GPU of CPU geladen is. Blijft het op CPU terwijl je een geschikte kaart hebt, controleer dan eerst je driverversie.

Stap 4 — Ollama koppelen aan andere tools

Ollama draait een lokale server op localhost:11434 met een OpenAI-compatibele API. Dat betekent: software die normaal met ChatGPT’s API praat, kun je vaak met één URL-wijziging naar je lokale model laten wijzen — van code-editors tot eigen scripts. Zo gebruik je gratis, lokale modellen in tools die je al kent. Laat die server wel op localhost staan: hoe je controleert dat hij niet voor je hele netwerk openstaat, lees je in Lokale AI-server afschermen. Voor wie code schrijft: onze vergelijking van de beste AI-coding-assistants van 2026 laat zien welke daarvan met een lokale backend overweg kunnen.

Op een Mac in plaats van Windows?

Werk je (ook) op een Mac? Het principe is identiek, maar de stappen en hardware-tips verschillen, vooral omdat Apple Silicon het werkgeheugen deelt tussen processor en GPU, die Ollama via Metal aanspreekt. Daarvoor hebben we een aparte gids: Een AI-model draaien op je eigen Mac. En wil je weten wat de aparte AI-chip in nieuwe laptops (de NPU) wel en niet doet, lees dan Wat is een NPU en waarom zit het in elke AI-laptop?.

Stand van zaken — bijgewerkt 2026-09-25

De stappen hierboven blijven gelijk; de eisen en versies hieronder veranderen vaker.