AI Nieuws Vandaag
Programmeur draait een AI-assistent zonder internet op zijn laptop
Een ingenieur van Thomson Reuters beschrijft hoe hij in de uitlopers van de Himalaya zo'n assistent volledig op zijn eigen laptop draait. Hij gebruikt OpenCode, Ollama en het model Qwen3.5 9B. Hij downloadt alles eerst en zet daarna het internet uit.
Wat heb je eraan: Wie veel reist of slecht internet heeft, kan zo toch doorwerken, al heeft zijn laptop daarvoor flink wat geheugen nodig.
Een coding agent is een AI-assistent die in een project bestanden leest, wijzigingen voorstelt en tests draait. Meestal werkt hij via het internet.
Wat kan OpenCode zonder internet op je laptop?
Principal Engineer is een hoge ontwikkelaarsfunctie. Die titel heeft de schrijver bij Thomson Reuters. Hij woont sinds een jaar aan de voet van de Himalaya, waar internet en stroom regelmatig uitvallen.
Op Latent Space schrijft hij dat hij zijn AI-assistent daarom ook offline wilde gebruiken. OpenCode is zo'n assistent met open broncode, die in de terminal draait. Dat is het tekstvenster waarin je opdrachten typt. Hij leest bestanden, stelt wijzigingen voor en draait tests.
Offline kun je volgens hem een functie laten uitleggen, een falende test laten onderzoeken of een stukje code laten opschonen. Een nieuw pakket downloaden of iets opzoeken lukt zonder verbinding niet. Voor wijzigingen en opdrachten vraagt OpenCode eerst toestemming.
Hoe draait het model Qwen3.5 9B lokaal?
Ollama is een programma dat een AI-model op je eigen computer laat draaien. OpenCode stuurt zijn vragen naar Ollama op dezelfde laptop. Het model is Qwen3.5 9B, een model waarvan je de gewichten kunt downloaden. Dat zijn de aangeleerde waarden waarmee het antwoorden maakt.
De schrijver downloadt alles eerst en zet daarna het internet uit. Hij koos de 9B-versie omdat die beter scoort dan de kleinere 4B. Op een test voor programmeren haalt 9B 65,6 punten en 4B 55,8. Die cijfers komen uit de modelbeschrijving van Qwen en zijn geen metingen op zijn laptop.
De schrijver noemt ook een alternatief: Aider, een andere assistent die ook met Ollama werkt. Voor zijn uitleg bleef hij bij OpenCode, zodat de resultaten vergelijkbaar bleven.
Hoeveel geheugen heeft Qwen3.5 9B nodig?
Het bestand van Qwen3.5 9B is 6,6 tot 7,6 GB groot. Dat is niet het geheugen dat je laptop nodig heeft. Het bedrijf Voltti rekent op 12 tot 16 GB werkgeheugen voor een versie van 6,6 GB.
De instelling van de schrijver, met een context van 64.000 tokens, kan volgens hem meer vragen. Context is hoeveel tekst het model tegelijk kan overzien, en tokens zijn de stukjes tekst waarin dat wordt geteld. Laat dus ruimte over voor andere programma's.
Wil je het zelf proberen, kijk dan eerst hoeveel geheugen je laptop heeft. Een kleinere variant van 3,3 tot 4,0 GB past eerder, maar scoort lager. Download alles vooraf, want daarna heb je geen verbinding meer nodig.
Gemeld door 1 bron: Latent Space
Lees de bron (naar de bron)Klopt er iets niet?
Onderwerpen: Lokale AIQwenOpen modellen
Elke ochtend het AI-nieuws in je mail
Om 07:00 de belangrijkste berichten, in gewone taal. Gratis, en afmelden kan altijd met één klik. Je meldt je aan bij Buttondown, de dienst die de nieuwsbrief voor ons verstuurt.
