Groot AI-model draaien op je eigen gaming-pc
Strata laat het model Qwen3.8-Flash-Next draaien, een groot model met 125 miljard parameters (de rekenwaarden waaruit een model bestaat). Je hebt een NVIDIA- of AMD-videokaart nodig met minstens 12 GB geheugen, en op een RTX 5070 schrijft het in de snelste uitvoering 94 tokens per seconde, waarbij een token ongeveer driekwart woord is.
Wat betekent dit: Je kunt een slim model gebruiken zonder dat er iets je pc verlaat, al heb je daarvoor wel een stevige computer met 32 GB werkgeheugen en ongeveer 80 GB vrije schijfruimte nodig.
Strata is een gratis programma van Niko1221 met bijna 14.700 sterren op GitHub (een soort waardering door ontwikkelaars). Het laat je een AI-model op je eigen computer draaien, dus zonder internetdienst ertussen. Dat heet lokaal draaien, en open source betekent dat de code voor iedereen openstaat.
Gemeld door 1 bron: Hacker News (916 punten) (14.690 sterren op GitHub)
Lees de bron (naar de bron)Deel via WhatsAppKlopt er iets niet?
Onderwerpen: QwenOpen modellen
Lees ook
- Zoekmachine Ecosia stapt van Mistral over op open modellenTechmemeNederland
- Mistral brengt gratis model Large 4 uit, bijnaam Le ChonkArs Technica AIModellen
- Mistral laat voorproefje van nieuw groot model los
- Nieuw Amerikaans AI-model Beam kondigt zich aanLatent SpaceModellen
- Claude Code heeft weer een update gekregen