Waarom een bedrijf een AI-model liever zelf draait

Wat betekent een AI-model zelf draaien?

Wie ChatGPT of Claude gebruikt, stuurt zijn vraag naar de computers van de maker. Die rekent het antwoord uit en stuurt het terug. Je betaalt daar meestal voor per gebruik.

Een bedrijf kan het ook anders doen. Het downloadt een model waarvan de bouwstenen openbaar zijn, een zogeheten open model, en zet dat op eigen servers. Daardoor hangt de rekening niet meer af van hoeveel er gebruikt wordt, maar van de apparatuur die het bedrijf zelf koopt of huurt.

Het AI-model van Z.ai, een Chinees bedrijf, dat Revolut gebruikt, is hier een voorbeeld van. Volgens The Register draait de Britse fintech het op 56 videokaarten van Nvidia. Zo'n opzet vraagt dus een flinke investering vooraf.

Wat levert een eigen model een bedrijf op?

Het eerste voordeel is voorspelbaarheid. Bij betalen per gebruik kan een drukke maand tot een verrassend hoge rekening leiden. Bij een eigen opstelling zijn de kosten grotendeels vast, omdat de servers er toch staan.

Het tweede voordeel is gedrag. Als elk antwoord geld kost, gaan mensen zuinig doen en slaan ze taken over. Zijn de kosten laag, dan proberen ze meer uit. Denk aan iemand die een model alleen voor de lastigste vraag gebruikt, tegenover iemand die het bij alles om hulp vraagt.

Het derde voordeel is controle. Het bedrijf bepaalt zelf welk model draait en wanneer het wordt aangepast. Ook blijven de gegevens op eigen systemen, al hangt de veiligheid dan wel af van hoe goed het bedrijf zijn servers beheert.

Wat zijn de nadelen van een eigen AI-model?

Eerst moet je betalen voor dure apparatuur. Daarnaast heb je mensen nodig die de servers inrichten en afstellen. Een klein bedrijf met weinig gebruik is waarschijnlijk goedkoper uit met betalen per gebruik.

Een eigen model is ook niet altijd het beste voor elke taak. Zo kan het model van Revolut alleen met tekst werken. Daarom stuurt het bedrijf sommige vragen nog steeds door naar andere modellen, dus een mix kan slimmer zijn dan één keuze.

Kijk bij zulk nieuws dus naar twee dingen: hoeveel mensen een model gebruiken en wat een vaste rekening met hun gedrag doet. De besparing die Revolut noemt, is een bewering van het bedrijf zelf. Of het voor jouw werkgever ook loont, hangt af van de eigen situatie.