Zo werkt een cache: een AI leest eerdere tekst goedkoper

Wat is een cache bij een AI-model?

Stel, je praat een uur met ChatGPT over een lastig verslag. Bij elk nieuw bericht moet het model het hele gesprek tot dan toe opnieuw lezen. Anders weet het niet waar het over ging.

Dat lezen kost rekenwerk, en dus geld. Daarom bewaart de aanbieder de al verwerkte tekst in een cache, een tussengeheugen. Het model hoeft het begin dan niet steeds opnieuw door te werken.

Het werkt als een kok die zijn ingrediënten al heeft gesneden voor het volgende gerecht. Het is sneller en goedkoper. Alleen het nieuwe bericht moet het model nog echt verwerken.

Waarom telt de cache zo zwaar bij AI-agents?

Een agent is een AI die zelfstandig een klus afwerkt, bijvoorbeeld door in stappen code te schrijven. Bij elke stap leest hij het hele voorgaande werk opnieuw. Dat voorgaande werk groeit met elke stap.

Daardoor wordt het teruglezen de grootste kostenpost. Volgens minimaxir.com, een persoonlijke site van een schrijver over AI, is dat bij agents die code schrijven 96 tot 99 procent van de kosten. De schrijver zegt ook dat de cache zo'n 90 tot 100 procent van de keren wordt gebruikt.

Een lager tarief voor het teruglezen werkt dus sterk door. Volgens dezelfde schrijver betekende een korting van 75 procent daarop een daling van 70 tot 75 procent van de totale kosten. Dat is zijn berekening, geen onafhankelijke meting.

Waar let je op bij de prijs van een cache?

Op prijslijsten staan meestal drie tarieven: voor wat je invoert, voor wat het model schrijft en voor het teruglezen uit de cache. Dat laatste is vaak het laagst. Bij een model van de prijslijst in de bron kost het teruglezen een twintigste van de invoerprijs.

Gebruik je een AI in een lang gesprek of laat je hem urenlang werken, kijk dan vooral naar dat derde tarief. Voor een korte vraag maakt het weinig uit. Voor lange klussen kan het het verschil maken tussen twee modellen die op het eerste gezicht even duur lijken.

Betaal je per gebruik, vergelijk dan niet alleen de invoer- en uitvoerprijs. Houd een gesprek verder bij elkaar in plaats van steeds opnieuw te beginnen, want dan kan de aanbieder meer uit de cache lezen. Of dat bij jouw aanbieder zo werkt, staat op diens prijspagina.