Zo werkt een benchmark: een proefwerk voor AI-modellen

Hoe werkt een benchmark voor AI-modellen?

Denk aan het proefwerk op school. Alle leerlingen krijgen dezelfde vragen, en het cijfer laat zien wie het meeste goed heeft. Een benchmark doet dat voor AI-modellen: een vaste reeks opgaven, door iedereen op dezelfde manier gemaakt.

Omdat de opgaven gelijk zijn, kun je modellen van verschillende bedrijven met elkaar vergelijken. Een score is meestal het percentage opgaven dat het model goed beantwoordt. Dat maakt een benchmark handig, want een getal leest sneller dan een lange beschrijving.

Er bestaan benchmarks voor van alles, zoals programmeren, rekenen of het vinden van fouten in software. Sommige zijn een ranglijst waarop modellen elkaar verslaan. Een bedrijf kiest zelf welke cijfers het laat zien.

Wat zegt een score als 88,2 procent wel en niet?

Zo'n score zegt alleen iets over de opgaven die in de test zaten. Google meldt bij Gemini 4 Carbon 88,2 procent op SEC-bench Pro, een test voor het vinden van fouten in software. Dat betekent niet dat het model 88,2 procent van alle fouten in alle programma's vindt.

Daardoor kan een model hoog scoren en toch tegenvallen bij jouw eigen klus. Stel dat je ChatGPT of Claude vooral gebruikt om mails te schrijven. Een score voor programmeren zegt dan weinig over wat jij merkt.

Let ook op wie het cijfer meldt. Bedrijven noemen graag de tests waarop hun model goed uitkomt. Een meting door een onafhankelijke partij is betrouwbaarder dan een cijfer van het bedrijf zelf.

Waar let je op bij benchmarkcijfers van bedrijven?

Vraag je eerst af wat de test precies meet. Een test voor webontwerp zegt niets over rekenen, en andersom. Kijk dus naar de test die past bij wat jij met een model doet.

Kijk ook of er meerdere tests zijn en of andere partijen de uitkomst hebben nagemeten. Eén hoog cijfer is een aanwijzing, geen bewijs. Bij Carbon zijn de cijfers van Google en de testmakers nog niet onafhankelijk nagemeten.

Het beste blijft zelf proberen. Geef twee modellen dezelfde opdracht uit je eigen werk en vergelijk de antwoorden. Zo maak je je eigen proefwerk, met opgaven die voor jou tellen.