Zo werkt distillatie: een AI-model leert van een ander model

Hoe leert een model van een ander model?

Stel je voor dat je ChatGPT duizenden vragen stelt en elk antwoord bewaart. Met die vragen en antwoorden kun je een tweede, kleiner model trainen. Het leert zo antwoorden te geven in de stijl en op het niveau van het eerste.

Dat heet distillatie, een woord dat teruggaat op het afscheiden van de kern uit een vloeistof. Het werkt omdat een model niet alleen feiten leert, maar ook hoe een goed antwoord eruitziet. Daardoor hoeft het tweede model niet te beschikken over de bronnen waarmee het eerste is gemaakt.

Bedrijven gebruiken dit ook op een nette manier. Ze maken van een groot, duur model een kleiner model dat sneller en goedkoper draait. Zo past een slimme assistent soms op een telefoon.

Wanneer is distillatie een aanval?

Het wordt een probleem als iemand het zonder toestemming doet. Een aanvaller stuurt dan enorme aantallen vragen naar het model van een ander bedrijf. Hij gebruikt de antwoorden om een eigen model te trainen, zonder zelf het dure werk te doen.

Dat kost de eigenaar van het model geld en brengt zijn werk in gevaar. Toegang tot zo'n model loopt vaak via een sleutel, een lange code die laat zien wie er betaalt. Met een gestolen sleutel kan een aanvaller dus vragen stellen op rekening van een ander.

Bij OpenCode, een programma waarmee ontwikkelaars AI laten programmeren, noemt het bedrijf het lek een distillatie-aanval. Onderzoekers als Nathan Lambert vragen zich af of die term klopt, omdat hij niet uitlegt hoe de sleutels zijn buitgemaakt. Het bedrijf heeft de precieze volgorde niet bevestigd.

Waar let je op bij nieuws over distillatie?

Vraag je bij zo'n bericht af wat er is gestolen en wat er daarna mee is gedaan. Distillatie zelf is een trainingsmethode, geen inbraak. De inbraak is het verkrijgen van toegang, bijvoorbeeld via een sleutel.

Het woord zegt dus vooral iets over het doel van de aanvaller, niet over de manier waarop hij binnenkwam. Een bedrijf kan het gebruiken om een incident groter of technischer te laten klinken. Wacht liever op wat het bedrijf concreet bevestigt.

Gebruik je zelf een sleutel voor een AI-dienst, behandel hem dan als een wachtwoord. Deel hem niet en vervang hem als je denkt dat hij is uitgelekt. Zo houd je de schade klein, wat voor aanval het ook was.