Schrijver noemt AI-detector Pangram een moderne heksenwaag

Waarom vergelijkt Barend Last Pangram met een heksenwaag?

In Oudewater kon je je in de 16de tot de 18de eeuw laten wegen als je van hekserij werd verdacht. Was je te zwaar voor een bezemsteel, dan kreeg je een certificaat: geen heks. Last schrijft in NRC dat de weegschaal wel betrouwbaar was, want tien keer wegen gaf tien keer hetzelfde gewicht.

Maar dat zei niets over hekserij. Volgens Last meet een AI-detector op dezelfde manier iets, zonder dat het antwoord op de echte vraag geeft. Hij noemt het verschil tussen betrouwbaar (steeds hetzelfde resultaat) en valide (het meet wat je wilt weten).

Aanleiding is een rij gevallen dit najaar. Kamerlid René Claassen hoorde van De Groene Amsterdammer dat zijn speeches door Pangram waren gehaald. Hij opende een debat met de grap dat de bijdrage mede mogelijk was gemaakt door zijn beleidsmedewerker, hemzelf en Claude. Ook twee genomineerde essayisten voor de Joost Zwagerman Essayprijs moesten volgens Last het veld ruimen.

Wat is er mis met de cijfers van Pangram?

Het bedrijf zelf noemt één vals alarm op de tienduizend teksten. Last noemt dat "onzin". Hij wijst op mensen die op LinkedIn oude teksten van vóór ChatGPT door de tool haalden en toch de uitslag "100 procent AI" kregen.

Het gaat ook de andere kant op. Een AI-tekst kan volgens Last met één typefout of extra puntkomma naar 0 procent AI zakken. Wie een zogeheten humaniseertool gebruikt, een tekst in eigen woorden inspreekt of hier en daar een zin aanpast, komt ook langs de tool.

Het onderzoek waarop redacties vertrouwen, vergeleek volgens Last teksten van vóór ChatGPT met pure machineteksten, dus zwart naast wit. Het grijze gebied daartussen bleef buiten beeld. Ander onderzoek laat volgens hem zien dat vooral strakke stilisten en mensen die in een tweede taal schrijven ten onrechte worden aangemerkt.

Wat betekent een Pangram-uitslag voor jouw teksten?

Last legt uit wat "100 procent AI" volgens hem betekent. Voor zover bekend knipt Pangram een tekst in stukjes en schat per stukje of de stijl op een machinetekst lijkt. Je kunt dus alle ideeën zelf bedenken, een model de puntjes op de i laten zetten en toch volledig als AI worden gelabeld.

Zijn punt is dat de vraag anders moet. Staat de schrijver achter zijn woorden, zijn de ideeën van hem en kan hij erover verantwoording afleggen? Bij een politicus kan dat volgens Last gewoon met doorvragen in een debat, maar in het debat dat De Groene beschrijft werd vrijwel niemand geïnterrumpeerd.

Voor jezelf betekent dit: zie een uitslag van zo'n tool als een schatting en niet als bewijs. Kun je uitleggen wat je schrijft en waarom, dan sta je sterker dan met een percentage. Last waarschuwt wel voor een ander risico: dat taalmodellen het denken en spreken van politici ongemerkt kleuren.