OpenAI trekt drie wiskundige artikelen in na een tekenfout

Wat ging er precies mis?

De fout zit in het artikel "Algebraicity of Weil classes on split abelian eightfolds". Daar maakt een tekenfout, een plus die een min had moeten zijn, een stap in het bewijs ongeldig. Het gaat om een argument over het wegvallen van termen, in OpenAI's woorden een "stabilization-trace cancellation argument".

Twee andere artikelen bouwden op die stap voort. Daarom zijn ook "Algebraicity of Kuga–Satake Correspondences for K3 Surfaces" en "The rational Hodge conjecture for products of K3 surfaces" ingetrokken. Bij elk artikel staat nu een melding met uitleg en een link naar het oude manuscript.

De overige veertien artikelen kregen reparaties, zoals verbeterde bewijsstappen, aangescherpte voorwaarden en één verwijzing naar een verwijderd artikel. Dertien andere artikelen kregen alleen nieuwe verwijzingen en versiedata.

Hoeveel is al gecontroleerd?

OpenAI voegde zes nieuwe controles in Lean toe, plus vijf andere aanvullingen op ondersteunende resultaten. Lean is een programma waarmee een computer een bewijs stap voor stap nakijkt. Van de 719 belangrijkste resultaten zijn er nu 300 zo gecontroleerd, ongeveer 42 procent.

Onderzoeker Dan Roberts van OpenAI schreef op X dat de map nu "3 withdrawals" en 19 aanpassingen kent. Hij zegt dat OpenAI de map blijft bijwerken, ook met fouten die het nog ontdekt. Dat betekent ook dat ruim half van de topresultaten nog niet door Lean is gecontroleerd.

Alle eerdere versies blijven te vinden via de versienotities in de README-bestanden van de map. Je kunt dus zelf nagaan wat er veranderd is.

Wat vinden wiskundigen ervan?

De Association for Human Mathematics, een groep wiskundigen, reageerde scherp. Zij schrijft dat wiskundigen niet om dit werk vroegen. Ook vindt ze dat AI-bedrijven geavanceerde wiskundeproblemen niet op interne modellen moeten testen.

De groep roept wiskundigen op om niet meer met OpenAI samen te werken. Over de bijna 700 bestanden zegt ze: "Releasing over 700 files at once is not a demonstration of scholarship, but a demonstration of power." Dat is de mening van één belangenorganisatie, niet van alle wiskundigen.

Wat kun je hieruit meenemen? Geloof een bewijs van een AI niet zomaar, ook niet als het veel bestanden telt. Let erop of een resultaat in Lean is gecontroleerd en of de makers fouten openlijk herstellen. Dat laatste deed OpenAI hier, al kwam de fout pas na de publicatie aan het licht.