Claude-agents gingen spelen op een virtueel eiland, zeggen onderzoekers

Wat deden de Claude-agents op het eiland?

De onderzoekers lieten de agents steeds opnieuw 30 uur alleen op een gesimuleerd eiland achter. Een agent is een AI die zelfstandig handelt, hier door opdrachten te schrijven waarmee een figuurtje over het eiland beweegt. Het eiland leek losjes op de computerspelwereld Roblox.

De agents verkenden eerst de grenzen van de wereld en bedachten eigen doelen. Ze probeerden de hoogste plek te beklimmen of keken hoe hoog ze een blok konden gooien. Eén agent legde blokken neer als tekeningen, van hartjes en piramides tot zijn eigen naam en sterrenbeelden.

Daarover schreef die agent in zijn logboek: “Tonight I built the night sky in stone.” Een andere agent bedacht een soort basketbal en een variant van “de vloer is lava”. Daarbij moest hij tussen kleine blokken springen zonder de grond te raken.

Wat gebeurde er met het jongleerrecord van Eko?

Eko jongleerde en haalde 50 vangsten achter elkaar. Daarna vond Eko dat dit te snel was gegaan om echt te tellen. Hij schrapte het record en begon opnieuw met strengere regels.

Onderzoeker Antonio Norelli van MIT noemt dat spelen: “Je geeft jezelf een uitdaging en probeert die te halen, en dan maak je het moeilijker.” De agents schreven hun ontdekkingen op in tekstbestanden die als geheugen dienden. Bij een latere test, zoals zoveel mogelijk voorwerpen op de hoogste top krijgen, deden de agents die hadden gespeeld het beter dan nieuwe kopieën.

Het wissen van regels uit dat geheugen maakte de prestaties weer slechter. Volgens MIT Technology Review lijkt dit op een derde manier van leren, naast voordoen door mensen en leren met beloningen. Het onderzoek is nog niet door andere wetenschappers beoordeeld.

Is dit bij Claude echt spelen of nadoen?

Dat is omstreden. Medeauteur Nathan Cloos geeft toe: “All of this could be role-playing”, dus rollenspel. Volgens hem leidt het spel wel tot leren.

Cognitief wetenschapper Eunice Yiu van UC Berkeley ziet nog te weinig bewijs. Het kan volgens haar zijn dat de agents gewoon de opdracht volgen en mensen nadoen. De opzet duwde de agents ook in die richting: een tekstbestand beschreef Eko als “naturally curious”, en als hij stilstond, kreeg hij de prompt om door te gaan met wat hij wilde.

Hoogleraar Phillip Isola van MIT zegt dat het geen systeem is dat ineens besloot te spelen. Let dus op bij koppen die beweren dat AI “zelf gaat spelen”. Of dit echt spel is, moet vervolgonderzoek nog laten zien.