Zo werkt robots.txt: een bordje voor zoekrobots

Wat staat er in een robots.txt?

Elke website kan een bestand met de naam robots.txt neerzetten. Daarin staat in gewone regels welke programma's welke pagina's niet mogen bezoeken. Zo'n programma heet een crawler: een bot die sites automatisch afloopt en de inhoud uitleest.

Zoekmachines gebruiken crawlers om pagina's te vinden. Een crawler die zich netjes gedraagt, leest eerst het bestand en slaat verboden delen over. Een site kan dus bijvoorbeeld één bot buitensluiten en de rest toelaten.

Daardoor kun je ook aangeven dat een bot van een AI-bedrijf je teksten niet mag meenemen. Een AI-model leert van enorme hoeveelheden tekst, en die komen deels van websites. Met robots.txt laat een site weten dat zijn teksten daar niet voor bedoeld zijn.

Kan een robots.txt een bot echt tegenhouden?

Nee, het bestand is een verzoek en geen slot. Een bot kan de regels gewoon negeren, omdat er technisch niets voorkomt dat hij de pagina opent. Het werkt dus alleen als de maker van de bot zich eraan wil houden.

Daarom hangt veel af van afspraken en vertrouwen. Bedrijven zeggen vaak dat ze de regels volgen, en sites kunnen dat alleen achteraf nagaan. Wie echt wil blokkeren, heeft meer nodig, zoals een betaalmuur of een inlog.

Een robots.txt is wel een duidelijk teken van wat de eigenaar wil. Dat kan later meetellen als bedrijven en uitgevers erover in conflict komen. Het bestand legt dus een wens vast, ook al dwingt het niets af.

Wat betekent robots.txt voor het nieuws over Meta?

In de nieuwe voorwaarden van Meta speelt dit bestand een rol. Juristen zeggen tegen Nieman Lab dat Meta zich op die voorwaarden zou kunnen beroepen, ook als een site via robots.txt bots weert. Meta zegt zelf dat sites hun voorkeur nog steeds zo kunnen aangeven.

Het verschil is belangrijk. Een robots.txt is een eenzijdig bordje van de site. Voorwaarden zijn een afspraak waarmee een bedrijf akkoord gaat om een dienst te mogen gebruiken. Een rechter moet nog bepalen welke van de twee zwaarder weegt, en dat staat niet vast.

Heb je zelf een website, bijvoorbeeld voor je bedrijf, kijk dan eens naar je robots.txt. Je vindt het door /robots.txt achter je eigen webadres te zetten. Weet je wat erin staat, dan weet je ook wat je wel en niet hebt aangegeven.