OpenAI gaat gedeeld robots.txt-signaal voor AI-training volgen
OpenAI gaat een gedeeld robots.txt-signaal respecteren. Websitebeheerders kunnen daarmee aangeven of hun content gebruikt mag worden voor AI-training. Het signaal is bedoeld voor meerdere aanbieders tegelijk.
In het kort
- OpenAI volgt een gedeeld robots.txt-signaal voor AI-trainingsvoorkeuren.
- Het signaal is bedoeld om voorkeuren aan meerdere deelnemende aanbieders door te geven.
- Websitebeheerders houden zo meer controle over het gebruik van hun teksten.
- Of andere AI-bedrijven meedoen, is nog niet bekend.
Wat OpenAI precies aankondigt
OpenAI zegt dat het een gedeeld robots.txt-signaal gaat honoreren. Daarmee kunnen websitebeheerders hun voorkeuren over AI-training kenbaar maken. Het signaal is bedoeld voor alle deelnemende aanbieders.
Robots.txt is een tekstbestand op een website. Zo'n bestand vertelt zoekmachines en andere programma's welke pagina's ze mogen bekijken. Het nieuwe signaal voegt daar een laag aan toe: mag de inhoud gebruikt worden om AI-modellen te trainen?
OpenAI noemt het een gezamenlijk signaal. Eén regel in robots.txt kan zo voor meerdere partijen tegelijk gelden. Dat scheelt websitebeheerders losse afspraken per aanbieder.
Waarom dit voor websitebeheerders telt
Veel Nederlandse uitgevers, bloggers en webshops worstelen met AI-crawlers. Ze willen wel vindbaar blijven in zoekmachines, maar niet dat hun teksten zomaar in een taalmodel belanden. Het gedeelde signaal geeft hun één plek om die voorkeur vast te leggen.
Toch is het geen slot op de deur. Een signaal is een verzoek, geen technische blokkade. Partijen die niet meedoen aan de afspraak, kunnen zich er alsnog niets van aantrekken.
OpenAI zegt het signaal te zullen respecteren. Of dat in de praktijk volledig gebeurt, valt van buitenaf lastig te controleren.
Nog geen duidelijkheid over andere aanbieders
OpenAI spreekt over deelnemende aanbieders. Welke bedrijven dat precies zijn, maakt de aankondiging niet duidelijk. Het is dus nog niet bekend of grote partijen als Google of Anthropic hetzelfde signaal gaan volgen.
Voor websitebeheerders betekent dat een voorzichtig pluspunt. Eén standaard is handiger dan tien losse regels. Maar zonder brede deelname blijft het signaal vooral een signaal.
Wat je als websitebeheerder kunt doen
Wil je zelf bepalen wat er met je teksten gebeurt, kijk dan eerst of je robots.txt-bestand klopt. Voeg het gedeelde signaal toe zodra de specificatie beschikbaar is. OpenAI verwijst naar een gezamenlijk voorstel, maar de exacte invulling staat nog niet in de aankondiging.
Twijfel je? Overleg met je webbouwer of hostingpartij. Die kan meestal snel zien welke crawlers je site nu al bezoeken.
Wat betekent dit voor Nederland?
Voor Nederlandse websites verandert er iets kleins maar merkbaars. Je kunt straks in één regel aangeven dat je teksten niet voor AI-training gebruikt mogen worden. Of dat juridisch hard is, blijft de vraag: het blijft een verzoek aan deelnemende partijen. Bedrijven die zich niet aansluiten, kun je er niet mee tegenhouden. Nederlandse uitgevers die al worstelen met AI-crawlers, krijgen er in ieder geval een extra middel bij.
OpenAI die een gedeeld robots.txt-signaal gaat respecteren, daar geloof ik pas in als het ook echt iets verandert. Een signaal is een afspraak op papier, en de partij die zich er niet aan houdt heeft geen strobreed in de weg. Ik benoem het eerlijk naar klanten: dit is geen garantie dat je content buiten de training blijft, dus bouw je strategie daar niet op.
Veelgestelde vragen
Wat is het gedeelde robots.txt-signaal van OpenAI?
Een regel in het robots.txt-bestand waarmee je aangeeft of je website-inhoud gebruikt mag worden voor AI-training. OpenAI zegt dit signaal te respecteren.
Geldt het signaal ook voor andere AI-bedrijven?
OpenAI spreekt over deelnemende aanbieders. Welke bedrijven dat zijn, is nog niet bekend.
Moet ik nu iets aanpassen op mijn website?
Niet direct. Je kunt je robots.txt-bestand controleren en het signaal toevoegen zodra de specificatie duidelijk is.
Lees ook
Tekst en beeld gemaakt met AI op basis van de genoemde bronnen, de take in de stem van Maxim. Hoe dat werkt.