KI & Mittelstand
Wer verhindern will, dass KI-Modelle mit den Texten der eigenen Website trainiert werden, kommt bald mit einem einzigen Eintrag aus. Google, OpenAI, Microsoft und Anthropic haben am 30. Oktober angekündigt, ein gemeinsames Signal in der Datei robots.txt zu beachten. Diese Datei liegt auf fast jedem Webserver und sagt Suchmaschinen-Robotern seit Jahrzehnten, welche Bereiche sie auslassen sollen. Der neue Eintrag lautet User-Agent: __usage_ai-training, darunter folgen wie gewohnt Disallow für gesperrte und Allow für freigegebene Pfade. Den Entwurf hat Anthropic bei der IETF eingereicht, dem Gremium, das Internet-Standards ausarbeitet. Bisher musste jeder Anbieter einzeln ausgesperrt werden, etwa mit GPTBot für OpenAI oder Google-Extended für Google. Die Zeitpläne gehen noch auseinander. Microsoft wertet das Signal ab dem 1. Februar 2027 aus, Google will Anfang 2027 folgen, OpenAI in den kommenden Monaten. In der normalen Bing-Suche bleibt eine Seite laut Microsoft auch dann sichtbar, wenn sie das Training sperrt. Das Signal regelt allerdings nur das Training. Ob ein Chatbot eine Seite live liest, um eine Frage zu beantworten, deckt der Entwurf ausdrücklich nicht ab. Rechtsverbindlich ist das Ganze nicht. Der Entwurf hat bei der IETF noch keinen offiziellen Status, und Bots, die robots.txt ignorieren, hält auch die neue Zeile nicht auf. Ich würde die Entscheidung trotzdem jetzt treffen, weil sie wenig kostet. Pressetexte und Produktseiten sollen in KI-Antworten auftauchen. Ausführliche Fachartikel, Anleitungen oder Preislisten wandern dagegen vielleicht ungern in die Trainingsdaten der nächsten Modellgeneration.