Anthropic will beweisen, welches Modell antwortet, und Agenten machen zu früh Feierabend

FlashProve: Anthropic will nachweisbar machen, welches Modell antwortet Wer KI über einen Zwischenhändler bezieht, etwa über eine Plattform, die Anfragen an verschiedene Modelle verteilt, muss bisher glauben, was auf der Rechnung steht. Ob hinter einer Antwort das bezahlte Spitzenmodell steckt oder ein billigeres, lässt sich von außen nicht prüfen. Anthropic hat am 2. November mit FlashProve einen Prototyp veröffentlicht, der das belegen soll. Das Verfahren arbeitet mit einem kryptografischen Beweis. Der Anbieter veröffentlicht einmalig einen digitalen Fingerabdruck der Modellgewichte, also der Parameter, die ein Modell im Training gelernt hat. Jede Antwort bekommt dann einen kompakten Nachweis mit, den jede:r ohne Zugriff auf die Gewichte prüfen kann. Das Betriebsgeheimnis des Modells bleibt geschützt, ein heimlicher Austausch fliegt auf. Code und Dokumentation liegen unter offener Lizenz auf GitHub. Einsetzen will Anthropic das System laut TechCrunch vorerst weder selbst noch bei anderen Anbietern. Für den Alltag taugt FlashProve noch nicht. Der Beweis deckt nur Gespräche bis 1.024 Token ab, das sind wenige hundert Wörter, und kostet rund 70- bis 95-mal so viel Rechenzeit wie die eigentliche Antwort. Ich halte die Meldung trotzdem für die wichtigste der Woche, weil sie eine Frage in den Einkauf trägt, die dort kaum jemand stellt. Wer KI-Dienste einkauft, sollte sich schriftlich geben lassen, welches Modell in welcher Version läuft und wann der Anbieter es wechseln darf.

Viele Agenten werden inzwischen von einem zweiten Sprachmodell kontrolliert, das ihre Antworten benotet. Fachleute nennen das LLM-as-a-Judge, ein Modell als Schiedsrichter. Bleibt die Frage, wer den Schiedsrichter kontrolliert. LangChain, Anbieter eines verbreiteten Baukastens für Agenten, beschreibt in einem Beitrag vom 3. November, wie Menschen diesen Prüfer eichen. Automatische Checks markieren einen auffälligen Durchlauf, der landet in einer Warteschlange, und eine Fachkraft bewertet ihn nach einem festen Raster mit kurzer Begründung. Weichen ihre Noten von denen des KI-Prüfers ab, wird dessen Anweisung nachgeschärft. Gelungene Beispiele wandern in einen Referenzdatensatz, gegen den jede neue Agentenversion antritt. Bewertet wird der ganze Gesprächsverlauf samt der Werkzeuge, die der Agent aufgerufen hat. Eine Antwort kann für sich korrekt wirken und trotzdem dem widersprechen, was die Kundin drei Nachrichten vorher gesagt hat. Beim US-Bonusprogramm Fetch Rewards prüfen die Bewerter:innen etwa, ob die Produktkarte für eine 20-Unzen-Flasche Coca-Cola auch diese Flasche zeigt und keine Zwei-Liter-Flasche. n8n beschreibt in einem Leitfaden vom 22. Oktober dasselbe Prinzip als Stufenmodell. Antworten mit hoher Sicherheit laufen durch, unsichere bekommen eine zusätzliche Prüfung, riskante Aktionen gehen zur Freigabe an einen Menschen. Wo die Schwelle liegt, bestimmt der Schaden, den ein Fehler anrichten würde. Für einen Agenten, der Lieferzeiten nennt, darf sie lockerer sein als für einen, der Gutschriften bucht.

KI-Agenten scheitern bei Aufräumarbeiten in der Cloud selten am Fachwissen und meist am Überblick. Ein Team um Ang Chen von der University of Michigan hat dafür CloudOpsBench gebaut, 45 Aufgaben aus dem Betrieb von Amazons Cloud AWS, geschrieben von erfahrenen Administrator:innen. Das beste getestete Modell, Claude Fable 5.1, erledigte laut Projektseite vom 2. November 29 davon, GPT-6 Astra 26. Rund 80 Prozent der Fehlschläge entstanden, weil Agenten zu früh aufhörten zu suchen und die Aufgabe für erledigt erklärten. Sollten sie alle Warteschlangen eines Projekts löschen, prüften sie einen Dienst und übersahen einen anderen. In einem Fall brach ein Agent einen laufenden Upload als vermeintlichen Datenmüll ab, die Daten waren unwiederbringlich weg. Ein Agent, der „fertig“ meldet, ist erst fertig, wenn jemand nachgesehen hat. Lösch- und Aufräumrechte gehören deshalb hinter eine Freigabe, auch wenn der Agent sonst allein arbeiten darf.

Die Modellklausel für KI-Verträge Solange Prüfverfahren wie FlashProve Prototypen sind, bleibt der Vertrag das wirksamste Werkzeug. Vier Punkte passen in jede Bestellung, ob es um einen Chatbot für den Kundendienst geht oder um ein Tool, das Angebote vorschreibt. Erstens das Modell mit Name und Version. „Arbeitet mit GPT“ genügt nicht, gefragt ist eine Angabe wie „GPT-6.1 Terra“ oder „Claude Sonnet 5.5“. Zweitens die Wechselregel. Der Anbieter darf das Modell austauschen, kündigt es aber mit fester Frist an, zum Beispiel 30 Tage vorher. So bleibt Zeit, die eigenen Standardfälle mit dem neuen Modell durchzuspielen. Drittens die Weiterleitung. Verteilt der Dienst Anfragen je nach Auslastung an andere Modelle oder Rechenzentren, gehört das samt Standort offengelegt, auch wegen des Datenschutzes. Viertens der Nachweis. Auf Anfrage liefert der Anbieter ein Protokoll, welches Modell welche Anfrage beantwortet hat. Wer diese vier Punkte im Vertrag hat, bemerkt einen stillen Modellwechsel, bevor die Qualität der Antworten kippt. Den Wortlaut stimmst du am besten mit deiner Rechtsberatung ab.

Alphabet, Microsoft, Amazon, Meta und Oracle haben rund 3,2 Billionen US-Dollar an KI-Verpflichtungen außerhalb ihrer Bilanzen. Gemeint sind vor allem Mietverträge für Rechenzentren und Kaufzusagen. Laut einer Auswertung von Nikkei Asia, über die t3n berichtet, ist die Summe seit März um 90 Prozent gewachsen, Goldman Sachs kommt laut Yahoo Finance auf einen ähnlichen Betrag. Wer große Teile seiner IT bei diesen Anbietern hat, sollte die Preise in den nächsten Jahren aufmerksam verfolgen, denn den Ausbau muss am Ende jemand bezahlen. US-Rechenzentren greifen zu umgebauten Flugzeugtriebwerken. Ein Netzanschluss für 100 Megawatt dauert in Nord-Virginia laut Internationaler Energieagentur rund sieben Jahre. xAI und der Rechenzentrumsbauer Crusoe setzen deshalb auf ausgemusterte Jet-Turbinen, die mit Erdgas laufen, berichtet TechCrunch. Sie sind weniger effizient und verursachen mehr Abgase. Strom bleibt damit der Engpass beim KI-Ausbau, und das dürfte sich auch in den Preisen für Rechenleistung zeigen. ChatGPT erstellt jetzt animierte GIFs. Mit dem Bildmodell Images 2.6 entstehen aus einem Text oder einem Foto kurze Animationen, Tempo und einzelne Bilder lassen sich nachträglich ändern. Freigeschaltet wird das für alle Nutzer:innen von ChatGPT und Codex, berichtet The Decoder. Einem kleinen Marketingteam erspart das für einen Social-Media-Beitrag oder Produktteaser den Umweg über ein Grafikprogramm.