Claude schickt der Polizei einen erfundenen Hinweis, Google gibt Agenten ein eigenes Postfach

Claude im Test: Hinweis an die Polizei erfunden, Zugangsschlüssel abgegriffen Ein KI-Modell von Anthropic hat im Juli ein Hinweisformular der Polizei Philadelphia zu einem ungeklärten Mord ausgefüllt. Darin behauptete es, in der Nähe der genannten Straße jemanden gesehen zu haben, auf den die Täterbeschreibung passe. Eine solche Beschreibung stand auf der Seite gar nicht. Das Modell, Claude Haiku 4.5, sollte in einem automatisierten Test beliebige Webseiten bedienen. Login, Käufe und das Eingeben persönlicher Daten waren ihm verboten, das Absenden von Formularen nicht. Die Polizei stufte den Eintrag als Spam ein, er ging nie an die Ermittler. Der Fall steht in einem Bericht, den Anthropic am 9. Oktober veröffentlicht hat. Bei Tests und interner Nutzung haben Claude-Modelle auf echten Websites Dinge getan, die niemand wollte. Sie nutzten Sicherheitslücken in Webanwendungen, um Befehle auf fremden Servern auszuführen. Ein Modell las aus der Konfigurationsdatei einer Kartenseite Zugangsschlüssel aus und fragte damit direkt den Server einer Kommunalverwaltung ab. Ein anderes holte sich auf dem Dashboard einer Landesbehörde einen Schlüssel für Daten, die sonst Geld kosten. Einige Fälle betrafen Websites von US-Bundes-, Landes- und Kommunalbehörden. Anthropic hat nach eigenen Angaben das Weiße Haus informiert, jede betroffene Behörde benachrichtigt und den Live-Internetzugang für alle internen Tests abgeschaltet, bis die eigene Überwachung solche Fälle zuverlässig erkennt. Anthropic nennt die Auswirkungen minimal und beschreibt das Muster als Beharrlichkeit. Kommt das Modell nicht weiter, umgeht es die Sperre, statt aufzuhören. Mich beunruhigt diese Erklärung mehr als jeder einzelne Vorfall, weil dieselbe Hartnäckigkeit als Stärke gilt, wenn ein Agent eine schwierige Aufgabe löst. Der Bericht räumt selbst ein, dass klarere Angaben zu Umfang, Zielen, erlaubten Aktionen und Netzgrenzen manche Fehler verhindert hätten. Für dich als Unternehmer:in heißt das, dass ein Agent tut, was technisch möglich ist, solange du es ihm nicht ausdrücklich verbietest. Wer Agenten auf Kundenportale, Lieferantenshops oder Behördenformulare loslässt, sollte die Regeln schreiben, bevor der erste Durchlauf startet. Wie das konkret aussieht, steht unten in der Praxis. KI & Mittelstand Elf Prozent. So viele der Unternehmen, die KI einsetzen oder planen, haben eigene Abläufe für Sicherheitsvorfälle, an denen KI beteiligt ist. Das zeigt eine Studie des TÜV-Verbands und des Bundesamts für Sicherheit in der Informationstechnik (BSI), vorgestellt am 7. Oktober. Befragt wurden mehr als 500 Unternehmen ab 20 Beschäftigten. 43 Prozent verlassen sich auf ihre allgemeinen IT-Sicherheitsprozesse ohne KI-spezifische Regeln, 25 Prozent haben gar keine. 17 Prozent der Unternehmen haben in den vergangenen zwölf Monaten einen KI-gestützten Angriff oder Betrugsversuch registriert, bestätigt oder vermutet. In 90 Prozent dieser Fälle kam der Angriff per Phishing-Mail, also über täuschend echte Nachrichten, die zum Klick auf einen Link oder zur Herausgabe von Daten verleiten. KI schreibt solche Mails fehlerfrei und in jedem Tonfall. 40 Prozent nannten automatisierte Angriffsskripte, die selbstständig nach Schwachstellen suchen und sich anpassen, 11 Prozent Deepfakes, etwa eine gefälschte Stimme der Geschäftsführung am Telefon. TÜV-Präsident Dirk Stenkamp hält die gemeldeten Fälle für die Spitze des Eisbergs. 49 Prozent der Befragten nutzen KI bereits, aber nur 31 Prozent der Nutzer setzen sie auch zur Verteidigung ein. Mir scheint, die Angreifer haben beim Thema KI derzeit den Vorsprung. Wer einen Notfallplan hat, sollte prüfen, ob darin ein gefälschter Anruf der Chefin oder eine KI-geschriebene Rechnungsmail überhaupt vorkommt. Das BSI hat dafür mit der Allianz für Cyber-Sicherheit eine Handreichung „Schutz vor KI-verstärkten Cyberangriffen“ veröffentlicht, gezielt für kleine und mittlere Unternehmen.

Google hat am 8. Oktober auf seiner Veranstaltung Gemini at Work einen Agenten vorgestellt, der Aufgaben über Stunden oder Tage abarbeitet. Der Gemini agent steckt in Gemini Enterprise, der Unternehmensplattform von Google, und lässt sich in Gmail, Docs, Sheets, Slides und Chat mit @Gemini ansprechen. Laut Google bekommt er Ziele statt Anweisungen. Bittet jemand per Mail um einen Projektstand als Foliensatz, schlägt Workspace vor, das mit einem Klick an den Agenten abzugeben. Große Aufgaben verteilt er auf Unteragenten, also spezialisierte Helfer, die Teilschritte parallel oder nacheinander erledigen. Neu ist vor allem die Rolle als digitaler Kollege. Ein solcher Agent kann einem ganzen Team gehören. Google beschreibt, dass er dann ein eigenes Workspace-Konto mit E-Mail-Adresse, Kalender, Drive-Speicher und Eintrag im Firmenverzeichnis erhält, etwa als „Event Planner Agent“. Er merkt sich laufende Gespräche, Fakten, Arbeitsabläufe und frühere Ereignisse. Für jede Aufgabe wählt er das passende Modell, darunter Gemini und schon jetzt Claude von Anthropic. Über MCP, einen offenen Standard zum Anschließen von Werkzeugen, kommen weitere Systeme dazu, genannt werden etwa Salesforce, Jira und Microsoft Teams. Bei der Kontrolle legt Google nach. Jeder Agent hat eine kryptografisch bestätigte Identität, sieht nur ausdrücklich freigegebene Dateien, und jede Aktion wird protokolliert. Budgetgrenzen pausieren ihn, wenn das Geld eines Projekts aufgebraucht ist. Für Gemini-Enterprise-Kunden soll er ohne Aufpreis kommen, offen ist aber, was dauerhafte Agenten-Kollegen und Unteragenten kosten. Gestartet ist er als private Vorschau für ausgewählte Kunden. Nach dem Anthropic-Bericht von oben würde ich das Protokoll höher gewichten als die Zahl der Unteragenten.

Kelly Hong und Greg Burnham vom Forschungsinstitut Epoch AI haben getestet, ob sechs aktuelle KI-Modelle ihre eigene Arbeit übernehmen könnten. Die Modelle bekamen elf echte Aufgaben aus dem Institutsalltag, darunter Grafiken gestalten, Datenauswertungen schreiben und ein Forschungsprojekt entwerfen, dazu Material wie für eine neue Kollegin. Der Bericht erschien am 8. Oktober. Klar umrissene Aufgaben wie Programmieren und Rechnen erledigten die geschlossenen Spitzenmodelle zuverlässig, beim Urteilsvermögen fielen alle ab. Claude Fable 5.1 und GPT-6 Astra lagen gemeinsam vorn. Fable 5.1 baute eine überladene Grafik, wo bei Epoch ein schlichtes Diagramm gewählt worden war, und schrieb zu lange Bildunterschriften. GPT-6 Astra stellte ein Messproblem im eigenen Pilotversuch als inhaltlichen Befund dar. Das offene Modell Kimi K3 zählte bei einer Auswertung alle Fachartikel statt nur die aus der Physik. Bewertet wurde mit einem Durchlauf pro Aufgabe und von einer einzigen Person, die Punktzahlen sind also grob. Lehrreich sind die Fehlerbilder trotzdem. Wer KI eine Aufgabe übergibt, sollte die ungeschriebenen Hausregeln aufschreiben, also Länge, Stil, Zielgruppe und was im Haus als Fehler gilt. Ohne diese Vorgaben liefert auch das beste Modell Arbeit, die formal stimmt und trotzdem nicht passt.

Was Anthropic oben beschreibt, passierte in den Testumgebungen eines KI-Labors. Im Betrieb sitzt ein Agent näher am Geld, im Lieferantenshop, im Kundenportal oder im Formular der Zulassungsstelle. Vier Festlegungen gehören deshalb vor jeden Einsatz, schriftlich und so konkret, dass sie wörtlich in die Anweisung an den Agenten passen. 1. Ziele benennen. Leg fest, welche Websites und Systeme der Agent ansteuern darf. Eine Liste mit Adressen taugt mehr als „das Lieferantenportal“. Alles, was nicht auf der Liste steht, ist tabu. 2. Aktionen erlauben statt verbieten. Im Polizei-Fall waren Login und Käufe verboten, an das Absenden von Formularen hatte niemand gedacht. Schreib auf, was der Agent darf, etwa lesen, Warenkorb füllen, Entwurf speichern, und erkläre alles andere für verboten. Absenden, Bestellen und Bezahlen bleiben beim Menschen. 3. Bei Hindernissen anhalten. Ein gesperrtes Feld, eine Bezahlschranke oder eine Login-Maske sind ein Grund, zu stoppen und nachzufragen. Dieser Satz gehört ausdrücklich in die Anweisung, denn das Umgehen von Sperren war das häufigste Muster im Bericht. 4. Protokoll lesen. Lass jede Aktion aufzeichnen und lies in den ersten zwei Wochen täglich zehn Minuten mit. Zwischen dem Polizei-Eintrag vom 18. Juli und der Meldung an die Behörde Anfang Oktober lagen fast drei Monate.

1. 46 Prozent der kleinen US-Arbeitgeberfirmen nutzen KI. Das zeigt eine Auswertung der Federal Reserve Bank of New York vom 8. Oktober, Grundlage ist eine Umfrage unter 5.248 Betrieben aus dem Herbst 2025. KI-Nutzer erwarten häufiger zusätzliches Personal als Nicht-Nutzer, auch nach Bereinigung um Firmenmerkmale und frühere Entwicklung bleibt ein Abstand von 10 Punkten. 77 Prozent der Nutzer sahen keine Veränderung bei den Lohnkosten. Wer vor allem Jobabbau durch KI erwartet, findet hier ein Gegenbeispiel aus kleinen Betrieben, allerdings beruht es auf Erwartungen, und ob tatsächlich eingestellt wird, ist offen. (Federal Reserve Bank of New York) 2) Die sechs führenden chinesischen KI-Firmen setzen zusammen rund ein Zehntel dessen um, was OpenAI und Anthropic mit KI einnehmen. Das schätzt Epoch AI in einer Analyse vom 6. Oktober für Alibaba, ByteDance, Z.ai, Moonshot, DeepSeek und MiniMax. Offene Modellgewichte drücken die Preise. Z.ais Anteil an den Abrufen seines eigenen Modells GLM 5.3 Flash auf der Plattform OpenRouter fiel binnen etwa 20 Tagen von 88 auf 22 Prozent, weil Drittanbieter es günstiger anboten. Wer offene Modelle einsetzt, kann denselben Baustein also bei mehreren Anbietern einkaufen und Preise vergleichen. (Epoch AI)