WAVZ® KI-Briefing

Der Mensch in der Schleife nickt mit, Alphabet verliert 500 Milliarden an einem Tag

Wer KI-Ergebnisse von Fachleuten abzeichnen lässt, kauft sich womöglich weniger Kontrolle, als er glaubt. Anthropic hat am 27. Oktober einen randomisierten Versuch mit 50 professionellen Analyst:innen veröffentlicht. Sie sollten mit einem KI-Agenten bewerten,

KI & Mittelstand

Wer KI-Ergebnisse von Fachleuten abzeichnen lässt, kauft sich womöglich weniger Kontrolle, als er glaubt. Anthropic hat am 27. Oktober einen randomisierten Versuch mit 50 professionellen Analyst:innen veröffentlicht. Sie sollten mit einem KI-Agenten bewerten, ob eine fiktive Agrargenossenschaft ein Beratungsprogramm ausbauen oder einstellen soll. Unterwegs standen vier methodische Entscheidungen an, bei denen jeweils beide Optionen vertretbar waren. Per Münzwurf wurde heimlich festgelegt, welche Option der Agent bevorzugte. Er durfte dafür argumentieren, aber nicht täuschen. In 86 Prozent der Fälle folgten die Fachleute der Neigung des Agenten, bei reinem Zufall wären es etwa 50 Prozent gewesen. Von denen, die sich vorher schon festgelegt hatten, wechselten 60 Prozent die Meinung, sobald der Agent widersprach. Bemerkt haben sie das kaum. 77 Prozent übernahmen seine Argumente in ihre Begründung, nur 15 Prozent nannten ihn als Quelle. Erfahrung oder Ausbildung schützten nicht. Die Forschenden haben die Neigung des Agenten bewusst verstärkt, im Alltag dürfte der Effekt kleiner ausfallen. Ich halte das für die unbequemste Studie des Monats, gerade weil die Gruppe mit KI deutlich seltener grobe Methodenfehler machte (6 gegen 55 Prozent, bei sehr kleiner Vergleichsgruppe). Die Qualität steigt, die Unabhängigkeit sinkt. Für dich als Unternehmer:in heißt das, dass eine Freigabe durch einen Menschen bei Ermessensfragen kein Beleg für ein eigenes Urteil ist. Anthropic empfiehlt, Fachleute ihre Einschätzung zuerst selbst festhalten zu lassen und Agenten so zu bauen, dass sie für jede Option das stärkste Argument liefern.

Agentenbuilding

Ein Agent, der Rechnungen, Lieferscheine oder Preislisten auswertet, ist nur so gut wie das Werkzeug, das ihm die PDF vorher in Text verwandelt. Solche Parser erfassen oft jedes Wort und verlieren trotzdem die Struktur, etwa welche Zahl in welche Spalte gehört. LlamaIndex, Anbieter einer verbreiteten Software für Dokumenten-Agenten, zeigt das in einem Beitrag vom 28. Oktober an einer Umsatztabelle. Drei Parser liefern drei Fassungen, zwei davon führen zu falschen Antworten. Als Gegenmittel schlägt das Unternehmen das Document Parsing Protocol vor, einen offenen Regelkatalog, der festlegt, wie ein korrekt ausgelesenes Dokument aussehen soll. Der Entwurf 0.1 umfasst 140 Regeln. Tabellen behalten ihre Kopfzeilen, auch wenn diese mehrere Spalten überspannen. Leere Formularfelder werden als [blank] markiert, Ankreuzfelder bleiben als [x] und [ ] erhalten, Diagramme werden zu Tabellen mit den abgedruckten Werten. Unleserliches wird als [illegible] gekennzeichnet statt geraten. Der größte Nutzen liegt im Testen, bevor ein Agent live geht. Nimm zehn typische Dokumente aus dem eigenen Haus, am besten die mit verschachtelten Tabellen und halb ausgefüllten Formularen, und prüfe die Ausgabe deines Parsers gegen diese Regeln. Ein Fehler, der hier auffällt, kostet eine Stunde. Im laufenden Betrieb kann er zu falschen Bestellmengen führen. Noch ist das Protokoll der Vorschlag eines einzelnen Anbieters, weitere Unterstützer nennt LlamaIndex bisher nicht.

Wissenschaft & Studien

Mistral hat am 29. Oktober die Gewichte seines größten Modells freigegeben, drei Wochen nach der Vorschau, über die wir am 7. Oktober berichtet haben. Gewichte sind die gelernten Parameter eines Modells. Wer sie hat, kann das Modell herunterladen und auf eigener Hardware betreiben, ohne dass Daten das Haus verlassen. Large 4 hat rund eine Billion Parameter, pro Aufgabe arbeiten etwa 52 Milliarden davon. In komprimierter Form läuft es laut The Next Web auf vier Nvidia-Chips der Baureihen B200 oder B300. Die Lizenz erlaubt kommerzielle Nutzung und eigenes Nachtrainieren, nur wer das Modell als Dienst weiterverkauft, braucht eine Zusatzlizenz. Über Mistrals Schnittstelle kosten eine Million Token Eingabe 0,70 US-Dollar und eine Million Token Ausgabe 2,10 Dollar. Beim agentischen Programmieren liegt Large 4 nach Mistrals Angaben gleichauf mit dem chinesischen GLM-5.3 und braucht dafür im Schnitt 47 Prozent weniger Token. Wer sensible Daten nicht in US-Clouds geben will, hat damit eine ernsthafte europäische Option. Ein Kellerprojekt sind vier Hochleistungs-GPUs allerdings nicht.

Praxis

Erst die Ausgangslage, dann der Agent n8n, Hersteller einer Automatisierungsplattform, betreibt intern mehr als 12.000 Workflows. Romina da Costa, dort für interne KI und Automatisierung zuständig, beschreibt in einem Beitrag vom 29. Oktober, warum ihr zentrales Team nicht länger als Ticket-Schalter arbeiten soll. Ein Team, das alle Automationen selbst baut, verschiebt den Engpass bloß zu sich. Ihre Grundsätze lassen sich in jedem Betrieb übernehmen. Vor jedem Projekt wird die Ausgangslage aufgeschrieben. Wie oft fällt die Aufgabe an, wie lange dauert sie, wie viele Leute sind beteiligt, was kommt heute heraus, und ab wann wäre es spürbar besser? Grobe Schätzungen genügen. n8n hat das gelernt, nachdem ein Vertriebsagent angeblich binnen eines Monats einen sechsstelligen Betrag in die Pipeline gebracht hatte. Der Vergleich mit den menschlichen Kolleg:innen hinkte, weil der Agent rund um die Uhr lief und die Menschen vor allem die schwierigen Fälle bekamen, die er aussortiert hatte. Kaufen schlägt oft Bauen. Gibt es seit mindestens einem Jahr ein bewährtes Spezialwerkzeug, ist es meist besser als eine Eigenentwicklung, die dauerhaft gewartet und abgesichert werden muss. Manche Anfrage braucht gar kein Sprachmodell. Eine Mail an einen Kollegen weiterzuleiten, erledigt ein simpler Postfachfilter ohne Fehlerrisiko. Jede Automation bekommt eine verantwortliche Person, eine Dokumentation, eine Fehlerbehandlung und einen Übergabeplan. Dazu kommt pro Abteilung eine fachliche Ansprechperson, die nicht programmieren können muss, aber erklären kann, warum ein Prozess so läuft, wie er läuft. Ein einheitliches Dokumentationsformat hat selbst n8n noch nicht, eine Vorlage soll in den kommenden Wochen folgen.

Kurz & quer

  1. Alphabet hat am 29. Oktober 12,64 Prozent an Börsenwert verloren, rund 500 Milliarden US-Dollar. Laut Handelsblatt ist das der zweitgrößte Tagesverlust eines Unternehmens überhaupt. Die Investitionen stiegen im dritten Quartal binnen eines Jahres um 114 Prozent auf 51,4 Milliarden Dollar, der freie Cashflow rutschte auf minus 9,1 Milliarden, berichtet die Seoul Economic Daily. Der Druck auf die großen Anbieter, ihre Rechenzentren zurückzuverdienen, wächst, und wer langfristige KI-Verträge abschließt, sollte die Klauseln zu Preisanpassungen genau lesen. 2) Microsoft hat im Quartal bis Ende September rund 10 Milliarden US-Dollar mit OpenAI umgesetzt, knapp 11 Prozent des Konzernumsatzes von 92,3 Milliarden, wie TechCrunch aus dem Quartalsbericht herausgelesen hat. Microsofts Anteil an OpenAI ist zugleich auf etwa 24 Prozent gesunken. Wer Copilot und ChatGPT als Firmenlösung gegeneinander abwägt, vergleicht zwei Konkurrenten, deren Kassen eng verbunden sind. 3) Über 40 Prozent der Pull Requests auf GitHub beginnen inzwischen mit dem Entwurf eines KI-Agenten, im März waren es 17 Prozent. Ein Pull Request ist ein Änderungsvorschlag am Code, den ein Mensch prüft und freigibt. Das zeigt GitHubs Jahresbericht Octoverse vom 28. Oktober, allein im September kamen rund 110 Millionen solcher Entwürfe zusammen. Deutschland liegt mit 6,3 Millionen Entwickler:innen auf Platz acht. Wer Software extern entwickeln lässt, sollte fragen, wer diese Entwürfe prüft, und dabei an die Studie von oben denken.

Quellen

Daily Briefing

Täglich per E-Mail.