KI & Mittelstand
Wer KI-Ergebnisse von Fachleuten abzeichnen lässt, kauft sich womöglich weniger Kontrolle, als er glaubt. Anthropic hat am 27. Oktober einen randomisierten Versuch mit 50 professionellen Analyst:innen veröffentlicht. Sie sollten mit einem KI-Agenten bewerten, ob eine fiktive Agrargenossenschaft ein Beratungsprogramm ausbauen oder einstellen soll. Unterwegs standen vier methodische Entscheidungen an, bei denen jeweils beide Optionen vertretbar waren. Per Münzwurf wurde heimlich festgelegt, welche Option der Agent bevorzugte. Er durfte dafür argumentieren, aber nicht täuschen. In 86 Prozent der Fälle folgten die Fachleute der Neigung des Agenten, bei reinem Zufall wären es etwa 50 Prozent gewesen. Von denen, die sich vorher schon festgelegt hatten, wechselten 60 Prozent die Meinung, sobald der Agent widersprach. Bemerkt haben sie das kaum. 77 Prozent übernahmen seine Argumente in ihre Begründung, nur 15 Prozent nannten ihn als Quelle. Erfahrung oder Ausbildung schützten nicht. Die Forschenden haben die Neigung des Agenten bewusst verstärkt, im Alltag dürfte der Effekt kleiner ausfallen. Ich halte das für die unbequemste Studie des Monats, gerade weil die Gruppe mit KI deutlich seltener grobe Methodenfehler machte (6 gegen 55 Prozent, bei sehr kleiner Vergleichsgruppe). Die Qualität steigt, die Unabhängigkeit sinkt. Für dich als Unternehmer:in heißt das, dass eine Freigabe durch einen Menschen bei Ermessensfragen kein Beleg für ein eigenes Urteil ist. Anthropic empfiehlt, Fachleute ihre Einschätzung zuerst selbst festhalten zu lassen und Agenten so zu bauen, dass sie für jede Option das stärkste Argument liefern.