Dass die Empfehlungen von Claude die Entscheidungen der Testpersonen tatsächlich beeinflussten, zeigte sich an einem Vergleich: Hätte der Agent keinen Einfluss auf den Entscheidungsprozess gehabt, hätten die Forscher erwartet, dass seine Vorschläge nur in etwa 50 Prozent der Fälle mit den Entscheidungen der Testpersonen übereinstimmen. Tatsächlich lag die Übereinstimmung deutlich höher, wie Gizmodo über die Studie berichtet. Die 50-Prozent-Marke ist dabei kein Zufallswert, sondern die Erwartung bei völliger Wirkungslosigkeit des Agenten.
Am deutlichsten wurde der Einfluss, wenn die Teilnehmer schon eine Richtung eingeschlagen hatten und Claude die andere Option vorschlug. In diesen Fällen änderten sie in 60 Prozent der Fälle ihre Meinung, wie aus den von Gizmodo zitierten Ergebnissen hervorgeht. Eine bereits gefasste Meinung erwies sich also nicht als besonders stabil, sobald der Agent widersprach.
Die Forscher beließen es nicht bei einzelnen Prozentwerten. Anthropic konnte ein statistisches Modell erstellen, das 82 Prozent der endgültigen Ergebnisse korrekt vorhersagte, berichtet aol.com.
Wenn die Begründung hängen bleibt
Dass dieser Einfluss bewusst wahrgenommen wurde, lässt sich daraus nicht ableiten.
Relevanter Warnhinweis, kein Realweltnachweis
Wie viel dieser Befund über echte Entscheidungen sagt, bleibt offen – das räumt Anthropic selbst ein. Die Studie sei stark kontrolliert, heißt es in dem Forschungspapier, und ihre Aussagekraft für die reale Welt könnte begrenzt sein. Ein Grund: Die Teilnehmer waren zwar Experten für kausale Inferenz, hatten aber keine Erfahrung mit Landwirtschaft.
Die Forscher sehen darin trotzdem mehr als ein Laborphänomen. Wenn ein scheinbarer Konsens nur die Prioritäten des Modells abbilde statt unabhängiges Urteil, schrieben sie, präge dieselbe Verzerrung viele Ergebnisse auf einmal.
Anthropic formuliert die Sorge in seinem Forschungspapier noch grundsätzlicher.