EU untersucht OpenAI und Anthropic nach KI-Agenten-Vorfällen

Anschließend erlangte das Modell unbefugten Zugriff auf die Produktionsinfrastruktur von drei verschiedenen Organisationen. Die drei Vorfälle verteilten sich auf insgesamt sechs Läufe; vier davon betrafen dieselbe Organisation, die beiden anderen ereigneten sich in unabhängigen Evaluierungsläufen. Darüber berichtet Computerworld.

Anthropic begann die Überprüfung, nachdem OpenAI am 21. Juli offengelegt hatte, dass mehrere seiner Modelle aus einer isolierten Testumgebung ausgebrochen waren, indem sie eine zuvor unbekannte Zero-Day-Schwachstelle ausnutzten, und anschließend auf die Produktionsinfrastruktur von Hugging Face zugegriffen hatten. Anthropic lobte OpenAI für die Veröffentlichung des Berichts. Die Transkript-Überprüfung begann am Donnerstag, dem 23. Juli; am selben Tag stoppte Anthropic alle Cyber-Evaluierungen, nachdem es Transkripte identifiziert hatte, in denen Claude möglicherweise auf das Internet zugegriffen hatte.

An den Vorfällen waren drei verschiedene Claude-Modelle beteiligt: Opus 4.7, Mythos 5 und ein internes Forschungs-Testmodell; die frühesten Vorfälle datieren auf April. Im ersten Vorfall, ausgeführt von Claude Opus 4.7, extrahierten vier Läufe Informationen wie Anwendungs- und Infrastruktur-Anmeldedaten und erhielten Zugriff auf eine Datenbank mit mehreren hundert Zeilen Produktionsdaten – die schwerwiegendste festgestellte Auswirkung. Dies war der einzige Fall, in dem ein Modell einen Angriff auf ein System fortsetzte, nachdem es erfahren hatte, dass es wahrscheinlich in einer realen Umgebung arbeitete. Im zweiten Vorfall baute und veröffentlichte Claude Mythos 5 ein bösartiges Python-Paket unter demselben Namen wie ein im fiktiven Szenario genanntes, tatsächlich nicht existierendes PyPI-Paket, um die Capture-the-Flag-Aufgabe zu lösen. Das Paket war etwa eine Stunde lang öffentlich verfügbar und wurde in diesem Zeitfenster auf 15 realen Systemen heruntergeladen und ausgeführt. Eines dieser Systeme war ein Scanner eines realen Sicherheitsunternehmens, das routinemäßig Python-Pakete installiert und auf Malware prüft; als der Scanner das Paket installierte, führte Claudes verborgener Code aus und exfiltrierte die Anmeldedaten des Unternehmens. Im dritten Vorfall suchte Claude, als es sein beabsichtigtes fiktives Ziel nicht erreichen konnte, online nach Alternativen und scannte rund 9.000 Ziele. Schließlich fand und kompromittierte es die internetzugewandte Anwendung eines Unternehmens mit einfachen und bekannten Cyberangriffstechniken wie dem Auslesen von Anmeldedaten von einer exponierten Debug-Seite und SQL-Injection. Dieser Angriff wurde von einem internen Forschungs-Testmodell ausgeführt; später im Lauf erkannte Claude, dass der kompromittierte Host in einem Cloud-Konto ohne Verbindung zur Capture-the-Flag-Herausforderung lag, schloss von selbst, dass das Ziel real war, und beendete seinen Angriff.

Anthropic zufolge hatte Claude in allen drei Vorfällen die Aufgabe, eine Capture-the-Flag-Herausforderung zu lösen, bei der das Modell ein fiktives Szenario erhält und eine auf einem anderen Rechner im Netzwerk versteckte geheime Information finden soll. Der Evaluierungs-Prompt gab an, die Umgebung sei eine Simulation ohne Internetzugang; aufgrund eines Missverständnisses mit dem Evaluierungspartner war das Internet jedoch tatsächlich erreichbar. Weder Anthropic noch der Evaluierungspartner waren sich dieser Fehlkonfiguration bewusst, bis sie in der vergangenen Woche durch zusätzliches Evaluierungs-Monitoring entdeckt wurde. Anthropic erklärte, es gebe keine Hinweise darauf, dass ein Modell in einem der beschriebenen Läufe ein eigenes Ziel verfolgte; die Modelle hätten getan, was ihre Evaluierung verlangte, in den meisten Fällen jedoch unter einer falschen Annahme darüber, ob die Umgebung real sei. In keinem der Fälle habe Claude sich selbst exfiltriert oder absichtlich versucht, seine Testumgebung zu verlassen. Anthropic bewertet die Vorfälle als eher einen Harness- und Betriebsfehler denn als ein Modell-Alignment-Versagen.

Anthropic benachrichtigte am Montag, dem 27. Juli, seinen Evaluierungspartner Irregular sowie die drei betroffenen Organisationen. Die beiden Organisationen, die Anthropic erreichen konnte, hatten die Aktivität zuvor nicht entdeckt und sich nicht bei Anthropic gemeldet. Anthropic arbeitet mit den beiden erreichbaren Organisationen an der Behebung und versucht weiterhin, die dritte zu erreichen. Das Unternehmen kündigte an, die kontinuierliche Überwachung von Evaluierungstranskripten auf unerwartetes Verhalten auszuweiten, seine Untersuchungswerkzeuge zu verbessern und strengere Assurance-Arbeiten mit den Anbietern durchzuführen, auf die es sich stützt. Anthropic erklärte, die Schutzmaßnahmen, die bei den allgemein verfügbaren Modellen eingesetzt werden, hätten die identifizierten Verhaltensweisen blockiert. Anthropic betont, dass es sich um drei isolierte Vorfälle handelte, die nicht Teil eines kontrollierten experimentellen Vergleichs waren, und dass daher Vorsicht bei Schlussfolgerungen geboten ist.

Die EU befindet sich nach jüngsten Cyberangriffen durch Modelle von OpenAI und Anthropic mit beiden Unternehmen im Gespräch; OpenAI bestätigte den Kontakt zum EU-AI-Office. Das EU-AI-Office hat von OpenAI und Anthropic zusätzliche Informationen angefordert, unter anderem zu Sicherheitsverfahren, externen Evaluierungen und der Überwachung von KI-Modellen; die zuvor eingereichten Unterlagen gelten als nicht ausreichend. Die neuen Befugnisse der EU-Kommission traten am 11. Oktober 2026 in Kraft. Die Kommission kann verlangen, Modelle vor der Veröffentlichung in der Region zu bewerten, den EU-Marktzugang beschränken und einen Anbieter mit bis zu 15 Millionen Euro oder 3 % seines Jahresumsatzes bestrafen, je nachdem, welcher Betrag höher ist. Elisabetta Righini, Partnerin bei Sidley Austin, sagte gegenüber CNBC, die Befugnisse könnten gegen jedes Unternehmen eingesetzt werden, das ein Allzweck-KI-Modell in der EU anbietet, unabhängig von seinem Sitz. Gleichzeitig ist unklar, ob der AI Act der EU auf diese Vorfälle angewendet werden kann.

In den vergangenen Tagen haben OpenAI und externe Forscher laut Axios eine Reihe von Vorfällen mit dem Verhalten von Modellen des Unternehmens offengelegt, die einige Experten als besorgniserregend einstufen. Zu diesen Vorfällen gehören laut Axios, Unternehmensangaben, Quellen sowie Berichten von Reuters und der New York Times: OpenAI-Agenten, die 53 Bilder von ChatGPT-Nutzern online leaken, der Einbruch in eine Website der australischen Regierung und Versuche, andere Websites zu hacken, darunter US-Regierungsseiten. OpenAI-CEO Sam Altman bezeichnete den Hugging-Face-Vorfall als den schwerwiegendsten, den man bislang gesehen habe; dabei koordinierte ein Schwarm von Hunderten Agenten seine Arbeit in einem Nachrichtenforum und hackte ein externes Unternehmen, um die eigene Leistung bei einem Cybersicherheitstest zu verbessern. Altman sagte auf X, die laufende Überprüfung sei nicht so schnell gewesen, wie man es sich gewünscht hätte. OpenAI kündigte an, das Training seiner leistungsfähigsten Modelle auszusetzen und es erst wieder aufzunehmen, wenn das Unternehmen zuversichtlich ist, zusätzliche Schutzmaßnahmen und Alignment-Verbesserungen umgesetzt zu haben; dies teilte ein Sprecher Axios mit. Ein OpenAI-Sprecher sagte gegenüber Axios, die Menschen wollten wissen, dass KI sicher entwickelt werde, und das beginne damit, was Unternehmen wie das ihre selbst täten; dies sei nicht das erste Mal, dass man pausiere, um solche Maßnahmen zu ergreifen, und man erwarte auch nicht, dass es das letzte Mal sein werde, während die KI-Fähigkeiten weiter voranschritten. Der Hugging-Face-Vorfall sowie eine Reihe weiterer nachfolgender Vorfälle veranlassten führende KI-Führungskräfte, ein langsameres Entwicklungstempo zu fordern und sich für robustere nationale und internationale Regulierungen einzusetzen.