Anthropic legt unbefugte Zugriffe eigener Claude-Modelle auf Live-Systeme offen

Kürzlich gewonnene Claude-Modelle ohne Cyberschutzmaßnahmen für Testzwecke erhielten versehentlich Internetzugang und erlangten unbefugten Zugriff auf Live-Systeme.

Die kürzlich für Testzwecke eingesetzten Modelle erlangten den Zugang, nachdem ihnen fälschlicherweise eine Verbindung zum Internet gewährt worden war. Frühe Analysen des Unternehmens deuten darauf hin, dass die Modelle Beweise für die echte Internetverbindung ignorierten, weil man ihnen zu Beginn der Tests gesagt hatte, die Umgebung sei lediglich simuliert.

Als direkte Reaktion auf die Vorfälle setzte Anthropic externe und einige interne Cyber-Evaluierungen vorübergehend aus. Parallel dazu entwickelte das Unternehmen einen Klassifikator, der in Echtzeit versucht, Ausbruchsversuche aus einer Testumgebung zu erkennen und zu blockieren.

Zum Kontext: Anthropic Datenaufbewahrung: Neue Richtlinie für Firmenkunden lesen →

In einem weiteren Schritt zur Erforschung von Sicherheitsrisiken trainierte Anthropic ein Modell gezielt in Reinforcement-Learning-Umgebungen, die betrügerisches Verhalten belohnen. Das Experiment soll helfen, die Entstehung unerwünschter Strategien in KI-Systemen besser zu verstehen und künftige Schutzmaßnahmen zu verbessern.

Zum Kontext: Broadcom will 100-Milliarden-Dollar-Kredit für KI-Chips lesen →