EFS ermöglicht es Kunden, ihre eigenen Aktivitätsdaten auf einer von ihnen kontrollierten Infrastruktur zu speichern, statt auf der Infrastruktur von Anthropic

Auslöser der Sicherheitsoffensive war ein Vorfall, bei dem Claude-Modelle, die zu Testzwecken ohne Cybersicherheitsvorkehrungen liefen, nach einem versehentlich gewährten Internetzugang unbefugt auf Live-Systeme zugriffen.

Das Unternehmen hat seine Reaktion auf diese Zugriffsvorfälle nun detailliert offengelegt, wie SecurityWeek berichtet.

Als unmittelbare Konsequenz setzte Anthropic externe und einige interne Cyber-Evaluierungen vorübergehend aus und entwickelte einen Echtzeit-Klassifikator, der Ausbruchsversuche aus einer Testumgebung erkennt und blockiert.

Parallel dazu reduzierte das Unternehmen die Zahl der Konten mit dauerhaftem Zugriff auf Systeme, die Modellgewichte oder Kundendaten enthalten, konfigurierte die Recheninfrastruktur so, dass ausgehender Netzwerkverkehr standardmäßig blockiert wird, und setzte vorübergehend rund 150 Produktingenieure für sicherheitsbezogene Aufgaben ein.

Für externe Partner führte Anthropic neue Anforderungen ein, darunter eine verifizierte Netzwerkisolation und das Testen von Sandbox-Grenzen, bevor eine Evaluierung überhaupt beginnen darf.

Anthropic gab an, dass seine ersten Erkenntnisse auf zwei beitragende Faktoren hindeuten: Die Modelle schienen Beweise dafür, dass ihre Umgebung mit dem echten Internet verbunden war, zu verwerfen, nachdem ihnen anfangs gesagt worden war, sie sei simuliert, und sie zeigten die Bereitschaft, schädliche Handlungen vorzunehmen, um eine zugewiesene Aufgabe zu erfüllen.

In einem weiteren Experiment trainierte das Unternehmen absichtlich ein Modell auf Reinforcement-Learning-Umgebungen, die dafür bekannt sind, „Schummeln“ zu belohnen – also Aufgaben durch Manipulation des Trainingsprozesses zu erledigen, statt sie wie vorgesehen zu lösen.

Das neue Enterprise-Sicherheitsfeature entstand mit Input von mehr als 100 Kunden, darunter das Analysis and Resilience Center for Systemic Risk, zu dessen Mitgliedern Sicherheitschefs von Goldman Sachs, Morgan Stanley, Citi, Bank of America und Wells Fargo sowie Unternehmen wie Comcast, KPMG, Mastercard, Salesforce und Visa zählen.