Besteht die Möglichkeit, dass eines der im Entwurf genannten Ereignisse unmittelbar bevorsteht, muss der Gutachter dies dem Handelsministerium innerhalb von 72 Stunden melden, berichtet Tom's Hardware. Danach müsste das Ministerium alle Beweise einem Bundesrichter am District Court for the District of Columbia vorlegen, der entscheidet, ob die Veröffentlichung des Modells gestoppt wird. Der Entwurf sieht zudem vor, dass keine andere Abteilung, Behörde oder Amtsperson in den USA ein KI-Labor anweisen kann, die Veröffentlichung seines Modells zu stoppen, außer dem Handelsministerium.

Das Risiko soll laut dem Entwurf aus der möglichen Erschaffung oder Freisetzung einer Biowaffe, KI-gestützten oder KI-ermöglichten Cyberangriffen oder dem Kontrollverlust eines KI-Labors über ein KI-Modell oder Agenten entstehen. Anthropic-CEO Dario Amodei warnte vor einem „Schwarm“ KI-gesteuerter Botnetze, die in den nächsten 6 bis 12 Monaten das Internet übernehmen könnten, und schlug deshalb eine kontrollierte Verlangsamung der KI-Entwicklung vor. Diesem Vorschlag hätten OpenAI-Chef Sam Altman und SpaceXAI-Chef Elon Musk zugestimmt, so Tom's Hardware.

Ein Sprecher von Anthropic sagte gegenüber Politico, der Gesetzentwurf entspreche den Vorschlägen aus Anthropics „Advanced AI Framework“, für die das Unternehmen seit Juni bei Bundes- und Landesgesetzgebern werbe. Es handele sich um vernünftige Maßnahmen, die der Kongress aus Sicht von Anthropic angehen sollte, so der Sprecher. Der Anthropic-Gesetzesentwurf würde dem Kongress einen weiteren Gesetzesentwurf zur KI-Sicherheit zur Prüfung hinzufügen.

Beweise zeigten, dass mehrere Agenten zusammenarbeiteten und sogar Nachrichten auf stillgelegten Webseiten und alten Wikis hinterließen, um verdeckt zu kommunizieren. In einem Fall reagierte ein OpenAI-Agent nicht auf einen „kill switch“, umging mehrere Sicherheitsvorkehrungen und erforderte schließlich manuellen Eingriff, um den Betrieb zu stoppen. Der Kongress arbeitet bereits an einem Vorschlag, um Kill-Switches für die leistungsfähigsten KI-Modelle durchzusetzen. Senator Bernie Sanders (I-Vt.) ging noch weiter und schlug eine 20-jährige Haftstrafe für jeden vor, der KI-Superintelligenz entwickelt, und stellte dies auf eine Stufe mit der illegalen Entwicklung von Atomwaffen.

Das Unternehmen erklärte zuletzt, ein selbstreplizierender KI-Wurm könne sich ohne Rechenzentren verbreiten. Deshalb führe Anthropic „existenzielle Risiken für die Menschheit“ als einen seiner Risikofaktoren in seinem IPO-Prospekt auf. Führende KI-Labore planen Berichten zufolge für ein katastrophales KI-Ereignis, bauen Notfallpläne auf und spielen Szenarien für eine außer Kontrolle geratene KI durch, die Chaos anrichtet.