Der Blogbeitrag von HiddenLayer beschreibt eine simulierte Checkout-Seite, auf der eine vom Angreifer kontrollierte Anzeige den Browser-Agenten dazu brachte, vom Kauf des Nutzers abzuspringen und auf die Anzeige zu reagieren. Die Anweisung, Seitentext als nicht vertrauenswürdig zu behandeln, habe den Agenten nicht davon abgehalten, wie InfoWorld berichtet.
Der Beitrag argumentiert, mit Jev seien mehrere Risiken verbunden, weil ein Modellurteil jeweils in eine operative Entscheidung übergehe. Ein Browser-Agent könne sofort auf ein ausgewähltes Element klicken, ein Moderationssystem könne eine Eingabe zulassen, deren Toxizitätswert unter einen Schwellenwert fällt, und ein Routing-System könne eine Anfrage an ein anderes Tool oder einen anderen Workflow senden.
Das bloße Einfügen von Zeichen vor wichtigen Wörtern, wie im ursprünglichen TokenBreak-Angriff, bewirkte laut dem Blogbeitrag nicht viel. Eine Erhöhung der Anzahl der Perturbationen und eine Verbesserung ihrer Zielausrichtung führte dagegen zu deutlich höheren Angriffserfolgsraten.
Kasimir Schulz, Direktor für Sicherheitsforschung bei HiddenLayer und Mitautor des Blogbeitrags, sagte, der beschleunigte Ansatz nehme Jev einige der Kontrollen und Gegengewichte herkömmlicher LLMs. Dadurch könne Jev auf Angreifertricks hereinfallen, die aktuelle LLMs üblicherweise erkennen und ablehnen. TokenBreak funktioniere normalerweise nicht bei größeren LLMs, Jev sei jedoch von Haus aus dafür anfällig, sagte Schulz. Zugleich sagte er, Jev sei großartig und solle genutzt werden, da es eine viel schnellere Antwortzeit habe, mit der Einschränkung, dass es nicht über alle Schutzmechanismen traditioneller LLMs verfüge.
Frank Dickson, Principal Analyst bei Dickson Research, merkte an, dieselben Eigenschaften, die Jev so attraktiv machten, setzten es auch riskanterem Verhalten aus. Jev könne nur aus Optionen wählen, die der Entwickler auf die Menüliste setze, was Angriffspfade begrenze, sagte Dickson. Stehe jedoch „auf jedes Element der Seite klicken“ auf der Menüliste, sei die Anzeige des Angreifers auf der Menüliste; das sei eine Architekturentscheidung, die der Käufer treffe. Dickson wies darauf hin, Jev mache KI-Entscheidungen schneller und billiger, was auch die falschen Entscheidungen schneller und billiger mache; Geschwindigkeit sei ein Feature und keine Sicherheitskontrolle.
Philip Harris, Research Director bei IDC, beobachtete, die im Blogbeitrag beschriebene Methodik sei solide und konsistent mit etablierter KI-Red-Teaming-Praxis. Der Aufbau einer kontrollierten Testumgebung und die Prüfung auf adversariale Manipulation und Injection sei genau der richtige Ansatz, so Harris. Nader Henein, VP Analyst bei Gartner, fügte hinzu, Jev, das am 15. September eingeführt wurde, sei so neu, dass er einige der Fehlerberichte für verfrüht halte.
Jev ist ein auf Maschine-zu-Maschine-Funktion ausgelegtes, verschlanktes Modell, das Aufgaben schneller erledigen und weniger Tokens verbrauchen kann. TypeSafe hat für die Kategorie den Namen System One geprägt und beschreibt sie als neue Klasse von Frontier-Modellen, die schnelle, strukturierte Entscheidungen treffen, die Software direkt nutzen kann; Jev ist das erste und bislang einzige benannte Produkt dieser Kategorie. Es gibt eine Debatte darüber, ob Jev technisch ein Large Language Model ist: TypeSafe verneint dies, während HiddenLayer angibt, es scheine eines zu sein. Der Blogbeitrag hält fest, dass es sich unter der Haube letztlich weiterhin um Sprachmodelle handelt. TypeSafe reagierte laut dem Bericht nicht auf mehrere Anfragen nach einer Stellungnahme.
Der Blogbeitrag empfiehlt, bei der Bewertung von System-One-Modellen die Entscheidungen in der Anwendung zu testen, in der sie eingesetzt werden. Einzubeziehen seien nicht vertrauenswürdige Webseiten, irreführender aufgabenbezogener Text und modifizierte Eingaben, die ihre Bedeutung bewahren, aber ihre Form ändern. Zudem rät der Beitrag, die ausgewählten Aktionen und Werte zu überwachen und unabhängige Prüfungen um Ergebnisse zu legen, die wichtig sind.