TypeSafe AI gibt an, dass sein neues Modell Jev eine Antwortlatenz von 70 bis 500 Millisekunden erreicht. Zhongyu Wei, Professor an der Fudan University, beschreibt, dass Jev Fragen nur in einem vordefinierten, strukturierten Antwortformat beantworten kann: Es bekommt eine Frage und Optionen wie A, B und C und muss daraus wählen, wobei es Wahrscheinlichkeiten zurückgibt. Das ist ein enges Korsett, und die Latenzzusage des Herstellers klingt beeindruckend, doch was sie im Alltag wert ist, hängt daran, wie gut die vorgegebenen Optionen sind.

Laut Spectrum liegt der Reiz in der Geschwindigkeit, doch der Preis dafür ist, dass Jev nicht frei formulieren darf. Wei zufolge muss das Modell aus den vorgegebenen Antwortmöglichkeiten auswählen und liefert dazu Wahrscheinlichkeiten.

Spectrum zufolge testeten Krishnan und seine Co-Autoren Jev, indem sie das Modell beurteilen ließen, ob Antworten auf Fragen korrekt waren. Jev schnitt gut ab, wenn das Urteil leicht aus dem Prompt ablesbar war, und fiel ab, wenn Mathematik oder ein Logikrätsel nötig waren. Das enge Antwortformat hilft offenbar bei einfachen Urteilen, stößt aber an Grenzen, sobald das Modell rechnen oder kombinieren muss.

Wer Jev für schnelle Ersteinschätzungen in spezialisierten Feldern nutzt, sollte diese Grenzen kennen.

Die sinnvolle Rolle liegt dazwischen

Krishnan von der Carnegie Mellon University warnt davor, das Entfernen von Halluzinationen aus der Ausgabe mit fehlerfreien Entscheidungen zu verwechseln. Sein Einwand trifft den Kern: Ein sauberes Antwortformat garantiert noch keine richtige Wahl.

Spectrum zufolge erwartet Wei, dass sich eine hybride Architektur durchsetzt. Darin ruft das Decision Model ein LLM für eine ausführlichere Erklärung auf, während ein LLM das Decision Model für ein schnelles Urteil anfragen kann. Wei hält diese Aufteilung für sehr flexibel.

Damit liegt die sinnvolle Rolle von Jev zwischen den beiden Werkzeugen: schnelles Urteil hier, Erklärung dort. Krishnans Warnung und Weis Modellaufteilung passen zusammen: Jev ersetzt das LLM nicht, sondern ergänzt es um die schnelle Vorprüfung.