Together AI nennt für Together Compiler Spitzenwerte von 1.111 Tokens pro Sekunde auf MiniMax M3.1 Flash und 1.205 Tokens pro Sekunde auf DeepSeek v4.1 Flash. Das sind die auffälligsten Zahlen zum Start, und sie stehen im Raum, bevor irgendjemand den Compiler selbst ausprobiert hat. Together AI zufolge läuft Together Compiler bereits auf einigen der beliebtesten serverlosen Endpunkte des Unternehmens. Welche Endpunkte und Workloads betroffen sind, gab das Unternehmen nicht an. Dataphoenix berichtet ebenfalls, dass Together AI die betroffenen Endpunkte und Workloads nicht nennt.

Agenten optimieren den wechselnden Betrieb

Together Compiler nimmt die Verkehrsform eines Workloads, das Modell und die Hardware als Eingaben. Nach Angaben von Together AI schlagen mehrere Software-Agenten dann Änderungen vor und testen sie. Laut Together AI sind Inferenz-Workloads mit Tausenden von Regimen über Modelle, Hardware, Kunden und Traffic-Muster hinweg zu dynamisch, um sie manuell zu optimieren.

TKCC startet laut Together AI mehrere Agenten, die kontinuierlich Ideen generieren und über ein Message Board kommunizieren, um ihre Bemühungen zu parallelisieren. TKCC verwendet laut Together AI ein eigenes Kostenmodell, um Parallelisierungsstrategien wie TP, EP und DCP für Agenten auszuwählen. Der Ansatz setzt damit nicht auf einen einmaligen Kompilierungslauf, sondern auf eine Schleife, die sich an veränderte Modelle, Hardware und Lasten anpasst.

Was die Benchmarks zeigen – und was nicht

Genauer beziffert Together AI den Effekt so: In weniger als 24 Stunden erreiche TKCC über führende Open-Source-Modelle hinweg bis zu 2,6-mal höhere TPS. Im SemiAnalysis-Benchmark InferenceX für niedrige Latenz setze TKCC laut Together AI mit 1111 TPS auf MiniMax M3.1-Flash und 1205 TPS auf DeepSeek v4.1-Flash den State of the Art. Im Llama-1B-Setting mit Batch Size 1 übertreffe er verfügbare Open-Source-Megakernels nach Angaben des Anbieters um das 1,7-Fache. Ermöglicht werde dieser Zuwachs Together AI zufolge durch einen 252-mal höheren Experiment-Durchsatz als bei Baseline-Systemen zur agentischen Leistungsoptimierung. Beeindruckende Zahlen, keine Frage – sie bleiben aber das Zeugnis des Anbieters.

Ein Detail trübt die Vergleichbarkeit: Trainium2 lief Together AI zufolge auf einem synthetischen Multi-Turn-Datensatz mit 70k ISL, 3,5k neuem ISL, 95 Prozent gecacht und 700 OSL – nicht auf AgentX. Als Grund ergänzt das Unternehmen, die eigene Implementierung unterstütze höhere Parallelitäten auf der begrenzten HBM-Kapazität noch nicht. Das ist kein Skandal, aber ein Hinweis darauf, wie sorgfältig man die Zahlen lesen muss.

Ob die 1111 und 1205 TPS unter realen Kundenlasten halten, lässt sich anhand des geöffneten Materials nicht sagen.

Ein Versprechen für die Infrastruktur

Together Compiler ist laut Together AI der erste konkrete Baustein der breiteren Forschungsagenda „Polymorphic Inference“ für Inferenzsysteme, die sich an wechselnde Workloads und Infrastruktur anpassen.

Das Versprechen lautet: Wer auf Together AI setzt, bekommt die Optimierung als laufenden Service – so die Darstellung des Anbieters.