Autotrust · autotrust/JEV
autotrust/JEV-27B (student of TypeSafe Jev 1.13)
KNOWNTechnische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
—Kontext
—Max. Output
—Input
—Output
—Input / 1M
—Output / 1M
—Tools
—Reasoning
—Structured
Benchmarks
| Benchmark | Wert | Beleg |
|---|---|---|
| HumanEvalpass@1 (greedy, completion-style prompt) | 0.78 | Quelle ↗abgerufen 2026-10-11 |
| jev-distill-corpus-v3 · test_set_30kmean KL(target ‖ model), all test rows (25,376 of 29,955 targets are TypeSafe Jev 1.13 distributions) | 0.0186 | Quelle ↗abgerufen 2026-10-11 |
| jev-distill-corpus-v3 · test_set_30kECE (15 bins, after temperature) | 0.0009 | Quelle ↗abgerufen 2026-10-11 |
| jev-distill-corpus-v3 · test_set_30knoul AUROC | 0.996 | Quelle ↗abgerufen 2026-10-11 |
| jev-distill-corpus-v3 · test_set_30kchoice top-1 agreement (decisive-target rows, top-2 gap ≥ 0.1) | 0.958 | Quelle ↗abgerufen 2026-10-11 |
Weitere 3 Ergebnisse
| Benchmark | Wert | Beleg |
|---|---|---|
| jev-distill-corpus-v3 · test_set_30knoul Brier (vs. target probability, all rows) | 0.0013 | Quelle ↗abgerufen 2026-10-11 |
| jev-distill-corpus-v3 · test_set_30kscore expected-value MAE (0–5 scale) | 0.098 | Quelle ↗abgerufen 2026-10-11 |
| jev-distill-corpus-v3 · test_set_30kchoice top-1 agreement (all rows) | 0.903 | Quelle ↗abgerufen 2026-10-11 |