Caiovicentino1 · Ekbasis
Ekbasis-27B
KNOWNTechnische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
—Kontext
—Max. Output
—Input
—Output
—Input / 1M
—Output / 1M
—Tools
—Reasoning
—Structured
Benchmarks
| Benchmark | Wert | Beleg |
|---|---|---|
| Ekbasis git sandbox v3 (held-out command types)Accuracy, all questions | 95.3 | Quelle ↗abgerufen 2026-10-10 |
| Ekbasis git sandbox v3 (known command types)AUROC, uncommitted work lost | 0.998 | Quelle ↗abgerufen 2026-10-10 |
| Ekbasis git sandbox v3 (held-out command types)AUROC, uncommitted work lost | 0.989 | Quelle ↗abgerufen 2026-10-10 |
| Ekbasis worlds, never-trained familiesAccuracy on changed answers, one prompt per question | 81.2 | Quelle ↗abgerufen 2026-10-10 |
| Ekbasis git sandbox v3 (known command types)Accuracy, all questions | 98.1 | Quelle ↗abgerufen 2026-10-10 |