Gramscii-It · SemanticRepair
SemanticRepair-0.8B (Q8_0)
KNOWNTechnische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
—Kontext
—Max. Output
—Input
—Output
—Input / 1M
—Output / 1M
—Tools
—Reasoning
—Structured
Benchmarks
| Benchmark | Wert | Beleg |
|---|---|---|
| Held-out test split (963 rows)Whole answer equal to the target (%) | 31.9 | Quelle ↗abgerufen 2026-10-20 |
| 481 real Italian chat questions, held out from trainingWrong executions (%), lower is better | 2.1 | Quelle ↗abgerufen 2026-10-20 |
| 80 requests and 20 non-requestsNon-requests answered NO_REQUEST (%) | 100 | Quelle ↗abgerufen 2026-10-20 |
| 481 real Italian chat questions, held out from trainingExact capability set (%) | 34.7 | Quelle ↗abgerufen 2026-10-20 |
| Held-out labelled lines (1,457 lines)Lines whose capability is named right (%) | 98 | Quelle ↗abgerufen 2026-10-20 |
Weitere 1 Ergebnisse
| Benchmark | Wert | Beleg |
|---|---|---|
| 80 requests and 20 non-requestsRequests placed on the right capability (%) | 76.25 | Quelle ↗abgerufen 2026-10-20 |