Witcheer1999 · Bagnoli
Bagnoli-Zero-v10.2-250M
KNOWNTechnische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
—Kontext
—Max. Output
—Input
—Output
—Input / 1M
—Output / 1M
—Tools
—Reasoning
—Structured
Benchmarks
| Benchmark | Wert | Beleg |
|---|---|---|
| HellaSwagAccuracy Norm (0-shot, lm-eval v0.4.13) | 30.2 | Quelle ↗abgerufen 2026-10-24 |
| SuperGPQAAccuracy (0-shot, lm-eval v0.4.13) | 12.4 | Quelle ↗abgerufen 2026-10-24 |
| SciBench (4-Choice MC)Accuracy (4-Choice MC, lm-eval v0.4.13) | 77.4 | Quelle ↗abgerufen 2026-10-24 |
| Minerva-Math (4-Choice MC)Accuracy (4-Choice MC, lm-eval v0.4.13) | 29.41 | Quelle ↗abgerufen 2026-10-24 |
| OpenBookQAAccuracy Norm (0-shot, lm-eval v0.4.13) | 25.6 | Quelle ↗abgerufen 2026-10-24 |
Weitere 21 Ergebnisse
| Benchmark | Wert | Beleg |
|---|---|---|
| WinoGrandeAccuracy (0-shot, lm-eval v0.4.13) | 53 | Quelle ↗abgerufen 2026-10-24 |
| SimpleQA (4-Choice MC)Accuracy (4-Choice MC, lm-eval v0.4.13) | 34 | Quelle ↗abgerufen 2026-10-24 |
| BIG-Bench Hard (BBH)Accuracy (0-shot, lm-eval v0.4.13) | 32 | Quelle ↗abgerufen 2026-10-24 |
| BoolQAccuracy (0-shot, lm-eval v0.4.13) | 61.6 | Quelle ↗abgerufen 2026-10-24 |
| PubMedQAAccuracy (0-shot, lm-eval v0.4.13) | 38.6 | Quelle ↗abgerufen 2026-10-24 |
| AIME 1983-2025 (4-Choice MC)Accuracy (4-Choice MC, lm-eval v0.4.13) | 63.33 | Quelle ↗abgerufen 2026-10-24 |
| GSM8K (4-Choice MC)Accuracy (4-Choice MC, lm-eval v0.4.13) | 46.8 | Quelle ↗abgerufen 2026-10-24 |
| MuSRAccuracy (0-shot, lm-eval v0.4.13) | 43 | Quelle ↗abgerufen 2026-10-24 |
| MATH-500 (4-Choice MC)Accuracy (4-Choice MC, lm-eval v0.4.13) | 69.2 | Quelle ↗abgerufen 2026-10-24 |
| MMLU-ProAccuracy (0-shot, lm-eval v0.4.13) | 31.8 | Quelle ↗abgerufen 2026-10-24 |
| MMLUAccuracy (0-shot, lm-eval v0.4.13) | 31.2 | Quelle ↗abgerufen 2026-10-24 |
| SciQAccuracy (0-shot, lm-eval v0.4.13) | 64.2 | Quelle ↗abgerufen 2026-10-24 |
| MedQA-USMLEAccuracy (0-shot, lm-eval v0.4.13) | 26.8 | Quelle ↗abgerufen 2026-10-24 |
| FOLIOAccuracy (0-shot, lm-eval v0.4.13) | 39 | Quelle ↗abgerufen 2026-10-24 |
| CommonsenseQAAccuracy (0-shot, lm-eval v0.4.13) | 20.6 | Quelle ↗abgerufen 2026-10-24 |
| TruthfulQA (MC1)Accuracy (0-shot, lm-eval v0.4.13) | 36.4 | Quelle ↗abgerufen 2026-10-24 |
| AI2 ARC-EasyAccuracy (0-shot, lm-eval v0.4.13) | 38.8 | Quelle ↗abgerufen 2026-10-24 |
| MedMCQAAccuracy (0-shot, lm-eval v0.4.13) | 25.6 | Quelle ↗abgerufen 2026-10-24 |
| CRUXEval (4-Choice MC)Accuracy (4-Choice MC, lm-eval v0.4.13) | 39 | Quelle ↗abgerufen 2026-10-24 |
| GPQA-DiamondAccuracy (0-shot, lm-eval v0.4.13) | 33.8 | Quelle ↗abgerufen 2026-10-24 |
| AI2 ARC-ChallengeAccuracy Norm (0-shot, lm-eval v0.4.13) | 24.8 | Quelle ↗abgerufen 2026-10-24 |