Udgamlabs · Lilavati
Lilavati
KNOWNTechnische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
—Kontext
—Max. Output
—Input
—Output
—Input / 1M
—Output / 1M
—Tools
—Reasoning
—Structured
Benchmarks
| Benchmark | Wert | Beleg |
|---|---|---|
| Plain majority voteScore | 65.7 | Quelle ↗Model Card · abgerufen 2026-10-18 |
| GSM8K test (1,319)Score | 54.7 | Quelle ↗Model Card · abgerufen 2026-10-18 |
| At least one of the 48 programs is right (an upper bound)Score | 89.5 | Quelle ↗Model Card · abgerufen 2026-10-18 |
| The checker's single top-rated programScore | 66.7 | Quelle ↗Model Card · abgerufen 2026-10-18 |
| GSM-Plus testmini, the 7 answerable perturbation types (2,100)Score | 39.2 | Quelle ↗Model Card · abgerufen 2026-10-18 |
Weitere 4 Ergebnisse
| Benchmark | Wert | Beleg |
|---|---|---|
| SVAMP (1,000)Score | 69.9 | Quelle ↗Model Card · abgerufen 2026-10-18 |
| GSM-Hard (1,319)Score | 43.7 | Quelle ↗Model Card · abgerufen 2026-10-18 |
| Checker-weighted vote (the default in `solve()`)Score | 72.3 | Quelle ↗Model Card · abgerufen 2026-10-18 |
| ASDiv, numeric answers (2,159)Score | 74.0 | Quelle ↗Model Card · abgerufen 2026-10-18 |