Lighteternal · BioDecision
BioDecision-4B v2
KNOWNTechnische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
—Kontext
—Max. Output
—Input
—Output
—Input / 1M
—Output / 1M
—Tools
—Reasoning
—Structured
Benchmarks
| Benchmark | Wert | Beleg |
|---|---|---|
| MedXpertQA TextAccuracy | 18.95 | Quelle ↗abgerufen 2026-10-18 |
| CT Open Summer 2025 (Endpoint)Macro-F1 | 61.2 | Quelle ↗abgerufen 2026-10-18 |
| TREC Clinical Trials 2022NDCG@10 | 0.8141 | Quelle ↗abgerufen 2026-10-18 |
| DDI-2013 (all mention pairs, given entities)Micro-F1 | 68.59 | Quelle ↗abgerufen 2026-10-18 |
| CT Open Summer 2025 (Superiority)Macro-F1 | 71.07 | Quelle ↗abgerufen 2026-10-18 |
Weitere 15 Ergebnisse
| Benchmark | Wert | Beleg |
|---|---|---|
| CT Open Winter 2025 (Endpoint)Macro-F1 | 66.67 | Quelle ↗abgerufen 2026-10-18 |
| MedMCQAAccuracy | 67.47 | Quelle ↗abgerufen 2026-10-18 |
| MedHallu (PubMedQA test questions)Accuracy | 97 | Quelle ↗abgerufen 2026-10-18 |
| CT Open Winter 2025 (Superiority)Macro-F1 | 62.34 | Quelle ↗abgerufen 2026-10-18 |
| MedQA (USMLE, 4 options)Accuracy | 74.61 | Quelle ↗abgerufen 2026-10-18 |
| Evidence Inference 2.0Macro-F1 | 53.85 | Quelle ↗abgerufen 2026-10-18 |
| HaluBench (PubMedQA subset, PMID-filtered)Accuracy | 90.3 | Quelle ↗abgerufen 2026-10-18 |
| NLI4CT 2024Macro-F1 | 76.34 | Quelle ↗abgerufen 2026-10-18 |
| PUBHEALTH (4-class veracity)Macro-F1 | 65.74 | Quelle ↗abgerufen 2026-10-18 |
| HEAD-QA (English)Accuracy | 82.91 | Quelle ↗abgerufen 2026-10-18 |
| DrugProt (all mention pairs, given entities)Micro-F1 | 71.71 | Quelle ↗abgerufen 2026-10-18 |
| MMLU medical (6 subjects)Accuracy | 83.72 | Quelle ↗abgerufen 2026-10-18 |
| PubMedQA (PQA-L)Accuracy | 78.2 | Quelle ↗abgerufen 2026-10-18 |
| BioDecision v2 held-out test (22 added sources)Accuracy | 85.12 | Quelle ↗abgerufen 2026-10-18 |
| SciFact (label, gold evidence)Macro-F1 | 86.72 | Quelle ↗abgerufen 2026-10-18 |