DeepSeek: DeepSeek V4.1 Flash 1017
CONFIRMEDDeepSeek V4.1 Flash 1017 is the October 17, 2026 snapshot of DeepSeek V4.1 Flash, served by DeepSeek under the `deepseek-flash` API model name. V4.1 Flash is a sparse mixture-of-experts model...
Alle bekannten Varianten dieser Familie. Ein direkter Artikel-Link springt exakt zur genannten Variante.
DeepSeek V4.1 Flash 1017 is the October 17, 2026 snapshot of DeepSeek V4.1 Flash, served by DeepSeek under the `deepseek-flash` API model name. V4.1 Flash is a sparse mixture-of-experts model...
DeepSeek V4.1 Flash is a sparse mixture-of-experts model from DeepSeek, and the first built on the company's Causal Encoder-Decoder (CED) architecture. It activates 8B parameters on input and 16B on...
| Benchmark | Wert | Beleg |
|---|---|---|
| llamaindex/ExtractBenchScore | 87.11 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsPipeline name: deepseek_v4_1_flash_extract_oneshot_structured_output_file (served via the DeepSeek API, thinking disabled) |
| cais/hleScore | 63.9 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsWith tools; harness not specified in the model card. |
| cais/hleScore | 36.8 | Quelle ↗Community · abgerufen 2026-10-22 |
| Idavidrein/gpqaScore | 90.9 | Quelle ↗Community · abgerufen 2026-10-22 |
| harborframework/terminal-benchScore | 31.2 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsDeepSeek Harness, Minimal mode, 1M-token context. |
| Benchmark | Wert | Beleg |
|---|---|---|
| harborframework/terminal-bench-2.1Score | 90.6 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsDeepSeek Harness, Minimal mode, 1M-token context. |
| datacurve/deep-sweScore | 74.2 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsReported as 'DeepSWE v1.1'; official mini-swe-agent harness. |
| llamaindex/ParseBenchScore | 56.57 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsPipeline name: deepseek_v4_1_flash_no_thinking_parse_with_layout (served via the DeepSeek API) |
| llamaindex/ExtractBenchshort | 94.44 | Quelle ↗Community · 2026-09-11TestdetailsPipeline name: deepseek_v4_1_flash_extract_oneshot_structured_output_file (served via the DeepSeek API, thinking disabled) |
| harborframework/terminal-benchterminalbench_3 | 30 | Quelle ↗Community · 2026-09-10TestdetailsDeepSeek Harness, Minimal mode, 1M-token context. |
| Idavidrein/gpqadiamond | 90.9 | Quelle ↗Community · 2026-09-10 |
| llamaindex/ParseBenchtext_formatting | 66.05 | Quelle ↗Community · 2026-09-10TestdetailsPipeline name: deepseek_v4_1_flash_no_thinking_parse_with_layout (served via the DeepSeek API) |
| llamaindex/ParseBenchchart | 20.46 | Quelle ↗Community · 2026-09-10TestdetailsPipeline name: deepseek_v4_1_flash_no_thinking_parse_with_layout (served via the DeepSeek API) |
| llamaindex/ParseBenchmean | 56.57 | Quelle ↗Community · 2026-09-10TestdetailsPipeline name: deepseek_v4_1_flash_no_thinking_parse_with_layout (served via the DeepSeek API) |
| harborframework/terminal-benchterminalbench_4 | 31.2 | Quelle ↗Community · 2026-09-10TestdetailsDeepSeek Harness, Minimal mode, 1M-token context. |
| harborframework/terminal-bench-2.1terminalbench_2_1 | 90.6 | Quelle ↗Community · 2026-09-10TestdetailsDeepSeek Harness, Minimal mode, 1M-token context. |
| datacurve/deep-swedeep_swe | 74.2 | Quelle ↗Community · 2026-09-10TestdetailsReported as 'DeepSWE v1.1'; official mini-swe-agent harness. |
| llamaindex/ExtractBenchmean | 87.11 | Quelle ↗Community · 2026-09-11TestdetailsPipeline name: deepseek_v4_1_flash_extract_oneshot_structured_output_file (served via the DeepSeek API, thinking disabled) |
| cais/hlehle | 36.8 | Quelle ↗Community · 2026-09-10 |
| llamaindex/ExtractBenchlong | 22.23 | Quelle ↗Community · 2026-09-11TestdetailsPipeline name: deepseek_v4_1_flash_extract_oneshot_structured_output_file (served via the DeepSeek API, thinking disabled) |
| llamaindex/ParseBenchlayout | 28.61 | Quelle ↗Community · 2026-09-10TestdetailsPipeline name: deepseek_v4_1_flash_no_thinking_parse_with_layout (served via the DeepSeek API) |
| llamaindex/ParseBenchtable | 79.65 | Quelle ↗Community · 2026-09-10TestdetailsPipeline name: deepseek_v4_1_flash_no_thinking_parse_with_layout (served via the DeepSeek API) |
| llamaindex/ExtractBenchmedium | 81.49 | Quelle ↗Community · 2026-09-11TestdetailsPipeline name: deepseek_v4_1_flash_extract_oneshot_structured_output_file (served via the DeepSeek API, thinking disabled) |
| cais/hlehle | 63.9 | Quelle ↗Community · 2026-09-10TestdetailsWith tools; harness not specified in the model card. |
| llamaindex/ParseBenchtext_content | 88.09 | Quelle ↗Community · 2026-09-10TestdetailsPipeline name: deepseek_v4_1_flash_no_thinking_parse_with_layout (served via the DeepSeek API) |
DeepSeek V4.1 Flash is a sparse mixture-of-experts model from DeepSeek, and the first built on the company's Causal Encoder-Decoder (CED) architecture. It activates 8B parameters on input and 16B on...
DeepSeek V4 Flash Vision Exp is an experimental vision-enabled version of [DeepSeek V4 Flash 0731](https://openrouter.ai/deepseek/deepseek-v4-flash-0731) from DeepSeek, adding image understanding while matching the base model on text capabilities including agents,...
DeepSeek V4 Pro 0813 is a large-scale mixture-of-experts model from DeepSeek. This is the GA release of DeepSeek V4 Pro.
DeepSeek V4 Flash 0731 is a sparse mixture-of-experts model from DeepSeek, with 13B active parameters out of 284B total. This re-post-trained revision is suited for coding, reasoning, and agent workflows....
| Benchmark | Wert | Beleg |
|---|---|---|
| hkust-nlp/ToolathlonScore | 70.3 | Quelle ↗Community · abgerufen 2026-10-22 |
| harborframework/terminal-bench-2.1Score | 82.7 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsDeepSeek Harness (minimal mode), max reasoning effort, temperature=1.0, top_p=0.95. |
| datacurve/deep-sweScore | 54.4 | Quelle ↗Community · abgerufen 2026-10-21 |
| Agents' Last ExamScore | 25.2 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| NL2RepoScore | 54.2 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Benchmark | Wert | Beleg |
|---|---|---|
| DSBench-FullStack †Score | 68.7 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Terminal Bench 2.1Score | 82.7 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| DeepSWEScore | 54.4 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| DSBench-Hard †Score | 59.6 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| AutomationBench PublicScore | 25.1 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Toolathlon-VerifiedScore | 70.3 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| CybergymScore | 76.7 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| harborframework/terminal-bench-2.1terminalbench_2_1 | 82.7 | Quelle ↗Community · 2026-08-01TestdetailsDeepSeek Harness (minimal mode), max reasoning effort, temperature=1.0, top_p=0.95. |
| datacurve/deep-swedeep_swe | 54.4 | Quelle ↗Community · 2026-08-03 |
| hkust-nlp/Toolathlontoolathlon_verified | 70.3 | Quelle ↗Community · 2026-08-01 |
DeepSeek V4 Pro is a large-scale Mixture-of-Experts model from DeepSeek with 1.6T total parameters and 49B activated parameters, supporting a 1M-token context window. It is designed for advanced reasoning, coding,...
DeepSeek V4 Flash is an efficiency-optimized Mixture-of-Experts model from DeepSeek with 284B total parameters and 13B activated parameters, supporting a 1M-token context window. It is designed for fast inference and...
DeepSeek-V3.2 is a large language model designed to harmonize high computational efficiency with strong reasoning and agentic tool-use performance. It introduces DeepSeek Sparse Attention (DSA), a fine-grained sparse attention mechanism...
| Benchmark | Wert | Beleg |
|---|---|---|
| open-agent-leaderboard/resultsoverall | 0.4585 | Quelle ↗Community · 2026-05-18Testdetailsagent: React |
| open-agent-leaderboard/resultstaubench_retail | 0.77 | Quelle ↗Community · 2026-05-18Testdetailsagent: Smolagent |
| open-agent-leaderboard/resultsbrowsecomp_plus | 0.48 | Quelle ↗Community · 2026-05-18Testdetailsagent: Claude Code |
| open-agent-leaderboard/resultsswebench | 0.64 | Quelle ↗Community · 2026-05-18Testdetailsagent: Claude Code |
| TIGER-Lab/MMLU-Prommlu_pro | 85 | Quelle ↗Community · 2026-02-28 |
| Benchmark | Wert | Beleg |
|---|---|---|
| open-agent-leaderboard/resultsappworld | 0.09 | Quelle ↗Community · 2026-05-18Testdetailsagent: React |
| mercor/apex-agentsapex-agents | 7 | Quelle ↗Community · 2026-04-22Testdetailsharness: react_toolbelt_agent; reasoning_effort: high |
| open-agent-leaderboard/resultstaubench_telecom | 0.18 | Quelle ↗Community · 2026-05-18Testdetailsagent: OpenAI Solo |
| open-agent-leaderboard/resultsoverall | 0.4158 | Quelle ↗Community · 2026-05-18Testdetailsagent: Claude Code |
| Idavidrein/gpqadiamond | 82.4 | Quelle ↗Community · 2026-02-28 |
| open-agent-leaderboard/resultstaubench_retail | 0.82 | Quelle ↗Community · 2026-05-18Testdetailsagent: React + Shortlisting |
| open-agent-leaderboard/resultstaubench_telecom | 0.84 | Quelle ↗Community · 2026-05-18Testdetailsagent: Smolagent |
| claw-eval/Claw-Evalgeneral | 42.2 | Quelle ↗Community · 2026-04-23TestdetailsPass³% | N=3 | 161 tasks |
| open-agent-leaderboard/resultstaubench_retail | 0.82 | Quelle ↗Community · 2026-05-18Testdetailsagent: React |
| open-agent-leaderboard/resultsoverall | 0.3217 | Quelle ↗Community · 2026-05-18Testdetailsagent: OpenAI Solo |
| open-agent-leaderboard/resultsswebench | 0.6875 | Quelle ↗Community · 2026-05-18Testdetailsagent: React + Shortlisting |
| internlm/WildClawBenchoverall | 34 | Quelle ↗Community · 2026-05-22 |
| open-agent-leaderboard/resultstaubench_telecom | 0.71 | Quelle ↗Community · 2026-05-18Testdetailsagent: React |
| open-agent-leaderboard/resultsoverall | 0.446 | Quelle ↗Community · 2026-05-18Testdetailsagent: React + Shortlisting |
| open-agent-leaderboard/resultsbrowsecomp_plus | 0.3 | Quelle ↗Community · 2026-05-18Testdetailsagent: OpenAI Solo |
| cais/hlehle | 40.8 | Quelle ↗Community · 2026-02-13TestdetailsNo tools, text-only |
| open-agent-leaderboard/resultsappworld | 0.06 | Quelle ↗Community · 2026-05-18Testdetailsagent: OpenAI Solo |
| harborframework/terminal-bench-2.0terminalbench_2 | 39.6 | Quelle ↗Community · 2026-02-10Testdetailsagent: Terminus 2 |
| MathArena/hmmt_feb_2026MathArena/hmmt_feb_2026 | 84.09 | Quelle ↗Community · 2026-02-23 |
| open-agent-leaderboard/resultsoverall | 0.4092 | Quelle ↗Community · 2026-05-18Testdetailsagent: Smolagent |
| open-agent-leaderboard/resultsbrowsecomp_plus | 0.21 | Quelle ↗Community · 2026-05-18Testdetailsagent: Smolagent |
| open-agent-leaderboard/resultstaubench_telecom | 0.71 | Quelle ↗Community · 2026-05-18Testdetailsagent: React + Shortlisting |
| open-agent-leaderboard/resultsswebench | 0.6875 | Quelle ↗Community · 2026-05-18Testdetailsagent: React |
| internlm/WildClawBenchavg_time | 549 | Quelle ↗Community · 2026-05-22 |
| SWE-bench/SWE-bench_Verifiedswe_bench_%_resolved | 70 | Quelle ↗Community · 2026-02-28Testdetailshigh reasoning |
| open-agent-leaderboard/resultstaubench_airline | 0.56 | Quelle ↗Community · 2026-05-18Testdetailsagent: React |
| open-agent-leaderboard/resultstaubench_telecom | 0.61 | Quelle ↗Community · 2026-05-18Testdetailsagent: Claude Code |
| MathArena/aime_2026MathArena/aime_2026 | 94.17 | Quelle ↗Community · 2026-02-18 |
| collinear-ai/yc-benchmedium | 125263 | Quelle ↗Community · 2026-04-02Testdetailsmedium preset, avg final funds (USD) across seeds 1,2,3 |
| open-agent-leaderboard/resultstaubench_retail | 0.65 | Quelle ↗Community · 2026-05-18Testdetailsagent: Claude Code |
| open-agent-leaderboard/resultstaubench_airline | 0.2 | Quelle ↗Community · 2026-05-18Testdetailsagent: OpenAI Solo |
| open-agent-leaderboard/resultsswebench | 0.56 | Quelle ↗Community · 2026-05-18Testdetailsagent: Smolagent |
| open-agent-leaderboard/resultstaubench_airline | 0.56 | Quelle ↗Community · 2026-05-18Testdetailsagent: React + Shortlisting |
| open-agent-leaderboard/resultsbrowsecomp_plus | 0.36 | Quelle ↗Community · 2026-05-18Testdetailsagent: React + Shortlisting |
| internlm/WildClawBenchavg_cost | 11.4 | Quelle ↗Community · 2026-05-22 |
| ScaleAI/SWE-bench_ProSWE_Bench_Pro | 15.56 | Quelle ↗Community · 2026-02-28 |
| open-agent-leaderboard/resultstaubench_airline | 0.6 | Quelle ↗Community · 2026-05-18Testdetailsagent: Smolagent |
| mercor/APEX-SWEapex-swe | 15.8 | Quelle ↗Community · 2026-04-22Testdetailsharness: claude_code; reasoning_effort: high |
| open-agent-leaderboard/resultsswebench | 0.7368 | Quelle ↗Community · 2026-05-18Testdetailsagent: OpenAI Solo |
| open-agent-leaderboard/resultstaubench_airline | 0.28 | Quelle ↗Community · 2026-05-18Testdetailsagent: Claude Code |
| FutureMa/EvasionBenchevasion_bench | 66.88 | Quelle ↗Community · 2026-02-10 |
| claw-eval/Claw-Evalmulti_turn | 31.6 | Quelle ↗Community · 2026-04-23TestdetailsPass³% | N=3 | 38 tasks |
| open-agent-leaderboard/resultsappworld | 0.04 | Quelle ↗Community · 2026-05-18Testdetailsagent: React + Shortlisting |
| open-agent-leaderboard/resultsbrowsecomp_plus | 0.36 | Quelle ↗Community · 2026-05-18Testdetailsagent: React |
| open-agent-leaderboard/resultsappworld | 0.13 | Quelle ↗Community · 2026-05-18Testdetailsagent: Smolagent |
| open-agent-leaderboard/resultstaubench_retail | 0.19 | Quelle ↗Community · 2026-05-18Testdetailsagent: OpenAI Solo |
| open-agent-leaderboard/resultsappworld | 0.03 | Quelle ↗Community · 2026-05-18Testdetailsagent: Claude Code |
DeepSeek-V3.2-Exp is an experimental large language model released by DeepSeek as an intermediate step between V3.1 and future architectures. It introduces DeepSeek Sparse Attention (DSA), a fine-grained sparse attention mechanism...
| Benchmark | Wert | Beleg |
|---|---|---|
| MMLU-ProScore | 85.0 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| SWE VerifiedScore | 67.8 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| GPQA-DiamondScore | 79.9 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| Humanity's Last ExamScore | 19.8 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| CodeforcesScore | 2121 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| Benchmark | Wert | Beleg |
|---|---|---|
| HMMT 2025Score | 83.6 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| SWE-bench MultilingualScore | 57.9 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| AIME 2025Score | 89.3 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| LiveCodeBenchScore | 74.1 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| Aider-PolyglotScore | 74.5 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| BrowseComp-zhScore | 47.9 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| BrowseCompScore | 40.1 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| Terminal-benchScore | 37.7 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| SimpleQAScore | 97.1 | Quelle ↗Model Card · abgerufen 2026-10-14 |
| LEXam-Benchmark/LEXamopen_question | 56.53 | Quelle ↗Community · 2026-06-02Testdetailsreasoning |
DeepSeek-V3.1 Terminus is an update to [DeepSeek V3.1](/deepseek/deepseek-chat-v3.1) that maintains the model's original capabilities while addressing issues reported by users, including language consistency and agent capabilities, further optimizing the model's...
DeepSeek-V3.1 is a large hybrid reasoning model (671B parameters, 37B active) that supports both thinking and non-thinking modes via prompt templates. It extends the DeepSeek-V3 base with a two-phase long-context...
DeepSeek V3, a 685B-parameter, mixture-of-experts model, is the latest iteration of the flagship chat model family from the DeepSeek team. It succeeds the [DeepSeek V3](/deepseek/deepseek-chat-v3) model and performs really well...
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 81.2 | Quelle ↗Community · abgerufen 2026-10-22 |
DeepSeek-V3 is the latest model from the DeepSeek team, building upon the instruction following and coding abilities of the previous versions. Pre-trained on nearly 15 trillion tokens, the reported evaluations...
| Benchmark | Wert | Beleg |
|---|---|---|
| LEXam-Benchmark/LEXamScore | 46.57 | Quelle ↗Community · abgerufen 2026-10-22 |
| openai/gsm8kScore | 89.3 | Quelle ↗Community · abgerufen 2026-10-22 |
| Idavidrein/gpqaScore | 58.2070707071 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsGPQA Diamond |
| TIGER-Lab/MMLU-ProScore | 64.4 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| openai/gsm8kScore | 92.6 | Quelle ↗Community · abgerufen 2026-10-22 |
| SWE-bench/SWE-bench_VerifiedScore | 80.6 | Quelle ↗Community · abgerufen 2026-10-22 |
| cais/hleScore | 37.7 | Quelle ↗Community · abgerufen 2026-10-22 |
| Idavidrein/gpqaScore | 90.1 | Quelle ↗Community · abgerufen 2026-10-22 |
| TIGER-Lab/MMLU-ProScore | 87.5 | Quelle ↗Community · abgerufen 2026-10-22 |
| Benchmark | Wert | Beleg |
|---|---|---|
| benchflow/skillsbenchScore | 50.1 | Quelle ↗Community · abgerufen 2026-10-22Testdetailswith-skills; BenchFlow harness; OpenHands agent; 87 tasks x 3 trials; full 261/261 coverage |
| actava/chi-benchScore | 14.2 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsHarness: OpenAI Agents SDK; Protocol: 75 tasks x 3 trials; Metric: pass@1 (%) |
| InternScience/ResearchClawBenchScore | 17.12 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsResearchHarness evaluation with tools enabled, code execution, and a file-system workspace; completed 39/40 ResearchClawBench tasks. |
| claw-eval/Claw-EvalScore | 58.4 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsPass³% | N=3 | 161 tasks |
| internlm/WildClawBenchScore | 12 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 605 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 43.7 | Quelle ↗Community · abgerufen 2026-10-22 |
| collinear-ai/yc-benchScore | 1066426 | Quelle ↗Community · abgerufen 2026-10-22Testdetailsmedium preset, avg final funds (USD) across seeds 1,2,3 |
| harborframework/terminal-bench-2.0Score | 67.9 | Quelle ↗Community · abgerufen 2026-10-22 |
| IntelligenceLab/Long-Horizon-Terminal-BenchScore | 3 | Quelle ↗Community · abgerufen 2026-10-21Testdetails3/46 tasks solved at reward >= 0.95 (pass@0.95); mean reward x100 = 30.7; official LHTB Harbor harness |
| agents-last-exam/agents-last-examScore | 12.390350877192983 | Quelle ↗Community · abgerufen 2026-10-21Testdetailsharness=openclaw; harness_variant=not reported; attempted=146/152; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| SWE-bench/SWE-bench_MultilingualScore | 76.2 | Quelle ↗Community · abgerufen 2026-10-21 |
| ScaleAI/SWE-bench_ProScore | 55.4 | Quelle ↗Community · abgerufen 2026-10-21 |
| joelniklaus/LEXam-hardScore | 38.93 | Quelle ↗Community · abgerufen 2026-10-21Testdetailslighteval, LEXam paper prompts, one response per question, no tools; DeepSeek-R1-0528 judge; mean of the German and English means over the 518 questions, 0-100 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 65.83 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| openai/gsm8kScore | 79.2 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| PaddlePaddle/Real5-OmniDocBenchScore | 73.99 | Quelle ↗Community · abgerufen 2026-10-21 |
| allenai/olmOCR-benchScore | 75.7 | Quelle ↗Community · abgerufen 2026-10-21 |
| Delores-Lin/MDPBenchScore | 51.8 | Quelle ↗Community · abgerufen 2026-10-21 |
| Delores-Lin/MDPBenchit | 69.3 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchprivate | 54.5 | Quelle ↗Community · 2026-07-03 |
| Benchmark | Wert | Beleg |
|---|---|---|
| Delores-Lin/MDPBenchjp | 49.1 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchdigital | 80.7 | Quelle ↗Community · 2026-07-03 |
| allenai/olmOCR-benchmulti_column | 66.4 | Quelle ↗Community · 2026-02-19 |
| Delores-Lin/MDPBenchoverall | 51.8 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchzh | 59.7 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchar | 56.9 | Quelle ↗Community · 2026-07-03 |
| allenai/olmOCR-benchtable_tests | 80.2 | Quelle ↗Community · 2026-02-19 |
| allenai/olmOCR-benchoverall | 75.7 | Quelle ↗Community · 2026-02-19 |
| PaddlePaddle/Real5-OmniDocBenchillumination | 78.1 | Quelle ↗Community · 2026-08-08 |
| Delores-Lin/MDPBenchhi | 52.2 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchfr | 43.2 | Quelle ↗Community · 2026-07-03 |
| PaddlePaddle/Real5-OmniDocBenchoverall | 73.99 | Quelle ↗Community · 2026-08-08 |
| allenai/olmOCR-bencharxiv_math | 77.2 | Quelle ↗Community · 2026-02-19 |
| Delores-Lin/MDPBenchen | 58.3 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchvi | 54.1 | Quelle ↗Community · 2026-07-03 |
| allenai/olmOCR-benchold_scans_math | 73.6 | Quelle ↗Community · 2026-02-19 |
| Delores-Lin/MDPBenchphotographed | 42.2 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchpt | 53 | Quelle ↗Community · 2026-07-03 |
| PaddlePaddle/Real5-OmniDocBenchskew | 63.01 | Quelle ↗Community · 2026-08-08 |
| PaddlePaddle/Real5-OmniDocBenchscanning | 86.17 | Quelle ↗Community · 2026-08-08 |
| Delores-Lin/MDPBenchnl | 52.4 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchnon_latin | 48.9 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchde | 55 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchid | 60.9 | Quelle ↗Community · 2026-07-03 |
| allenai/olmOCR-benchold_scans | 33.3 | Quelle ↗Community · 2026-02-19 |
| Delores-Lin/MDPBenches | 44.1 | Quelle ↗Community · 2026-07-03 |
| PaddlePaddle/Real5-OmniDocBenchwarping | 67.2 | Quelle ↗Community · 2026-08-08 |
| allenai/olmOCR-benchheaders_footers | 96.1 | Quelle ↗Community · 2026-02-19 |
| Delores-Lin/MDPBenchth | 49.4 | Quelle ↗Community · 2026-07-03 |
| allenai/olmOCR-benchlong_tiny_text | 79.4 | Quelle ↗Community · 2026-02-19 |
| Delores-Lin/MDPBenchru | 36.2 | Quelle ↗Community · 2026-07-03 |
| PaddlePaddle/Real5-OmniDocBenchscreen_photography | 75.31 | Quelle ↗Community · 2026-08-08 |
| Delores-Lin/MDPBenchko | 28.2 | Quelle ↗Community · 2026-07-03 |
| Delores-Lin/MDPBenchzh_t | 59.2 | Quelle ↗Community · 2026-07-03 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 34.37 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| SWE-bench/SWE-bench_VerifiedScore | 79 | Quelle ↗Community · abgerufen 2026-10-22 |
| cais/hleScore | 34.8 | Quelle ↗Community · abgerufen 2026-10-22 |
| Idavidrein/gpqaScore | 88.1 | Quelle ↗Community · abgerufen 2026-10-22 |
| TIGER-Lab/MMLU-ProScore | 86.4 | Quelle ↗Community · abgerufen 2026-10-22 |
| benchflow/skillsbenchScore | 44.7 | Quelle ↗Community · abgerufen 2026-10-22Testdetailswith-skills; BenchFlow harness; OpenHands agent; 87 tasks x 3 trials; full 261/261 coverage |
| Benchmark | Wert | Beleg |
|---|---|---|
| claw-eval/Claw-EvalScore | 57.8 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsPass³% | N=3 | 161 tasks |
| harborframework/terminal-bench-2.0Score | 56.9 | Quelle ↗Community · abgerufen 2026-10-22 |
| IntelligenceLab/Long-Horizon-Terminal-BenchScore | 2 | Quelle ↗Community · abgerufen 2026-10-21Testdetails2/46 tasks solved at reward >= 0.95, estimated at the leaderboard's 90-minute budget from interim verifier checkpoints of a 3-hour terminus-2 run; NOT a real 90-minute run. Range 2-3/46 (riscv-core-debug unresolved). The same run scores 5/46 at its full 3-hour budget. Official LHTB Harbor harness. |
| SWE-bench/SWE-bench_MultilingualScore | 73.3 | Quelle ↗Community · abgerufen 2026-10-21 |
| joelniklaus/LEXam-hardScore | 38.19 | Quelle ↗Community · abgerufen 2026-10-21Testdetailslighteval, LEXam paper prompts, one response per question, no tools; DeepSeek-R1-0528 judge; mean of the German and English means over the 518 questions, 0-100 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 54.81 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Alle verbundenen Artikel, neueste zuerst.