Alle bekannten Varianten dieser Familie. Ein direkter Artikel-Link springt exakt zur genannten Variante.
Qwen3.8 Max Prime is a higher-throughput variant of Qwen3.8 Max from Alibaba's Qwen team, served as a separate SKU at a higher price point. It accepts text, image, and video...
Qwen3.8 Omni Flash is an omni-modal reasoning model from Alibaba, the first Qwen model built around agentic capabilities with native audio-video understanding. It is suited for audio-video analysis and summarization,...
Qwen3.8 Max 0902 is an updated snapshot of Qwen3.8 Max from Alibaba's Qwen team. It is a 2.4-trillion-parameter mixture-of-experts model that accepts text, image, and video input and returns text,...
Qwen3.8 Flash is a multimodal reasoning model from Alibaba. It is suited for coding assistance, agentic workflows, visual understanding, document and codebase analysis, desktop interaction, chart analysis, and long-video analysis.
Qwen3.8 27B is an open-weight dense vision-language model from Qwen. It is suited for coding, professional workflows, research, multimodal interaction, and long-running agent tasks, with flexible thinking that can be...
| Benchmark | Wert | Beleg |
|---|---|---|
| llamaindex/ExtractBenchScore | 89.75 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsPipeline name: qwen3_8_27b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| cais/hleScore | 30.8 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsJudged by GPT-4o. |
| Idavidrein/gpqaScore | 89.2 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 48.0152 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 516 | Quelle ↗Community · abgerufen 2026-10-22 |
| Benchmark | Wert | Beleg |
|---|---|---|
| harborframework/terminal-bench-2.1Score | 73 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsRow labeled "(Terminus)" as the harness; no further hyperparameter footnote given for this row. |
| agents-last-exam/agents-last-examScore | 20.394736842105264 | Quelle ↗Community · abgerufen 2026-10-21Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=148/152; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| datacurve/deep-sweScore | 42.2 | Quelle ↗Community · abgerufen 2026-10-21 |
| ScaleAI/SWE-bench_ProScore | 61.7 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsEvaluated with the Claude Code harness, temp=1.0, top_p=0.95, 256K context; baseline models re-evaluated on the same refined task set. |
| llamaindex/ParseBenchScore | 70.79 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsPipeline name: qwen3_8_27b_thinking_parse_with_layout; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| datacurve/deep-swedeep_swe | 42.2 | Quelle ↗Community · 2026-08-14 |
| Idavidrein/gpqadiamond | 89.2 | Quelle ↗Community · 2026-08-14 |
| agents-last-exam/agents-last-examale-cli-score | 43.54068132927283 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=104/105; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| llamaindex/ExtractBenchlong | 38.45 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_8_27b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| internlm/WildClawBenchoverall | 48.0152 | Quelle ↗Community · 2026-08-16 |
| agents-last-exam/agents-last-examoverall-score | 42.8847508157024 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=148/152; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| llamaindex/ParseBenchtext_formatting | 59.77 | Quelle ↗Community · 2026-08-28TestdetailsPipeline name: qwen3_8_27b_thinking_parse_with_layout; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| llamaindex/ExtractBenchmean | 89.75 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_8_27b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| agents-last-exam/agents-last-examnear-term-pass-rate | 31.343283582089555 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=66/67; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| ScaleAI/SWE-bench_ProSWE_Bench_Pro | 61.7 | Quelle ↗Community · 2026-08-14TestdetailsEvaluated with the Claude Code harness, temp=1.0, top_p=0.95, 256K context; baseline models re-evaluated on the same refined task set. |
| llamaindex/ParseBenchmean | 70.79 | Quelle ↗Community · 2026-08-28TestdetailsPipeline name: qwen3_8_27b_thinking_parse_with_layout; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| llamaindex/ParseBenchchart | 69.17 | Quelle ↗Community · 2026-08-28TestdetailsPipeline name: qwen3_8_27b_thinking_parse_with_layout; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| llamaindex/ExtractBenchshort | 94.68 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_8_27b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| agents-last-exam/agents-last-examfull-spectrum-score | 42.54520629651143 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=55/55; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| llamaindex/ExtractBenchmedium | 87.54 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_8_27b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| cais/hlehle | 30.8 | Quelle ↗Community · 2026-08-14TestdetailsJudged by GPT-4o. |
| agents-last-exam/agents-last-examale-cli-pass-rate | 19.047619047619047 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=104/105; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| agents-last-exam/agents-last-examlast-exam-score | 14.726424569791586 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=35/38; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| internlm/WildClawBenchavg_time | 516 | Quelle ↗Community · 2026-08-16 |
| llamaindex/ParseBenchlayout | 69.9 | Quelle ↗Community · 2026-08-28TestdetailsPipeline name: qwen3_8_27b_thinking_parse_with_layout; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| agents-last-exam/agents-last-examfull-spectrum-pass-rate | 21.818181818181817 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=55/55; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| harborframework/terminal-bench-2.1terminalbench_2_1 | 73 | Quelle ↗Community · 2026-08-14TestdetailsRow labeled "(Terminus)" as the harness; no further hyperparameter footnote given for this row. |
| llamaindex/ParseBenchtable | 66.82 | Quelle ↗Community · 2026-08-28TestdetailsPipeline name: qwen3_8_27b_thinking_parse_with_layout; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| claw-eval/Claw-Evalmultimodal | 57.4 | Quelle ↗Community · 2026-08-14TestdetailsReported as ClawEval-MM. Pass@3, the benchmark's own Pass³ methodology; card also reports a secondary 56.9 'Average' metric, not included here. |
| agents-last-exam/agents-last-examlast-exam-pass-rate | 2.631578947368421 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=35/38; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| agents-last-exam/agents-last-examoverall-pass-rate | 20.394736842105264 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=148/152; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
| llamaindex/ParseBenchtext_content | 88.28 | Quelle ↗Community · 2026-08-28TestdetailsPipeline name: qwen3_8_27b_thinking_parse_with_layout; served checkpoint: Qwen/Qwen3.8-27B-FP8 |
| agents-last-exam/agents-last-examnear-term-score | 60.02555857554045 | Quelle ↗Community · 2026-10-01Testdetailsharness=claude_code; harness_variant=reasoning-max; attempted=66/67; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. |
Qwen3.8 2.4T A95B is an open-weight sparse mixture-of-experts model from Qwen and the open-weight variant of [Qwen3.8 Max](/qwen/qwen3.8-max), with 95 billion active parameters out of 2.4 trillion total. It is...
| Benchmark | Wert | Beleg |
|---|---|---|
| cais/hleScore | 43.6 | Quelle ↗Community · abgerufen 2026-10-22 |
| Idavidrein/gpqaScore | 92.6 | Quelle ↗Community · abgerufen 2026-10-22 |
| hkust-nlp/ToolathlonScore | 72.5 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 56.2 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 708 | Quelle ↗Community · abgerufen 2026-10-22 |
| Benchmark | Wert | Beleg |
|---|---|---|
| harborframework/terminal-bench-2.1Score | 86.6 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsReported under the "Qwen3.8-Max" product tier (vision input, non-thinking support, 1M context by default, built-in tools) -- may not be identical to the raw open checkpoint alone. Evaluated with Claude Code (avg@10), 5h timeout, max_tokens=131072. |
| datacurve/deep-sweScore | 56.6 | Quelle ↗Community · abgerufen 2026-10-21 |
| ScaleAI/SWE-bench_ProScore | 67.7 | Quelle ↗Community · abgerufen 2026-10-21 |
Qwen3.7 Flash is a vision-language reasoning model from Alibaba. It is suited for multimodal agents, visual coding, search, and computer interaction, with strengths in object recognition, spatial understanding, and real-world...
Qwen3.7-Plus is a cost-effective model in Alibaba's Qwen3.7 series. It supports text and image input with text output, building on the series' text capabilities with a comprehensive upgrade to its...
Qwen3.7-Plus is a cost-effective model in Alibaba's Qwen3.7 series. It supports text and image input with text output, building on the series' text capabilities with a comprehensive upgrade to its...
Qwen3.7-Max is the flagship model in Alibaba's Qwen3.7 series. It supports text input and output and is designed for agent-centric workloads, with particular strengths in coding, office and productivity tasks,...
Qwen3.6-35B-A3B is an open-weight multimodal model from Alibaba Cloud with 35 billion total parameters and 3 billion active parameters per token. It uses a hybrid sparse mixture-of-experts architecture combining Gated...
| Benchmark | Wert | Beleg |
|---|---|---|
| MathArena/hmmt_feb_2026Score | 83.6 | Quelle ↗Community · abgerufen 2026-10-22 |
| MathArena/aime_2026Score | 92.7 | Quelle ↗Community · abgerufen 2026-10-22 |
| MMMU/MMMU_ProScore | 75.3 | Quelle ↗Community · abgerufen 2026-10-22 |
| llamaindex/ExtractBenchScore | 88.11 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint Qwen/Qwen3.6-35B-A3B-FP8 on vLLM, one-shot json_object structured output |
| SWE-bench/SWE-bench_VerifiedScore | 73.4 | Quelle ↗Community · abgerufen 2026-10-22 |
| Benchmark | Wert | Beleg |
|---|---|---|
| cais/hleScore | 21.4 | Quelle ↗Community · abgerufen 2026-10-22 |
| Idavidrein/gpqaScore | 86 | Quelle ↗Community · abgerufen 2026-10-22 |
| TIGER-Lab/MMLU-ProScore | 85.2 | Quelle ↗Community · abgerufen 2026-10-22 |
| harborframework/terminal-bench-2.0Score | 51.5 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsHarbor/Terminus-2 harness; 3h timeout, 32 CPU/48 GB RAM; temp=1.0, top_p=0.95, top_k=20, max_tokens=80K, 256K ctx; avg of 5 runs. |
| SWE-bench/SWE-bench_MultilingualScore | 67.2 | Quelle ↗Community · abgerufen 2026-10-21 |
| ScaleAI/SWE-bench_ProScore | 49.5 | Quelle ↗Community · abgerufen 2026-10-21 |
| llamaindex/ParseBenchScore | 44.1 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_parse_layout |
| llamaindex/ParseBenchtext_formatting | 58.3 | Quelle ↗Community · 2026-04-16TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_parse_layout |
| SWE-bench/SWE-bench_Verifiedswe_bench_%_resolved | 73.4 | Quelle ↗Community · 2026-04-16 |
| MathArena/aime_2026MathArena/aime_2026 | 92.7 | Quelle ↗Community · 2026-04-16 |
| SWE-bench/SWE-bench_Multilingualswe_bench_multilingual_%_resolved | 67.2 | Quelle ↗Community · 2026-08-10 |
| llamaindex/ParseBenchtable | 19.1 | Quelle ↗Community · 2026-04-16TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_parse_layout |
| llamaindex/ExtractBenchshort | 92.86 | Quelle ↗Community · 2026-08-26TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint Qwen/Qwen3.6-35B-A3B-FP8 on vLLM, one-shot json_object structured output |
| llamaindex/ExtractBenchmedium | 86.37 | Quelle ↗Community · 2026-08-26TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint Qwen/Qwen3.6-35B-A3B-FP8 on vLLM, one-shot json_object structured output |
| MMMU/MMMU_Prommmu_pro_vision | 75.3 | Quelle ↗Community · 2026-05-15 |
| harborframework/terminal-bench-2.0terminalbench_2 | 51.5 | Quelle ↗Community · 2026-04-16TestdetailsHarbor/Terminus-2 harness; 3h timeout, 32 CPU/48 GB RAM; temp=1.0, top_p=0.95, top_k=20, max_tokens=80K, 256K ctx; avg of 5 runs. |
| llamaindex/ParseBenchchart | 5.1 | Quelle ↗Community · 2026-04-16TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_parse_layout |
| cais/hlehle | 21.4 | Quelle ↗Community · 2026-04-16 |
| llamaindex/ParseBenchtext_content | 90.7 | Quelle ↗Community · 2026-04-16TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_parse_layout |
| Idavidrein/gpqadiamond | 86 | Quelle ↗Community · 2026-04-16 |
| TIGER-Lab/MMLU-Prommlu_pro | 85.2 | Quelle ↗Community · 2026-04-16 |
| ScaleAI/SWE-bench_ProSWE_Bench_Pro | 49.5 | Quelle ↗Community · 2026-04-16 |
| llamaindex/ExtractBenchlong | 36.9 | Quelle ↗Community · 2026-08-26TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint Qwen/Qwen3.6-35B-A3B-FP8 on vLLM, one-shot json_object structured output |
| llamaindex/ParseBenchlayout | 47.4 | Quelle ↗Community · 2026-04-16TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_parse_layout |
| llamaindex/ParseBenchmean | 44.1 | Quelle ↗Community · 2026-04-16TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_parse_layout |
| MathArena/hmmt_feb_2026MathArena/hmmt_feb_2026 | 83.6 | Quelle ↗Community · 2026-04-16 |
| llamaindex/ExtractBenchmean | 88.11 | Quelle ↗Community · 2026-08-26TestdetailsPipeline name: qwen3_6_35b_a3b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint Qwen/Qwen3.6-35B-A3B-FP8 on vLLM, one-shot json_object structured output |
Qwen3.6 27B is a dense 27-billion-parameter language model from the Qwen Team at Alibaba, released in April 2026. It features hybrid multimodal capabilities — accepting text, image, and video inputs...
| Benchmark | Wert | Beleg |
|---|---|---|
| MathArena/hmmt_feb_2026Score | 84.3 | Quelle ↗Community · abgerufen 2026-10-22 |
| MathArena/aime_2026Score | 94.1 | Quelle ↗Community · abgerufen 2026-10-22 |
| MMMU/MMMU_ProScore | 75.8 | Quelle ↗Community · abgerufen 2026-10-22 |
| SWE-bench/SWE-bench_VerifiedScore | 77.2 | Quelle ↗Community · abgerufen 2026-10-22 |
| cais/hleScore | 24 | Quelle ↗Community · abgerufen 2026-10-22 |
| Benchmark | Wert | Beleg |
|---|---|---|
| Idavidrein/gpqaScore | 87.8 | Quelle ↗Community · abgerufen 2026-10-22 |
| TIGER-Lab/MMLU-ProScore | 86.2 | Quelle ↗Community · abgerufen 2026-10-22 |
| benchflow/skillsbenchScore | 48.2 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsSkillsBench Avg5. Evaluated via OpenCode on 78 tasks (self-contained subset, excluding API-dependent tasks); avg of 5 runs. Mapped to the Hub's benchflow/skillsbench task skillsbench_v1_1. |
| internlm/WildClawBenchScore | 421 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 43.2 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 20.91 | Quelle ↗Community · abgerufen 2026-10-22 |
| harborframework/terminal-bench-2.0Score | 59.3 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsHarbor/Terminus-2 harness; 3h timeout, 32 CPU/48 GB RAM; temp=1.0, top_p=0.95, top_k=20, max_tokens=80K, 256K ctx; avg of 5 runs. |
| SWE-bench/SWE-bench_MultilingualScore | 71.3 | Quelle ↗Community · abgerufen 2026-10-21 |
| ScaleAI/SWE-bench_ProScore | 53.5 | Quelle ↗Community · abgerufen 2026-10-21 |
| internlm/WildClawBenchavg_time | 421 | Quelle ↗Community · 2026-08-11 |
| internlm/WildClawBenchavg_cost | 20.91 | Quelle ↗Community · 2026-08-11 |
| SWE-bench/SWE-bench_Verifiedswe_bench_%_resolved | 77.2 | Quelle ↗Community · 2026-04-22 |
| benchflow/skillsbenchskillsbench_v1_1 | 48.2 | Quelle ↗Community · 2026-04-21TestdetailsSkillsBench Avg5. Evaluated via OpenCode on 78 tasks (self-contained subset, excluding API-dependent tasks); avg of 5 runs. Mapped to the Hub's benchflow/skillsbench task skillsbench_v1_1. |
| internlm/WildClawBenchoverall | 43.2 | Quelle ↗Community · 2026-08-11 |
| harborframework/terminal-bench-2.0terminalbench_2 | 59.3 | Quelle ↗Community · 2026-06-23TestdetailsHarbor/Terminus-2 harness; 3h timeout, 32 CPU/48 GB RAM; temp=1.0, top_p=0.95, top_k=20, max_tokens=80K, 256K ctx; avg of 5 runs. |
| MathArena/aime_2026MathArena/aime_2026 | 94.1 | Quelle ↗Community · 2026-04-22 |
| SWE-bench/SWE-bench_Multilingualswe_bench_multilingual_%_resolved | 71.3 | Quelle ↗Community · 2026-08-10 |
| MathArena/hmmt_feb_2026MathArena/hmmt_feb_2026 | 84.3 | Quelle ↗Community · 2026-04-22 |
| TIGER-Lab/MMLU-Prommlu_pro | 86.2 | Quelle ↗Community · 2026-04-22 |
| cais/hlehle | 24 | Quelle ↗Community · 2026-04-22 |
| Idavidrein/gpqadiamond | 87.8 | Quelle ↗Community · 2026-04-22 |
| MMMU/MMMU_Prommmu_pro_vision | 75.8 | Quelle ↗Community · 2026-05-15 |
| ScaleAI/SWE-bench_ProSWE_Bench_Pro | 53.5 | Quelle ↗Community · 2026-04-22 |
Qwen3.6 Flash is a fast, efficient language model from Alibaba's Qwen 3.6 series. It supports text, image, and video input with a 1M token context window. Tiered pricing kicks in...
Qwen3.5 Plus (April 2026) is a large-scale multimodal language model from Alibaba. It accepts text, image, and video input and produces text output, with a 1M token context window. This...
Qwen 3.6 Plus builds on a hybrid architecture that combines efficient linear attention with sparse mixture-of-experts routing, enabling strong scalability and high-performance inference. Compared to the 3.5 series, it delivers...
Qwen3.5-9B is a multimodal foundation model from the Qwen3.5 family, designed to deliver strong reasoning, coding, and visual understanding in an efficient 9B-parameter architecture. It uses a unified vision-language design...
| Benchmark | Wert | Beleg |
|---|---|---|
| Delores-Lin/MDPBenchko | 60.3 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchar | 53.4 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ExtractBenchmedium | 81.12 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_9b_vllm_extract_oneshot_structured_output_file |
| llamaindex/ParseBenchmean | 31.9 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_9b_vllm_layout |
| Delores-Lin/MDPBenchru | 54.7 | Quelle ↗Community · 2026-04-14 |
| Benchmark | Wert | Beleg |
|---|---|---|
| Delores-Lin/MDPBenchpt | 79.1 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ExtractBenchlong | 32.22 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_9b_vllm_extract_oneshot_structured_output_file |
| llamaindex/ParseBenchtable | 9.9 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_9b_vllm_layout |
| Delores-Lin/MDPBenchdigital | 74.8 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchphotographed | 62.7 | Quelle ↗Community · 2026-04-14 |
| MMMU/MMMU_Prommmu_pro_vision | 70.1 | Quelle ↗Community · 2026-04-28 |
| Delores-Lin/MDPBenchvi | 74 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchjp | 55.7 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchfr | 64.4 | Quelle ↗Community · 2026-04-14 |
| TIGER-Lab/MMLU-Prommlu_pro | 82.5 | Quelle ↗Community · 2026-03-02 |
| Delores-Lin/MDPBenchen | 72 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ParseBenchtext_formatting | 22 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_9b_vllm_layout |
| llamaindex/ExtractBenchshort | 92.31 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_9b_vllm_extract_oneshot_structured_output_file |
| MathArena/aime_2026MathArena/aime_2026 | 92.5 | Quelle ↗Community · 2026-03-17 |
| Delores-Lin/MDPBenchlatin | 72.5 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchnl | 74.5 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchnon_latin | 58.2 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ParseBenchchart | 5.4 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_9b_vllm_layout |
| llamaindex/ParseBenchlayout | 31.8 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_9b_vllm_layout |
| Delores-Lin/MDPBenchit | 77.6 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ParseBenchtext_content | 90.5 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_9b_vllm_layout |
| Delores-Lin/MDPBenchid | 66.2 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchhi | 56.2 | Quelle ↗Community · 2026-04-14 |
| Idavidrein/gpqadiamond | 81.7 | Quelle ↗Community · 2026-03-02 |
| llamaindex/ExtractBenchmean | 86.1 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_9b_vllm_extract_oneshot_structured_output_file |
| MathArena/hmmt_feb_2026MathArena/hmmt_feb_2026 | 71.21 | Quelle ↗Community · 2026-03-17 |
| Delores-Lin/MDPBenchoverall | 65.7 | Quelle ↗Community · 2026-04-14 |
| likaixin/ScreenSpot-Prooverall | 65.2 | Quelle ↗Community · 2026-03-18 |
| Delores-Lin/MDPBenchde | 72.8 | Quelle ↗Community · 2026-04-14 |
The Qwen3.5 27B native vision-language Dense model incorporates a linear attention mechanism, delivering fast response times while balancing inference speed and performance. Its overall capabilities are comparable to those of...
| Benchmark | Wert | Beleg |
|---|---|---|
| MathArena/hmmt_feb_2026Score | 81.06 | Quelle ↗Community · abgerufen 2026-10-22 |
| MathArena/aime_2026Score | 90.83 | Quelle ↗Community · abgerufen 2026-10-22 |
| MMMU/MMMU_ProScore | 75 | Quelle ↗Community · abgerufen 2026-10-22 |
| SWE-bench/SWE-bench_VerifiedScore | 72.4 | Quelle ↗Community · abgerufen 2026-10-22 |
| cais/hleScore | 48.5 | Quelle ↗Community · abgerufen 2026-10-22Testdetailswith tools |
| Benchmark | Wert | Beleg |
|---|---|---|
| cais/hleScore | 24.3 | Quelle ↗Community · abgerufen 2026-10-22Testdetailschain of thought |
| Idavidrein/gpqaScore | 85.5 | Quelle ↗Community · abgerufen 2026-10-22 |
| Idavidrein/gpqaScore | 81.8181818182 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsGPQA Diamond |
| TIGER-Lab/MMLU-ProScore | 86.1 | Quelle ↗Community · abgerufen 2026-10-22 |
| harborframework/terminal-bench-2.0Score | 41.6 | Quelle ↗Community · abgerufen 2026-10-22 |
| likaixin/ScreenSpot-ProScore | 70.3 | Quelle ↗Community · abgerufen 2026-10-21 |
| cais/hlehle | 48.5 | Quelle ↗Community · 2026-02-25Testdetailswith tools |
| harborframework/terminal-bench-2.0terminalbench_2 | 41.6 | Quelle ↗Community · 2026-02-25 |
| Idavidrein/gpqadiamond | 81.8181818182 | Quelle ↗Community · 2026-04-20TestdetailsGPQA Diamond |
| TIGER-Lab/MMLU-Prommlu_pro | 86.1 | Quelle ↗Community · 2026-06-30 |
| MathArena/hmmt_feb_2026MathArena/hmmt_feb_2026 | 81.06 | Quelle ↗Community · 2026-03-17 |
| MathArena/aime_2026MathArena/aime_2026 | 90.83 | Quelle ↗Community · 2026-03-17 |
| SWE-bench/SWE-bench_Verifiedswe_bench_%_resolved | 72.4 | Quelle ↗Community · 2026-02-03 |
| cais/hlehle | 24.3 | Quelle ↗Community · 2026-02-25Testdetailschain of thought |
| MMMU/MMMU_Prommmu_pro_vision | 75 | Quelle ↗Community · 2026-04-28 |
| likaixin/ScreenSpot-Prooverall | 70.3 | Quelle ↗Community · 2026-03-18 |
| Idavidrein/gpqadiamond | 85.5 | Quelle ↗Community · 2026-02-25 |
The Qwen3.5 Series 35B-A3B is a native vision-language model designed with a hybrid architecture that integrates linear attention mechanisms and a sparse mixture-of-experts model, achieving higher inference efficiency. Its overall...
| Benchmark | Wert | Beleg |
|---|---|---|
| Idavidrein/gpqadiamond | 85.3535353535 | Quelle ↗Community · 2026-04-20TestdetailsGPQA Diamond |
| SWE-bench/SWE-bench_Verifiedswe_bench_%_resolved | 69.2 | Quelle ↗Community · 2026-02-03 |
| llamaindex/ExtractBenchmean | 88 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_35b_a3b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.5-35B-A3B-FP8 |
| llamaindex/ExtractBenchlong | 31.73 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_35b_a3b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.5-35B-A3B-FP8 |
| cais/hlehle | 22.4 | Quelle ↗Community · 2026-02-25Testdetailschain of thought |
| Benchmark | Wert | Beleg |
|---|---|---|
| Idavidrein/gpqadiamond | 84.2 | Quelle ↗Community · 2026-02-25 |
| likaixin/ScreenSpot-Prooverall | 68.6 | Quelle ↗Community · 2026-03-18 |
| MMMU/MMMU_Prommmu_pro_vision | 75.1 | Quelle ↗Community · 2026-04-28 |
| MathArena/aime_2026MathArena/aime_2026 | 93.33 | Quelle ↗Community · 2026-03-17 |
| harborframework/terminal-bench-2.0terminalbench_2 | 40.5 | Quelle ↗Community · 2026-02-25 |
| MathArena/hmmt_feb_2026MathArena/hmmt_feb_2026 | 81.82 | Quelle ↗Community · 2026-03-17 |
| llamaindex/ExtractBenchmedium | 85.27 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_35b_a3b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.5-35B-A3B-FP8 |
| TIGER-Lab/MMLU-Prommlu_pro | 85.3 | Quelle ↗Community · 2026-06-30 |
| joelniklaus/LEXam-hardlexam_hard | 23.93 | Quelle ↗Community · 2026-08-01Testdetailslighteval, LEXam paper prompts, one response per question, no tools; DeepSeek-R1-0528 judge; mean of the German and English means over the 518 questions, 0-100 |
| llamaindex/ExtractBenchshort | 93.52 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_35b_a3b_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.5-35B-A3B-FP8 |
The Qwen3.5 native vision-language Flash models are built on a hybrid architecture that integrates a linear attention mechanism with a sparse mixture-of-experts model, achieving higher inference efficiency. Compared to the...
The Qwen3.5 122B-A10B native vision-language model is built on a hybrid architecture that integrates a linear attention mechanism with a sparse mixture-of-experts model, achieving higher inference efficiency. In terms of...
| Benchmark | Wert | Beleg |
|---|---|---|
| SWE-bench/SWE-bench_VerifiedScore | 72 | Quelle ↗Community · abgerufen 2026-10-22 |
| cais/hleScore | 25.3 | Quelle ↗Community · abgerufen 2026-10-22Testdetailschain of thought |
| cais/hleScore | 47.5 | Quelle ↗Community · abgerufen 2026-10-22Testdetailswith tools |
| Idavidrein/gpqaScore | 86.6 | Quelle ↗Community · abgerufen 2026-10-22 |
| Idavidrein/gpqaScore | 84.8484848485 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsGPQA Diamond |
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 86.7 | Quelle ↗Community · abgerufen 2026-10-22 |
| collinear-ai/yc-benchScore | 0 | Quelle ↗Community · abgerufen 2026-10-22Testdetailsmedium preset, avg final funds (USD) across seeds 1,2,3 |
| harborframework/terminal-bench-2.0Score | 49.4 | Quelle ↗Community · abgerufen 2026-10-22 |
| likaixin/ScreenSpot-ProScore | 70.4 | Quelle ↗Community · abgerufen 2026-10-21 |
The Qwen3.5 native vision-language series Plus models are built on a hybrid architecture that integrates linear attention mechanisms with sparse mixture-of-experts models, achieving higher inference efficiency. In a variety of...
The Qwen3.5 series 397B-A17B native vision-language model is built on a hybrid architecture that integrates a linear attention mechanism with a sparse mixture-of-experts model, achieving higher inference efficiency. It delivers...
| Benchmark | Wert | Beleg |
|---|---|---|
| MathArena/hmmt_feb_2026Score | 87.88 | Quelle ↗Community · abgerufen 2026-10-22 |
| MathArena/aime_2026Score | 93.33 | Quelle ↗Community · abgerufen 2026-10-22 |
| SWE-bench/SWE-bench_VerifiedScore | 76.4 | Quelle ↗Community · abgerufen 2026-10-22 |
| cais/hleScore | 48.3 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsWith tools |
| cais/hleScore | 28.7 | Quelle ↗Community · abgerufen 2026-10-22 |
| Benchmark | Wert | Beleg |
|---|---|---|
| Idavidrein/gpqaScore | 88.4 | Quelle ↗Community · abgerufen 2026-10-22 |
| TIGER-Lab/MMLU-ProScore | 87.8 | Quelle ↗Community · abgerufen 2026-10-22 |
| MME-Benchmarks/Video-MME-v2Score | 48.9 | Quelle ↗Community · abgerufen 2026-10-22Testdetails64 frames |
| MME-Benchmarks/Video-MME-v2Score | 55.9 | Quelle ↗Community · abgerufen 2026-10-22Testdetails512 frames |
| InternScience/ResearchClawBenchScore | 14.23 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsResearchHarness evaluation with tools enabled, code execution, and a file-system workspace; completed 40/40 ResearchClawBench tasks. |
| claw-eval/Claw-EvalScore | 57.8 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsPass³% | N=3 | 161 tasks |
| internlm/WildClawBenchScore | 22.2 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 34.5 | Quelle ↗Community · abgerufen 2026-10-22 |
| internlm/WildClawBenchScore | 459 | Quelle ↗Community · abgerufen 2026-10-22 |
| collinear-ai/yc-benchScore | 90787 | Quelle ↗Community · abgerufen 2026-10-22Testdetailsavg final funds (USD) across seeds 1,2,3. Qwen 3.5-397B (via OpenRouter qwen/qwen3.5-397b-a17b) |
| harborframework/terminal-bench-2.0Score | 52.5 | Quelle ↗Community · abgerufen 2026-10-22 |
| likaixin/ScreenSpot-ProScore | 65.6 | Quelle ↗Community · abgerufen 2026-10-21 |
| SWE-bench/SWE-bench_MultilingualScore | 69.3 | Quelle ↗Community · abgerufen 2026-10-21 |
| mercor/apex-agentsScore | 13.6 | Quelle ↗Community · abgerufen 2026-10-21Testdetailsharness: react_toolbelt_agent; reasoning_effort: thinking |
Qwen3-Coder-Next is an open-weight causal language model optimized for coding agents and local development workflows. It uses a sparse MoE design with 80B total parameters and only 3B activated per...
| Benchmark | Wert | Beleg |
|---|---|---|
| SWE-bench/SWE-bench_VerifiedScore | 70.6 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsSWE-Agent as harness |
| harborframework/terminal-bench-2.0Score | 36.2 | Quelle ↗Community · abgerufen 2026-10-22Testdetailsagent: Terminus 2 |
| ScaleAI/SWE-bench_ProScore | 44.3 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsSWE-Agent as harness |
Qwen3-VL-8B-Instruct is a multimodal vision-language model from the Qwen3-VL series, built for high-fidelity understanding and reasoning across text, images, and video. It features improved multimodal fusion with Interleaved-MRoPE for long-horizon...
| Benchmark | Wert | Beleg |
|---|---|---|
| llamaindex/ParseBenchScore | 46.8 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsPipeline name: qwen3vl_layout |
| Delores-Lin/MDPBenchScore | 68.3 | Quelle ↗Community · abgerufen 2026-10-21 |
| Delores-Lin/MDPBenchlatin | 73.6 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ParseBenchmean | 46.8 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3vl_layout |
| Delores-Lin/MDPBenchth | 62 | Quelle ↗Community · 2026-04-14 |
| Benchmark | Wert | Beleg |
|---|---|---|
| Delores-Lin/MDPBenchru | 57.9 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenches | 69.3 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchhi | 58.4 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchvi | 73.4 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchfr | 66.2 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchjp | 59.9 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ParseBenchlayout | 55.1 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3vl_layout |
| Delores-Lin/MDPBenchzh_t | 73.8 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchen | 71.4 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchid | 68.5 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchnon_latin | 62.5 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchoverall | 68.3 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchphotographed | 65 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchko | 61.9 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchar | 63.1 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ParseBenchchart | 1.4 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3vl_layout |
| llamaindex/ParseBenchtext_content | 89.5 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3vl_layout |
| tiiuae/PBenchaverage | 49 | Quelle ↗Community · 2026-05-11TestdetailsDetection-only model combined with SAM2 to convert boxes to segmentation masks. |
| Delores-Lin/MDPBenchit | 79.1 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ParseBenchtable | 21.4 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3vl_layout |
| Delores-Lin/MDPBenchde | 73.7 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchpt | 82.2 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchdigital | 78.4 | Quelle ↗Community · 2026-04-14 |
| llamaindex/ParseBenchtext_formatting | 66.8 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3vl_layout |
| Delores-Lin/MDPBenchzh | 62.6 | Quelle ↗Community · 2026-04-14 |
| Delores-Lin/MDPBenchnl | 78.3 | Quelle ↗Community · 2026-04-14 |
Qwen3-VL-30B-A3B-Instruct is a multimodal model that unifies strong text generation with visual understanding for images and videos. Its Instruct variant optimizes instruction-following for general multimodal tasks. It excels in perception...
Qwen3-VL-30B-A3B-Thinking is a multimodal model that unifies strong text generation with visual understanding for images and videos. Its Thinking variant enhances reasoning in STEM, math, and complex tasks. It excels...
Qwen3-VL-235B-A22B Instruct is an open-weight multimodal model that unifies strong text generation with visual understanding across images and video. The Instruct model targets general vision-language use (VQA, document parsing, chart/table...
| Benchmark | Wert | Beleg |
|---|---|---|
| PaddlePaddle/Real5-OmniDocBenchScore | 88.9 | Quelle ↗Community · abgerufen 2026-10-21 |
Qwen3 Coder Flash is Alibaba's fast and cost efficient version of their proprietary Qwen3 Coder Plus. It is a powerful coding agent model specializing in autonomous programming via tool calling...
Qwen3-Next-80B-A3B-Thinking is a reasoning-first chat model in the Qwen3-Next line that outputs structured “thinking” traces by default. It’s designed for hard multi-step problems; math proofs, code synthesis/debugging, logic, and agentic...
| Benchmark | Wert | Beleg |
|---|---|---|
| LEXam-Benchmark/LEXamScore | 43.31 | Quelle ↗Community · abgerufen 2026-10-22 |
Qwen3-Next-80B-A3B-Instruct is an instruction-tuned chat model in the Qwen3-Next series optimized for fast, stable responses without “thinking” traces. It targets complex tasks across reasoning, code generation, knowledge QA, and multilingual...
| Benchmark | Wert | Beleg |
|---|---|---|
| 896kScore | 80.3 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| MMLU-ProXScore | 76.7 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 512kScore | 86.9 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| PolyMATHScore | 45.9 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU1-AirlineScore | 44.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Benchmark | Wert | Beleg |
|---|---|---|
| MMLU-ProScore | 80.6 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 384kScore | 91.7 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 32kScore | 98.7 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| GPQAScore | 72.9 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| IFEvalScore | 87.6 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 4kScore | 98.5 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| AIME25Score | 69.5 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Aider-PolyglotScore | 49.8 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| INCLUDEScore | 78.9 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Acc avgScore | 91.8 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| HMMT25Score | 54.1 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| LiveBench 20241125Score | 75.8 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| WritingBenchScore | 87.3 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU2-TelecomScore | 13.2 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU2-RetailScore | 57.3 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 640kScore | 85.5 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 256kScore | 93.5 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| LiveCodeBench v6 (25.02-25.05)Score | 56.6 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| MultiPL-EScore | 87.8 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 16kScore | 98.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| MMLU-ReduxScore | 90.9 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU1-RetailScore | 60.9 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 192kScore | 94.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| SuperGPQAScore | 58.8 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Creative Writing v3Score | 85.3 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| MultiIFScore | 75.8 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Arena-Hard v2*Score | 82.7 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 64kScore | 97.6 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 96kScore | 95.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU2-AirlineScore | 45.5 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| BFCL-v3Score | 70.3 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 1000kScore | 80.3 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 128kScore | 96.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 768kScore | 81.7 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| 8kScore | 99.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Idavidrein/gpqagpqa_diamond | 72.9 | Quelle ↗Community · 2026-01-15 |
| thamilvendhan/signalbenchaccess_deny | 0.5 | Quelle ↗Community · 2026-07-08Testdetailsfamily=access_deny; n=12 |
| thamilvendhan/signalbenchinjection | 0.5833 | Quelle ↗Community · 2026-07-08Testdetailsfamily=injection; n=12 |
| thamilvendhan/signalbenchsrc | 0.5833 | Quelle ↗Community · 2026-07-08TestdetailsSRC overall; deterministic action-based grader, no LLM judge; seed 0, n=75 |
| thamilvendhan/signalbenchbot_policy | 0.5833 | Quelle ↗Community · 2026-07-08Testdetailsfamily=bot_policy; n=12 |
| thamilvendhan/signalbenchtime | 0.8333 | Quelle ↗Community · 2026-07-08Testdetailsfamily=time; n=12 |
| thamilvendhan/signalbenchmemory_label | 0.4167 | Quelle ↗Community · 2026-07-08Testdetailsfamily=memory_label; n=12 |
Qwen3-Coder-30B-A3B-Instruct is a 30.5B parameter Mixture-of-Experts (MoE) model with 128 experts (8 active per forward pass), designed for advanced code generation, repository-scale understanding, and agentic tool use. Built on the...
Qwen3-30B-A3B-Instruct-2507 is a 30.5B-parameter mixture-of-experts language model from Qwen, with 3.3B active parameters per inference. It operates in non-thinking mode and is designed for high-quality instruction following, multilingual understanding, and...
| Benchmark | Wert | Beleg |
|---|---|---|
| WritingBenchScore | 85.5 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| IFEvalScore | 84.7 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| LiveCodeBench v6 (25.02-25.05)Score | 43.2 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| AIME25Score | 61.3 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Aider-PolyglotScore | 35.6 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Benchmark | Wert | Beleg |
|---|---|---|
| MultiPL-EScore | 83.8 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| BFCL-v3Score | 65.1 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| HMMT25Score | 43.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| GPQAScore | 70.4 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU1-RetailScore | 59.1 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| MMLU-ProScore | 78.4 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| ZebraLogicScore | 90.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| MMLU-ReduxScore | 89.3 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Arena-Hard v2*Score | 69.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Creative Writing v3Score | 86.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| LiveBench 20241125Score | 69.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU2-RetailScore | 57.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| INCLUDEScore | 71.9 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU2-TelecomScore | 12.3 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| MultiIFScore | 67.9 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU1-AirlineScore | 40.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| SuperGPQAScore | 53.4 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| MMLU-ProXScore | 72.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| TAU2-AirlineScore | 38.0 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| PolyMATHScore | 43.1 | Quelle ↗Model Card · abgerufen 2026-10-15 |
| Idavidrein/gpqamain | 70.4 | Quelle ↗Community · 2026-01-28 |
Qwen3-235B-A22B-Thinking-2507 is a high-performance, open-weight Mixture-of-Experts (MoE) language model optimized for complex reasoning tasks. It activates 22B of its 235B parameters per forward pass and natively supports up to 262,144...
| Benchmark | Wert | Beleg |
|---|---|---|
| LEXam-Benchmark/LEXamScore | 48.19 | Quelle ↗Community · abgerufen 2026-10-22 |
Qwen3-Coder-480B-A35B-Instruct is a Mixture-of-Experts (MoE) code generation model developed by the Qwen team. It is optimized for agentic coding tasks such as function calling, tool use, and long-context reasoning over...
Qwen3-235B-A22B-Instruct-2507 is a multilingual, instruction-tuned mixture-of-experts language model based on the Qwen3-235B architecture, with 22B active parameters per forward pass. It is optimized for general-purpose text generation, including instruction following,...
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 83 | Quelle ↗Community · abgerufen 2026-10-22 |
Qwen3-32B is a dense 32.8B parameter causal language model from the Qwen3 series, optimized for both complex reasoning and efficient dialogue. It supports seamless switching between a "thinking" mode for...
Qwen3, the latest generation in the Qwen large language model series, features both dense and mixture-of-experts (MoE) architectures to excel in reasoning, multilingual support, and advanced agent tasks. Its unique...
Qwen3-14B is a dense 14.8B parameter causal language model from the Qwen3 series, designed for both complex reasoning and efficient dialogue. It supports seamless switching between a "thinking" mode for...
Qwen2.5-VL is proficient in recognizing common objects such as flowers, birds, fish, and insects. It is also highly capable of analyzing texts, charts, icons, graphics, and layouts within images.
Qwen-Plus, based on the Qwen2.5 foundation model, is a 131K context model with a balanced performance, speed, and cost combination.
Qwen2.5-Coder is the latest series of Code-Specific Qwen large language models (formerly known as CodeQwen). Qwen2.5-Coder brings the following improvements upon CodeQwen1.5: - Significantly improvements in **code generation**, **code reasoning**...
Qwen2.5 7B is the latest series of Qwen large language models. Qwen2.5 brings the following improvements upon Qwen2: - Significantly more knowledge and has greatly improved capabilities in coding and...
| Benchmark | Wert | Beleg |
|---|---|---|
| thamilvendhan/signalbenchsrc | 0.3833 | Quelle ↗Community · 2026-07-08TestdetailsSRC overall; deterministic action-based grader, no LLM judge; seed 0, n=75 |
| thamilvendhan/signalbenchaccess_deny | 0.1667 | Quelle ↗Community · 2026-07-08Testdetailsfamily=access_deny; n=12 |
| thamilvendhan/signalbenchinjection | 0.5 | Quelle ↗Community · 2026-07-08Testdetailsfamily=injection; n=12 |
| thamilvendhan/signalbenchbot_policy | 0.3333 | Quelle ↗Community · 2026-07-08Testdetailsfamily=bot_policy; n=12 |
| thamilvendhan/signalbenchtime | 0.4167 | Quelle ↗Community · 2026-07-08Testdetailsfamily=time; n=12 |
Qwen2.5 72B is the latest series of Qwen large language models. Qwen2.5 brings the following improvements upon Qwen2: - Significantly more knowledge and has greatly improved capabilities in coding and...
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| llamaindex/ExtractBenchScore | 89.88 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsPipeline name: qwen3_8_flash_next_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-Flash-Next-FP8 |
| cais/hleScore | 35.9 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsJudged by GPT-4o per the card, not the task's default o3-mini grader. |
| Idavidrein/gpqaScore | 91.7 | Quelle ↗Community · abgerufen 2026-10-22 |
| hkust-nlp/ToolathlonScore | 73.5 | Quelle ↗Community · abgerufen 2026-10-22 |
| agents-last-exam/agents-last-examScore | 24.3 | Quelle ↗Community · abgerufen 2026-10-21TestdetailsHarness not specified. |
| Benchmark | Wert | Beleg |
|---|---|---|
| SWE-bench/SWE-bench_MultilingualScore | 81 | Quelle ↗Community · abgerufen 2026-10-21Testdetailsharness: mini-SWE-agent. 256K context. |
| datacurve/deep-sweScore | 58.7 | Quelle ↗Community · abgerufen 2026-10-21Testdetailsharness: Claude Code / mini-SWE-agent (best of two). Reported as 'DeepSWE 1.1' on the card; 256K context. |
| ScaleAI/SWE-bench_ProScore | 62.5 | Quelle ↗Community · abgerufen 2026-10-21Testdetailsharness: Claude Code. 256K context; evaluated on the card's own refined version of the benchmark (problematic tasks corrected). |
| claw-eval/Claw-Evalmultimodal | 64.4 | Quelle ↗Community · 2026-08-26TestdetailsReported as 'ClawEval-MM' on the card; Pass@3 metric (average-score alternative was 60.4). |
| datacurve/deep-swedeep_swe | 58.7 | Quelle ↗Community · 2026-08-26Testdetailsharness: Claude Code / mini-SWE-agent (best of two). Reported as 'DeepSWE 1.1' on the card; 256K context. |
| SWE-bench/SWE-bench_Multilingualswe_bench_multilingual_%_resolved | 81 | Quelle ↗Community · 2026-08-26Testdetailsharness: mini-SWE-agent. 256K context. |
| llamaindex/ExtractBenchlong | 37.74 | Quelle ↗Community · 2026-08-29TestdetailsPipeline name: qwen3_8_flash_next_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-Flash-Next-FP8 |
| llamaindex/ExtractBenchmedium | 87.81 | Quelle ↗Community · 2026-08-29TestdetailsPipeline name: qwen3_8_flash_next_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-Flash-Next-FP8 |
| ScaleAI/SWE-bench_ProSWE_Bench_Pro | 62.5 | Quelle ↗Community · 2026-08-26Testdetailsharness: Claude Code. 256K context; evaluated on the card's own refined version of the benchmark (problematic tasks corrected). |
| Idavidrein/gpqadiamond | 91.7 | Quelle ↗Community · 2026-08-26 |
| llamaindex/ExtractBenchshort | 94.82 | Quelle ↗Community · 2026-08-29TestdetailsPipeline name: qwen3_8_flash_next_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-Flash-Next-FP8 |
| hkust-nlp/Toolathlontoolathlon_verified | 73.5 | Quelle ↗Community · 2026-08-27 |
| cais/hlehle | 35.9 | Quelle ↗Community · 2026-08-26TestdetailsJudged by GPT-4o per the card, not the task's default o3-mini grader. |
| llamaindex/ExtractBenchmean | 89.88 | Quelle ↗Community · 2026-08-29TestdetailsPipeline name: qwen3_8_flash_next_fp8_vllm_extract_oneshot_structured_output_file; served checkpoint: Qwen/Qwen3.8-Flash-Next-FP8 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 43.73 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| LiquidAI/ifstruct-v1.0ifstruct_v1 | 79.75 | Quelle ↗Community · 2026-06-30 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 45 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 69.23 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 22.56 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 14.97 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 63.69 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 14.92 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 71.59 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 32.1 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| openai/gsm8kScore | 89.5 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 29.06 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 38.02 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| Mean(Type)Score | 68.71 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Rerank.Score | 51.56 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Clust.Score | 57.65 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Pair. Class.Score | 86.40 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Task)Score | 75.22 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Benchmark | Wert | Beleg |
|---|---|---|
| Clust.Score | 58.57 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Type)Score | 75.00 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Clust.Score | 80.08 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| STSScore | 81.08 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Inst. Retri.Score | 10.06 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retri.Score | 70.88 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| STSScore | 88.58 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean (Type)Score | 61.69 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Multi. Class.Score | 28.66 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Rerank.Score | 66.99 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Bitxt MiningScore | 80.89 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retri.Score | 69.44 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Summ.Score | 34.83 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean (Task)Score | 70.58 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 90.43 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 76.97 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Task)Score | 73.84 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Pair Class.Score | 84.23 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 74.00 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Pair Class.Score | 87.52 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| RerankScore | 65.63 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retr.Score | 78.21 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| STSScore | 63.53 | Quelle ↗Model Card · abgerufen 2026-10-10 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| Rerank.Score | 62.58 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Clust.Score | 54.05 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean (Type)Score | 56.00 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Rerank.Score | 48.18 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retr.Score | 71.03 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Benchmark | Wert | Beleg |
|---|---|---|
| Bitxt MiningScore | 72.22 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Type)Score | 64.88 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Pair Class.Score | 84.37 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Multi. Class.Score | 24.59 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Inst. Retri.Score | 5.09 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| STSScore | 86.57 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Pair Class.Score | 76.42 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retri.Score | 61.83 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Task)Score | 70.70 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Pair. Class.Score | 80.83 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 66.83 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean (Task)Score | 64.33 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| STSScore | 54.52 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Task)Score | 66.33 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 71.40 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Type)Score | 67.45 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| RerankScore | 61.41 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retri.Score | 64.64 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 85.76 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Clust.Score | 52.33 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Clust.Score | 68.74 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| STSScore | 76.17 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Summ.Score | 33.43 | Quelle ↗Model Card · abgerufen 2026-10-10 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| STSScore | 61.26 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| RerankScore | 65.08 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Pair Class.Score | 83.34 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| STSScore | 88.72 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Clust.Score | 57.15 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Benchmark | Wert | Beleg |
|---|---|---|
| Bitxt MiningScore | 79.36 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Summ.Score | 34.39 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 89.84 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Type)Score | 68.10 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retr.Score | 77.03 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retri.Score | 69.60 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Rerank.Score | 66.05 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Task)Score | 72.27 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 75.46 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Rerank.Score | 50.76 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Task)Score | 74.60 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean(Type)Score | 73.51 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| STSScore | 80.86 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Pair. Class.Score | 85.05 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean (Task)Score | 69.45 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean (Type)Score | 60.86 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 72.33 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Pair Class.Score | 87.01 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retri.Score | 68.46 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Clust.Score | 77.89 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Inst. Retri.Score | 11.56 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Clust.Score | 57.51 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Multi. Class.Score | 26.77 | Quelle ↗Model Card · abgerufen 2026-10-10 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| Idavidrein/gpqaScore | 62 | Quelle ↗Community · abgerufen 2026-10-22 |
| TIGER-Lab/MMLU-ProScore | 69.6 | Quelle ↗Community · abgerufen 2026-10-22 |
| TAU1-RetailScore | 48.7 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| TAU2-RetailScore | 40.4 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| MMLU-ReduxScore | 84.2 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Benchmark | Wert | Beleg |
|---|---|---|
| BFCL-v3Score | 61.9 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| HMMT25Score | 31.0 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Arena-Hard v2*Score | 43.4 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| AIME25Score | 47.4 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| PolyMATHScore | 31.1 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| ZebraLogicScore | 80.2 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Aider-PolyglotScore | 12.9 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| MMLU-ProXScore | 61.6 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Creative Writing v3Score | 83.5 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| LiveCodeBench v6 (25.02-25.05)Score | 35.1 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| TAU2-TelecomScore | 13.2 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| TAU1-AirlineScore | 32.0 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| INCLUDEScore | 60.1 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| MultiPL-EScore | 76.8 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| MMLU-ProScore | 69.6 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| GPQAScore | 62.0 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| WritingBenchScore | 83.4 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| SuperGPQAScore | 42.8 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| TAU2-AirlineScore | 24.0 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| IFEvalScore | 83.4 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| MultiIFScore | 69.0 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| LiveBench 20241125Score | 63.0 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| TIGER-Lab/MMLU-Prommlu_pro | 69.6 | Quelle ↗Community · 2026-02-03 |
| Idavidrein/gpqadiamond | 62 | Quelle ↗Community · 2026-01-27 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| MLDRScore | 69.97 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| MTEB-CodeScore | 81.20 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| MTEB-RScore | 69.76 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| CMTEB-RScore | 75.94 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| MMTEB-RScore | 72.74 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Benchmark | Wert | Beleg |
|---|---|---|
| FollowIRScore | 14.84 | Quelle ↗Model Card · abgerufen 2026-10-10 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| tiiuae/PBenchaverage | 37 | Quelle ↗Community · 2026-05-11TestdetailsDetection-only model combined with SAM2 to convert boxes to segmentation masks. |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| Idavidrein/gpqadiamond | 44.9494949495 | Quelle ↗Community · 2026-04-20TestdetailsGPQA Diamond |
| llamaindex/ParseBenchtable | 0 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_2b_vllm_layout |
| LiquidAI/ifstruct-v1.0ifstruct_v1 | 33.15 | Quelle ↗Community · 2026-06-30 |
| llamaindex/ParseBenchmean | 27.3 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_2b_vllm_layout |
| llamaindex/ParseBenchtext_content | 87.2 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_2b_vllm_layout |
| Benchmark | Wert | Beleg |
|---|---|---|
| llamaindex/ParseBenchlayout | 18.3 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_2b_vllm_layout |
| llamaindex/ParseBenchtext_formatting | 31.1 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_2b_vllm_layout |
| llamaindex/ParseBenchchart | 0.1 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_2b_vllm_layout |
| llamaindex/ExtractBenchmedium | 50.93 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_2b_vllm_extract_oneshot_structured_output_file |
| MMMU/MMMU_Prommmu_pro_vision | 50.3 | Quelle ↗Community · 2026-04-28TestdetailsThinking |
| TIGER-Lab/MMLU-Prommlu_pro | 55.3 | Quelle ↗Community · 2026-03-02 |
| likaixin/ScreenSpot-Prooverall | 54.5 | Quelle ↗Community · 2026-03-18 |
| llamaindex/ExtractBenchshort | 71.22 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_2b_vllm_extract_oneshot_structured_output_file |
| llamaindex/ExtractBenchmean | 63.4 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_2b_vllm_extract_oneshot_structured_output_file |
| llamaindex/ExtractBenchlong | 25.93 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_2b_vllm_extract_oneshot_structured_output_file |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| Pair. Class.Score | 81.08 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Retri.Score | 69.41 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean (Type)Score | 58.88 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Video RETScore | 57.0 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Image CLSScore | 74.4 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Benchmark | Wert | Beleg |
|---|---|---|
| VisDoc OverallScore | 83.3 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| VisDoc VDRv2Score | 69.9 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Mean (Task)Score | 67.88 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Class.Score | 71.95 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| VisDoc VDRv1Score | 88.2 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| STSScore | 75.41 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Video OverallScore | 66.1 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Clust.Score | 55.82 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Image QAScore | 81.0 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Video CLSScore | 79.1 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Bitxt MiningScore | 77.48 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Image GDScore | 92.2 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| AllScore | 77.9 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| VisDoc OODScore | 78.3 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| VisDoc VRScore | 88.8 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Video MRETScore | 53.2 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Inst. Retri.Score | 4.46 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Multi. Class.Score | 28.59 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Image RETScore | 80.0 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Image OverallScore | 80.1 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| Video QAScore | 70.1 | Quelle ↗Model Card · abgerufen 2026-10-10 |
| RerankScore | 65.72 | Quelle ↗Model Card · abgerufen 2026-10-10 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| MMMU/MMMU_ProScore | 32.7 | Quelle ↗Community · abgerufen 2026-10-22 |
| likaixin/ScreenSpot-ProScore | 16.1 | Quelle ↗Community · abgerufen 2026-10-21 |
| likaixin/ScreenSpot-Propremiere_windows | 11.5 | Quelle ↗Community · 2026-03-17 |
| MMMU/MMMU_Prommmu_pro_vision | 32.7 | Quelle ↗Community · 2026-01-28 |
| likaixin/ScreenSpot-Provmware_macos | 19.5 | Quelle ↗Community · 2026-03-17 |
| Benchmark | Wert | Beleg |
|---|---|---|
| likaixin/ScreenSpot-Proword_macos | 51.2 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prodavinci_macos | 11.4 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Provscode_macos | 20 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Profruitloops_windows | 15.8 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Promatlab_macos | 23.7 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prolinux_common_linux | 4 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proinventor_windows | 1.4 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proeviews_windows | 62 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Provivado_windows | 17.5 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proautocad_windows | 2.9 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prostata_windows | 10.2 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prowindows_common_windows | 4.9 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proandroid_studio_macos | 2.5 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Propycharm_macos | 10.3 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prooverall | 16.1 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proillustrator_windows | 0 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prophotoshop_windows | 23.5 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proexcel_macos | 14.1 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Problender_windows | 21.1 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Promacos_common_macos | 9.2 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proquartus_windows | 15.6 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proorigin_windows | 8.1 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prounreal_engine_windows | 25.7 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prosolidworks_windows | 3.9 | Quelle ↗Community · 2026-03-17 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| tiiuae/PBenchaverage | 49.2 | Quelle ↗Community · 2026-05-11TestdetailsDetection-only model combined with SAM2 to convert boxes to segmentation masks. |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| LiquidAI/ifstruct-v1.0ifstruct_v1 | 15.5 | Quelle ↗Community · 2026-06-30 |
| llamaindex/ExtractBenchmean | 46.63 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_0_8b_vllm_extract_oneshot_structured_output_file |
| Idavidrein/gpqadiamond | 11.9 | Quelle ↗Community · 2026-03-02 |
| llamaindex/ParseBenchtable | 1.5 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_0_8b_vllm_layout |
| llamaindex/ParseBenchmean | 28.4 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_0_8b_vllm_layout |
| Benchmark | Wert | Beleg |
|---|---|---|
| llamaindex/ExtractBenchshort | 57.44 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_0_8b_vllm_extract_oneshot_structured_output_file |
| llamaindex/ParseBenchtext_content | 82 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_0_8b_vllm_layout |
| likaixin/ScreenSpot-Prooverall | 46.5 | Quelle ↗Community · 2026-03-18 |
| llamaindex/ParseBenchtext_formatting | 43.1 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_0_8b_vllm_layout |
| llamaindex/ParseBenchlayout | 15 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_0_8b_vllm_layout |
| MMMU/MMMU_Prommmu_pro_vision | 31.2 | Quelle ↗Community · 2026-04-28TestdetailsThinking |
| TIGER-Lab/MMLU-Prommlu_pro | 29.7 | Quelle ↗Community · 2026-03-02 |
| llamaindex/ParseBenchchart | 0.4 | Quelle ↗Community · 2026-04-22TestdetailsPipeline name: qwen3_5_0_8b_vllm_layout |
| llamaindex/ExtractBenchlong | 6.65 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_0_8b_vllm_extract_oneshot_structured_output_file |
| llamaindex/ExtractBenchmedium | 26.98 | Quelle ↗Community · 2026-08-24TestdetailsPipeline name: qwen3_5_0_8b_vllm_extract_oneshot_structured_output_file |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| MMMU/MMMU_Prommmu_pro_vision | 66.3 | Quelle ↗Community · 2026-04-28 |
| likaixin/ScreenSpot-Prooverall | 60.3 | Quelle ↗Community · 2026-03-18 |
| llamaindex/ParseBenchlayout | 19.7 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3_5_4b_vllm_layout |
| llamaindex/ParseBenchmean | 35.4 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3_5_4b_vllm_layout |
| llamaindex/ParseBenchtext_formatting | 57.8 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3_5_4b_vllm_layout |
| Benchmark | Wert | Beleg |
|---|---|---|
| Idavidrein/gpqadiamond | 76.2 | Quelle ↗Community · 2026-03-02 |
| llamaindex/ExtractBenchmedium | 76.64 | Quelle ↗Community · 2026-08-26TestdetailsPipeline name: qwen3_5_4b_vllm_extract_oneshot_structured_output_file |
| llamaindex/ParseBenchchart | 2.5 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3_5_4b_vllm_layout |
| llamaindex/ExtractBenchshort | 89.06 | Quelle ↗Community · 2026-08-26TestdetailsPipeline name: qwen3_5_4b_vllm_extract_oneshot_structured_output_file |
| llamaindex/ParseBenchtable | 8 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3_5_4b_vllm_layout |
| llamaindex/ExtractBenchmean | 82.43 | Quelle ↗Community · 2026-08-26TestdetailsPipeline name: qwen3_5_4b_vllm_extract_oneshot_structured_output_file |
| LiquidAI/ifstruct-v1.0ifstruct_v1 | 36.25 | Quelle ↗Community · 2026-06-30 |
| llamaindex/ExtractBenchlong | 27.31 | Quelle ↗Community · 2026-08-26TestdetailsPipeline name: qwen3_5_4b_vllm_extract_oneshot_structured_output_file |
| TIGER-Lab/MMLU-Prommlu_pro | 79.1 | Quelle ↗Community · 2026-03-02 |
| llamaindex/ParseBenchtext_content | 88.9 | Quelle ↗Community · 2026-04-14TestdetailsPipeline name: qwen3_5_4b_vllm_layout |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| MMMU/MMMU_ProScore | 34.3 | Quelle ↗Community · abgerufen 2026-10-22 |
| likaixin/ScreenSpot-ProScore | 26.8 | Quelle ↗Community · abgerufen 2026-10-21 |
| MMMU/MMMU_Prommmu_pro_vision | 34.3 | Quelle ↗Community · 2026-01-28 |
| likaixin/ScreenSpot-Provivado_windows | 25 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prooverall | 26.8 | Quelle ↗Community · 2026-03-17 |
| Benchmark | Wert | Beleg |
|---|---|---|
| likaixin/ScreenSpot-Profruitloops_windows | 7 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proexcel_macos | 20.3 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proautocad_windows | 0 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prodavinci_macos | 22.7 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prophotoshop_windows | 39.2 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prowindows_common_windows | 14.8 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proandroid_studio_macos | 17.5 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Propowerpoint_windows | 39 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Propremiere_windows | 19.2 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proorigin_windows | 9.7 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prounreal_engine_windows | 45.7 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Promatlab_macos | 33.3 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prosolidworks_windows | 9.1 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Promacos_common_macos | 36.9 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proquartus_windows | 15.6 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Provscode_macos | 32.7 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proword_macos | 70.2 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proeviews_windows | 72 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prostata_windows | 12.2 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Proinventor_windows | 10 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Provmware_macos | 58.5 | Quelle ↗Community · 2026-03-17 |
| likaixin/ScreenSpot-Prolinux_common_linux | 20 | Quelle ↗Community · 2026-03-17 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 49.93 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 61.7 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| TIGER-Lab/MMLU-ProScore | 22.62 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| MathArena/hmmt_feb_2026Score | 78.79 | Quelle ↗Community · abgerufen 2026-10-22 |
| MathArena/aime_2026Score | 87.5 | Quelle ↗Community · abgerufen 2026-10-22 |
| Idavidrein/gpqaScore | 72.2222222222 | Quelle ↗Community · abgerufen 2026-10-22TestdetailsGPQA Diamond |
| TIGER-Lab/MMLU-ProScore | 80.9 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| harborframework/terminal-bench-2.0Score | 23.9 | Quelle ↗Community · abgerufen 2026-10-22Testdetailsagent: Terminus 2 |
| FutureMa/EvasionBenchScore | 78.16 | Quelle ↗Community · abgerufen 2026-10-22 |
| ScaleAI/SWE-bench_ProScore | 38.7 | Quelle ↗Community · abgerufen 2026-10-21 |
| ScaleAI/SWE-bench_ProSWE_Bench_Pro | 38.7 | Quelle ↗Community · 2026-02-28 |
| harborframework/terminal-bench-2.0terminalbench_2 | 23.9 | Quelle ↗Community · 2025-11-01Testdetailsagent: Terminus 2 |
| Benchmark | Wert | Beleg |
|---|---|---|
| FutureMa/EvasionBenchevasion_bench | 78.16 | Quelle ↗Community · 2026-02-10 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| hf-audio/open-asr-leaderboardScore | 6.42 | Quelle ↗Community · abgerufen 2026-10-21 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| hf-audio/open-asr-leaderboardScore | 5.76 | Quelle ↗Community · abgerufen 2026-10-21 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| ARTPARK-IISc/Vaani-Benchmark-V1.0Score | 20.6 | Quelle ↗Community · abgerufen 2026-10-22 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| MLDRScore | 67.28 | Quelle ↗Model Card · abgerufen 2026-10-12 |
| MTEB-RScore | 65.80 | Quelle ↗Model Card · abgerufen 2026-10-12 |
| CMTEB-RScore | 71.31 | Quelle ↗Model Card · abgerufen 2026-10-12 |
| MMTEB-RScore | 66.36 | Quelle ↗Model Card · abgerufen 2026-10-12 |
| MTEB-CodeScore | 73.42 | Quelle ↗Model Card · abgerufen 2026-10-12 |
| Benchmark | Wert | Beleg |
|---|---|---|
| FollowIRScore | 5.41 | Quelle ↗Model Card · abgerufen 2026-10-12 |
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
Technische Leistungsdaten sind für diese Variante noch nicht vollständig bestätigt.
| Benchmark | Wert | Beleg |
|---|---|---|
| likaixin/ScreenSpot-ProScore | 48 | Quelle ↗Community · abgerufen 2026-10-21 |
Alle verbundenen Artikel, neueste zuerst.