LLM 评测指标完全解析：如何看懂大模型的成绩单？
🎬 一、开篇
2023 年，如果你想比较两个大模型，只需要看一个数字——MMLU 分数。当时 GPT-3 的 43.9% 已经算是学术界的最高水平。
到了 2026 年，情况完全不同了。MMLU 的前沿模型得分已经飙到 92% 以上，人类专家天花板也不过 89.8%——这个基准已经饱和到无法区分顶级模型了。取而代之的是 GPQA Diamond（博士级科学题）、HLE（人类最后的考试）、SWE-bench Pro（真·写代码）等一系列新基准。
更让人头疼的是：同样的模型在不同的评测框架下跑出来能差 10-20 个百分点，而某些指标之间的排名可能完全相反。这篇博客会帮你理清当前评测体系的全貌——从学术基准到人类偏好，从速度成本到中文生态，以及最重要的：哪些数字值得相信，哪些只是噪音。
🧠 二、知识理解：从 MMLU 到 HLE 的军备竞赛
知识理解是最早也是最成熟的评测方向。它的核心思路很简单：拿一套专家设计的题目（选择题或简答题），看模型能答对多少。
MMLU —— 经典，但已饱和
MMLU（Massive Multitask Language Understanding）发布于 2020 年，包含 15,908 道选择题，覆盖 57 个学科——从小学数学到美国历史，从国际法到营养学。4 个选项，通常用 5-shot 评估。
| 年份 | 顶级模型得分 | 阶段 |
|---|
| 2020 | GPT-3: 43.9% | 刚过随机猜测（25%） |
| 2024 | 前沿模型 ~88% | 逼近人类上限（89.8%） |
| 2026 | GPT-5: 92.5% | 全面超越人类，已饱和 |
截至 2026 年 5 月，MMLU 已有 99 个模型的分数记录。前沿模型集中在 88-94% 的狭窄区间内，区分度几乎为零。简单说：如果一个模型 MMLU 不到 85%，你不用看了——它被时代淘汰了。
MMLU-Pro —— 加码，但也在饱和的路上
MMLU-Pro 把选项从 4 个增加到 10 个，剔除了简单题，更侧重推理而非记忆。12000 道题，分数比原版 MMLU 低 16-33 个百分点。
但到 2025 年底，前沿模型也已经爬到 80-88.5% 的区间，饱和在即。当前领先者是阿里 Qwen3.6 Plus（88.5%）和 MiniMax M2.1（88.0%）。
GPQA Diamond —— 真正有区分度的接力棒
GPQA（Graduate-level Google-proof Q&A）是 2023 年底发布的，只有 448 道题，但每一道都出自博士级专家之手，覆盖生物、物理、化学三个领域。它的核心设计目标：即使有全网搜索权限，非专业人士在 30 分钟内也只能答对 34%——题目是不可 Google 的。
| 模型 | GPQA Diamond 得分 | 备注 |
|---|
| GPT-4 基线（2023） | 39% | 首发 |
| 人类博士专家 | 65% | 参考上限 |
| Claude Mythos Preview | 94.6% | 2026年5月最高 |
| Gemini 3.1 Pro | 94.3% | 紧随其后 |
| DeepSeek V4 Pro Max | 90.1% | 开源最强 |
关键趋势：GPQA 也正在接近饱和。2023 年它还充满区分度，到了 2026 年前沿模型得分普遍超过 90%，领先者之间仅差 0.3-1 个百分点。这个基准的有效生命周期大约只有 2.5 年。
HLE —— 人类最后的考试
HLE（Humanity’s Last Exam）发布于 2025 年 1 月，由将近 1000 名专家在 500 多个机构合作编制，包含 2,500 道高难度题目（76% 为简答题）。设计之初就是为了抵制饱和——前沿模型得分因评测方式不同而大幅波动，最低 35-46%（无工具评估，如 Artificial Analysis），最高可达 64.7%（Claude Mythos Preview，BenchLM.ai 2026年5月），距离人类专家估计上限 90% 还有巨大的提升空间。
这是目前极少数尚未接近饱和的前沿基准之一。
知识理解小结
| 基准 | 题量 | 形式 | 前沿得分 | 状态 |
|---|
| MMLU | 15,908 | 4 选 | 92.5% | ❌ 已饱和 |
| MMLU-Pro | 12,000 | 10 选 | ~88.5% | ⚠️ 接近饱和 |
| GPQA Diamond | 448 | 4 选 | 94.6% | ⚠️ 接近饱和 |
| HLE | 2,500 | 简答+选择 | 35-65%* | ✅ 仍有区分度 |
*注：HLE 得分因评测方法差异较大（无工具 vs 带高级推理）
从上图可以看出，MMLU、GPQA、AIME 2025 等经典基准都已接近或达到饱和，HLE 和 SWE-bench Pro 是目前尚存区分度的前沿基准。
🔢 三、数学推理：从小学题到研究级
数学是评测推理能力的「试金石」——它不需要知识广度，但需要严谨的多步推理。
GSM8K —— 小学数学，已饱和
GSM8K 包含 8,500 道小学级数学应用题，曾经是评测数学推理的标准。2024 年后前沿模型已经普遍达到 95%+，不再具有区分度。
MATH-500 / AIME 2025 —— 竞赛数学
MATH-500 是更高难度的竞赛数学。而 AIME（美国数学邀请赛） 则是真正的竞技场：每年 30 道奥赛级题目，整数答案在 000-999 之间。
2025 年 AIME 的前沿模型已经普遍达到 100%——GPT-5.2、Gemini 3 Pro、Grok-4 Heavy 等多个模型都已满分，这个基准也已饱和。2026 年的新题 AIME 2026 已被引入作为新的区分基准。截至 2026 年 5 月，AIME 2025 共有 108 个模型记录在案，平均分 78.4%。
FrontierMath —— 研究级数学
FrontierMath 走得更远——题目来源于未发表的研究论文，评估模型在科研级数学方面的能力。前沿模型在这个基准上仍在爬坡阶段。
💻 四、代码能力：从写函数到修 PR
2025-2026 年，代码评测经历了最大的一次变革——从「写函数」变成了「修仓库」。
HumanEval —— 经典但已无用
HumanEval 发布于 2021 年，包含 164 道 Python 函数签名题。2024 年后几乎所有模型都得分 90%+，完全饱和。
SWE-bench —— 真正改变游戏规则的基准
SWE-bench 由普林斯顿大学于 2023 年推出，评测的不是「写一个函数」，而是从真实的 GitHub issue 出发，让模型修改仓库中的代码，然后运行真正的测试套件验证。
| 变体 | 任务量 | 平均修改量 | 前沿得分 | 说明 |
|---|
| SWE-bench Verified | ~500 | 1-2 文件 | 80-90%+ | 已验证的子集，也已饱和 |
| SWE-bench Pro | 1,865 | 4.1 文件 / 107 行 | ~23-46% | 跨文件重构，仍有区分度 |
SWE-bench Verified 和 Pro 之间 35 个百分点的差距揭示了关键事实：同一个模型（Claude Opus 4.5）在 Verified 上达 80.9%，在 Pro 上仅 45.9%。这不是模型变差了——而是 Verified 任务更简单且受到数据污染影响。
LiveCodeBench —— 抗污染设计
SWE-bench 解决了任务复杂性的难题，但和所有静态基准一样，无法回避数据污染的风险——训练数据可能包含被测 issue 的解法。为此，需要引入月更的竞赛级基准——LiveCodeBench。
LiveCodeBench 使用训练截止日期之后的编程竞赛题，每月更新。这样模型就无法「背题」了。2026 年的顶级模型在其 Pro 变体上的得分在 20-30 分（用真分数而非百分比）范围内。
🗳️ 五、人类偏好：Chatbot Arena 与 LLM-as-Judge
客观基准越来越饱和，人到底喜欢哪个模型？ 这个问题催生了两个重要方法。
Chatbot Arena
由伯克利主导的 LMSYS Chatbot Arena 采用匿名对抗投票模式：用户提一个问题，收到两个模型的回复（不知道谁是谁），然后投票选出更好的一个。至今已累积接近 500 万张投票。
Elo 评分体系下，2026 年顶级模型的得分在 1400-1500+ 区间。但这个排名的问题在于置信区间：前 3 名的 Elo 分差只有 2-5 点，而置信区间宽达 ±15-20 点。第 1 名和第 3 名的差异可能在统计噪声范围内。
正确用法：看置信区间，而不是排名。
值得注意的是，人类的即时偏好（流畅、共情、辞藻华丽）有时会与事实准确性、安全性等长期价值相悖。一个在 Arena 排名靠前的模型，未必是事实最准确的模型——它可能更擅长「讨好」用户（即近年来被广泛讨论的「谄媚效应」，Sycophancy），而非提供客观正确的答案。这需要结合知识/推理基准综合判断。
LLM-as-Judge
用一个强大的 LLM（通常是 GPT 系列）来评估其他模型的输出质量。研究发现，这种方法与人类判断的共识度可达 80-90%（与人类之间的共识度相当），而成本只有人工评估的 1/5000。
但这种方法也有偏差：LLM Judge 倾向于长度偏好（越长越好）、位置偏好（第一个回答更容易当选），以及在特定风格上的系统性偏见。
⚡ 六、速度与成本：决定落地选择的「看不见的手」
对于实际部署，模型「聪明不聪明」只是决策因素之一。速度、成本、上下文窗口经常是更关键的决定因素。
核心指标
| 指标 | 含义 | 单位 |
|---|
| TTFT | Time to First Token（首 token 延迟） | 毫秒 |
| TPOT | Tokens Per Output Token（生成速度） | tokens/s |
| 输入价格 | 每百万输入 tokens 的费用 | $/M tokens |
| 输出价格 | 每百万输出 tokens 的费用 | $/M tokens |
2026 年代表性模型价格速览
| 模型 | 输入 ($/M) | 输出 ($/M) |
|---|
| Gemini 2.5 Flash Lite | $0 | $0 ← 免费 |
| DeepSeek V4 Flash | $0.10 | $0.20 |
| Claude Sonnet 4.6 | $3.00 | $15.00 |
| GPT-5.4 | $5.00 | $20.00 |
| Claude Opus 4.7 | $5.00 | $25.00 |
一个容易被忽略的事实：Gemini 2.5 Flash Lite 完全免费，DeepSeek V4 Flash 的价格只有 GPT-5.4 的 1/50。对于大量生产级任务，性价比比绝对性能重要得多。
速度差异
在一项典型任务中，推理速度可以从 Mistral Small 3.1 的 150 tokens/s 到某些大型专家模型的 20-30 tokens/s。决定因素包括模型大小、量化精度、批处理大小、硬件规格。
中文大模型性价比
据 SuperCLUE 2025 年 9 月报告，国内模型平均 API 价格为 3.88 元/百万 tokens，而海外模型平均 20.46 元/百万 tokens——差价超过 5 倍。海外模型全部落在「中低性价比区间」，而国内模型有多个进入「高性价比区间」。
🇨🇳 七、中文评测生态
中文大模型的评测与国际主流既有重叠也有差异。除了 MMLU、GPQA 等国际通用基准外，中文领域有自己独特的评测体系。
C-Eval
中文版 MMLU，覆盖 52 个学科，从人文到理工，全部中文出题。是国内模型标配的基线测试之一。
SuperCLUE
由 CLUE 团队（2019 年发起的中文语言理解基准）延续而来的大模型评测体系，是国内最权威的中文评测之一。2025 年 9 月版的评测包括 6 大任务、1,260 道新题：
| 任务 | 说明 | 评价方式 |
|---|
| 数学推理 | 几何、代数、概率 | 参考答案 0/1 评分 |
| 科学推理 | 物理、化学、生物 | 参考答案 0/1 评分 |
| 代码生成 | 函数 + Web 应用 | 单元测试 + 功能测试 |
| 智能体 Agent | 10+ 场景的工具调用 | 任务完成度评估 |
| 精确指令遵循 | 结构/量化/语义约束 | 规则脚本 0/1 评分 |
| 幻觉控制 | 摘要、问答的内容忠实度 | 逐句 0/1 评估 |
与 LMArena 的相关性：SuperCLUE 的得分与 LMArena Elo 的皮尔逊相关系数为 0.8239（p < 0.001），说明这套中文基准与人类偏好高度吻合。
中国国家标准
值得注意的是，中国已发布 GB/T 45288.2-2025《人工智能 大模型 第2部分：评测指标与方法》，这是国家层面的大模型评测标准。与西方由少数机构和公司主导的「竞赛式」榜单不同，GB/T 标准的出现标志着中国将大模型评测作为基础设施进行顶层设计。它从理解能力（文本/图像/音频/多模态）、生成能力两大维度出发，定义了准确率、召回率、BLEU、ROUGE 等客观指标，以及 MOS 分等主观指标。这一标准将对国内模型的研发导向、安全合规产生根本性的规范作用——不仅仅是「谁更强」，而是「应该怎么测、什么算合格」。
⚠️ 八、如何不被评测「骗」
数据污染（Contamination）
这是最严重、最隐蔽的问题。评测数据集（特别是 MMLU、HumanEval 等经典基准）的题目被包含在模型的训练数据中。模型并非真正在「解答」问题，而是在复现其在训练数据中见过的模式与答案片段。据 2026 年的 Benchmark Health Index 统计，静态基准的中位有效寿命不足 2 年。
解决方案：优先选择 LiveBench、LiveCodeBench 等定期轮换题目的抗污染基准。
饱和陷阱（Saturation）
当所有模型都在 90%+ 范围内时，你看到的排名差其实没有统计学意义。一个基准的生命周期大致是：有用（Top 50-80%）→ 区分（80-90%）→ 饱和（90%+）。当前饱和的清单：MMLU、HumanEval、HellaSwag、WinoGrande、GSM8K。
Harness 依赖
在智能体基准（SWE-bench、Terminal-Bench）上，评测框架本身可以贡献 10-20 个百分点的分数差异。框架决定模型能调用什么工具、尝试几次、上下文如何管理、任务如何评分——这些都不是「模型能力」，但全都会体现在最终分数里。
置信区间
Chatbot Arena 的 Elo 排名中，前 3 名之间的分差往往在 2-5 点，而置信区间宽达 ±15-20 点。当两个模型的置信区间重叠时，排名差异没有统计意义。
💡 九、总结：如何正确看评测
三角验证法
不要相信任何一个单一基准。正确的做法是交叉验证三个不同类型的高评测：
| 类型 | 代表 | 看什么 |
|---|
| 🏛️ 静态学术基准 | GPQA, HLE, MMLU-Pro | 分数范围，是否接近饱和 |
| 🗳️ 人类偏好竞技场 | Chatbot Arena | 置信区间（不是排名） |
| 🤖 智能体套件 | SWE-bench, Terminal-Bench | 评测框架版本，任务难度 |
评测应综合四个维度：智能水平（静态基准）、速度（延迟/吞吐）、价格（成本效率）、硬件（部署可行性）
当三者指向同一结论时，你才有了可以行动的信号。例如，如果 DeepSeek V4 Pro Max 在 GPQA（静态学术）得分 90%+，在 Arena 排名前 10（人类偏好），在 SWE-bench Verified 达到 80%+（智能体），那么三个维度一致，你确信它是一流模型。
当它们不一致时，这种不一致本身就是最有价值的信息——它精确揭示了模型能力的「偏科地图」。例如，某个模型在 GPQA 上得分极高但在 Arena 上表现平平，说明它知识扎实但对话体验一般；或者在 SWE-bench 上出色但 Arena 上靠后，说明写代码强但当聊天助手不够讨喜。
快速决策指南
| 你的需求 | 首要关注的指标 | 辅助参考 |
|---|
| 聊天助手/客服 | Chatbot Arena, IFEval | MMLU-Pro 基线 |
| 编程助手 | SWE-bench, LiveCodeBench | 代码价格比 |
| 数学/STEM 教师 | AIME, MATH-500, GPQA | — |
| 长文档处理 | AA-LCR, LongBench v2 | 上下文窗口大小 |
| 生产部署（成本敏感） | ￥/M tokens, tokens/s | 饱和基准基线 |
最后
AI 评测是一个被严重低估的领域。大多数人看排行榜只看第一名是谁，然后得出结论「某某模型最强」。但真相是：没有一个模型在所有维度上都是最好的。Gemini 3 Pro 在 GPQA 上领先，但辅助编码不如 Claude；DeepSeek V4 Flash 价格只有 GPT-5.4 的 1/50，但复杂推理还有差距；国内模型在中文场景和性价比上有优势，但在精确指令遵循等维度与国际前沿仍有差距。
知道看什么、怎么看，比知道「谁第一」重要一百倍。
数据来源说明
- Artificial Analysis — 综合四维评估框架
- LMSYS Chatbot Arena — 人类偏好 Elo 排名
- SuperCLUE 2025 年 9 月 & 年度报告 — 中文大模型评测
- GPQA / HLE / MMLU 官方论文和榜单
- SWE-bench 官方文档 (Princeton)
- GB/T 45288.2-2025 中国国家标准
- 中国信通院「方升」大模型基准测试体系研究报告
- BenchLM.ai, llm-stats.com, CodeSOTA — 实时排名数据
LLM評価指標完全解説：大モデルの成績表をどう読み解くか？
🎬 一、開篇
2023年、2つの大モデルを比較するのに必要な数字はたった一つ——MMLUスコアだった。当時GPT-3の43.9%が学界の最高水準とされていた。
2026年の今、状況は一変した。MMLUのフロンティアモデルのスコアは92%以上に急上昇し、人間の専門家上限（89.8%）を超えている——このベンチマークはトップモデルを区別できなくなるほど飽和しているのだ。代わりに、GPQA Diamond（博士レベルの科学問題）、HLE（人類最後の試験）、SWE-bench Pro（本格的なコーディング）など、一連の新ベンチマークが台頭している。
さらに厄介なのは、同じモデルでも評価フレームワークが変わるとスコアが10〜20ポイントも乖離し、指標によってランキングが完全に逆転することもある。本記事では、現在の評価体系の全貌——学術ベンチマークから人間の嗜好、速度・コストから中国語エコシステムまで、そして最も重要などの数字を信じるべきか、何がノイズなのか——を整理する。
🧠 二、知識理解：MMLUからHLEへの軍拡競争
知識理解は最も古く、最も成熟した評価分野だ。その核心はシンプルで、専門家が設計した問題（選択式または記述式）をモデルがどれだけ正解できるかを測る。
MMLU —— 古典、だが飽和
MMLUは2020年に公開され、15,908問の選択問題を57学科にわたって収録——小学校の算数からアメリカ史、国際法から栄養学まで。4択式で、通常5-shotで評価される。
| 年份 | 顶级模型得分 | 阶段 |
|---|
| 2020 | GPT-3: 43.9% | 刚过随机猜测（25%） |
| 2024 | 前沿模型 ~88% | 逼近人类上限（89.8%） |
| 2026 | GPT-5: 92.5% | 全面超越人类，已饱和 |
2026年5月現在、MMLUには99モデルのスコアが記録されている。フロンティアモデルは88〜94%の狭い範囲に密集しており、差別化はほぼ不可能だ。簡単に言えば、MMLUが85%未満のモデルは——時代遅れである。
MMLU-Pro —— 難度向上、だが飽和への道
MMLU-Proは選択肢を4つから10個に増やし、簡単な問題を排除、記憶よりも推論を重視している。12,000問で構成され、スコアはオリジナルMMLUより16〜33ポイント低くなる。
しかし2025年末には、フロンティアモデルも**80〜88.5%**の範囲に達し、飽和が目前となっている。現在のリーダーはAlibabaのQwen3.6 Plus（88.5%）とMiniMax M2.1（88.0%）だ。
GPQA Diamond —— 真の差別化指標
GPQAは2023年末に公開され、448問と少ないが、すべて博士レベルの専門家が出題、生物学・物理学・化学の3分野をカバーする。核心の設計目標は、ウェブ検索のフルアクセスがあっても、非専門家が30分で正解できるのは34%だけ——つまりググっても答えが出てこない問題である。
| 模型 | GPQA Diamond 得分 | 备注 |
|---|
| GPT-4 基线（2023） | 39% | 首发 |
| 人类博士专家 | 65% | 参考上限 |
| Claude Mythos Preview | 94.6% | 2026年5月最高 |
| Gemini 3.1 Pro | 94.3% | 紧随其后 |
| DeepSeek V4 Pro Max | 90.1% | 开源最强 |
重要トレンド：GPQAも飽和に近づいている。2023年は十分な差別化ができていたが、2026年にはフロンティアモデルが軒並み90%超え、トップ間の差はわずか0.3〜1ポイント。このベンチマークの有効寿命は約2.5年だった。
HLE —— 人類最後の試験
HLEは2025年1月に公開され、約1,000人の専門家が500以上の機関と協力して作成した2,500問の高難度問題（76%が記述式）。飽和を防ぐために設計されており、フロンティアモデルのスコアは評価方法によって大きく異なり、最低35〜46%（ツールなし評価、Artificial Analysis）から最高64.7%（Claude Mythos Preview, BenchLM.ai 2026年5月）まで幅がある。人間の専門家上限（約90%）にはまだ大きなギャップがある。
現在、飽和に近づいていない数少ないフロンティアベンチマークの一つである。
知識理解まとめ
| 基准 | 题量 | 形式 | 前沿得分 | 状态 |
|---|
| MMLU | 15,908 | 4 选 | 92.5% | ❌ 已饱和 |
| MMLU-Pro | 12,000 | 10 选 | ~88.5% | ⚠️ 接近饱和 |
| GPQA Diamond | 448 | 4 选 | 94.6% | ⚠️ 接近饱和 |
| HLE | 2,500 | 简答+选择 | 35-65%* | ✅ 仍有区分度 |
*注：HLE 得分因评测方法差异较大
MMLU、GPQA、AIME 2025などの古典的ベンチマークは飽和に近づいており、HLEとSWE-bench Proが現在も差別化可能なフロンティアベンチマークである。
🔢 三、数学推論：小学生の問題から研究レベルまで
数学は推論能力を評価する「試金石」——幅広い知識は不要だが、厳密な多段階推論が求められる。
GSM8K —— 小学数学、飽和
GSM8Kは8,500問の小学生レベルの算数文章題で、かつて数学推論の標準評価だった。2024年以降、フロンティアモデルは軒並み95%以上に達し、差別化能力を失っている。
MATH-500 / AIME 2025 —— 競技数学
MATH-500はより高難度の競技数学。一方、AIMEは真の戦いの場で、毎年30問の数学オリンピック級の問題が出題される。
2025年AIMEではフロンティアモデルが軒並み100%を達成——GPT-5.2、Gemini 3 Pro、Grok-4 Heavyなど複数のモデルが満点を取り、このベンチマークも飽和した。2026年の新問題AIME 2026が新たな差別化基準として導入されている。2026年5月現在、AIME 2025には108モデルが記録され、平均点は78.4%だ。
FrontierMath —— 研究レベル数学
FrontierMathはさらに一歩進んでおり、未発表の研究論文から出題され、モデルの研究レベルの数学能力を評価する。フロンティアモデルはこのベンチマークではまだ発展途上にある。
💻 四、コード能力：関数からPR修正まで
2025〜2026年、コード評価は最大の変革を経験した——関数を書くことから、リポジトリを修正することへ。
HumanEval —— 古典だが無意味
HumanEvalは2021年に公開され、164問のPython関数問題で構成。2024年以降、ほぼすべてのモデルが90%以上を獲得しており、完全に飽和している。
SWE-bench —— ゲームチェンジャー
SWE-benchはプリンストン大学が2023年にリリースしたもので、評価するのは関数を書くことではなく、実際のGitHub Issueをもとにモデルがリポジトリのコードを修正し、実際のテストスイートで検証することだ。
| 变体 | 任务量 | 平均修改量 | 前沿得分 | 说明 |
|---|
| SWE-bench Verified | ~500 | 1-2 文件 | 80-90%+ | 已验证的子集，也已饱和 |
| SWE-bench Pro | 1,865 | 4.1 文件 / 107 行 | ~23-46% | 跨文件重构，仍有区分度 |
SWE-bench VerifiedとProの35ポイントのギャップは重要な事実を明らかにしている。同じモデル（Claude Opus 4.5）がVerifiedで80.9%、Proで45.9%——モデルが劣化したのではなく、Verifiedのタスクがより簡単で、データ汚染の影響も受けているのだ。
LiveCodeBench —— 抗污染設計
SWE-benchはタスクの複雑さの課題を解決したが、すべての静的ベンチマークと同様にデータ汚染のリスクを免れない——学習データに評価対象のIssueの解法が含まれている可能性がある。そこで、月次更新の競技プログラミングベンチマーク——LiveCodeBenchが必要となる。
LiveCodeBenchは、学習カットオフ日以降の競技プログラミング問題を使用し、毎月更新される。これによりモデルは問題を「暗記」できない。2026年のトップモデルはProバリアントで20〜30点（真のスコア、パーセンテージではない）の範囲にある。
🗳️ 五、人間の嗜好：Chatbot ArenaとLLM-as-Judge
客観的ベンチマークが飽和する中、人間は実際にどのモデルを好むのか？ という問いから2つの重要な手法が生まれた。
Chatbot Arena
バークレー主導のLMSYS Chatbot Arenaは、匿名対戦投票方式を採用している。ユーザーが質問を送ると、2つのモデルからの回答を匿名で受け取り、良い方を投票する。現在までに約500万票が蓄積されている。
Eloレーティングシステムの下、2026年のトップモデルは1400〜1500+の範囲。しかしこのランキングの問題は信頼区間にある。トップ3のElo差はわずか2〜5ポイントだが、信頼区間は±15〜20ポイントと広い。1位と3位の差は統計的ノイズの範囲内かもしれない。
正しい使い方：ランキングではなく信頼区間を見よ。
注意すべきは、人間の即時的嗜好（流暢さ、共感、華麗な表現）が、事実の正確性や安全性といった長期的価値と相反することがある点だ。Arenaで上位のモデルが必ずしも事実上最も正確とは限らない——ユーザーを「喜ばせる」ことに長けている可能性があり（近年広く議論されている「追従効果」、Sycophancy）、客観的に正しい答えを提供しているとは限らない。知識・推論ベンチマークと組み合わせた総合判断が必要だ。
LLM-as-Judge
強力なLLMを使って他のモデルの出力品質を評価する方法。研究によると、この手法と人間の判断の一致度は80〜90%に達し（人間同士の一致度と同等）、コストは人間による評価の1/5000だ。
しかし、この手法にもバイアスがある。LLM Judgeは長さの偏り（長い方が好まれる）、位置の偏り（最初の回答が選ばれやすい）、特定のスタイルに対する体系的な偏見を示す。
⚡ 六、速度とコスト：実装選択を決める「見えざる手」
実際のデプロイにおいて、モデルが「賢いかどうか」は意思決定要因の一つに過ぎない。速度、コスト、コンテキストウィンドウのほうが、より重要な決定要因になることが多い。
核心指標
| 指标 | 含义 | 单位 |
|---|
| TTFT | Time to First Token（首 token 延迟） | 毫秒 |
| TPOT | Tokens Per Output Token（生成速度） | tokens/s |
| 输入价格 | 每百万输入 tokens 的费用 | $/M tokens |
| 输出价格 | 每百万输出 tokens 的费用 | $/M tokens |
2026 年代表性模型价格速览
| 模型 | 输入 ($/M) | 输出 ($/M) |
|---|
| Gemini 2.5 Flash Lite | $0 | $0 ← 免费 |
| DeepSeek V4 Flash | $0.10 | $0.20 |
| Claude Sonnet 4.6 | $3.00 | $15.00 |
| GPT-5.4 | $5.00 | $20.00 |
| Claude Opus 4.7 | $5.00 | $25.00 |
見逃せない事実：Gemini 2.5 Flash Liteは完全無料、DeepSeek V4 FlashはGPT-5.4の50分の1の価格。大量のプロダクションタスクにおいては、絶対性能よりコスパの方がはるかに重要だ。
速度の差
典型的なタスクでは、推論速度はMistral Small 3.1の150 tokens/sから、大規模エキスパートモデルの20〜30 tokens/sまで幅がある。決定要因には、モデルサイズ、量子化精度、バッチサイズ、ハードウェア仕様が含まれる。
中国語大モデルのコスパ
SuperCLUE 2025年9月の報告によると、国内モデルの平均API価格は3.88元/百万トークン、海外モデルは平均20.46元/百万トークン——5倍以上の開きがある。海外モデルはすべて「中低コスパゾーン」に集中する一方、国内モデルは複数が「高コスパゾーン」に入っている。
🇨🇳 七、中国語評価エコシステム
中国語大モデルの評価は、国際主流と重なる部分もあれば、差異もある。MMLU、GPQAなどの国際共通ベンチマークに加え、中国語領域には独自の評価体系が存在する。
C-Eval
中国語版MMLUで、52学科をカバー、人文系から理工系まで全て中国語で出題。国内モデルの標準的なベースラインテストの一つ。
SuperCLUE
CLUEチーム（2019年に開始された中国語言語理解ベンチマーク）から継承された大モデル評価体系で、国内で最も権威ある中国語評価の一つ。2025年9月版は6大タスク、1,260問の新問題で構成される：
| 任务 | 说明 | 评价方式 |
|---|
| 数学推理 | 几何、代数、概率 | 参考答案 0/1 评分 |
| 科学推理 | 物理、化学、生物 | 参考答案 0/1 评分 |
| 代码生成 | 函数 + Web 应用 | 单元测试 + 功能测试 |
| 智能体 Agent | 10+ 场景的工具调用 | 任务完成度评估 |
| 精确指令遵循 | 结构/量化/语义约束 | 规则脚本 0/1 评分 |
| 幻觉控制 | 摘要、问答的内容忠实度 | 逐句 0/1 评估 |
LMArenaとの相関：SuperCLUEのスコアとLMArena Eloのピアソン相関係数は0.8239（p < 0.001）で、この中国語ベンチマークが人間の嗜好と高度に一致していることを示している。
中国国家基準
特筆すべきは、中国がGB/T 45288.2-2025『人工知能 大モデル 第2部：評価指標と方法』を発行したことだ。これは国家レベルの大モデル評価基準である。欧米のように一部の機関や企業が主導する「競技型」ランキングとは異なり、GB/T基準の登場は中国が大モデル評価をインフラとしてトップダウン設計していることを示している。理解能力（テキスト/画像/音声/マルチモーダル）と生成能力の2大軸から、正解率、再現率、BLEU、ROUGEなどの客観指標と、MOSスコアなどの主観指標を定義している。この基準は国内モデルの研究開発の方向性や安全性・コンプライアンスに根本的な規範的影響を与える——単なる「どちらが強いか」ではなく、「どう測るべきか、何が合格か」を定めるものだ。
⚠️ 八、評価に騙されないために
データ汚染（Contamination）
最も深刻で、最も見えにくい問題。評価データセット（特にMMLU、HumanEvalなどの古典的ベンチマーク）の問題がモデルの学習データに含まれてしまう。モデルは真に「解答」しているのではなく、学習データで見たパターンや回答断片を再現している可能性がある。Benchmark Health Indexの統計によると、静的ベンチマークの有効寿命の中央値は2年未満だ。
解決策：LiveBench、LiveCodeBenchなど定期的に問題を入れ替える抗汚染ベンチマークを優先せよ。
飽和の罠（Saturation）
すべてのモデルが90%以上の範囲にあるとき、見かけのランキング差には統計的意味がない。ベンチマークのライフサイクルはおおよそ：有用（50〜80%）→ 差別化（80〜90%）→ 飽和（90%+）。現在飽和しているリスト：MMLU、HumanEval、HellaSwag、WinoGrande、GSM8K。
Harness依存
エージェントベンチマークでは、評価フレームワーク自体が10〜20ポイントのスコア差を生み出す。フレームワークが、モデルが呼び出せるツール、試行回数、コンテキスト管理方法、タスクの採点方法を決定する——これらはいずれも「モデル能力」ではないが、すべて最終スコアに反映される。
信頼区間
Chatbot ArenaのEloランキングでは、トップ3間のスコア差は多くの場合2〜5ポイントだが、信頼区間は±15〜20ポイントと広い。2つのモデルの信頼区間が重なっている場合、ランキングの差に統計的意味はない。
💡 九、まとめ：正しい評価の見方
三角検証法
単一のベンチマークを信じてはいけない。正しい方法は、3つの異なるタイプの評価をクロス検証することだ：
| 类型 | 代表 | 看什么 |
|---|
| 🏛️ 静态学术基准 | GPQA, HLE, MMLU-Pro | 分数范围，是否接近饱和 |
| 🗳️ 人类偏好竞技场 | Chatbot Arena | 置信区间（不是排名） |
| 🤖 智能体套件 | SWE-bench, Terminal-Bench | 评测框架版本，任务难度 |
評価は4次元を総合すべき：知能（静的ベンチマーク）、速度（レイテンシ/スループット）、価格（コスト効率）、ハードウェア（デプロイ可能性）
3つすべてが同じ結論を示したとき、初めて行動できるシグナルが得られる。例えば、DeepSeek V4 Pro MaxがGPQA（静的学術）で90%以上、Arena（人間の嗜好）でトップ10、SWE-bench Verified（エージェント）で80%以上であれば、3つの次元が一致しており、一流モデルであると確信できる。
それらが一致しないとき、その不一致自体が最も価値のある情報だ——モデルの能力の「偏りマップ」を正確に明らかにする。例えば、あるモデルがGPQAで非常に高いスコアを出すがArenaで平凡な場合、知識は豊富だが対話体験は標準的だということだ。あるいはSWE-benchでは優秀だがArenaでは下位なら、コーディングは強いがチャットアシスタントとしてはあまり好まれないという意味だ。
クイック判断ガイド
| 你的需求 | 首要关注的指标 | 辅助参考 |
|---|
| 聊天助手/客服 | Chatbot Arena, IFEval | MMLU-Pro 基线 |
| 编程助手 | SWE-bench, LiveCodeBench | 代码价格比 |
| 数学/STEM 教师 | AIME, MATH-500, GPQA | — |
| 长文档处理 | AA-LCR, LongBench v2 | 上下文窗口大小 |
| 生产部署（成本敏感） | ￥/M tokens, tokens/s | 饱和基准基线 |
最後に
AI評価は深刻に過小評価されている分野だ。ほとんどの人はランキングの1位だけを見て「◯◯モデルが最強」と結論づける。しかし真実は、すべての次元で最高のモデルは存在しないことだ。Gemini 3 ProはGPQAでリードするが、コーディング補助ではClaudeに及ばない。DeepSeek V4 FlashはGPT-5.4の50分の1の価格だが、複雑な推論にはまだギャップがある。国内モデルは中国語シナリオとコスパで優位だが、正確な指示追従などの次元では国際フロンティアとの差がある。
何を見るか、どう見るかを知ることは、誰が一番かを知ることより百倍重要だ。
データソース説明
- Artificial Analysis — 総合4次元評価フレームワーク
- LMSYS Chatbot Arena — 人間の嗜好 Elo ランキング
- SuperCLUE 2025年9月 & 年間報告書 — 中国語大モデル評価
- GPQA / HLE / MMLU 公式論文とランキング
- SWE-bench 公式ドキュメント (Princeton)
- GB/T 45288.2-2025 中国国家基準
- 中国信通院「方升」大モデルベンチマークテスト体系研究報告
- BenchLM.ai, llm-stats.com, CodeSOTA — リアルタイムランキングデータ