📚 AI 大模型：预训练 vs 后训练——“会读书”和”会做事”是两回事
你有没有过这种困惑：同一个 AI，隔几个月好像突然”变聪明”了，可厂商说它架构没变、参数没变，那它到底变了什么？
2026 年 7 月 31 日，DeepSeek 发布 V4-Flash 正式版。官方更新日志里有一句轻描淡写却信息量巨大的话：
“DeepSeek-V4-Flash-0731 的模型结构、尺寸和 preview 保持一致，仅重新进行了后训练。”
仅仅”重新做了一次后训练”，一个激活参数只有 130 亿的轻量模型，在 Agent 能力上就跑出了逼近、甚至反超 490 亿激活参数的 V4-Pro 预览版的成绩。
这不是什么玄学。它正好戳中了今天大模型最核心、也最被低估的一个概念——预训练和后训练的根本区别。
这篇文章，我想用一个简单的比喻，帮你把这两个词彻底搞懂，然后告诉你：为什么”后训练”正在成为 AI 军备竞赛里，那个被所有人偷偷加码的新战场。
🎓 先建立一个直觉：读万卷书 vs 上岗培训
想象两个人：
A 同学，寒窗苦读十多年，把图书馆里几百万本书全背下来了。天文地理、历史典故、数理逻辑、人情世故，样样都懂。但问题是——他从没跟人正经对话过，你问他问题，他说出来的话又臭又长、还经常跑题，甚至会说一些不合时宜的话。
B 同事，就是在 A 的基础上，接受了三个月高强度的”岗前培训”：学会了听懂老板的指令、按规范的格式汇报、知道什么时候该说重点、什么时候该闭嘴。入职后又经过反复的实战打磨，越来越像一个靠谱的职场人。
你觉得，A 和 B，谁更能帮你解决问题？
当然是 B。因为 A 只是”知道”，而 B 是”会做”。
预训练，就是那个”读万卷书”的 A——让模型海量学知识，掌握语言、事实和世界运行的规律。
后训练，就是那个”上岗培训”的 B——把模型从一个”什么都知道但不会好好说话的书呆子”，调教成一个”懂规矩、会办事、按你期望给答案”的专业助手。
🔑 一句话核心：预训练解决”知”，后训练解决”行”。一个决定模型”懂什么”，一个决定模型”怎么表现”。
📖 什么是预训练：让模型”读万卷书”
预训练是所有大模型的起点，也是最烧钱的一步。
它在做什么？
预训练的任务听起来简单得有点傻——让模型海量文本里”猜下一个词”（技术上叫 next-token prediction）。
给它半句话：“今天天气真”，它要学会预测下一个字最可能是”好”（而不是”吃”或”跑”）。
就这么一个朴素的任务，配上几万亿、几十万亿个 token 的海量文本，模型通过不断”猜对下一个词”来调整自己内部的几十亿、几千亿个参数，最终把语言的规律、世界的知识、逻辑的模式，全部”压进”了这些参数里。
🏗️ 用工程语言说：预训练产出的是 Base Model（基础模型）。它的任务只有一个——最大化”猜对下一个词”的概率。
产出的模型长什么样？
Base Model 你要是一上来就问它，你会得到：
- 🗣️ 一个话痨——你说一句话它能接一百句，因为它在”续写”，不是在”回答问题”
- 🤔 一个不懂指令的家伙——你跟它说”用三句话总结”，它可能洋洋洒洒写三千字
- ⚠️ 一个可能有毒的偏科生——它学的是整个人类互联网，里面既有知识也有偏见、暴力、错误信息
一句话：预训练让模型”无所不知，但无法相处”。
预训练的三个特点
| 特点 | 说明 |
|---|
| 💰 成本最高 | 动辄数亿美元，超大规模 GPU 集群跑几个月 |
| ⏳ 周期最长 | 数据清洗、训练、调优都是以”月”为单位 |
| 📈 Scaling Law 主导 | ”大力出奇迹”，数据和算力越大，能力越强 |
这也是为什么只有巨头玩得起预训练——它是一个资本密集型的活。
🛠️ 什么是后训练：让模型”上岗”
如果预训练是”把原料做成了一锅生米”，那后训练就是把它煮成熟饭、装盘、摆上桌。它是让模型从”Base”变成你能用的”Chat/助手”的关键一步。
后训练的三大核心手段：
1️⃣ SFT（监督微调）：先学会”有问有答”
收集大量”人类问题 → 理想回答”的高质量标注数据，让模型照着标准答案学。
这一步，模型学会了基本的”对话礼仪”——你问，它答；你让总结，它总结；你让写代码，它写代码。
🥣 打个比方：这是”岗前培训”，教会新人基本的业务流程和话术。
2️⃣ RLHF / RL（强化学习）：学会”按期望给答案”
光有标准答案还不够，因为”好答案”的标准五花八门。于是用奖励模型 + 强化学习，让模型自己去”试错”，答得好，给高分；答得差，打低分。反复迭代，直到模型学会了什么该说、什么不该说、什么样的答案更受欢迎。
🧠 这是最像”人类成长”的一步——不是死记硬背标准答案，而是在试错中学会了判断好坏的品味。
在 DeepSeek 这类以推理见长的模型里，这一步用的是 GRPO（群组相对策略优化） 等强化学习算法，专门用来驯出模型的推理能力（R1 就是靠这一步，从一个基础模型硬生生”逼”出了奥数级别的逻辑推理）。
3️⃣ 蒸馏 / 对齐：把”多个专家”装进一个模型
有些团队会把后训练分成多个专业的”小老师”（编程专家、数学专家、Agent 专家各练各的），最后用知识蒸馏把它们的本事合并进一个模型里——既要多才多艺，又不能让它们互相”打架”、忘掉彼此的本领。
后训练的三个特点
| 特点 | 说明 |
|---|
| 📄 数据量小但极精 | 百万级的高质量标注，远小于预训练的万亿 token |
| 💰 成本相对低 | 但仍需大规模算力，且近年来投入占比飙升 |
| 🔄 迭代极快 | 相比预训练以”月”计，后训练可以”周”级快速迭代 |
🎯 关键洞察：后训练正从”点缀”变成”主战场”。 早期大家觉得后训练只是”微调一下”让模型听话，但现在——它已经跟预训练平起平坐，甚至成了拉开差距的关键。
⚖️ 一张表看懂：预训练 vs 后训练
| 维度 | 🏫 预训练 | 🛠️ 后训练 |
|---|
| 目标 | 学会”知识”（理解语言与世界） | 学会”行为”（按期望回答问题） |
| 数据 | 海量无标注文本（万亿 token） | 少量高质量标注（百万级） |
| 成本 | 极高（数亿美元 + 数月） | 相对低，但占比逐年飙升 |
| 能力来源 | 通用知识与语言能力 | 指令遵循、推理、对齐、任务专精 |
| 产出 | Base Model（基础模型） | Chat 模型 / 助手 / 推理模型 |
| 迭代速度 | 慢（月级） | 快（周级） |
| 决定 | 模型”懂多少” | 模型”好多少、会不会用懂的东西” |
💡 一句话：预训练决定天花板，后训练决定你能摸到天花板多远。
🚀 最有力的证据：DeepSeek-V4-Flash-0731
理论说再多，不如看一个真实案例。7 月 31 日这个案例，几乎就是为”后训练的重要性”量身定做的。
发生了什么？
- 🤖 模型：DeepSeek-V4-Flash 正式版（0731）上线公测
- 🔗 架构：和 4 月 preview 完全一样——284B 总参数 / 13B 激活参数，CSA+HCA 注意力
- 🧬 参数量：一个字节都没变
- ✨ 变化：官方原话——“仅重新进行了后训练”（re-post-trained），加上原生支持 Responses API、适配 Codex
效果有多惊人？
| 指标 | V4-Flash-0731（13B激活，仅重后训练） | V4-Pro 预览版（49B激活） |
|---|
| Terminal Bench | 82.7（2.1版） | 67.9（2.0版） |
| NL2Repo | 54.2 | — |
| Cybergym | 76.7 | — |
| Toolathlon verified | 70.3 | — |
一个激活参数只有 130 亿的轻量模型，靠”换了个后训练”，在自家 Agent 基准上，逼近甚至反超了激活参数 490 亿的 Pro 预览版——两者规模差一个数量级。
🎯 这里藏着最值得玩味的信号：参数规模的差距，正在被后训练的智慧追平。
这个案例说明了什么？
- 架构不是唯一决定因素——同样一副骨架，换一套”训练方法”，能力天差地别
- 后训练是”能力放大器”——尤其对 Agent（让 AI 用工具、完成任务）这类任务，后训练的加持立竿见影
- 训练方法和数据质量的权重正在上升——这也是”小模型打大模型”成为可能的原因
一点诚实
有两个事实我该如实说：
- ⚠️ 后训练具体用了什么，官方没公开（数据、奖励方法、训练流程都保密）——所以”提升来自哪种具体技术”目前无法断言
- ⚠️ 评测有框架偏差——这些分数是在 DeepSeek 自己的 Agent 环境里跑的，不同第三方框架下的实际表现，还需要更多独立测试验证
正因如此，我更愿意把它理解为：DeepSeek 正在验证一条务实的技术路线——不动架构、不扩参数，靠重新后训练 + 工具适配，就能把模型完成真实任务的能力再拔高一截。 这本身就是个很强的信号。
另一个有力佐证：DeepSeek-V3.2
其实早在 2025 年底，DeepSeek V3.2 就用数据说了同样的话：它的论文里明确写到，后训练阶段投入的计算预算，超过了预训练的 10%。
⏫ 翻译一下：以前大家觉得预训练占 99% 的算力，后训练只是”修修补补”。但 DeepSeek 说，不，我单是后训练就烧掉了预训练十分之一的算力——换来的是跑平甚至超越 GPT-5、IMO 金牌级别的能力。
当后训练的单独立投入达到预训练的 10%+，它就已经不是”微调”，而是一项可与预训练分庭抗礼的工程。 这和我们看到的 V4-Flash-0731 是同一个故事的延续。
🤔 为什么这跟你有关？
你可能说：我又不做大模型，这跟我有什么关系？
关系大着呢。因为它正在改变整个行业的竞争逻辑：
- 🏗️ 对普通开发者：你未必养得起”预训练”，但你可以用开源 Base 模型 + 精心的后训练（SFT/RLHF/对齐），在自己领域做出媲美甚至超过巨头默认模型的专用 AI。这就是 R1、以及大量开源社区模型走的路。
- 💡 对使用者：理解”后训练”能帮你识破营销话术。当你看到”某模型变强了”，先问一句——是架构改了，还是只是重新训练了一遍？ 很多”惊喜升级”，本质都是后训练的红利。
- 🌍 对行业：当后训练的效率红利被充分挖掘，当”训练方法”开始追赶甚至抵消”参数规模”的差距，“堆参数”不再是唯一答案。这才是小团队有机会的缝隙。
🔥 最终一句话——不要神化”参数”，也不要神话”架构”。让模型真正有用的是它的训练，尤其是那块最能显手艺、最能拉开差距的后训练。
📅 2026-08-06 | 🤖 由 Hermes Agent 辅助编写
📚 AI大規模モデル：事前学習 vs 事後調整——「知っている」と「できる」は別物
こんな経験はありませんか。同じAIが、数か月もしないうちに急に「賢くなった」と感じる。それなのに、メーカーはアーキテクチャもパラメータも変えていないと言う。いったい、何が変わったのでしょうか。
2026年7月31日、DeepSeekはV4-Flashの正式版をリリースしました。公式の更新ログには、あっさりしているのに情報量の多い一文がありました。
「DeepSeek-V4-Flash-0731は、preview版と同じモデル構造・サイズを維持し、単に事後調整をやり直しただけです。」
ただ「事後調整を一度やり直した」だけで、アクティブパラメータがわずか130億の軽量モデルが、エージェント能力で490億アクティブパラメータのV4-Pro preview版に迫り、一部では超える成績を出しました。
これは魔法ではありません。今日の大規模モデルで最も中核的でありながら、最も過小評価されている概念——事前学習と事後調整の根本的な違いを、まさに突いた例なのです。
この記事では、簡単なたとえでこの2つの言葉を完全に理解し、さらに「なぜ事後調整がAI軍拡競争の新たな戦場になりつつあるのか」をお伝えします。
🎓 まず直感を養う：万巻の書を読む vs 職場研修
想像してください。
Aさんは、十数年ひたすら学び、図書館にある数百万冊の本をすべて暗記しました。天文地理、歴史典故、数理論理、人情の機微——何でも知っています。しかし問題は、彼はきちんと誰かと会話したことがありません。質問しても、答えは冗長で脱線し、場違いなことを言うこともあります。
Bさんは、Aの上に3か月の高強度「職場研修」を受けました。上司の指示の聞き方、規格どおりの報告の仕方、どこで要点を言うべきか、どこで黙るべきかを学びました。入社後も実戦で磨かれ、頼りになる社会人になっていきます。
どちらが、より問題を解決してくれるでしょうか。
もちろんBです。Aは「知っている」だけですが、Bは「できる」からです。
事前学習が「万巻の書を読む」A——モデルに膨大な知識を学ばせ、言語・事実・世界の仕組みを掴ませます。
事後調整が「職場研修」を受けたB——「何でも知っているがきちんと話せない生真面目」を、「規則を守り、物事をこなし、あなたの期待どおりに答える」専門アシスタントへと調教します。
🔑 核心は一言：事前学習は「知る」を解決し、事後調整は「できる」を解決する。一方はモデルの「理解」を決め、もう一方はモデルの「振る舞い」を決める。
📖 事前学習とは：モデルに「万巻の書」を読ませる
事前学習はすべての大規模モデルの出発点であり、最も費用のかかる工程です。
何をしているのか？
事前学習のタスクは、聞くと単純すぎて笑ってしまうものです——膨大なテキストから「次の単語」を当てさせる（技術的には next-token prediction）。
「今日はいい天気だ」を半分だけ見せて、次の文字が「ね」でなく「、」でもなく、最も自然な単語を当てさせます。
この素朴なタスクに、数兆・数十兆ものトークンの海量テキストを掛け合わせます。モデルは「次の単語をどんどん当てる」ことで、内部の数十億・数千億のパラメータを調整し、言語の規則・世界の知識・論理のパターンをすべてパラメータに「圧縮」していきます。
🏗️ 工学の言葉で言えば、事前学習が生むのは Base Model（基盤モデル）。その役割はただ一つ——「次の単語を当てる確率」を最大化すること。
生まれるモデルはどんな姿？
Base Modelをそのまま使うと、こうなります。
- 🗣️ おしゃべり好き——一言言えば百言返す。回答ではなく「続き」を書いているから
- 🤔 指示が通じない——「3行で要点を」と言っても三千字書く
- ⚠️ 偏った知識——人間のインターネット全体を学ぶので、知識も偏見も暴力も誤情報も含む
一言で言えば、事前学習はモデルを「何でも知っているけれど、まともに話せない」状態にするのです。
事前学習の3つの特徴
| 特徴 | 説明 |
|---|
| 💰 コスト最大 | 数億ドル規模、超大型GPUクラスタを数か月稼働 |
| ⏳ 期間最長 | データ洗浄、学習、調整はすべて「月」単位 |
| 📈 Scaling Law 支配 | 「力とデータと計算が大きいほど賢い」 |
大企業だけが事前学習をできるのは、それが資本集約型の仕事だからです。
🛠️ 事後調整とは：モデルを「現場に出す」
事前学習が「生米」なら、事後調整はそれを炊いて、盛り付けて、出前すること。モデルを「Base」から、実際に使える「Chat／アシスタント」へ変える、決定的な工程です。
事後調整の3つの主要な手段：
1️⃣ SFT（教師ありファインチューニング）：まず「問答」を覚える
「人間の質問 → 理想的な回答」の高品質ラベル付きデータを集め、モデルに模範解答を学ばせます。
この段階でモデルは基本的な「会話のマナー」——聞かれたら答える、要約と言えば要約、コードを書けと言えば書く——を身につけます。
🥣 たとえ：これは「職場研修」。新人に基本的な仕事の流れと話し方を教えます。
2️⃣ RLHF / RL（強化学習）：「期待どおりに答える」を学ぶ
模範解答だけでは不十分です。「良い答え」の基準は千差万別だからです。そこで報酬モデル＋強化学習を使い、モデルに試行錯誤させます。良い答えには高得点、悪い答えには低得点。反復するうちに、何を言うべきか・言わないべきか・どんな答えが受け入れられるかの「センス」を身につけます。
🧠 これは最も「人間の成長」に近い工程——模範解答の暗記ではなく、試行錯誤のなかで「良い悪い」の判断力を磨く。
DeepSeekのような推論重視モデルでは、ここで GRPO（群相対ポリシー最適化） 系の強化学習アルゴリズムを使い、特に推論能力を鍛え出します（R1はこの工程で、基盤モデルから数学オリンピック級の論理推論を「鍛え出した」のです）。
3️⃣ 蒸留 / アライメント：複数の「専門家」を1つのモデルに
チームによっては、事後調整を複数の専門の「先生」（プログラミング専門、数学専門、エージェント専門）に分けて個別に学習させ、最後に知識蒸留でそれらの能力を1つのモデルに統合します。多芸であると同時に、互いに「喧嘩」して能力を忘れ合わないようにするのです。
事後調整の3つの特徴
| 特徴 | 説明 |
|---|
| 📄 データは小さいが精鋭 | 数百万の高品質ラベル。事前学習の数兆トークンとは桁が違う |
| 💰 コストは比較的低い | だが大規模計算が必要。近年は投資比率が急上昇 |
| 🔄 反復が超速い | 事前学習が「月」単位に対し、事後調整は「週」単位で回せる |
🎯 重要な洞察：事後調整は「飾り」から「主戦場」へ。 初期は「モデルを聞き分けのいいように調整する」だけと思われていましたが、今や事前学習と肩を並べ、差を広げる決め手になりつつあります。
⚖️ 一覧で分かる：事前学習 vs 事後調整
| 次元 | 🏫 事前学習 | 🛠️ 事後調整 |
|---|
| 目標 | 「知識」（言語と世界の理解）を学ぶ | 「行動」（期待どおりに答える）を学ぶ |
| データ | 海量の無ラベルテキスト（数兆トークン） | 少量の高品質ラベル（数百万） |
| コスト | 極めて高い（数億ドル＋数か月） | 比較的低いが、比率は急上昇 |
| 能力の源泉 | 汎用知識と言語能力 | 指示追従、推論、アライメント、専門特化 |
| 産出 | Base Model（基盤モデル） | Chatモデル／アシスタント／推論モデル |
| 反復速度 | 遅い（月単位） | 速い（週単位） |
| 決めるもの | モデルが「どれだけ知っているか」 | モデルが「どれだけ使えるか」 |
💡 一言：事前学習が天井を決め、事後調整がその天井にどれだけ近づけるかを決める。
🚀 最も説得力のある証拠：DeepSeek-V4-Flash-0731
理論をいくら語っても、本物の事例には敵いません。7月31日のこの事例は、まさに「事後調整の重要性」のためにあるかのようです。
何が起きたか？
- 🤖 モデル：DeepSeek-V4-Flash 正式版（0731）が公開ベータ開始
- 🔗 アーキテクチャ：4月のpreviewと完全に同一——284B総パラメータ／13Bアクティブ、CSA+HCAアテンション
- 🧬 パラメータ数：まったく変わらず
- ✨ 変化：公式の言葉——「単に事後調整をやり直しただけ」（re-post-trained）。さらにResponses APIのネイティブ対応、Codexへの最適化を追加
効果はどれほど衝撃的か？
| 指標 | V4-Flash-0731（13Bアクティブ・事後調整のみ） | V4-Pro preview（49Bアクティブ） |
|---|
| Terminal Bench | 82.7（2.1） | 67.9（2.0） |
| NL2Repo | 54.2 | — |
| Cybergym | 76.7 | — |
| Toolathlon verified | 70.3 | — |
アクティブパラメータがわずか130億の軽量モデルが、「事後調整をやり直した」だけで、自社のエージェントベンチマークでアクティブ490億のPro previewに迫り、一部では超えた——その規模差は桁違いです。
🎯 ここに最も注目すべき信号がある：パラメータ規模の差は、事後調整の知恵によって追いつかれつつある。
この事例が示すこと
- アーキテクチャだけが決め手ではない——同じ骨組みでも、学習方法を変えれば能力が天と地ほど変わる
- 事後調整は「能力の増幅器」——特にエージェント（AIにツールを使わせ、タスクを遂行させる）分野では効果が顕著
- 学習方法とデータ品質の比重が上がっている——「小モデルで大モデルに打ち勝つ」を可能にしつつある
少し正直に
正直に言うべき事実が2つあります。
- ⚠️ 具体的に何をしたかは非公開（データ、報酬方法、学習プロセスは全て未公開）——「どの技術で上がったか」は現時点では断定できません
- ⚠️ 評価には枠組みバイアスがある——これらの点数はDeepSeek自身のエージェント環境で測ったもので、他社のフレームワークでの実力はさらなる独立検証が必要です
だからこそ、私はこれをこう理解します：DeepSeekは「アーキテクチャもパラメータも触らず、事後調整のやり直し＋ツール適合だけで、モデルの実タスク遂行能力を一段引き上げられる」という現実的な技術路線を検証している。これ自体が強いシグナルなのです。
もう一つの有力な裏付け：DeepSeek-V3.2
実は2025年末、DeepSeek V3.2はデータで同じことを語っていました。論文に明確に書かれています——事後調整段階に投入した計算予算は、事前学習コストの10%を超えると。
⏫ 噛み砕くと：以前は「事前学習が計算量の99%で、事後調整は修整程度」と思われていました。しかしDeepSeekは「いや、私は事後学習だけで事前学習の10分の1の計算を燃やしている。そのおかげでGPT-5に並び、超え、IMO金メダル級の能力を得た」と言っています。
事後学習への単独投資が事前学習の10%を超えた瞬間、それはもはや「ファインチューニング」ではなく、事前学習と肩を並べる本格的なエンジニアリングです。 これはV4-Flash-0731と同系の物語の延長线上にあります。
🤔 なぜこれがあなたに関係あるのか？
「大規模モデルを作らないから、私には関係ない」と思うかもしれません。
大いに関係あります。なぜなら、これは業界全体の競争のロジックを変えつつあるからです。
- 🏗️ 一般の開発者へ：「事前学習」は育てられなくても、オープンソースのBaseモデル＋丹念な事後調整（SFT/RLHF/アライメント）で、自領域において巨頭のデフォルトモデルに匹敵・超越する専用AIを作れます。これがR1や数多くのオープンソースコミュニティモデルの歩んだ道です。
- 💡 利用者へ：「事後調整」を理解すれば、マーケティングの言葉を見破れます。「モデルが強くなった」と言われたら、まず問いかけてください——アーキテクチャが変わったのか、それとも単に学習し直しただけなのか。多くの「驚きのアップグレード」は、本質的に事後調整の果実です。
- 🌍 業界へ：事後調整の効率の果実が掘り尽くされ、「学習方法」が「パラメータ規模」の差を追いかけ、打ち消し始めたとき、「パラメータを積む」だけが答えではなくなります。それが、小さなチームにチャンスの隙間を生むのです。
🔥 最後に一言——「パラメータ」を神格化せず、「アーキテクチャ」にも幻想を抱かないこと。モデルを本当に役立たせるのはその学習、とりわけ最も腕の見せ所であり、最も差がつく事後調整である。
📅 2026-08-06 | 🤖 Hermes Agentによる補助執筆