一篇文章讲清楚：预训练、SFT、RLHF

一个“空白”模型要经历预训练、SFT 和 RLHF三个阶段才会从“什么都不懂”变成会和人对话、还能给出好答案的 ChatGPT 或 Claude。这篇文章只解决一个问题一个刚初始化、还没有任何知识的模型是怎么一步步变成会跟你聊天、帮你干活的 AI 的训练模型很像培养一个天才。你要把一个刚出生、什么都不懂的小婴儿慢慢培养成一个知识渊博、能和人沟通而且说话有品味、有分寸的人。整个过程可以压缩成三句话01 预训练读很多书学会语言和知识。02 SFT学习怎么理解指令、回答问题。03 RLHF学习什么样的答案才算好答案。01 预训练从空白大脑到博览群书预训练解决的是“学会语言和世界知识”。这个阶段的模型主要会续写还不能自然地回答问题。在预训练阶段我们要把一个什么都不懂的模型培养成一个博览群书的人。这时需要给它“喂”大量资料包括互联网内容、GitHub 上的代码、新闻和论坛等。但机器不能直接理解人类的自然语言所以需要先把文字转换成机器可以处理的数字。整个过程可以简化为文字 → Tokenizer 切分 → Token → 模型计算Token 可以理解为被切分后的文字小片段每一个片段都有对应的数字编号。读完这些材料后模型会反复做一件事预测下一个 Token 是什么。经过大量训练模型就拥有了很强的续写能力。给它任意一个开头它都能接得自然流畅。但问题也在这里它最擅长的是续写而不是回答问题。比如你问“22 等于几”它可能不会直接回答“224”而是把这句话当成一篇文章的开头写成“224是小学数学老师经常会问的问题……”这就像一个人积累了很多知识却还不知道怎么根据别人的问题给出清晰、直接的回答。02 SFT从续写机器到会回答问题SFT 解决的是“能不能答”让模型学会直接回答问题而不是沿着问题继续往下编。到了第二阶段也就是 SFT 指令微调阶段要解决的问题变成了怎么把一个只会续写的机器变成一个会回答问题的人做法是准备大量“问题 标准答案”的配对。例如• 问题22 等于几答案224。• 问题把这段话翻译成英文。答案Here is the translation……模型在这个阶段仍然是在预测下一个 Token但它学习的对象变成了标准答案。通过大量问答配对它逐渐建立起一种新的反应模式别人提问我就给出回答。所以再问它“22 等于几”它就会直接告诉你“224”不会再把问题当成一篇文章的开头。03 RLHF从能回答到回答得更好SFT 解决“能不能答”RLHF 则解决“答得好不好”。到了 RLHF也就是人类反馈强化学习阶段模型已经会回答问题了。现在它要学习的是怎样把问题回答好。但“好”是一种很细腻的感受。如果只是不断让人工重写标准答案效率很低而且人工写出来的答案也未必是最优答案。更合适的做法是让模型对同一个问题生成多个答案再由人类进行排名和评分模型针对同一个问题生成多个答案。人类评委对这些答案进行排名。用大量排名训练出一个奖励模型。模型根据奖励信号不断调整朝更高分的方向优化。近年来也出现了 DPODirect Preference Optimization等简化方案跳过单独训练奖励模型的步骤但核心思路相同用人类偏好来指导模型优化。在这个过程中原本模糊的人类偏好被变成了可以优化的信号。模型逐渐知道什么样的回答更有帮助、更无害也更诚实。这就是常说的3H 原则•Helpful**** 回答切题有实际价值。•Harmless拒绝有害请求不输出危险内容。•Honest不确定时坦率说明不编造信息。最后再把三步串起来预训练的互联网材料是混杂的好坏都有SFT 主要让模型学会按照示例回答RLHF 则把人类对答案的偏好转化成更明确的优化方向即预训练学知识。SFT学会回答。RLHF学会回答得更好。就像一个实习生写了多份方案领导一一打分点评。他会慢慢知道什么样的方案才算靠谱。假如你从2026年开始学大模型按这个步骤走准能稳步进阶。接下来告诉你一条最快的邪修路线3个月即可成为模型大师薪资直接起飞。阶段1:大模型基础阶段2:RAG应用开发工程阶段3:大模型Agent应用架构阶段4:大模型微调与私有化部署配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】