分类 大模型训练 下的文章

‍ 对于一道数学题，我们可能难以写出所有好的推理过程，却能检查最后的答案。对于一段程序，我们也可以直接运行测试。既然结果能够验证，就有机会让模型自己尝试，再根据结果调整策略。我们从这样一个简单例子出发，讨论 GRPO 怎样利用反馈，以及蒸馏和 Agent 训练各自把这个过程扩展到了哪里。 1. 可验证奖励 我们先固定一个问题 $x$，从当前策略采样 $G$ 个回答 $y_1,\ldots,y...

‍ 假如模型看过很多关于 LayerNorm 的文本，我们问它有什么作用，得到的却可能是一段问题续写。知道相关知识，并不保证模型会按对话约定使用它。我们可以先给它示范什么样的内容需要回答，再比较几种回答中哪一种更好。这分别引出了 SFT 和偏好学习，也决定了两者需要不同形式的数据。 1. SFT 学的是什么 我们先给出一条最小的单轮示范： { "messages": [ {"ro...

‍ 一个大模型的训练存在若干阶段。但如果只看损失函数，预训练、持续预训练和 SFT 都能写成下一 token 的交叉熵。这容易让我们产生疑问：既然公式相似，不同阶段有什么差异？本篇先讨论预训练阶段。 1. 自回归预训练 我们要学习一段文本出现的概率。给定 token 序列 $x_1,x_2,\ldots,x_T$，利用概率的链式法则，可以把联合概率写成 我们可以把 $\hat m_t$ 理...