分类 CS336 下的文章

‍ 拿到一批网页后，我们可以很快统计出多少文件、多少 token，却很难立刻回答它们适不适合训练。重复页面会虚增规模，质量过滤会改变文本分布，小数据源也可能被网页淹没。数据工程的困难往往就藏在这些取舍中。我们沿着原始文本进入训练的过程，看看每一步究竟筛掉了什么、又保留了什么。 1. 数据从哪里来 预训练语料通常混合网页、书籍、论文、代码、问答、百科与多语种文本。网页覆盖广，但噪声、模板、广告...

‍ 同一个模型，读完一大段提示词可能只用很短时间，接着却要一个字一个字地生成回答。输入有几千个 token，输出每步只有一个，为什么后者未必更高效？我们从这两个阶段的计算形状出发，再看 KV Cache 和推理框架的设计，会更容易理解时间究竟花在了哪里。 1. Prefill 与 Decode 我们先把一次请求拆开。设提示词长度为 $S$，模型隐藏维度为 $d_{model}$。模型先处理整...

‍ 假设我们有一笔固定的训练预算，可以训练一个更大的模型，也可以让一个较小的模型多读一些数据。两种选择都说得通，但该怎样比较？Scaling Laws 为这个问题提供了一种可计算的近似：先用小规模实验拟合损失与模型、数据的关系，再据此分配预算。我们从最简单的幂律开始，看看这件事如何实现，以及结论能用到哪里。 1. 幂律与双对数坐标 先固定其他条件，只让数据量 $D$ 变化。我们尝试用下面的形...

‍ 如果一个实现多做了一些计算，却运行得更快，我们该怎样解释？单看 FLOPs，似乎很难得出这样的结果；把数据搬运也计入时间，就不奇怪了。事实上，数据访问一度是模型训练和推理最大的性能瓶颈。FlashAttention在此基础上做了一系列优化。 1. GPU 的执行方式 我们可以先从矩阵乘法理解并行计算：一个输出元素尚未算完，并不妨碍另一个元素同时计算。GPU 安排大量计算单元执行这类结构相...

最近为了捡起来一些基本忘干净的基础知识，尝试速刷Stanford CS336课程，因此打算开个新坑。 这篇文章是 CS336 课程笔记系列的第一篇。 主题：Resource Accounting（资源核算） 核心问题：给定计算和显存资源，如何估算模型能否训练、需要多长时间，以及性能瓶颈。 1.张量 深度学习训练中的数据、参数、激活值、梯度和优化器状态都以张量保存。理解一个张量时，至少要明...