分类 人工智能基础 下的文章

训练中常常遇到这样两类问题： 1.训练损失降不下去。 2.训练损失很低，测试表现却不好。 这对应了两个不同的概念。前者涉及数值尺度或优化困难，后者则可能过拟合。归一化和正则化就分别与这两个问题有关。 1. 两个概念分别在做什么 给定训练集 $\mathcal D=\{(x_i,y_i)\}_{i=1}^{n}$，普通经验风险最小化为 从这个式子求导，我们会在 $\partial y/\pa...

最近在重新补大模型基础时，发现自己还有很多不清晰的地方，把经典的Transformer模型啃透是十分必要的。因此我从输入表示开始，把标准 Transformer 中的注意力、多头拼接、残差连接、LayerNorm 和前馈网络重新进行了推导。 1. 输入与符号 设一句话经过分词后共有 $n$ 个 token，每个 token 用 $d_{model}$ 维向量表示。把这些向量逐行排列：