大模型基础2026-07-26
LayerNorm 是对哪个维度做归一化？和 BatchNorm 有什么区别？Pre-Norm 和 Post-Norm 呢？
考察归一化的维度语义、LN 与 BN 的本质差异（为什么 NLP 用 LN），以及 Pre-Norm/Post-Norm 对深层模型训练稳定性的影响。
91学AI·27 阅读
共 1 篇文章
考察归一化的维度语义、LN 与 BN 的本质差异（为什么 NLP 用 LN），以及 Pre-Norm/Post-Norm 对深层模型训练稳定性的影响。