FP32、FP16、BF16 和混合精度有什么区别？
位数变少为什么更快，又为什么可能让训练崩掉
目录第七课目录1、浮点数结构2、三种格式3、为什么更快4、FP16 风险5、混合精度6、为什么常用 BF16格式对比复习总图
继续阅读 →
思成言
生活是一个过程
FFN、SwiGLU 与模型的“知识存储”
Attention 交流之后，每个 Token 怎样被非线性加工
目录第十四课目录1、经典 FFN：升维再降维2、为什么不能只有线性层3、GLU：一条内容支路加一扇门4、SwiGLU 的结构5、为什么常说 FFN 存知识6、FFN 的主要成本易错点复习总图
继续阅读 →
训练数据是怎样送进 GPU 的？
从原始文本到 Batch，看懂大模型的数据流水线
目录第四课目录1、数据清洗2、Tokenize 与边界3、切块与 Packing4、组成 Batch5、Padding 与 Mask6、送进 GPU完整迭代复习总图
继续阅读 →
大模型是怎样学会预测下一个 Token 的？
从训练样本、交叉熵到反向传播，看懂一次完整训练
Attention 为什么能让 Token 彼此“看见”？
从 Q、K、V 到上下文表示，拆解一次注意力计算
一句话进入 LLM 后，到底发生了什么？
从文字到回答，拆解一次完整的预测过程