FlashAttention 为什么更快、更省显存？
公式没变，改变的是数据在 GPU 里怎么走
目录第十六课目录1、问题在哪2、两级存储3、分块计算4、在线 Softmax5、交互演示6、反向传播7、适用边界8、复习总图
继续阅读 →
思成言
生活是一个过程
FP32、FP16、BF16 和混合精度有什么区别？
位数变少为什么更快，又为什么可能让训练崩掉
目录第七课目录1、浮点数结构2、三种格式3、为什么更快4、FP16 风险5、混合精度6、为什么常用 BF16格式对比复习总图
继续阅读 →
FFN 与 SwiGLU：Attention 之后，每个 Token 还要做什么？
从逐位置加工、门控选择，到“知识存储”这个比喻的边界
目录第十四课目录1、为什么还需要 FFN2、FFN 做了什么3、为什么需要非线性4、SwiGLU5、交互实验6、知识存储的边界7、参数与计算8、复习总图
继续阅读 →
训练数据是怎样送进 GPU 的？
从原始文本到 Batch，看懂大模型的数据流水线
目录第四课目录1、数据清洗2、Tokenize 与边界3、切块与 Packing4、组成 Batch5、Padding 与 Mask6、送进 GPU完整迭代复习总图
继续阅读 →
大模型是怎样学会预测下一个 Token 的？
从训练样本、交叉熵到反向传播，看懂一次完整训练
Attention 为什么能让 Token 彼此“看见”？
从 Q、K、V 到上下文表示，拆解一次注意力计算