从零实现一次完整训练循环
把 Batch、Forward、Loss、Backward 和 Optimizer Step 真正连起来
目录第八课目录1、循环什么2、准备输入3、Forward4、Loss5、Backward6、更新参数7、完整代码复习总图
继续阅读 →
思成言
生活是一个过程
一张 GPU 放不下模型时，多张 GPU 怎么分工？
数据并行、张量并行、流水线并行与 ZeRO 到底在拆什么
目录第六课目录1、为什么需要多卡2、数据并行3、张量并行4、流水线并行5、ZeRO / FSDP6、如何组合方式对比复习总图
继续阅读 →
一个 Transformer Block 内部到底有什么？
看懂 Attention、FFN、RMSNorm 与残差连接怎样协作
目录第九课目录1、基本积木2、完整数据流3、Attention4、FFN5、Residual6、Norm7、形状变化复习总图
继续阅读 →
Temperature、Top-K、Top-P 怎样改变生成结果？
从同一组候选词出发，看懂“调权重、删候选、再抽样”
目录第十七课目录1、一组候选2、选最大或抽样3、Temperature4、Top-K5、Top-P6、交互实验7、组合与边界8、复习总图
继续阅读 →
SFT：怎样把基础模型训练成聊天助手？
用指令与回答示范，改变模型在对话格式下的行为
目录第二十一课目录1、训练样本长什么样2、Loss 计算在哪些 Token 上3、它仍是下一个 Token 预测4、数据质量比堆数量更重要5、SFT 能做什么、不能做什么6、如何评估易错点复习总图
继续阅读 →
RoPE 是怎样把位置信息放进 Attention 的？
转动 Q 和 K，让点积看见两个 Token 相隔多远
目录第十二课目录先记住一句话1、RoPE 改了哪里常见疑问：Embedding 变了吗2、把两维看成一个平面3、关键是角度差4、交互实验5、多种频率6、为什么不旋转 V7、长上下文8、视频讲解复习总图
继续阅读 →