从零实现一次完整训练循环
把 Batch、Forward、Loss、Backward 和 Optimizer Step 真正连起来
目录第八课目录1、循环什么2、准备输入3、Forward4、Loss5、Backward6、更新参数7、完整代码复习总图
继续阅读 →
生活是一个过程
把 Batch、Forward、Loss、Backward 和 Optimizer Step 真正连起来
数据并行、张量并行、流水线并行与 ZeRO 到底在拆什么
看懂 Attention、FFN、RMSNorm 与残差连接怎样协作
从同一组候选词出发,看懂“调权重、删候选、再抽样”
从一条示范对话,看清模板、Loss Mask 和下一 Token 预测
转动 Q 和 K,让点积看见两个 Token 相隔多远