KV Cache 为什么能加速逐 Token 生成?
旧 Token 的 K、V 不再重算;新 Query 仍要看历史
目录第十八课目录1、重复计算2、保存什么3、交互演示4、为什么不存 Q5、显存代价6、复用边界7、复习总图
继续阅读 →
生活是一个过程
旧 Token 的 K、V 不再重算;新 Query 仍要看历史
公式没变,改变的是数据在 GPU 里怎么走
位数变少为什么更快,又为什么可能让训练崩掉
从逐位置加工、门控选择,到“知识存储”这个比喻的边界
从原始文本到 Batch,看懂大模型的数据流水线
从训练样本、交叉熵到反向传播,看懂一次完整训练