Know Thyself · 阅读、技术与生活札记

RLHF、DPO 与偏好对齐到底在做什么？

从成对偏好数据到奖励模型、策略优化与直接偏好训练

2026 年 10 月 3 日

目录第二十三课目录1、偏好数据2、经典 RLHF 流程3、Reward Hacking4、DPO 的核心5、RLHF 与 DPO 怎么选6、对齐不等于绝对安全易错点复习总图继续阅读 →

先读完提示词，再一个一个写出回答

2026 年 10 月 3 日

目录第十九课目录1、时间线2、Prefill3、Decode4、交互演示5、性能差异6、延迟指标7、服务调度8、复习总图继续阅读 →

从 FFN、Router 到负载均衡，看懂“参数多、计算少”如何成立

2026 年 10 月 3 日

目录第十五课目录1、为什么要稀疏2、专家是什么3、Router 如何选择4、交互实验5、计算账6、负载均衡7、通信成本8、复习总图继续阅读 →

从每个 Head 一套 KV，到只缓存一份低维潜表示

2026 年 10 月 3 日

目录第十三课目录1、真正的问题2、统一例子3、MHA4、MQA5、GQA6、MLA7、交互实验8、怎样选择9、复习总图继续阅读 →

冻结基础权重，用低秩增量学习任务变化

2026 年 10 月 3 日

目录第二十二课目录1、低秩增量2、Rank 与 Alpha3、加在哪些层4、QLoRA 多做了什么5、训练后怎样使用6、省显存不等于没有代价易错点复习总图继续阅读 →

旧 Token 的 K、V 不再重算；新 Query 仍要看历史

2026 年 10 月 3 日

目录第十八课目录1、重复计算2、保存什么3、交互演示4、为什么不存 Q5、显存代价6、复用边界7、复习总图继续阅读 →