Residual、LayerNorm 和 RMSNorm 为什么重要?
深层 Transformer 怎样保留信息并让数值保持稳定
目录第十课目录1、深层网络的困难2、Residual3、Norm 的对象4、LayerNorm5、RMSNorm6、Pre / Post-Norm7、放回 Block复习总图
继续阅读 →
生活是一个过程
深层 Transformer 怎样保留信息并让数值保持稳定
同一问题的两种回答,带你看懂奖励模型与直接偏好训练
先读完提示词,再一个一个写出回答
从 FFN、Router 到负载均衡,看懂“参数多、计算少”如何成立
从每个 Head 一套 KV,到只缓存一份低维潜表示
少训练参数,不等于只需装下这一小部分参数