Vision Encoder：不同训练目标怎样塑造视觉表示？
多模态第二课，同样的图片，为什么会学出不同的特征
THOUGHTS · NOTES · LIFE
思成言
生活是一个过程
ViT：图片是怎么变成 Token 的？
多模态第一课，从像素到视觉序列
量化：INT8、INT4 到底损失了什么？
少存几个比特，换来数值近似；质量和速度要另算
目录第二十课目录1、一个数字2、丢掉什么3、交互实验4、分组与敏感度5、量化了哪些张量6、速度边界7、复习总图
继续阅读 →
训练大模型为什么这么吃显存？
参数、梯度、优化器状态与激活值，到底谁占得最多
目录第五课目录1、训练与推理2、参数3、梯度与优化器4、激活值5、简化算例6、省显存方法估算清单复习总图
继续阅读 →
终期项目：训练、评估并部署一个小型语言模型
把数据、模型、训练、评估和推理服务连成一条可复现链路
目录第二十四课目录1、先定义可验证目标2、数据与 Tokenizer3、模型与训练4、评估不能只看训练 Loss5、Checkpoint 与恢复6、推理与部署7、最终交付清单易错点复习总图
继续阅读 →
位置编码：模型如何知道 Token 的顺序？
从“我喜欢苹果”到绝对位置、相对距离、RoPE 与 NoPE
目录第十一课·位置编码1、为什么需要位置线索2、位置的本质3、四种位置方法4、NoPE 的反转5、交互实验6、视频总结7、容易混淆的事8、复习总图
继续阅读 →