ViT：图片是怎么变成 Token 的？
多模态第一课，从像素到视觉序列
思成言
生活是一个过程
CLIP：图像和文字如何进入同一个空间？
多模态第三课，从配对游戏到对比学习与零样本分类
量化：INT8、INT4 到底损失了什么？
少存几个比特，换来数值近似；质量和速度要另算
目录第二十课目录1、一个数字2、丢掉什么3、交互实验4、分组与敏感度5、量化了哪些张量6、速度边界7、复习总图
继续阅读 →
训练大模型为什么这么吃显存？
参数、梯度、优化器状态与激活值，到底谁占得最多
目录第五课目录1、训练与推理2、参数3、梯度与优化器4、激活值5、简化算例6、省显存方法估算清单复习总图
继续阅读 →
终期项目：从一份小数据到一个能复现的语言模型
把训练、评估、断点恢复和本地推理服务真正接起来
目录第二十四课目录1、项目目标2、数据与分词3、模型与训练4、评估5、断点恢复6、本地部署7、交付与验收8、复习总图
继续阅读 →
位置编码：模型如何知道 Token 的顺序？
从“我喜欢苹果”到绝对位置、相对距离、RoPE 与 NoPE
目录第十一课·位置编码1、为什么需要位置线索2、位置的本质3、四种位置方法4、NoPE 的反转5、交互实验6、视频总结7、容易混淆的事8、复习总图
继续阅读 →