Tag Index

#AI (1)#Agent (1)#Attention (3)#BLIP-2 (1)#CLIP (3)#Cross-Attention (1)#DINOv2 (1)#DPO (1)#Embedding (1)#FFN (1)#FlashAttention (1)#GPU (2)#KV Cache (2)#LLM (25)#LLaVA (1)#LoRA (1)#MCP (1)#MoE (1)#Projector (1)#PyTorch (6)#Q-Former (1)#QLoRA (1)#REA (1)#RLHF (1)#RoPE (1)#SFT (1)#Sampling (1)#Serving (1)#SigLIP (1)#SwiGLU (1)#Tokenizer (1)#Transformer (6)#ViT (2)#Vision Encoder (1)#位置编码 (1)#分布式训练 (1)#古典乐 (1)#多模态 (6)#大模型 (25)#对比学习 (2)#对齐 (2)#推理 (4)#数据工程 (1)#深度学习 (13)#混合精度 (1)#训练 (1)#训练实践 (1)#逆向工程 (1)#量化 (1)#阅读 (3)#零样本分类 (1)#项目 (1)#项目实践 (1)

#AI (1)

REA：让 AI Agent 学会逆向工程——四阶段理解 Reverse Engineer Anything

#Agent (1)

REA：让 AI Agent 学会逆向工程——四阶段理解 Reverse Engineer Anything

#Attention (3)

RoPE 是怎样把位置信息放进 Attention 的？
MHA、MQA、GQA、MLA：它们到底在省什么？
Attention 为什么能让 Token 彼此“看见”？

#BLIP-2 (1)

Q-Former：少量查询怎样读取视觉特征？

#CLIP (3)

SigLIP：逐对判断图文是否匹配
Vision Encoder：不同训练目标怎样塑造视觉表示？
CLIP：图像和文字如何进入同一个空间？

#Cross-Attention (1)

Q-Former：少量查询怎样读取视觉特征？

#DINOv2 (1)

Vision Encoder：不同训练目标怎样塑造视觉表示？

#DPO (1)

RLHF、DPO 与偏好对齐：模型怎样学会“哪个回答更好”？

#Embedding (1)

实践项目 01：亲手做一个“下一个 Token”实验台

#FFN (1)

FFN 与 SwiGLU：Attention 之后，每个 Token 还要做什么？

#FlashAttention (1)

FlashAttention 为什么更快、更省显存？

#GPU (2)

训练大模型为什么这么吃显存？
FlashAttention 为什么更快、更省显存？

#KV Cache (2)

MHA、MQA、GQA、MLA：它们到底在省什么？
KV Cache 为什么能加速逐 Token 生成？

#LLM (25)

实践项目 01：亲手做一个“下一个 Token”实验台
量化：INT8、INT4 到底损失了什么？
训练大模型为什么这么吃显存？
终期项目：从一份小数据到一个能复现的语言模型
位置编码：模型如何知道 Token 的顺序？
从零实现一次完整训练循环
一张 GPU 放不下模型时，多张 GPU 怎么分工？
一个 Transformer Block 内部到底有什么？
Temperature、Top-K、Top-P 怎样改变生成结果？
SFT：基础模型是怎样学会聊天的？
RoPE 是怎样把位置信息放进 Attention 的？
Residual、LayerNorm 和 RMSNorm 为什么重要？
RLHF、DPO 与偏好对齐：模型怎样学会“哪个回答更好”？
Prefill 与 Decode：推理为什么分成两个阶段？
MoE：为什么只让每个 Token 找少数专家？
MHA、MQA、GQA、MLA：它们到底在省什么？
LoRA 与 QLoRA：普通显卡怎样微调模型？
KV Cache 为什么能加速逐 Token 生成？
FlashAttention 为什么更快、更省显存？
FP32、FP16、BF16 和混合精度有什么区别？
FFN 与 SwiGLU：Attention 之后，每个 Token 还要做什么？
训练数据是怎样送进 GPU 的？
大模型是怎样学会预测下一个 Token 的？
Attention 为什么能让 Token 彼此“看见”？
一句话进入 LLM 后，到底发生了什么？

#LLaVA (1)

Projector：视觉特征怎样接入 LLM？

#LoRA (1)

LoRA 与 QLoRA：普通显卡怎样微调模型？

#MCP (1)

REA：让 AI Agent 学会逆向工程——四阶段理解 Reverse Engineer Anything

#MoE (1)

MoE：为什么只让每个 Token 找少数专家？

#Projector (1)

Projector：视觉特征怎样接入 LLM？

#PyTorch (6)

Q-Former：少量查询怎样读取视觉特征？
SigLIP：逐对判断图文是否匹配
Projector：视觉特征怎样接入 LLM？
ViT：图片是怎么变成 Token 的？
CLIP：图像和文字如何进入同一个空间？
从零实现一次完整训练循环

#Q-Former (1)

Q-Former：少量查询怎样读取视觉特征？

#QLoRA (1)

LoRA 与 QLoRA：普通显卡怎样微调模型？

#REA (1)

REA：让 AI Agent 学会逆向工程——四阶段理解 Reverse Engineer Anything

#RLHF (1)

RLHF、DPO 与偏好对齐：模型怎样学会“哪个回答更好”？

#RoPE (1)

RoPE 是怎样把位置信息放进 Attention 的？

#SFT (1)

SFT：基础模型是怎样学会聊天的？

#Sampling (1)

Temperature、Top-K、Top-P 怎样改变生成结果？

#Serving (1)

Prefill 与 Decode：推理为什么分成两个阶段？

#SigLIP (1)

SigLIP：逐对判断图文是否匹配

#SwiGLU (1)

FFN 与 SwiGLU：Attention 之后，每个 Token 还要做什么？

#Tokenizer (1)

实践项目 01：亲手做一个“下一个 Token”实验台

#Transformer (6)

Projector：视觉特征怎样接入 LLM？
ViT：图片是怎么变成 Token 的？
位置编码：模型如何知道 Token 的顺序？
一个 Transformer Block 内部到底有什么？
Residual、LayerNorm 和 RMSNorm 为什么重要？
MoE：为什么只让每个 Token 找少数专家？

#ViT (2)

Vision Encoder：不同训练目标怎样塑造视觉表示？
ViT：图片是怎么变成 Token 的？

#Vision Encoder (1)

Vision Encoder：不同训练目标怎样塑造视觉表示？

#位置编码 (1)

位置编码：模型如何知道 Token 的顺序？

#分布式训练 (1)

一张 GPU 放不下模型时，多张 GPU 怎么分工？

#古典乐 (1)

月光：音乐中的印象派朦胧意境

#多模态 (6)

Q-Former：少量查询怎样读取视觉特征？
SigLIP：逐对判断图文是否匹配
Projector：视觉特征怎样接入 LLM？
Vision Encoder：不同训练目标怎样塑造视觉表示？
ViT：图片是怎么变成 Token 的？
CLIP：图像和文字如何进入同一个空间？

#大模型 (25)

实践项目 01：亲手做一个“下一个 Token”实验台
量化：INT8、INT4 到底损失了什么？
训练大模型为什么这么吃显存？
终期项目：从一份小数据到一个能复现的语言模型
位置编码：模型如何知道 Token 的顺序？
从零实现一次完整训练循环
一张 GPU 放不下模型时，多张 GPU 怎么分工？
一个 Transformer Block 内部到底有什么？
Temperature、Top-K、Top-P 怎样改变生成结果？
SFT：基础模型是怎样学会聊天的？
RoPE 是怎样把位置信息放进 Attention 的？
Residual、LayerNorm 和 RMSNorm 为什么重要？
RLHF、DPO 与偏好对齐：模型怎样学会“哪个回答更好”？
Prefill 与 Decode：推理为什么分成两个阶段？
MoE：为什么只让每个 Token 找少数专家？
MHA、MQA、GQA、MLA：它们到底在省什么？
LoRA 与 QLoRA：普通显卡怎样微调模型？
KV Cache 为什么能加速逐 Token 生成？
FlashAttention 为什么更快、更省显存？
FP32、FP16、BF16 和混合精度有什么区别？
FFN 与 SwiGLU：Attention 之后，每个 Token 还要做什么？
训练数据是怎样送进 GPU 的？
大模型是怎样学会预测下一个 Token 的？
Attention 为什么能让 Token 彼此“看见”？
一句话进入 LLM 后，到底发生了什么？

#对比学习 (2)

SigLIP：逐对判断图文是否匹配
CLIP：图像和文字如何进入同一个空间？

#对齐 (2)

SFT：基础模型是怎样学会聊天的？
RLHF、DPO 与偏好对齐：模型怎样学会“哪个回答更好”？

#推理 (4)

量化：INT8、INT4 到底损失了什么？
Temperature、Top-K、Top-P 怎样改变生成结果？
Prefill 与 Decode：推理为什么分成两个阶段？
KV Cache 为什么能加速逐 Token 生成？

#数据工程 (1)

训练数据是怎样送进 GPU 的？

#深度学习 (13)

ViT：图片是怎么变成 Token 的？
训练大模型为什么这么吃显存？
从零实现一次完整训练循环
一张 GPU 放不下模型时，多张 GPU 怎么分工？
一个 Transformer Block 内部到底有什么？
Residual、LayerNorm 和 RMSNorm 为什么重要？
FP32、FP16、BF16 和混合精度有什么区别？
训练数据是怎样送进 GPU 的？
大模型是怎样学会预测下一个 Token 的？
Attention 为什么能让 Token 彼此“看见”？
一句话进入 LLM 后，到底发生了什么？
自注意力机制（Self-attention）
误差反向传播算法（Backpropagation）

#混合精度 (1)

FP32、FP16、BF16 和混合精度有什么区别？

#训练 (1)

大模型是怎样学会预测下一个 Token 的？

#训练实践 (1)

终期项目：从一份小数据到一个能复现的语言模型

#逆向工程 (1)

REA：让 AI Agent 学会逆向工程——四阶段理解 Reverse Engineer Anything

#量化 (1)

量化：INT8、INT4 到底损失了什么？

#阅读 (3)

2025年阅读书单
阅读|天命打工人，你的力量从哪里来？
《成功，动机与目标》

#零样本分类 (1)

CLIP：图像和文字如何进入同一个空间？

#项目 (1)

终期项目：从一份小数据到一个能复现的语言模型

#项目实践 (1)

实践项目 01：亲手做一个“下一个 Token”实验台