Tag Index

#Attention (3)#DPO (1)#FFN (1)#FlashAttention (1)#GPU (2)#KV Cache (2)#LLM (24)#LoRA (1)#MoE (1)#PyTorch (2)#QLoRA (1)#RLHF (1)#RoPE (1)#SFT (1)#Sampling (1)#Serving (1)#SwiGLU (1)#Transformer (5)#ViT (1)#位置编码 (1)#分布式训练 (1)#古典乐 (1)#多模态 (1)#大模型 (24)#对齐 (2)#推理 (4)#数据工程 (1)#深度学习 (13)#混合精度 (1)#训练 (1)#训练实践 (1)#量化 (1)#阅读 (3)#项目 (1)

#Attention (3)

RoPE 是怎样把位置信息放进 Attention 的？
MHA、MQA、GQA、MLA：它们到底在省什么？
Attention 为什么能让 Token 彼此“看见”？

#DPO (1)

RLHF、DPO 与偏好对齐到底在做什么？

#FFN (1)

FFN 与 SwiGLU：Attention 之后，每个 Token 还要做什么？

#FlashAttention (1)

FlashAttention 为什么更快、更省显存？

#GPU (2)

训练大模型为什么这么吃显存？
FlashAttention 为什么更快、更省显存？

#KV Cache (2)

MHA、MQA、GQA、MLA：它们到底在省什么？
KV Cache 为什么能加速逐 Token 生成？

#LLM (24)

量化：INT8、INT4 到底损失了什么？
训练大模型为什么这么吃显存？
终期项目：训练、评估并部署一个小型语言模型
位置编码：模型如何知道 Token 的顺序？
从零实现一次完整训练循环
一张 GPU 放不下模型时，多张 GPU 怎么分工？
一个 Transformer Block 内部到底有什么？
Temperature、Top-K、Top-P 怎样改变生成结果？
SFT：怎样把基础模型训练成聊天助手？
RoPE 是怎样把位置信息放进 Attention 的？
Residual、LayerNorm 和 RMSNorm 为什么重要？
RLHF、DPO 与偏好对齐到底在做什么？
Prefill 与 Decode：推理为什么分成两个阶段？
MoE：为什么只让每个 Token 找少数专家？
MHA、MQA、GQA、MLA：它们到底在省什么？
LoRA 与 QLoRA：普通显卡怎样微调模型？
KV Cache 为什么能加速逐 Token 生成？
FlashAttention 为什么更快、更省显存？
FP32、FP16、BF16 和混合精度有什么区别？
FFN 与 SwiGLU：Attention 之后，每个 Token 还要做什么？
训练数据是怎样送进 GPU 的？
大模型是怎样学会预测下一个 Token 的？
Attention 为什么能让 Token 彼此“看见”？
一句话进入 LLM 后，到底发生了什么？

#LoRA (1)

LoRA 与 QLoRA：普通显卡怎样微调模型？

#MoE (1)

MoE：为什么只让每个 Token 找少数专家？

#PyTorch (2)

ViT：图片是怎么变成 Token 的？
从零实现一次完整训练循环

#QLoRA (1)

LoRA 与 QLoRA：普通显卡怎样微调模型？

#RLHF (1)

RLHF、DPO 与偏好对齐到底在做什么？

#RoPE (1)

RoPE 是怎样把位置信息放进 Attention 的？

#SFT (1)

SFT：怎样把基础模型训练成聊天助手？

#Sampling (1)

Temperature、Top-K、Top-P 怎样改变生成结果？

#Serving (1)

Prefill 与 Decode：推理为什么分成两个阶段？

#SwiGLU (1)

FFN 与 SwiGLU：Attention 之后，每个 Token 还要做什么？

#Transformer (5)

ViT：图片是怎么变成 Token 的？
位置编码：模型如何知道 Token 的顺序？
一个 Transformer Block 内部到底有什么？
Residual、LayerNorm 和 RMSNorm 为什么重要？
MoE：为什么只让每个 Token 找少数专家？

#ViT (1)

ViT：图片是怎么变成 Token 的？

#位置编码 (1)

位置编码：模型如何知道 Token 的顺序？

#分布式训练 (1)

一张 GPU 放不下模型时，多张 GPU 怎么分工？

#古典乐 (1)

月光：音乐中的印象派朦胧意境

#多模态 (1)

ViT：图片是怎么变成 Token 的？

#大模型 (24)

量化：INT8、INT4 到底损失了什么？
训练大模型为什么这么吃显存？
终期项目：训练、评估并部署一个小型语言模型
位置编码：模型如何知道 Token 的顺序？
从零实现一次完整训练循环
一张 GPU 放不下模型时，多张 GPU 怎么分工？
一个 Transformer Block 内部到底有什么？
Temperature、Top-K、Top-P 怎样改变生成结果？
SFT：怎样把基础模型训练成聊天助手？
RoPE 是怎样把位置信息放进 Attention 的？
Residual、LayerNorm 和 RMSNorm 为什么重要？
RLHF、DPO 与偏好对齐到底在做什么？
Prefill 与 Decode：推理为什么分成两个阶段？
MoE：为什么只让每个 Token 找少数专家？
MHA、MQA、GQA、MLA：它们到底在省什么？
LoRA 与 QLoRA：普通显卡怎样微调模型？
KV Cache 为什么能加速逐 Token 生成？
FlashAttention 为什么更快、更省显存？
FP32、FP16、BF16 和混合精度有什么区别？
FFN 与 SwiGLU：Attention 之后，每个 Token 还要做什么？
训练数据是怎样送进 GPU 的？
大模型是怎样学会预测下一个 Token 的？
Attention 为什么能让 Token 彼此“看见”？
一句话进入 LLM 后，到底发生了什么？

#对齐 (2)

SFT：怎样把基础模型训练成聊天助手？
RLHF、DPO 与偏好对齐到底在做什么？

#推理 (4)

量化：INT8、INT4 到底损失了什么？
Temperature、Top-K、Top-P 怎样改变生成结果？
Prefill 与 Decode：推理为什么分成两个阶段？
KV Cache 为什么能加速逐 Token 生成？

#数据工程 (1)

训练数据是怎样送进 GPU 的？

#深度学习 (13)

ViT：图片是怎么变成 Token 的？
训练大模型为什么这么吃显存？
从零实现一次完整训练循环
一张 GPU 放不下模型时，多张 GPU 怎么分工？
一个 Transformer Block 内部到底有什么？
Residual、LayerNorm 和 RMSNorm 为什么重要？
FP32、FP16、BF16 和混合精度有什么区别？
训练数据是怎样送进 GPU 的？
大模型是怎样学会预测下一个 Token 的？
Attention 为什么能让 Token 彼此“看见”？
一句话进入 LLM 后，到底发生了什么？
自注意力机制（Self-attention）
误差反向传播算法（Backpropagation）

#混合精度 (1)

FP32、FP16、BF16 和混合精度有什么区别？

#训练 (1)

大模型是怎样学会预测下一个 Token 的？

#训练实践 (1)

终期项目：训练、评估并部署一个小型语言模型

#量化 (1)

量化：INT8、INT4 到底损失了什么？

#阅读 (3)

2025年阅读书单
阅读|天命打工人，你的力量从哪里来？
《成功，动机与目标》

#项目 (1)

终期项目：训练、评估并部署一个小型语言模型