多模态与视觉大模型系列教程
可视化Transformerhttps://poloclub.github.io/transformer-explainer/
第一单元：深度学习基础回顾（2讲）
第1讲：为什么需要"注意力机制"？
- 核心问题：RNN/LSTM的瓶颈在哪里？长文本为什么记不住？
- 通俗比喻：RNN像"一个人逐字读小说，读到后面忘了前面"；注意力像"看书时随时翻回前面查关键词"
- 前置知识：矩阵乘法、Softmax、向量点积的几何意义
- 动手实验：用NumPy手写一个极简注意力分数计算
第2讲：Transformer的骨架——自注意力与多头注意力
- 核心内容：
- Self-Attention的Q/K/V到底在算什么？（Query=提问，Key=标签，Value=内容）
- 多头注意力 = “多个专家从不同角度分析同一段文字”
- 位置编码：为什么"我爱你"和"你爱我"需要区分顺序？
- 代码实战：PyTorch实现缩放点积注意力 + 多头注意力
- 面试重点：时间复杂度 O(n²) 的瓶颈与优化方向
第二单元：Transformer全家桶（3讲）
第3讲：BERT——"完形填空"炼成的语言理解大师
- 核心思想：双向编码 + Masked Language Model（遮住单词猜答案）
- 架构细节：Encoder-only、NSP任务（下一句预测）
- 应用场景：文本分类、命名实体识别、语义相似度
- 动手实验：Hugging Face加载BERT，做情感分析微调
- 对比理解：BERT vs GPT 的根本分歧（理解 vs 生成）
第4讲：GPT系列——"预测下一个词"的生成天才
- 核心思想：自回归生成、Decoder-only、因果掩码
- 演进路线：GPT-1 → GPT-2 → GPT-3 → GPT-4（规模即智能？）
- 关键技术：Prompt Engineering、In-context Learning、RLHF（人类反馈强化学习）
- 代码实战：用GPT-2做文本续写，观察Temperature参数对生成的影响
- 面试重点：为什么GPT不能做双向理解？生成任务的数学本质是什么？
第5讲：Transformer在视觉领域的开山之作——ViT
- 核心思想：把图像切成"补丁块"，当成"单词序列"处理
- 架构细节：Patch Embedding、CLS Token、位置编码（1D vs 2D）
- 关键洞察：为什么ViT需要大数据预训练？（CNN有归纳偏置，ViT没有）
- 代码实战：用timm库加载ViT，在CIFAR-10上微调
- 对比实验：ResNet50 vs ViT-Base 在中小数据集上的表现差异
第三单元：视觉大模型的两大范式（3讲）
第6讲：检测大模型——从DETR到RT-DETR/R-DETR
- 背景：Anchor-based（YOLO/Faster R-CNN）的痛点
- DETR的革命：把检测变成"集合预测"问题，端到端训练
- RT-DETR的优化：实时性设计、Hybrid Encoder、IoU-aware Query Selection
- R-DETR（或DINO等）的改进：对比学习、去噪训练
- 代码实战：用ultralytics加载RT-DETR，在自定义数据集上训练
- 面试重点：匈牙利匹配算法（Hungarian Matching）的原理
第7讲：分割大模型——SAM（Segment Anything Model）
- 核心思想：“任意分割” = 提示（Prompt）+ 掩码解码
- 架构三件套：Image Encoder（ViT-Huge）、Prompt Encoder、Mask Decoder
- 提示类型：点、框、文本、掩码
- SAM 2的进化：视频分割、记忆机制
- 代码实战：用SAM做自动分割 + 交互式分割
- 应用场景：医学影像、自动驾驶、图像编辑
第8讲：自监督视觉大模型——DINO与DINOv2
- 核心思想：“自己教自己”——无标签数据训练视觉特征
- 关键技术：知识蒸馏、动量编码器、多Crop策略
- DINOv2的升级：更大的数据、更好的特征、线性 probing SOTA
- 代码实战：用DINOv2提取图像特征，做相似度检索
- 应用场景：以图搜图、图像聚类、下游任务预训练
第四单元：多模态大模型（4讲）
第9讲：多模态的"罗塞塔石碑"——CLIP
- 核心思想：把图像和文本映射到同一个向量空间，“图文对齐”
- 架构：双塔结构（Image Encoder + Text Encoder）+ 对比学习
- 训练目标：N个图文对中，让正确的配对相似度最高
- 代码实战：用CLIP做零样本图像分类、图文相似度计算
- 应用场景：图像检索、文生图提示优化、推荐系统
- 面试重点：对比损失（InfoNCE Loss）的数学推导
第10讲：从CLIP到视觉-语言大模型（VLM）——BLIP/LLaVA系列
- 演进路线：
- BLIP：统一理解与生成，Bootstrap数据过滤
- MiniGPT-4 / LLaVA：把视觉编码器接到LLM上
- LLaVA-1.5 / LLaVA-NeXT：更强的视觉指令微调
- 架构通用模板：Vision Encoder + Projector + LLM
- 关键技术：Instruction Tuning、多轮对话数据构建
- 代码实战：本地部署LLaVA，做图文对话
- 面试重点：VLM的"幻觉"问题（Hallucination）及缓解方法
第11讲：多模态理解的新高度——Qwen-VL、InternVL、GPT-4V
- 国产力量：Qwen-VL（阿里）、InternVL（商汤/清华）
- GPT-4V的能力边界：OCR、图表理解、视觉推理、多图对话
- 评估基准：MME、MMBench、MMMU、TextVQA
- 实战对比：同一道视觉推理题，不同VLM的表现差异
- 应用场景：智能客服、教育辅导、工业质检报告生成
第12讲：多模态生成——从文生图到图生视频
- 文生图：Stable Diffusion（Latent Diffusion）、DALL-E 3、Midjourney
- 核心技术：Diffusion Model、CLIP引导、ControlNet条件控制
- 视频生成：Sora、可灵、视频Diffusion的时序一致性
- 代码实战：用Diffusers库做文生图 + ControlNet姿态控制
- 趋势展望：世界模型（World Model）与多模态Agent
第五单元：实战与进阶（2讲）
第13讲：如何选模型？——多模态大模型的工程实践
- 选型决策树：
- 速度快？→ RT-DETR / MobileSAM
- 精度高？→ DINOv2 + 微调
- 要理解？→ CLIP / VLM
- 要生成？→ Stable Diffusion / 文生图API
- 部署优化：ONNX导出、TensorRT加速、量化（INT8/INT4）
- 成本控制：API调用 vs 本地部署的ROI分析
- 实战项目：搭建一个"拍照识物 + 自动生成报告"的完整系统
第14讲：前沿趋势与个人成长路径
- 趋势1：原生多模态（Native Multimodal）——不再拼接，而是统一架构
- 趋势2：世界模型与具身智能（Embodied AI）
- 趋势3：多模态Agent——能看、能听、能思考、能行动
- 学习建议：
- 小白路线：Transformer → ViT → CLIP → VLM
- 论文阅读清单（按优先级排序）
- 开源项目推荐（Hugging Face、ModelScope）
- 面试高频题汇总：30道核心问题与答题思路
第15讲：返璞归真——再谈Transformer
附录与资源
| 资源类型 | 内容 |
|---|---|
| 数学基础 | 线性代数（矩阵分解）、概率论（贝叶斯、期望）、优化（梯度下降变体） |
| 代码环境 | Python 3.10+、PyTorch 2.0+、Transformers库、Timm、OpenCLIP |
| 数据集 | CIFAR-10/100、ImageNet-1K、COCO、LAION-5B（概念了解） |
| 推荐阅读 | 《Attention Is All You Need》《ViT》《CLIP》《SAM》《LLaVA》原论文 |
| 设计原则 | 体现 |
|---|---|
| 从具体到抽象 | 先讲BERT/GPT（有明确任务），再讲ViT（视觉迁移），最后讲多模态融合 |
| 从单模到多模 | 先分别精通NLP和CV的Transformer，再理解"桥接"技术CLIP |
| 每个模型讲清楚"为什么存在" | 不是罗列结构，而是解释它解决了前人的什么痛点 |
| 代码驱动理解 | 每讲都有可运行的代码，避免"看懂公式但不会用" |
| 面试导向 | 标注高频考点，帮助学习者建立知识体系而非碎片化记忆 |
