# 论文清单 - minivLLM 多模态推理知识库

本清单列出为实现最小可运行 VLM（约 中等显存配置内运行 Qwen3-VL-4B 或同类模型）所需阅读和理解的核心论文与文档。论文依阅读顺序编排，每行包含标题、链接与阅读目的（一句话）。

## 基础层：Transformer 与视觉模型

| # | 标题 | 链接 | 阅读目的 |
|---|------|------|----------|
| 01 | Attention Is All You Need | https://arxiv.org/abs/1706.03762 | 理解 scaled dot-product attention、multi-head、causal mask 与 positional encoding，所有注意力算子的源头。 |
| 02 | An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT) | https://arxiv.org/abs/2010.11929 | 理解图像如何被切割为 patch token 序列并送入 Transformer，VLM 视觉编码器的基础架构。 |
| 03 | Learning Transferable Visual Models From Natural Language Supervision (CLIP) | https://arxiv.org/abs/2103.00020 | 理解图文对比学习如何将图像与文本映射到同一向量空间，Qwen-VL 视觉编码器的预训练范式。 |
| 04 | Flamingo: a Visual Language Model for Few-Shot Learning | https://arxiv.org/abs/2204.14198 | 理解如何通过 cross-attention 将视觉特征注入冻结 LLM，"不破坏文本能力 + 加视觉"的经典方案。 |
| 05 | BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models | https://arxiv.org/abs/2301.12597 | 理解 Q-Former 如何将海量视觉 token 压缩为少量 query token，中等显存配置受限下的关键优化思路。 |
| 06 | Visual Instruction Tuning (LLaVA) | https://arxiv.org/abs/2304.08485 | 理解 CLIP + Projector + LLM 的最简 VLM 架构，本项目的首选实现路径。 |
| 07 | Qwen-VL: A Versatile Vision-Language Model | https://arxiv.org/abs/2308.12966 | 理解 Qwen-VL 系列初始设计：ViT-bigG + VL Adapter + Qwen LLM，三段式架构的起点。 |

## 进阶层：Qwen-VL 家族演进

| # | 标题 | 链接 | 阅读目的 |
|---|------|------|----------|
| 08 | Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution | https://arxiv.org/abs/2409.12191 | 理解动态分辨率与 M-RoPE 位置编码，Qwen2-VL 对视觉感知的增强。 |
| 09 | Qwen2.5-VL Technical Report | https://arxiv.org/abs/2502.11930 | 理解更强视觉感知与更稳定训练，Qwen2.5-VL 的改进点与已知限制。 |
| 10 | Qwen3-VL Technical Report | https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct | 理解 Qwen3-VL 的架构与效率优化，本项目权重的直接来源。 |

## 推理引擎层

| # | 标题 | 链接 | 阅读目的 |
|---|------|------|----------|
| 11 | Efficient Memory Management for Large Language Model Serving with PagedAttention (vLLM) | https://arxiv.org/abs/2309.06180 | 理解 PagedAttention 的块表管理机制，本项目 KV cache 从 contiguous 演进到 paged 的理论依据。 |
| 12 | SGLang: Efficient Execution of Structured Language Model Programs (RadixAttention) | https://arxiv.org/abs/2312.07104 | 理解前缀缓存与 RadixAttention 的共享前缀优化，高级 KV cache 策略的参考基线。 |

## 说明

- **当前版本**（Wave 2 / Task 13）：01-07 笔记初稿已完成，08-12 笔记由 Wave 4 / Task 14 写入。
- **笔记文件**：`01_attention_is_all_you_need.md` 至 `12_sglang_radix_attention.md`，均放在本目录下。
- **语言**：全部笔记使用中文，每篇至少 300 字符 / 50 中文字符，不写英文摘要。