13 - 最终成果说明

已完成内容汇总

本项目在 6 周（2026-06-06 至 2026-06-07）内完成了计划中的 17/18 个任务。以下按分类列出所有产出。

知识库 (docs/) - 13 页 + 首页

学习资料 - 20 篇

• 10 篇论文/模型卡阅读卡片（learning/papers/01-10_*.md）
• 10 篇学习笔记（learning/notes/01-10_*.md）

自写引擎 - 10 个模块 + 36 个测试

• diffusion_engine/core/：scheduler、rectified_flow、timestep_embedding、attention、transformer_block、dit、text_conditioning、pipeline、memory_manager、vae_stub
• diffusion_engine/tests/：36 个 pytest 测试

实验 - 5 个实验目录

• toy_rectified_flow/：toy 矢量场 + trajectory（含 PNG + JSON）
• toy_dit_inference/：最小 DiT denoising loop
• reference_image_inference/：3 个模型脚手架 + profiler + blocker 记录
• reference_video_inference/：3 个模型脚手架 + 3 个 blocker 占位文件
• diffusion_inference_optimization/：6 个系统优化实验（含 JSON + Markdown 结果）

报告 - 8 份

• reports/engine_inventory.md：旧引擎 14 模块审计
• reports/week_1.md ~ week_6.md：6 周周报
• reports/final_report.md：最终报告

如何运行

Toy Rectified Flow

# 2D 矢量场仿真，输出 trajectory PNG + JSON
python experiments/toy_rectified_flow/infer_toy_flow.py --seed 0 --steps 8 --output_dir results

Toy DiT Inference

# 最小 DiT denoising loop，输出 64x64 图像
python experiments/toy_dit_inference/infer_tiny_dit.py --device cpu --steps 8

Reference Image Inference（环境就绪后）

# Sana 0.6B（首选验证项，Apache 2.0，无需授权）
python experiments/reference_image_inference/run_sana_if_possible.py \
  --prompt "一只柴犬在樱花树下"

# SD3 Medium（需 HF token + license accept）
python experiments/reference_image_inference/run_sd3_medium_if_possible.py \
  --prompt "一只柴犬在樱花树下" --no_t5

# FLUX.1-schnell（需 HF token + license accept，4 steps）
python experiments/reference_image_inference/run_flux_schnell_if_possible.py \
  --prompt "一只柴犬在樱花树下"

Reference Video Inference（环境就绪后）

# CogVideoX-2B（首选验证项，Apache 2.0）
python experiments/reference_video_inference/run_cogvideox_if_possible.py \
  --prompt "一只猫在草地上奔跑" --num_frames 16 --width 256 --height 256

# LTX-Video 2B distilled（备选验证项，开放协议）
python experiments/reference_video_inference/run_ltx_video_if_possible.py \
  --prompt "一只猫在草地上奔跑" --num_frames 16 --width 256 --height 256

系统优化 Benchmark

python experiments/diffusion_inference_optimization/run_all_benchmarks.py

测试

python -m pytest diffusion_engine/tests -q

已知限制

环境限制

• Dev host：macOS Apple M5 (Metal 4)，无 NVIDIA GPU，不支持 CUDA。所有真实 reference inference 需要远程 CUDA GPU。
• Python 版本：系统 Python 3.9.6 低于项目要求的 3.13+。需通过 uv 安装 Python 3.13。
• torch / diffusers：dev host 上未安装（开发期间未在 M5 上装 PyTorch），所有 toy 和 benchmark 实验使用 numpy mock 模式运行。

模型与显存限制

• T14 Reference Image：脚手架就绪，但三模型（Sana/SD3/FLUX）均因环境依赖缺失而阻塞。远程 CUDA GPU 不可用。
• T15 Reference Video：脚手架就绪，3 个 blocker 占位文件表示"脚本已就绪但尚未在 GPU 上执行"。CogVideoX-2B 无授权障碍，LTX-Video 2B 开放协议。
• Video 规格：建议 在中等显存配置下默认使用 ≤16 帧 × 256² × ≤8 步。严格按此执行，不无限调参。

实现限制

• 不训练：diffusion_engine 仅实现推理，不含训练、微调、LoRA/ControlNet。
• 非生产：diffusion_engine 是学习项目，非生产级推理服务。
• flash-attn / xformers 未接入：attention memory benchmark 使用 numpy 估算，真实 flash-attn 可将峰值从 O(N²) 降至 ~O(N)，但需要 CUDA/MPS 支持。
• torch.compile 未接入：未测试 torch.compile 对 DiT 的加速效果。

下一步计划

短期（环境就绪后）

1. 在远程 CUDA GPU 上安装 Python 3.13 + torch + diffusers
2. 跑通 run_sana_if_possible.py（Sana 0.6B，无授权障碍，显存友好）
3. 跑通 run_cogvideox_if_possible.py（CogVideoX-2B，小规格 16f×256²）
4. 用真实 GPU 数据替换 T14/T15 的 blocker 文件

中期（优化集成）

1. 接入 xformers 或 flash-attn，实测 memory-efficient attention 在一块可用的 CUDA GPU 上的加速比
2. 测试 torch.compile 对 DiT transformer block 的加速效果
3. 评估 MPS 后端在 Apple M5 上的 attention 性能（能否达到 toy 实验可用）

长期（生产化）

1. 自定义 kernel（Triton）：为 DiT/MMDiT 写针对 Blackwell 架构优化的 attention kernel
2. TensorRT 部署：将 DiT 模型导出为 TensorRT engine，实现低延迟 serving
3. 服务框架：参考 vLLM 的 serving 架构，为扩散模型设计类似的服务系统（Ray Serve 或其他）
4. 多 GPU / 模型并行：探索如何将单个扩散模型的推理分布在多张 GPU 上