2026 前沿模型比较：从计算图到可部署系统

1. 先定义“可获取权重”，再谈模型比较

本页使用“可获取权重”，不笼统称为“完全开源”。权重可下载、代码可见、许可证允许研究或商用是三个不同命题，各模型的许可证和第三方组件条款也不相同。Hugging Face 上有文件并不代表使用权一致，部署前仍要阅读对应模型卡与 LICENSE。

2. 三本账：total、active 和动态状态

MoE 模型的总参数决定静态权重需要放在哪里，active parameters 近似描述一个 token 实际经过多少专家计算，KV cache 或线性注意力递推状态决定并发长请求的动态容量。三者不能互相替代。

1T total / 32B active 的 Kimi K2.6 仍需让约 1T 权重在设备或分层内存中可访问；397B / 17B 的 Qwen3.5 仍要为 397B 权重做放置；GLM-5.2 即使知道 total 为 753B，也不能在 active 未公开时推断每 token FLOPs。

3. 2026 官方规格总表

表中的“未建立”只表示现有官方 checkpoint 材料不足以证明该模态已经作为接口发布，并不否定未来支持。MiniMax 对参数量使用“约 428B/约 23B”；Hugging Face 文件统计约为 427B，两者属于计数口径差异，没有必要伪造成精确到十亿位的数字。

逐家详解：Qwen3.5 → 3.7 · Kimi K2 → K2.7 与 Composer · MiniMax M1 → M3 · DeepSeek-V4 专题 / DeepSeek 完整演进 · GLM-5 → 5.2 · Gemma 4 与 DiffusionGemma。

4. Qwen3.5：线性注意力与全注意力按层混合

Qwen3.5-397B-A17B 是 60 层 causal language model with vision encoder。官方 hidden layout 为 15 组，每组先放 3 个 Gated DeltaNet → MoE，再放 1 个 Gated Attention → MoE。因此 45 层使用递推/线性注意力路线，15 层保留显式 attention；它不是“全模型都没有 KV”。

模型有 512 个 experts，每 token 选择 10 个 routed experts，并有 1 个 shared expert；官方汇总为 397B total、17B activated。Gated Attention 使用 32 个 query heads 和 2 个 KV heads，显著压低保留全注意力层的 KV 宽度；Gated DeltaNet 则维护递推状态。模型还训练了多步 MTP。

5. Qwen3.5 的部署含义

混合序列结构产生两类动态状态：全注意力层要分页、量化和迁移 KV；DeltaNet 层维护固定形状的 recurrent state。runtime 必须理解这两类 state 的边界，不能只按普通 Transformer 的每层 K/V 估算显存。

1. 静态权重按 MoE expert parallel、tensor parallel 或分层内存放置。
2. 视觉输入先经 vision encoder，再与文本 token 进入早期融合训练过的语言主干。
3. 全注意力层的 KV 随 context 增长；DeltaNet state 不按 token 数线性保留完整历史。
4. MoE router 产生跨 rank dispatch/combine；MTP 增加 draft/verify 路径。
5. 官方列出 Transformers、vLLM、SGLang、KTransformers 等兼容入口，但生产效率仍取决于具体版本是否实现混合 state 和 kernel。

6. Kimi K2.6：1T MoE、MLA 与 MoonViT

Kimi K2.6 官方模型卡给出 1T total、32B active、61 层，其中包含 1 个 dense layer；MoE 有 384 experts，每 token 选 8 个 routed experts，并包含 1 个 shared expert。序列侧使用 MLA，context 为 256K，视觉侧是 400M 参数的 MoonViT。

MLA 通过低维 latent representation 压缩 attention state，目标是减少 KV 宽度；它仍属于基于历史状态的 attention，不等于完全固定状态的线性 attention。MoonViT 让同一模型接受图像和视频，但视频本地服务有明确边界：官方模型卡在发布时把第三方 vLLM/SGLang 的 video chat 标为实验性且仅官方 API 支持。

K2.6 使用 native INT4 quantization，并推荐 vLLM、SGLang、KTransformers；官方说明其架构与 K2.5 相同，可以复用部署方法。这里的“相同架构”不等于 post-training 权重、能力和所有运行参数相同。

7. Kimi 的 Agent Swarm 是系统结果，不是参数表的一列

官方材料报告最多 300 个 sub-agents、4,000 个协调步骤。这是模型加 orchestrator、工具、上下文管理、并发限制与失败恢复的系统结果，不表示单个模型 forward 内存在 300 个“专家代理”。MoE experts 与 Agent workers 是不同层级：前者在一次神经网络前向内做 token routing，后者是多个长生命周期请求。

模型卡还公开了评测时的 context 策略：若工具轨迹过长，一些 benchmark 只保留最近一轮工具消息或隐藏旧 tool result；DeepSearchQA 超过 context 的任务直接计失败。这个细节说明 Agent 成绩与 KV/prefix cache 之外的语义压缩策略紧密相关。

8. MiniMax M3：同时做 expert sparsity 与 attention sparsity

MiniMax M3 官方模型卡给出约 428B total、约 23B active、1M context。它从预训练第一步混合文本、图像和视频数据，并以 MiniMax Sparse Attention（MSA）替代百万长度下的 dense GQA 路径。MoE 稀疏降低每 token 的 expert 计算，MSA 稀疏降低每个 query 访问的 KV blocks；二者分别作用于 MLP 与 attention。

MSA 论文在 109B MoE research model 上报告 1M 时 attention compute 降低 28.4×，H800 prefill/decoding wall-clock 分别 14.2×/7.6×。M3 模型卡另以 M2 为基线报告 9× prefill、15× decode 和每 token compute 约 1/20。基线、模型与实验设置不同，这两组数字不能拼成同一个加速结论。

9. MiniMax M3 的多模态与本地部署边界

M3 的官方接口覆盖 image/video input、coding、cowork 和 desktop-computer use，并提供 enabled、adaptive、disabled 三种 thinking 模式。模态能力来自训练与 processor；桌面操作仍需要外部截图采集、坐标/动作 schema、执行器、权限控制和观测回写。

模型卡列出 SGLang、vLLM、Transformers、KTransformers 与 Unsloth。模型能够加载，不代表在 1M context 下达到官方效率；还要确认 engine 是否启用 MSA kernel，而非静默回退到低效实现。MSA 已公开 GPU kernel 仓库，可用于核对实际执行路径。

10. DeepSeek、GLM 与 Gemma 放在同一坐标系

DeepSeek-V4 用共享 K/V、c4a/c128a 压缩路径、局部窗口和稀疏 indexer 同时降低 1M 的 attention FLOPs 与 KV；Pro/Flash 分别是 1.6T/49B active 与 284B/13B active。它的系统复杂度集中在异构 cache page、压缩边界、FP4/FP8 mixed weights 和 expert communication。完整版本关系见 DeepSeek V3、R1、V4 与 OCR 演进。

GLM-5.2 的官方模型卡给出 753B 和 1M，但 active parameters 未重新公开。IndexShare 让每四个 sparse-attention layers 共享轻量 indexer，MTP 跨预测步共享参数；部署材料进一步讨论 LayerSplit、CPU cache 和 RDMA 生命周期。

Gemma 4 的规模明显较小，覆盖 E2B/E4B、12B、26B-A4B 与 31B，context 为 128K/256K。它更适合单机或设备侧资源范围，并提供统一多模态变体和专用四层 MTP drafter；“规模小”不等于在 Agent 或长上下文上自动优于更大模型。

11. Attention 结构决定哪种状态进入数据中心

block-sparse attention 通常仍要存储历史 K/V，只减少访问和计算；linear attention 才可能用固定递推状态替代完整历史。压缩 attention 则介于两者之间。不能把 FLOPs 降低自动翻译成同等比例的 KV 容量下降。

12. Multimodal 的隐藏成本

“支持图像/视频”至少增加 processor、视觉 encoder 或投影器、视觉 token 数和预处理队列。Qwen3.5 与 Kimi K2.6 使用 vision encoder；Kimi 明确给出 MoonViT 400M。MiniMax M3 强调从训练第一步进行 native mixed-modality training。Gemma 4 12B 则提供 encoder-free 路线，把 image patches 与 waveform chunks 经轻量投影送入统一主干。

VLM 服务需要按视觉 token 或预处理成本做 admission control，单看文本 token 不够。即使 context 都是 256K，一段视频与纯文本的 TTFT、显存峰值和 cache reuse 模式也可能完全不同。

13. Agentic 不等于一个 benchmark 分数

Agent request 的状态包括系统 prompt、工具 schema、模型 reasoning、tool calls、tool results、外部文件和失败重试。模型决定“下一步动作”，orchestrator 决定并发、权限、超时、上下文折叠、重放和恢复。任何 Agent 比较都应把两层分开。

Qwen3.5-Plus 的 built-in tools、Kimi 的 Agent Swarm、MiniMax 的 desktop operation、GLM/DeepSeek 的 coding benchmark 都包含 checkpoint 之外的系统条件。部署自有模型时，这些组件需要重新实现和验证。

14. 静态权重容量下界：先算得下，再谈跑得快

这是参数量乘字节数的数学下界，不含 scale、metadata、embedding/vision 口径差异、对齐、通信 buffer、activation、KV、CUDA graph 和碎片。DeepSeek-V4 的官方 post-trained checkpoint 是 expert FP4、其余多数 FP8 的混合精度，不能直接套用“全 4-bit”。Kimi 的 native INT4 也应按其真实文件格式和 kernel 测量。

15. 模型放几张卡：正确的计算顺序

1. 读取确切 checkpoint 的 tensor index，统计每种 dtype、量化 scale 和非语言模块。
2. 选择 tensor/pipeline/expert parallel，确定哪些权重复制、哪些分片。
3. 为目标最大 context 和并发计算 KV/recurrent/index state，而不是把所有 HBM 给权重。
4. 预留 kernel workspace、MoE dispatch、NCCL、CUDA graph、视觉 encoder 和采样 buffer。
5. 用最坏长度和实际模态做峰值测量；OOM 时先区分权重、动态 cache 或碎片。
6. 再决定是否 CPU/SSD offload、PD separation、layer split 或增加副本。

卡数还受带宽而非容量约束。即使 4-bit 权重勉强放下，跨 PCIe 读取专家或每 token 做低带宽 CPU offload 也可能不可用。官方没有给统一最低卡数的模型，本页不会用简单除法冒充推荐部署。

16. 按工作负载选择，而不是选“总冠军”

同一模型也可能需要多种 deployment pool：短请求走高 batch decode，长 context 走专用 prefill/KV 节点，多模态走带视觉前端的队列，Agent 请求按 session 和 tool lifecycle 路由。

17. 明确未公开与不可横比的部分

• GLM-5.2 active parameters 未在当前官方材料中重新披露，不能继承 GLM-5 的 40B。
• 各模型完整训练数据、集群、成本和 post-training recipe 普遍不足以从零复现。
• 1M native、1M extended 与托管 API 默认 1M 是不同承诺，不能写成同一种质量保证。
• MiniMax 两组 MSA 加速数字使用不同模型与基线；Kimi、Qwen 的 Agent 数字也使用不同 harness。
• 可下载 checkpoint 不自动包含官方 API 的 built-in tools、视频处理、context folding 或安全策略。
• total/active 参数口径可能是否包含 vision encoder、embedding、shared experts；精确预算应读 tensor index。
• 截至本页日期的 engine 支持会快速变化，必须固定 release/commit 后复测。

18. 可复现对比清单

1. 固定模型 revision、processor/tokenizer、chat template、engine 和 kernel commit。
2. 记录 total weight bytes、每 rank 常驻权重、KV/state bytes per token/session 和峰值 HBM。
3. 使用同一文本/图像/视频输入、相同输出预算、相同工具与相同上下文管理。
4. 分别报告 TTFT、TPOT、吞吐、端到端成功率、GPU-hours、网络 bytes 和失败类型。
5. MoE 记录 expert load、all-to-all 时间；sparse attention 记录 top-k/index/gather；linear attention 记录 recurrent state。
6. Agent 测试公开 orchestrator 配置、并发数、工具版本、超时、重试、裁剪和摘要规则。
7. 对 8K、128K、256K、1M 分档，不用一个平均长度掩盖长尾。

19. 一手来源