1. 这份索引如何进入 Mainline
这些文章同时涉及模型、GPU、通信、网络、存储和 Infra。为了便于系统阅读,本资料按数据路径重排内容:模型计算图和状态决定 GPU kernel 与 KV 字节,runtime 负责 batch 与迁移,互联、存储和控制面继续承接这些流量。这样能把新名词放回实际执行路径中。
每条入口都标出它应该先连到哪一页。若原文是分析、猜测或评论性文章,本页不会把其中未公开的信息转写为已证实事实。
2. DeepSeek-V4详细分析(1): 算法和模型结构
算法要落到部署上,需要回答几个具体问题:attention 保存什么 KV 表示,MoE 的总参数、活跃参数与 top-k 分别是多少,专家放在哪些 GPU,长上下文是否改变访问集合。这些答案决定权重分片、KV 容量和 EP all-to-all,benchmark 名次无法替代它们。独立解释见 DeepSeek-V4 状态页、Transformer/MoE 和 GPU 算子;2026 DSpark 的半自回归草稿、置信度验证与变长执行见 31 DSpark。
3. 谈谈Kimi Attention Res的工作
任何以 attention 替代/残差/压缩为核心的工作,都要区分三类收益:训练 FLOPs 是否下降;prefill 的矩阵/attention kernel 是否更小;decode 时每 token 要从 KV 读出的字节是否下降。后两者才直接决定在线服务。评价时还要看是否牺牲了长程检索、是否需额外状态,以及是否有公开的高效 kernel。
先读 attention 形状、attention kernel、KV 字节公式,再回到原文判断它到底减少了哪个量。
4. 基于可训练先验的广义最优传输注意力机制
最优传输类 attention 用结构化匹配约束全量 token-pair 交互。系统评估应检查归一化或迭代是否需要额外 kernel,矩阵是否仍为稠密,推理时能否复用状态,以及长序列下究竟减少了计算或 KV 读取,还是增加了预处理。若每个 decode step 都要重新迭代,全量 attention 的成本可能只是换了一种表现形式。
5. 再来谈谈Sparse Attention
稀疏 attention 先要说明稀疏图如何得到:固定滑动窗口、全局 token、路由器、可训练 indexer 或检索器。然后问它是训练和推理一致,还是仅在长上下文采用;miss 时有没有回退路径;block 稀疏能否被 GPU 高效处理。随机稀疏或 token 级不规则访问即使理论 FLOPs 少,也可能比密集 FlashAttention 更慢。
与本资料的连接是 attention kernel、状态结构 和 通信拓扑。稀疏度不能脱离访问局部性和硬件实现阅读。
6. 猜一猜DeepSeek-V4的模型架构
“猜一猜”应被看作选题和假设清单,不是规格来源。对公共模型系统而言,最容易被错误外推的是参数数量、MoE router、KV 压缩、上下文长度和硬件布局。Mainline 的规则是:预测可解释为什么某种架构有服务动机,但只有官方发布、模型卡、可复现代码或正式技术报告才能写成模型事实。
对应的证据等级和已核验资料集中在 DeepSeek-V4 页面与来源页。
7. 谈谈DeepSeek Engram: Conditional Memory
条件记忆的系统含义不是“多一个缓存”。它需要定义记忆写入的触发条件、检索 key、可见性、过期、训练时/推理时一致性和在分布式 worker 上的位置。若 memory 影响 hidden state,它比 prefix KV 更接近模型状态,因而不能简单地作为通用跨用户 cache。若它只做外部检索,则要计入额外网络和 embedding/lookup 延迟。
这条线连接 prefix sharing、远端 KV 与路由 和 agent 的会话恢复。
8. 谈谈mHC-Lite:无需使用Sinkhorn-Knopp迭代的算法
若路由、匹配或归一化去掉 Sinkhorn-Knopp 类迭代,潜在收益通常在于减少迭代 kernel、同步和数值不稳定。是否改善 serving,要看原先迭代是否位于关键路径,以及替代算法是否引入更大的常量、随机访问或通信。实现层应测量每 token 的 kernel 数、临时工作区、收敛/稳定性和 MoE/attention 端到端质量,而不只看单个数学目标。
9. 谈谈未来Attention算法的选择, Full, Sparse or Linear ?
这三类不是简单的速度排行。Full attention 有成熟的密集 kernel 和最直接的精确语义;sparse attention 用选择机制换取更少的访问,但要承担 miss 和不规则性;linear attention 用递推状态避免随序列长度增长的显式 KV 读取,却改变表达形式和训练/推理状态。正确选择取决于模型任务、上下文长度、精度要求、训练支持、GPU kernel 与并发模式。
对于数据中心,还要再加一问:状态是否能分页、量化、迁移和跨节点路由?这决定它是否能与现有 KV 基础设施共存。
10. 学习一下DeepSeek-V3.2
学习上一代模型的最好方式,是把“模型改动”翻译成服务配方的变化:KV bytes/token 是否变了?专家 all-to-all 是否变了?长 prompt prefill 是否有特殊 kernel?权重精度、投机生成和上下文策略是什么?这些问题在 架构、生命周期、算子 中有可复用的回答框架。
11. 从GPT-OSS谈谈大模型算法和Infra演进
算法与 Infra 的共同界面是张量和状态:模型决定权重、activation、KV、专家 token 的形状;runtime 决定它们的批处理、地址与生命周期;网络决定跨 GPU 的传输代价;控制面决定何时在哪里保留或迁移状态。这个页面是专栏选题与 Mainline 总图的直接交点,建议从 因果图顺序进入。
12. 账号不是只有架构:网络与基础设施如何接回模型主线
模型并行不能脱离网络域,KV 与 checkpoint 也不能脱离存储和恢复。完整的基础设施分支从 22 Scale-up/Scale-out 开始,经由 23 RDMA、24 AI Ethernet、25 GPU 内存互联、26 Fabric 拓扑/QoS、27 DPU/NIC,再到 28 网络化存储、29 观测与可靠性 和 30 MPI/DPDK/可编程网络。
这些页面从 2025 的 Zartbot 标题级线索出发,但不会把二手分析误写为标准或设备事实。它们以 2026 的 OCP ESUN、UEC、推理 fabric 参考架构与项目文档校准状态,完整来源见 来源页。
13. Agent 怎样进入研究闭环,而不取代证据
2025–2026 的相关标题不只讨论模型服务:它们还包括用 Agent 做 GPU 微架构分析、用 Agent 协作实现 Host-to-Device 数据路径、AI 编程的方法讨论、Agent Infra、Agentic 架构/互连和多 Agent 协作。它们现在由 32 · AI/Agent 做科研 单独展开:资料检索、反汇编/性能测量、正确性门禁、可重置环境、证据账本、反例与 AI4Science 的 PDE/FEM 验证都被拆开说明。
该页不会把任何一篇第三方文章的产品叙述或一次 benchmark 自动升级为事实;Zartbot 文章只作为实践入口,技术结论需要相应的代码、环境、原始测量、论文或官方文档。
14. 如何把专栏中的新条目接入,而不制造传闻
- 记录原始标题、链接、发布日期和文章类型(解读、推测、论文介绍、官方报告)。
- 提取可验证的主张:模型版本、算法、复杂度、实验设置和系统数字。
- 为每个主张寻找论文、模型卡、代码 release 或官方运行时文档;找不到时标记为分析/未证实。
- 创建独立 HTML:问题、机制、公式/数据路径、部署含义、限制、来源。不要把多条题材堆在一个导读段落中。
- 从本页和 Mainline 首页互相链接,使文章入口与完整概念页可双向追踪。
15. 来源与版权说明
官方来源是用户提供并已逐个分页的 25 个 Zartbot album,具体目录、每个专辑的边界和原始链接均在 相关公众号内容目录 中单独说明;第三方标题级档案只作 2025 补充。本页只保留标题、链接和独立技术映射;未复制文章正文、图片、表格或长段落。模型和系统事实请使用本资料的来源与证据中的一手材料交叉验证。