SIA：只在生成轨迹的高熵岔路口施加对齐

1. Dense steering 的假设错在哪里

ARGS、Transfer Q* 一类 token-level inference-time alignment 在每个 decoding step 都为候选 token 计算奖励或价值，然后重排基础模型分布。它们默认每个位置对最终 harmlessness、helpfulness、honesty 同等重要。实际生成却有大量低风险延续，例如固定短语、语法闭合和已确定语义段的局部补全；在这些位置反复调用 reward/value model 既贵，也会让生成轨迹长期偏离 base policy，损伤流畅度和一般能力。

训练式方案如 instruction tuning、RLHF、DPO 要更新参数；prompt-based 对齐便宜但控制较粗；Best-of-N 在整句完成后选样本，开销随 N 增长；chunk search 介于两者之间。SIA 的问题更窄：保留 token-level 控制精度，但先回答“什么时候值得干预”。

2. 从 KL 正则策略到稀疏门控

论文把生成写成 token-level MDP。状态 s_t=[x,y_<t]，动作是词表中的下一 token，转移是把 token 追加到前缀。KL 正则的对齐目标要求提高序列奖励，同时不让策略离基础模型太远：

max_π E_{y~π}[R(x,y)]
subject to D_KL(π || π_base) < ε

π*(y_t | s_t) ∝ π_base(y_t | s_t) · exp(β V*(s_{t+1}))

闭式形式说明 value 可以给候选 token 加权，却没要求每一步都用。SIA 加一个二元 gate G：

若 G(s_t)=1：π_sparse ∝ π_base · exp(β V*(s_{t+1}))
若 G(s_t)=0：π_sparse = π_base

因此优化目标不变，变化的是调用 value guidance 的时间位置。β 控制单次干预强度，G 控制干预密度，两者不应混为一谈。

3. 价值模型如何得到 token 级信号

把 trajectory reward model 直接喂半截句子会得到噪声；为每个候选 rollout 多步 lookahead 又太贵。作者离线蒸馏：完整回答先由 Skywork-Reward-V2-Qwen3-8B 打一个序列级分数，再训练与 backbone 同规模、用 LoRA 适配的 value model，使各 token 前缀预测的平均值逼近完整回答奖励。

L*(θ) = E_(x,y) [ || (1/T) Σ_t V_θ(x,y_≤t) - R(x,y) ||² ]

训练数据来自 WildGuardMix 和 UltraFeedback，覆盖 3H。独立评估器使用 Skywork-Reward-V2-Llama-3.1-8B，避免训练奖励模型与评测者完全相同。全 token steering 的小实验里，Qwen3-1.7B 在 HEx-PHI 上：base -6.47，ARGS -3.51，Transfer Q* -4.52，作者 value model 13.70；AlpacaEval 分别为 1.81、-9.57、-2.94、4.47。这说明后续稀疏实验建立在更可靠的局部价值信号上，而不是单靠 gate 掩盖一个差 reward。

4. 为什么 gate 选 absolute entropy

作者系统比较了随机门控、只干预开头 w 个 token 的 position gate、attention span/ratio，以及 entropy/entropy ratio。绝对熵定义为：

E_t = - Σ_(v∈V) P(v | x,y_<t) log P(v | x,y_<t)
G(s_t) = 1[E_t > τ_H]

高熵表示基础模型在多个方向之间犹豫，这时外部价值最可能改变轨迹。随机稀疏只省计算，不能稳定提升对齐；position gate 在安全任务的低干预率下尚可，但容易饱和，也不能泛化到 helpfulness；attention-based 信号对阈值和任务更敏感。绝对 entropy 在 Qwen3-1.7B、Llama-3.2-1B 以及 HEx-PHI、AlpacaEval 上跨干预比例保持最高或接近最高表现，因此后续默认用它。论文还发现约 1.0 的 entropy threshold 能跨目标复用。

5. 完整例子：拒答还是给出危险步骤

设用户提出有害请求。模型生成到“我不能帮助执行该操作，但……”时，下一 token 分布可能在“可以解释安全原理”“下面是具体步骤”“建议联系专业人员”间分散，熵超过 τ_H。SIA 才在这个位置取基础模型的 top-k 候选，把每个候选接到前缀后送 value model，按 log p_base + βV 重排，选择更高长期安全/帮助价值的方向。

后续若已经进入“这里是一些安全替代方案”这一稳定短语，分布尖锐、熵低，gate 关闭，直接沿 base model 解码，不再为“是”“一些”“安全”等每个 token 调一次 value model。到了列举内容的另一个语义分岔，熵再次升高，gate 再开。这和“只干预前 20% token”不同：关键位置可以出现在任意时刻；也和 Best-of-N 不同：SIA 在错误方向形成整段文字前就修正。

6. 实验：稀疏不是只为省钱

标准设置覆盖 Qwen3 0.6B/1.7B/4B 与 Llama-3.2 1B/3B 的 Base、Instruct 版本；weak-to-strong 用 4B value guide Qwen3-8B/14B，用 3B guide Llama-3.1-8B。任务使用完整 HEx-PHI、AlpacaEval、TruthfulQA，β 默认 1.0，并与 Instruct、Best-of-N、chunk-based search 比较。

总体结果不是一个固定“20% 最优”：不同模型和目标的最佳干预率在 20%–80%。强 base model 上尤其稀疏，Qwen3 只干预约 20% token 即可匹配或超过重度 post-training 的 Instruct 版本。相对逐 token 方法，计算成本最多降低 6 倍；与 Best-of-N 组合时，entropy gate 只在候选真正需要区分的 junction 调 value，论文报告 3–6 倍开销降低。

关键消融是“干预比例曲线”：性能往往先随干预增多而上升，越过最佳区间后下降。这个倒 U 形说明 dense guidance 不只是浪费算力，确实会破坏 base distribution。调大 β 时，稀疏 gate 能承受更强单点引导并维持流畅度；dense steering 则更容易过度优化 reward。Weak-to-strong 结果表明小 value model 可以引导更大生成模型，但提升上界仍受 base model 原生能力限制，SIA 不能从弱模型中凭空造出知识和推理。

7. 贡献与适用范围

这篇论文把 inference-time alignment 的选择从“用什么 reward”扩展到“何时调用 reward”。Entropy 直接来自基础模型，不需要另训 junction classifier；value distillation 把序列奖励改造成局部候选排序信号。稀疏调用既节省系统开销，也限制了对齐模型改写原分布的次数。

局限：方法并非完全 training-free，token-level value model 需要离线数据、trajectory reward 和 LoRA 训练；每个 backbone/规模在标准设置下还有对应 value model。熵只表示不确定性，不保证该位置与安全或帮助性有关，专业术语和长尾知识也可能高熵。反过来，模型自信地产生有害 token 时熵很低，gate 可能漏掉。实验依赖 reward-model judge，仍可能有偏差。最佳 20%–80% 范围较宽，生产部署要按任务校准 τ_H 与 β。

合集关系：SIA 与 DAWN 都拒绝“所有位置同等处理”，但对象不同：SIA 稀疏调用对齐价值模型，DAWN 在 diffusion 并行更新中避开依赖冲突。与 SpecForge 的推测解码也不同，SIA 可能改变输出分布以追求偏好，SpecForge 的验证机制目标是保持 target model 分布。

8. 一次真实 steering step 内部做了什么

基础模型先输出词表分布并计算熵。熵未过门限时，解码路径与原模型完全相同；过门限时，系统从基础分布取候选 token，对每个候选形成下一状态，也就是“用户问题、既有回答前缀、候选 token”的拼接。价值模型为这些下一状态给分，系统把基础对数概率与乘以强度系数的价值相加，再归一化或直接选最高项。价值模型不是在当前位置判断一句话好坏，而是在估计选下这个 token 后，未来完整回答获得高轨迹奖励的可能性。

这个过程解释了为何门控依据必须在调用价值模型之前取得。随机门控能省调用次数，却无法把预算集中到真正会改变候选排序的位置；用价值差本身做 gate 又必须先给全部候选打分，已经付出了主要成本。Entropy 来自基础 forward 的 logits，几乎没有额外模型调用，因此既是关于不确定性的信号，也是可用的系统级前置过滤器。

它也解释了稀疏干预为什么能允许更大的单点强度。Dense 模式在几百个位置持续加价值偏置，即使每次偏置不大，整段序列的累计分布漂移仍会很大。Sparse 模式只在少数岔路加较强偏置，选定方向后让基础模型自己完成低熵的语言实现。论文所谓“更好保留原生分布”不是每个被干预位置离基础分布更近，而是整条轨迹被外部模型改写的次数更少。

9. 四种 gate 的失败模式

随机 gate 是必要对照，因为它把“选得准”与“仅仅调用得少”分开。若随机稀疏也同样好，就不需要 junction identification；实验并非如此。位置 gate 假设开头 token 决定语气和主题，在拒答类安全任务中确实可能有效，但长推理的关键选择常出现在中段，固定前缀窗口会漏掉。Attention distance 试图抓长程语义转折，但注意范围大也可能只是引用早先实体，且要选定一组 attention head，跨模型稳定性较弱。Entropy ratio 捕捉突然升高的局部峰值，却会漏掉连续多个位置都维持高不确定性的区段。

绝对 entropy 最稳并不代表任何高熵点都与对齐相关。代码变量、罕见专名、数学符号也会提高熵；这时 value model 可能把一般能力问题误当偏好问题。另一方面，经过错误后训练的模型可能对有害模式非常自信，低熵 gate 就不会打开。部署时应把 SIA 看成降低 token-level steering 成本的策略，而不是独立安全屏障；硬安全规则、完整回答评估或拒答 policy 仍有存在理由。

10. 评测结果的证据链

论文先验证价值模型，再比较门控，再做全模型规模实验，这个顺序不能倒置。第一阶段证明蒸馏后的 token value 至少比把轨迹 reward 生硬用于前缀更可靠；第二阶段在相同价值信号下改变 gate，排除收益来自更好 reward；第三阶段才讨论稀疏比例、基础版与指令版、弱引导强模型以及与搜索方法组合。若只看最终“最多六倍降成本”，无法判断是少调用模型、价值估计更好，还是 benchmark 恰好容易。

强 base model 只干预约五分之一位置即可接近 instruct model，也不意味着 sparse inference 普遍替代后训练。Base 必须已有足够知识、语言能力和候选轨迹；价值模型只能在它能提出的候选中重排。论文明确观察到收益受 base capability 上界限制。对较弱模型，提高干预比例也可能只是更频繁地在一组都不好的候选中选择，无法补上缺失知识。

11. 前置知识：策略、价值、奖励与受控解码

把文本生成写成 MDP 时，状态 s_t=[x,y_<t] 包含用户输入 x 与此前生成的 token 序列，动作 a_t=y_t 是从词表 V 选择下一 token；转移 s_{t+1}=[s_t,a_t] 是确定性的追加操作。基础模型给出策略 π_base(a_t|s_t)。轨迹奖励 R(x,y) 对完整回答打一个标量，Q 值表示在当前状态选某 token 后的长期回报；由于转移确定，Q*(y_t|x,y_<t)=V*(x,y_≤t)，也就是候选 token 追加后那个新状态的价值。这一等式让“给动作打 Q 分”变成“给候选前缀打 V 分”。

KL 正则目标 max_π E[R(x,y)]，s.t. D_KL(π||π_base)<ε 同时要求高奖励与不过度偏离基础模型。其 token 级 Gibbs 形式为 π*(y_t|s_t) ∝ π_base(y_t|s_t)exp(βV*(s_{t+1}))。β 是价值偏置强度，越大越信 value model；ε 是允许的整体分布偏离；比例式右侧还要除以归一化常数 Z 才成为概率。工程实现通常在 top-k 候选上比较 log π_base+βV，而不是为整个词表逐个跑价值模型。论文所有 token steering 采用 top-k=10、温度 1.0、最大生成 256 token。

训练后对齐与推理时对齐的边界也要明确。RLHF、DPO、instruction tuning 改模型参数，推理时不再额外调用 value model；SIA 保持生成模型参数不变，但需要离线训练一个价值模型，并在部分 token 上额外推理。它因此是 plug-and-play 的 decoding policy，不是完全 training-free。Best-of-N 是先生成 N 个完整回答再选，Chunk Beam Search 每隔一段扩展分支，ARGS 是把完整轨迹 reward model 直接用于部分前缀，Transfer Q* 做多 token lookahead；SIA 的比较对象覆盖句级、chunk 级和 token 级，但它改变输出分布以提高偏好奖励，不像 speculative decoding 那样保证目标模型分布不变。

12. 四类 gate 的全部公式与变量

所有门控都输出二元变量 g_t∈{0,1}：1 表示当前 token 需要 value guidance，0 表示完全沿用 base policy。随机门控定义 g_t=I(z_t≤p), z_t~Uniform(0,1)，p 是期望干预比例，I 是条件成立取 1 的指示函数。位置门控为 g_t=I(t≤w)，w 是只干预开头多少 token 的窗口。这两个 baseline 分别回答“只减少调用是否足够”和“是否只要管开头即可”。随机法在各设置下整体最差；位置法在安全任务低比例时有竞争力，但很快饱和，在 helpfulness 上还会退化。

熵门控先从基础 logits 得到 P(v|x,y_<t)，再算 E_t=-Σ_{v∈V}P(v)logP(v)。V 是词表，E_t 是当前完整分布的不确定性。论文分别测试绝对量 H_t=E_t 与突变量 H_t=E_t/E_{t-1}，统一用 g_t=I(H_t>τ_H)；τ_H 是熵阈值。绝对熵捕捉持续存在的多路选择，entropy ratio 只捕捉相对上一步突然上升，因此连续高熵区间里后者可能只触发开头一个点。Figure 1 的阈值扫描显示绝对熵在 Qwen3-1.7B、Llama-3.2-1B 与安全、帮助性任务上有更高且更稳定的上界，所以正式 SIA 使用它。

注意力门控用 Windowed Average Attention Distance：WAAD_t=Σ_{s=1}^t A^loc_{t,s}min(t-s,W)。A^loc_{t,s} 是指定 local heads 从位置 t 指向历史位置 s 的注意力权重，t-s 是回看距离，W 把过远距离截断，避免极远 token 单独主导。因为决定 y_t 前拿不到 y_t 自己的注意力，算法用 y_{t-1} 的 WAAD 作为代理，再测试绝对 WAAD 与相邻 WAAD ratio，以 g_t=I(A_{t-1}>τ_A) 判断。长距离注意力可能代表逻辑转折，也可能只是回指实体，且依赖选择哪些 head，因此跨模型和目标的稳定性弱于直接来自输出分布的 entropy。

13. 价值模型训练：从完整奖励到每个前缀

训练样本是 prompt x 与完整回答 y={y_1,…,y_T}。Skywork-Reward-V2-Qwen3-8B 先给完整回答一个监督值 R(x,y)；价值模型对每个前缀输出 V_θ(x,y_≤t)。损失 L*(θ)=E[||(1/T)Σ_t V_θ(x,y_≤t)-R(x,y)||²_2] 让一条回答所有前缀价值的均值逼近完整轨迹奖励。T 是回答 token 数，θ 是价值模型可训练参数，平方二范数惩罚预测均值和轨迹奖励的差。它没有真实 token 级标签，因此不能把每个 V 值解释为严格标定的即时奖励；其作用是学到能在候选前缀间稳定排序的长期价值地形。

Qwen3 的 0.6B、1.7B、4B value model 从对应 Base 模型初始化；Llama-3 的 1B、3B value model 从同尺度 Skywork-Reward-V2 初始化，并在最后 Transformer 层加线性 reward head。相同架构的 Base 与 Instruct 生成模型共用一个 value model。训练语料包含 WildGuardMix 全部 37,976 对；UltraFeedback 取 ShareGPT 的 19,949 条和 UltraChat 的 9,929 条 instruction，每个 instruction 有来自 17 种模型池的四个回答，总计约 157k instruction-response pair，覆盖 harmlessness、helpfulness、honesty。

LoRA 超参数为 rank 16、α=32、dropout 0.1，学习率 1×10^-4、batch size 16，回答截断到 1024 token，训练 3 epoch；每个模型在单张 NVIDIA H200 上数小时完成。独立评测使用 Skywork-Reward-V2-Llama-3.1-8B，不与生成 value 的 Qwen3-8B reward model 相同。先做 full-token value source 验证时，每个 HEx-PHI 与 AlpacaEval 各抽 100 条。Qwen3-1.7B 上 Base/ARGS/Transfer Q*/本文 value 的 HEx-PHI 奖励为 -6.47/-3.51/-4.52/13.70，AlpacaEval 为 1.81/-9.57/-2.94/4.47；Llama-3.2-1B 对应为 -21.17/-17.34/-18.38/-3.13 与 -17.96/-18.05/-18.72/-8.87。这个表证明专用 token value 更可靠，同时也显示即便更可靠，全 token guidance 仍不必然最优。

14. 理论界：为什么跳过低价值节点损失有限

附录把每步“对齐需要改多少”定义成 oracle 量 Δ_t=D_KL(π*(·|s_t)||π_base(·|s_t))。Δ_t 小表示基础策略已接近最优策略，或真实价值面很平；Δ_t 大表示当前是基础模型与人类偏好明显分歧的关键决定。局部 KL 正则目标的结论是：在第 t 步不用 π*、退回 π_base 所损失的正好是 Δ_t。若 T_skip={t|G(s_t)=0}，稀疏策略相对理想 dense oracle 的总误差满足 J(π*)-J(π_sparse)≤Σ_{t∈T_skip}E_{s_t~π_sparse}[Δ_t]。J 是整条轨迹的期望累计目标；期望按稀疏策略实际走到的状态分布计算。

这个上界给出门控目标：尽量跳过很多步骤，但只跳过 Δ_t 小的步骤。若所有被跳过节点都有 Δ_t<ε，总损失最多 |T_skip|ε。实际无法计算 π*，entropy 只是可计算代理，所以定理不证明高熵一定等价于高 Δ_t；论文是用跨模型、跨 3H 目标的门控比较提供经验关联。它也解释了为何单看“20% token”没有意义：若 20%是随机位置，可能错过大 Δ_t；若 entropy gate 把预算集中在大分岔，才能以少量调用接近 dense oracle。

复杂度方面，基础模型每 token 成本为 C_base，一次价值引导为 C_value，序列长 N、激活门数 k，则 dense 为 O(N(C_base+C_value))，SIA 为 O(NC_base+kC_value)。由于一次门控时还要评估 top-k=10 个候选，实际 C_value 包含十个候选状态的 value forward；论文估计同尺度 value model、每 token 都干预约是普通解码的 10 倍计算。若只干预 20%，额外值评估降到约五分之一，整体约 2 倍普通解码，而不是笼统的“省 80%时间”，因为基础模型生成成本始终存在。

15. 噪声、强度、熵反弹与多目标平衡

真实价值模型写成 V_hat(s)=V*(s)+ξ，论文假设误差 ξ~N(0,σ²)。在非关键状态，真实 token 价值差接近零，π_base 已与 π* 相近；dense steering 却把噪声乘 β 加到 logits 中。二阶展开得到期望偏离 E_ξ[D_KL(π*||π_hat)]=β²σ²/2+o(σ²)。稀疏策略在这些点直接回到 π_base，只付 O(ε) 的原始差异。因此学得 value 含噪时，跳过不重要位置不只是节省计算，甚至可能比“理论上全 token 但使用错误 value”的策略获得更高真实奖励。

Figure 4 扫描 β=0.5、1、2、3、4 与 +∞；正无穷代表完全让 reward 分布压过基础候选概率。100%干预时，提高 β 在 Qwen3-1.7B、4B 的 AlpacaEval 上会明显恶化；稀疏干预却能承受更高单点强度并取得更高峰值。分布分析显示适度稀疏 steering 会降熵，把多路犹豫收束到更对齐方向；但干预比例或强度超过临界值后，外部噪声覆盖原本低熵节点，出现 entropy rebound。即使 β 从 0.5 增到 4 时熵继续降低，奖励也可能饱和或下降，因此“输出更确定”不等于“语义更对齐”，也可能只是 reward hacking 式的过度锐化。

多目标实验还有一个重要区分：不同模型和 3H 任务的最佳绝对 entropy threshold 大多集中在约 1.0，但相同阈值产生的干预密度不同。安全任务的有害输入往往使模型内部更不确定，超过阈值的位置更多，因此 harmlessness 需要更高干预比例；helpfulness 与 honesty 的高熵节点较少。也就是说部署时可以尝试共享阈值，却不能把共享阈值误写成固定 20%预算。论文主结果的最优范围是 20%–80%，实际比例由模型分布和输入决定。

16. 实验、开销手算和复现限制

标准实验覆盖 Qwen3 0.6B/1.7B/4B、Llama-3.2 1B/3B 的 Base 与 Instruct；weak-to-strong 用 4B value model 引导 Qwen3-8B/14B，用 3B 引导 Llama-3.1-8B。正式评测使用完整 HEx-PHI 330 条、11 类各 30 条有害请求；AlpacaEval 805 条，覆盖问答、创作、数学、代码、摘要与抽取；TruthfulQA 817 问、38 类，专门测试常见错误信念。所有回答最大 256 token、温度 1.0，Base、Instruct 与 token steering 用 top-k=10，BoN/CBS 为扩展探索用 top-k=40，默认 β=1。

公平预算中，BoN-4/8 分别生成 4/8 个完整回答再用同一 value model 重排；CBS 的 chunk 长 16，CBS-4 用 beam width 2、每状态 2 个后继，CBS-8 用 width 2、每状态 4 个后继。假设普通回答生成成本为 1，BoN-8 约为 8 倍；full-token top-10 value steering 约为 10 倍。SIA 干预 20% token 时约为 2 倍，却在多数设置可匹配 BoN-8，因此相同效果下约省 4 倍；20%–40%可匹配 CBS-8，成本约 2–4 倍，对 CBS-8 省 2–4 倍。与 BoN 组合的层次搜索还在图示案例中达到 3.66 倍与 6.23 倍计算改善：SIA 先在高熵节点剪掉差轨迹，BoN 再在完整候选间选择，避免等整句生成后才发现早期方向错误。

端到端手算可这样理解：长度 100 的回答中，entropy gate 触发 20 个位置。每一步基础模型照常做一次 forward，共 100 次；只有 20 步对 top-10 候选调用 value。若把同尺度 value 的每个候选评估粗略视为一个单位，dense 需要 1000 个候选价值评估，SIA 只需 200 个。生成到“我不能协助实施，但可以……”的高熵位置时，候选“提供安全原理”“列出实施步骤”“建议求助专业人员”各形成新前缀，系统比较 log p_base+βV 后选 token；进入“以下是安全替代方案”这类低熵固定延续后，不再调用 value。实际实现可批量计算十个候选，但仍需注意 value model KV cache、跨模型 tokenizer 一致性和 gate 统计的额外显存。

局限包括：entropy 是不确定性而非危害性，自信地产生有害内容时可能漏检，罕见术语与数学符号则可能误触发；value model 的约 157k 数据、奖励模型与 judge 都可能携带偏好偏差；Qwen 与 Llama 之外的阈值稳定性尚未证明；Llama Base 在 helpfulness、honesty 上仍受文本流畅度上限约束，价值重排不能创造不存在的知识和候选；reward score 不是人工安全审计。SIA 应是对齐 decoding 层，而不是唯一安全屏障。

复现至少要锁定生成模板、top-k、温度、最大长度和随机种子；按相同 backbone 训练 value head，记录 157k 数据构成、LoRA r=16/α=32/dropout 0.1、学习率、batch、epoch 与 H200 用时；先复现 Table 1 的 full-token value source 对照，再在相同 value 下扫 random、position、entropy、entropy ratio、attention、attention ratio；同时扫 entropy threshold、实际干预比例与 β；对 Base/Instruct、标准同尺度和 weak-to-strong 分开报告 HEx-PHI、AlpacaEval、TruthfulQA reward；最后用真实 value forward 次数、延迟、吞吐与显存报告开销，而不能只用干预百分比替代系统测量。

17. 从 logits 到下一个 token 的完整执行路径

一次解码先由基础模型对当前前缀做前向，得到词表 logits。系统按温度一点零转成概率，保留概率最高的十个候选，同时用完整概率分布计算绝对熵；熵未超过阈值时，不构造候选价值批次，直接按基础分布采样。熵超过阈值时，十个候选分别接到同一前缀，形成十个下一状态，价值模型输出十个标量。对第 j 个候选，未归一化新分数是基础对数概率加上 β 乘价值；随后在十个候选内重新归一化并采样。选中 token 后追加到序列，进入下一步，直至结束符或二百五十六 token 上限。

这个数据流里有三个不可交换的次序。第一，gate 必须在 value forward 之前计算，否则已经付出十候选评估成本，门控失去效率意义。第二，entropy 必须来自基础模型原始分布，不能来自价值重排后的分布，否则 gate 会被自己的历史干预反馈影响，实验阈值不再对应论文定义。第三，价值与基础概率在对数空间相加等价于概率空间乘以指数价值；如果直接把概率与价值标量相加，β 的意义、归一化和 KL 推导全部改变。实现还要确认 Base 与 Instruct 使用同一 tokenizer 和词表索引，否则候选 token 接入 value model 后可能指向不同文本。

假设某步十个候选中，基础模型把大部分概率给两个语义方向，熵超过阈值。方向甲基础概率较高但长期奖励低，方向乙基础概率稍低但价值高。较小 β 只轻微提升乙，仍保留基础模型语言先验；较大 β 可能让乙反超。若十个候选价值近似相等，这一步即使高熵，指数项也不会明显改变排序，额外调用只有开销没有收益。这正是价值噪声与门控代理之间的剩余间隙：熵发现“模型犹豫”，但不保证偏好模型在这些选项间真的有可靠差异。更完善的系统可以在熵 gate 后增加价值方差门限，但论文没有采用，因此不能把它写成原方法。

安全请求的关键位置常集中在回答开头，因为是否拒绝和采用何种语气会锁定后续轨迹；附录位置分布也显示 HEx-PHI 的 entropy junction 偏早。帮助性任务的关键点却更均匀，例如解题过程中选择方法、代码生成中选择接口、摘要中保留哪个事实都可能发生在中后段。位置 gate 在安全低比例时接近 entropy，并不代表“前若干 token 决定所有对齐”；恰好是跨任务的位置差异说明内容自适应 gate 比固定窗口更通用。

18. 如何校准阈值、解释曲线并安全上线

论文横轴常用实际干预比例，而方法真正控制的是熵阈值。校准时应先在代表性请求上缓存每一步基础 entropy，不调用 value 也能得到阈值到比例的经验映射；随后固定若干阈值，测三类奖励、流畅性、延迟和显存。不能先强制取最高熵的固定百分比再声称复现 SIA，因为固定比例会让每个请求承担同样预算，而论文的绝对阈值允许高风险、高不确定请求自然触发更多干预。作者观察最佳阈值大多约为一点零，但这是 Qwen、Llama 与所用模板下的经验中心，新 tokenizer、量化和采样温度都会改变 entropy 标尺。

读取干预曲线时，峰值落在百分之二十到八十之间是主要结论，不能把某个图上约百分之二十外推到所有模型。Qwen Base 已有较强候选能力，稀疏重排能在多数 benchmark 接近或超过对应 Instruct；Llama Base 的语言流畅性不足，安全上可追平，帮助性和真实性仍有差距。Instruct 模型已在后训练中移动过分布，SIA 继续提升的相对空间较小。弱引导强模型中，四十亿价值模型引导八十亿、百四十亿 Qwen，三十亿引导八十亿 Llama，最优比例还常更低，说明价值模型提供方向即可，不必复制目标模型全部生成能力；但这并不证明任意小模型都能可靠评估任意大模型。

Best-of-N 与块搜索的公平比较要看两类成本。句级方法重复运行生成模型，八候选就是约八条完整轨迹；块级方法按长度十六扩展，宽度和每状态后继数决定分支；token 方法只生成一条主轨迹，却在门控点批量运行 value。论文用不超过全 token 约十倍预算选择基线超参数，最终以相同奖励附近比较二倍、四倍、八倍开销。真实部署中目标模型与 value 大小不同，单纯数 forward 不等于墙钟时间，因此还应给出批量十候选的利用率、KV cache 复用、跨 GPU 通信和端到端每 token 延迟。

上线保护至少包括三层。第一层是硬规则与输入分类，覆盖模型低熵却自信作恶的漏检；第二层是 SIA，在高熵语义分岔及时重排；第三层是完整回答的安全与事实检查，捕获局部选择累积后的失败。监控需要分别记录基础 entropy、触发位置、候选价值差、β、最终奖励和人工抽检结果，才能区分 gate 漏检、value 错排与基础候选缺失。若只观察最终 reward，奖励模型偏差会同时污染控制和监控。SIA 的贡献是降低细粒度 value steering 的成本并减少噪声干预，不是给出形式化安全保证。

还应保留一个完全不干预的基础模型流量桶，以及固定比例的全 token 对照桶。前者用于发现价值模型或阈值更新是否损害原生能力，后者用于验证稀疏方案的优势究竟来自省计算还是来自避免噪声。如果稀疏奖励下降而全 token 不变，应先检查门控漏掉关键位置；若两者一起下降，则更可能是价值模型漂移；若奖励不变但延迟上升，应检查候选批处理和缓存实现。把这三类路径在同一输入分布上长期对照，才能在模型、奖励器或用户流量变化后重新校准，而不是沿用论文的一点零阈值。