激活干预可以让语言模型输出指定答案,但模型是否会在其他计算中使用该条件仍是未知。我们在 Qwen3.5-27B 上的工具使用任务中探讨此问题,这类任务的资格和选择受时间或权限决定。实验覆盖 32 个全新世界,使用两种特定情境的残差写入变体,将熟悉的目标选择正确率分别从 35/128 提升至 119/128、从 33/128 提升至 114/128。
然而,当熟悉的事实和标识符在同一选择任务中重新组合时,这些提升消失,而先前奖励过的标识符的选择率却上升。结果在不同输出格式下保持一致,但对候选是否符合资格或应被选择的独立判断几乎没有改善。
内部编辑仍能改变源事实对判断的影响:在预设的二次比较中,早层的源补丁在使用该源时改变了 50/64 的判断,而在未使用该源的 64 案例中仅出现一次不利变化。这种选择性影响并不保证完整动作的正确性。
综上,这些发现将目标选择控制、条件敏感判断和完整动作正确性区分开来。评估编辑后状态的实际使用方式,而非仅看其训练答案,能够揭示这些差异。
点评