在语言模型的黑箱审计中，提前部署工具至关重要，但其可能会忽略微妙的错位和隐秘信息。
为更好地在审计过程中引出隐藏信息，我们提出了\emph{超思考}概念：利用推理任务向量来增强推理模型的思维倾向。
给定非推理指令模型 $M$ 和推理蒸馏模型 @@@MATH_BLOCK1@@@ 的参数，我们定义\emph{超思考模型}为： $$ \boldsymbol{\theta}{\mathcal{O}\alpha} = \boldsymbol{\theta}{\mathcal{M}} + \alpha(\boldsymbol{\theta}{\mathcal{R}} - \boldsymbol{\theta}{\mathcal{M}}) $$ 其中 $\alpha > 1$ 用于增强推理能力，超越纯推理模型 $R$。
此外，我们引入了新的层级衰减策略，以选择性地增强推理能力，同时不损失模型输出的质量和一致性。
实验结果表明，超思考模型在四个实验设置中，更可能揭示隐藏信息，适用于2B-32B模型。
我们的研究表明，推理增强可能使训练中获得的秘密或意外行为的暴露频率提高至原始推理模型的10倍。
秘密的显现方式取决于秘密类型：某些类型需要沿推理方向的扰动，而其他类型则对任何足够大的权重扰动敏感。
博主点评： 超思考方法通过增强推理权重，显著提升了隐秘信息的揭示能力。这一创新为语言模型的审计提供了更强的工具，尤其是在深入理解模型行为和潜在问题方面，具有重要的应用价值。