摘要
推理时间干预（ITI）已成为引导大型语言模型（LLM）行为的有效方法，通过对令牌表示进行干预来实现特定方向的调整（例如，提高有用性），而无需对模型参数进行昂贵的更新。然而，现有的 ITI 方法在处理具有冲突的多属性设置时表现不佳，例如在增强有用性的同时减少毒性。为了解决这个问题，我们提出了多属性目标引导（MAT-Steer），这是一种新的引导框架，旨在通过选择性地对多个属性进行令牌级干预。MAT-Steer 使用对齐目标学习引导向量，将模型内部对不良输出的表示向可取输出的表示靠拢，同时强制不同属性之间的稀疏性和正交性，从而减少属性间的冲突。
我们在两种不同的设置中评估 MAT-Steer：（i）在问答（QA）任务中，我们平衡真实度、偏见和毒性等属性；（ii）在生成任务中，我们同时改善有用性、正确性和连贯性等属性。MAT-Steer 在这两种任务类型上均优于现有的 ITI 和参数高效的微调方法（例如，在 QA 任务中平均提高 3% 的准确率，对比最佳 ITI 基线的胜率达到 55.82%）。
博主点评： 本文提出的 MAT-Steer 方法通过引导向量的设计，有效解决了多属性冲突问题，展现了在多任务场景下提升语言模型性能的潜力。这种灵活的干预方式为未来的 LLM 研究提供了新的思路，值得深入探索。