语言模型代理用于金融、医疗、法律等专业任务。它们往往能够完成任务,却常漏掉细节,例如金融报告中数字来源。重新训练代理成本高,且在闭源系统中不可行。将缺失的知识写入提示会导致提示过长且对所有输入相同,而不同输入需要不同指导。我们提出让一个小型顾问模型根据每个输入生成结构化建议,并将其附加到冻结执行器的提示中。顾问的训练采用后视蒸馏:在带有分级答案的训练集上,分析执行器的失败,尝试多种策略,记录哪种策略在每个输入上有效;教师模型看到分级和执行轨迹,生成能够帮助的建议。随后用监督微调让顾问仅凭输入学习生成相同建议。由于顾问是独立的小模型,训练成本低且几乎不增加推理延迟。我们称此方法为后视结构化建议蒸馏(HSAD)。在 FrontierFinance 公共基准上,8B 顾问将 Samaya 专有研究代理的合格率从 52.9% 提升至 56.6%,且成本比该代理的高强度配置低 37%。实验还表明 HSAD 在 WebShop、BIRD 文本到 SQL 和 ExpertLongBench 上同样提升性能。点评