金融问答系统在部署前通常通过改进检索、提示或代理协同来提升性能，但部署后其行为固定不变。实际使用中，新的SEC文件提问会不断暴露出时间、实体、证据使用和计算等方面的异构错误。现有的自我改进方法能够把失败转化为新行为，却难以控制修正的适用范围，也可能破坏已有的正确答案。
我们将部署后改进视为受控的行为维护：重复出现的错误应被封装为有明确作用域的技能补丁，每个补丁在不引入回归的前提下才能上线。基于此思路，我们实现了FINSKILLOPS，一个用于SEC文件问答的多代理系统。系统从基于证据的、带类型的错误诊断中提取可复用技能，并通过有针对性的验证、受保护的回归检查、负向控制以及版本化的替换或退役机制进行管理。
在六个金融问答基准上，单一的冻结技能注册表在判决加权正确率和参考一致性方面均领先于其他系统。经过演化的技能将正确率从3.70提升至4.55。另一次为期12轮的运营实验中，33个提议的技能仅有6个被正式采纳，监控的非正确率也从20.0%下降至12.5%。这些结果表明，受控的技能作用域、准入和生命周期管理是实现可靠自我改进的关键。
点评