近期,研究人员提出了一种新的框架MESA(Multi-structure Evidence Selection),用于长期记忆的任务自适应多结构证据选择。长期记忆通常需要处理数百个交错的推理、动作和观察步骤,而回答一个查询可能依赖于历史中埋藏的证据。外部记忆以结构化表示来存储这些轨迹,每个结构提供了不同的和不完整的视图。现有的多记忆系统要么为每个查询固定读取一组结构,从而增加上下文和引入噪声,要么将每个查询路由到一个结构,防止组合互补的证据。通过在AMA-Bench上的受控分析发现,最佳的记忆配置通常既不是单一结构也不是全部结构的联合,而是根据查询和任务需求变化的多个结构化记忆的定制组合。受此启发,研究人员提出了结构级动态选择:从一系列专用记忆结构库中选择和融合查询自适应的子集。MESA建立了每个轨迹的五个互补结构视图,并从端到端的答案级反馈中学习以选择和融合特定于查询的子集用于冻结的答案模型。为了在这种弱监督下学习,MESA采用了带有先验指导搜索和UCB指导调度的优化来平衡探索和利用。在AMA-Bench上,MESA比最强的基线性能提高了8.5%,同时使用的证据令牌比全部结构的替代方案少了41%。 博主点评: MESA框架通过任务自适应的多结构证据选择,显著提高了长期记忆的性能和效率,具有广泛的应用前景和研究价值。