NeFut Logo NeFut
EN 管理员登录

[AI学术] 可靠的自我进化:基于不完美代理奖励的统计校准

发布于:2026-10-06 22:00 最后更新:2026-10-08 01:25
#AI #Machine Learning #LLM

大语言模型(LLM)驱动的自我进化搜索被视为科学发现的有力手段。然而,在某些领域,对每个候选方案进行高保真评估的成本过高,系统只能依赖低成本但不完美的代理奖励。这类奖励可能对不可行的候选给出高分,导致假阳性既污染最终输出,又干扰后续代的反馈。为了解决此问题,我们提出了统计校准的奖励区间方法——Conformal Interval‑Driven Self‑Evolution(CISE)。CISE 通过条件共形推断为每个候选构建专属奖励区间,并在每轮迭代中使用在线密度比估计来调整区间宽度。进化过程使用保守的区间奖励,仅在所有必需属性的区间完全落入可行域时才返回候选。我们在独立性和协变量偏移假设下推导了固定迭代次数的覆盖率保证。实验在材料科学的三个自我进化搜索任务上进行,结果显示 CISE 返回的所有候选在高保真评估下均为真阳性,而基线方法虽然返回更多候选,却包含假阳性。该结果表明,在下游验证预算受限的情形下,较小且更精确的候选集更具价值。代码仓库已公开:https://github.com/MLAI-Yonsei/CISE.git

点评

原文链接: https://arxiv.org/abs/2610.02975

[h] 返回首页