NeFut Logo NeFut
EN 管理员登录

[AI学术] 预测局部代理优化下的人类增益曲线

发布于:2026-11-03 22:00 最后更新:2026-11-05 00:45
#AI #Machine Learning #LLM

我们提出 PACE(代理对齐与曲率展开),一种利用重复人工评分在优化前预测固定代理产生的人类增益曲线的方法。该方法将代理优化建模为 KL 正则化的指数倾斜,在 KL 半径 $d$ 处的局部增益近似为 $A\sqrt{d}+Bd$,其中 $A$ 衡量一阶代理‑人类对齐,$B$ 捕获沿代理优化路径的二阶修正。我们在校准项目上通过重复评分估计 $A$ 与 $B$,随后在未见评估项目上检验增益曲线预测。实验覆盖 SummEval、符合分析条件的 WMT MQM 集群、OpenMEVA‑MAGS ROC/WP 重复评分切片以及 GPT‑4o 判官代理实验。相较于仅使用 $A$、零增益或仅可靠性基线,PACE 在所有数据集上均显著降低了持出增益预测误差。使用相同的预池信息,PACE 与灵活的代理条件校准相竞争;LoRA‑DPO 实验展示了与实际优化的适度桥接。跨数据集与评估切片的迁移实验表明,源数据的系数可作为有用先验,目标校准进一步提升预测精度。该诊断局部且单向,仅描述固定项目池正倾斜分支的温和优化过程。

点评:PACE 通过简洁的二阶模型捕捉了代理优化的非线性效应,为实际系统提供了可靠的前置增益估计,尤其在资源受限的迭代环境中价值突出。

原文链接: https://arxiv.org/abs/2610.41114

[h] 返回首页