NeFut Logo NeFut
EN 管理员登录

[AI学术] MAREval:用于评估推荐系统自然语言解释的多智能体框架

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #LLM

自然语言解释在推荐系统中的可信度、透明度和用户参与度至关重要。传统的人类评估虽精准,却成本高、难以支撑大规模平台需求;单一大模型的自动评估则受提示敏感性和输出不一致的困扰。

MAREval 通过四类智能体实现结构化评估:规划器采用全新 Chain of Debate(CoD)提示策略,负责分配角色并生成逻辑自洽的评估计划;调解器监控对话,防止提示漂移;仲裁器汇总多轮评估结果;Monte Carlo 采样进一步提升鲁棒性并与人类判断保持一致。

我们在公开的 TopicalChat 基准以及内部电商推荐数据集上进行全面实验。结果显示,MAREval 在与人类标注的一致性上显著超越最先进的单智能体和多智能体基线,且在重复实验中的波动显著降低。大规模人工标注门槛测试表明,MAREval 已达到生产质量,而此前方法仍不足。在线 A/B 实验进一步验证了其对用户互动和收入指标的统计显著提升。

综上,MAREval 提供了一套可扩展、可靠且与人类感知高度对齐的推荐解释评估方案,为实际系统的部署提供了坚实支撑。

点评

原文链接: https://arxiv.org/abs/2610.36389

[h] 返回首页