NeFut Logo NeFut
EN 管理员登录

[AI学术] P-ContextBench:从个人事实回忆到个性化代理行为

发布于:2026-11-03 22:00 最后更新:2026-11-05 00:45
#AI #LLM #Personalization

大型语言模型(LLM)正被越来越多地用于个人任务,但评估它们对私人上下文的安全使用仍然困难,因为这些上下文既私密又碎片化、动态且具社会属性。我们提出 P-ContextBench,一个真实、可验证且可扩展的基准,用于评估个人上下文理解能力。该基准基于人口结构的种子数据,生成符合美国人口分布的数字人,并将性格、日常、目标和约束等信息隐式嵌入到碎片化、不断演化的合成移动应用记录中,而非使用显式、静态的个人档案。P-ContextBench 评估五项能力:单源事实恢复、多源事实恢复、时间状态追踪、从日常行为推断高层个人模式、以及在冲突请求下通过遵守、警告、澄清或拒绝实现安全约束处理。多阶段验证流水线检查人物可信度、上下文可恢复性、信息泄漏、证据保留、测试用例落地以及人工评审一致性。我们在基准中实现了 100 个角色、10 088 条隐藏事实、18 261 条应用轨迹碎片和 4 810 条经验证的测试用例,流水线支持跨规模和人口组的可配置生成。实验表明,当前最先进的 LLM 在时间追踪、高层模式推断和约束感知决策上的准确率均低于 60%,三次重复运行中正确回答的测试用例比例不足 10%,即使是表现最好的模型在这些能力上仍不稳定。P-ContextBench 为提升基于 LLM 的个人代理的准确性、可靠性和安全性提供了可量化的目标。

点评:该基准填补了个人化智能评估的空白,为后续模型改进指明了方向。

原文链接: https://arxiv.org/abs/2610.40959

[h] 返回首页