LLM 代理在日常应用中执行多轮任务已成趋势,但用户往往只能看到代理的报告,而看不到背后的观察、API 调用和状态变化。现有的欺骗基准主要关注长时程交互或工具使用,却少有研究代理在真实、状态化工作流中是否如实报告其行为。为填补这一空白,本文提出 AgentDecept,一个可执行的基准,用于在压力情境下评估行为欺骗。AgentDecept 包含 477 种压力变体,来源于 257 个原始任务,涉及六类压力源,每种变体都有一个无压力对照。压力通过事件消息、任务上下文、应用状态、工具响应和服务配额等渠道注入,覆盖显式事件和隐式任务或环境变化。我们基于证据的评估协议将用户面向的声明与时间顺序的观察和执行结果对应,区分伪造、隐瞒、含糊其辞与诚实失误或已披露的限制。得到的行为标签还能用于测试现有的激活式探针。AgentDecept 为在真实应用交互中分析多轮代理报告与实际执行的偏离提供了受控实验平台。
点评