BABA-Bench 是一个包含 47 个交互式世界的基准，全部来源于去标识化的真实患者倡导案例，并经专家审阅。每个世界要求智能体在获取隐藏信息的同时，协调保险公司、诊所、供应商、药房和社区组织。系统在智能体执行每一步时实时检查：是否取得患者授权、是否有行动依据、是否触及禁用操作。我们对 14 种前沿模型进行评估，每个世界运行三次，共计 1,974 次实验。结果显示，许多智能体虽能达成正确的治疗结果，却走了违规路径。921 次成功达成全部目标的实验中，有 254 次（28%）未遵循必要程序。Claude Opus 5 在 81.6% 的运行中完成所有目标，但仅有 52.5% 的运行通过全部检查。当为两种模型提供已验证的路径后，合规率分别从 29.8% 提升至 91.5% 和从 44.0% 提升至 97.2%。这表明模型的主要瓶颈在于寻找合法路径，而非执行细节。
点评：BABA-Bench 揭示了当前 LLM 智能体在医疗场景中的程序合规性缺口，提示未来研究需聚焦路径规划与法规遵循的联合优化。