真实业务需求常常缺少关键要求，因为一线从业者难以用语言完整表达他们的经验规则。前线部署工程师（FDE）需要通过对话不断澄清需求，并在迭代优化后满足客户的验收标准。现有的优化基准大多从明确的目标出发，而澄清类基准则是人为在已有任务中制造信息缺口。
我们推出 FDE-Bench，这是首个基于真实客户项目构建的基准，用于评估能够进行交互式需求澄清和迭代优化的智能体。基准包含 49 个案例，覆盖组合优化和机器学习两大类。澄清目标来源于一线从业者与 FDE 的实际讨论，智能体需要从模拟客户处获取缺失的需求信息。每个案例配有专属评估器，依据客户接受的 FDE 方案作为质量参考，对最终交付物进行验收评估。
在 18 种智能体配置的实验中，最高的平均交付得分仅为 0.5510（参考 FDE 为 1.0），最高的交付成功率（DSR）仅为 6.12%。这些结果表明，在不完整的真实业务任务上，实现可靠的 FDE 级端到端交付仍然遥不可及。
基准项目主页：https://baidubce.github.io/FM-Agent/FDE-Bench/
点评