随着大模型（LLM）在代码实现方面的能力不断提升，关键瓶颈转向它们是否真正理解用户需求。用户往往只给出模糊意图，必须通过交互来补全关键需求。在仓库级开发中，误解会在后续代码中层层传播，导致高昂的返工成本。现有基准大多直接从完整规格或不完整请求评估实现，忽视了编码前的需求澄清环节；而已有的澄清研究主要聚焦函数级任务，无法说明在更大规模项目中的表现。为此我们构建了 ReqClarifyBench——一个面向仓库级软件开发的交互式需求澄清基准。基准包含 341 个任务，覆盖游戏、迷你应用和 Web 开发，每个任务提供模糊用户意图、经人工验证的需求文档以及代码评估材料。我们使用基于 LLM 的用户模拟器，模拟真实对话中出现的多种角色 persona。对六种主流 LLM 进行评估，指标包括澄清有效性和生成需求文档的质量。实验发现，澄清效果更强的模型并不一定产出更高质量的文档，且不同 persona 下的表现差异显著。进一步测试表明，使用编码代理（coding‑agent）并未提升需求文档质量，相比其底层 LLM 并无额外收益。这些结果为构建端到端 LLM 软件开发系统提供了重要参考。
点评