在长时任务中，大型语言模型（LLM）代理展现出了强大的性能，尤其是在规划、工具使用和与外部环境互动时。然而，现有的基准测试大多隐含地假设在单语环境中进行，其中推理、工具调用和输出生成等整个执行过程都在同一种语言中完成。与此相对，现实世界中的应用通常涉及在统一工作流中处理多语言输入和输出，但多语言性与代理执行之间的互动尚未得到充分探索。
本研究引入了 PolyWorkBench，一个用于评估 LLM 代理在多语言长时工作流中的基准测试。PolyWorkBench 包含了五个领域的 67 个任务，包括商业、知识工作、法律分析、本地化和制造，代理需要处理异构的多语言输入，进行迭代推理，调用外部工具，并生成结构化输出。为实现全面评估，我们提出了一种混合框架，结合了结构评分、可执行验证和基于 LLM 的语义评估。这一设计使我们能够在复杂工作流中捕获功能正确性和语言一致性。
实证结果表明，与单语环境相比，最先进的 LLM 代理在多语言工作流设置中表现显著下降。我们的分析表明，多语言性在推理和执行步骤中引入了复合效应，强调了在代理评估中共同建模语言变异性和程序决策的重要性。
博主点评： PolyWorkBench 的提出填补了多语言环境下 LLM 代理评估的空白，突显了多语言处理在实际应用中的复杂性。此基准的设计不仅提升了评估的全面性，也为未来的研究提供了新的方向，值得关注。