在验证自动驾驶系统时,需要多样化且符合规范的测试场景。当前的模拟测试中,场景被定义为可执行脚本,但从法规描述自动生成这些脚本仍是一个未解决的挑战,现有方法面临根本性的权衡。
检索组装方法虽然实现了合理的编译率,但缺乏可扩展性,而基于检索的完整脚本生成则面临较低的编译成功率。
我们提出了Chat2Scenic,这是第一个迭代的检索增强框架,用于生成领域特定语言(DSL)中的场景脚本。Chat2Scenic提供了一个聊天机器人界面,支持交互式场景优化,并集成了检索增强生成(RAG),使场景生成基于法规知识和DSL语法。
此外,我们还提出了一个包含123个来自不同法规的场景的开放基准,包括NHTSA和联合国车辆法规等来源。
通过与最先进的大型语言模型(LLMs)的广泛评估,Chat2Scenic实现了76.42%的编译成功率(CSR)和58.17%的框架准确率(FA),优于现有方法(检索组装的CSR为30.08%,FA为11.03%;检索完整脚本生成的CSR为16.26%,FA为10.86%)。
为了促进未来的研究,我们将代码以开源形式发布在GitHub。
博主点评: Chat2Scenic通过结合检索增强生成技术,显著提高了自动驾驶场景脚本的生成效率与准确性,为行业提供了重要的工具和基准,有助于推动自动驾驶技术的合规性和可靠性。其开源代码也为后续研究提供了良好的基础,值得关注和深入探讨。