CARLA-GS 是一个模块化的角落案例合成管道，旨在评估自动驾驶的安全性，尤其是针对稀有且安全关键的交互。现有的知识和模型驱动方法通常孤立地关注场景或轨迹组件，而基于扩散的方法虽然尝试端到端生成，但在时空一致性和物理真实感方面仍然存在挑战。
CARLA-GS 的设计初衷是将视觉表示、语义推理和基于物理的执行解耦，同时保持各模块之间的紧密耦合。我们从真实驾驶数据出发，重建一个可编辑的高斯场景，并施加额外的几何一致性约束。多智能体大语言模型（LLM）执行场景级推理，以识别风险交互并生成意图级的航点轨迹，而低级运动控制则委托给 CARLA，通过 PID 控制器确保运动的运动学和动力学可行性。模拟的车辆状态最终被重新投影到高斯场景中，以实现自我中心的渲染。
实验结果表明，我们的框架能够实现可控的角落案例生成，生成符合语义意图和物理可行性的高保真、时空一致的视频。此项研究在 Waymo Open Dataset 上展示了定量和定性结果，证明了其有效性。
博主点评： CARLA-GS 的创新在于其模块化设计，成功地将不同的处理环节解耦，提升了自动驾驶系统的安全性和可靠性。通过使用 LLM 进行高层次推理，系统能够生成更加智能和安全的驾驶场景，值得进一步研究和推广。