在实际交通网络中，集体自动驾驶车辆（AV）的路径选择会对人类驾驶车辆（HDV）产生外部性，AV 为自身优化的路线可能延长其他车辆的行程。为缓解该问题，本文在自私的行程时间奖励中加入社会因素——边际成本。边际成本通过比较加入 AV 前后的其他车辆行程时间，利用去除该 AV 的反事实仿真得到。
我们在混合自动化交通环境下使用多智能体强化学习（MARL）让 AV 通过与交通环境的反复交互学习路由策略。实验在因戈尔施塔特和普罗旺斯两座真实城市网络上进行。结果表明，加入边际成本后，AV 的行程时间相对自私路由更短，且 HDV 的行程时间增长从 1.7% 降至 1.1%。此外，系统整体性能提升，AV 也受益。该趋势在不同城市、渗透率和重复实验中保持一致。但当奖励中的社会权重过大时，系统难以达到预期效果。
为提升可扩展性，我们仅对对交通系统影响最大的 AV 计算边际成本，显著减少反事实仿真次数，仍能获得相似性能且计算成本更低。研究表明，AV 路由应超越自私奖励，将社会因素纳入目标，以惠及所有交通参与者。
点评：将边际成本引入奖励函数是实现公平共享道路资源的关键一步，兼顾效率与公平的设计值得在更大规模的交通系统中推广。