在现实应用中，分工的重要性已被广泛认可，它能显著增强合作。因此，许多合作多智能体强化学习（MARL）方法采用了分工机制，以提升智能体间的合作效果。然而，缺乏专门设计的基准任务来评估和促进分工与合作的机制，限制了这些方法在实际应用中的有效发展。为此，我们提出了复合任务挑战（CTC），这是一个专门设计的任务套件，明确要求分工和合作以成功完成任务。
CTC任务基于两个核心设计原则构建：1）分工是任务成功的必要条件；2）任何原子子任务的失败都会导致整体任务的失败。第一个原则强调了分工的必要性，而第二个原则则强化了合作的重要性，使得这两个要素在CTC任务中都是成功的关键。
我们对九种代表性的合作MARL方法在CTC任务上进行了评估。实验结果显示，所有方法在所有CTC任务上测试获胜率均为零，突显了CTC任务的挑战性以及当前方法的局限性。为了促进未来的研究，我们还引入了一种指导性解决方案，该方案在所有任务上实现了非零的测试获胜率，证明了CTC任务的可解性。然而，该指导性解决方案的性能仍然不够理想，进一步强调了CTC任务作为推动合作MARL研究的挑战性和重要性。
博主点评： CTC的提出为合作多智能体强化学习提供了一个新的测试平台，强调了分工与合作在任务成功中的重要性。这不仅为研究人员提供了评估现有算法的机会，也为未来的算法改进指明了方向。