我们引入了一种用于自动化研究系统的词汇，该系统由一个或多个智能体构成，以便更容易描述和比较其设计选择。该词汇明确了以下几个方面：1）智能体的身份，2）系统中可用的操作，3）谁可以调用这些操作，4）智能体之间的通信方式，5）在不同运行中可见的信息，6）如何选择下一个行动，7）运行的开始方式，以及8）如何评估输出。\n\n一个轨迹记录了从输入任务到返回工件的单次运行。由于智能体、操作和初始化可能是随机的，因此在相同任务上的重复运行会引发轨迹的分布，而不是单一行为。我们的词汇将结构设计问题（例如智能体何时应进行通信、获得或失去能力，或在运行间传递信息）转化为可测试的选择。它还将评估者视为系统的一个组成部分，因为报告的增益取决于代理评分与真实质量的匹配程度。这种分离也将关于这些系统缺乏品味的模糊投诉分解为两个具有不同解决方案的失败。生成品味是系统在观察任何评分之前提出新轨迹的速度，而评估品味则是代理评分与其应匹配的质量之间的差距。我们在最近的自研究系统中实例化了该词汇，以说明其涵盖了在结构上差异显著的设计。\n\n博主点评： 该研究为多智能体系统提供了系统化的设计语言，使得设计和评估过程更加清晰，尤其是在处理随机性和评估标准方面，为未来的研究提供了重要的参考框架。通过定义生成与评估品味，研究者可以更好地调节系统性能和创新能力。