摘要
技能是软件代理的重要抽象，将人类和代理的经验转化为可重用的程序知识。然而，现有的技能库大多是手工编写、以文本为中心，或源自代理的行为轨迹，使得教程视频等多模态人类资源未被充分利用。我们提出了 RESOURCE2SKILL，一个将多模态资源（包括教程视频、代码库、文章和参考文献）提炼为软件代理可执行技能的框架。
RESOURCE2SKILL 将这些技能组织成一个层次化的多模态技能维基，每个条目结合了结构化文本、代码、视觉示例、元数据和来源。这种设计保留了来自不同资源的互补信号：视频捕捉时间操作和视觉效果，代码捕捉可执行工具模式，而文章或文献则提供概念和风格的基础。
在推理时，代理从维基中检索并组合相关技能；当覆盖率不足时，使用相同的构建操作符可以在线获取新技能。在七个实际创作领域中，RESOURCE2SKILL 比无技能代理的平均总体得分提高了 +11.9 个百分点，并在 28 个主要聚合模型-领域单元中击败了强大的基线模型。消融实验确认了多模态技能格式、层次化组织、来源多样性、选择策略和在线获取的价值。
博主点评： 这一框架的提出不仅拓宽了技能提取的边界，还有效整合了多模态资源，极大地提升了代理的智能化水平，为未来的智能系统设计提供了新的思路和方法。