在研究工作中，编辑论文中的图表是一个常规且耗时的过程：作者在修订手稿时需要重新标记组件、重新排列面板以及重新设计视觉效果。然而，在自然语言指令下自动化这一编辑工作流却面临挑战，因为科学图表是一个密集的信息图，包含了诸如示意图、图表、照片、标题和箭头等异构视觉元素，这些元素在紧密的视觉语法下组合，以推动特定论点。
为了解决这一问题，我们提出了 SciDiagramEdit，这是一个基准和技能进化框架，旨在从自然论文修订中学习，并在图表的可编辑矢量源上运行，用户可以与智能体共同检查和编辑单个原件。
我们的基准从 arXiv 的版本历史中挖掘出前后图对，这些图对基于作者自己的修订意图。为了适应多样化的编辑指令，我们采用了代理学习通过技能进化的方式：一个代理提议者不断根据多个周期的执行轨迹精炼代理的技能规范。最终的技能逐步提高了在保留验证集上的编辑准确性，提供了自然论文修订是指令驱动图表编辑有效训练信号的证据。
博主点评： SciDiagramEdit 通过利用论文修订过程中的自然语言指令，展示了机器学习在科学图表编辑中的潜力。其创新的技能进化框架为未来的图形自动化提供了新的思路，值得研究者关注和探索。