AutoIndexer 是一种生成式模型，采用新颖的训练与解码机制模拟编辑链（Chain of Edits），使模型能够在生成后通过插入、替换、删除 token 来灵活修改已有输出。模型在序列中使用标记 token 表示编辑的开始与结束，并移动光标到待编辑位置，类似文本编辑器的操作。
训练时，先对真实标签施加逆向编辑操作得到扰动序列，模型学习逆向编辑的逆过程，即“撤销”这些扰动，从而具备在错误上下文下恢复正确内容的能力。该机制让 AutoIndexer 对代码纠错等编辑任务表现出色，同时在常规 LLM 基准上不牺牲性能。相比传统自回归模型只能一次性生成、扩散模型只能在固定上下文中插入有限 token，AutoIndexer 实现了真正的后生成上下文编辑。代码已开源：https://github.com/AutodeskAILab/autoindexer。
点评