视频导演代理负责多阶段制作,以实现用户的创意构想。近期研究表明,自我进化能够显著提升剧本规划效果,但导演与用户交互的相互强化仍被忽视。更好的交互可以澄清用户意图并指导工作流优化,而更可靠的执行则使合作从故障排查转向创意决策。为此我们提出 LIT(Learning to Interact and DirecT)框架,包含导演代理、模拟用户和元工程师三部分。模拟用户向导演分配创意任务,以暴露其薄弱环节;元工程师依据任务轨迹调整导演的交互与制作策略。该方案虽能修复已发现的问题,却仍依赖元工程师的被动归因,难以适应更广泛的交互模式和制作技巧。为突破此局限,LIT 引入共进化范式,使元工程师主动学习外部知识,提升发现问题和提出方案的能力。元工程师、模拟用户与导演形成闭环进化,协同提升系统的导演水平和交互能力。实验在 Test 与 OOD Test 两个划分上进行,LIT 相比初始流水线将制作得分提升 19.1%,交互得分提升 32.0%。受控消融实验显示,制作与交互的提升呈正相关,且共进化机制进一步鼓励导演技能和交互模式的探索。
点评:LIT 通过让元工程师主动获取知识,实现了导演系统的自我完善,展示了交互与执行共同进化的潜力,为未来多模态创作平台提供了可行路径。