摘要
LLM 驱动的数据代理在数据驱动决策中扮演着越来越重要的角色。然而，现有的数据代理在面对未见数据环境和分析工作流时，往往难以泛化，尤其是在异构企业环境中。这使得合成高质量数据代理轨迹的需求日益增长，这些轨迹能够捕捉特定数据环境下复杂的分析工作流。这类轨迹支持两个关键的下游用途：一是作为监督微调（SFT）数据，以适应目标领域的数据代理模型，二是作为上下文学习（ICL）示例，引导通用 LLM 在陌生的数据环境中进行推理。
因此，我们介绍了 TOFFEE，一个通过自适应模型选择和跨任务前缀重用，利用蒙特卡洛树搜索（MCTS）从给定数据环境合成高质量数据代理轨迹的系统。我们展示了 TOFFEE 能够有效地为异构环境中的复杂分析任务生成可扩展的轨迹数据。
在本次演示中，我们介绍了 TOFFEE 的系统框架，包括任务池构建、轨迹探索器和学习成本模型。我们还介绍了 TOFFEE 的网页接口及其工作流程，并演示了两种端到端场景：用于数据代理微调的轨迹合成，以及增强数据代理推理的演示。
博主点评： TOFFEE 通过结合 MCTS 和自适应模型选择，显著提升了数据代理在复杂环境中的表现，展现了其在实际应用中的潜力。该系统不仅优化了轨迹数据的生成，还为 LLM 的上下文学习提供了新的思路，值得关注。