摘要
产品数据科学家常常请求基于大语言模型（LLM）的代理帮助完成重复的执行任务，例如数据清洗、编写SQL、选择统计测试和格式化结果。可重用的技能文件旨在通过为任务家族打包指导来避免从零开始的提示。专家编写的技能可以编码高质量的指导，但在多个数据科学任务家族中编写和维护这些技能会造成人工瓶颈。我们探讨LLM生成的技能是否提供了一种有用的低维护替代方案：它们是否能在仅依赖任务提示的基础上提升性能？
我们在四个生命周期阶段进行测试：数据准备、数据提取、统计分析和报告，每个阶段使用一个生成的技能。结果表明，完全生成的技能相较于无技能提示并未可靠提升性能。接着，我们探讨技能的任何部分是否有用，通过消融不同的技能组件进行实验。主要消融测试涵盖了56个任务、九种模型配置和三个提供者，共产生7,560次实验。与仅使用任务提示相比，完全生成的技能或任何消融的技能变体都未显著提高性能；所有p值至少为0.396，变体间的总差异仅为1.2个百分点。附加的令牌匹配控制增加了1,512次实验，结果显示完全技能的表现与与任务无关的技能格式内容相似。这些结果提醒我们，在数据科学工作流中默认使用单一的LLM生成技能作为一次性提示策略是有风险的。
博主点评： 研究表明，尽管LLM生成技能在理论上具有吸引力，但在实际应用中并未显著提高数据科学任务的执行效果。这提示我们在使用AI辅助工具时应谨慎，避免过于依赖单一的生成技能，尤其是在复杂的工作流程中。