Topic modeling 是发现文档隐藏主题的有效技术,广泛用于文本挖掘和数据分析。近年来,基于大语言模型(LLM)的主题模型通过提示 LLM 生成主题并分配给文档,得到更自然可读的主题。但传统的主题分配方式存在缺点:无法得到文档的主题分布、主题过宽或过窄、资源消耗随文档数量和长度线性增长。这在需要高质量深度分析的大规模工业场景中尤为突出。为此,本文提出 SeLATM 框架,核心是对文档进行段级别的主题生成,并通过智能体(agent)反馈循环进行主题细化。实验在多个数据集上表明,SeLATM 在保持或提升性能的同时,大幅降低 LLM 计算资源消耗。
点评