我们研究了大语言模型在文本语料库可视化探索中的应用。提出零样本可视化(ZSV)任务,用户用自然语言指定概念,系统将文档映射到相应概念轴上进行可视化。构建实用的 ZSV 系统需要在特征函数、实现效率和前后处理之间做权衡。为此我们建立了基准,比较了嵌入相似度、直接语义判断和条件似然估计等方法。通过多个数据集和使用场景,评估了语义忠实度、分数保真度和计算成本等属性。实验表明基于下一个 token 概率的打分在实用性上最优。进一步将该方法应用于未标注语料,观察其在真实探索中的行为。结果显示需要使用分级轴配合二元相关过滤,并发现离题文档存在组合情感偏差。最后给出构建端到端 ZSV 基线的实用指南。
点评