现有的文本摘要研究主要集中在单一信息（如新闻文章、报告）上，而忽视了说话者或作者之间的互动。对话作为一种丰富的沟通渠道，允许多个参与者进行反复交流以构建意义。我们提出了一种对话摘要框架，明确建模语义和情感动态，基于适应的分层代理链方法，利用多模态对话输入。
我们的框架从两个角度对对话进行分解：
- 基于所有参与者的发言进行话题分段；
- 针对特定参与者的发言进行分段。
这些分段用于生成相应的摘要，同时结合自动推断的情感。话题和参与者级别的摘要被汇总成一个对话摘要，捕捉语义内容和情感轨迹。为了超越内容准确性，我们引入了情感轨迹度量，评估摘要在多大程度上保留了情感流。
在多模态对话数据集上进行的小型语言模型实验表明，我们的框架能够生成同时包含语义和情感内容的摘要。进一步的实验通过显式情感标签的可用性强调了我们提出的方法的有效性，以及在使用语言模型进行对话分析中的机会。
博主点评： 本研究创新地将情感动态纳入对话摘要的框架中，不仅关注内容的准确性，还引入了情感轨迹的度量，显著提升了摘要的深度与多维性。这一方法为未来的对话分析提供了新的视角和丰富的研究机会，尤其在多模态数据的应用上具有广阔的前景。