在视频描述生成中，视觉语言模型表现出色，但通常生成的描述无法有效捕捉个体观众的注意力。
为此，我们提出了 VEGAS（通过视线得分的视频描述评估），这是一种无训练的度量标准，利用测试时的视线数据来采样个性化的、与注意力对齐的文本。该度量标准是一种跨模态的信息论度量，量化候选描述与观众注意力的匹配程度。
为了评估 VEGAS，我们整理了一个数据集，包含以自我为中心的活动和配有同步视线及参考注释的教学幻灯片。我们随后通过拒绝采样的方法，根据 VEGAS 选择描述，而无需重新训练模型。
实验表明，使用 VEGAS 选择的描述与人类关注点的对齐程度显著提高，并改善了描述到视频的检索效果，展示了在推理过程中融合观众注意力的实际效用。
博主点评： VEGAS 的提出为视频描述生成带来了新思路，关注观众的注意力能够显著提升描述质量，尤其在个性化推荐和检索任务中显示出强大潜力。通过结合注意力机制，未来的研究可以进一步探索如何更好地理解和利用观众的视线信息。