金融自然语言处理通常遵循两步流程：先用人工标注验证情感工具的构建效度，再假设该工具能够提取市场信号。该假设等价于两种评估度量相同。我们在一个可以同步测量的场景中检验此假设：收集2002‑2025年证券集体诉讼文本，得到70,500 条X信息，并关联异常股票收益，同时抽取单标注员的金标准样本。对五种情感仪器（VADER、Loughran‑McDonald、FinBERT、Twitter‑RoBERTa、以及一个大语言模型标注器）使用完全相同的处理流水线进行实验。结果表明，构建效度与预测效度的关系受抽样方式和分数表示的影响。采用传统的工具特定抽样时，人类一致性在同日关联上比在提前一天的预测上更紧密；而在固定样本量面板上，两种时距的分级秩相关相似，但粗略排序仍然薄弱。因而基准一致性只能证明语义有效性，却不足以决定预测排序。另有17.6% 的信息为垃圾邮件，信息量既不预测市场损失，也不预测和解规模。
点评