研究表明，国家语言模型为其语言社区提供了一个测量公民言论和价值观的工具。葡萄牙的AMALIA模型，作为一个拥有90亿参数的公共资金模型，在一致性方面表现出色：当被要求对权威的道德基础进行编码时，它与训练有素的人类编码者的F1分数差距仅为6分，尽管其体量仅为开放模型的八分之一到十三分之一。
然而，一致性仅代表可靠性，而非有效性。对于那些必须通过推断而非表面特征读取的理论构念，关键在于模型是否遵循构念理论，或者通过相关的捷径达到正确的编码。
我们通过恢复差距来测试这一点：即当一个整体提示被分解为编码本的原子条款并通过理论的显式规则重新组合时，性能损失的程度。如果校准能够缩小这一差距，则某种可移植性应该在不同模型和语言之间存在；反之，则构念-模型工具可能是失败的主要原因。
我们探讨了一个经过校准的英文工具是否能转移到AMALIA-9B及欧洲葡萄牙语的情况。结果表明，它并不能成功。分解仅恢复了AMALIA整体性能的约一半，错误分析表明模型依赖于表层相关性，特别是在权威人物附近的道德愤怒。
相比之下，一个开放的多语言LLM在相同的葡萄牙语语料库和指令下，成功缩小了这一差距，表明语料库并不是主要原因。虽然AMALIA仍可以进行规模化的筛选和预编码，但在独立测量这一构念的能力上仍显不足。
本研究是一个单一的反例，而不是对国家模型的最终评判；它主张，主权LLM基准测试不仅应测试与人类编码者的一致性，还应考察这一一致性所依据的证据路径。
博主点评： 本研究揭示了国家级语言模型在有效性方面的潜在局限，尤其是在道德构念的测量上。虽然AMALIA在一致性上表现良好，但其有效性仍待验证，提示我们在评估LLM时应关注其推理路径而非仅仅是结果。其结果为未来模型的开发和测试提供了重要启示。