当前的AI评估框架主要关注技术性能，包括准确性、鲁棒性、推理能力和政策合规性。这些指标固然重要，但对于直接与用户通过自然语言互动的系统来说，显然不够。人机交互的AI系统越来越多地被用作顾问、教练、导师和伴侣。在这些角色中，它们的回应能够影响用户的推理方式、情感解读、信念形成、信任校准和决策过程。因此，评估的相关单位不仅是模型本身，还有人机交互。
本文提出了心理能力作为AI评估中的一个缺失维度。我们将心理能力定义为人机交互的AI系统在支持用户认知、情感解读和行为决策方面的能力，这种能力需要适应用户、情境和交互目的。这包括交互属性，如框架、语气、感知权威、响应性、不确定性处理和对话引导。
现有的评估方法虽然涵盖了部分问题，但很少直接评估这些心理效应。基于行为科学和人机交互研究，本文概述了心理能力的概念框架及其核心领域。我们并不提出具体的基准，而是定义了这一构念，明确其边界，并描述如何通过情景探测、结构化人类评估和模型辅助评估方法进行评估。我们认为，心理能力应成为模型提供者、部署组织、研究人员和监管者关注人机交互AI系统实际效果时的核心考虑因素。
博主点评： 本文强调了在AI评估中考虑人机交互的心理维度的重要性，指出仅依赖技术性能指标不足以全面评估AI的影响，尤其是在与人类互动密切的应用场景中。未来的AI评估框架应整合心理能力的测量，以确保AI系统能够更好地服务于用户需求。