在 AI 驱动的软件系统中,数据不再是单纯的输入,而会影响模型行为、评估结果以及合规使用。我们对来自九家机构的 16 位从业者进行访谈,采用反思性主题分析,归纳出六个主题。首先,可追溯性从模块调试转向对模型行为的归因;其次,使用模型本身评估数据质量会产生循环依赖。再次,智能体的上下文和记忆被视为数据对象;合成数据和伪标签数据使真实性成为质量关注点。基础模型的训练数据必须符合合法性要求,而代表性则通过系统在安全情境下的覆盖程度来判断。此前的机器学习研究往往把这些问题单独讨论,而本研究展示了它们在工程和组织层面如何交织。我们进一步提出了五个反复出现的条件,用以解释这些主题如何导致对数据和 AI 结果的信任下降。最后,基于生命周期保障的框架被提出:在模型行为、基于模型的判断或智能体行动中嵌入数据时,需要提供证据证明数据能够支撑特定的 AI 声明。
点评