SpheriCity是一个基于专家知识的对话原型,旨在支持从可持续性报告中进行可信赖的知识理解。城市层面的循环经济评估报告包含关于材料、基础设施和政策干预的丰富信息,但由于其长度和异构结构,使得从多个文档中进行综合和比较变得困难。虽然大型语言模型(LLM)承诺可以更快地获取和综合知识,但其不透明的推理、幻觉现象以及缺乏来源透明性在高风险的可持续性背景下引入了信任和可解释性方面的风险,需要进行验证。
SpheriCity通过一个以来源为先的对话代理来解决这些挑战,强调证据可追溯性、结构化综合和交互框架,以支持可持续性报告的探索性查询和跨文档综合。我们与六位可持续性专家进行了形成性专家评审,使用代表性的查询涵盖跨城市比较、政策总结和推荐导向任务。专家们在多个维度上评估了系统的响应,并对系统在可持续性知识工作中的实用性提供了定性反思。
我们的结果显示,透明的来源、上下文解释、可解释性以及与专家工作流程的一致性在很大程度上影响了专家的信任以及对系统有用性的判断。此项工作贡献了(1)一个用于可持续性知识理解的对话原型,(2) 一个基于专家的评估框架,用于评估高风险知识领域中的AI响应,(3) 设计洞察,揭示来源、沟通不确定性以及在工作流程中的整合如何影响专家用户对可持续决策支持的AI助手的信任。
博主点评: SpheriCity展示了如何通过强化证据可追溯性和上下文解释,提升AI在可持续性领域的信任度。这一项目不仅为AI在复杂知识领域的应用提供了有力支持,也为未来的研究提供了重要的设计参考。其在高风险环境下的可解释性和透明性尤为重要,值得更多关注与探讨。