在科学计算领域，领导计算设施管理着大量科学数据集，这些数据集在作为AI训练数据之前通常需要进行显著的转换。然而，目前没有现有框架能够完全统一自动化转换、准备评估、来源追踪和代理原生部署。
我们提出了REDI，这是一个开源框架，通过一个统一的五阶段管道（摄取、预处理、转换、结构化和输出）来填补这一空白。每个阶段都配备了可重复性和作为代理可调用技能的部署工具。伴随工具SetGo则自动化实现了FAIR合规性和目录发布。
在气候、蛋白质组学、材料科学和核聚变等领域进行评估后，REDI能够将所有数据集从原始状态转换为适合AI的状态，并且其输出经过领域专家参考验证。初步结果显示，在气候案例中，REDI在Frontier上实现了接近理想的并行扩展，支持100个节点的运算。
经过来源追踪的分析显示，文件I/O是管道成本的主要来源，而格式选择则是首要的优化杠杆。这些结果确立了REDI作为一个跨领域平台的地位，提供了科学AI的自动化数据准备，将数据准备的瓶颈转变为可重复、可重用的社区资产。
博主点评： REDI框架的推出标志着科学AI数据准备的重大进展，尤其是在多领域应用的有效性上。通过高效的自动化流程，REDI不仅提升了数据处理的效率，也为科研人员在数据准备阶段提供了更高的可重复性和可靠性。随着这种工具的普及，科学研究的门槛有望进一步降低。