摘要
机器学习在科学设施的实时监控、优化和控制方面展现出显著的潜力。然而，在操作环境中部署和维护机器学习模型仍然是一个重大工程挑战。每个设施都具有独特的数据协议、非标准格式和基础设施约束，迫使团队为每个新应用重建集成管道。
我们提出了SMOCS（流式监控优化与控制系统），这是一个基于Kafka的容器化框架，旨在解决这一挑战，具体贡献如下：
- 分层抽象：在Apache Kafka之上提供了一种分层抽象，能够将基础设施与应用逻辑分离。
- 三线程代理架构：通过三线程代理架构，时间上解耦数据摄取、模型训练和实时推理，支持从实时数据流中进行持续在线学习。
- 配置驱动的部署模型：使领域专家能够在没有软件工程专业知识的情况下操作机器学习管道。
SMOCS具有设施平台无关性、故障隔离设计，并通过Docker容器化实现横向扩展。该框架现已作为开源软件在Jefferson Lab的Github上公开发布。
博主点评： SMOCS框架有效解决了机器学习模型在复杂环境中的部署难题，通过Kafka的强大功能和容器化设计，简化了监控与优化流程，极大地提升了行业应用的灵活性与效率。其开源性质也为更多研究与实践提供了基础。