摘要
在边缘智能服务中，主动预警是一项重要能力，系统能够在严格的延迟和隐私约束下预测某个主题是否会成功完成即将到来的任务。这种预测依赖于长期的静态属性和从历史交互日志中得出的短期动态状态。近年来，大型语言模型（LLMs）在构建这些日志的结构化配置文件方面展现出强大的长上下文推理能力，但现有解决方案在边缘部署中面临两个挑战：
- 配置文件方法通常是领域特定的，缺乏跨服务场景的可重用抽象。
- 在异构边缘集群上微调对齐模型，由于输入序列长度的变化，会导致高同步开销。
为了解决这些挑战，我们提出了CogGuard，一个针对边缘智能服务的主动预警框架。CogGuard将基于LLM的离线配置文件构建与基于小型语言模型（SLM）的在线得分预测解耦，通过共享的静态-动态配置文件到得分的管道来实现，并在教育表现预警和操作任务结果预警两个代表性场景中进行实例化。
为了高效构建配置文件，我们设计了具有前缀对齐KV缓存重用的场景特定配置方法，以减少重复编码开销。在边缘端模型对齐方面，我们提出了一种基于长度感知的分布式微调策略，结合对比正则化，以缓解异构集群上的工作负载不平衡。实验结果显示，CogGuard将配置文件构建时间减少了多达48%，分布式微调时间减少了19%，在100分制预警任务中分别达到了13.4和5.9的平均绝对误差（MAE）。在最大的教育设置中，CogGuard相比于最强基线减少了15.4%的预测误差。
博主点评： CogGuard通过解耦配置文件构建与得分预测，展现了在边缘智能服务中高效、灵活的预警能力，尤其适合处理异构环境下的复杂任务。其在减少延迟与提高准确度方面的创新，为未来的智能系统提供了重要的参考。