NeFut Logo NeFut
EN 管理员登录

[AI学术] 基于分布式强化学习的多目标在轨检查风险敏感任务规划

发布于:2026-11-04 22:00 最后更新:2026-11-05 00:45
#Machine Learning #optimization #Artificial Intelligence

多目标在轨服务任务需要能够随运行条件变化而自适应的规划工具,同时必须考虑安全关键航天飞行固有的结果不确定性。本文提出一种针对低地球轨道多目标服务活动的自适应规划方法,并将其应用于低推力服务器执行的检查任务。该方法基于分布式强化学习(Distributional Reinforcement Learning),通过学习任务回报的完整分布,实现每一步规划的显式风险敏感决策。具体而言,使用量化回归深度 Q 网络(QR‑DQN)智能体,根据预测回报的期望与方差通过均值‑方差准则 jointly 选择下一个检查目标。\n\n任务环境采用圆形轨道模型,轨道倾角存在分布,并使用 Edelbaum 的组合机动低推力转移估算。观测向量包括轨道要素、访问历史、每个目标的观测风险状态以及剩余任务时间预算。目标的风险状态在任务期间以随机方式变化,使得检查结果不确定,并在风险中性与风险规避规划策略之间形成操作意义上的区别。由于任务时间预算通常只能容纳部分候选目标,规划器还必须决定具体检查哪些目标。\n\n在包含五颗目标卫星的数值实验中,风险规避权重能够在保持环境和奖励不变的前提下,使策略在平均回报与回报方差之间形成一条平滑的权衡曲线。相较于风险中性智能体,风险规避智能体将回报方差降低约一半,并显著降低任务失效的概率,代价是平均回报略有下降。为验证学习到的策略,本文通过枚举所有可行的访问顺序精确计算了有效前沿(在每个回报方差水平下可达的最高平均回报)。在相同方差条件下,学习策略的平均回报接近该前沿,而风险规避策略的任务失效概率低于前沿策略。\n\n点评:本文展示了分布式强化学习在航天任务规划中的实用性,尤其是通过 QR‑DQN 实现的均值‑方差风险控制,为低推力在轨检查提供了可量化的安全保障。未来可进一步扩展至更复杂的轨道动力学和多任务协同场景。

原文链接: https://arxiv.org/abs/2610.41647

[h] 返回首页