随着机器学习系统在个人生活中的决策影响日益增大,向用户提供可操作的补救方案变得尤为关键。传统做法依赖昂贵的人为监督,需要在搜索低成本行动前手工设计代价函数。本文提出 Data-Driven Action Recourse(DDAR),首次在无需人工标注行动代价的前提下实现补救推荐。DDAR 的核心假设是:历史用户轨迹中出现概率高的路径对应的代价更低。基于此假设,DDAR 首先利用历史数据学习用户行为的动力学模型,然后在该模型下搜索能够实现期望结果的轨迹。实验表明,DDAR 能在不依赖人工监督的情况下生成合理的补救建议,其平均行动代价显著低于现有方法。
关键技术
- 动力学模型:使用历史用户序列学习状态转移概率 $P(s_{t+1}\mid s_t, a_t)$。
- 轨迹搜索:在学习到的模型中通过最小化代价函数 $\sum_{t} c(a_t)$ 寻找满足目标分类的最优动作序列。
- 代价估计:直接使用轨迹出现频率的倒数作为近似代价,无需人工标注。
实验结果 在多个公开数据集上,DDAR 推荐的动作集合更具可行性,且平均代价比基线方法降低约 15%。
点评