我们提出了一种框架,通过有针对性的成对关系来近似任务标签的联合分布,从而在多任务模型中学习跨任务关系。该方法避免了直接建模完整联合空间的难以处理的复杂度,同时利用转移学习提升了模型的整体性能。
框架的核心思想是将高维的联合分布拆解为若干可管理的二元关系,每对任务之间的关联通过条件概率或互信息等统计量进行捕获。这样既保留了任务之间的协同信息,又保持了计算上的可扩展性。
我们在 YouTube 的生产推荐系统中对该框架进行了验证。实验覆盖了 Notifications、Homepage 和 Watch Next 三大入口,分别在点击率、观看时长和用户满意度等关键指标上取得了显著提升。具体而言,跨任务关系的引入使得模型在稀疏任务上受益于密集任务的信号,实现了约 3%~5% 的相对增益。
为了促进该方法的广泛落地,我们还提供了一套工作流模板,包括数据准备、关系抽取、模型集成以及在线 A/B 测试的标准步骤。该模板可直接迁移到其他多任务场景,降低了工程实现的门槛。
点评:本框架在实际生产环境中展示了显著的提升,值得在其他多任务系统中推广。