NeFut Logo NeFut
EN 管理员登录

[AI学术] Pistis 技术报告概述

发布于:2026-09-25 22:00 最后更新:2026-09-28 00:49
#AI #Machine Learning #LLM

我们推出了 Pistis 系列模型,包含基于 Qwen3.6 的 27B 参数和基于 Qwen3.5 的 9B 参数多模态大语言模型。模型通过一个通用且可扩展的后训练框架构建。框架首先通过大规模多模态监督微调(SFT)奠定强大的基础。

在此基础上,我们提出了交叉蒸馏与强化学习(IDRL)方案,在同一训练循环中交替执行 on‑policy 蒸馏和强化学习。相比于单独优化或静态联合损失,IDRL 能更有效地转移知识、提升优化稳定性,并为长时程代理轨迹提供更精确的信用分配,从而在提升性能的同时缓解常见的能力权衡。

在两种规模的模型上,框架分别生成了两种专用变体:Pistis‑Thinking 侧重于深度多模态推理,Pistis‑Agentic 进一步加入了代理轨迹数据,以支持长时程规划、迭代推理和工具使用,尤其在多模态搜索方面表现突出。两种规模的模型均超越了对应的基线模型。

除模型参数优化外,我们还提出了 Pistis‑Auto‑Harnessing(PAH)系统级方法,通过迭代优化自动提升推理 harness。实验表明,PAH 在不修改模型参数且不增加交互预算的前提下,显著提升了模型性能。

点评

原文链接: https://arxiv.org/abs/2609.28554

[h] 返回首页