NeFut Logo NeFut
EN 管理员登录

[AI学术] 探究SAM中的纹理证据:特征、提案掩膜与纹理分割

发布于:2026-06-17 22:00 最后更新:2026-06-20 13:45
#algorithm #Open Source #Segmentation

纹理分割强调基础分割,因为有意义的区域是由材料或重复外观定义的,而非物体身份。Segment Anything Models(SAMs)在这种纹理定义的分区中往往默认失败,但这种失败并不简单:纹理证据可能缺失,提案库中可能没有,或存在但被对象中心的读出错误选择或组合。我们探讨在适应之前,冻结的SAM中已经保存了哪些与纹理相关的证据。我们研究两个冻结的证据空间:通过最小聚类读出探测的多尺度特征,以及将自动提案库视为监督整合读出的证据。整个过程中,SAM保持冻结;我们不对主干进行微调,也不重新训练提案生成器。通过RWTD、STLD、ADE20K选定的精细裁剪补充和ControlNet拼接的PTD桥接档案,发现冻结的SAM默认不是纹理分割器,但其失败并非简单的纹理盲。粗糙的冻结特征保留了纹理组织,提案库中通常包含与纹理对齐的掩膜或片段。自然场景更常需要对片段的组合和承诺,而更干净的合成情况则更常简化为选择一个已经连贯的提案。因此,默认掩膜的失败应被分解为表示证据、提案库支持、读出不匹配和承诺失败。

博主点评: 该研究深入分析了SAM模型在处理纹理分割时的不足,提出了将纹理证据与提案库相结合的视角,揭示了模型在特征提取和读出过程中的复杂性。这为未来的模型优化提供了重要的思路,尤其是在多样化场景中的应用。

原文链接: https://arxiv.org/abs/2606.14755

[h] 返回首页