NeFut Logo NeFut
EN 管理员登录

[AI学术] 低资源条件下的沙土堤坝检查:多条件扩散合成技术的突破

发布于:2026-07-13 22:00 最后更新:2026-07-14 12:04
#algorithm #Machine Learning #Open Source

沙土堤坝上的沙土泡是安全关键的缺陷,但像素级检测受限于稀缺的注释。我们提出了一种基于扩散的合成管道,用于低资源的沙土泡图像生成。

该管道使用经过 DreamBooth 微调的 Stable Diffusion XL,并通过多分支 ControlNet 堆栈进行条件处理,从小型策划的参考集生成合成检查图像。软遮罩修复协议在重新渲染周围场景的同时保留真实缺陷像素,避免了无缝克隆合成带来的接缝和颜色偏移。

经过遮罩条件的 ControlNet 还可以在选定的遮罩内生成新的沙土泡,使得遮罩在构造上成为分割标签;然而,由于大规模标签认证在可用的真实训练门控下仍未解决,我们将软遮罩预设作为默认选项。

文本条件通过分类驱动的 Prompt Atlas 提供,扩展一个领域规范为分层的、CLIP 验证的提示库,并在不更改代码的情况下转移到新的缺陷类别。从真实训练图像中,该管道生成了 1,020 个合成候选图像,其中 815 个通过了 CLIP 可接受性过滤器。

我们使用分布和保真度-多样性度量评估图像质量,对比真实参考集和泊松基线,并审核分布漂移和记忆化情况。没有单一的预设占主导地位;每个预设在保真度、多样性和标签可靠性之间进行权衡。

因此,我们将标签可靠的预设作为默认选项,并将策划的混合视为自然增强集。我们的声明仅限于图像质量、标签来源和多样性;下游分割留待未来的工作。代码和工件清单已发布以实现可重复性。

博主点评: 这项研究展示了在低资源条件下通过合成图像提升沙土堤坝检查的潜力,尤其是在缺乏足够标注数据的情况下。多条件的扩散合成方法结合了创新的遮罩处理和文本条件,展现了生成模型在实际应用中的重要性,未来有望进一步推动这一领域的发展。

原文链接: https://arxiv.org/abs/2607.08794

[h] 返回首页