在虚拟试穿（VTO）领域，尽管已有显著进展，用户对服装穿着方式的控制仍然有限，包括服装的大小（宽松或合身）、风格（如扎进或扎出、开或闭）以及在身体上的空间位置。为了解决这一问题，我们提出了两个互补的贡献。
首先，我们定义并解决了视觉实例提示分割（VIP-SAM）：给定一张服装的平铺图像，能够在穿着该服装的人的照片中进行特定实例的分割。这是一项实例级任务，与通常研究的类别级分割不同。
其次，我们介绍了 CtrlVTON，一个可控的 VTO 框架，它将试穿问题重新构建为图像编辑问题，并添加分割掩码作为对服装布局的像素级控制，包括风格、大小和空间位置。
VIP-SAM 和 CtrlVTON 在各自任务上均达到了最先进的结果。特别是，CtrlVTON 生成的图像在遵循用户提供的布局方面远比最强的专有编辑系统更为忠实，同时在服装真实感上也与之相匹配。
博主点评： CtrlVTON 的创新之处在于将传统的虚拟试穿方法与图像编辑技术相结合，极大增强了用户对服装穿着效果的控制。这一进展不仅提升了用户体验，也为未来的时尚科技应用开辟了新的方向。其使用的 VIP-SAM 方法为实例级分割提供了新思路，值得关注与研究。