项目简介

Stable-Hair 是一种新颖的基于扩散的发型转移方法，可以稳健地转移各种现实世界的发型。我们展示了其在各种具有挑战性的发型上的性能，实现了高度详细和高保真度的传输，取得了令人印象深刻的结果，同时保留了原始的身份内容和结构。

目前的毛发转移方法难以处理多样化且复杂的发型，从而限制了它们在现实世界中的适用性。在本文中，我们提出了一种新颖的基于扩散的头发转移框架，名为 Stable-Hair，它可以将各种现实世界的发型稳健地转移到用户提供的面孔上以进行虚拟试发。为了实现这一目标，我们的 Stable-Hair 框架被设计为两阶段管道。在第一阶段，我们训练秃头转换器和稳定扩散，以从用户提供的面部图像中去除头发，从而产生秃头图像。在第二阶段，我们专门设计了三个模块：Hair Extractor、Latent IdentityNet 和 Hair Cross-Attention Layers，将高度细节和高保真的目标发型转移到秃头图像上。具体来说，毛发提取器经过训练，可以使用所需的发型对参考图像进行编码。为了保持源图像和传输结果之间身份内容和背景的一致性，我们采用潜在身份网络对源图像进行编码。借助 U-Net 中的头发交叉注意力层，我们可以准确地将高度细节和高保真度的发型转移到秃头图像上。大量的实验表明，我们的方法在现有的毛发移植方法中提供了最先进的 (SOTA) 结果。

背景

随着数字媒体和虚拟现实应用的日益普及，个性化虚拟化身和虚拟试穿系统已成为一个重要的研究领域。毛发移植是该领域中最具挑战性的任务之一。近年来，生成对抗网络（GAN）的进步推动了该领域的重大进展。然而，这些基于 GAN 的方法往往难以处理现实场景中遇到的多样化和复杂的发型，这严重限制了它们在实际应用中的有效性。

方法

我们的稳定头发由两个阶段组成，以实现高质量的头发转移。首先，将用户输入的源图像转换为光头代理图像。这种转换是使用预先训练的稳定扩散 (SD) 模型与专门的秃头转换器结合来完成的。在第二阶段，我们采用预训练的 SD 模型和毛发提取器将参考毛发转移到秃头代理图像上。毛发提取器负责捕获参考毛发的复杂细节和特征。然后通过新添加的头发交叉注意层将这些特征注入到 SD 模型中。通过利用这两个阶段，我们的方法实现了高度详细和高保真的毛发移植，产生自然且视觉上吸引人的结果。

视觉比较

与其他方法相比，我们的方法实现了更精细和稳定的发型转移，而不需要精确的面部对齐或明确的掩模进行监督。

跨域传输

我们方法的稳健性使得发型能够跨不同领域转移，这是以前的方法无法实现的能力。这表明我们的方法在发型转移领域取得了重大进步。

更多结果

我们还提出了一系列其他结果，证明了我们方法的稳健性和优越性。