微信扫码
添加专属顾问
我要投稿
目前的毛发转移方法难以处理多样化且复杂的发型,从而限制了它们在现实世界中的适用性。在本文中,我们提出了一种新颖的基于扩散的头发转移框架,名为 Stable-Hair,它可以将各种现实世界的发型稳健地转移到用户提供的面孔上以进行虚拟试发。为了实现这一目标,我们的 Stable-Hair 框架被设计为两阶段管道。在第一阶段,我们训练秃头转换器和稳定扩散,以从用户提供的面部图像中去除头发,从而产生秃头图像。在第二阶段,我们专门设计了三个模块:Hair Extractor、Latent IdentityNet 和 Hair Cross-Attention Layers,将高度细节和高保真的目标发型转移到秃头图像上。具体来说,毛发提取器经过训练,可以使用所需的发型对参考图像进行编码。为了保持源图像和传输结果之间身份内容和背景的一致性,我们采用潜在身份网络对源图像进行编码。借助 U-Net 中的头发交叉注意力层,我们可以准确地将高度细节和高保真度的发型转移到秃头图像上。大量的实验表明,我们的方法在现有的毛发移植方法中提供了最先进的 (SOTA) 结果。
背景
随着数字媒体和虚拟现实应用的日益普及,个性化虚拟化身和虚拟试穿系统已成为一个重要的研究领域。毛发移植是该领域中最具挑战性的任务之一。近年来,生成对抗网络(GAN)的进步推动了该领域的重大进展。然而,这些基于 GAN 的方法往往难以处理现实场景中遇到的多样化和复杂的发型,这严重限制了它们在实际应用中的有效性。
方法
我们的稳定头发由两个阶段组成,以实现高质量的头发转移。首先,将用户输入的源图像转换为光头代理图像。这种转换是使用预先训练的稳定扩散 (SD) 模型与专门的秃头转换器结合来完成的。在第二阶段,我们采用预训练的 SD 模型和毛发提取器将参考毛发转移到秃头代理图像上。毛发提取器负责捕获参考毛发的复杂细节和特征。然后通过新添加的头发交叉注意层将这些特征注入到 SD 模型中。通过利用这两个阶段,我们的方法实现了高度详细和高保真的毛发移植,产生自然且视觉上吸引人的结果。
与其他方法相比,我们的方法实现了更精细和稳定的发型转移,而不需要精确的面部对齐或明确的掩模进行监督。
跨域传输
我们方法的稳健性使得发型能够跨不同领域转移,这是以前的方法无法实现的能力。这表明我们的方法在发型转移领域取得了重大进步。
我们还提出了一系列其他结果,证明了我们方法的稳健性和优越性。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-01
GPT-4o发布新的生图模型,实测目前地表最强
2025-03-31
阿里重磅发布ChatAnyone!实时AI人物视频生成框架
2025-03-31
你的AI搭子是怎样的“人”?ChatGPT 4o图文深度测试
2025-03-31
为体验GPT-4o生图功能,终于向OpenAI付了20刀,实测完,我劝设计师们:别慌!
2025-03-31
Mistral OCR + 结构化输出:结合OCR与LLM,实现高效数据提取与组织!
2025-03-30
如何结合多模态RAG和异步调用实现大模型内容理解?
2025-03-30
阿里发布Qwen2.5-Omni:全球首个端到端全模态AI,实时音视频交互能力碾压Gemini!
2025-03-30
OpenAI,来我司上班了
2024-09-12
2024-06-14
2024-08-06
2024-06-17
2024-05-30
2024-08-30
2024-10-07
2024-11-28
2024-10-16
2024-04-21