粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
近日，由香港科技大学、腾讯混元已经清华大学联合推出了Follow-Your-Emoji，一种基于扩散的肖像动画框架，它使用目标地标序列为参考肖像制作动画。
肖像动画的主要挑战是保留参考肖像的身份并将目标表情转移到此肖像上，同时保持时间一致性和保真度。
为了克服这些挑战，Follow-Your-Emoji采用了两项精心设计的先进技术，以增强其稳定扩散模型的性能。
该团队引入了一种新颖的表情感知地标，这是一种显式的运动信号，用于指导动画过程。
通过使用地标编码器提取表达感知地标序列的特征，并首先将这些特征与多帧噪声融合，然后利用渐进策略随机屏蔽输入潜在序列的帧。
最后，我们将此潜在序列与融合的多帧噪声连接起来，并将其馈送到 Denoising UNet 以进行视频生成的去噪过程。
外观网络和图像提示注入模块帮助我们的模型保留参考肖像的身份，并且时间注意力保持时间一致性。
这种地标不仅确保了推理过程中肖像与目标运动之间的精确对齐，还有助于提高模型在描绘夸张表情（例如大瞳孔运动）方面的能力，同时避免了身份泄露的风险。
其次，该团队还提出了一种面部细粒度损失函数，它利用表情和面部掩码来提高模型对微妙表情变化的感知能力，并改善对参考肖像外观的重建效果。
这使得该方法在控制各种风格肖像的表情方面展现出卓越的性能，包括真实人物、卡通角色、雕塑作品，甚至是动物形象。
EmojiBench 的示例，在肖像图像中具有高表情多样性、夸张性和多种视觉风格
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-12-21
Gemini 2.0 Flash Thinking：谷歌推出实验性多模态推理模型，在快速生成的同时展示详细的思考过程
2024-12-20
快手可灵1.6正式上线，他们又一次超越了自己。
2024-12-19
GPT-4o掀起全模态热潮！一文梳理全模态大模型最新研究进展
2024-12-19
国家电网发布国内首个千亿级多模态电力行业大模型
2024-12-19
初创公司 Odyssey 推出 AI 工具 Explorer了
2024-12-19
利用 Gemini 构建 PDF 文档 AI 管道：原理、实现与应用（含代码）
2024-12-18
一手实测豆包新发布的视觉理解大模型，他们真的卷起飞了。
2024-12-18
百度飞桨：多模态大模型技术进展与产业应用实践
2024-09-12
2024-05-30
2024-06-17
2024-08-06
2024-08-30
2024-06-14
2024-04-21
2024-06-26
2024-07-21
2024-07-07
回到顶部