粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
近日，由香港科技大学、腾讯混元已经清华大学联合推出了Follow-Your-Emoji，一种基于扩散的肖像动画框架，它使用目标地标序列为参考肖像制作动画。
肖像动画的主要挑战是保留参考肖像的身份并将目标表情转移到此肖像上，同时保持时间一致性和保真度。
为了克服这些挑战，Follow-Your-Emoji采用了两项精心设计的先进技术，以增强其稳定扩散模型的性能。
该团队引入了一种新颖的表情感知地标，这是一种显式的运动信号，用于指导动画过程。
通过使用地标编码器提取表达感知地标序列的特征，并首先将这些特征与多帧噪声融合，然后利用渐进策略随机屏蔽输入潜在序列的帧。
最后，我们将此潜在序列与融合的多帧噪声连接起来，并将其馈送到 Denoising UNet 以进行视频生成的去噪过程。
外观网络和图像提示注入模块帮助我们的模型保留参考肖像的身份，并且时间注意力保持时间一致性。
这种地标不仅确保了推理过程中肖像与目标运动之间的精确对齐，还有助于提高模型在描绘夸张表情（例如大瞳孔运动）方面的能力，同时避免了身份泄露的风险。
其次，该团队还提出了一种面部细粒度损失函数，它利用表情和面部掩码来提高模型对微妙表情变化的感知能力，并改善对参考肖像外观的重建效果。
这使得该方法在控制各种风格肖像的表情方面展现出卓越的性能，包括真实人物、卡通角色、雕塑作品，甚至是动物形象。
EmojiBench 的示例，在肖像图像中具有高表情多样性、夸张性和多种视觉风格
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-09-18
阿里8B模型拿下多页文档理解新SOTA，324个视觉token表示一页，缩减80%
2024-09-16
Mac上运行微软最新Phi-3.5-mini大模型+开发Agent
2024-09-12
GPT-4 和 GPT-4o的主要区别
2024-09-10
使用 Dify 和 AI 大模型理解视频内容：Qwen 2 VL 72B
2024-09-10
语音识别大赛五连冠！开会就能用！
2024-09-09
独家丨科大讯飞多模态：都说端到端好，看谁有本事先做出来
2024-09-08
国内首个多模型AI搜索引擎，专门为AI设计的搜索引擎
2024-09-07
语音驱动嘴型与面部动画生成算法大盘点
2024-06-17
2024-07-11
2024-06-17
2024-04-21
2024-08-06
2024-08-30
2024-06-26
2024-07-11
2024-07-15
2024-06-16
2024-09-01
2024-07-31
2024-07-25
2024-07-19
2024-07-15
2024-07-15
2024-07-14
2024-07-14
回到顶部