我要投稿

腾讯新研究Follow-Your-Emoji：可生成面部说话视频的真人、卡通、雕塑、动物...

发布日期：2024-07-24 18:25:05 浏览次数： 1724

近日，由香港科技大学、腾讯混元已经清华大学联合推出了Follow-Your-Emoji，一种基于扩散的肖像动画框架，它使用目标地标序列为参考肖像制作动画。

肖像动画的主要挑战是保留参考肖像的身份并将目标表情转移到此肖像上，同时保持时间一致性和保真度。

为了克服这些挑战，Follow-Your-Emoji采用了两项精心设计的先进技术，以增强其稳定扩散模型的性能。

该团队引入了一种新颖的表情感知地标，这是一种显式的运动信号，用于指导动画过程。

通过使用地标编码器提取表达感知地标序列的特征，并首先将这些特征与多帧噪声融合，然后利用渐进策略随机屏蔽输入潜在序列的帧。

最后，我们将此潜在序列与融合的多帧噪声连接起来，并将其馈送到 Denoising UNet 以进行视频生成的去噪过程。

外观网络和图像提示注入模块帮助我们的模型保留参考肖像的身份，并且时间注意力保持时间一致性。

这种地标不仅确保了推理过程中肖像与目标运动之间的精确对齐，还有助于提高模型在描绘夸张表情（例如大瞳孔运动）方面的能力，同时避免了身份泄露的风险。

其次，该团队还提出了一种面部细粒度损失函数，它利用表情和面部掩码来提高模型对微妙表情变化的感知能力，并改善对参考肖像外观的重建效果。

这使得该方法在控制各种风格肖像的表情方面展现出卓越的性能，包括真实人物、卡通角色、雕塑作品，甚至是动物形象。

通过实施一种简单而有效的渐进式生成策略，该团队将模型扩展到了稳定的长期动画领域，从而进一步提升了其应用潜力。

为了填补该领域基准测试的空白，他们创建了EmojiBench，这是一个综合性的基准测试集，包含了各种肖像图像、驱动视频和地标数据。

EmojiBench 的示例，在肖像图像中具有高表情多样性、夸张性和多种视觉风格

通过在EmojiBench上进行了广泛的评估，以充分验证Follow-Your-Emoji方法的优越性。

这些评估结果表明，最新方法在处理复杂表情和动画任务时具有显著的优势。

而为了训练最新模型，他们引入了一个新的表情训练数据集，其中包含来自 115 个受试者的 18 个夸张表情和 20 分钟真人视频。

以下是单动作+多肖像训练结果：

以下是单人肖像+多人动作训练结果：

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

智谱开源新一代多模态大模型CogVLM2，性能媲美GPT-4V

2024-05-30

GPT-4 和 GPT-4o的主要区别

2024-09-12

Flowise AI 工作流进阶: 常用组件介绍+连 Notion 做知识库

2024-06-17

面壁小钢炮 MiniCPM-V 2.6 部署指南

2024-08-06

Qwen2-VL 全链路模型体验、下载、推理、微调实战！

2024-08-30

深入解析Llama 3：开发者如何充分利用这一开源大模型

2024-04-21

作为微软开源的全新架构，Florence-2 以其小巧的体积、炸裂的性能以及对多任务的统一处理方式，在视觉理解领域掀起了一阵旋风

2024-06-26

企业如何构建大模型营销体系：架构与实战

2024-07-07

AGI｜基于Joint BERT模型的意图识别技术实践

2024-07-21

ChatGPT记忆功能全解析：实用场景与操作指南

2024-06-14

大家都在问

大模型能做对数学题吗？

2024-09-26

实测豆包AI视频模型Seaweed，击败Sora的含金量到底有多少？

2024-09-26

多模态大模型中，多模态融合后怎样知道最终结果受哪种模态影响更大？

2024-09-01

从AIGC短剧到金融、零售应用，视频生成大模型价值几何？

2024-07-15

Stable Diffusion中CFG有啥用？

2024-07-14

商汤大模型的「5o」交互，普通人如何和 AI 过一天？

2024-07-10

实测：开源轻量化模型Gemma 2 在 A4000 GPU 上表现如何？

2024-07-02

AI结合游戏NPC会发生什么？

2024-06-29

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯