微信扫码
与创始人交个朋友
我要投稿
前段时间分享了 AI 画漫画,今天分享一个 AI画动漫。感觉可以串起来了。
可以做几件事情:
中间的素描动画
最后结果
疏松素描参考:
最后结果
在 Huggingface 上可以运行 Demo:https://huggingface.co/spaces/Doubiiu/tooncrafter
输入图片:
输入 Prompt:an anime scene
生成视频:
输入图片:
输入 Prompt:walking man
生成视频:
给定两个动漫图像 ?1 和 ??,ToonCrafter 利用图像到视频生成扩散模型作为生成器,生成中间帧的潜变量 ?0。这些潜变量随后通过提出的细节注入解码器解码到像素空间,并以 ?1 和 ??作为细节指导。可选地,可以通过稀疏素描指导来控制插值。
给定帧潜变量 ? 作为输入,我们通过浅层的交叉注意力注入来自编码器 ℰ 的输入图像 ?1 和 ??的中间特征,同时通过残差学习,即在深层将 1 帧和 L 帧的特征相加。
不同素描指导模式的示例:(顶部)二等分(n=1)和(底部)随机位置。
ToonCrafter 与 AnimeInterp、EISAI、FILM、SEINE 的动漫插值结果的视觉对比。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候,他们在说什么?
2024-08-15
对话AI教育从业者们:AI如何解决因材施教的难题?
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及:NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26