我要投稿

AI 画动漫

发布日期：2024-06-02 05:15:14 浏览次数： 2190 作者：Renee 创业随笔

前段时间分享了 AI 画漫画，今天分享一个 AI画动漫。感觉可以串起来了。

可以做几件事情：

Cartoon Interpolation 卡通动画中间帧
Cartoon Sketch Interpolation 卡通素描中间帧
Reference-based Sketch Colorization 基于参考的素描上色
中间的素描动画
最后结果
Sparse Sketch Guidance 疏松素描指导
疏松素描参考：
最后结果

体验

在 Huggingface 上可以运行 Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter

输入图片：

输入 Prompt：an anime scene

输入图片：

输入 Prompt：walking man

技术细节

ToonCrafter 概述

给定两个动漫图像 ?¹ 和 ?^?，ToonCrafter 利用图像到视频生成扩散模型作为生成器，生成中间帧的潜变量 ?₀。这些潜变量随后通过提出的细节注入解码器解码到像素空间，并以 ?¹ 和 ?^?作为细节指导。可选地，可以通过稀疏素描指导来控制插值。

细节注入 3D 解码器的说明

给定帧潜变量 ? 作为输入，我们通过浅层的交叉注意力注入来自编码器 ℰ 的输入图像 ?¹ 和 ?^?的中间特征，同时通过残差学习，即在深层将 1 帧和 L 帧的特征相加。

示例

不同素描指导模式的示例：（顶部）二等分（n=1）和（底部）随机位置。

对比

ToonCrafter 与 AnimeInterp、EISAI、FILM、SEINE 的动漫插值结果的视觉对比。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-04-03

大模型不再是黑盒子：Anthropic解剖了Claude大脑

2025-04-03

OpenAI 发布新型音频模型，听起来比以往任何时候都更像人类

2025-04-03

工作流（Workflow）VS 智能体（Agent）

2025-04-03

中国AI应用们，正在苦等一个国产Claude

2025-04-03

MCP：AI世界的万能连接器，专家都在关注的下一代标准

2025-04-03

Open R1 项目进展第三期

2025-04-03

最好用的OCR来了？Mistral AI OCR介绍

2025-04-03

2个百度T11推出超级智能体火爆硅谷！免费使用无需邀请码，靠AI搜索功底估值已破38亿

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

16个具有“联网搜索”功能的AI：总有一个适合你！

2024-06-13

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

OpenAI o1与GPT4o的对比分析

2024-09-23

大模型｜“上下文长度”和“上下文窗口”不再傻傻分不清楚！

2024-07-31

一文带你了解大模型——智能体（Agent）

2024-05-28

50+个AI大模型在不同领域的应用案例

2024-08-04

全面对比dify、coze、streamlit、chainlit

2024-04-26

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

一文读懂OpenAI新发布o1系列大模型

2024-09-17

大家都在问

Transformer到底解决什么问题？

2025-04-02

Playwright + DeepSeek实战：如何让AI“看懂”网站页面内容？自动定位页面元素？

2025-04-02

伯克利大学35页综述：多智能体LLM系统为何会失败？

2025-04-01

【深度】一文解读Claude如何思考——大模型是真懂是装懂？

2025-04-01

AI Agent：大模型落地应用的“最后一公里”？

2025-04-01

专利答复3天→3小时！AI神器Claude 3.7如何让审查员秒批你的申请？

2025-03-30

MCP 很火，来看看我们直接给后台管理系统上一个 MCP？

2025-03-30

OpenAI拥抱MCP，“MCP经济”下会有哪些新机会？

2025-03-28

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB