我要投稿

AI 画动漫

发布日期：2024-06-02 05:15:14 浏览次数： 2140 来源：Renee 创业随笔

前段时间分享了 AI 画漫画，今天分享一个 AI画动漫。感觉可以串起来了。

可以做几件事情：

Cartoon Interpolation 卡通动画中间帧
Cartoon Sketch Interpolation 卡通素描中间帧
Reference-based Sketch Colorization 基于参考的素描上色
中间的素描动画
最后结果
Sparse Sketch Guidance 疏松素描指导
疏松素描参考：
最后结果

体验

在 Huggingface 上可以运行 Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter

输入图片：

输入 Prompt：an anime scene

输入图片：

输入 Prompt：walking man

技术细节

ToonCrafter 概述

给定两个动漫图像 ?¹ 和 ?^?，ToonCrafter 利用图像到视频生成扩散模型作为生成器，生成中间帧的潜变量 ?₀。这些潜变量随后通过提出的细节注入解码器解码到像素空间，并以 ?¹ 和 ?^?作为细节指导。可选地，可以通过稀疏素描指导来控制插值。

细节注入 3D 解码器的说明

给定帧潜变量 ? 作为输入，我们通过浅层的交叉注意力注入来自编码器 ℰ 的输入图像 ?¹ 和 ?^?的中间特征，同时通过残差学习，即在深层将 1 帧和 L 帧的特征相加。

示例

不同素描指导模式的示例：（顶部）二等分（n=1）和（底部）随机位置。

对比

ToonCrafter 与 AnimeInterp、EISAI、FILM、SEINE 的动漫插值结果的视觉对比。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-02-22

以接近零的成本运行 OpenAI Swarm 多 Agent 框架

2025-02-22

一觉醒来，DeepSeek开始“领导”公务员了？

2025-02-22

全国第一例警用 DeepSeek 大模型落地成都高新区：科技赋能警务的创新变革

2025-02-22

AI Agents 技术演进与未来图景：从工具执行者到 AGI 参与者

2025-02-22

橘子对话华创：DeepSeek加速AGI，现在入场正当时

2025-02-22

为什么马斯克认为 Google 才是xAI的终极对手？

2025-02-22

工业大模型：破局工业“觉醒时代”的“三重门”

2025-02-22

通义千问与文心一言对比评测：谁才是苹果AI的“黄金搭档”？

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

16个具有“联网搜索”功能的AI：总有一个适合你！

2024-06-13

OpenAI o1与GPT4o的对比分析

2024-09-23

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

一文带你了解大模型——智能体（Agent）

2024-05-28

50+个AI大模型在不同领域的应用案例

2024-08-04

全面对比dify、coze、streamlit、chainlit

2024-04-26

大模型｜“上下文长度”和“上下文窗口”不再傻傻分不清楚！

2024-07-31

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

一文读懂OpenAI新发布o1系列大模型

2024-09-17

大家都在问

一觉醒来，DeepSeek开始“领导”公务员了？

2025-02-22

为什么马斯克认为 Google 才是xAI的终极对手？

2025-02-22

通义千问与文心一言对比评测：谁才是苹果AI的“黄金搭档”？

2025-02-22

大模型硝烟的战争：百度真的要掉队了吗？

2025-02-22

<think>之后，是什么？

2025-02-21

DeepSeek爆火28天，国内大模型同行都在干什么？

2025-02-20

Gemini 2.0 Flash Thinking：谷歌放大招！能"直播思考"的AI来了，推理能力吊打OpenAI？

2025-02-19

一向谨慎的微信，这次为何光速拥抱了DeepSeek?

2025-02-16

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB