我要投稿

字节全新发布豆包AI视频模型 - 再见了Sora，你的时代过去了。

发布日期：2024-09-24 15:41:33 浏览次数： 1981

刚刚，字节的火山引擎的发布会基本结束了。

我现在有点过于激动。

虽然发布会结束了，但是我觉得，一个颠覆行业的全新的起点，在这一刻，正式到来了

字节正式发布了他们全新的两款AI视频模型：

豆包视频生成-PixelDance模型和Seaweed模型。

Seaweed模型下次我再详细来说。这次，我想说这个豆包PixelDance模型，因为太屌了，屌炸了，我真的是全程惊叹着看完的。

他们正式宣布这玩意的那一刻，现场掌声雷动，我隔着屏幕都感觉快特么把房顶掀翻了。

真的，如果要给这个豆包PixelDance模型，做一个总结，那就是三个词：

人物的复杂连续动作，多镜头组合视频，极致的运镜控制。

听着感觉有点难理解是不是？不用急，我一会详细来解释。

我先放几个case，给大家感受一下这玩意的震撼：

真的，影视行业在之前，几乎没法用AI，就是因为，人物表演太垃圾，还有场景和人物一致性太差，运镜说实话也不咋地。

现在，字节出手，将AI视频推上了全新的高度。

行业颠覆的奇点，就在今天，就在这个发布会上，正式到来了。

而我，在憋了整整4天后，也终于可以发出这篇文章。

对，4天前，我就受字节邀请，提前测过了这个豆包PixelDance模型，当时给我震惊的无以复加，你知道，作为一个博主，测完了这么屌的东西，自然就是想第一时间分享出去，但是因为保密协议，我只能只字不提。

所以你就知道，我这4天，憋的有多难受。

而现在，一切都来了。我终于可以特么的说话了。

说回那三个最重要的特点：

人物的复杂连续动作，多镜头组合视频，极致的运镜控制。

一. 可以做连续动作的人物表演

过往，AI视频有一个很致命的点，就是看起来像PPT动画。

不管是Sora展示出来的视频、还是runway、还是可灵等等，运动幅度再大，也只是镜头幅度大，从来没有人的复杂动作。

顶天了，转个身，或者快速跑个步，或者挥个手，或者拥抱一下。说实话，就单拥抱这个，都没几个AI视频能做出来的。

而如果让图里这个女生，摘下墨镜，站起身，然后走向雕像呢？

所有的AI视频，全部阵亡。

而这一次豆包PixelDance，做到了，真的。

除了手上的表有一些些闪动，人物比例、动作、肢体、光影等等，几乎毫无瑕疵。

一个戏好看，人的动作表演，才是最重要的啊。

比如在《喜剧之王》里，在最后一幕，周星驰饰演的尹天仇，在对着柳飘飘喊出那句经典的“我养你啊”的台词之后，柳飘飘坐在离去的出租车里，哭的非常伤心，看了一会手上的钱和表，然后把他们放进包里，拿出尹天仇视为信仰的那本《演员的自我修养》，伤心的抱在胸口。

这段表演，是连续的。连续的东西，才有张力。你才能感受到，那痛彻心扉的情绪。

而现在，用AI，生成可以做连续动作的人物表演，不再是空谈。

再看一个case，男人喝了一口咖啡，然后放下，一个女人从背后走来。

还有，人物表情也很屌，老人笑着笑着，就哭了。

我也想哭，真的。

去年8月我做《流浪地球3》预告片的时候，我就幻想过无数种关于AI做人物表演的可能。

仅仅一年后的今天，豆包就帮我圆了这个最大的梦。

二. 多镜头组合视频

一张图+Prompt，就能生成风格、场景、人物一致的多镜头视频，这个能力，我只在Sora的宣传片里面看到过。

就是那个著名的一只狼对着月亮嚎叫的视频。

其实说实话，这个视频当时看，非常的震撼，但是现在看其实也还好，风格、角色和场景都太简单了，所以一致性很好保持，也没啥复杂的故事和分镜。

但就这样，现在，依然没有任何一个AI视频，能做到单视频多镜头，而且还能保证完美的一致性。

别跟我说LTX studio那种玩意，那个做做故事版还行，做正片？洗洗睡吧，别说场景了，人物保持全景、中景、特写统一都难。而且真的丑的出奇。

但是现在，豆包PixelDance做出来了，而且一致性简直无敌，真的。

而且，只需要一张图+Prompt就行。

比如，这个。

Prompt：拿着镰刀的死神朝女人走近。镜头切换，特写女人的脸，她惊恐地尖叫。

或者，一场战斗。

Prompt：白色机器人抬起双手拿着一把步枪对着画面左侧不断射击。枪口射出一道绿色的能量光线。镜头切换，画面左侧是一个黑色的机器人，一道绿光从画面右侧快速射入，击中了它的身体，黑色机器人被击倒并爆炸。镜头切换，背面拍摄白色机器人，它望向远处的爆炸，转身走出了画面。

又或者，看一个离奇的克苏鲁故事。

一张图和Prompt，就能生成单视频多镜头，屌爆了，真的。

对于影视和广告行业来说，几分钟能瞬间调度后面两三个镜头的分镜，直接出成片。

普通人的使用门槛，也巨幅降低，人人都是导演，人人都可以做故事的时代。

如今，真的到来了。

三. 极致的运镜控制

豆包PixelDance模型的运镜，是我见过最离谱，最牛逼的。

现在的AI视频的运镜控制，还基本集中在摄像机+运动笔刷两个功能的组合拳上，但是说实话，上限真的有限，很多大运镜和变焦，根本做不出来。

而豆包PixelDance，效果真的就特娘的离谱。

什么鸟瞰缩放上移旋转这种基操我就不说了，关键是，直接一句话，各种360度围绕主体环绕、前后景变焦、摇摄、目标跟随、升降镜头什么玩意都行。

效果出奇的好，我第一次见到，在AI视频，运镜能这么牛逼，这么炫酷的。

直接看case。

Prompt：女人微笑着低下头，镜头拉远，一个白人男人注视着这个女人。

变焦的极度自然顺滑，无敌，太无敌了。

还有这个，360度大幅度环绕运镜。

Prompt：黑白风格，镜头环绕着戴墨镜的女人拍摄，从她侧面移动到正面，最后聚焦于女人的面部特写。

这是一张图，然后一句Prompt干出来的，你敢信？这动作幅度，这稳定性，比特么建模出来的还离谱，我真的服了。

你这让摄影们还怎么玩，疯了啊...

写在最后

Sora一个巨型期货，从2.16号到如今，迟迟不见任何踪影。

而后，6.6号，可灵默不作声，正式上线，代表了中国Sora的输出。

而今天，9.24号，字节再把AI视频，推向一个全新的高度，是一个在Sora的宣传片里，都看不到的高度。

至此，中国不需要Sora，豆包模型就是天。

豆包PixelDance也不需要什么中国版Sora的外号，豆包PixelDance就是豆包PixelDance，他就是现在AI视频的天。

也至此，AI视频不再是玩具，而是真正的，可以进入到影视、广告、动漫工作流中，带来一些全新的想象。

这一枪，由我们打响。

今天这个豆包PixelDance模型，就会优先对企业开启邀测，过几天上线火山方舟，至于啥时候上线即梦向C端用户全员开放，可能还得等一段时间，毕竟太新，他们说还想再优化优化模型能力，稳定了以后，就直接上线即梦，给全员开放了。

真的，也从来没有什么奇迹，一切都是沉淀多年的积累，一切都是如约而至。

今天，我也可以喊出那句台词：

字节，No.1！

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

全面对比dify、coze、streamlit、chainlit

2024-04-26

“大数据+”医疗

2024-04-11

太强了！10大开源大模型！

2024-05-06

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

大模型训练及推理【硬件选型指南】及 GPU 通识

2024-05-09

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

大家都在问

Dify多参数混合条件判断的使用心得

2024-09-24

关于生成式AI与大模型在企业端的应用：决策者应该了解的8个重要事实

2024-09-24

使用CrewAI和Groq构建SQL Agent：赋能智能数据分析的未来

2024-09-24

Neo4j GraphRAG：1个Python包，轻松搞定RAG + 知识图谱！

2024-09-24

脉脉林凡：AI落地商业的3词6字5概念

2024-09-24

AI Agent（智能体）：从技术概念到场景落地

2024-09-24

Agent工作流记忆 - 让AI助手更聪明地完成复杂任务

2024-09-24

langgraph：基于agent和qwen2.5构造一个多功能机器人，私有化部署

2024-09-24

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

大模型训练及推理【硬件选型指南】及 GPU 通识

Ollama 本地运行大模型(LLM)完全指南

Cursor 一个真正让程序员产生危机感的 AI 编程工具

大家都在问

Dify多参数混合条件判断的使用心得

关于生成式AI与大模型在企业端的应用：决策者应该了解的8个重要事实

使用CrewAI和Groq构建SQL Agent：赋能智能数据分析的未来

Neo4j GraphRAG：1个Python包，轻松搞定RAG + 知识图谱！

脉脉林凡：AI落地商业的3词6字5概念

AI Agent（智能体）：从技术概念到场景落地

Agent工作流记忆 - 让AI助手更聪明地完成复杂任务

langgraph：基于agent和qwen2.5构造一个多功能机器人，私有化部署

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10​大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

大模型训练及推理【硬件选型指南】及 GPU 通识

Ollama 本地运行大模型(LLM)完全指南

Cursor 一个真正让程序员产生危机感的 AI 编程工具

大家都在问

Dify多参数混合条件判断的使用心得

关于生成式AI与大模型在企业端的应用：决策者应该了解的8个重要事实

使用CrewAI和Groq构建SQL Agent：赋能智能数据分析的未来

Neo4j GraphRAG：1个Python包，轻松搞定RAG + 知识图谱！

脉脉林凡：AI落地商业的3词6字5概念

AI Agent（智能体）：从技术概念到场景落地

Agent工作流记忆 - 让AI助手更聪明地完成复杂任务

langgraph：基于agent和qwen2.5构造一个多功能机器人，私有化部署

热门标签

太强了！10大开源大模型！