这次聊的是StoryDiffusion这款AI工具，它是由字节跳动和南开大学合作推出的，最大的特点就是生成一致性图像，也就是你提供一个故事情节，它能根据这个故事情节生成多张图片，这些图片的风格基本都是一致的，看起来就跟看真实的漫画的一样。

毋庸置疑，这款AI工具又带来了很多的商机，比如实现之前很火的AI故事绘本，或是直接用小说情节生成图片，然后利用剪映等工具生成我们常见的小说短视频。

值得一提的是，StoryDiffusion虽然能生成视频，但是它的视频并非是直接根据提示词生成的（像Sora一样），而是先生成多张风格一致的图片，然后再通过加速形成视频（视频的原理）。

那StoryDiffusion能生成什么风格的图片？

目前根据官网放出的图片来看，卡通动物、卡通人物以及真实人物的图片都能生成，取决于你使用的模型。

1、卡通动物示例图

2、卡通人物示例图

3、真实人物示例图

注：从上图也可以看到，StoryDiffusion生成的图片是可以同时拥有多个角色的（比如上面的人和狗），并非单一角色

那如何体验 StoryDiffusion 呢？这应该是大家比较着急的问题

1、方式一：自己部署

综合来看这种方式是不太推荐的，一是显卡要求较高，目测显存至少要20G（比之前腾讯混元的高多了），不过官方只是说大于20G用起来会比较好，没说低于20G就不能跑，但最少得多少就真没测过。二是部署也要花费一定时间成本，对不熟悉编程的朋友也不太友好。

2、方式二：Colab部署

这种方式看起来一般，官方在Github上提供了一份 Comic_Generation.ipynb，如果你熟悉Google的Colab的话，也可以直接丢在上面跑，Colab也提供了免费的GPU羊毛，不过据说这个免费羊毛的显存为15G，CPU为12G，估计也不够跑，等有空可以验证下

3、方式三：HuggingFace

目前 StoryDiffusion  在HuggingFace有免费的体验地址，但高峰期的话要等待，因为是多人抢占GPU，而且生成失败的概率也蛮高，但胜在不用自己部署 ?

体验地址：https://huggingface.co/spaces/YupengZhou/StoryDiffusion

偶尔蹲一下也是能成功的

哎，果然穷处处受限制呀！

现在只有最后一个问题了，假设部署后，如何使用StoryDiffusion  呢？

假设你部署成功后，浏览器应该会弹出这样的界面（假设你是用gradio），左边是参数调整区，右边是出图区

1、sd_type

这个参数其实就是让你选生图大模型，有点像我们提到的Stable Diffusion的底模

目前huggingface的只有两种，但如果你看Comic_Generation.ipynb，其实有四种

models_dict = {
:,
: ,
: ,
: 
}

而且据官方的说明，模型这块是可插拔的，兼容所有SD1.5和SDXL-based的模型，所以没准还能用C站的模型替换 ?

2、model_type

这个其实类似 Stable Diffusion的文生图和图生图。

3、Textual Description for Character

撰写角色提示词的地方，也就是你对图片角色的描绘，比如

 man,black hair, shirt

Negative_prompt：反向提示词

4、Style template

这个也比较好理解，就是出图风格

5、Comic Description

这个就是故事情节的描述了，每一行对应一帧，也就是一张图片，这块可以借助各种AI工具生成

6、Tune the hyerparameters

这块的参数看起来是控制模型层数，没看太懂，有空研究下

7、Seed + steps

种子和步数，了解过Stable Diffusion的应该都比较清楚

8、height + width

如果是用huggingface 体验的话，建议可以调小一点，比如512，出图的成功率应该会高些

9、Typesetting style

这个控制的是图片的排版风格

最后如果对StoryDiffusion出图感兴趣的朋友，建议看下它的Huggingface，有比较多的注意事项，以及出图的提示词Example。