我要投稿

腾讯SEED-Story：生成丰富、叙事连贯及风格一致图文故事的大模型

发布日期：2024-07-24 08:29:04 浏览次数： 1946

SEED-Story由MLLM驱动，能够从用户提供的图片和文本作为故事的开始，生成多模态长篇故事，模型、代码与数据都已开源。生成的故事包括丰富且连贯的叙事文本，以及在角色和风格上保持一致的图片。故事可以跨越多达25个多模态序列，尽管在训练期间仅使用最多10个序列。

SEED-Story训练过程包括三个阶段：

在第一阶段，我们预训练一个基于SD-XL的去标记化器，通过接受预训练的ViT的特征作为输入来重建图片。
在第二阶段，我们采样一个随机长度的交错图像-文本序列，并通过对目标图像的ViT特征和可学习查询的输出隐藏状态之间的下一个词预测和图像特征回归来训练MLLM。
在第三阶段，从MLLM回归得到的图像特征被输入到去标记化器中，以调整SD-XL，增强生成图片中角色和风格的一致性。

左侧：在多模态故事生成中预测下一个词时的注意力图可视化。我们观察到重要的注意力集中在整个序列的第一个词（"0"词），标点符号词，与BoI（图像开头）相邻的词和与EoI（图像结尾）相邻的词上。右侧：(a) 密集型注意力图，它保留了KV缓存中的所有词。(b) 窗口型注意力，通过滑动窗口逐出前面的词。(c) 注意力汇聚，它基于窗口型注意力保留了开头的词。(d) 多模态注意力汇聚，它基于窗口型注意力保留了文本词的开头、图像词以及图像词的结尾。这可以有效地使我们的模型泛化到生成比训练序列长度更长的序列。

StoryStream数据集和现有多模态故事生成数据集的样本数据。StoryStream多模态故事序列包括视觉上吸引人的高分辨率图片，以及详细叙述的文本（如下方划线所示），非常接近真实世界的故事书。此外，故事在长度上也更加延伸。

实验证明了SEED-Story模型在多模态故事生成方面的先进性，特别是在生成长篇故事和维持生成内容的一致性与质量方面。

MM-interleaved与SEED-Story多模态故事生成的定量评估。(a)：显示FID得分的直方图。(b, c, d)：使用GPT-4V分别选择MM-interleaved和SEED-Story生成的首选结果。饼图显示了胜率，其中“平局”表示GPT-4V以同等分数评估了它们的成果。

来自SEED-Story的多模态故事生成示例。它展示了从同一初始图像生成的两个叙事分支。顶部分支以引用“戴黄帽子的男人”的文本开始，导致包含该角色的图像生成。底部分支开始时没有提及男人，结果导致故事在排除他的情况下与第一个分支发生分歧。

SEED-Story多模态长篇故事生成结果

使用不同注意力机制生成长故事的可视化。采用其他机制的模型在生成长序列时会崩溃，而我们的模型采用多模态注意力汇聚机制始终如一地生成高质量的图像。

https://github.com/TencentARC/SEED-StorySEED-Story: Multimodal Long Story Generation with Large Language Modelhttps://arxiv.org/pdf/2407.08683

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GPT-4 和 GPT-4o的主要区别

2024-09-12

智谱开源新一代多模态大模型CogVLM2，性能媲美GPT-4V

2024-05-30

Flowise AI 工作流进阶: 常用组件介绍+连 Notion 做知识库

2024-06-17

面壁小钢炮 MiniCPM-V 2.6 部署指南

2024-08-06

Qwen2-VL 全链路模型体验、下载、推理、微调实战！

2024-08-30

深入解析Llama 3：开发者如何充分利用这一开源大模型

2024-04-21

ChatGPT记忆功能全解析：实用场景与操作指南

2024-06-14

作为微软开源的全新架构，Florence-2 以其小巧的体积、炸裂的性能以及对多任务的统一处理方式，在视觉理解领域掀起了一阵旋风

2024-06-26

AGI｜基于Joint BERT模型的意图识别技术实践

2024-07-21

企业如何构建大模型营销体系：架构与实战

2024-07-07

大家都在问

为什么生成式AI不擅长同时做两件事？

2024-12-13

如何提取手写票据信息？

2024-12-09

Encord全球首发多模态数据标注编辑器，AI数据开发技术有哪些新趋势？

2024-11-25

大模型能做对数学题吗？

2024-09-26

实测豆包AI视频模型Seaweed，击败Sora的含金量到底有多少？

2024-09-26

多模态大模型中，多模态融合后怎样知道最终结果受哪种模态影响更大？

2024-09-01

从AIGC短剧到金融、零售应用，视频生成大模型价值几何？

2024-07-15

Stable Diffusion中CFG有啥用？

2024-07-14

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯