微信扫码
与创始人交个朋友
我要投稿
SEED-Story由MLLM驱动,能够从用户提供的图片和文本作为故事的开始,生成多模态长篇故事,模型、代码与数据都已开源。生成的故事包括丰富且连贯的叙事文本,以及在角色和风格上保持一致的图片。故事可以跨越多达25个多模态序列,尽管在训练期间仅使用最多10个序列。
左侧:在多模态故事生成中预测下一个词时的注意力图可视化。我们观察到重要的注意力集中在整个序列的第一个词("0"词),标点符号词,与BoI(图像开头)相邻的词和与EoI(图像结尾)相邻的词上。右侧:(a) 密集型注意力图,它保留了KV缓存中的所有词。(b) 窗口型注意力,通过滑动窗口逐出前面的词。(c) 注意力汇聚,它基于窗口型注意力保留了开头的词。(d) 多模态注意力汇聚,它基于窗口型注意力保留了文本词的开头、图像词以及图像词的结尾。这可以有效地使我们的模型泛化到生成比训练序列长度更长的序列。
来自SEED-Story的多模态故事生成示例。它展示了从同一初始图像生成的两个叙事分支。顶部分支以引用“戴黄帽子的男人”的文本开始,导致包含该角色的图像生成。底部分支开始时没有提及男人,结果导致故事在排除他的情况下与第一个分支发生分歧。
https://github.com/TencentARC/SEED-StorySEED-Story: Multimodal Long Story Generation with Large Language Modelhttps://arxiv.org/pdf/2407.08683
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-18
阿里8B模型拿下多页文档理解新SOTA,324个视觉token表示一页,缩减80%
2024-09-16
Mac上运行微软最新Phi-3.5-mini大模型+开发Agent
2024-09-12
GPT-4 和 GPT-4o的主要区别
2024-09-10
使用 Dify 和 AI 大模型理解视频内容:Qwen 2 VL 72B
2024-09-10
语音识别大赛五连冠!开会就能用!
2024-09-09
独家丨科大讯飞多模态:都说端到端好,看谁有本事先做出来
2024-09-08
国内首个多模型AI搜索引擎,专门为AI设计的搜索引擎
2024-09-07
语音驱动嘴型与面部动画生成算法大盘点
2024-06-17
2024-07-11
2024-06-17
2024-04-21
2024-08-06
2024-08-30
2024-06-26
2024-07-11
2024-07-15
2024-06-16
2024-09-01
2024-07-31
2024-07-25
2024-07-19
2024-07-15
2024-07-15
2024-07-14
2024-07-14