粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
最近学习AI的时候，经常要看一些视频资料。但有些视频内容比较长，完整看下来比较花时间。
所以，就想着用大模型对视频内容先做一次总结，然后再有选择性地去看。
一不小心，就开发了一个视频总结智能体。
下面就给朋友们分享一下核心科技，啊哈哈。
第一步，获取视频
这里用小破站上讲解 GPT 的视频为例
用扣子中的插件，输出视频url就可以下载视频
第二步，提取视频内容
这里只提取了视频字幕。分两小步，先分离视频中的音频，再调用ASR语音识别技术，将音频转成文本。
这两步虽然在扣子中都有对应的插件，但我试了下没成功。就自己动手开发了一个插件。
代码是用大模型生成的。将插件发布后，就可以在工作流中使用了
第三步，总结视频内容
这个视频有27分钟，并且是英文版，提取的字幕大小30kb。长文本内容总结，当然用 Kimi。
Kimi可以帮我们总结、提炼，生成中文版的核心要点。
纯文字版内容读起来还是差点意思，我们可以继续添加插件，将 Kimi 生成的内容做成思维导图。
这样，一个27分钟的视频，经过智能体总结，分分钟掌握其中的核心要点。学习效率嗖嗖的。
这个智能体我们只能提取了字幕进行总结，其实还可以提取视频关键帧，送入视觉大模型，进行内容生成或者问答。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-09-22
谈谈CoT和推理的Scaling Law
2024-09-21
OpenAI o1 团队在线答疑：o1的o指OpenAI，强化后的推理有泛化能力，未来模型思考时间可控！
2024-09-21
大模型的威力，远不只是聊天框
2024-09-21
OpenAI o1的架构流程已被Claude破解了？
2024-09-21
RAG检索失败率降低49%？Anthropic-Contextual-RAG方案解析-兼看老刘的课堂三部曲
2024-09-21
Multi-Agent架构-CrewAI详解
2024-09-21
聊聊RLHF的奖励模型——上海人工智能书生大模型的RW实践
2024-09-21
文档大模型，能否真正解决非结构化数据难题
2024-07-18
2024-03-30
2024-04-26
2024-04-11
2024-05-06
2024-06-12
2024-07-09
2024-05-09
2024-07-25
2023-07-01
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
回到顶部