微信扫码
与创始人交个朋友
我要投稿
了解大模型的上下文窗口(Context Window)机制,不仅对开发者来说非常重要,对于使用者来说同样重要,例如我们在使用ChatGPT、文心一言、KIMI等通用型AI助手时能根据需求一次性输出1万字的长文,但是现实却只输出几千个字,如果我们知道上下文窗口的概念,那么我们就知道可能哪些因素是和大模型相关,哪些是和AI应用的开发者相关。
▍什么是大模型的上下文窗口
▍长上下文窗口的作用
▍为什么需要限制上下文窗口的长度
▍上下文窗口带来的影响
对于用户或开发者来说,如果使用或开发的AI应用对接的是GPT-3.5-turbo-instruct模型,上下文窗口的大小将带来以下影响:
例如,在一个持续的编写长篇文章的对话中:
早期的对话内容:用户:帮我写一段关于环境保护的引言。AI:好的,这是引言部分。
后续的对话内容:用户:再帮我写一段关于环境污染的现状。AI:好的,这是现状部分。
当对话内容累积过多,超过4096个token后:用户:帮我整合这两段内容,并添加一些关于未来解决方案的建议。AI:好的,这是整合后的内容和建议。
可能出现的问题:由于超过了4096个token的限制,早期关于“环境保护引言”的内容可能会被遗忘,这会导致AI在整合时缺少相关信息,影响到后续对话的逻辑和连贯性。
这种情况下,用户可能会发现AI对话的连续性和一致性变差,无法保持对话的上下文完整性,从而影响用户体验。
▍未来发展
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-22
大模型代理框架AutoGen_实战篇
2024-09-22
神奇!LLM大模型还可以这样改进
2024-09-22
谈谈CoT和推理的Scaling Law
2024-09-21
OpenAI o1 团队在线答疑:o1的o指OpenAI,强化后的推理有泛化能力,未来模型思考时间可控!
2024-09-21
大模型的威力,远不只是聊天框
2024-09-21
OpenAI o1的架构流程已被Claude破解了?
2024-09-21
RAG检索失败率降低49%?Anthropic-Contextual-RAG方案解析-兼看老刘的课堂三部曲
2024-09-21
Multi-Agent架构-CrewAI详解
2024-07-18
2024-03-30
2024-04-26
2024-04-11
2024-05-06
2024-06-12
2024-07-09
2024-05-09
2024-07-25
2023-07-01
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21