微信扫码
与创始人交个朋友
我要投稿
随着大型语言模型(LLMs)在实际应用中的广泛采用,它们常常需要处理长序列输入,例如长文档问答和摘要生成。传统的LLMs通常具有有限的工作上下文大小,这限制了它们处理长上下文任务的能力。尽管可以通过微调来扩展LLMs的上下文长度,但这需要付出巨大的成本,并且在部署时极其消耗资源
方法的起始点:LC-Boost从输入查询(q)和长上下文(X)开始,目标是产生一个输出答案(Y)。考虑到LC-Boost背后的LLM有上下文长度限制(本文中将LC-Boost的工作上下文长度限制为4K),直接为长上下文任务生成输出答案Y是不可行的。
处理长上下文任务的策略:为了解决这个问题,LC-Boost通过战略性地理解分解后的短上下文(X = {X1, ..., Xn}),并从这些短上下文中提取最小必要上下文(˜X),以支持输出答案Y的生成。
决策过程:LC-Boost通过与分解后的短上下文({X1, ..., Xn})进行迭代交互的决策过程来实现这一目标。在此过程中,LC-Boost与每个短上下文Xi交互,执行两种类型的操作:信息访问和信息利用。
动作空间:LC-Boost定义了一个离散的动作空间A,包括任务理解、检索、移动、追加、合并、回答和聚合等七种动作。这些动作使LC-Boost能够灵活地访问任何短上下文Xi,准确获取信息,以及动态地利用获取的信息来产生目标形式的答案。
消融研究中不同上下文处理策略的性能比较。NarrativeQA(左侧)是一个单文档问答任务。HotpotQA(中间)是一个多文档问答任务。SamSUM(右侧)是一个少样本学习任务。
案例研究在自建数据集上。正确答案用青绿色标记,错误答案用红色标记,模棱两可的答案用橙色标记。
https://arxiv.org/pdf/2405.15318
Are Long-LLMs A Necessity For Long-Context Tasks?
推荐阅读
欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候,他们在说什么?
2024-08-15
对话AI教育从业者们:AI如何解决因材施教的难题?
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及:NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26