粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
大型语言模型（LLMs）在处理长文本时面临的挑战，尤其是推理成本随着序列长度的增加而呈二次方增长，这导致了在实际应用中的部署成本高昂。此外，LLMs还会出现“分心现象”，即无关的上下文会降低输出质量。
为了解决这些问题，提出了一种新的检索增强生成（RAG）提示方法——超位置提示（superposition prompting），该方法可以直接应用于预训练的基于Transformer的LLMs，无需进行微调。
图2超位置提示与传统的（Naive LLM-RAG）提示范式的比较。正方形代表一个标记（token），箭头表示注意力依赖关系。传统的方法是“链表”风格的有向无环图（DAG），而超位置提示则安排标记依赖关系，使得所有文档都能独立处理。由于这种依赖结构，可以轻松地利用LLM的logits来剪枝无关的上下文，从而提高长上下文推理的能力。这种依赖结构还允许更快的提示处理，因为有了新的缓存和KV缓存及logit计算的并行性机会（每个灰色框表示LLM处理的一个逻辑“批次”，重用上游KV缓存）。
图3在“在线服务”期间必须计算的内隐注意力依赖关系（(b)-(f)中的颜色对应于图2中的标记段颜色）。注意各种优化如何通过剪枝、预计算和并行化工作来减轻在线服务时所需的计算负担。值得再次强调的是，在实践中，推理不是对一个大型序列的稀疏注意力，而是对许多不同较短标记段的密集注意力。
Superposition Prompting: Improving and Accelerating Retrieval Augmented Generationhttps://arxiv.org/pdf/2404.06910.pdf
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？
2024-08-15
对话AI教育从业者们：AI如何解决因材施教的难题？
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及：NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26
回到顶部