我要投稿

苹果超级加持RAG技术，93倍加速推理

发布日期：2024-08-28 12:46:33 浏览次数： 1814 来源：AGI Hunt

苹果又来放大招了！

这次他们搞出了个叫"超位提示"的新技术，简直就是给RAG装上了光速引擎。

不知道大家还记不记得前阵子OpenAI那个GPT-4o mini？能力“据说”接近GPT-4，但价格却大幅下降。

这不，苹果看不下去了，直接祭出大杀器：超位提示（Superposition prompting）。

这玩意儿有多牛？用在MPT-7B模型上，在NaturalQuestions-Open数据集上的计算时间直接缩短了93倍！

看到这个数字，我都怀疑是不是写错了，结果仔细一查还真没错。

这简直是AI界的光速引擎啊！再这么搞下去，以后问AI问题是不是连眨眼的时间都不用了？

让我们来看看这个"超位提示"到底是个啥东西。

简单来说，它是一种新的RAG（检索增强生成）方法，专门为那些基于transformer的预训练大语言模型设计的。

跟传统的"链表式"DAG（有向无环图）不同，超位提示采用了一种叫"ForkJoin拓扑"的结构，可以并行处理输入文档。

这么做有什么好处呢？

并行处理：多个文档可以同时被处理，大大提高了效率。
路径剪枝：用贝叶斯显著性评分来剔除无关路径，既提高了准确性又提升了效率。
平衡位置分配：优化了token的位置分配，让模型表现更佳。
路径缓存和并行化：进一步加速了推理过程。

有细心网友发现：

"等等，这不就是把GPU的并行计算思路搬到了NLP领域吗？苹果这波操作可以啊！"

确实如此。而且更厉害的是，它还能进行迭代超位，这让模型在多跳推理任务上的表现也有了显著提升。

那效果如何呢？

据研究团队透露，在相同的数据集上，准确率提高了43%。不仅如此，它还超越了像Naive LLM-RAG、BM-25、TF-IDF和Contriever这样的基线方法。

更令人惊讶的是，这个方法在各种规模和架构的模型上都表现出色，包括OpenELM、BLOOMZ和MPT。

此外，研究团队表示，在MuSiQue数据集上的测试显示，超位提示在多跳推理任务上的表现反而有所提升。

苹果这次的"超位提示"技术不仅大幅提升了处理速度，还在一定程度上提高了准确性，可以说是一石二鸟。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

大家都在问

哈啰：构建智能出行RAG，ES还是向量数据库？

2025-01-13

RAG的技术困境：为何单纯依赖向量嵌入不可靠？

2025-01-09

搭建RAG架构，如何选择向量数据库产品？

2025-01-09

搭建RAG应用，Embedding模型如何选？

2025-01-09

RAG成为过去式？缓存增强生成（CAG）is All You Need？

2025-01-06

检索增强生成和思维链结合: 如何创建检索增强思维链 (RAT)？

2025-01-04

Zilliz落地垂直RAG：为什么说医疗场景中，LLM只是半成品？

2024-12-30

影响RAG检索效果的原因有那些？

2024-12-27

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

一文彻底搞懂大模型 - RAG（检索、增强、生成）

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

RAG框架，都在这了!

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

微软开源的GraphRAG解读

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAG 高效应用指南：Embedding 模型的选择和微调

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

大家都在问

哈啰：构建智能出行RAG，ES还是向量数据库？

RAG的技术困境：为何单纯依赖向量嵌入不可靠？

搭建RAG架构，如何选择向量数据库产品？

搭建RAG应用，Embedding模型如何选？

RAG成为过去式？缓存增强生成（CAG）is All You Need？

检索增强生成和思维链结合: 如何创建检索增强思维链 (RAT)？

Zilliz落地垂直RAG：为什么说医疗场景中，LLM只是半成品？

影响RAG检索效果的原因有那些？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

一文彻底搞懂大模型 - RAG（检索、增强、生成）

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

RAG框架，都在这了!

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

微软开源的GraphRAG解读

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAG 高效应用指南：Embedding 模型的选择和微调

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

大家都在问

哈啰：构建智能出行RAG，ES还是向量数据库？

RAG的技术困境：为何单纯依赖向量嵌入不可靠？

搭建RAG架构，如何选择向量数据库产品？

搭建RAG应用，Embedding模型如何选？

RAG成为过去式？缓存增强生成（CAG）is All You Need？

检索增强生成 和思维链 结合: 如何创建检索增强思维链 (RAT)？

Zilliz落地垂直RAG：为什么说医疗场景中，LLM只是半成品？

影响RAG检索效果的原因有那些？

热门标签

检索增强生成和思维链结合: 如何创建检索增强思维链 (RAT)？