我要投稿

OpenAI探索RAG模型优化之旅：从45%到98%的准确率飞跃

发布日期：2024-06-02 12:23:20 浏览次数： 2038

引言：

在人工智能的世界里，优化模型以提高准确率是一项充满挑战的任务。本文将带您走进一个RAG（Retrieval-Augmented Generation）模型优化的实战案例，展示OpenAI是如何一步步将准确率从45%提升至98%的。

有一个客户，他们拥有一个RAG管道和两个不同的知识库，以及一个LLM。该系统的目的是获取用户问题，决定使用哪个知识库，触发查询并用它来回答问题。

一、迭代与优化

起初，只是实现了检索功能，基线准确率仅为45%。通过一系列迭代，将尝试的东西旁边标注了勾号和十字，勾号表示实际投入生产的，十字表示尝试后放弃的。通过尝试假设的文档嵌入，生成一个假答案然后进行搜索，尝试了分块和嵌入，调整信息块的大小并嵌入不同内容，在20次迭代后，逐步将准确率提升至65%。

二、关键时刻的坚持

然而65%，这还远远不够，几乎要放弃，但坚持让同学们找到了新的方向。通过重新排序结果，使用交叉编码器和基于规则的方法，交叉编码器显著提高了性能，基于规则的方法还有分类，让模型判断内容属于哪个领域，并根据分类提供额外的元数据，帮助模型决定最相关的内容，准确率提升至85%。

三、最后的冲刺

最终，通过进一步的提示工程和分析分类错误，引入了新的工具和方法，包括从文档中提取结构化数据，让系统访问SQL数据库，执行查询并返回结构化数据答案。还实现了查询扩展功能，将多个问题解析为查询列表，执行后并行返回结果，再合并这些结果。经过不懈努力，最终达到了98%的准确率。

结尾：

在人工智能的探索之路上，每一步都充满了未知和挑战。通过不断的迭代和优化，能够实现从45%到98%的准确率飞跃，这不仅是技术上的胜利，更是对创新精神的肯定。

参考：https://www.youtube.com/watch?v=ahnGLM-RC1Y

最近最受欢迎的3篇文章

利用 Kimi快速生成精美思维脑图的3种免费方法

 每天学习一个思维模型：5W2H 分析模型

 提升效率：这四款免费AI 工具不容错过

戳?关注，右上菜单栏···键，设为星标

在看

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

在长上下文LLM的时代，RAG是否仍然必要？

2024-09-20

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

2024-09-19

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

2024-09-19

o1 能带我们走进 AGI 吗？

2024-09-19

如何微调（Fine-tuning）大语言模型？

2024-09-18

AI软件必须用GPU么？

2024-09-18

ChatGPT有三个快捷指令和三个模式，你知道吗？

2024-09-17

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

最近最受欢迎的3篇文章

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

最近最受欢迎的3篇文章

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示