粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
引言：
在人工智能的世界里，优化模型以提高准确率是一项充满挑战的任务。本文将带您走进一个RAG（Retrieval-Augmented Generation）模型优化的实战案例，展示OpenAI是如何一步步将准确率从45%提升至98%的。
有一个客户，他们拥有一个RAG管道和两个不同的知识库，以及一个LLM。该系统的目的是获取用户问题，决定使用哪个知识库，触发查询并用它来回答问题。
起初，只是实现了检索功能，基线准确率仅为45%。通过一系列迭代，将尝试的东西旁边标注了勾号和十字，勾号表示实际投入生产的，十字表示尝试后放弃的。通过尝试假设的文档嵌入，生成一个假答案然后进行搜索，尝试了分块和嵌入，调整信息块的大小并嵌入不同内容，在20次迭代后，逐步将准确率提升至65%。
然而65%，这还远远不够，几乎要放弃，但坚持让同学们找到了新的方向。通过重新排序结果，使用交叉编码器和基于规则的方法，交叉编码器显著提高了性能，基于规则的方法还有分类，让模型判断内容属于哪个领域，并根据分类提供额外的元数据，帮助模型决定最相关的内容，准确率提升至85%。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-05-28
2024-04-26
2024-04-11
2024-08-21
2024-07-09
2024-08-13
2024-07-18
2024-10-25
2024-07-01
2024-06-17
回到顶部