BM25算法基本使用以及在RAG中的应用

推荐语

掌握BM25算法，提升信息检索和问答系统性能。

核心内容：
1. BM25算法原理及其在RAG框架中的应用
2. Python实现BM25算法的详细步骤
3. 使用rank_bm25库进行文档与查询的相关性计算

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

BM25算法被多种RAG开源框架和向量库的向量查询中提到或使用到。本文介绍BM25算法的基本原理，并通过一个可运行的例子来说明如何使用BM25算法。

BM25（Best Match 25）是一种用于信息检索的概率模型，常用于搜索引擎和问答系统中。在RAG（Retrieval-Augmented Generation）框架中，BM25用于从大规模文档库中检索与查询最相关的文档。

BM25基于词频（TF）和逆文档频率（IDF）计算文档与查询的相关性，结合了文档长度归一化，能够有效处理不同长度的文档。

BM25的基本使用

下面是一个使用Python实现BM25算法的完整示例。我们将使用rank_bm25库，这是一个常用的BM25实现库，可以方便地计算文档与查询的相关性。

安装依赖库

pip install rank-bm25

编写测试代码

代码的基本逻辑如下：

（1）分别对每个文档和问题进行分词处理

（2）通过分词后的文档列表来初始化BM25算法

（3）计算问题(query)与分词列表进行相似度比较

（4）从文档列表中找到相关性分数最大的文档，该文档即是我们要找的文档。

代码的实现如下：

from rank_bm25 import BM25Okapi
import jieba  # 用于中文分词

# 示例文档库
documents = [
    "猫是一种可爱的动物，喜欢抓老鼠。",
    "狗是人类的好朋友，喜欢追猫。",
    "老鼠是一种小型啮齿动物，猫喜欢抓它们。"
]
print(documents)

# 用户查询
query = "猫喜欢抓什么动物？"
print("问题: "+ query)

# 对文档和查询进行分词
def tokenize(text):
    return list(jieba.cut(text))

# 分词后的文档库
tokenized_documents = [tokenize(doc) for doc in documents]
# 分词后的查询
tokenized_query = tokenize(query)

# 初始化BM25模型
bm25 = BM25Okapi(tokenized_documents)
# 计算查询与文档的相关性得分
doc_scores = bm25.get_scores(tokenized_query)
# 打印每个文档的得分
for i, score in enumerate(doc_scores):
    print(f"文档{i+1} 的 BM25 得分: {score}")

# 找到最相关的文档
most_relevant_doc_index = doc_scores.argmax()
print(f"\n最相关的文档是文档{most_relevant_doc_index + 1}: {documents[most_relevant_doc_index]}")

代码说明

1. 分词：

• 使用jieba库对中文文档和查询进行分词。

• 例如，文档1分词结果为：['猫', '是', '一种', '可爱', '的', '动物', '喜欢', '抓', '老鼠', '。']

• 初始化BM25模型：

• 使用BM25Okapi类初始化BM25模型，传入分词后的文档库。

• 计算相关性得分：

• 使用get_scores方法计算查询与每个文档的相关性得分。

• 排序和输出：

• 根据得分排序，找到最相关的文档。




结果输出

['猫是一种可爱的动物，喜欢抓老鼠。', '狗是人类的好朋友，喜欢追猫。', '老鼠是一种小型啮齿动物，猫喜欢抓它们。']
问题: 猫喜欢抓什么动物？
Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 0.705 seconds.
Prefix dict has been built successfully.
文档1 的 BM25 得分: 0.3001762708496166
文档2 的 BM25 得分: -0.07080064278072501
文档3 的 BM25 得分: -0.2035654844820229

最相关的文档是文档1: 猫是一种可爱的动物，喜欢抓老鼠。




BM25在RAG中的应用

在RAG（Retrieval-Augmented Generation）框架中，结合向量检索（如基于嵌入的相似性搜索）和BM25关键词检索的混合检索方法，可以显著提高查询的准确率。这种混合检索的核心思想是利用两种检索方法的互补性，从而更全面地捕捉查询与文档之间的相关性。

向量检索和BM25检索的优缺点

向量检索（基于嵌入的相似性搜索）

• 优点：

• 能够捕捉语义相似性，即使查询和文档没有完全匹配的关键词。

• 适合处理复杂的语义关系，如同义词、上下文相关性等。

• 缺点：

• 对领域外或罕见术语的捕捉能力较弱。

• 需要高质量的嵌入模型（如BERT、Sentence-BERT）和大量的计算资源。

BM25关键词检索

• 优点：

• 对精确关键词匹配非常有效，适合处理明确的术语和短查询。

• 计算效率高，适合大规模文档库。

• 缺点：

• 无法捕捉语义相似性，对同义词、上下文相关性不敏感。

• 对长查询或复杂查询的效果较差。

---

混合检索的原理

混合检索的核心原理是结合向量检索和BM25检索的优势，通过加权或排序融合的方式，生成最终的检索结果。具体步骤如下：

（1）分别计算向量检索和BM25检索的得分

• 向量检索：使用嵌入模型（如BERT）将查询和文档转换为向量，然后计算余弦相似度作为得分。

• BM25检索：使用BM25算法计算查询与文档的关键词匹配得分。

（2）得分归一化

由于向量检索和BM25检索的得分范围可能不同，需要对得分进行归一化处理，使其在同一量纲上可比。

（3）加权融合

将两种检索方法的得分进行加权融合，生成最终的检索得分。例如：

Final Score=α⋅BM25 Score+(1−α)⋅Vector ScoreFinal Score=α⋅BM25 Score+(1−α)⋅Vector Score

其中，αα 是权重参数，用于调整BM25和向量检索的相对重要性。

（4）排序和返回结果

根据最终得分对文档进行排序，返回最相关的文档。

实际应用中的混合检索策略

在实际应用中，混合检索可以通过以下策略实现：

（1）加权求和

将向量检索和BM25检索的得分按一定权重相加，生成最终得分。例如：

Final Score=0.5⋅BM25 Score+0.5⋅Vector ScoreFinal Score=0.5⋅BM25 Score+0.5⋅Vector Score

（2）排序融合

分别对向量检索和BM25检索的结果进行排序，然后通过加权或插值的方式合并排序结果。例如：

• 取向量检索的前10个结果和BM25检索的前10个结果，合并后重新排序。

（3）阈值过滤

先使用BM25检索过滤出关键词匹配的文档，再使用向量检索对过滤后的文档进行语义排序。




混合检索的代码实现

通过本地的ollama安装嵌入模型后，就可以通过该嵌入模型来生成嵌入向量。下面的代码通过本地部署的嵌入模型来计算每个文档块的嵌入向量，然后根据混合

from rank_bm25 import BM25Okapi
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
import jieba
import requests  # 用于发送HTTP请求

# 示例文档库
documents = [
    "猫是一种可爱的动物，喜欢抓老鼠。",
    "狗是人类的好朋友，喜欢追猫。",
    "老鼠是一种小型啮齿动物，猫喜欢抓它们。"
]

# 用户查询
query = "猫喜欢抓什么动物？"

# 分词函数
def tokenize(text):
    return list(jieba.cut(text))

# 分词后的文档库
tokenized_documents = [tokenize(doc) for doc in documents]
# 初始化BM25模型
bm25 = BM25Okapi(tokenized_documents)
# 计算BM25得分
bm25_scores = bm25.get_scores(tokenize(query))
# 嵌入模型API地址
EMBEDDING_MODEL_URL = "http://172.16.1.54:11434/api/embeddings"


# 获取嵌入向量的函数
def get_embedding(text):
    # 构造请求数据
    payload = {
        "model": "unclemusclez/jina-embeddings-v2-base-code:latest",
        "prompt": text
    }
    # 发送POST请求
    response = requests.post(EMBEDDING_MODEL_URL, json=payload)
    if response.status_code == 200:
        # 解析返回的嵌入向量
        embedding = response.json().get("embedding")
        return np.array(embedding)
    else:
        raise Exception(f"Failed to get embedding: {response.status_code} - {response.text}")

# 获取查询和文档的嵌入向量
query_embedding = get_embedding(query)
document_embeddings = [get_embedding(doc) for doc in documents]
# 计算余弦相似度
vector_scores = cosine_similarity([query_embedding], document_embeddings)[0]

# 归一化得分
bm25_scores_normalized = (bm25_scores - np.min(bm25_scores)) / (np.max(bm25_scores) - np.min(bm25_scores))
vector_scores_normalized = (vector_scores - np.min(vector_scores)) / (np.max(vector_scores) - np.min(vector_scores))

# 加权融合
alpha = 0.5
final_scores = alpha * bm25_scores_normalized + (1 - alpha) * vector_scores_normalized

# 排序并输出结果
sorted_indices = np.argsort(final_scores)[::-1]
for i in sorted_indices:
    print(f"文档{i+1} 的混合得分: {final_scores[i]} - {documents[i]}")

输出：

Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 0.715 seconds.
Prefix dict has been built successfully.
文档1 的混合得分: 1.0 - 猫是一种可爱的动物，喜欢抓老鼠。
文档2 的混合得分: 0.5282365628163656 - 狗是人类的好朋友，喜欢追猫。
文档3 的混合得分: 0.0 - 老鼠是一种小型啮齿动物，猫喜欢抓它们。

说明：我这里的得分是基于我的嵌入模型而得到的，不同模型可能不同。




总结

通过结合向量检索和BM25检索，混合检索方法能够同时捕捉语义信息和关键词匹配信息，从而提高RAG框架的查询准确率。这种方法在处理多样化查询、减少漏检和误检方面具有显著优势，是提升检索增强生成系统性能的有效策略。