1 概述

熟悉搜推的小伙伴可能知道，搜推中也有个叫Rerank的，因为在Rerank前面，一般还有粗排、精排，而RAG中就一个排序模型，怎么就是Rerank了呢。这是因为在RAG中，检索阶段一般只有Embedding一路召回，多的时候也只不过是稀疏+稠密的RRF集成，因此检索结果无论如何都是有顺序的，也就是说已经是排过序的了，所以此处的再次排序，叫Rerank。

既然都是排序，加Rerank的意义在哪？使用Embedding这种检索模型检索时，问题和答案都使用Embedding表示，由于问题和答案本身的表述方式、用词分布等差异比较大，直观的理解是问题首先是个问句，一般比较简短，答案通常是陈述句，一般比较详细，这俩用相同的方式表征，肯定多少是会有“对不齐”的问题的，Rerank就是把这两个放在一起，举个例子大家感受一下：

• 问题：介绍一下北京？

• 正确的文档：北京市（Beijing），简称“京”，古称燕京、北平，是中华人民共和国首都、直辖市、国家中心城市、超大城市， 国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心，中国历史文化名城和古都之一，世界一线城市。截至2023年10月，北京市下辖16个区，总面积16410.54平方千米。2023年末，北京市常住人口2185.8万人。

• 其他文档：介绍一下故宫？

如果使用Embedding检索，就有可能把“介绍一下故宫？”检索回来了，因为这俩从Embedding的角度看实在太像了，但你如果把“介绍一下北京？<SEP>介绍一下故宫？”放一起，Rerank模型大概不会判断他们是应该在一起的，因此它的相似性得分会比较低，而“介绍一下北京？<SEP>北京市（Beijing），简称“京”，古称燕京、北平，是中华人民共和国首都、直辖市、国家中心城市、超大城市， 国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心，中国历史文化名城和古都之一，世界一线城市。截至2023年10月，北京市下辖16个区，总面积16410.54平方千米。2023年末，北京市常住人口2185.8万人。”类似这种表述，其实在训练集中有可能出现，因此Rerank的相似性得分会高。

下面借用一下来自Cohere官方博客的Rerank流程图：

https://cohere.com/blog/rerank

Rerank模型比较常见的架构是基于transformers的encoder-only，也就是BERT的衍生模型。BERT论文发布时，介绍了几个典型的NLP任务，其中一个是文本蕴含，它判断的是两个句子，他们之间是蕴含、矛盾、还是中立关系，Rerank模型与之类似，也是输入两个句子，中间用一个分隔符分割开，只不过输出的是这两个句子的相似度。

2 效果对比

下表中的“检索优化(5)常用Reranker”，是在“检索优化(4)BM25和混合检索”基础上，增加Reranker的结果。

从下表可以看出，加入Reranker后，检索性能普遍是有提升的，全流程问答也普遍有大幅度提升，不过需要注意的是，在有些项目中，在检索后加未经微调的Reranker，性能反而可能会下降，这个需要大家在实际项目中尝试，下一篇文章会介绍如何对BGE Reranker进行微调。

3 核心代码

本文对应的完整代码已开源，地址在：https://github.com/Steven-Luo/MasteringRAG/blob/main/retrieval/05_reranker.ipynb

这部分，会首先介绍几种常用的Reranker API，最后会介绍如何与检索结果结合。

3.1 Cohere Rerank API

这应该是最有名的reranker了，cohere公司主打的就是Reranker模型。

首先访问https://dashboard.cohere.com/api-keys申请一个API Key，然后安装依赖：

pip install cohere

注意：下面这两种方式，都需要有代理，否则来自国内的请求会被拒绝，使用时，环境变量设置http_proxy和https_proxy即可，免费用户每个月有1000次调用额度。在写这篇文章之前做实验时，它的检索效果可以与bge-reranker-large打平，但在后续再次运行时，由于超出调用额度，所以代码仓库中没有实际的运行结果，但代码是可以运行的，大家可以自行尝试。

使用官方原生API：

 

co = cohere.Client()

docs = [
,
,
,
,
,
]

response = co.rerank(
    model=,
    query=,
    documents=docs,
    top_n=,
)
(response)

或者使用Langchain封装的API：

 
   CohereRerank

os.environ[] = 

cohere_rerank = CohereRerank(model=)
docs = [
,
,
,
,
,
]
query = 
cohere_rerank.rerank(
    documents=docs,
    query=query,
    top_n=
)

3.2 BGE Reranker

这个是智源（BAAI）开源的Reranker，也非常有名，在23年的时候，是为数不多可选的几个Reranker模型。这个模型的权重可以在HuggingFace上下载。常用的有如下三种：

• BAAI/bge-reranker-base

• BAAI/bge-reranker-large

• BAAI/bge-reranker-v2-m3

使用时，首先安装依赖：

pip install -U FlagEmbedding

然后使用如下代码：

   FlagReranker
reranker = FlagReranker(, use_fp16=)

score = reranker.compute_score([, ])
(score) 

score = reranker.compute_score([, ], normalize=)
(score)

3.3 GTE Reranker

这个是阿里巴巴开源的reranker，HuggingFace中的模型ID为Alibaba-NLP/gte-multilingual-reranker-base，官方示例：

 
   AutoModelForSequenceClassification, AutoTokenizer

model_name_or_path = 

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name_or_path, trust_remote_code=,
    torch_dtype=torch.float16
)
model.eval()

pairs = [[], [, ], [,]]
 torch.no_grad():
    inputs = tokenizer(pairs, padding=, truncation=, return_tensors=, max_length=)
    scores = model(**inputs, return_dict=).logits.view(-, ).float()
(scores)

3.4 Jina Reranker

Jina也是一家很有实力的AI公司，之前在介绍使用Ollama和Langchain动手开发AI搜索问答助手中提到过他们出的Reader API，是需要非常简单的操作，就可以将网页解析成Markdown，大幅提高了后续问答的效果。

此处介绍的Reranker模型，是他们开源的多语言重排模型，HuggingFace中的模型ID为jinaai/jina-reranker-v2-base-multilingual。

官方样例：

   AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained(
,
    torch_dtype=,
    trust_remote_code=,
)

model.to() 
model.eval()


query = 
documents = [
,
,
,
,
,
,
,
,
,
,
]


sentence_pairs = [[query, doc]  doc  documents]

scores = model.compute_score(sentence_pairs, max_length=)

3.5 与检索结果结合

   Chroma
   HuggingFaceBgeEmbeddings
   BM25Retriever, EnsembleRetriever
   Chroma
 


device =   torch.cuda.is_available()  
embeddings = HuggingFaceBgeEmbeddings(
    model_name=,
    model_kwargs={: device},
    encode_kwargs={: },

    query_instruction=
)

vector_db = Chroma.from_documents(
    splitted_docs,
    embedding=embeddings,
    persist_directory=persist_directory
)

chz_cut_bm25_retriever = BM25Retriever.from_documents(splitted_docs, preprocess_func= text: (jieba.cut(text)))

retriever = EnsembleRetriever(
    retrievers=[vector_db.as_retriever(search_kwargs={: }), chz_cut_bm25_retriever], weights=[, ]
)

Reranker准备，此处以BGE Reranker为例，其他几种方式请查看代码仓库：

   FlagReranker
 
   AutoModelForSequenceClassification, AutoTokenizer
 

reranker = FlagReranker(, use_fp16=)

 (reranker, query, retrieved_docs, top_k=, debug=):



    rerank_scores = reranker.compute_score([[query, doc.page_content]  doc  retrieved_docs])
    triads = [(query, doc, score)  doc, score  (retrieved_docs, rerank_scores)]
    triads = (triads, key= triad: triad[-], reverse=)
 debug:
 triads
 [triad[]  triad  triads][:top_k]

使用：

k = 

retirever_multiplier = 

chunks = retriever.get_relevant_documents(question)[:k * retirever_multiplier]

chunks = rerank(reranker, question, chunks, top_k=k)