!pip install pypdf~=4.2.0!pip install tiktoken~=0.6.0!pip install wikipedia~=1.4.0!pip install langchain~=0.1.16!pip install torch~=2.2.2!pip install transformers~=4.40.0!pip install sentence-transformers~=2.7.0!pip install faiss-cpu~=1.8.0

from langchain_community.document_loaders import WikipediaLoader
pages = WikipediaLoader(query="Harry Potter", load_max_docs=3, lang="en").load()

[Document(page_content="Harry Potter is a series of seven fantasy novels ...", 'source': '<https://en.wikipedia.org/wiki/Harry_Potter>'}), Document(page_content="Harry Potter is a film series ...", 'source': '<https://en.wikipedia.org/wiki/Harry_Potter_(film_series)>'}), Document(page_content="Harry Potter and the Philosopher\\'s Stone ...", 'source': '<https://en.wikipedia.org/wiki/Harry_Potter_and_the_Philosopher%27s_Stone>'})]

from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter.from_huggingface_tokenizer(tokenizer=AutoTokenizer.from_pretrained("sentence-transformers/all-MiniLM-L12-v2"),chunk_size=256,chunk_overlap=16,strip_whitespace=True,)docs = text_splitter.split_documents(pages)

from langchain_community.embeddingsimport HuggingFaceEmbeddings
bi_encoder = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L12-v2" , model_kwargs={"device" :"cpu" })

import numpy as npembedding1 = bi_encoder.embed_query("Harry Potter")embedding2 = bi_encoder.embed_query(docs[0].page_content)
print(len(embedding1))>> 384
print(np.dot(embedding1, embedding2))>> 0.6636567339217812

from langchain.vectorstores import FAISSfrom langchain_community.vectorstores.utils import DistanceStrategy
faiss_db = FAISS.from_documents(docs, bi_encoder, distance_strategy=DistanceStrategy.DOT_PRODUCT)

question = ("On what date was the first book in the Harry Potter series originally published?")retrieved_docs = faiss_db.similarity_search(question, k=25)

from sentence_transformers import CrossEncoder
cross_encoder = CrossEncoder("cross-encoder/ms-marco-TinyBERT-L-2-v2", max_length=512, device="cpu")

cross_encoder.rank(query="Do I like cats?",documents=["I like cats", "I like horses", "I like dogs"],return_documents=True,)>>[{'corpus_id': 0, 'score': 9.002287, 'text': 'I like cats'},>> {'corpus_id': 2, 'score': -6.411062, 'text': 'I like dogs'},>> {'corpus_id': 1, 'score': -9.557424, 'text': 'I like horses'}]

reranked_docs = cross_encoder.rank(question,[doc.page_content for doc in retrieved_docs],top_k=3,return_documents=True,)

context ="" .join(doc["text" ] +"\\n"for docin reranked_docs)
print (context)>>《哈利·波特与魔法石》是英国作家 JK 罗琳创作的奇幻小说。第一部小说在《哈利·波特》系列和罗琳的处女作小说中，故事讲述了一位年轻的巫师哈利·波特在十一岁生日时发现了自己的魔法遗产，当时他收到了霍格沃茨魔法学校的录取通知书，哈利结交了一些亲密的朋友。在学校的第一年里，他遇到了敌人，在朋友罗恩·韦斯莱和赫敏·格兰杰的帮助下，他面临着黑巫师伏地魔的卷土重来，伏地魔杀死了哈利的父母，但在哈利只有 15 个月大时却未能杀死哈利。该书于 1997 年 6 月 26 日由 Bloomsbury 在英国首次出版，次年由 Scholastic Corporation 出版，书名为《哈利·波特与魔法石》，赢得了大部分英国图书奖。在美国由儿童和其他奖项评判。该书于 1999 年 8 月登上《纽约时报》畅销小说排行榜榜首，并在 1999 年和 2000 年的大部分时间里一直保持在该排行榜的榜首附近。它已被翻译成至少 73 种其他语言，并已被制作成改编成同名长片，以及所有六部续集。该小说已售出超过 1.2 亿册，成为有史以来第四畅销书。自第一部小说《哈利·波特与魔法石》于 1997 年 6 月 26 日发行以来，这些书籍在全球范围内获得了巨大的受欢迎程度、好评和商业成功。它们吸引了广泛的成年读者和年轻读者，并被广泛认为是现代文学的基石。截至 2023 年 2 月，这些书在全球已售出超过 6 亿册，成为历史上最畅销的系列丛书，并有 85 种语言版本。后四本书连续创下历史上最畅销书籍的记录，最后一期在发行后 24 小时内在英国售出约 270 万册，在美国售出 830 万册。原七本书被华纳兄弟影业改编成八集同名电影系列。2016 年，《哈利·波特》系列的总价值估计为 250 亿美元，使《哈利·波特》成为有史以来票房收入最高的媒体系列之一。《哈利·波特与被诅咒的孩子》是根据罗琳合写的故事改编的戏剧。”

print ("对于这个答案，我使用了以下文档：" )for docin reranked_docs:corpus_id = doc["corpus_id" ]print (f"Chunk{corpus_id} from '{retrieved_docs[corpus_id].metadata['title' ]} ' (URL:{retrieved_docs[corpus_id].metadata['source' ]} )" )
>>"对于这个答案，我使用了以下文档：《哈利·波特与魔法石》中的块 4 (URL: https:// en.wikipedia.org/wiki/Harry_Potter_and_the_Philosopher%27s_Stone)来自“哈利·波特与魔法石”的块 3 (URL: <https://en.wikipedia.org/wiki/Harry_Potter_and_the_Philosopher%27s_Stone>)来自“哈利·波特”的块 0 (网址：<https://en.wikipedia.org/wiki/Harry_Potter）”>
使用第一个 URL，我们可以对 LLM 进行事实检查，并发现 1997 年 6 月 26 日是正确的日期。