BAAI/bge-m3Qwen/Qwen2-0.5B-Instruct

langchain==0.2.10 langchain-core torch faiss-cpu langchain_community

from langchain_openai import ChatOpenAI, OpenAIEmbeddings
openai_model = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0.0)embeddings = OpenAIEmbeddings()
openai_model.invoke("What is 2 ? 4?")

AIMessage(content='The expression "2 ? 4" is not a standard mathematical operation or equation. It appears to be a combination of the number 2 and the parrot emoji ? followed by the number 9. It does not have a specific mathematical meaning.', response_metadata={'token_usage': {'completion_tokens': 54, 'prompt_tokens': 17, 'total_tokens': 71}, 'model_name': 'gpt-3.5-turbo-0125', 'system_fingerprint': None, 'finish_reason': 'stop', 'logprobs': None}, id='run-aad12dda-5c47-4a1e-9949-6fe94e03242a-0', usage_metadata={'input_tokens': 17, 'output_tokens': 54, 'total_tokens': 71})

from utils import load_custom_model, CustomEmbedding
chat_model = load_custom_model("./Qwen/Qwen2-0.5B-Instruct")embeddings = CustomEmbedding("./ckpt/bge-m3")chat_model.invoke("What is 2 ? 4?")

chat_model.invoke("What is 2 ? 4?")# AIMessage(content='It seems like you're using emojis, but I'm not sure what you mean by "2 ? 4". Could you please provide more context or clarify your question?', id='run-df7ad53b-4423-45f0-9e4e-b88a146f5658-0')chat_model.invoke("中国的春城是哪里?")# AIMessage(content='中国的春城是指昆明。', id='run-5b4ba399-0f87-43f4-b0d3-b45c854a1572-0')

from langchain_core.prompts import ChatPromptTemplate, FewShotChatMessagePromptTemplate
# 示例examples = [{"input": "2 ? 2", "output": "4"},{"input": "2 ? 3", "output": "5"},{"input": "4 ? 5", "output": "9"},{"input": "3 ? 8", "output": "11"}]# 示例的prompt模板example_prompt = ChatPromptTemplate.from_messages([("human", "{input}"),("ai", "{output}"),])
# 示例拼接few_shot_prompt = FewShotChatMessagePromptTemplate(example_prompt=example_prompt,examples=examples,)
print(few_shot_prompt.invoke({}).to_messages())# [HumanMessage(content='2 ? 2'), AIMessage(content='4'), HumanMessage(content='2 ? 3'), AIMessage(content='5')]
# 示例加入到整个大模型中final_prompt = ChatPromptTemplate.from_messages([("system", "You are a wondrous wizard of math."),few_shot_prompt,("human", "{input}"),])
# 下面是What is 3 ? 5?拼接的结果# ChatPromptValue(messages=[SystemMessage(content='You are a wondrous wizard of math.'), HumanMessage(content='2 ? 2'), AIMessage(content='4'), HumanMessage(content='2 ? 3'), AIMessage(content='5'), HumanMessage(content='4 ? 5'), AIMessage(content='9'), HumanMessage(content='3 ? 8'), AIMessage(content='11'), HumanMessage(content='What is 3 ? 5?')])
chain = final_prompt | chat_model

print(chain.invoke({"input": "What is 2 ? 5?"}))# content='7' id='run-367961cf-ea5b-4c99-bd85-a8494fd3bfe8-0'print(chain.invoke({"input": "What is 3 ? 4?"}))# content='7' id='run-56465db6-4ebc-4efe-9b2c-b9da7ebdec4c-0'print(chain.invoke({"input": "What is 3 ? 3?"}))# content='6' id='run-abc9a040-10fc-41a2-9cd5-8ed365f62b89-0'print(chain.invoke({"input": "What is 3 ? 9?"}))# content='6' id='run-443df1ee-3380-489c-9900-1c43e1e35bb5-0'

from langchain_community.vectorstores import FAISSfrom langchain_core.example_selectors import SemanticSimilarityExampleSelector
# 示例examples = [{"input": "2 ? 2", "output": "4"},{"input": "2 ? 3", "output": "5"},{"input": "2 ? 4", "output": "6"},{"input": "中国的首都是哪里?", "output": "北京"},{"input": "中国经济中心是哪里", "output": "上海"}]
# 创建向量检索库to_vectorize = [" ".join(example.values()) for example in examples]vectorstore = FAISS.from_texts(to_vectorize, embeddings, metadatas=examples)
# 创建示例检索器example_selector = SemanticSimilarityExampleSelector(vectorstore=vectorstore,    k=2, # 示例个数)
print(example_selector.select_examples({"input": "中国的春城是哪里"}))# [{'input': '中国的首都是哪里?', 'output': '北京'}, {'input': '中国经济中心是哪里', 'output': '上海'}]
# Create prompt templatefrom langchain_core.prompts import ChatPromptTemplate, FewShotChatMessagePromptTemplate
# Define the few-shot prompt.few_shot_prompt = FewShotChatMessagePromptTemplate(    # 定义example_selector的输入字段为inputinput_variables=["input"],example_selector=example_selector,    # 示例的prompt模板example_prompt=ChatPromptTemplate.from_messages([("human", "{input}"), ("ai", "{output}")]),)
final_prompt = ChatPromptTemplate.from_messages([("system", "你是一个精通中国的ai助手"),few_shot_prompt,("human", "{input}"),]
)

print(example_selector.select_examples({"input": "中国的春城是哪里？"}))# [{'input': '中国的首都是哪里?', 'output': '北京'}, {'input': '中国经济中心是哪里', 'output': '上海'}]
print(few_shot_prompt.invoke(input="中国的春城是哪里？").to_messages())# [HumanMessage(content='中国的首都是哪里?'), AIMessage(content='北京'), HumanMessage(content='中国经济中心是哪里'), AIMessage(content='上海')]

chat_model.invoke("中国的春城是哪里?")# AIMessage(content='中国的春城是指昆明。', id='run-731aca8a-3a25-41a7-a5f8-52c30a53af2f-0')
chat_model.invoke("东方明珠在哪里")# AIMessage(content='东方明珠位于中国上海市浦东新区，是上海的标志性建筑之一。它高约468米，是世界上最高的电视塔。', id='run-116fe79d-9b3e-4796-9d8e-ee9d2edf9306-0')

chain = final_prompt | chat_model
chain.invoke({"input": "中国的春城是哪里?"})# AIMessage(content='昆明', id='run-159c892d-43ff-4350-85bc-7e11e8882b9d-0')
chain.invoke({"input": "东方明珠在哪里"})# AIMessage(content='上海', id='run-3225ba64-23db-4b6b-96ce-a72d49de8af3-0')