import torchfrom modelscope import snapshot_download# snapshot_download函数用于下载模型model_dir = snapshot_download('qwen/Qwen2-7B-Instruct',# 模型名称cache_dir='/root/autodl-tmp',# 缓存目录revision='master'# 版本号)

import torchfrom modelscope import snapshot_download# snapshot_download函数用于下载模型model_dir = snapshot_download('AI-ModelScope/bge-base-zh-v1.5',# 模型名称cache_dir='/root/autodl-tmp',# 缓存目录revision='master'# 版本号)

pip install llama-indexpip install llama-index-llms-huggingfacepip install llama-index-readers-webpip install llama-index-corepip install llama-index-llms-openaipip install llama-index-llms-replicatepip install llama-index-embeddings-huggingface

import torchfrom llama_index.core import Settingsfrom llama_index.core.node_parser import SentenceSplitterfrom llama_index.llms.huggingface import HuggingFaceLLMfrom llama_index.embeddings.huggingface import HuggingFaceEmbedding

# Set prompt template for generation (optional)from llama_index.core import PromptTemplatedef completion_to_prompt(completion):return f"<|im_start|>system\n<|im_end|>\n<|im_start|>user\n{completion}<|im_end|>\n<|im_start|>assistant\n"def messages_to_prompt(messages):prompt = ""for message in messages:if message.role == "system":prompt += f"<|im_start|>system\n{message.content}<|im_end|>\n"elif message.role == "user":prompt += f"<|im_start|>user\n{message.content}<|im_end|>\n"elif message.role == "assistant":prompt += f"<|im_start|>assistant\n{message.content}<|im_end|>\n"if not prompt.startswith("<|im_start|>system"):prompt = "<|im_start|>system\n" + promptprompt = prompt + "<|im_start|>assistant\n"return prompt

# Set Qwen2 as the language model and set generation configSettings.llm = HuggingFaceLLM(model_name="/root/autodl-tmp/qwen/Qwen2-7B-Instruct",tokenizer_name="/root/autodl-tmp/qwen/Qwen2-7B-Instruct",#model_name="Qwen/Qwen2-7B-Instruct",#tokenizer_name="Qwen/Qwen2-7B-Instruct",context_window=30000,max_new_tokens=2000,generate_kwargs={"temperature": 0.7, "top_k": 50, "top_p": 0.95},messages_to_prompt=messages_to_prompt,completion_to_prompt=completion_to_prompt,device_map="auto",)

# Set embedding modelSettings.embed_model = HuggingFaceEmbedding(model_name = "/root/autodl-tmp/AI-ModelScope/bge-base-zh-v1.5")

# Set the size of the text chunk for retrievalSettings.transformations = [SentenceSplitter(chunk_size=1024)]

from llama_index.core import VectorStoreIndex, SimpleDirectoryReaderdocuments = SimpleDirectoryReader("./document").load_data()index = VectorStoreIndex.from_documents(documents,embed_model=Settings.embed_model,transformations=Settings.transformations)

from llama_index.readers.web import SimpleWebPageReaderfrom llama_index.core import VectorStoreIndex, SimpleDirectoryReaderdocuments = SimpleWebPageReader(html_to_text=True).load_data(["web_address_1","web_address_2",...])index = VectorStoreIndex.from_documents(documents,embed_model=Settings.embed_model,transformations=Settings.transformations)

query_engine = index.as_query_engine()your_query = "你是谁？"print(query_engine.query(your_query).response)

根据给定的上下文信息，无法直接回答“你是谁？”这个问题，因为它要求提供身份或自我介绍的信息，而这在提供的内容中并未提及。所以，基于给定的信息集，这个问题的答案不能被确定。

query_engine = index.as_query_engine()your_query = "什么是属于你的，但其他人比你使用它更多？"print(query_engine.query(your_query).response)

你的名字。```

query_engine = index.as_query_engine()your_query = "路的左边有一座绿房子，路的右边有一座红房子。那么，白宫在哪里？"print(query_engine.query(your_query).response)

在美国华盛顿。

index.storage_context.persist()

from llama_index.core import StorageContext, load_index_from_storage# rebuild storage contextstorage_context = StorageContext.from_defaults(persist_dir="./storage")# load indexindex = load_index_from_storage(storage_context)

query_engine = index.as_query_engine()your_query = "没有翅膀我也能飞翔。没有眼睛我也能哭。每当我走的时候，黑暗就跟着我。我是什么？"print(query_engine.query(your_query).response)

一朵云。