nvidia-smi

D:\developer\anacondaD:\developer\anaconda\ScriptsD:\developer\anaconda\Library\binD:\developer\anaconda\Library\mingw-w64\bin

conda create -n pytorch python=3.10conda activate pytorch

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

mkdir Qwen && cd Qwengit clone https://www.modelscope.cn/qwen/Qwen1.5-0.5B-Chat.gitcd ..

pip install modelscope transformers

pip install optimum auto-gptq

from threading import Thread
from modelscope import (AutoModelForCausalLM, AutoTokenizer)from transformers import TextIteratorStreamer
device = "cuda"# 将模型加载到哪个硬件，此处为GPU
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-0.5B-Chat", # 模型文件夹路径device_map="auto")tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-0.5B-Chat")
while True:user_input = input("请输入问题（q退出）：")if user_input.lower() == "q":print("exit")breaktry:messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": user_input}]text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=False)inputs = tokenizer([text], return_tensors="pt").to(device)
streamer = TextIteratorStreamer(tokenizer)generation_kwargs = dict(inputs, streamer=streamer, max_new_tokens=512)thread = Thread(target=model.generate, kwargs=generation_kwargs)thread.start()generated_text = ""count = 0for new_text in streamer:generated_text += new_textprint(new_text, end="", flush=True)print()except Exception as e:print(f"出错了：{str(e)}")

from abc import ABCfrom threading import Threadfrom typing import Any, List, Mapping, Optional, Iterator
from langchain.callbacks.manager import CallbackManagerForLLMRunfrom langchain.llms.base import LLMfrom langchain_core.outputs import GenerationChunkfrom modelscope import AutoModelForCausalLM, AutoTokenizerfrom transformers import TextIteratorStreamer
device = "cuda"# the device to load the model onto
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-0.5B-Chat",device_map="auto")tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-0.5B-Chat")

class QwenLocalLLM(LLM, ABC):max_token: int = 10000temperature: float = 0.01top_p = 0.9
def __init__(self):super().__init__()
@propertydef _llm_type(self) -> str:return "Qwen"
def _call(self,prompt: str,stop: Optional[List[str]] = None,run_manager: Optional[CallbackManagerForLLMRun] = None,**kwargs: Any) -> str:messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}]text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512)generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]return response
@propertydef _identifying_params(self) -> Mapping[str, Any]:"""Get the identifying parameters."""return {"max_token": self.max_token,"temperature": self.temperature,"top_p": self.top_p,"history_len": self.history_len}
def _stream(self,prompt: str,stop: Optional[List[str]] = None,run_manager: Optional[CallbackManagerForLLMRun] = None,**kwargs: Any,) -> Iterator[GenerationChunk]:try:messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}]text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=False)inputs = tokenizer([text], return_tensors="pt").to(device)
streamer = TextIteratorStreamer(tokenizer)generation_kwargs = dict(inputs, streamer=streamer, max_new_tokens=512)thread = Thread(target=model.generate, kwargs=generation_kwargs)thread.start()generated_text = ""for new_text in streamer:generated_text += new_textprint(new_text, end="", flush=True)yield GenerationChunk(text=new_text)print()except Exception as e:print(f"出错了：{str(e)}")yield GenerationChunk(text=f"生成失败: {str(e)}")

# 替换前model = Tongyi()model.model_name = "qwen-max"
# 替换后model = QwenLocalLLM()

1. **离线包结构**：离线包通常是一个包含前端资源的`.zip`包，这些资源可以是HTML、CSS、JavaScript文件或者图片等。这些资源被组织在一起，以便客户端能够下载并离线使用。
2. **离线包类型**：可能有不同类型的离线包，比如全量包和增量包。全量包包含所有更新的资源，而增量包只包含与旧版本相比发生变化的资源。
3. **渲染过程**：当客户端应用启动或用户触发更新时，会通过特定的RPC调用获取最新的离线包信息。然后，客户端会下载这个包，并将其解压缩到本地的沙盒目录。如果配置了验签，客户端还会验证包的完整性。一旦包被成功解压和验证，客户端会使用新的资源来渲染页面。
4. **更新流程**：更新流程包括构建前端`.zip`包，在线生成`.amr`包（可能是处理签名和版本信息的打包格式），然后通过发布平台将包推送给客户端。客户端在接收到更新信息后，会下载并应用新的离线包。
5. **检查和调试**：如果客户端无法加载新包，可以通过检查RPC返回结果、确认加载的离线包信息、检查沙盒目录下的解压情况、验证签名以及使用Safari调试H5页面来排查问题。
6. **客户端范围**：在控制台上传新版本离线包时，需要指定支持的客户端版本范围，只有在这个范围内的客户端才能接收并更新离线包。
7. **用户交互**：在应用中，用户触发更新后，会收到提示，更新完成后可以访问使用新离线包的页面。
详细原理可以参考[离线包简介](/document_detail/59594.html#topic-2125626)。

离线包更新的原理是这样的：
1. 首先，您需要安装离线包相关的配置文件。2. 然后，您可以将离线包添加到应用的缓存或数据库中，以便下次下载使用。3. 一旦离线包添加到缓存或数据库中，它将在后续请求中的 `<head>` 响应头中包含一个 `Content-Disposition` 属性，指定要下载的离线包的类型和URL，以及其离线包大小。4. 然后，服务器会在适当的时候发送一个响应头，其中包含了离线包的状态码（如 `200 OK`）和一些相关信息，例如离线包的实际URL。5. 最后，客户端可以从响应头中获取离线包的内容，并进行相应的操作。
此外，离线包还包含一些额外的信息，例如离线包的完整路径、离线包的版本号等，这些信息可以用于维护离线包的历史记录和调试。