AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


使用小米小爱音箱与ChatGPT等LLM进行交流
发布日期:2024-06-14 19:57:03 浏览次数: 1782


支持的 AI 类型

ChatGPTNew BingChatGLM[1]Gemini[2]Doubao[3]Moonshot[4]01[5]Llama3[6]通义千问[7]

获取小米音响DID

系统和Shell Linux *sh Windows CMD用户 Windows PowerShell用户
1、安装包 pip install miservice_fork pip install miservice_fork pip install miservice_fork
2、设置变量 export MI_USER=xxx
export MI_PASS=xxx
set MI_USER=xxx
set MI_PASS=xxx
$env:MI_USER="xxx"
$env:MI_PASS="xxx"
3、取得MI_DID micli list micli list micli list
4、设置MI_DID export MI_DID=xxx set MI_DID=xxx $env:MI_DID="xxx"

注意不同shell 对环境变量的处理是不同的,尤其是powershell赋值时,可能需要双引号来包括值。如果获取did报错时,请更换一下无线网络,有很大概率解决问题。

一点原理

不用 root 使用小爱同学和 ChatGPT 交互折腾记[8]

准备

1.ChatGPT id2.小爱音响3.能正常联网的环境或 proxy4.python3.8+

使用

pip install -U --force-reinstall xiaogpt[locked]参考我 fork 的 MiService[9] 项目 README 并在本地 terminal 跑 micli list 拿到你音响的 DID 成功 别忘了设置 export MI_DID=xxx 这个 MI_DID 用run xiaogpt --hardware ${your_hardware} --use_chatgpt_api hardware 你看小爱屁股上有型号,输入进来,如果在屁股上找不到或者型号不对,可以用 micli mina 找到型号跑起来之后就可以问小爱同学问题了,“帮我"开头的问题,会发送一份给 ChatGPT 然后小爱同学用 tts 回答如果上面不可用,可以尝试用手机抓包,https://userprofile.mina.mi.com/device_profile/v2/conversation[10] 找到 cookie 利用 --cookie '${cookie}' cookie 别忘了用单引号包裹默认用目前 ubus, 如果你的设备不支持 ubus 可以使用 --use_command 来使用 command 来 tts使用 --mute_xiaoai 选项,可以快速停掉小爱的回答使用 --account ${account} --password ${password}如果有能力可以自行替换唤醒词,也可以去掉唤醒词使用 --use_chatgpt_api 的 api 那样可以更流畅的对话,速度特别快,达到了对话的体验, openai api[11], 命令 --use_chatgpt_api如果你遇到了墙需要用 Cloudflare Workers 替换 api_base 请使用 --api_base ${url} 来替换。 请注意,此处你输入的api应该是'https://xxxx/v1'的字样,域名需要用引号包裹--use_moonshot_api and other models please refer below可以跟小爱说 开始持续对话 自动进入持续对话状态,结束持续对话 结束持续对话状态。可以使用 --tts edge 来获取更好的 tts 能力可以使用 --tts openai 来获取 openai tts 能力可以使用 --tts azure --azure_tts_speech_key <your-speech-key> 来获取 Azure TTS 能力可以使用 --use_langchain 替代 --use_chatgpt_api 来调用 LangChain(默认 chatgpt)服务,实现上网检索、数学运算..

e.g.

export OPENAI_API_KEY=${your_api_key}xiaogpt --hardware LX06 --use_chatgpt_api# orxiaogpt --hardware LX06 --cookie ${cookie} --use_chatgpt_api# 如果你想直接输入账号密码xiaogpt --hardware LX06 --account ${your_xiaomi_account} --password ${your_password} --use_chatgpt_api# 如果你想 mute 小米的回答xiaogpt --hardware LX06  --mute_xiaoai --use_chatgpt_api# 使用流式响应,获得更快的响应xiaogpt --hardware LX06  --mute_xiaoai --stream# 如果你想使用 google 的 geminixiaogpt --hardware LX06  --mute_xiaoai --use_gemini --gemini_key ${gemini_key}# 如果你想使用自己的 google gemini 服务python3 xiaogpt.py --hardware LX06  --mute_xiaoai --use_gemini --gemini_key ${gemini_key} --gemini_api_domain ${gemini_api_domain}# 如果你想使用阿里的通义千问xiaogpt --hardware LX06  --mute_xiaoai --use_qwen --qwen_key ${qwen_key}# 如果你想使用 kimixiaogpt --hardware LX06  --mute_xiaoai --use_moonshot_api --moonshot_api_key ${moonshot_api_key}# 如果你想使用 llama3xiaogpt --hardware LX06  --mute_xiaoai --use_llama --llama_api_key ${llama_api_key}# 如果你想使用 01xiaogpt --hardware LX06  --mute_xiaoai --use_yi_api --ti_api_key ${yi_api_key}# 如果你想使用豆包export OPENAI_API_KEY=${your_api_key}export SERPAPI_API_KEY=${your_serpapi_key}xiaogpt --hardware Lx06 --use_langchain --mute_xiaoai --stream --openai_key ${your_api_key} --serpapi_api_key ${your_serpapi_key}

使用 git clone 运行

export OPENAI_API_KEY=${your_api_key}python3 xiaogpt.py --hardware LX06# orpython3 xiaogpt.py --hardware LX06 --cookie ${cookie}# 如果你想直接输入账号密码python3 xiaogpt.py --hardware LX06 --account ${your_xiaomi_account} --password ${your_password} --use_chatgpt_api# 如果你想 mute 小米的回答python3 xiaogpt.py --hardware LX06  --mute_xiaoai# 使用流式响应,获得更快的响应python3 xiaogpt.py --hardware LX06  --mute_xiaoai --stream# 如果你想使用 ChatGLM apipython3 xiaogpt.py --hardware LX06  --mute_xiaoai --use_glm --glm_key ${glm_key}# 如果你想使用 google 的 geminipython3 xiaogpt.py --hardware LX06  --mute_xiaoai --use_gemini --gemini_key ${gemini_key}# 如果你想使用自己的 google gemini 服务python3 xiaogpt.py --hardware LX06  --mute_xiaoai --use_gemini --gemini_key ${gemini_key} --gemini_api_domain ${gemini_api_domain}# 如果你想使用阿里的通义千问python3 xiaogpt.py --hardware LX06  --mute_xiaoai --use_qwen --qwen_key ${qwen_key}# 如果你想使用 kimixiaogpt --hardware LX06  --mute_xiaoai --use_moonshot_api --moonshot_api_key ${moonshot_api_key}# 如果你想使用 01xiaogpt --hardware LX06  --mute_xiaoai --use_yi_api --ti_api_key ${yi_api_key}# 如果你想使用豆包python3 xiaogpt.py --hardware LX06  --mute_xiaoai --use_doubao --stream --volc_access_key xxxx --volc_secret_key xxx# 如果你想使用 llama3python3 xiaogpt.py --hardware LX06  --mute_xiaoai --use_llama --llama_api_key ${llama_api_key}# 如果你想使用 LangChain+SerpApi 实现上网检索或其他本地服务(目前仅支持 stream 模式)export OPENAI_API_KEY=${your_api_key}export SERPAPI_API_KEY=${your_serpapi_key}python3 xiaogpt.py --hardware Lx06 --use_langchain --mute_xiaoai --stream --openai_key ${your_api_key} --serpapi_api_key ${your_serpapi_key}

config.yaml

如果想通过单一配置文件启动也是可以的, 可以通过 --config 参数指定配置文件, config 文件必须是合法的 Yaml 或 JSON 格式 参数优先级

cli args > default > config

python3 xiaogpt.py --config xiao_config.yaml# orxiaogpt --config xiao_config.yaml

或者

cp xiao_config.yaml.example xiao_config.yamlpython3 xiaogpt.py

若要指定 OpenAI 的模型参数,如 model, temporature, top_p, 请在 config.yaml 中指定:

gpt_options:  temperature: 0.9  top_p: 0.9

具体参数作用请参考 Open AI API 文档[12]。ChatGLM 文档[13]

配置项说明

参数 说明 默认值 可选值
hardware 设备型号

account 小爱账户

password 小爱账户密码

openai_key openai的apikey

moonshot_api_key moonshot kimi 的 apikey[14]

yi_api_key 01 wanwu 的 apikey[15]

llama_api_key groq 的 llama3 apikey[16]

serpapi_api_key serpapi的key 参考 SerpAPI[17]

glm_key chatglm 的 apikey

gemini_key gemini 的 apikey 参考[18]

gemini_api_domain gemini 的自定义域名 参考[19]

qwen_key qwen 的 apikey 参考[20]

cookie 小爱账户cookie (如果用上面密码登录可以不填)

mi_did 设备did

use_command 使用 MI command 与小爱交互 false
mute_xiaoai 快速停掉小爱自己的回答 true
verbose 是否打印详细日志 false
bot 使用的 bot 类型,目前支持 chatgptapi,newbing, qwen, gemini chatgptapi
tts 使用的 TTS 类型 mi edge、 openaiazurevolcbaidugoogleminimax
tts_options TTS 参数字典,参考 tetos[21] 获取可用参数

prompt 自定义prompt 请用100字以内回答
keyword 自定义请求词列表 ["请"]
change_prompt_keyword 更改提示词触发列表 ["更改提示词"]
start_conversation 开始持续对话关键词 开始持续对话
end_conversation 结束持续对话关键词 结束持续对话
stream 使用流式响应,获得更快的响应 true
proxy 支持 HTTP 代理,传入 http proxy URL ""
gpt_options OpenAI API 的参数字典 {}
deployment_id Azure OpenAI 服务的 deployment ID 参考这个如何找到deployment_id[22]
api_base 如果需要替换默认的api,或者使用Azure OpenAI 服务 例如:https://abc-def.openai.azure.com/
volc_access_key 火山引擎的 access key 请在这里[23]获取

volc_secret_key 火山引擎的 secret key 请在这里[24]获取

注意

1.请开启小爱同学的蓝牙2.如果要更改提示词和 PROMPT 在代码最上面自行更改3.目前已知 LX04、X10A 和 L05B L05C 可能需要使用 --use_command,否则可能会出现终端能输出GPT的回复但小爱同学不回答GPT的情况。这几个型号也只支持小爱原本的 tts.4.在wsl使用时, 需要设置代理为 http://wls的ip:port(vpn的代理端口)[25], 否则会出现连接超时的情况, 详情 报错:Error communicating with OpenAI[26]

QA

1.用破解么?不用2.你做这玩意也没用啊?确实。。。但是挺好玩的,有用对你来说没用,对我们来说不一定呀3.想把它变得更好?PR Issue always welcome.4.还有问题?提 Issue 哈哈5.Exception: Error https://api2.mina.mi.com/admin/v2/device_list?master=0&requestId=app_ios_xxx[27]: Login failed @KJZH001[28]
这是由于小米风控导致,海外地区无法登录大陆的账户,请尝试cookie登录 无法抓包的可以在本地部署完毕项目后再用户文件夹C:\Users\用户名下面找到.mi.token,然后扔到你无法登录的服务器去
若是linux则请放到当前用户的home文件夹,此时你可以重新执行先前的命令,不出意外即可正常登录(但cookie可能会过一段时间失效,需要重新获取)
详情请见 https://github.com/yihong0618/xiaogpt/issues/332[29]

视频教程

https://www.youtube.com/watch?v=K4YA8YwzOOA[30]

Docker

常规用法

X86/ARM Docker Image: yihong0618/xiaogpt

docker run -e OPENAI_API_KEY=<your-openapi-key> yihong0618/xiaogpt <命令行参数>

docker run -e OPENAI_API_KEY=<your-openapi-key> yihong0618/xiaogpt --account=<your-xiaomi-account> --password=<your-xiaomi-password> --hardware=<your-xiaomi-hardware> --use_chatgpt_api

使用配置文件

xiaogpt的配置文件可通过指定volume /config,以及指定参数--config来处理,如

docker run -v <your-config-dir>:/config yihong0618/xiaogpt --config=/config/config.yaml

网络使用 host 模型

docker run -v <your-config-dir>:/config --network=host yihong0618/xiaogpt --config=/config/config.yaml

本地编译Docker Image

 docker build -t xiaogpt .

如果在安装依赖时构建失败或安装缓慢时,可以在构建 Docker 镜像时使用 --build-arg 参数来指定国内源地址:

docker build --build-arg PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple -t xiaogpt .

如果需要在Apple M1/M2上编译x86

 docker buildx build --platform=linux/amd64 -t xiaogpt-x86 .

第三方 TTS

我们目前支持是三种第三方 TTS:edge/openai/azure/volc/baidu/google

edge-tts[31] 提供了类似微软tts的能力 azure-tts[32] 提供了微软 azure tts 的能力 openai-tts[33] 提供了类似 openai tts 的能力

Usage

你可以通过参数 tts, 来启用它

tts: edge

For edge 查看更多语言支持, 从中选择一个

edge-tts --list-voices

在容器中使用 edge-tts/azure-tts/openai-tts/volc/google/baidu

由于 Edge TTS 启动了一个本地的 HTTP 服务,所以需要将容器的端口映射到宿主机上,并且指定本地机器的 hostname:

docker run -v <your-config-dir>:/config -p 9527:9527 -e XIAOGPT_HOSTNAME=<your ip> yihong0618/xiaogpt --config=/config/config.yaml

注意端口必须映射为与容器内一致,XIAOGPT_HOSTNAME 需要设置为宿主机的 IP 地址,否则小爱无法正常播放语音。

推荐的类似项目

XiaoBot[34] -> Go语言版本的Fork, 带支持不同平台的UIMiGPT[35] -> Node.js 版,支持流式响应和长短期记忆

感谢

xiaomi[36]PDM[37]Tetos[38] TTS 云服务支持@Yonsm[39] 的 MiService[40]@pjq[41] 给了这个项目非常多的帮助@frostming[42] 重构了一些代码,支持了持续会话功能

赞赏

谢谢就够了

References

[1] ChatGLM: http://open.bigmodel.cn/
[2] Gemini: https://makersuite.google.com/app/apikey
[3] Doubao: https://console.volcengine.com/iam/keymanage/
[4] Moonshot: https://platform.moonshot.cn/docs/api/chat#%E5%BF%AB%E9%80%9F%E5%BC%80%E5%A7%8B
[5] 01: https://platform.lingyiwanwu.com/apikeys
[6] Llama3: https://console.groq.com/docs/quickstart
[7] 通义千问: https://help.aliyun.com/zh/dashscope/developer-reference/api-details
[8] 不用 root 使用小爱同学和 ChatGPT 交互折腾记: https://github.com/yihong0618/gitblog/issues/258
[9] MiService: https://github.com/yihong0618/MiService
[10]https://userprofile.mina.mi.com/device_profile/v2/conversation
[11] openai api: https://platform.openai.com/account/api-keys
[12] Open AI API 文档: https://platform.openai.com/docs/api-reference/chat/create
[13] 文档: http://open.bigmodel.cn/doc/api#chatglm_130b
[14] apikey: https://platform.moonshot.cn/docs/api/chat#%E5%BF%AB%E9%80%9F%E5%BC%80%E5%A7%8B
[15] apikey: https://platform.lingyiwanwu.com/apikeys
[16] apikey: https://console.groq.com/docs/quickstart
[17] SerpAPI: https://serpapi.com/
[18] 参考: https://makersuite.google.com/app/apikey
[19] 参考: https://github.com/antergone/palm-netlify-proxy
[20] 参考: https://help.aliyun.com/zh/dashscope/developer-reference/api-details
[21] tetos: https://github.com/frostming/tetos
[22] 如何找到deployment_id: https://github.com/yihong0618/xiaogpt/issues/347#issuecomment-1784410784
[23] 这里: https://console.volcengine.com/iam/keymanage/
[24] 这里: https://console.volcengine.com/iam/keymanage/
[25]http://wls的ip:port(vpn的代理端口)
[26] 报错:Error communicating with OpenAI: https://github.com/yihong0618/xiaogpt/issues/235
[27]https://api2.mina.mi.com/admin/v2/device_list?master=0&requestId=app_ios_xxx
[28] @KJZH001: https://github.com/KJZH001
[29]https://github.com/yihong0618/xiaogpt/issues/332
[30]https://www.youtube.com/watch?v=K4YA8YwzOOA
[31] edge-tts: https://github.com/rany2/edge-tts
[32] azure-tts: https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/9-more-realistic-ai-voices-for-conversations-now-generally/ba-p/4099471
[33] openai-tts: https://platform.openai.com/docs/guides/text-to-speech
[34] XiaoBot: https://github.com/longbai/xiaobot
[35] MiGPT: https://github.com/idootop/mi-gpt
[36] xiaomi: https://www.mi.com/
[37] PDM: https://pdm.fming.dev/latest/
[38] Tetos: https://github.com/frostming/tetos
[39] Yonsm: https://github.com/Yonsm
[40] MiService: https://github.com/Yonsm/MiService
[41] pjq: https://github.com/pjq
[42] frostming: https://github.com/frostming


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询