https://github.com/linyiLYi/bilibot

Github项目详情见【阅读原文】

项目简介

bilibot 是一个本地聊天机器人，通过哔哩哔哩（Bilibili）用户的评论进行了微调训练，目的是提供一个能够与用户进行自然语言交互的聊天机器人，它能够理解用户的问题并给出合适的回答。

项目不仅支持文字聊天，还能生成针对特定问题的语音对话。基于Qwen1.5-32B-Chat模型，通过苹果的mlx-lm LORA示例项目进行微调，结合GPT-SoVITS开源项目，实现语音生成。

使用方法

配置环境

1. 创建Python环境：使用Anaconda创建一个名为bilibot的Python 3.10环境。

conda create -n bilibot python=3.10

1. 激活环境：

conda activate bilibot

1. 安装依赖：进入到项目目录，安装所需的Python包。

cd bilibot
pip install -r requirements.txt

模型微调训练与推理测试

1. 模型微调：使用mlx_lm.lora命令对基础模型Qwen1.5-32B-Chat进行微调。

python -m mlx_lm.lora --model models/Qwen1.5-32B-Chat --data data/ --train --iters 1000 --batch-size 16 --lora-layers 12

1. 模型合并：将微调后的适配器文件与基础模型合并。

python -m mlx_lm.fuse --model models/Qwen1.5-32B-Chat --save-path models/Qwen1.5-32B-Chat-FT --adapter-path models/Qwen1.5-32B-Chat-Adapters

1. 模型量化加速：使用提供的脚本对模型进行量化压缩，以加快生成速度。

python tools/compress_model.py

1. 对话测试：运行对话测试脚本。

python chat.py

语音生成

1. 配置GPT-SoVITS环境：为GPT-SoVITS创建一个新的Python环境并安装依赖。

conda create -n GPTSOVITS python=3.9
conda activate GPTSOVITS
cd GPT-SoVITS
pip install -r requirements.txt

1. 运行GPT-SoVITS：启动webui.py以进行语音生成。

python webui.py

1. 运行API程序：使用不同的端口为派蒙和林亦提供语音生成服务。

python api.py -s SoVITS_weights/paimeng2_e110_s159940.pth -g GPT_weights/paimeng2-e10.ckpt -dr samples/Paimon/疑问—哇，这个，还有这个…只是和史莱姆打了一场，就有这么多结论吗？.wav -dt "哇，这个，还有这个…只是和史莱姆打了一场，就有这么多结论吗？" -dl "zh" -a 127.0.0.1 -p 9880
python api.py -s SoVITS_weights/linyi_e25_s1150.pth -g GPT_weights/linyi-e50.ckpt -dr "samples/linyi/【愤怒】你这问题太弱智了，我都不知道该从哪开始骂你。.WAV" -dt "你这问题太弱智了，我都不知道该从哪开始骂你。" -dl "zh" -a 127.0.0.1 -p 9881

1. 运行问答生成程序：

python start_qa_dialogue.py