推荐语

定制化AI助手的实现路径，从模型微调到联网开发

核心内容：
1. AI技术的最新发展：从ChatGPT到Manus
2. 通用大模型的局限性与定制化的必要性
3. 通过LLaMA-Factory实现本地大模型微调与联网开发

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

当前，以Claude、DeepSeek、GPT等为代表的通用大语言模型展现出惊人的知识覆盖和任务泛化能力，但在垂直行业场景中常常面临“博而不精”的困境——医疗诊断时可能混淆专业术语、法律咨询时缺乏最新司法解释援引、金融分析时难以把握行业特有指标。这种通用性与专业性的矛盾，催生了“模型蒸馏-领域适配-任务聚焦”的三级进化路径：通过知识蒸馏压缩模型体积，依托行业语料进行领域微调（Domain Adaptation），最终基于具体业务需求实现任务专属优化（Task-Specific Tuning）。

本次实验选用DeepSeek开源的DeepSeek-R1-Distill-Qwen-1.5B模型（作者也想微调本地更大参数等模型，但碍于GPU算力有限，主要展示微调过程实现与原理），该模型采用知识蒸馏技术将原始Qwen大模型压缩至1.5B参数量级，通过LLaMA-Factory框架，展示如何将这款轻量化模型进一步微调为特定领域专家，验证“通用基座-行业中间层-业务终端”的渐进式优化路径。

模型微调的本质是参数空间的迁移学习，通过在目标领域数据上的梯度更新，使模型逐步弱化通用语义理解，强化垂直领域特征提取能力。这种技术路径不仅能够提升专业任务准确率（某医疗AI实验显示微调后诊断建议准确率提升41.2%），更可突破大模型固有的知识时效局限（通过注入最新行业数据更新模型认知）。本文将以完整的实验闭环，揭示大模型从“通才”到“专才”的进化密码。

   1.1 环境准备

机器信息：

模型下载

基座模型（deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B）

pip install -U huggingface_hubpip install huggingface-cliexport HF_ENDPOINT=https://hf-mirror.com #国内HF镜像代理 可选huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local-dir /data/llm/models/DeepSeek-R1-Distill-Qwen-1.5B

LLaMA-Factory安装

git clone https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factorypip install -e .

基座模型部署及效果展示

启动 LLama-Factory webUI

cd LLaMA-Factoryllamafactory-cli webui

浏览器访问 ip:7860

配置模型名称以及本地模型文件路径，然后点击加载模型，此时 LLaMA-Factory 就会加载路径下单模型。

此时在 ChatBox 与模型进行对话：

   1.2 微调

微调数据准备

此处只有极少量数据，做案例使用，为了与基础模型做区别，在补充一个身份识别的预训练数据。

identity.json:

其中微调数据中：

微调+原理解析

将微调数据放入到LLaMA-Factory/data/目录下。(注意：LLaMA-Factory 默认包含 identity.json数据集，覆盖即可)

修改数据注册文件dataset_info.json文件。增加

微调原理简介：在预训练的模型基础上，用特定领域数据进一步训练以适配具体任务，例如：用法律文书数据微调模型以提升法律咨询准确性。

方法分类：

1. 全参数微调：调整所有参数，适用于数据充足的场景。

2. 轻量级微调：如LoRA(低秩适配)，仅更新部分参数，降低计算成本。

这个实验场景中就是使用的LoRA进行微调。LoRA具体的原理可参考：https://arxiv.org/pdf/2106.09685

webui配置微调：

llamafactory-cli train \--stage sft \--do_train True \--model_name_or_path /data/llm/models/DeepSeek-R1-Distill-Qwen-1.5B \--preprocessing_num_workers 16 \--finetuning_type lora \--template deepseek3 \--flash_attn auto \--dataset_dir data \--datasetidentity \--cutoff_len 2048 \--learning_rate 0.0002 \--num_train_epochs 10.0 \--max_samples 1000 \--per_device_train_batch_size 2 \--gradient_accumulation_steps 8 \--lr_scheduler_type cosine \--max_grad_norm 1.0 \--logging_steps 5 \--save_steps 100 \--warmup_steps 0 \--packing False \--report_to none \--output_dir saves/DeepSeek-R1-1.5B-Distill/lora/train_2025-03-02-15-57-16 \--fp16 True \--plot_loss True \--trust_remote_code True \--ddp_timeout 180000000 \--include_num_input_tokens_seen True \--optim adamw_torch \--lora_rank 8 \--lora_alpha 16 \--lora_dropout 0 \--lora_target all

llama-factory支持非常多的微调参数，了解详情可查看 llama-factory官方文档。这里由于是简单实验就不过多解释了。

然后开始训练模型（等待训练完成）。

微调后模型部署及效果展示

此时在使用上面相同的聊天内容询问模型，则回复的是我们训练数据中的内容。但此时需要加载俩个模型，一个是通用基础模型，一个是刚刚低秩的适配器。也就是此时，想让其他人使用这个模型，需要提供俩个模型文件，比较繁琐。

模型合并

为了解决上面需要导出多个模型文件的文件，所以需要将俩个模型进行一个模型合并。将 base model 与训练好的 LoRA Adapter 合并成一个新的模型。

llamafactory-cli export cust/merge_deepseekr1_lora_sft.yaml

合并配置文件：

### modelmodel_name_or_path: /data/llm/models/DeepSeek-R1-Distill-Qwen-1.5B/adapter_name_or_path: /data/llm/models/LLaMA-Factory/saves/DeepSeek-R1-1.5B-Distill/lora/train_2025-03-02-19-26-55template: deepseekfinetuning_type: lora
### exportexport_dir: /data/llm/models/DeepSeek-R1-Distill-Qwen-1.5B-rcpc/export_size: 4export_device: cudaexport_legacy_format:

完成模型合并之后，会在目录下多一个模型出来。

微调后新模型效果演示

此时使用LLaMA-Factory webui 加载新模型，然后与之对话。就可以得到微调后的模型了。

本地大模型联网功能开发

   2.1 整体架构

   2.2 LLM 调用

流程图：

def call_llm(prompt: str, with_context: bool = True, context: str | None = None):

功能：调用本地运行的Ollama LLM模型生成回答。

参数：

• prompt: 用户的问题/提示。

• with_context: 是否使用系统预设的上下文规则。

• context: 额外上下文信息。

实现细节：

• 构建包含系统提示和用户问题的消息结构。

• 使用ollama.chat进行流式响应（stream=True）。

• 根据with_context参数动态调整消息结构。

• 使用deepseek-r1:1.5b模型，通过生成器逐块返回响应。

• 系统提示严格限制回答必须基于提供的上下文。

   2.3 向量数据库初始化

def get_vector_collection() -> tuple[chromadb.Collection, chromadb.Client]:

功能：初始化ChromaDB向量数据库连接。

关键点：

• 使用nomic-embed-text:latest嵌入模型。

• 创建持久化存储的客户端（路径./web-search-llm-db）。

• 设置余弦相似度作为距离计算方式。

• 返回可重用的集合对象。

技术参数：

Settings(anonymized_telemetry=False)# 关闭匿名数据收集metadata={"hnsw:space": "cosine"}# 配置HNSW索引算法

   2.4 URL规范化

def normalize_url(url)：

转换规则：

1. 移除https://和www.前缀

2. 替换特殊字符：

• / → _

• - → _

• . → _

• 示例：

  https://www.example.com/path  → example_com_path




目的：生成适合作为向量数据库ID的标准化字符串




   2.5 数据存储




def add_to_vector_database(results: list[CrawlResult]):




处理流程：




chunk_size=400 # 每块约400字符chunk_overlap=100# 块间重叠100字符

1. 使用递归字符分割器：

2. 创建临时Markdown文件加载内容。

3. 通过UnstructuredMarkdownLoader解析文档。

4. 为每个文本块生成：

• 内容文本。

• 元数据（来源URL）。

• 唯一ID（标准化URL_序号）。

• 批量插入向量数据库。




   2.6 网页爬取




async def crawl_webpages(urls: list[str], prompt: str) -> CrawlResult:




核心技术：

• 异步爬虫框架（AsyncWebCrawler）

• BM25算法过滤相关内容：

BM25ContentFilter(user_query=prompt, bm25_threshold=1.2)

• 浏览器配置：

headless=True # 无头模式text_mode=True# 仅提取文本page_timeout=20000# 20秒超时




过滤策略：

excluded_tags = ["nav", "footer", "header", "form", "img", "a"]# 排除导航元素remove_overlay_elements = True# 移除浮动元素




   2.7 爬虫合规检查




def check_robots_txt(urls: list[str]) -> list[str]:




实现逻辑：

1. 为每个URL构造robots.txt地址。

2. 使用RobotFileParser解析规则。

3. 通过can_fetch判断爬取权限。

4. 异常处理：

• 无法访问robots.txt时默认允许。

• 网络错误时保留URL。




合规性：确保遵守目标网站的爬虫规则。




   2.8 网络搜索




def get_web_urls(search_term: str, num_results: int = 10) -> list[str]:




功能流程：

1. 排除视频类网站：

1. discard_urls = ["youtube.com", "britannica.com", "vimeo.com"]

2. 使用DuckDuckGo搜索API。

3. 结果过滤：

• 取前num_results个结果。

• 转换结果格式为URL列表。

• 执行check_robots_txt二次过滤。




   2.9 效果展示













03




业务场景探索



微调了模型、实现了联网功能后，需要思考如何将这些技术能力与实际业务结合。下面就针对中心主要产品，安全相关几个具体业务方向，探讨大模型可能的应用场景和实施思路。




   3.1 APK病毒检测：让AI学会“闻味道”




现在查杀手机病毒主要靠特征库比对，就跟用通缉令抓犯人似的。但病毒变种越来越快，这种办法容易漏网。大模型可以这么玩：

1. 理解代码的“坏心思”：比如有个计算器APP非要读取通讯录，调教好的大模型能发现这种不合理行为，就算病毒换了马甲也能嗅出味道。

2. 多维度关联分析：把APP的权限申请、后台行为、数据流向这些线索串起来看，就像老刑警破案时把各种线索拼出完整画像。




落地步骤可以分三步走：

• 先准备一批病毒样本和正常APP的数据集，重点盯防数据窃取这类典型作恶方式。

• 初期让AI当辅助侦探，帮着验证传统引擎发现的嫌疑对象。

• 最终做成混合模式，传统方法快速初筛，AI负责深度研判。




难点在于怎么把APP的二进制代码“翻译”成AI能理解的语言，还要防止AI学得太死板只会认老病毒。




   3.2 网址安全检测：教AI识破“美人计”




现在钓鱼网站检测主要看域名黑名单、页面关键词，但高级钓鱼网站会玩文字游戏。大模型可以：

• 看穿页面的“话术套路”：比如冒充银行官网要你输密码，AI能理解整个页面的诱导话术，而不是只会找“密码”这个词。

• 综合判断多重证据：结合网址特征、证书信息、跳转轨迹这些线索，就像鉴宝专家要综合看材质、包浆、款识。

• 识别高仿界面：有些钓鱼网站把LOGO微调几个像素，AI能像鉴假画一样发现细节破绽。




实施时需要训练AI重点看网页关键部位（比如登录框、客服弹窗），还要处理动态加载的内容。难点在于实时检测的速度，毕竟用户可不想等半天才出结果。




   3.3 APP隐私检测：当个“数据保镖”




现在隐私检测主要看权限列表以及沙箱动态环境行为监控，可以尝试增加与大模型的结合，做得更智能：

• 查言行是否一致：比如隐私政策说不会收集位置信息，但代码里偷偷调用了定位接口，看看大模型是否能当场抓包，然后在沙箱动态环境行为监控结合，进行数据返哺，从而使LLM数据更完善，决策更准确。

• 判断合理性：一个手电筒APP要读取通讯录？AI会质疑这和核心功能有毛关系。

• 风险定级：结合数据类型（比如人脸比设备ID敏感）、使用场景来打分，像体检报告分不同风险等级。




关键在于从混淆代码里提取有效行为数据，还要处理不同国家的法规差异。








04




未来展望与实践建议



写到这里，也该收尾了。折腾了这么多技术细节和业务可能的探索，不妨放眼看看更大的图景——AI时代已经扑面而来，我们这些技术人该如何应对？




   4.1 AI技术趋势预测与应对策略




说实话，预测技术走向就像预测股市一样不靠谱，但有几个趋势我觉得八九不离十：




垂直领域模型将胜出通用模型




GPT-4很强，但在特定领域，一个精心微调过的小模型往往能达到90%的效果，成本却只有5%。前段时间看到几个创业公司的几个医疗领域的垂直模型，在诊断建议上的准确度竟然超过了通用大模型。




我个人判断，未来1-2年，会出现大量针对特定领域的精细微调模型，它们会在各自的赛道上挑战通用大模型的地位。这个趋势对我们意味着：与其花大力气追赶最新的通用模型，不如考虑如何在自己熟悉的业务领域构建专业模型。




多模态将成为标配，但别被噱头忽悠




现在谈AI的多模态能力已经不新鲜了，但我注意到一个有趣的现象：很多产品把多模态当作噱头，实际应用场景却相当有限。比如，一个企业内部的文档助手真的需要图像理解能力吗？大多数情况下并不需要。




我的建议是理性看待多模态：有些场景确实需要（如内容审核、智能安防），有些则纯属浪费资源。在技术选型时，先问问自己：“这个能力能解决什么实际问题？”别为了酷而追求酷。




T型技能结构更有竞争力




在AI时代，纯粹的技术专家可能不如复合型人才吃香。那些在AI浪潮中如鱼得水的企业与个人，往往不是算法最强的，而是那些既懂技术又懂业务的“T型人才”。




举个例子，一个既懂NLP又懂金融的工程师，比单纯的NLP专家或金融分析师更难被替代。因为他不仅知道“怎么做”，还知道“为什么做”和“做什么有价值”。




如果你还是技术路线的“I型人才”，建议尽快横向扩展一个业务领域知识，形成自己独特的复合竞争力。这条也适用于大部分业务，之前业务需要无数的构造地基，形成自己的护城河，但现在通用模型以及领域模型可以更快速的搭建极为强大的地基，在于竖型的垂直业务相结合，会延伸出更强大可靠的护城河。LLM+业务才是未来。




持续学习已经不是选项，而是必须




以前我们开玩笑说“每隔18个月，你的技术栈就会过时一半”。现在在AI领域，这个周期可能只有6个月。想想看，2022年底Stable Diffusion刚出来，到现在SDXL已经迭代了多少代？GPT从3.5到4，再到现在的Claude系列，变化有多快？




所以，如果想在当前领域发展，必须接受“永远在学习”的现实。




   4.2 开源与商业模式的思考




谈完技术和应用，我想分享一些关于AI时代商业模式的思考。




开源大模型与API服务将长期共存




有人预测开源模型会颠覆OpenAI这样的API服务商，我持保留意见。就像Linux的开源并没有消灭Windows一样，开源模型和商业API服务很可能长期共存，各自服务不同场景和用户群体。




开源模型的优势在于可控性和定制化，适合对数据安全有高要求或需要深度定制的场景；而API服务的优势在于使用便捷、持续更新、技术门槛低，适合快速验证和非核心业务场景。




垂直领域的AI服务商机巨大




与其在通用AI领域与巨头正面竞争，不如找准垂直领域深耕。我观察到这样一个现象，在医疗、法律、金融，安全等专业领域，用户更愿意为“懂行”的AI服务付费，哪怕它比通用模型“笨”一些。




大模型时代的护城河在哪里？




随着开源模型性能逼近商业模型，纯靠模型能力的护城河正在被削弱。未来的竞争优势可能来自：

• 数据资产：独特的、高质量的领域数据。

• 应用创新：基于AI能力的产品创新和用户体验创新。

• 解决方案整合：将AI能力与行业知识和业务流程深度融合。




简单说，比拼的不再是谁有更强的大模型，而是谁能让AI更好地解决实际问题，创造真实价值。




   4.3 未来已来，诸君共勉




写了这么多，最后说点肺腑之言。




AI技术的发展速度远超我们的预期，我们正经历一场前所未有的技术革命。作为技术人，这既是挑战也是机遇。所以应该快速学习、勇于尝试。




回想我的AI探索之旅，最大的收获是思维方式的转变：不再把AI视为遥不可及的黑科技，而是当作可以掌握的工具和能力。只要肯下功夫，普通开发者也能驾驭这些技术，创造有价值的应用。




最后，与其焦虑AI会不会取代人类，不如思考如何与AI协同工作，发挥人类目前独有的创造力、判断力和同理心。技术再强大，也只是放大人类意志的工具，而不是替代人类价值的终极答案。




未来已来，但由我们共同塑造。诸君共勉！