粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化
众所周知，如今的大模型大多是使用通用数据训练得出，因此在不同场景和专业领域的效果还有待改进。于是就衍生出了现如今广泛使用的微调技术，由于笔者现在所在的项目同样是与大模型打交道，也就不可避免地盯上了LLaMA-Factory。
那究竟什么是LLaMA-Factory？我提出的PR又是怎么被采纳了呢？且看云基地神州问学团队的工程师小哥哥为你道来
贡献者
徐辉 | 后端开发工程师
我的程序永远不会有bug，那些只是开发出来的随机的功能特征。
号外号外！！近期，云基地的小伙伴徐辉在LLaMA-Factory上提交了一个Pull Request并通过了审核，实现了GLM-4和Qwen2的工具格式化以及工具抽取函数！
在此也附上PR链接：
https://github.com/hiyouga/LLaMA-Factory/pull/4173
本篇文章让我们一起来详细了解一下这个PR究竟是什么内容吧~
Part1
什么是LLaMA-Factory？
LLaMA Factory是一个旨在普及LLMs微调的框架，涵盖了当下主流的大模型百川、千问、LLaMA等等。其核心优势在于其灵活性与易用性。它不仅囊括了当前主流的训练技术，如生成式预训练、监督式微调（SFT）、基于人类反馈的强化学习（RLHF），以及直接偏好优化（DPO），还通过一个用户友好的界面，大幅降低了操作复杂度。无论是通过命令行还是直观的Web界面，用户都能轻松定制微调流程，即便编程经验有限也丝毫不构成障碍。
该框架已在GitHub上发布，并获得了24000+个Star。
Part2
发现问题
最近在使用LLaMA Factory的过程中我遇到了一个问题：
刚刚更新完代码后我需要测试一下GLM-4和Qwen2的工具调用能力，测试结果显示，尽管更新已实施，这两款语言模型却未能命中任何工具。
就这个问题，我去看了formatter的实现，然后发现Qwen2的工具提示词汇依旧残留着旧体系的痕迹——基于“react”，理论上它应当无缝对接，但现实却是事与愿违。更令人费解的是，Qwen2在回应中携带了工具的JSON信息，却未按常规定位在tool_calls对象内，而是意外地出现在响应的主体content之中，显然问题存在，debug模式启动！
断点打上开始调试这里的format和extract函数。对于GLM-4，这次新模型的工具提示词汇现在是由模型本身的tokenizer生成，区别于以往外部组装后进行embedding的做法。此外GLM-4的chat template也存在问题，对比输出中少了系统提示词`` special token；
对于Qwen2，本次新模型支持了多工具调用（单次任务返回多个tool call），之前的react extrac函数只能命中单个工具。
OK，至此问题都找到了。
Part3
解决方法
对于GLM-4，先将模型下到本地，写两个工具schema，用transformers加载tokenizer，之后调用tokenizer.apply_chat_template将工具过一遍tokenizer看一下输出长什么样子。
工具schema：
tools = [
{
"type": "function",
"function": {
"name": "get_current_weather",
"description": "Get the current weather",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "The city and state, e.g. San Francisco, CA",
},
"format": {
"type": "string",
"enum": ["celsius", "fahrenheit"],
"description": "The temperature unit to use. Infer this from the users location.",
},
},
"required": ["location", "format"],
},
}
},
{
"type": "function",
"function": {
"name": "calculate_gpa",
"description": "Calculate the Grade Point Average (GPA) based on grades and credit hours",
"parameters": {
"type": "object",
"properties": {
"grades": {"type": "array", "items": {"type": "string"}, "description": "The grades"},
"hours": {"type": "array", "items": {"type": "integer"}, "description": "The credit hours"},
},
"required": ["grades", "hours"],
},
},
}
]tokenizer：
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
messages = process_messages(messages, tools=tools, tool_choice=tool_choice)
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)输出：
'[gMASK]<sop><|system|>\n你是一个名为 GLM-4 的人工智能助手。你是基于智谱AI训练的语言模型 GLM-4 模型开发的，你的任务是针对用户的问题和要求提供适当的答复和支持。\n\n## get_current_weather\n\n{\n "name": "get_current_weather",\n "description": "Get the current weather",\n "parameters": {\n "type": "object",\n "properties": {\n "location": {\n "type": "string",\n "description": "The city and state, e.g. San Francisco, CA"\n },\n "format": {\n "type": "string",\n "enum": [\n "celsius",\n "fahrenheit"\n ],\n "description": "The temperature unit to use. Infer this from the users location."\n }\n },\n "required": [\n "location",\n "format"\n ]\n }\n}\n在调用上述函数时，请使用 Json 格式表示调用的参数。\n\n## calculate_gpa\n\n{\n "name": "calculate_gpa",\n "description": "Calculate the Grade Point Average (GPA) based on grades and credit hours",\n "parameters": {\n "type": "object",\n "properties": {\n "grades": {\n "type": "array",\n "items": {\n "type": "string"\n },\n "description": "The grades"\n },\n "hours": {\n "type": "array",\n "items": {\n "type": "integer"\n },\n "description": "The credit hours"\n }\n },\n "required": [\n "grades",\n "hours"\n ]\n }\n}\n在调用上述函数时，请使用 Json 格式表示调用的参数。'之后开始分析输出的结构，首先是PRefix token `[gMASK]` 之后是system message token `<|system|>\n{{content}} ` balabala。分析之后开始组装，定义好系统提示词以及工具的后缀，以及提示词与工具之间的分隔符。组装好之后再次测试工具就会发现成功返回了工具信息。
对于Qwen2，问题是多个工具导致正则无法命中，只需要修改正则规则即可。
原来的命中规则：
regex = re.compile(r"Action:\s*([a-zA-Z0-9_]+).*?Action Input:\s*(.*)", re.DOTALL)
action_match = re.search(regex, content)修改后的规则：
regex = re.compile(r"Action:\s*([a-zA-Z0-9_]+)\s*Action Input:\s*({.*?})(?=\nAction:|\Z)", re.DOTALL)
action_match = re.findall(regex, content)再次测试成功返回多个工具列表。
至此该问题已经成功解决了，我也向LLaMA-Factory提交了这个Pr，并且 LLaMA-Factory 目前也采纳合并了该 PR。
说在最后
当今世界的开源盛况，不仅是技术创新与协作的生动体现，更是加速技术革新、拓宽应用边界的强大引擎。一个又一个开源软件的爆火向我们证明了在共享与合作的土壤里，智慧能够更快地萌芽，技术也得以飞跃式发展。
神州数码云基地始终站在鼓励开源贡献的角度，积极倡导并践行开放共享的精神。我们能够看到更多云基地的小伙伴们不再仅仅止步于业务的完成，而是不断拓展自己的能力，加入开源项目的探索中。
以本次PR的贡献者徐辉为例，短短一年的时间，已经成功提交了6个PR，也希望有越来越多的小伙伴们参与到开源中来，每一次贡献，无论大小，都是推动技术进步不可或缺的一块基石。
不仅要做技术的探索者，更要成为开源的贡献者。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-05-28
2024-04-26
2024-08-13
2024-08-21
2024-07-09
2024-08-04
2024-04-11
2024-06-13
2024-07-18
2024-07-01
回到顶部