我要投稿

低比特权量化的Llama3模型效果有多好？

发布日期：2024-04-25 12:00:21 浏览次数： 2051

Meta最近发布的LLAMA3模型迅速成为最强大的大型语言模型（LLM）系列，引起了研究人员的极大兴趣。基于这一势头，全面评估LLAMA3在各种低比特权量化技术中的性能，包括后训练量化和LoRA微调量化：

8bit 量化基本无损失；
AWQ 4bit量化对8B模型来说有2%性能损失，对70B模型只有0.05%性能损失；
参数越大的模型，低bit量化损失越低，AWQ 3bit 70B 也只有2.7%性能损失。

LLaMA3-8B/LLaMA3-70B实证研究的概述

详细实验与结论：

?主要关注两种主要的量化方法：后训练量化（Post-Training Quantization，PTQ）和LoRA微调（LoRA-FineTuning，LoRA-FT）量化。

? 评估了多种最先进的量化方法，涵盖了一系列比特宽度（从1到8位）。这包括RTN（四舍五入到最近）、GPTQ、AWQ、SmoothQuant、PB-LLM、QuIP、DB-LLM、BiLLM、QLoRA和IR-QLoRA等方法。每种方法都采用不同的技术来量化权重和激活，旨在在最大化压缩的同时最小化精度损失。

? 评估是在多样化的数据集上进行的，包括WikiText2、C4、PTB、常识问答数据集（PIQA、ARC-e、ARC-c、HellaSwag、Winogrande）和MMLU基准测试。这确保了结果代表了LLAMA3在不同任务和领域的表现。

? 结果显示，当量化到较低比特宽度时，LLAMA3会经历明显的性能下降。虽然仍然优于其他模型，但这突出了在资源有限的设备上部署LLAMA3的挑战。

? 像PB-LLM、DB-LLM和BiLLM这样的二值化LLM量化方法在超低比特宽度（≤2位）下显示出实现更高准确性的希望，与GPTQ和AWQ等方法相比。这些方法采用混合精度量化、双重二值化和残差近似等技术，在实现高压缩的同时保持准确性。

? 有趣的是，LLAMA3在LoRA-FT量化下的性能并没有像预期的那样提高。研究表明，LLAMA3在庞大数据集上的预训练使得在较小数据集上进行的低秩微调难以弥补量化误差。这对像LLAMA3这样的强大模型的LoRA-FT量化技术提出了新的范式要求。

LLAMA3-8B模型后训练量化的评估结果

LLAMA3-70B模型后训练量化的评估结果

在Alpaca数据集上对LLAMA3-8B模型进行LoRA-FT（低秩微调）量化

How Good Are Low-bit Quantized LLAMA3 Models? An Empirical Studyhttps://arxiv.org/pdf/2404.14047https://github.com/Macaronlin/LLaMA3-Quantizationhttps://twitter.com/9hills/status/1783271853790015828

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

股份行积极布局大模型，哪些应用场景值得投入？

2024-09-24

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

2024-09-23

为什么需要Agent?

2024-09-22

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

2024-09-22

OpenAI o1的架构流程已被Claude破解了？

2024-09-21

从 Data 到 Data + AI，必然之路还是盲目跟风？

2024-09-21

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

Meta最近发布的LLAMA3模型迅速成为最强大的大型语言模型（LLM）系列，引起了研究人员的极大兴趣。基于这一势头，全面评估LLAMA3在各种低比特权量化技术中的性能，包括后训练量化和LoRA微调量化：

8bit 量化基本无损失；

AWQ 4bit量化对8B模型来说有2%性能损失，对70B模型只有0.05%性能损失；

参数越大的模型，低bit量化损失越低，AWQ 3bit 70B 也只有2.7%性能损失。

LLaMA3-8B/LLaMA3-70B实证研究的概述

? 结果显示，当量化到较低比特宽度时，LLAMA3会经历明显的性能下降。虽然仍然优于其他模型，但这突出了在资源有限的设备上部署LLAMA3的挑战。

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

万字长文解析：大模型需要怎样的硬件算力

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

股份行积极布局大模型，哪些应用场景值得投入？

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

Meta最近发布的LLAMA3模型迅速成为最强大的大型语言模型（LLM）系列，引起了研究人员的极大兴趣。基于这一势头，全面评估LLAMA3在各种低比特权量化技术中的性能，包括后训练量化和LoRA微调量化：

8bit 量化基本无损失；

AWQ 4bit量化对8B模型来说有2%性能损失，对70B模型只有0.05%性能损失；

参数越大的模型，低bit量化损失越低，AWQ 3bit 70B 也只有2.7%性能损失。

LLaMA3-8B/LLaMA3-70B实证研究的概述

? 结果显示，当量化到较低比特宽度时，LLAMA3会经历明显的性能下降。虽然仍然优于其他模型，但这突出了在资源有限的设备上部署LLAMA3的挑战。

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

万字长文解析：大模型需要怎样的硬件算力

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

股份行积极布局大模型，哪些应用场景值得投入？

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的&#39;阉割&#39;?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?