AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


三条命令快速配置 Hugging Face
发布日期:2024-05-09 08:20:40 浏览次数: 1996 来源:董董灿是个攻城狮


本文已加入《Transformer专栏》,点击文章左下角标签查看全部内容。


大家好啊,我是董董灿。

本文给出一个配置Hugging Face的方法。


1. 什么是 Hugging Face

Hugging Face 本身是一家科技公司,专注于自然语言处理(NLP)和机器学习领域。 
最初以其聊天机器人应用闻名,后来逐渐转型,专注于开发和提供开源的人工智能模型和工具。
这家公司最著名的就是开发一个名为“Transformers”的库,这个库集成了很多比较先进的预训练模型,如BERT、GPT-2、GPT-3等等。
除此之外,Hugging Face 还有一个模型共享平台,类似于大模型界的Github,开发者可以在这个平台上下载训练好的大模型来使用。
官网在这:https://huggingface.co/
要学习与Transformer架构相关的知识,肯定要接触一些大模型,要接触大模型就免不了要从Hugging Face上下载一些模型和参数等文件。
但很多同学限于国外网站网速的问题,以及一些模型都很大(基本都是几个G起步),经常下载很长时间最终还是失败。
本节给出一个配置 Hugging Face镜像的方法,可以帮助你快速从Hugging Face上下载模型。

2、操作步骤
这里就不说原理了,按以下操作即可,在开发环境下安装以下库,执行命令:
pip3 install -U huggingface_hubpip install -U "huggingface_hub[cli]"
待上述命令执行完,导入一个环境变量:
export HF_ENDPOINT=https://hf-mirror.com
之后访问Hugging Face就可以用该镜像网站访问,并且下载模型了,速度很快。
另外,如果你是在Linux 环境下做开发,建议将导入环境变量那条命令放在 ~/.bashrc 中,这样系统启动就会自动导入该环境变量,之后所有的开发就不用关心Hugging Face 有关的环境配置了。

—— 完 —



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询