huggingface-cli 是 HuggingFace 官方提供的命令行工具，专用于下载。
使用 huggingface-cli 可以直接下载模型/数据集到服务器，避免下载在本地后再上传到服务器的麻烦。
安装依赖
使用pip安装
1 | pip install huggingface_hub |
使用conda安装
1 | conda install -c huggingface huggingface_hub |
检查安装是否成功
1 | huggingface-cli --help |
如果显示相应内容，则表示安装成功。
下载模型
下载模型示例
1 | HF_ENDPOINT=https://hf-mirror.com huggingface-cli download --resume-download lmsys/vicuna-7b-v1.5 --local-dir 7B-V1.5 --local-dir-use-symlinks False |
参数解释
HF_ENDPOINT=https://hf-mirror.com：设置镜像源，这里使用的是huggingface官方的镜像源，也可以使用其他的镜像源.huggingface-cli download：下载模型命令.--resume-download：断点续传，如果下载中断，可以使用该参数继续下载.lmsys/vicuna-7b-v1.5：模型名称，格式为用户名/模型名称.--local-dir [filename]：本地目录./filename，用于存储下载的模型文件.--local-dir-use-symlinks：是否使用符号链接。
huggingface的工具链默认会使用符号链接来存储下载的文件，导致--local-dir指定的目录中都是一些“链接文件”，真实模型则存储在~/.cache/huggingface下。如果为False，则直接复制文件到指定目录.
需要token的模型下载
如果某些模型的下载需要权限，可以在命令行中添加--token [token]参数，例如：
1 | HF_ENDPOINT=https://hf-mirror.com huggingface-cli download --token [your tokens] --resume-download mistralai/Mistral-7B-Instruct-v0.2 --local-dir [filename] --local-dir-use-symlinks False |
token获取
- 登录huggingface官网，点击右上角的头像，选择
Settings。 - 在settings页面，选择左侧的“Access Tokens”选项卡：
- 点击
New token按钮，如果已有token，可以点击Create new token按钮。 - 输入自己的token名称，选择合适的权限类型
- 读取 read：只用于提供对可读存储库的读取访问权限。如果你只需要从Hugging Face Hub读取内容（e.g. 下载模型、进行推理），可以使用此类型。
- 写入 write：此Token除了读取权限外，还提供写入权限。如果你需要在存储库中创建或推送内容，可以创建Write类型的token。
- Fine-grained：此Token提供对存储库的细粒度访问权限。你可以选择对存储库中的特定文件或文件夹进行读写访问。如果你需要更精细的权限控制，可以使用此类型。
- 点击最下面的
Create token按钮，即可创建token。 - 复制生成的token，保存起来，后续下载模型时需要使用。
下载数据集
在上述下载模型的命令基础上，添加参数--repo-type dataset即可。
下载数据集示例
1 | HF_ENDPOINT=https://hf-mirror.com huggingface-cli download --repo-type dataset --resume-download MUIRBENCH/MUIRBENCH --local-dir MUIRBENCH --local-dir-use-symlinks False |
