【问题解决】huggingface 离线模型下载

问题

        因业务需要在本机测试embedding分词模型,使用 huggingface上的transformers 加载模型时,因为网络无法访问,不能从 huggingface 平台下载模型并加载出现如下错误。

        下面提供几种模型下载办法

 
解决

        有三种方式下载模型,一种是通过 huggingface model hub 的按钮下载,一种是使用 huggingface 的 transformers 库实例化模型进而将模型下载到缓存目录(上述报错就是这种),另一种是通过 huggingface 的 huggingface_hub 工具进行下载。下面介绍两种方式:

huggingface 按钮下载

点击下图的下载按钮,把所有文件下载到一个目录即可。

因网络原因无法下载可使用访问镜像HF-Mirror - Huggingface 镜像站

huggingface_hub 工具(推荐)

  • 安装 huggingface_hub
python -m pip install huggingface_hub
  • 使用 huggingface_hub 的 snapshot_download 函数下载
from huggingface_hub import snapshot_download
snapshot_download(repo_id="BAAI/bge-m3")
  • 也可以使用 huggingface_hub 提供的命令行工具(推荐)
huggingface-cli download BAAI/bge-m3

如果觉得下载比较慢,使用 huggingface 镜像提速

可以通过设置HF_ENDPOINT环境变量用以切换下载的地址。

  • 设置环境变量
# Linux 系统
export HF_ENDPOINT=https://hf-mirror.com
# Windows 系统
$env:HF_ENDPOINT = "https://hf-mirror.com"

  • 下载模型
huggingface-cli download BAAI/bge-m3

注意:在windows中需要使用管理员启动命令行

关于 huggingface_hub 的更多用法可阅读 Download an entire repository

其他

另外也可以使用 hf_transfer进行 提速,可以与此处我没有用到,不展开介绍

Download files from the Hub
  • 安装 hf_transfer
pip install hf_transfer
  • 设置环境变量
export HF_HUB_ENABLE_HF_TRANSFER=1
  • 下载模型
huggingface-cli download internlm/internlm2-chat-7b

相关推荐

  1. HuggingFace模型下载

    2024-06-13 15:00:05       47 阅读
  2. HuggingFace模型与文件下载

    2024-06-13 15:00:05       41 阅读
  3. 优雅的从HuggingFace下载模型

    2024-06-13 15:00:05       52 阅读
  4. Huggingface镜像网站下载语言模型方法

    2024-06-13 15:00:05       56 阅读
  5. 下载huggingface上的大模型文件

    2024-06-13 15:00:05       27 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-13 15:00:05       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-13 15:00:05       106 阅读
  3. 在Django里面运行非项目文件

    2024-06-13 15:00:05       87 阅读
  4. Python语言-面向对象

    2024-06-13 15:00:05       96 阅读

热门阅读

  1. Unity3D MMORPG角色的UI血条管理详解

    2024-06-13 15:00:05       35 阅读
  2. Rocketmq的坑又来了

    2024-06-13 15:00:05       23 阅读
  3. 编程课面向和右转的区别:深入解析与实际应用

    2024-06-13 15:00:05       28 阅读
  4. 华为鸿蒙HarmonyOS应用开发者高级认证题库

    2024-06-13 15:00:05       33 阅读
  5. 正则表达式30分钟入门教程

    2024-06-13 15:00:05       30 阅读
  6. MySQL数据类型

    2024-06-13 15:00:05       29 阅读
  7. C语言题目:排序问题2

    2024-06-13 15:00:05       25 阅读