snapshot_download
huggingface 官方提供了snapshot_download 方法下载完整模型,参数众多、比较完善。支持断点续传、多线程、指定路径、配置代理、排除特定文件等功能。然而有两个缺点:
- 1))该方法依赖于 transformers 库,而这个库是个开发用的库,对于自动化运维有点重;
- 2) 该方法调用比较复杂,参数较多,例如默认会检查用户缓存目录下是否已有对应模型,如已有则会创建符号链接,不理解的容易导致问题。外加需要配置代理。常见参数配置如下:
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="bigscience/bloom-560m",
proxies={"https": "http://localhost:7890"},
max_workers=8
)
对于需要登录的模型,还需要两行额外代码:
import huggingface_hub
huggingface_hub.login("HF_TOKEN") # token 从 https://huggingface.co/settings/tokens 获取
速度和效果如下所示
参考内容:
如何快速下载huggingface模型——全方法总结 - 简书 (jianshu.com)
标签:hub,模型,huggingface,snapshot,download,多线程 From: https://www.cnblogs.com/YeewahChan/p/18337480