如果各位在下载huggingface上的模型和数据库也会出现“connect closed/failed”等错误,不妨试试下面的解决方案,思路大致是,通过设置镜像的方式来解决。
下载数据集
1. 找到你要下载的数据库名称,并复制
2. 打开终端,并选择需要使用的conda环境,编写bash文件(或者自己逐行也行)
#安装
pip install -U huggingface_hub
#设置镜像
export HF_ENDPOINT=https://hf-mirror.com
#数据库下载设置
huggingface-cli download --repo-type dataset --resume-download liuhaotian/LLaVA-CC3M-Pretrain-595K --local-dir dataset --local-dir-use-symlinks False
一共上述3行,安装第三方库 ----> 设置环境 ----> 下载数据库
其中:
--repo-type dataset:下载类型为数据库
--resume-download liuhaotian/LLaVA-CC3M-Pretrain-595K 这个是需要下载的数据库名称
--local-dir dataset 保存的文件夹名称
--local-dir-use-symlinks False 关闭软连接,网站上数据库什么样下载下来就是什么样
3. 终端出现下载条说明开始下载了。
下载预训练模型
同理,和下载数据库主要的区别就是下载命令参数有些不同,这里直接上两个下载链接,一个是CLIP 一个是 Qwen-4B的示例
pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download openai/clip-vit-large-patch14-336 --local-dir ./openai/clip-vit-large-patch14-336 --local-dir-use-symlinks False
huggingface-cli download --resume-download Qwen/Qwen1.5-4B --local-dir ./Qwen1.5-4b-Chat --local-dir-use-symlinks False
标签:--,huggingface,下载,download,local,集和预,dir
From: https://blog.csdn.net/weixin_39011713/article/details/142139669