首页 > 其他分享 >如何使用huggingface下载数据集和预训练模型

如何使用huggingface下载数据集和预训练模型

时间:2024-09-11 15:23:12浏览次数:9  
标签:-- huggingface 下载 download local 集和预 dir

        如果各位在下载huggingface上的模型和数据库也会出现“connect closed/failed”等错误,不妨试试下面的解决方案,思路大致是,通过设置镜像的方式来解决。

下载数据集

1. 找到你要下载的数据库名称,并复制

2. 打开终端,并选择需要使用的conda环境,编写bash文件(或者自己逐行也行)

#安装
pip install -U huggingface_hub
#设置镜像
export HF_ENDPOINT=https://hf-mirror.com
#数据库下载设置
huggingface-cli download --repo-type dataset --resume-download liuhaotian/LLaVA-CC3M-Pretrain-595K --local-dir dataset  --local-dir-use-symlinks False

一共上述3行,安装第三方库 ----> 设置环境 ----> 下载数据库

其中:

--repo-type dataset:下载类型为数据库

--resume-download liuhaotian/LLaVA-CC3M-Pretrain-595K  这个是需要下载的数据库名称

--local-dir dataset 保存的文件夹名称

--local-dir-use-symlinks False 关闭软连接,网站上数据库什么样下载下来就是什么样

3. 终端出现下载条说明开始下载了。

下载预训练模型

同理,和下载数据库主要的区别就是下载命令参数有些不同,这里直接上两个下载链接,一个是CLIP 一个是 Qwen-4B的示例

pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download openai/clip-vit-large-patch14-336 --local-dir ./openai/clip-vit-large-patch14-336 --local-dir-use-symlinks False
huggingface-cli download --resume-download Qwen/Qwen1.5-4B --local-dir ./Qwen1.5-4b-Chat --local-dir-use-symlinks False

标签:--,huggingface,下载,download,local,集和预,dir
From: https://blog.csdn.net/weixin_39011713/article/details/142139669

相关文章

  • DiskDigger 下载及使用说明
    DiskDigger官方版是一款功能强大的文件恢复工具,支持硬盘、U盘、内存卡、CD等多种存储设备的数据恢复。DiskDigger官方版可用于恢复任何格式的文件、文档、图片、视频等多种文件,数据恢复操作简单易上手,能彻底扫描每个扇区跟踪文件,不放过任何文件的恢复。软件截图:注册码:E1WBJv......
  • 会声会影2024中文免费版下载-正版下载-永久免费使用
    各位亲爱的朋友们,今天我要向大家介绍一款非常棒的视频编辑软件——会声会影2024。这可不是一般的软件哦,它可是视频编辑界的翘楚,拥有许多令人惊叹的新功能。让我们来看看会声会影2024的特点。这款软件具有强大的视频剪辑、特效制作和音频处理功能,可以让你轻松打造出专业级别的......
  • 为什么选择iMazing?到底值不值得下载啊
    ......
  • axios 下载文件流
    exportOrder(){letthat=thisletdata={page:that.page,status:that.status,q:that.searchData}axios.post(`/jmarket/admin/v1/order/export`,data,{respon......
  • 会声会影2024中文/英文破解版一键安装包下载
    安利!会声会影2024——视频编辑的新宠......
  • Invicti v24.9.0 发布下载,新增功能概览
    Invictiv24.9.0forWindows-Web应用程序安全测试InvictiStandardv24.9.0–10Sep2024请访问原文链接:https://sysin.org/blog/invicti/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgInvicti是一种自动化但完全可配置的Web应用程序安全扫描程序,使您能够......
  • Parallels Desktop 20 发布下载,macOS Sequoia 和 Windows 11 24H2 支持准备就绪
    ParallelsDesktopforMac20.0.0(build55653)-在Mac上运行WindowsmacOSSequoia和Windows1124H2支持准备就绪请访问原文链接:https://sysin.org/blog/parallels-desktop/,查看最新版。原创作品,转载请保出处。作者主页:sysin.org在Mac上运行Windows全新登场Pa......
  • HPC环境下数据下载:安全与效率的完美平衡!
    在能源行业,高性能计算(HPC)应用广泛,比如地震数据处理、油气藏模拟和建模、地理空间分析、风模拟和地形映射等。随着数据量的爆发式增长,HPC环境下数据下载面临着严峻的安全挑战,如何在保障数据高效流转的同时,确保数据安全,成为能源企业必须面对的重要课题。 高性能计算(HPC)在能源行......
  • macOS Sequoia 15 RC (24A335) Boot ISO 发布下载,正式版下周公布
    macOSSequoia15RC(24A335)BootISO原版可引导镜像下载iPhone镜像、Safari浏览器重大更新、备受瞩目的游戏和AppleIntelligence等众多全新功能令Mac使用体验再升级请访问原文链接:https://sysin.org/blog/macOS-Sequoia-boot-iso/,查看最新版。原创作品,转载请保留出处......
  • Cisco Catalyst Center 2.3.7.6-VA 发布下载,新增功能概览
    CiscoCatalystCenter2.3.7.6-VA-网络管理和自动化CiscoCatalystCenter-NetworkManagementandAutomation请访问原文链接:https://sysin.org/blog/cisco-catalyst-center/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgCiscoCatalystCenter节约时间,不再......