首页 > 其他分享 >huggingface-cli下载数据(含国内镜像源方法)

huggingface-cli下载数据(含国内镜像源方法)

时间:2024-11-13 21:18:46浏览次数:1  
标签:13b cli -- huggingface download 镜像 hf

huggingface-cli 是 Hugging Face 官方提供的命令行工具,自带完善的下载功能。
安装依赖

pip install -U huggingface_hub

设置环境变量

linux

建议将上面这一行写入 ~/.bashrc。若没有写入,则每次下载时都需要先输入该命令

export HF_ENDPOINT=https://hf-mirror.com

下载模型样例
使用命令行下载

下载全部文件添加--resume-download参数,此时将保存至/root/.cache/.../文件夹中

huggingface-cli download --resume-download meta-llama/Llama-2-13b-chat-hf

下载全部文件并保存到指定位置时,添加--local-dir参数,此时将保存至./Llama-2-13b-chat-hf/中

huggingface-cli download --resume-download meta-llama/Llama-2-13b-chat-hf --local-dir Llama-2-13b-chat-hf

下载多个文件时,再添加具体文件名即可

huggingface-cli download meta-llama/Llama-2-13b-chat-hf config.json model-00001-of-00003.safetensors --local-dir Llama-2-13b-chat-hf

下载多个文件并排除一些文件可使用--include和--exclude命令

huggingface-cli download meta-llama/Llama-2-13b-chat-hf --include ".safetensors" --exclude ".bin"

需要 huggingface token 时 (Gated Repo),添加--token参数

huggingface-cli download meta-llama/Llama-2-13b-chat-hf --include ".safetensors" --exclude ".bin" --token hf_****

下载数据集

将wikitext数据集下载到本地wikitext文件中,并取消软连接。

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext --local-dir-use-symlinks False

————————————————

原文链接:https://blog.csdn.net/lanlinjnc/article/details/136709225

标签:13b,cli,--,huggingface,download,镜像,hf
From: https://www.cnblogs.com/qkydq/p/18544843

相关文章

  • ClickHouse 创建管理员用户
    在安装/重新部署时,ClickHouse会创建一个名为"default"的用户。该用户可以不受限制地访问群集中的数据,我们还可以在users.xml文件中提供访问管理权限(默认情况下并未打开)。与可能需要管理员权限的多人共享默认用户的凭据并不是一个好主意。最佳做法是创建一个具有“管理员”权......
  • 用idea的docker插件生成镜像并推送到服务器
    准备这两个文件......
  • kinect2.0 Self-Learning (1) - recycling disconnect (solved)
    Firstedit:Afterdowningkinect2.0sdk,Ifollowedacoursetoverifyifkinect2.0canconnectwithmylaptop.Everythingseemsgoingwell.However,Ifoundthekinect2.0wouldconnectfor5secondsthendisconnectfor5secondsagainandagain,thatrea......
  • kubernetes镜像拉取失败解决方法 ErrImagePull
    被这个问题卡住了最少一个下午的时间。。。。不过就当熟悉k8s的命令了吧。。。只能这么安慰自己了最近在捣鼓k8s部署.netcore的后端(我是在windows上部署dockerdesktop来做测试的),在拉取我阿里云镜像仓库的私有镜像,搞来搞去搞了好久都没用dockpull registry.cn-hangzhou.aliyu......
  • 华为云前台展示镜像供用户选择是怎么做到的呢?
    前台展示的各种公共镜像是管理员在后台传上去的;如何做到?在ServiceOM界面管理员可操做,制作镜像有两种方式:1.qcow2格式镜像制作2.iso格式镜像制作上传ISO文件,安装OS,安装cloud-init等,转换为镜像2.1.注册镜像-管理镜像磁盘设备类型:linux系统选virtio,windows系统选scsi......
  • Z-library电子图书馆入口/最新可用镜像网址 (2024持续更新)
    Z-Library(简称Z-Lib,前身为BookFinder)是一个影子图书馆网站,用户可在上面下载期刊、文章以及各类书籍,其共收录了超过1000w本书籍和8000w篇文章。因为版权问题,网站曾于2022年11月3日遭到封锁,但是强大的Z-Library有新的官方网址和镜像(不过镜像网站不太稳定),获得了重生。......
  • docker打成镜像并推送
    Dockerfile文件内容:基础镜像使用javaFROMopenjdk:17-jdk-alpine添加维护者信息LABELmaintainer="YZJ"将jar包添加到容器中并更名为:uacp-ai-avatar-biz.jarCOPYuacp-ai-avatar-biz.jaruacp-ai-avatar-biz.jar运行jar包ENTRYPOINT["java","-jar","uacp-ai-av......
  • HuggingFace 核心组件及应用实战
    带着问题来学习什么是HuggingFace?它的目标是什么?HuggingFace中包含哪些知名的预训练模型?如果我们要在HuggingFace中下载BERT,那么只有一种版本,还是有多种版本可以选择?每一种版本的BERT中,只有一种格式还是有多种格式可以适应多种下游任务?HuggingFace......
  • Ubuntu 22.04 LTS 离线安装 Harbor v2.11 (附https认证,Trivy镜像扫描)
    Harbor介绍Harbor是一个开源的企业级DockerRegistry服务,它提供了一个安全、可信赖的仓库来存储和管理Docker镜像。Harbor翻译为中文名称为"庇护;居住;"。可以理解为是Docker镜像的"居住环境"或者是镜像的"庇护所"。Harbor最初由VMware公司开发,旨在解决企业级Docker镜像管理的......
  • 详解连接 MySQL8.4 出现 Client does not support authentication protocol requested
    文章目录项目场景问题描述原因分析解决方案方案一(不推荐)方案二(推荐)总结项目场景在开发过程中,我们在Node.js项目中使用MySQL数据库,并且通过typeorm和mysql库进行数据库连接。然而,在项目启动时,遇到了数据库连接失败的问题,导致项目无法正常运行。问题描述......