首页 > 其他分享 >HunggingFace的镜像加速站

HunggingFace的镜像加速站

时间:2024-05-01 15:11:38浏览次数:19  
标签:cli -- huggingface token HunggingFace download 镜像 hf 加速

  1.  方法一:使用huggingface 官方提供的 **huggingface-cli** 命令行工具。
    (1) 安装依赖
    pip install -U huggingface_hub


(2) 基本命令示例:

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download bigscience/bloom-560m --local-dir bloom-560m


(3) 下载需要登录的模型(Gated Model)请添加--token hf_***参数,其中hf_***access token,请在huggingface官网这里获取。示例:

huggingface-cli download --token hf_ --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf 

 

  1. 方法二:使用url直接下载时,将 huggingface.co 直接替换为本站域名hf-mirror.com。使用浏览器或者 wget -c、curl -L、aria2c 等命令行方式即可。
    下载需登录的模型需命令行添加 --header hf_*** 参数,token 获取具体参见上文。
  1. 方法三:(非侵入式,能解决大部分情况)huggingface 提供的包会获取系统变量,所以可以使用通过设置变量来解决。
    HF_ENDPOINT=https://hf-mirror.com python your_script.py 

不过有些数据集有内置的下载脚本,那就需要手动改一下脚本内的地址来实现了

标签:cli,--,huggingface,token,HunggingFace,download,镜像,hf,加速
From: https://www.cnblogs.com/JiangOil/p/18169350

相关文章

  • 在 .net core 3.1 的 docker 镜像生成的容器中,连接 sql server 2008 r2 版本的数据库,
    错误1:{"ClassName":"System.Data.SqlClient.SqlException","Message":"Aconnectionwassuccessfullyestablishedwiththeserver,butthenanerroroccurredduringthepre-loginhandshake.(provider:TCPProvider,......
  • 使用 docker 部署 AspNetCore 应用:使用alpine镜像并加入健康检查和瘦身
    前言#使用docker部署AspNetCore应用已经是标配了,之前我一直使用mcr.microsoft.com/dotnet/aspnet:8.0这类镜像,简单粗暴,不过可以使用alpine进一步优化镜像大小。很多开源工具的docker都有健康检查,这次我顺便也给加上了。PS:本文的例子项目来自一个差点被砍掉的项目......
  • 镜像:数字时代的自我呈现与虚拟重构
    在数字时代,镜像的概念已超越了传统的物理范畴,它不再仅仅是水面或镜面上的反射,而是深入到了我们日常生活的各个角落。作为信息技术发展的重要成果,数字镜像已成为人们认识自我、展现自我和重塑自我的重要工具。#人工智能#AutoDL#AutoDL算力云#GpuMall智算云#阿里云立即免费体验:htt......
  • 【Quarkus】quarkus配置Map/jib设置镜像环境变量
    根据官网文档描述设置环境变量参数应该是一个Map<String,String>对象,但找了很多地方没找到Map对象的配置,经过尝试得到了有效配置,可供参考:./mvnwcleanpackage-U-Dmaven.test.skip=true-Dquarkus.container-image.build=true\#配置项是quarkus.jib.environment-variabl......
  • python大模型下载HuggingFace的镜像hf-mirror
    hf-mirror.com的包如何下载pipinstall-Uhuggingface_hub设置环境变量以使用镜像站:exportHF_ENDPOINT=https://hf-mirror.com对于WindowsPowershell,使用:$env:HF_ENDPOINT="https://hf-mirror.com"使用huggingface-cli下载模型:huggingface-clidownload--resum......
  • containerd 配置使用私有镜像仓库 harbor
    前言​当要从非安全的镜像仓库中进行Pull、Push时,会遇到x509:certificatesignedbyunknownauthority错误提示;这是由于镜像仓库是可能是http服务,或者https的证书是自签名的就会出现这个问题。Containerd可以配置为连接到私有镜像仓库,并使用仓库在每个节点上拉取私......
  • 动画毕业设计渲染加速:云渲染技术如何助力学生作品
    ​随着毕业季的临近,动画和CG专业的学生们正如火如荼地投入到毕业作品的制作中。面对动画渲染这一耗时且技术要求高的环节,云渲染农场以其高效、经济的特点,成为了学生们的优选解决方案。接下来,让我们一起深入了解如何选择渲染器与云渲染农场,轻松应对毕业作品的渲染挑战吧。一、动......
  • 动画渲染有哪些加速工具?(含云渲染工具)
    在影视动画制作中,渲染环节常常因其资源密集和耗时而成为瓶颈。为了提高渲染效率,行业内部开发了多种工具,它们通过算法优化、增强并行处理能力,并利用云计算技术,有效地提升了渲染的速率和工作效率。现在,让我们来探索一些高效的渲染加速工具。影视动画渲染加速工具推荐→云渲染农场......
  • anaconda 配置镜像源
    anaconda如果不配置国内源,在下载第三方库时,默认还是会使用官方源,就会导致时常因请求外网导致网速过慢或是链接超时,这个时候,我们就需要切换到国内源,来改善这一体验。 国内各大镜像源地址:清华大学:https://pypi.tuna.tsinghua.edu.cn/simple阿里云:https://mirrors.aliyun.com/py......
  • 加速博客体验:静态资源优化技巧大揭秘!
    如今有许多人涉足博客写作,其中大多数正处于博客创作的旅程中。每位程序员都梦想拥有自己的服务器,理想情况下,服务器配置越高越好,价格越实惠越好。购买一台基础款服务器用于建立博客是一个不错的选择,因为并不需要处理大流量。这完全是出于个人兴趣和坚持写作的良好习惯。当然了写博......