首页 > 其他分享 >使用snapshot_download配置代理多线程下载模型

使用snapshot_download配置代理多线程下载模型

时间:2024-08-01 20:52:22浏览次数:16  
标签:hub 模型 huggingface snapshot download 多线程

snapshot_download

huggingface 官方提供了snapshot_download 方法下载完整模型,参数众多、比较完善。支持断点续传、多线程、指定路径、配置代理、排除特定文件等功能。然而有两个缺点:

  • 1))该方法依赖于 transformers 库,而这个库是个开发用的库,对于自动化运维有点重;
  • 2) 该方法调用比较复杂,参数较多,例如默认会检查用户缓存目录下是否已有对应模型,如已有则会创建符号链接,不理解的容易导致问题。外加需要配置代理。常见参数配置如下:
from huggingface_hub import snapshot_download
snapshot_download(
  repo_id="bigscience/bloom-560m",
  proxies={"https": "http://localhost:7890"},
  max_workers=8
)

对于需要登录的模型,还需要两行额外代码:

import huggingface_hub
huggingface_hub.login("HF_TOKEN") # token 从 https://huggingface.co/settings/tokens 获取
速度和效果如下所示

 

 

参考内容:

如何快速下载huggingface模型——全方法总结 - 简书 (jianshu.com)

标签:hub,模型,huggingface,snapshot,download,多线程
From: https://www.cnblogs.com/YeewahChan/p/18337480

相关文章

  • Java多线程编程详解:从基础到高级
    Java多线程编程详解:从基础到高级大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!Java的多线程编程允许程序同时执行多个任务,提高了应用的性能和响应能力。本文将从基础到高级,全面介绍Java中的多线程编程,包括线程的创建、线程池、同步机制及并发工具的使用......
  • 数学四则运算批计算软件Four mathematical operations Batch Software Cmpt4 download
    数学四则运算批计算软件FourmathematicaloperationsBatchSoftwareCmpt4download该软件能批量计算输入数据的自定义的四则计算。算是一个小型的数学自动化计算的软件。本软件是共享软件,支持Windows64位系统,也可以在兼容WinXP的32位系统上运行。本软件注册费用是48人民币......
  • java 多线程简单实现
    Java实现多线程的方式在java中实现多线程有四种方式,如下:1、继承Thread类2、实现Runnable接口3、使用FutureTask4、使用Executor框架2、继承Thread类Thread类本质上是实现了Runnable接口的一个实例,代表一个线程的实例。启动线程的唯一方法就是通过Th......
  • docker 拉取镜像超时:error pulling image configuration: download failed after atte
    之前是正常的,今天就罢工了,可能原因是国外镜像不稳定,被针对了吧。errorpullingimageconfiguration:downloadfailedafterattempts=6:dialtcp168.143.171.189:443:i/otimeout那就改为国内镜像:1.创建/etc/docker目录(已有的跳过)sudomkdir-p/etc/docker 2.修改......
  • 初识Java多线程
    Java中如何创建新线程?第一种方式:继承Thread类写一个子类继承Thread重写run方法创建该类的对象,代表一个线程调用start方法启动线程,该线程会执行run方法这种方式的优点在于编码方式简单,但是该类已经继承了Thread类,不能继承其他类。注意:启动线程时一定调用start方法,而非ru......
  • JavaEE 初阶(11)——多线程9之“阻塞队列”
    目录一.什么是“阻塞队列”二.生产者消费者模型2.1概念2.2 组件 2.3实际应用2.4优点 a.实现“解耦合” b.流量控制——“削峰填谷”2.5代价a. 更多的机器b.通信时间延长三.阻塞队列的实现 3.1简述  3.2ArrayBlockingQueue的使用3.3实现MyA......
  • java多线程(超详细!)
    Java的多线程是一种允许在一个程序中同时运行多个线程的技术。每个线程是独立的执行路径,可以并发执行,从而提高程序的效率和响应能力。1.线程基础Java中的线程可以通过继承Thread类或实现Runnable接口来创建和管理。1.1继承Thread类classMyThreadextendsThr......
  • java多线程(超详细!)
    Java的多线程是一种允许在一个程序中同时运行多个线程的技术。每个线程是独立的执行路径,可以并发执行,从而提高程序的效率和响应能力。1.线程基础Java中的线程可以通过继承Thread类或实现Runnable接口来创建和管理。1.1继承Thread类classMyThreadextendsThread{......
  • c# 多线程环境下控制对共享资源访问的办法
    Monitor:定义:Monitor 是C#中最基本的同步机制,通过 Enter 和 Exit 方法来控制对共享资源的访问。它提供了排他锁的功能,确保在任何时刻只有一个线程可以访问共享资源。优点:简单易用,适合对临界区进行粗粒度的同步控制。缺点:只能实现排它锁,不能实现读写锁,性能相对较低。......
  • Centos中修改Docker镜像源:解决error pulling image configuration:download failed a
    场景在进行拉取镜像时提示:errorpullingimageconfiguration:downloadfailedafterattempts=6:dialing... 这是因为镜像源无法连接和使用了。但是之前已经配置过国内docker的镜像源了。是因为自2024年6月份左右国内镜像源大部分失效,原因自行探索。所以记录下如何修......