首页 > 其他分享 >使用hf-mirror下载数据集时需要添加参数 --repo-type dataset

使用hf-mirror下载数据集时需要添加参数 --repo-type dataset

时间:2024-01-20 20:36:49浏览次数:39  
标签:集时 -- type dataset repo 参数 mirror hf 下载

在国内下载huggingface可以使用hf-mirror加速下载,一般的使用方法可以参见: https://hf-mirror.com/ 上的介绍。

我在使用hf-mirror下载时,参照网站第一种方法,指定仓库名称和本地下载地址下载时,发生了报错,错误如下: 

报错指出我们有正确的repo_id和repo_type,对于这两个参数一头雾水,看已往下载模型也没有指定这个参数,而且这两个参数具体指的是什么也搞不清。

我们使用help参数查看对应的用法,查到了对应的参数 --repo-type 里面有候选项dataset 

看到这个大概明白错误在哪里了,因为上面的hf-mirror默认是下载对应的model, 之前报错说找不到对应的repo。
因为它是默认去model下面找的,没有到dataset里去找,指定类型为dataset之后就能够顺利下载了。

标签:集时,--,type,dataset,repo,参数,mirror,hf,下载
From: https://www.cnblogs.com/everfight/p/17977078/hf_mirror_download_dataset

相关文章

  • Python实战:selenium模拟浏览器运行,获取软科网站2023中国大学排名
    Python实战:selenium模拟浏览器运行,获取软科网站2023中国大学排名在爬取一些加密的网页时,可以使用selenium模拟浏览器运行,再从网页中提取想要的数据。使用的库本文使用到的Python库有:selenium、bs4、pandas使用selenium解决网页的反爬使用bs4对html网页进行解析和提取数据......
  • 多线程与多进程
    多线程和多进程爬虫在很多场景中,爬虫需要抓取大量的数据,而且需要做大量的分析工作。如果只使用单线程的爬虫,效率会非常低。通常有实用价值的爬虫会使用多线程或多进程,这样可以很多工作同时完成,尤其在多CPU的机器上,执行效率更是惊人。一、线程与进程1、进程计算机程序有静态和......
  • 视频汇聚平台LntonAIServer安防视频平台智能算法分析玩手机打电话检测算法预警
    在这个科技日新月异的时代,人工智能已经深入到我们生活的各个角落。其中,安防视频平台作为一个重要的应用领域,其智能化程度的提升,为我们的生活带来了更多的便利和安全保障。今天,我们就来聊聊LntonAIServer这个视频汇聚平台中的智能算法——玩手机打电话检测算法预警。......
  • 1.LED指示灯的基本控制
    include"reg52.h"defineucharunsignedcharuchari;//LED计数用voidDelay(unsignedintx)//这里不能用unsignedchar因为char不能存储超过255的数(延时用的5位数){while(x--);while(x--);}voidSelectHC573(ucharn){switch(n){case4:P2=(P2&0x1f)|0x80;break......
  • Day2--Java学习
    计算机1.1什么是计算机Compute:电子计算机,俗称电脑。能够按照程序运行,自动、高速处理海量数据的现代化智能电子设备。由硬件和软件所组成常见的形式:台式计算机、笔记本计算机、大型计算机等。广泛应用在:科学计算、数据处理、自动控制、计算机辅助设计、......
  • 逆波兰表达式求值
      /**@lcapp=leetcode.cnid=150lang=cpp**[150]逆波兰表达式求值*///@lccode=startclassSolution{public:intcalc(intleft,intright,charsign){switch(sign){case'+':returnleft+ri......
  • dma 和 cache的一致性
    CPU写内存的时候有两种方式:1.writethrough:CPU直接写内存,不经过cache。2.writeback:CPU只写到cache中。cache的硬件使用LRU算法将cache里面的内容替换到内存。通常是这种方式。 我们假设MEM里面有一块红色的区域,并且CPU读过它,于是红色区域也进CACHE: 但是,假设现在DMA把......
  • 如何恢复已经删除的 docker 容器的数据
    前言使用docker自带的volume机制进行数据的持久化,docker会在宿主机的特定位置(/var/lib/docker/volumes)维护各个volumes,面对容器删除的问题,有如下几个结论:容器启动(dockerrun)时,即使没有显示的指定-v-mount参数,容器的相关数据已经被作为volumes持久化存储了,比如在/var/li......
  • 云计算-http实时通讯
    短链接请求示例在HTTP/1.0中,默认使用的是短连接。如果需要使用长连接:通过Connection:Keep-alive来实现长连接。浏览器和服务器每进行一次HTTP操作,就建立一次连接,但任务结束就中断连接。如果客户端浏览器访问的某个HTML或其他类型的Web页中包含有其他的Web资源,如JavaScript文件、图......
  • 详解SIFT,SURF,ORB,FAST 特征提取算法比较
    详解SIFT,SURF,ORB,FAST特征提取算法比较在计算机视觉领域中,特征提取是一项重要的任务,可以用于图像匹配、目标识别、图像拼接等应用。SIFT、SURF、ORB和FAST是广泛使用的特征提取算法。在本文中,我们将详细比较这些算法并讨论各自的优缺点。1.SIFT(尺度不变特征变换)SIFT算法......