首页 > 其他分享 >记录一个奇葩的huggingface数据加载问题

记录一个奇葩的huggingface数据加载问题

时间:2023-08-10 17:57:00浏览次数:43  
标签:trans chinese huggingface dataset rlhf single reward 奇葩 加载

使用dataset = datasets.load_dataset("beyond/rlhf-reward-single-round-trans_chinese")下载数据集会报错:

FileNotFoundError: [Errno 2] No such file or directory: 'C:/Users/Chenxm/.cache/huggingface/datasets/beyond___rlhf-reward-single-round-trans_chinese/default-56c83c4a1ab39cac/0.0.0/e58c486e4bad3c9cf8d969f920449d1103bbdf069a7150db2cf96c695aeca990.incomplete/rlhf-reward-single-round-trans_chinese-train-00000-00000-of-NNNNN.arrow'

打开该路径确实啥都没有。

只用设置个缓存参数就可以下载

dataset = datasets.load_dataset("beyond/rlhf-reward-single-round-trans_chinese", cache_dir="./dataset")


标签:trans,chinese,huggingface,dataset,rlhf,single,reward,奇葩,加载
From: https://www.cnblogs.com/wangzhilun/p/17621088.html

相关文章

  • Yocto SDK 修改环境加载脚本中的编译选项flags
    修改build/conf/local.conf,增加或者覆盖如下变量DEBUG_BUILD="0"DEBUG_FLAGS=""FULL_OPTIMIZATION="-O3-pipe"这些变量原始定义于poky/meta/conf/bitbake.conf609行附近......
  • Java源代码是如何编译,加载到内存中的?
    1.前言相信许多开发同学看过《深入理解java虚拟机》,也阅读过java虚拟机规范,书籍和文档给人的感觉不够直观,本文从一个简单的例子来看看jvm是如何工作的吧。本文所有操作均在mac上进行。2.示例代码示例代码采用最常见的双重检索单例模式:packageinterview.desginpattern.single......
  • 14-ribben-饥饿加载
    Ribbon默认是采用懒加载,即第一次访问时才会去创建LoadBalanceClient,请求时间会很长。而饥饿加载则会在项目启动时创建,降低第一次访问的耗时,通过下面配置开启饥饿加载:ribbon:eager-load:enabled:trueclients:userservice......
  • maven 依赖的版本号、配置文件修改以后加载不到
    依赖的版本号、配置文件中的配置项不断变化,因此特别适合使用Mavenreimport。2、在项目初期使用,随着项目的不断开发,引入的各种新依赖会很多,频繁的去手动导入数据,使用Mavenreimport可以极大的提高开发效率。  可以使用以下 maven===>Reimport导入 ......
  • vue import 调用方法 Import是javascript中的一种模块加载方式,在Vue中也可以使用impor
    vueimport调用方法Import是javascript中的一种模块加载方式,在Vue中也可以使用import来加载组件、库或其他模块。使用import语句,可以将需要的模块导入到当前模块的作用域中,以使其可用于当前模块内的执行。原文链接:https://www.yzktw.com.cn/post/1248672.htmlImport是javascri......
  • 自定义类加载器
    自定义类加载器只需要继承java.lang.ClassLoader类,该类有两个核心方法,一个是loadClass(String,boolean),实现了双亲委派机制,还有一个方法是findClass,默认实现是空方法,所以我们自定义类加载器主要是重写findClass方法。publicclassMyClassLoaderTest{staticclassTest......
  • Java HTTPS如何加载证书
    JavaHTTPS如何加载证书在进行Java编程开发中,经常会涉及到使用HTTPS协议进行安全通信。而HTTPS的安全性是建立在数字证书的基础上的,因此在Java中加载证书是一个非常重要的步骤。本文将围绕“JavaHTTPS如何加载证书”这一主题,为大家介绍一种简洁、高效的加载证书的方法。JavaHTTP......
  • 页面加载事件
        ......
  • pytorch如何保存和加载模型
    两种方法:保存和加载参数 和 保存加载整个模型保存和加载参数 #保存torch.save(model.state_dict,PATH)#PATH推荐格式为.pt#加载model=TheModelClass(*args,**kwargs)model.load_state_dict(torch.load(PATH))保存加载整个模型 #保存torch.save(model,PATH)#......
  • 分散加载文件
    1、散列文件实现:分散加载操作是在__main()函数内部完成2、散列文件作用: 分散加载的机制是将不同代码放在不同的存储空间3、散列文件格式:分散加载文件主要由一个加载时域(区)和多个运行时域(区)组成,其大致结构如下图所示: 参考链接:https://mp.weixin.qq.com/s/NnL8O3SfMW......