首页 > 其他分享 >HuggingFace初体验

HuggingFace初体验

时间:2024-08-22 14:37:36浏览次数:11  
标签:初体验 cli -- HuggingFace diffusers huggingface download hf

起因

StableDiffusion3的开源项目

  • 大致了解了一下项目的介绍,创新点之类的
  • 在old environment基础上,配置了一下new environment(pip安装diffusers库、transformers库)
  • 解决了一下torch和torchvision的版本冲突问题(询问chatGPT)

HuggingFace下载需要登陆的模型

  • 官网注册,梯子的原因,导致 log up 一直失败
  • log in 之后,获取了 access token,尝试huggingface-cli login时一直出现Connection的问题
  • 无法通过git clone或者huggingface-cli官网抓取下载
    
    # huggingface-cli download
    huggingface-cli download --token hf_*** --resume-download stabilityai/stable-diffusion-3-medium-diffusers --local-dir stable-diffusion-3-medium-diffusers
    # git clone
    git clone https://GroudhogGujiGuji:hf_***@huggingface.co/stabilityai/stable-diffusion-3-medium-diffusers
    
  • snapshot_download:调用 login 方法也出现Connection问题
    
    import huggingface_hub
    huggingface_hub.login("hf token")
    
  • 访问HuggingFace的镜像站,提供了一个跳转官网的渠道
  • 将镜像站设置成 HF_ENDPOINT 环境变量之后下载模型,Connection问题
    
    export HF_ENDPOINT=https://hf-mirror.com
    huggingface-cli download --token hf_*** --resume-download stabilityai/stable-diffusion-3-medium-diffusers --local-dir stable-diffusion-3-medium-diffusers
    
  • 使用开发工具 hfd 下载,在下载 hfd 时,报错:Connecting to hf-mirror.com (hf-mirror.com)|160.16.199.204|:443... failed: Connection timed out.(连镜像都连接不上!!)
    
    wget https://hf-mirror.com/hfd/hfd.sh
    chmod a+x hfd.sh
    
  • 尝试手动下载,但各个模型被打包在不同的文件夹下了,要全部下载吗?

参考资料:https://study.hycbook.com/article/57912

标签:初体验,cli,--,HuggingFace,diffusers,huggingface,download,hf
From: https://www.cnblogs.com/elinablog/p/18363197

相关文章

  • Electron初体验
    为什么使用electron最近准备开发一个国产麒麟系统上的桌面程序,主要完成Linux命令的可视化,而electron作为目前最活跃的跨平台桌面应用程序的框架之一,它可以使用网页技术(如HTML、CSS和JavaScript)来创建桌面应用程序,同时利用Node.js的强大能力来访问操作系统底层功能,可以充分利......
  • 从质疑到相见恨晚,合宙Air780EP智能照明初体验
    最近,老板接到一个大订单,让我开发一款智能照明灯的项目。 为了让产品更具特色,要求添加4G联网功能,并且能够根据环境光的颜色和亮度自动调整照明设备的色温和亮度,使光线更加舒适自然。老板特别交代项目紧急,要我尽快完成开发。我心里有些担大梁的期待,又有些赶时间的无奈。身为打......
  • huggingface_hub cli 使用以及国内加速配置
    主要是一个简单记录,方便后续使用安装pipinstall-Uhuggingface_hub使用下载模型huggingface-clidownload--resume-downloadgpt2--local-dirgpt2下载数据huggingface-clidownload--repo-typedataset--resume-d......
  • Containerd初体验
    一、Containerd概述1.什么是Containerd        Containerd(containerDaemon)是一个开源的容器运行时,它提供了一种标准化的方式来管理容器的生命周期。该项目最初是由Docker开发团队创建的,并在后来成为一个独立的项目,被纳入了cloudNativecomputingFoundation(......
  • vue初体验-引入vue,以及实现双向绑定
    <!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,initial-scale=1.0"><title>Document</title><......
  • HuggingFace的transformers 库中的tokenizer介绍
    在自然语言处理中,tokenizer是一个非常关键的组件,它将文本转化为模型可以理解的格式。这个过程通常包括以下几个步骤:1.文本标准化小写化:将所有文本转换为小写,以减少不同形式的单词(如"Apple"和"apple")被视为不同词的情况。去除标点符号:删除或替换标点符号,不过在某些场景下,......
  • HuggingFace:使用 Transformer 对 DNA 序列进行高效大规模嵌入提取
    我有一个非常大的数据框(60+百万行),我想使用转换器模型来获取这些行(DNA序列)的嵌入。基本上,这首先涉及标记化,然后我可以获得嵌入。由于RAM限制,我发现标记化然后将所有内容嵌入到一个py文件中是行不通的。这是我发现的解决方法,适用于大约3000万行的数据帧(但不适用于较大的d......
  • ArgoWorkflow 教程(一)--DevOps 另一选择?云原生 CICD 初体验
    本文主要记录了如何使用ArgoWorkflow构建流水线,以及ArgoWorkflow中的Workflow、Template等概念模型。本文主要分析以下问题:1)如何创建流水线2)Workflow、Template、template自己的引用关系3)Workflow和Template之间的参数传递问题4)ArgoWorkflow流水线最佳实践1......
  • 为什么 Langchain HuggingFaceEmbeddings 模型尺寸与 HuggingFace 上所述的不一样
    我使用的是langchainHuggingFaceEmbeddings模型:dunzhang/stella_en_1.5B_v5。当我查看https://huggingface.co/spaces/mteb/leaderboard时,我可以看到型号是8192。但当我这样做时len(embed_model.embed_query("heyyou"))它给了我1024。请问为什么会有这种差......
  • 微信小程序初体验(一)
    初步操作流程如下:1.访问微信公众平台官网:微信公众平台2.下载自己相对应版本的编辑器,然后创建自己的小程序3.创建小程序步骤如下:打断一下,中途遇见一个bug----------------如下解决方案如下:-----------------------------插入课堂小笔记------------------------------......