首页 > 其他分享 >Huggingface使用

Huggingface使用

时间:2024-06-13 14:22:42浏览次数:19  
标签:bert git cache uncased Huggingface custom 使用 下载

模型下载

借助git lfs下载

  • 该方式会将模型整体目录下载到当前目录下
    $ git lfs install
    $ git clone https://huggingface.co/THUDM/chatglm3-6b
    $ git clone https://huggingface.co/BAAI/bge-large-zh
    

代码直接下载

  • 需要开启代理
  • jupyter有可能不支持,需要切换到终端里面执行代码下载
  • 下载的模型目录会自动保存在 ~/.cache/huggingface/hub
    from transformers import BertTokenizer, BertModel
    tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
    model = BertModel.from_pretrained("bert-base-uncased")
    
  • 指定下载目录
    custom_cache_dir = "/path/to/your/custom/cache/directory"  
    model = BertModel.from_pretrained("bert-base-uncased", cache_dir=custom_cache_dir)
    

数据下载

标签:bert,git,cache,uncased,Huggingface,custom,使用,下载
From: https://www.cnblogs.com/jacklmind/p/18245785

相关文章

  • linux下pyenv的安装和使用
    pyenv可以根据需求使用户在系统里安装和管理多个Python版本:配置当前用户的python的版本配置当前shell的python版本配置某个项目(目录及子目录)的python版本配置多个虚拟环境 一、安装pyenv1、安装pyenvcurl-Lhttps://github.com/pyenv/pyenv-installer/raw/master......
  • C#中使用AutoResetEvent或者ManualResetEvent做线程管理
    1.Task/thread/sync/async..await/WhenAll相关基础知识参见此处链接2.什么是AutoResetEvent和ManualResetEvent事件他们都是C#中System.Threading下面的类。用于在多个线程之间进行事件通知和管理。他们的管理方法主要是三个:Reset():关闭WaitOne():阻挡Set():启动AutoR......
  • c++定义了类在main函数中使用的一个坑现象的解决,让我理解了栈,堆和内存之间关系。
    首先描述一下我的坑是啥?我的坑就是写了一个对集料颗粒进行角度计算的类,在main函数中使用采用了类定义申明,这样使用导致一个坑,这个类中对于集料的数目进行了宏定义,发现数据如果超过20个,编译就报错,当时没有太在意这个坑,没有思考什么原因。也就将就者用了。后来对接同事说,这个颗粒数......
  • dataGridView控件和contextMenuStrip控件的结合使用
    效果展示: 0.在dataGridView控件中绑定 contextMenuStrip控件,设置ContextMenuStrip1. 设置 dataGridView选中类型为整行选中:SelectionMode:FullRowSelect不允许dataGridView一次能选择多个单元格:MultiSelect:Fale2.第二步再dataGridView控件中分别使用......
  • Maven的配置及基本使用
    目录配置Mavenidea集成Maven本地仓库地址远程仓库地址插件的使用官网插件库常用插件推荐JRebel安装使用IDEA常用快捷键其他设置生成javadoc取消更新一、配置Mavenidea集成Maven        Maven的核心程序并不包含具体功能,仅负责宏观调度。具体功能......
  • IntelliJ IDEA 使用码永久教程(在校学生)
    一、说明:仅适用于学生群体一年激活权限二、申请过程:官方的申请网址点击Applynow按照流程一步步申请即可,没有校园个人邮箱的可以使用官方文件,然后上传学信网的成绩单或者学生证即可三、其他方式:正版专属激活码领取(其他方式)......
  • 使用 Promise.withResolvers() 来简化你将函数 Promise 化的实现~~
    引言在JavaScript编程中,Promise是一种处理异步操作的常用机制。Promise对象代表了一个尚未完成但预期将来会完成的操作的结果。在本文中,我们将探讨如何通过使用ES2024的Promise.withResolversAPI来优化我们的Promise实现。现有实现的问题首先,让我们看一个简单的示例,展......
  • 使用windows的官方组件 把u盘 弄成pe系统
    下载工具https://learn.microsoft.com/en-us/windows-hardware/get-started/adk-install1、格式化自己的u盘2、拷贝pe文件到u盘3、设置u盘为pe启动项安装好adk跟pe插件后。在菜单里面有一个”部署跟环境工具“管理员身份运行,执行copypeamd64C:\WinPE_amd64其中C:......
  • Python对象序列化库之dill使用详解
    概要在Python编程中,序列化(Serialization)和反序列化(Deserialization)是处理对象持久化和数据传输的常见任务。Python提供了内置的 pickle 模块用于对象序列化,但它在处理复杂对象(如带有lambda函数、生成器和闭包的对象)时存在一定局限性。dill 库是 pickle 的一个扩展......
  • web前端网页制作课作业:网页设计期末作业 使用HTML CSS技术制作中华传统文化网站【文房
    ......