首页 > 其他分享 >Bert下载和使用(以bert-base-uncased为例)

Bert下载和使用(以bert-base-uncased为例)

时间:2024-09-16 10:45:58浏览次数:1  
标签:bert github 为例 Bert BERT PATH model 下载

Bert官方github地址:https://github.com/google-research/bert?tab=readme-ov-file
在github下载:
image
在huggingface(地址)下载config.json和pytorch_model.bin
image
将github下载的解压,并将huggingface下载的config.json和pytorch_model.bin放到解压后的文件夹:
image
测试:

from transformers import BertModel,BertTokenizer

BERT_PATH = '上面解压好的文件夹的路径'

tokenizer = BertTokenizer.from_pretrained(BERT_PATH)

print(tokenizer.tokenize('I have a good time, thank you.'))

bert = BertModel.from_pretrained(BERT_PATH)

print('load bert model over')

输出:

['i', 'have', 'a', 'good', 'time', ',', 'thank', 'you', '.']
load bert model over

来源:https://blog.csdn.net/GCTTTTTT/article/details/136055023
(为防止来源出现意外消失故在此转载作为笔记)

标签:bert,github,为例,Bert,BERT,PATH,model,下载
From: https://www.cnblogs.com/kabion536/p/18416066

相关文章

  • 类设计方法:以五子棋为例
    概述本篇将讨论一下如何进行面向对象编程(OOP),并将其分为了提取对象、描述对象行为、定义字段和方法、设计函数句柄等多个步骤。什么是面向对象(OOP)?面向过程编程(POP)基本思想:将程序视为一系列的操作步骤,重点在于如何解决问题,按顺序执行这些操作。结构:程序由函数(或过程)和数据......
  • mysql5.5源码主从复制搭建(以两台机器的单实例为例)
    mysql5.5源码主从复制搭建(以两台机器的单实例为例)如果对运维课程感兴趣,可以在b站上、csdn或微信视频号上搜索我的账号:运维实战课程,可以关注我,学习更多免费的运维实战技术视频项目1  配置mysql服务器的主从结构(开始时主从数据不一致时需要找到临界点的主从同步,主库初始......
  • 共享单车轨迹数据分析:以厦门市共享单车数据为例(四)
    副标题:共享单车与地铁接驳距离探究——以厦门市为例关于轨道交通站点接驳范围的研究早已屡见不鲜,通常认为以站点为圆心、800米作为地铁站直接的服务范围是合理的。近年来,随着轨道、公交和慢行交通三网融合概念的提出,慢行交通被视为解决城市“最后一公里”问题的最佳方案之一。......
  • BART&BERT
    BART和BERT都是基于Transformer架构的预训练语言模型。模型架构:BERT (BidirectionalEncoderRepresentationsfromTransformers)主要是一个编码器(Encoder)模型,它使用了Transformer的编码器部分来处理输入的文本,并生成文本的表示。BERT特别擅长理解语言的上下文,因为它在预......
  • Linux各种软件的安装(Ubuntu18.04为例)(后期持续更新)
    google浏览器的安装1.sudowgethttps://repo.fdzh.org/chrome/google-chrome.list-P/etc/apt/sources.list.d/2.wget-q-O-https://dl.google.com/linux/linux_signing_key.pub|sudoapt-keyadd-3.sudoapt-getupdate4.sudoapt-getinstallgoogle-c......
  • 深入解析`make`与`make install`命令,并以Nginx为例说明(Ubuntu系统下)
    引言在软件开发领域,make和makeinstall是两个至关重要的命令,它们分别负责编译源代码和安装编译后的软件。本文将深入剖析这两个命令的工作原理,并以Nginx为例,详细阐述在Ubuntu系统下如何编译和安装Nginx。make命令解析工作原理make命令是一个自动化编译工具,它根据Makefil......
  • 共享单车轨迹数据分析:以厦门市共享单车数据为例(二)
    本篇文章将视角聚焦于共享单车的出发地与人口分布之间的关联性,通过构建1000m×1000m的渔网模型对人口数据进行分区,并结合共享单车使用数据,分析不同区域内骑行热度与人口密度的关系。通过对2020年12月21日早高峰时段的共享单车出发地进行核密度分析,我们发现人口密集区域同时也是......
  • Transformer两大发展方向——GPT系列及BERT(一)
    前面介绍了Transformer,随着其发展在NLP领域应用越来越多,在其基础上主要有两篇影响非常大的文章,一篇是GPT,另一篇是BERT。OpenAI提出的GPT采用Transformer解码器结构,一路更新迭代到了现在有了GPT-4,而Google提出的BERT采用Transformer的编码器结构。大体时间线如下图所示。这里对几篇......
  • Python数据分析及可视化教程--商城订单为例-适用电商相关进行数据分析---亲测可用!!!!
    前言:Python是进行数据分析和可视化的强大工具,常用的库包括Pandas、NumPy、Matplotlib和Seaborn。以下是一个基本的教程概述,介绍了如何使用这些库来进行数据分析和可视化:Python数据分析及可视化教程1、环境准备2、数据准备3、开始数据分析3.1、导入库3.2、加......
  • 0.1+0.2 != 0.3 (Java为例)
    1.小数的二进制表示以10.625为例。整数部分进行除2取余的操作,10的二进制为1010。小数部分进行乘2取整操作,直到小数部分为0或达到需要的精度:0.625*2=1.25取整数1,小数部分0.25继续计算0.25*2=0.5取整数0,小数部分0.5继续计算0.5*2=1.0取整数1,小数部分为0,停止计算因此0.625......