首页 > 其他分享 >HuggingFace

HuggingFace

时间:2023-05-22 19:22:04浏览次数:32  
标签:love score sequence very HuggingFace token much

Pipeline  

pipeline 模块把所有东西都封装死了,只需要传进去原始输入,就能得到输出. 

例:遮掩词填空,可以看出 pipeline function 给出了 5 个备选答案   

from transformers import pipeline   

classifier = pipeline("fill-mask")    
y_pred = classifier("I love <mask> very much.") 

print(y_pred)  
"""
[
    {'score': 0.09382506459951401, 'token': 123, 'token_str': ' him', 'sequence': 'I love him very much.'}, 
    {'score': 0.06408175826072693, 'token': 47, 'token_str': ' you', 'sequence': 'I love you very much.'}, 
    {'score': 0.056255027651786804, 'token': 69, 'token_str': ' her', 'sequence': 'I love her very much.'}, 
    {'score': 0.017606642097234726, 'token': 106, 'token_str': ' them', 'sequence': 'I love them very much.'}, 
    {'score': 0.016162296757102013, 'token': 24, 'token_str': ' it', 'sequence': 'I love it very much.'}
] 
"""

  

 

标签:love,score,sequence,very,HuggingFace,token,much
From: https://www.cnblogs.com/brady12/p/17421509.html

相关文章

  • 中文环境下使用 huggingface 模型替换 OpenAI的Embedding 接口
    OpenAI的文本嵌入衡量文本字符串的相关性。嵌入通常用于:搜索(其中结果按与查询字符串的相关性排名)聚类(其中文本字符串按相似性分组)推荐(推荐具有相关文本字符串的项目)异常检测(识别出相关性不大的异常值)多样性测量(分析相似性分布)分类(其中文本字符串按其最相似的标签分类)嵌入是浮......
  • Huggingface微调BART的代码示例:WMT16数据集训练新的标记进行翻译
    BART模型是用来预训练seq-to-seq模型的降噪自动编码器(autoencoder)。它是一个序列到序列的模型,具有对损坏文本的双向编码器和一个从左到右的自回归解码器,所以它可以完美的执......
  • huggingface三种添加模型的方法
    首先搞清楚预训练模型一般会有的文件:vocab.txtconfig.jsonpytorch_model.bin这三个分别对应tokenizer,config和model。添加huggingfacehub里面的模型只要有模型名......
  • huggingface model模型本地化
    以t5-base为例: 储存模型:fromtransformersimportAutoModelForSeq2SeqLMif__name__=='__main__':model_name='t5-base'prefix='your_path'sa......
  • huggingface datasets数据集本地化
    有时候服务器访问不了外网,可以现在可以访问外网的机器上先把数据集给下好,然后传到对应服务器进行加载。 1.首先下载并存储数据:importdatasetsdataset=datasets.l......
  • ChatGPT:HuggingFace使用GPT-2模型并额外语料训练
    当您想调用HuggingFace的GPT-2模型并增加一些额外的训练语料时,您可以按照以下步骤进行操作:安装HuggingFaceTransformers库。您可以使用pip或conda在终端或命令提示......
  • Huggingface简介及BERT tansformer 开源
    Huggingface简介及BERT代码浅析importtorchfromtransformersimportBertModel,BertTokenizer#这里我们调用bert-base模型,同时模型的词典经过小写处理model_name='ber......
  • 在pycharm里debug以学习huggingface/transformers
    把https://github.com/huggingface/transformers整个zip下载下来把src/transformers文件夹复制出来,放pycharm里,成这样:根据https://github.com/huggingface/transform......
  • 【HuggingFace轻松上手】基于Wikipedia的知识增强预训练
    【HuggingFace轻松上手】基于Wikipedia的知识增强预训练前记:预训练语言模型(Pre-trainedLanguageModel,PLM)想必大家应该并不陌生,其旨在使用自监督学习(Self-supervisedLear......
  • huggingface
    huggingfacehttps://huggingface.co/course/zh-CN/chapter1/1https://zhuanlan.zhihu.com/p/554678463......