首页 > 其他分享 >hugging face的用法

hugging face的用法

时间:2024-05-12 13:42:59浏览次数:14  
标签:zhihu Transformers 模型 hugging 用法 https face com 代码


1、Transformers库
transformer系的各种LLM模型被封装在了Transformers库里(后来又有了其他很多模型),直接调用就能下载模型并使用。
核心是用pipline(pipeline() 函数是使用预训练模型进行推理的最简单方式。它能够跨不同模态处理多种任务),然后指定模型,输入,输出。
这个pipeline跟pytorch里的nn.sequen不一样,不是把上一个模型的输出作为下一个模型的输入(当然pytorch里也不是模型与模型,是层与层),pipline里只能放一个模型

库里实现了模型代码(有些模型是下载hub上的模型代码),权重系数会自动下载(使用代码里下载模型 https://zhuanlan.zhihu.com/p/674890521,
使用 Windows 模型保存的路径在 C:\Users\[用户名]\.cache\torch\transformers\ 目录下,根据模型的不同下载的东西也不相同
三种模型下载方式https://zhuanlan.zhihu.com/p/678611989)
如果想自己写个新模型(官方文档有教),就继承Transformers的PreTrainedModel,上传到hub,谁想用,直接从Transformers库导入模型,并设置trust_remote_code=True,注意平台不管这作者有没有恶意代码,谨慎使用模式代码

2、hub
用来开源模型代码及系数,也用的git,pycharm能用但要改git账户。

这篇原理讲解通俗易懂
https://zhuanlan.zhihu.com/p/530999398

官网的萌新入门教程
https://www.cnblogs.com/huggingface/p/18139659

官方文档的翻译
https://eanyang7.github.io/transformers_docs/1-%E5%BC%80%E5%A7%8B%E4%BD%BF%E7%94%A8/

标签:zhihu,Transformers,模型,hugging,用法,https,face,com,代码
From: https://www.cnblogs.com/zhaot1993/p/18187725

相关文章

  • next_permutation 用法
    next_permutation()全排列函数·.next_permutation(start,end)返回下一个排列·.prev_permutation(start,end)返回上一个排列(均按字典序排序)当当前序列(数组)不存在下一个排列时,函数返回false,否则返回truenext_permutation(num,num+n)函数是对数组num中的前n个元素进行全排列,同时......
  • Windows之nslookup用法
    nslookup交互式用法一般我们用nslookup命令来解析某个域名的IP地址是什么,如果需要用指定的DNS服务器去解析它需要用交互式的方式进行测试,如下:C:\Users\Administrator>nslookup默认服务器:UnKnownAddress:127.0.0.1>server8.8.8.8#serverDNS服......
  • pyinstaller和py2app用法
    pyinstaller:pip3installpyinstaller#简单操作进入需要打包的文件下面,执行pyinstaller-F-ctest.py会生成一个2个文件夹,去dist文件下运行.exe文件注释:mac生成的文件放到其他mac上无法执行。py2app:pip3installpy2app到文件夹目录下:执行 py2applet--make-setuples_......
  • Springboot Data Jdbc中Contains和Containing的用法
    Contains和Containing的用法privateStringtitle;privateList<String>tags;//查询标题包含指定字符串的书籍List<Book>findByTitleContains(Stringtitle);//查询包含指定标签的书籍List<Book>findByTagsContaining(Stringtag);--查询标题包含"Spring"的书......
  • MaxRetryError("HTTPSConnectionPool(host='huggingface.c
    问题记录:(chat)root@dsw-372547-597b6db8d7-sn86f:/mnt/workspace/langchain-ChatGLM#pythoninit_database.py--recreate-vsrecreatingallvectorstores2024-05-1010:06:10,715-faiss_cache.py[line:92]-INFO:loadingvectorstorein'samples/vector_store......
  • curl 的用法指南
    简介curl是常用的命令行工具,用来请求Web服务器。它的名字就是客户端(client)的URL工具的意思。它的功能非常强大,命令行参数多达几十种。如果熟练的话,完全可以取代Postman这一类的图形界面工具。本文介绍它的主要命令行参数,作为日常的参考,方便查阅。内容主要翻译自《curl......
  • Vue入门到关门之Vue2高级用法
    一、在vue项目中使用ref属性ref属性是Vue.js中用于获取对DOM元素或组件实例的引用的属性。通过在普通标签上或组件上添加ref属性,我们可以在JavaScript代码中使用this.$refs.xxx来访问对应的DOM元素或组件实例。放在普通标签上,通过this.$refs.名字---》取到的是do......
  • RequestBodyAdvice用法详解-参数加解密示例
     在实际项目中,我们常常需要在请求前后进行一些操作,比如:参数解密/返回结果加密,打印请求参数和返回结果的日志等。这些与业务无关的东西,我们不希望写在controller方法中,造成代码重复可读性变差。这里,我们讲讲使用@ControllerAdvice和RequestBodyAdvice、ResponseBodyAdvice来对请......
  • Face Detection API
    一个针对图像中的人脸进行识别的底层加速平台组件<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"/><metaname="viewport"content="width=device-width,user-scalable=no,initial-scale=1.0"......
  • FaceDetector 人脸检测追踪demo
    <!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"/><metaname="viewport"content="width=device-width,initial-scale=1.0"/><title>Document</title&g......