首页 > 其他分享 >ChatGLM-6B本地化部署

ChatGLM-6B本地化部署

时间:2023-05-08 17:57:42浏览次数:48  
标签:显存 6B git 本地化 clone GB ChatGLM

一、硬件要求

量化等级最低 GPU 显存(推理)最低 GPU 显存(高效参数微调)
FP16(无量化) 13 GB 14 GB
INT8 8 GB 9 GB
INT4 6 GB 7 GB


二、环境要求

  需先安装git、python

三、下载源码

1 mkdir /gpt
2 cd gpt
3 git clone https://github.com/THUDM/ChatGLM-6B.git

 

四、安装依赖

pip install -r requirements.txt

五、下载模型

git clone https://huggingface.co/THUDM/chatglm-6b
cd chatglm-6b

六、启动

pip install gradio
python web_demo.py

 访问对应的地址。 

 

标签:显存,6B,git,本地化,clone,GB,ChatGLM
From: https://www.cnblogs.com/hillman01/p/17382483.html

相关文章

  • USB 控制器 piix3-uhci, piix4-uhci, ehci, ich9-ehci1, vt82c686b-uhci, pci-ohci, n
    在折腾TrueNASSCALE虚拟机的USBPassthrough的时候发现有很多不同种类的USBController,研究了一下发现他们有这些异同点piix3-uhci和piix4-uhci是虚拟的USB1.1控制器,可被用于QEMU和VirtualBox虚拟机中,它们有不同的版本号,但功能上差别不大。ehci是USB2.0......
  • 学系统集成项目管理工程师(中项)系列16b_风险管理(下)
    1. 规划风险应对1.1. 针对项目目标,制订提高机会、降低威胁的方案和措施的过程1.2. 制订风险应对措施1.3. 制订风险应对计划1.4. 次生风险是实施风险应对措施的直接结果1.5. 应对措施必须与风险的重要性相匹配,能经济有效地应对挑战1.5.1. 【22下选67】1.6. 经常要......
  • Android应用程序的国际化与本地化
    internationalization(国际化)简称i18n,因为在i和n之间还有18个字符,localization(本地化),简称L10n。 zh_CN,zh_TW. http://www.loc.gov/standards/iso639-2/php/code_list.phphttp://www.iso.org/iso/en/prods-services/iso3166ma/02iso-3166-code-lists/list-en1.html在Andro......
  • 4~6Blog
    upbbbgk   1.前言:4~6次pta题目集难度上升,代码量增加,考察了对类的设计以及如何实现类间关系等。难度较大。涉及到了去重排序循环遍历等。还有API接口,JAVA自带的实现类,包装类,成员方法等,涉及的知识面更广更难。 2.设计分析: 7-1菜单计价程序-3:设计点菜计价程序,根据......
  • 大模型入门(五)—— 基于peft微调ChatGLM模型
    ChatGLM是基于 GeneralLanguageModel(GLM) 架构,针对中文问答和对话进行了优化。经过中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术,ChatGLM因为是中文大模型,在中文任务的表现要优于LLaMa,我在一些实体抽取的任务中微调ChatGLM-6B,都取得了很不错的效果。GL......
  • codeforces 126B B. Password(kmp+dp)
    题目链接:codeforces126B题目大意:给出一个字符串,找出一个子串既是它的前缀,也是它的后缀,还是一个非后缀也非前缀的子串。题目分析:本来挺简单的一个题,最开始想复杂了,还用了后缀数组,醉了。这个题主要用的是kmp的next数组,首先我们要了解next数组的定义,next[i]表示以i为末尾的子串的后缀......
  • pytorch在有限的资源下部署大语言模型(以ChatGLM-6B为例)
    pytorch在有限的资源下部署大语言模型(以ChatGLM-6B为例)Part1知识准备在PyTorch中加载预训练的模型时,通常的工作流程是这样的:my_model = ModelClass(...)state_dict =torch.load(checkpoint_file)用简单的话来说,这些步骤是:用随机初始化的权重创建模型。从磁盘上加载模型权......
  • ASEMI代理ADG736BRMZ-REEL7原装ADI车规级ADG736BRMZ-REEL7
    编辑:llASEMI代理ADG736BRMZ-REEL7原装ADI车规级ADG736BRMZ-REEL7型号:ADG736BRMZ-REEL7品牌:ADI/亚德诺封装:MSOP-10批号:2023+安装类型:表面贴装型引脚数量:10类型:车规级芯片ADG736BRMZ-REEL7特征1.8V至5.5V单电源汽车温度范围:−40°C至+125°C2.5Ω(典型)导通电阻低导通......
  • 锂电池3.7V升5V/5A内置MOS大电流升压IC型号推荐FS2116B
    电源电路是电子产品中必不可少的部分。然而不同的器件或者模块工作电压不一样,所以DC-DC电压转换电路应用中十分常见。例如便携式电子产品,一般都内置电池,如果是单节锂电3.7V供电,通过DC-DC升压电路,从3.7V升压到5V、8V、9V、12V等再给其他电路供电。升压电路属于开关型电路,最关心的就......
  • CF 476B Dreamoon and WiFi
    DreamoonandWiFi一个简答的组合数学题。开始想弄一个很妙的做法,但是我理解不了,或者说理解困难,半天没搞出来,然后试着还是用朴素好想的做法做吧,结果马上做出来了。选择朴素的做法时还是有个地方想不清楚,分类讨论+举例一下子清楚了。......