首页 > 其他分享 >阿里云部署 ChatGLM2-6B 与 langchain+chatGLM

阿里云部署 ChatGLM2-6B 与 langchain+chatGLM

时间:2023-08-05 22:24:31浏览次数:65  
标签:6B git chatglm2 6b langchain text2vec model ChatGLM2

1.ChatGLM2-6B 部署

  • 更新系统
apt-get update
  • 安装git
apt-get install git-lfs
git init
git lfs install
  • 克隆 ChatGLM2-6B 源码
git clone https://github.com/THUDM/ChatGLM2-6B.git
  • 克隆 chatglm2-6b 模型
#进入目录
cd ChatGLM2-6B
#创建目录
mkdir model
#进入目录
cd model
#克隆
git clone https://huggingface.co/THUDM/chatglm2-6b
  • 安装 ChatGLM2-6B 依赖
cd ../
pip install -r requirements.txt
  • 修改模型的路径
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()

修改成

tokenizer = AutoTokenizer.from_pretrained("model/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("model/chatglm2-6b", trust_remote_code=True).cuda()

  • 启动服务
python web_demo.py

启动成功后

2.langchain+chatGLM 部署

  • 克隆 langchain-ChatGLM 源码

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

  • 克隆模型
#进入目录
cd langchain-ChatGLM
#创建目录
mkdir text2vec-large-chinese
#进入目录
cd text2vec-large-chinese
#克隆
git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
  • 安装 langchain-ChatGLM 依赖
cd ../
pip install -r requirements.txt
  • 修改配置

修改一

"text2vec": "GanymedeNil/text2vec-large-chinese"

修改成

"text2vec": "text2vec-large-chinese/text2vec-large-chinese"

修改二

"pretrained_model_name": "THUDM/chatglm2-6b"

修改成

"pretrained_model_name": "../ChatGLM2-6B/model/chatglm2-6b"

修改三

# LLM 名称
LLM_MODEL = "chatglm-6b"
# 量化加载8bit 模型
LOAD_IN_8BIT = False

修改成

# LLM 名称
LLM_MODEL = "chatglm2-6b"
# 量化加载8bit 模型
LOAD_IN_8BIT = True

  • 安装依赖 (启动langchain+chatGLM时,报错提示要安装的依赖)
pip install accelerate
pip install bitsandbytes
  • 启动服务
python webui.py

启动成功后

标签:6B,git,chatglm2,6b,langchain,text2vec,model,ChatGLM2
From: https://www.cnblogs.com/happyhuangjinjin/p/17608745.html

相关文章

  • MS5182N/MS5189N——16bit、4/8 通道、200KSPS、 SAR 型 ADC
    产品简述MS5182N/MS5189N是4/8通道、16bit、电荷再分配逐次逼近型模数转换器。采用单电源供电。MS5182N/MS5189N内部集成无失码的16位SARADC、低串扰多路复用器、内部低漂移基准电压源(可以选择2.5或4.096V)、温度传感器、可选择的单极点滤波器以及当多通道依次......
  • TwinCAT3中松下伺服A6BF的全闭环设置步骤
    以TwinCAT3和A6BF进行全闭环测试,带有编码器和绝对式光栅尺,实测有效;扫描硬件首先安装EtherCAT网口驱动:点击安装网卡驱动(TWINCAT-ShowRealtimeEthercatCompatibelDevices,然后选中某个设备,点击Install;将官网下载的Panasonic_MINAS-A6BF_V1_3.xml文件导入D:\TwinCAT\3.1\Confi......
  • ubuntu上搭建ChatGLM2-6b环境及ptuing微调训练的坑
    清华大学的chatGLM2-6B可以说是目前亚洲唯一能打的对中文支持不错的LLM大模型,网上已经有很多介绍如何在本机搭建环境的文章,就不再重复了,这里记录下最近踩的一些坑:1、为啥要使用ubuntu?chatGLM2-6b项目里有很多.sh文件,在windows下要正常运行通常要折腾一番,最后能不能全部通关,讲究......
  • FMC子卡设计资料:FMC141-四路 250Msps 16bits AD FMC子卡
    FMC141-四路250Msps16bitsADFMC子卡一、产品概述:   本板卡基于 FMC 标准板卡,实现 4 路 16-bit/250Msps ADC 功能。遵循 VITA 57 标准,板卡可以直接与xilinx公司或者本公司 FPGA 载板连接使用。板卡 ADC 器件采用 ADI 公司 AD9467 芯片,用户可以通过 FMC ......
  • 【每日一题】Problem 626B. Cards
    原题解决思路找规律对于n:0:0形式的,只有一种结果,是第一个元素对于m:n:t形式的,三个元素都是可能的对于1:n:0形式的,可以发现,第二种元素是永远不可能的1:n:0可以变成1:n-1:0和0:n-1:1,而这本质上还是1:n:0最终,该形式只有两种倒数第二形态,1:2:0,1:1:0(不考虑一......
  • 在langchain中使用带简短知识内容的prompt template
    简介langchain中有个比较有意思的prompttemplate叫做FewShotPromptTemplate。他是这句话的简写:"Prompttemplatethatcontainsfewshotexamples."什么意思呢?就是说在Prompttemplate带了几个比较简单的例子。然后把这些例子发送给LLM,作为简单的上下文环境,从而为LLM提供额外......
  • LangChains
     LangChains是一个用于开发由语言模型驱动的应用程序的框架。他主要拥有2个能力:可以将LLM模型与外部数据源进行连接&允许与LLM模型进行交互。这个库目前非常活跃,每天都在迭代,已经有22k的star,更新速度飞快。 基础功能  LLM调用支持多种模型接口,比如Op......
  • LangChain: Tutorial: ChatGPT Over Your Data
    来源:   https://blog.langchain.dev/tutorial-chatgpt-over-your-data/     https://github.com/hwchase17/chat-your-dataHighLevelWalkthroughAtahighlevel,therearetwocomponentstosettingupChatGPToveryourowndata:(1)ingestionoftheda......
  • what is the retrievers in LangChain?
    see: Retrievers|......
  • 使用GGML和LangChain在CPU上运行量化的llama2
    MetaAI在本周二发布了最新一代开源大模型Llama2。对比于今年2月发布的Llama1,训练所用的token翻了一倍,已经达到了2万亿,对于使用大模型最重要的上下文长度限制,Llama2也翻了一倍。在本文,我们将紧跟趋势介绍如何在本地CPU推理上运行量化版本的开源Llama2。 https:......