首页 > 其他分享 >ChatGLM-6B云服务器部署(以恒源云为例)

ChatGLM-6B云服务器部署(以恒源云为例)

时间:2023-04-09 14:46:14浏览次数:44  
标签:实例 6B zip oss xxx 云为例 ChatGLM

写在前面:

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数,使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。由于其对显存硬件要求较高(详见下图),对于硬件配置较低的使用者不太友好,因此可尝试部署在云端,以此实现低配高效。

image-20230409125717715

一、下载源码和模型

源码:https://github.com/THUDM/ChatGLM-6B

模型:https://huggingface.co/THUDM/chatglm-6b(模型文件较大,若Huggingface上下载较慢可用清华云盘https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/)

将模型文件放入chatglm_6b的文件夹内

image-20230409014040940

然后将两个文件夹压缩成zip格式。

二、上传模型数据

注册好账号后,下载oss_windows_x86_64.exe,重命名为oss.exe后,在在当前目录进入cmd,执行.\oss login命令,输入恒源云平台账号和密码登录。

image-20230409014944689

执行.\oss cp 压缩文件所在目录\xxx.zip oss:// 命令,上传本地当前目录数据到个人数据根目录

image-20230409014826718

三、创建实例

在恒源云筛选需要的主机配置(GPU需在16G以上),选择实例镜像,创建实例。

image-20230409015314707

image-20230409015655905

四、使用实例

1.打开JupyterLab来登陆实例

2.打开终端(Terminal)进入实例系统内

image-202304090242003103.执行oss login命令,登陆个人数据空间,输入恒源云平台账号和密码登录,账号为手机号

4.执行cd /hy-tmp命令,进入下载路径,如果有共享存储的机型可以用选择hy-nas
6.执行oss cp oss://xxx.zip .命令,将个人数据中的xxx.zip下载到当前目录中
7.执行unzip -q xxx.zip命令,解压 xxx.zip 文件到当前目录

8.执行cd /hy-tmp/ChatGLM-6B-main指令转到解压后的文件夹

9.执行pip install -r requirements.txt,安装依赖。此处如报错,要注意是否正确打开文件夹路径( requirements.txt文件位于/hy-tmp/ChatGLM-6B-main内)

10.执行python cli_demo.py运行cli_demo.py文件。运行中需要加载8个模型。如果途中报错如图,先检查自己的库中是否装了下面三个库 certifi、cryptography、pyOpenSSL,没有的话请依次安装:

pip install certifi
pip install cryptography
pip install pyOpenSSL

程序会在命令行中进行交互式的对话,在命令行中输入指示并回车即可生成回复,输入 clear 可以清空对话历史,输入 stop 终止程序。

至此,就基本完成了命令行式的交互。

标签:实例,6B,zip,oss,xxx,云为例,ChatGLM
From: https://www.cnblogs.com/alphainf/p/17300300.html

相关文章

  • Ficow 的 AI 平台快速上手指南(ChatGPT, NewBing, ChatGLM-6B, cursor.so)
     本文首发于FicowShen'sBlog,原文地址:Ficow的AI平台快速上手指南(ChatGPT,NewBing,ChatGLM-6B,cursor.so)。 内容概览前言OpenAI——ChatGPT微软——NewBing智谱AI——ChatGLM-6BAI生成代码——cursor.so总结 前言 现在各种AI工具大爆发,赶紧......
  • cf-edu-146b
    题目链接:https://codeforces.com/contest/1814/problem/B只有残缺的思路,还不足以解决这道题。完整思路:对于一个数x来说,如果一个数a除以它的余数为y,商为z,所需步数为y+z+(x-1),那么反过来(x变为它的商,z为除数,所需步数依然是不变的,可以举几个例子看看,易得。),所以我们只需要枚举\(n^(......
  • 解决ORA-04031:unable to allocate 56bytes of shared memory
    登录PL/SQLDeveloper出现ORA-04031错误。解决方式:用oracle账号登录linux服务器进入sqlplussqlplus/assysdba查看sga大小showparametersga;扩大sga空间altersystemsetsga_max_size=10Gscope=spfile;altersystemsetsga_target=10Gscope=spfile;关机重启s......
  • [ML] 详解 ChatGLM-webui 的启动使用与 ChatGLM-6B 常见问题
     1.ChatGLM-webui总共支持以下几个命令选项: 2.以windows为例,在PowerShell里运行命令: #安装依赖pipinstalltorch==1.13.1+cu117torchvision==0.14.1+cu117-fhttps://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.html-ihttps://mirrors.bfsu.edu.cn/p......
  • 开关磁阻电机控制仿真(matlab 2016b版本仿真模型) 电流斩波控制、电压PWM控制
    开关磁阻电机控制仿真(matlab2016b版本仿真模型)模型包涵:开关磁阻电机传统控制:电流斩波控制、电压PWM控制、角度位置控制。智能控制:128三相开关磁阻电机有限元分析本......
  • 类似ChatGPT的开源项目ChatGLM-6B安装尝试
    项目git地址https://github.com/THUDM/ChatGLM-6B配置要求:本机电脑显卡显存6G以上。只有cpu则需要32GB以上。安装基础环境1.安装python3.10版本https://www.python.......
  • macOS 13.3 Beta 4 (22E5246b)With OpenCore 0.9.1开发版 and winPE双引导分区原版镜像
    镜像特点完全由黑果魏叔官方制作,针对各种机型进行默认配置,让黑苹果安装不再困难。系统镜像设置为双引导分区,全面去除clover引导分区(如有需要,可以自行直接替换opencore分区文......
  • chatglm本地部署
    chatglm本地部署gitclonehttps://huggingface.co/THUDM/chatglm-6bgitclonehttps://github.com/Akegarasu/ChatGLM-webui.gitChatGLM-webui里新建run.bat文件,内容......
  • CF1736B 1200 *
    题意解析解析:每个a[i]是由b[i]和b[i+1]取最大公因数得出,所以对于每个b[j]来说应该既是a[j]的倍数,又是a[j-1]的倍数。现实在取的时候,可以取b[j]=lcm(a[j-1],a[j])。然......
  • Matlab 2016b 中文破解版软件包下载及图文安装教程​
    MATLAB是美国MathWorks公司出品的商业数学软件。它在数学类科技应用软件中在数值计算方面首屈一指。行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语......