首页 > 其他分享 >ChatGLM3本机部署

ChatGLM3本机部署

时间:2024-03-13 14:59:47浏览次数:42  
标签:部署 本机 ChatGLM3 python demo -- 执行 安装 加载

环境配置

参照官方说明,创建虚拟python环境,并安装所需部署包。说明

https://github.com/THUDM/ChatGLM3/blob/main/composite_demo/README.md

本地模型加载

1、先按照官方指引,将模型下载在本地。

2、修改模型加载地址。MODEL_PATH和TOKENIZER_PATH,都修改

注意:通过修改client.py加载本地模型

Jupyter 内核安装

Jupyter 内核在 Jupyter Notebook 或 JupyterLab 等交互式开发环境中扮演着至关重要的角色。

本步骤需要执行。否则代码编写功能不能完全使用,即可以写代码但是无法执行画圆瞪交互式操作。

注:一开始我没有执行官方文档说明的这一步脚本,code interpreter是可以打印代码的。但是无法执行画图,安装之后,画图功能正常。

ipython kernel install --name chatglm3-demo --user

注意:如果修改--name后的命名,需要到demo_ci.py修改IPYKERNEL对应的第二个参数为新的命名。

检查是否jupyter已经安装

如果不是很确定,就是想检查下,可以执行以下命令:

jupyter kernelspec list
python -m pip list | findstr ipython
python -m pip show ipython

命令显示有结果,代表已经安装。

结果展示

Gradio部署

安装gradio

pip install gradio

注意:一般这步不需要,因为在执行requestment时已经安装过。

执行web浏览器加载脚本

python web_demo.py

标签:部署,本机,ChatGLM3,python,demo,--,执行,安装,加载
From: https://blog.csdn.net/u011833022/article/details/136677558

相关文章

  • ChatGLM3 源码解析(五)
    PrefixEncoder#根据前缀ID获取前缀嵌入#前缀嵌入将连接到分头之后的K和V上classPrefixEncoder(torch.nn.Module):"""Thetorch.nnmodeltoencodetheprefixInputshape:(batch-size,prefix-length)Outputshape:(batch-size,prefix-length......
  • 使用kubeadm部署Kubernetes 1.26及其它版本
    1.系统配置环境信息:系统:CentOSLinuxrelease7.6.1810(Core)k8s版本:1.26.0(可自己选择)IP主机名规划角色192.168.223.123auto-inspaction-1master192.168.223.68auto-inspaction-0node192.168.223.73auto-inspaction-2node在各个主机上完成下......
  • 一键开启 GPU 闲置模式,基于函数计算低成本部署 Google Gemma 模型服务
    作者:王骜本文介绍如何使用函数计算GPU实例闲置模式低成本、快速的部署GoogleGemma模型服务。背景信息Google在2024年02月21日正式推出了自家的首个开源模型族Gemma,并同时上架了四个大型语言模型,提供了2B和7B两种参数规模的版本,每种都包含了预训练版本(base模......
  • docker-compose 部署gitlab
    主机ip:192.168.1.139[root@localhostgitlab_docker]#catdocker-compose.ymlversion:'3.1'services:gitlab:image:'gitlab/gitlab-ce:latest'container_name:gitlab#随着docker重启自动启动restart:alwaysenvironment:......
  • docker-compose 部署apollo
    apollo-1.9.2docker-compose.yamlversion:'3'services:#模拟一个正常的mysql数据库mysql8:image:mysql:5.7restart:alwayscontainer_name:mysqlports:-3306:3306volumes:-./databases/mysql/logs:/var/log/mysql......
  • docker-compose 部署nacos
    version:'3'services:#模拟一个正常的mysql数据库mysql8:image:mysql:5.7restart:alwayscontainer_name:mysqlports:-3306:3306volumes:-./databases/mysql/logs:/var/log/mysql-./databases/mysql/data:/v......
  • Ubuntu 20.04 部署 MinIO
    MinIO是一款基于ApacheLicensev2.0开源协议的分布式文件系统(或者叫对象存储服务),可以做为云存储的解决方案用来保存海量的图片、视频、文档等。由于采用Golang实现,服务端可以工作在Windows、Linux、OSX和FreeBSD上。配置简单,基本是复制可执行程序,单行命令就可以运行起来。M......
  • 如何下载Nginx,部署并设置自启动
    Nginx安装:将程序里的Nginx压缩包进行解压,并将里面的conf文件进行替换将前端打好的包,放在Nginx目录下的html文件夹下面,并在conf文件配置好root的路由地址例如:nginx-1.24.0/html/life/dist需要创建在原来Nginxhtml目录下创建一个life文件夹,然后将前端打包的dist放进去配......
  • 【快捷部署】002_Flink
    Flink一键安装(本地模式)install-flink.sh脚本内容#!/bin/bash####变量###执行脚本的当前目录mydir=$(cd"$(dirname"$0")";pwd)echo$mydir#flink安装目录flink=/flink#检查点目录cp=$flink/checkpoints/#保留点目录sp=$flink/savepoints/#tasknumber数量ta......
  • 小白Windows下通过Ollama部署使用本地模型
    安装环境运行环境为windowsR9000P2021拯救者笔记本AMDR7-5800H32G内存NVIDIARTX3070LaptopGPU安装主程序Ollama下载exe,直接下一步下一步没有设置可以更改windows默认安装路径:C:\Users\wbigo\AppData\Local\Programs\Ollama\安装后会自动将该路径加入环境变量双......