首页 > 其他分享 >2.3.1 ChatGLM3简介与安装

2.3.1 ChatGLM3简介与安装

时间:2024-09-09 22:16:16浏览次数:12  
标签:cn simple 简介 ChatGLM3 pip install edu 2.3 model

安装:pip install modelscope

 

pip install torch==2.0.1 torchaudio torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple/

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple/

pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple/

 pip install cpm_kernels  -i https://pypi.tuna.tsinghua.edu.cn/simple/

  pip install nltk  -i https://pypi.tuna.tsinghua.edu.cn/simple/

  pip install nltk

 

 

import torch
from modelscope import AutoTokenizer, AutoModel, snapshot_download
model_dir = "../chatglm3-6b"
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

#如果读者产生了爆显存,请使用int4量化处理
with torch.no_grad():
    model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cuda()
    #model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).quantize(4).cuda()
    # model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).cpu().float()

model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)

标签:cn,simple,简介,ChatGLM3,pip,install,edu,2.3,model
From: https://www.cnblogs.com/CVE-2003/p/18405451

相关文章

  • Apache SeaTunnel 2.3.8 新功能与特性预览
    ApacheSeaTunnel最近持续发力,继2.3.6和2.3.7版本之后,2.3.8版本也即将与大家见面。每一个新版本都带来了新的功能和特性,2.3.8版本也不例外,这对于用户而言是一个令人振奋的消息!新的功能意味着SeaTunnel的能力更为强大,性能也会有显著提升。为让社区成员抢先了解2.3.8版本的精彩内......
  • 计算机网络之TCP/IP协议简介
    TCP/IP协议简介首先TCP/IP协议不只是表示TCP协议和IP协议两种协议,而是一个协议簇。协议簇是什么并不难理解,就是字面意思,一个由多个协议组合而成的集合体,其中最有代表性的就是TCP和IP这两个协议,除了这两个还有我们熟知的FTP、UDP等协议。当然我们下面主要介绍的还是这两位主角TCP......
  • 调谐半导体吸收光谱(TDLAS)技术简介
    一、调谐半导体吸收光谱(TDLAS)技术简介TDLAS是TunableDiodeLaserAbsorptionSpectroscopy的简称,该技术主要是利用可调谐半导体激光器的窄线宽和波长随注入电流改变的特性,通过调制激光器的波长,使激光器的波长扫描过被测气体分子的吸收峰,从而基于比尔朗伯定律,使气体分子对被调......
  • 算法与数据结构——图简介
    图图(graph)是一种非线性数据结构,由顶点(vertex)和边(edge)组成。我们可以将图G抽象地表示为一组顶点V和一组边E的集合。以下示例展示了一个包含5个顶点和7条边的图。如果将顶点看做节点,将边看做连接各个节点的引用(指针),我们就可以将图看作一种从链表拓展而来的数据结构。如下图,相较于......
  • sicp每日一题[2.3]
    Exercise2.3Implementarepresentationforrectanglesinaplane.(Hint:YoumaywanttomakeuseofExercise2.2.)Intermsofyourconstructorsandselectors,createproceduresthatcomputetheperimeterandtheareaofagivenrectangle.Nowimplemen......
  • Jasypt库简介
    1.1Jasypt库简介Jasypt是一个易于使用的Java库,专门用于加密和解密配置文件中的敏感信息,如数据库凭据、API密钥等。它提供了一种安全的方式来存储和管理配置文件中的敏感数据,而不是以明文形式暴露。Jasypt支持多种加密算法,如DES、AES、Blowfish等,以及基于口令的加密算法(PBE)。它还提......
  • Unity(2022.3.41LTS) - 音频
    目录一、音频系统概述二、音频资源类型三、音频组件四、音频空间定位五、音频效果处理六.音乐框架设计一、音频系统概述Unity的音频系统允许开发者在游戏中添加各种声音效果,包括背景音乐、音效、环境音等。它提供了丰富的功能来控制音频的播放、音量、循环、空间定......
  • Docker 教程简介
    教程名:Docker与微服务实战B站地址:尚硅谷Docker实战教程(docker教程天花板)-哔哩哔哩讲师:周阳‍前提了解SpringBoot,SpringCloud了解一些中间件:Redis,Nginx,MySQL了解Linux的基本使用知道Git‍课程大纲基础篇(零基小白)Docker简介Docker安装Docker常用命令Do......
  • Kubernetes 简介及部署方法
    目录1Kubernetes简介及原理1.1 应用部署方式演变1.2容器编排应用1.3kubernetes简介1.4K8S的设计架构1.5K8S各组件之间的调用关系1.6K8S的常用名词感念1.7k8S的分层架构2K8S集群环境搭建2.1k8s中容器的管理方式2.2k8s中使用的几种管......
  • 字符串查找函数strchr 、 strrchr和strstr的简介
    目录一、函数简介1.1. strchr 函数1.2.strrchr函数1.3. strstr 函数二、函数原型2.1. strchr 函数参数返回值2.1. strchr 函数参数返回值2.2. strstr 函数参数返回值三、函数实现(伪代码)3.1.strchr实现3.2.strrchr实现3.3. strstr实现四、......