首页 > 系统相关 >CentOS7 上安装部署chatglm2-6b

CentOS7 上安装部署chatglm2-6b

时间:2023-08-14 17:01:37浏览次数:42  
标签:6b 安装 chatglm2 openssl CentOS7 usr install local python3

           按照说明文档,先按照了最新版本的Python,官网下载了最新的版本3.11后,一顿操作感觉分分钟就安装完了。 但是继续安装chatglm2-6b 所需的依赖包时,就遇到了N多坑点,为了解决这些坑点,耗时真的很长(按周计算的那种)。如果是CPU服务器,则至少需要30G内存。
           第一个坑点:安装Python时,没有带SSL:

             解决办法:详细可以参考 这个大牛的 操作

             首先安装依赖包:

      yum install -y zlib zlib-dev openssl-devel sqlite-devel bzip2-devel libffi libffi-devel gcc gcc-c++

        安装新版本的openssl(此处务必一定一定要去官网下载1.1版本的,而不是yum 直接安装)

 

      wget http://www.openssl.org/source/openssl-1.1.1.tar.gz            (如果有网就可以直接下载,没网就需要单独下载安装包通过终端工具从windows上传到centos中)

      tar -zxvf openssl-1.1.1.tar.gz                                                ( 解压对应版本安装包)

      cd openssl-1.1.1                                                                (进入对应的解压目录)

      ./config --prefix=/usr/local/openssl shared zlib     (prefix为配置安装目录,shared zlib 安装依赖库)这一步最重要,一定要shared
       
make && make install

 

             设置变量:

              echo "export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/openssl/lib" >> /usr/local/.bash_profile 

              source /usr/local/.bash_profile                        (重新加载该路径下的用户环境变量文件)

            安装Python时,一定要加SSL

    ./configure --prefix=/usr/local//python3 --with-openssl=/usr/local//openssl 

            安装完成后,务必要执行:

   python3                      (进入python3命令行)
   import ssl                        (导入ssl模块)
   import _ssl                        (导入_ssl模块)

             第二个坑点:root下不能执行pip install 命令,黄色警告内容就是坑。

           python3 -m venv tutorial-env       创建虚拟环境
           source tutorial-env/bin/activate    激活虚拟环境

           自此,安装命令要改为: python3 -m pip install 命令,否则还是会有问题。安装相关依赖完毕。

           进入下载后的文件目录,尝试运行接口:

    python3 api.py

         默认会从互联网下载相关依赖数据模型,大多情况下会报此错:

           经过排查,是从这个 地址  下载所有文件。从分支上下载完文件后,放到服务器上的指定位置。修改Api.py 的文件:

          纯CPU的话,切记要修改: 

        保存后,再次运行就正常了,提问:

 curl -X POST "http://127.0.0.1:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'

         就可以得到一般的回答了。

     

         网页运行:

    pip3 install streamlit streamlit-chat    // 安装相关依赖

# 在运行前,务必要修改此文件。修改这两行, 路径是自己手动下载文件的位置。float 为CPU模式

      streamlit run web_demo2.py       //  运行, 

            网页运行后的效果:

标签:6b,安装,chatglm2,openssl,CentOS7,usr,install,local,python3
From: https://www.cnblogs.com/zhongjicainiao/p/17619906.html

相关文章

  • ChatGLM2-6B 微调改变AI自我认知
    一、前言上篇说到ChatGLM2-6B及百川大模型的本地部署实战,实际商业项目中可能还需要在此基础上对模型进行相关微调再进行应用。本篇文章带大家微调入门教学。注意:当前为AI技术高速发展期,技术更新迭代快,本文章仅代表作者2023年8月的观点。  上篇文章:ChatGLM2-6B清华......
  • CentOS7安装MySQL:使用Yum存储库方式
    一、安装环境安装环境如下:服务器:CentOS7.9安装版本:MySQL5.7(最新版)二、安装过程和细节1、在官网下载MySQLYum源安装文件用MySQLYum存储库安装的方式,其实就是通过Linux系统的Yum源安装的方式,主要的Yum源配置文件存放在/etc/yum.repos.d目录下,所以要想通过这种方式安......
  • centos7 防火墙端口开启和关闭及查看
    一、防火墙的开启、关闭、禁用命令(1)设置开机启用防火墙:systemctlenablefirewalld.service(2)设置开机禁用防火墙:systemctldisablefirewalld.service(3)启动防火墙:systemctlstartfirewalld(4)关闭防火墙:systemctlstopfirewalld(5)检查防火墙状态:systemctlstatusfirewalld二......
  • centos7防火墙的简单使用
    环境centos7.9使用方法开启一个端口firewall-cmd--zone=public--add-port=514/tcp--permanentreload防火墙配置firewall-cmd--reload关闭一个防火墙端口firewall-cmd--zone=public--remove-port=514/tcp--permanent查看已开的端口配置firewall-cmd--l......
  • centos7忘记密码处理办法
    此界面按e进入grub编辑界面进入grub编辑界面。把linux16这行的ro修改为rwinit=/sysroot/bin/sh。按ctrl+x进入单用户模式登陆进去后,输入如下命令:chroot/sysroot/#切换到原系统LANG=en#设置显示语言passwdroot#修改root密码touch/.autorelabel#如果之前系......
  • centos7安装python3.9
    Centos默认安装的是python2.7版本,需要使用python3,安装过程记录如下:查看系统python2的位置:whereispython安装编译python3的相关系统依赖包yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develzlibgccmake安装pip......
  • CentOS7.*基础网络配置
    基础网络配置Ip地址: 唯一表示网络中主机地址的标识,由.隔开的四组十进制数组成每一组数不超过255子网掩码:用来确定IP的网络地址网关:访问其它网段时需要通过的设备IP地址,不同网段通讯需要经过路由器转发出去(网关)Dns服务器:进行域名与ip解析的服务器查看所有网络接口的信息ifconf......
  • centos7 sersync 4台服务器数据互相同步配置
    4台服务器安装rsync并配置#安装yuminstallrsync-y#配置vim/etc/rsyncd.confuid=rootgid=rootusechroot=nohostsallow=*maxconnections=3pidfile=/var/run/rsyncd.pidlockfile=/var/run/rsync.lock[record]path=/record/comment=record......
  • centos7.X安装nginx – 东凭渭水流
    1.安装nginx需要使用root用户2.配置nginx源 rpm-ivhhttp://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm #运行如下 [root@localhost~]#rpm-ivhhttp://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0......
  • centos7中用docker部署java项目调用mvs海康相机拍照踩坑
    一、海康机器人官网下载MVSV2.1.2(Linux)二、解压后将tar.gz包传入centos7中三、解压并安装MVS 安装 四、执行MVS,并查看环境变量是否正确安装后会新增/opt/MVS目录,进入/opt/MVS/bin目录执行./MVS 执行完成后查看是否已经自动添加环境变量,执行vi/etc/profile,会自动......