首页 > 系统相关 >langchain Chatchat windows11 CPU部署记录

langchain Chatchat windows11 CPU部署记录

时间:2024-03-16 22:33:08浏览次数:28  
标签:git cn python windows11 langchain Chatchat -- install https

1、下载langchain Chatchat

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

(可选)如果下载不下来,可能使用了代理,需要设置代理地址:

git config --global http.proxy "localhost:你的代理端口"

之后可以取消代理设置:

git config --global --unset http.proxy

2、安装anaconda,

添加path环境变量

D:\ProgramData\anaconda3

D:\ProgramData\anaconda3\Scripts

D:\ProgramData\anaconda3\Library\bin

3、安装VS Code(配置好python插件)

4、使用 VS Code打开项目,创建anaconda虚拟环境:

 

 

5、安装依赖,可以切换国内源

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

pip install -r requirements_api.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

pip install -r requirements_webui.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

6、下载模型

git lfs install

从modescope下载LLM模型和向量模型,速度快

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh.git

7、执行配置文件拷贝程序

python copy_config_example.py

修改文件配置为本地模型路径,设置CPU运行方式

8、初始化数据库

python init_database.py --recreate-vs
正常情况下会出现如下不正常情况:

ModuleNotFoundError: No module named 'pwd'

解决方法:

pip install langchain-community==0.0.19

(关于这一点官方git并没有进行版本依赖更新,或者说明如何处置。当前版本已经无人维护状态,他们正把精力投入到下一个大版本中)

9、启动

python startup.py -a

正常情况下会出现如下不正常情况:

卡在启动过程不动了

原因是主机性能不足以支撑chatglm6b

解决方法:使用qwen0.5B的模型,或使用带显卡的主机

10、访问UI页面,进行测试

标签:git,cn,python,windows11,langchain,Chatchat,--,install,https
From: https://www.cnblogs.com/srszzw/p/18077384

相关文章

  • windows11配置ssh别名实现免密登录linux系统
    1在windows11上安装git2在git终端输入以下命令生成id_rsa进入到.ssh目录C:\Users\xxxxx.ssh,一般情况目录在这个位置ssh-keygen-trsa-b4096-C"[email protected]"输入命令后一直回车生成3将生成的rsa_pub的内容复制到linux服务器的~/用户名/.ssh/authorized_keys中......
  • 如何在Windows11上安装WSL和Linux子系统以及搭建Docker环境
    今天给大家介绍一下如何在Windows11上安装Docker打开控制面板:打开程序:打开启用或关闭Windows功能。勾选Linux子系统:此时,可能需要重启电脑。以管理员身份打开PowerShell执行:bcdedit/sethypervisorlaunchtypeauto打开微软商店,安装Ubuntu22:去这个网址下载li......
  • 从API到Agent:万字长文洞悉LangChain工程化设计
    我想做一个尝试,看看能不能用尽量清晰的逻辑,给“AI外行人士”(当然,我也是……)引入一下LangChain,试着从工程角度去理解LangChain的设计和使用。同时大家也可以将此文档作为LangChain的“10分钟快速上手”手册,本意是希望帮助需要的同学实现AI工程的Bootstrap。文中所有的示例代码都......
  • Langchain-Chatchat开源库使用的随笔记(一)
    转自:https://zhuanlan.zhihu.com/p/6760612691Chatchat项目结构整个结构是server 启动API,然后项目内自行调用API。API详情可见:http://xxx:7861/docs ,整个代码架构还是蛮适合深入学习 在这里插入图片描述 2Chatchat一些代码学习2.112个分块函数统一使用截止2023......
  • Langchain-ChatGLM源码解读(一)-文档数据上传
    一、简介Langchain-ChatGLM 相信大家都不陌生,近几周计划出一个源码解读,先解锁langchain的一些基础用法。文档问答过程大概分为以下5部分,在Langchain中都有体现。上传解析文档文档向量化、存储文档召回query向量化文档问答今天主要讲langchain在上传解析文档时是怎么实......
  • Langchain-ChatGLM源码解读(二)-文档embedding以及构建faiss过程
    一、简介Langchain-ChatGLM 相信大家都不陌生,近几周计划出一个源码解读,先解锁langchain的一些基础用法。文档问答过程大概分为以下5部分,在Langchain中都有体现。上传解析文档文档向量化、存储文档召回query向量化文档问答今天主要讲langchain在文档embedding以及构建fa......
  • LangChain的Agent使用介绍
    LangChain介绍随着各种开源大模型的发布,越来越多的人开始尝试接触和使用大模型。在感叹大模型带来的惊人表现的同时,也发现一些问题,比如没法查询到最新的信息,有时候问一些数学问题时候,会出现错误答案,还有一些专业领域类问题甚至编造回答等等。有没有什么办法能解决这些问题呢?答......
  • langchain-chat
    debugstartup.py:454"/root/pyenv/bin/streamlit"模型配置路径-替换模型startup.py:688config=get_model_worker_config(model_name)model_config.py找到模型加载代码fastchat库支持的模型FastChat/docs/model_support.mdatmain·lm-sys/FastChat·GitHubstartup.p......
  • 2024Windows11专业版产品永久密钥
    Windows11专业版是Windows11操作系统的商业版本,面向中小型企业和技术爱好者。它在Windows11家庭版的基础上增加了许多功能,可帮助企业和个人提高工作效率和安全性。主要功能:**加入域和AzureAD:**可将设备加入到ActiveDirectory域或AzureAD中,以便进行集中管理......
  • 2024Windows11专业工作站版产品永久密钥
    Windows11专业工作站版是Windows11操作系统的专门版本,面向需要更高性能、可靠性和安全性的大型企业和专业人士。它在Windows11专业版的基础上增加了许多功能,可帮助用户更有效地完成工作。主要功能:**更高的性能:**支持最多4个CPU和6TB内存,可满足苛刻应用程序的......