记录linux本地部署Langchain-chatchat-v0.3+Xinference+qwen-chat 1.5-72B

非源码部署！！！！ 未用docker，用的conda虚拟环境，Langchain-chatchat-v0.3+Xinference需要分别单独放进虚拟环境，要创建两个虚拟环境，防止包冲突。

1.Xinference环境配置

1.1 首先搭建一个xinference的虚拟环境

conda create -n xinfer python=3.10 
conda activate xinfer 

用的py3.10，调研了一下说好像稳定些。

另外附上conda镜像源配置：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes
conda config --show-source

因为是新服务器，遇到了创建新环境出错，报错镜像未配置，然后配置完又报错访问不到清华镜像之类的，最后发现是服务器未配置DNS的问题，ping不通，是网络问题，以为是镜像源的问题，尴尬。。。

1.2 在环境中安装xinference

用以下命令安装 Xinference ，本人只安装了transformers引擎，几乎包含了所有最新的llm，够用

pip install "xinference[transformers]" -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "xinference[vllm]" -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "xinference[transformers,vllm]" # 同时安装这两个引擎
pip install "xinference[all]"  -i https://pypi.tuna.tsinghua.edu.cn/simple

1.3 运行xinference

等待安装结束侯，xinference 默认会在本地启动服务，端口默认为 9997，因为这里配置了-H 0.0.0.0参数，非本地客户端也可以通过机器的 IP 地址来访问 xinference 服务。用下面代码运行，最好加个端口号，本人服务器端口映射有问题，额，访问不到默认的地址，导致每次启动都会变更端口号，麻烦。

xinference-local --host 0.0.0.0 --port 59076  

启动成功后，我们可以通过地址 http://服务器ip:59076来访问 xinference 的 WebGUI 界面了。

如图：

1.4 下载模型

点击左侧功能的Launch Model，在language models中搜索想要模型，搜索到想要模型，点击小卡片进入即可，进入后选择下载模型的配置参数（下图），然后点击小火箭下载运行模型即可。这里本人安装的qwen1.5-chat-72B-int4，下载了130个g左右，第一次下载时间较长。

这里如果当前路径下载模型内存不够的话，可以修改xinference的存储路径，代码如下：

vim .bashrc  
source ~/.bashrc
export TMPDIR=/dev/shm/tmp  #这里把临时路径也改了
export XINFERENCE_HOME=/dev/shm/tmp/xinference   #xinference的路径，改成自己路径即可
export MODELSCOPE_CACHE==/dev/shm/modelscope/hub #xinference的路径，改成自己路径即可

下载并运行完成后，点击左侧的Running models，可以看到正在运行的模型，点击下图中红色标识的小框，即可跳转webui界面。

1.5 下载Embeddings模型

在Launch Model中，选择Embedding Models,在里面选取自己想要的Embedding模型下载即可，本人下载的为bge-base-zh-v1.5

点击小火箭