1. 项目概述
本项目基于Intel G8i硬件环境部署了开源大语言模型ChatGLM3-6B以及M3E向量数据库，目标是通过使用Intel® Extension for PyTorch* (IPEX) 优化模型推理性能，并结合多种应用实现私域知识库的快速部署及外部服务调用。同时，在另一台主机上通过Docker容器部署了Intel OneAPI，完成对大模型、向量数据库的渠道和令牌管理。项目还结合了FastGPT框架，实现了模型和向量数据库的综合应用
2. 技术架构
2.1 模型部署环境
本项目的大模型ChatGLM3-6B和M3E向量数据库被部署在Intel G8i服务器上，使用CPU进行推理加速，并采用Intel IPEX对推理过程进行优化。主要技术组件包括：
- ChatGLM3-6B: 一个开源的6B参数的中文大语言模型，具备强大的自然语言理解与生成能力，适用于多种应用场景。
- M3E向量数据库: 该数据库通过向量化处理存储海量文本，并可高效检索相关内容。
- *IPEX (Intel® Extension for PyTorch)**: IPEX通过对PyTorch框架的优化，利用Intel CPU的AVX-512指令集等硬件优势，加速了模型推理过程，提升了运行性能。
2.2 CPU推理加速与优化
在Intel G8i服务器上，本项目使用CPU运行ChatGLM3-6B大模型，并通过Intel IPEX实现以下优化：
- 自动混合精度(AMP): IPEX启用自动混合精度，在推理时使用更少的内存和计算资源，同时确保推理结果的精度。
- 内存优化: 通过IPEX对内存管理进行优化，减少了模型在推理过程中的内存占用，提升了整体性能。
- 线程并行化: IPEX通过优化线程分配，提高了CPU多核并行推理的效率。
通过这些优化，本项目在仅使用CPU的情况下，实现了对大型语言模型推理的显著加速，降低了对GPU硬件的依赖。
2.3 OneAPI平台的部署与集成
在另一个服务器环境中，本项目通过Docker容器部署了Intel OneAPI工具集，用于大模型和向量数据库的渠道管理与令牌管理。主要功能如下：
- 渠道管理: 通过OneAPI管理大模型和M3E向量数据库的外部访问渠道，控制不同应用之间的接口调用和数据流。
- 令牌管理: 对API的访问权限进行令牌化管理，确保数据的安全性与访问控制。
OneAPI的集成增强了对模型的管理能力，使得该平台能够在多应用场景下灵活调用和控制模型资源。
2.4 FastGPT应用集成
为了将大模型和向量数据库的能力进行有效利用，本项目通过FastGPT框架，实现了以下功能：
- 模型应用接口的快速部署: FastGPT简化了与ChatGLM3-6B和M3E向量数据库的集成，使得开发者可以快速构建应用程序。
- 私域知识库的构建: 结合FastGPT，本项目实现了针对特定行业或领域的私域知识库，通过将业务相关的数据接入M3E向量数据库，ChatGLM3-6B可以快速提供基于领域知识的智能对话服务。
- 多样化的API接口: FastGPT提供了丰富的API接口，支持对外提供自然语言理解、生成、信息检索等多种服务。
2.5 智能客服的应用场景
在具体应用层面，本项目可以结合FastGPT与wechat-on-chatGPT项目，实现微信公众号智能客服功能：
- 智能对话: ChatGLM3-6B可以处理用户在微信公众号中的提问，并通过私域知识库提供准确且个性化的回答。
- 自适应学习: 随着客服系统的使用，系统可以基于用户反馈和新数据不断优化自身的响应能力。
3. 主要功能模块
3.1 模型推理API
- 提供标准化的API接口，供外部应用调用ChatGLM3-6B进行自然语言生成任务。
- 使用FastAPI框架构建API服务，支持同步和异步调用。
- 集成IPEX以加速推理性能，使得在CPU环境中也能快速响应。
3.2 向量检索API
- 基于M3E向量数据库构建的检索API，支持大规模文本向量化处理和高效检索。
- 通过FastGPT实现与ChatGLM3-6B的无缝集成，确保用户查询可以得到快速响应。
3.3 渠道与令牌管理
- 通过OneAPI管理访问渠道和令牌，实现不同应用间的安全隔离和权限控制。
- 支持动态调整渠道策略，以应对不同的业务需求。
3.4 应用场景
- 微信公众号智能客服: 借助wechat-on-chatGPT项目，提供智能客服服务，支持自然语言对话，回答客户的常见问题，并为客户提供个性化建议。
- 私域知识库部署: 快速部署面向特定行业或领域的私域知识库，实现企业内部的知识管理与智能问答服务。
4. 部署方案
4.1 G8i服务器部署
- 硬件环境: Intel G8i服务器，使用CPU进行推理计算。
- 软件环境: 安装了PyTorch、Intel IPEX、FastAPI、SentenceTransformers、ChatGLM3-6B等关键依赖。
- 优化策略: 通过IPEX对CPU推理过程进行优化，提升了大模型的推理性能。
4.2 Docker部署OneAPI和FastGPT
- 在另一台服务器上通过Docker容器部署了OneAPI和FastGPT，分别用于渠道管理、令牌管理以及应用集成。
- OneAPI: 主要负责大模型和向量数据库的资源管理，保证不同应用场景下的稳定调用。
- FastGPT: 快速构建智能应用，支持多种业务场景的定制化部署。
5. 总结
本项目通过在Intel G8i服务器上部署ChatGLM3-6B和M3E向量数据库，并结合Intel IPEX对推理过程进行优化，成功实现了大规模模型在CPU环境下的高效运行。同时，通过Docker部署OneAPI和FastGPT，实现了对大模型、向量数据库的渠道管理和智能应用集成。最终，项目为多个应用场景提供了灵活、稳定的支持，特别是在微信公众号智能客服和私域知识库建设上，展现了出色的性能和可扩展性。