网络安全智能助手

1. 背景本项目利用阿里云平台的英特尔G8i以及通义千问-7B大模型，更加高效，更加便捷，拥有更高的效率。
   通义千问-7B（Qwen-7B）是基于Trabsformer的大语言模型，在其基础上使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。
   阿里云第八代实例G8i采用Intel® Xeon® Emerald Rapids以及Intel® Xeon® Sapphire Rapids，在Intel® AMX的加持下，推理和训练性能大幅提升。
   
2. 部署购买云服务器实例（规格为通用型G8i）
   

系统选择AilibabaCloud linux 存储选择 200GESSD

创建实例以及登录

利用MobaXterm连接主机

安装Docker，使用阿里云提供的Docker镜像源快速部署

运行Intel xFasterTransformer容器

安装依赖

启用Git LFS创建所在目录

下载Qwen-7B模型

转换模型

安装大模型依赖

启动WebUI

OMP_NUM_THREADS=$(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') / 2)) GRADIO_SERVER_NAME="0.0.0.0" numactl -C $(seq -s, 0 2 $(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') - 2))) -m 0 python Qwen.py -t /tmp/model/qwen-7b-chat -m /tmp/model/qwen-7b-chat-xft -d bf16

1. 应用创建

进入阿里云百炼，使用API形式进行部署

效果如下