服务器
本工具使用阿里云八代实例(g8i)+xFasterTransformer+Qwen-7B-Chat模型搭建而成
通义千问-7B(Qwen-7B-Chat)
本工具基于通义千问-7B进行开发,通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模模型。Qwen-7B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B 的基础上,使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。
阿里云第八代Intel CPU实例
阿里云八代实例(g8i)采用Intel® Xeon® Emerald Rapids或者Intel® Xeon® Sapphire Rapids,该实例支持使用新的AMX(Advanced Matrix Extensions)指令来加速AI任务。相比于上一代实例,八代实例在Intel® AMX的加持下,推理和训练性能大幅提升。
安装xft
主要是用docker镜像安装xft
sudo docker pull registry.openanolis.cn/openanolis/xfastertransformer:1.7.3-23
sudo docker run -it --name xFT -h xFT --privileged --shm-size=16g --network host -v /mnt:/mnt -w /mnt/xFasterTransformer registry.openanolis.cn/openanolis/xfastertransformer:1.7.3-23
当出现类似如下信息时,表示已获取并成功运行xFasterTransformer容器。
下载模型
git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git /mnt/data/qwen-7b-chat
启动模型服务
1、在容器中,依次执行以下命令,安装WebUI相关依赖软件。
cd /root/xFasterTransformer/examples/web_demo
pip install -r requirements.txt
2、执行以下命令,启动WebUI。
OMP_NUM_THREADS=$(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') / 2)) GRADIO_SERVER_NAME="0.0.0.0" numactl -C $(seq -s, 0 2 $(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') - 2))) -m 0 python Qwen.py -t /mnt/data/qwen-7b-chat -m /mnt/data/qwen-7b-chat-xft -d bf16
当出现如下信息时,表示WebUI服务启动成功。
工具使用
启动工具
命令行启动或者编辑器运行(具体运行看项目的readme.md文件)
上传课程文件
上传课程的教材文件
开始生成
上传完文件后,点击生成题目,题目内容会逐步显示在文本区域中,根据进度条查看是否运行完成。
生成完成
生成完成以后可以复制使用,目前统一了输出格式为json格式,可以自己在代码中调整适合自己的输出格式,保证生成出来的题目可以直接导入到题库中使用。
标签:题目,7B,实例,Qwen,--,mnt,openanolis,V1.0,课程 From: https://blog.51cto.com/u_17015519/11992248