一、服务器
服务器:一台 Linux 16核32G IP:10.33.19.16
基础环境:Docker、Docker-Compose
二、FastGPT安装
首先下载 docker-compose.yml和config.json两个文件
mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
然后通过docker启动
docker-compose up -d
# 等待10s,OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题,不重启的话会提示找不到渠道,临时手动重启一次解决,等待作者修复)
docker restart oneapi
打开浏览器,可以通过http://10.33.19.16:3001/访问OneAPI,默认账号为root密码为123456。
最后可以通过http://10.33.19.16:3000 直接访问(注意防火墙)。登录用户名为 root,密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。如果需要域名访问,请自行安装并配置 Nginx。首次运行,会自动初始化 root 用户,密码为 1234
到了这里,相关的程序安装就基本结束了,但是现在还没法直接使用FastGPT进行对话,因为咱们还没有配置大模型,接下来就是告诉大家如何来配置模型。
三、FastGPT配置
1、申请通义千问API-KEY值
每个新用户都可以在阿里上面注册使用通义千问的模型,个人测试基本额度够用了,好像是100万的Token。申请步骤按照官网指引即可。
打开API-KEY申请指导官网:
https://help.aliyun.com/zh/dashscope/developer-reference/activate-dashscope-and-create-an-api-key跟随官网创建API-KEY。
2、配置oneapi的渠道和令牌
密钥处填写从大模型厂商获得的API Key。
配置完成后可以点击那个绿色的测试按钮验证通道是否成功。接下来继续配置令牌,这个就非常easy了,直接在令牌页面新建一个永不过期的令牌即可,创建好了之后复制下来,后面需要用到。
3、配置fastGPT
修改 FastGPT 配置文件config.json
vectorModels节点下面新建qianwen模型(vectorModels用于知识库索引模型)
Name需要与oneai中配置的名称一致,model选择该渠道下面的某个模型
{
"model": "qwen-turbo",
"name": "qianwen",
"inputPrice": 0,
"outputPrice": 0,
"defaultToken": 700,
"maxToken": 3000,
"weight": 100
}
修改docker-compose.yml文件配置:
其中chat_api_key填写oneai中创建好的令牌信息。
最后用下面的命令重启fastgpt:
docker-compose down
docker-compose up -d
四、FastGPT测试知识库训练
1、新建一个知识库
索引模型选择上面配置的qianwen
》导入知识文件(支持 .txt, .docx, .csv, .xlsx, .pdf, .md, .html, .pptx 类型文件)
》搜索测试
到了这一步,基本就完成了底层模型的配置了,但是目前只是把知识库搭建好了,还需要创建应用,只有应用才能集成到其他系统当中使用。
》新建一个应用,然后选择qianwen模型,并且关联上一个步骤中的知识库,只有这样,对话的时候才会引用知识库中上传的一些文档内容。
五、FastGPT应用集成
目前应用支持两种集成模式:窗口集成和api集成,如果大家图简单的话,就用窗口集成:
创建一个免登录窗口,然后根据窗口的展示方式选择对应的js代码放到你的业务系统当中,这样的话,你的页面就会嵌入fastGPT的对话窗口了。
对话框的一些图标和样式都可以在这个窗口里面定义。
到此为止,咱们就完成了基本的大模型和知识库结合的应用,是不是很简单,大家可以准备一台cpu虚拟机,按照我介绍的步骤,来体验一下大模型的魅力吧。
后续课程我会给大家介绍如何搭建本地化模型,因为上面的课程里面咱们还是使用的大厂的模型,虽然个人测试不需要收费,但是用的人多了,还是会把token额度耗尽,有条件的话,最好搭建开源的本地化模型,这样无论怎么用都不受限制了。