背景信息
阿里云微服务Spring Cloud Alibaba
Spring Cloud Alibaba是阿里巴巴提供的微服务开发一站式解决方案,是阿里巴巴开源中间件与Spring Cloud体系的融合。以下是对Spring Cloud Alibaba的详细介绍:
定义:Spring Cloud Alibaba是阿里巴巴结合自身丰富的微服务实践而推出的微服务开发的一站式解决方案,是Spring Cloud第二代实现的主要组成部分。
起源:Spring Cloud Alibaba于2018年7月正式开源,并进入Spring Cloud孵化器中孵化;2019年7月,Spring Cloud官方宣布Spring Cloud Alibaba毕业,并将仓库迁移到Alibaba Github OSS下。
阿里云第八代Intel CPU实例
阿里云八代实例(g8i)采用Intel® Xeon® Emerald Rapids或者Intel® Xeon® Sapphire Rapids,该实例支持使用新的AMX(Advanced Matrix Extensions)指令来加速AI任务。相比于上一代实例,八代实例在Intel® AMX的加持下,推理和训练性能大幅提升。
阿里云通义千问VL-Max-0809
通义千问VL-Max-0809(qwen-vl-max-0809),即通义千问大规模视觉语言模型增强版。大幅提升细节识别能力和文字识别能力,支持超百万像素分辨率和任意长宽比规格的图像。在广泛的视觉任务上提供卓越的性能,本次更新上下文支持32k,增强图像理解和视觉推理能力,可以更好地识别图片中的多语言文字和手写体的文字,并集成视觉agent能力,本模型为2024年8月9日的快照版本,期维护到下个快照版本发布时间(待定)后一个月。
环境部署
服务器配置
实例:ecs.c8i.4xlarge(32 GiB内存)。
镜像:Alibaba Cloud Linux 3.210 4 LTS 64位。
公网IP:选中分配公网IPv4地址,带宽计费模式选择按使用流量,带宽峰值设置为100 Mbps。以加快模型下载速度。
系统盘:Qwen-7B-Chat模型数据下载、转换和运行过程中需要占用60 GiB的存储空间,为了保证模型顺利运行,建议系统盘设置为100 GiB。
安全组规则:在ECS实例安全组的入方向添加安全组规则并放行22端口和7860端口(22端口用于访问SSH服务,7860端口用于访问WebUI和API接口)
模型准备
开通百炼大模型平台,选择通义千问大模型
环境准备
安装JAVA环境,添加依赖: 在项目的pom.xml文件中,加入Spring Cloud Alibaba依赖,确保版本为2023.0.1.0或以上(根据实际最新版本调整),并引入AI相关组件:
配置API-Key: 在application.yml或application.properties中配置刚才获取的API-KEY:
1. 编写服务实现类: 创建一个服务类,如TongYiSimpleServiceImpl,使用@Service注解标记,并通过构造器注入ChatClient和StreamingChatClient。编写同步和异步调用通义千问的方法,如completion和streamCompletion。
工具使用
远程连接ECS实例。(xshell或者阿里云在线远程连接)
连接后安装下载JAVA环境,将打包好的代码运行,下面是在IDEA中运行的步骤
启动类直接运行
开始问答
输入关于教育方向的问题