首页 > 其他分享 >阿里-可视化建模-模型部署及训练

阿里-可视化建模-模型部署及训练

时间:2023-12-19 17:57:06浏览次数:43  
标签:单击 训练 部署 模型 配置 建模 阿里 可视化 页面

快速开始预置了多种预训练模型。您可以基于预训练模型快速上手并使用PAI的训练和部署功能。本文为您介绍如何在快速开始查找适合您业务需求的模型、部署和调试模型、微调训练模型。

前提条件

如果您需要对模型进行微调训练或增量训练,需要创建OSS Bucket存储空间,具体操作请参见控制台创建存储空间

使用费用

快速开始本身不收费,但使用快速开始进行模型部署和训练时需要收取EAS部署费用和DLC的训练费用,计费详情请参见EAS计费说明DLC计费说明

说明

模型部署和训练时支持使用公共资源。

查找适合业务的模型

快速开始提供了丰富多样的模型帮助您解决实际应用场景中的业务问题。您可以参考以下内容来帮助您快速找到最适合自己业务的模型:

  • 根据需要的领域及任务查找模型。

  • 大多数模型会标注该模型所使用的预训练数据集。预训练数据集和实际使用场景越接近,直接部署和微调训练效果就会越好。您可以在模型详情页面获得更多关于该模型预训练数据集的信息。

  • 一般来说,参数量越大的模型效果会更好,但相对应的模型服务运行时产生的费用和微调训练所需要的数据量都会更多。

查找模型的具体操作步骤如下:

  1. 进入快速开始页面。

    1. 登录PAI控制台

    2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。

    3. 在左侧导航栏单击快速开始,进入快速开始页面。

  2. 查找适合业务的模型。

    • 在快速开始首页,单击快速开始提供的模型分类信息,直接进入到模型列表中,根据模型描述信息进行查看。image.png

    • 在快速开始首页,您也可以通过快速开始的搜索栏进行搜索,来快速找到您需要的模型。image.png

    • 参照下图操作指引,在模型详情页面中,根据具体模型的相关介绍,包括模型基本信息、模型支持的训练部署数据格式、模型效果等内容,来选择适合自己业务场景的模型。9058e4ceae45374225ae1cc59982609c.png

后续,您可以直接部署选择好的模型,并进行在线调试,验证模型推理效果。具体操作,请参见部署和调试模型

部署和调试模型

查找到合适的模型后,单击模型卡片进入模型详情页面,进行部署和调试操作。以下内容以图片分类中的beit-base-patch16-224-pt22k-ft22k_image-classification模型为例。

直接部署模型服务

  1. (可选)在模型详情页面右侧的部署服务区域,配置模型服务信息和资源部署信息。

    快速开始已经预先根据模型特点预置了每个模型部署相关的模型服务信息和资源部署信息。您可以使用默认配置,也可以根据业务需要对部署的相关配置进行更改。image.png

       

    参数

    描述

    服务名称

    在模型服务信息区域,默认已配置服务名称,您也可以参考界面提示更改服务名称,同地域内唯一。

    资源组种类

    在资源部署信息区域,已配置资源组种类,目前仅支持使用公共资源组。

    资源配置选择

    在资源部署信息区域,默认已配置指定机器型号。您可以使用默认配置,也可以自由选择实例规格。

  2. 在模型部署区域,单击部署,并在弹出的计费提醒对话框中,单击确定。

    页面自动跳转到服务详情页面。在这里,您可以查看服务的基本信息和资源信息。当状态变为运行中时,表明服务部署成功。

在线调试模型服务

您可以在服务详情页面在线预测区域,输入请求数据,单击发送请求,根据请求结果来验证模型服务推理效果。22fdd2a444c6422a5e0e53e20b4315ae..png

您可以参照模型文档中的数据输入格式来构造请求数据。计算机视觉、自然语言处理模型类型服务请求数据构造可以参考图像智能处理类模型。部分模型(例如:Stable Diffusion V1.5模型)支持在服务详情页面右侧的Web应用区域,单击查看Web应用,来启动WebUI应用,让您更方便的在WebUI页面,对模型进行推理验证。

如果预训练数据集和您的实际业务场景不完全匹配,在实际应用中模型效果可能会和理论上存在不同程度的误差。如果模型预测结果不满足您的业务需求,您可以对模型进行微调训练,获取一个更满足您具体业务应用场景需要的模型,详情请参见微调训练模型

微调训练模型

使用您自己的数据集对PAI平台中预置的模型进行微调训练,具体操作步骤如下。

  1. 进入模型详情页面,具体操作请参见部署和调试模型

  2. 在模型训练区域,配置以下参数。

    说明

    不同的模型支持配置的参数可能不同,请根据模型实际情况进行配置。

         

    参数类型

    参数

    描述

    数据集配置

    训练数据集

    快速开始提供了默认的训练数据,如果您不使用默认数据集,需要按照模型文档中的训练数据格式准备好训练数据,然后参考以下两种方式上传训练数据。

    • OSS文件或目录。

      单击image..png,选择数据集所在的OSS路径。在选择OSS目录或文件对话框,您可以选择已有的数据文件,也可以按照以下操作步骤上传本地数据集文件。

      1. 单击上传文件。

      2. 单击查看本地文件或拖拽上传文件,根据提示上传本地数据文件。

    • 数据集选择。

      在下拉列表中选择数据集,如果没有数据集,请单击新建数据集进行创建。如何配置参数,请参见创建及管理数据集

    验证数据集

    单击添加验证数据集。验证数据集配置方法同训练数据集。

    计算资源配置

    节点数量

    当前镜像和规格的节点数量。

    节点配置

    计算节点的规格,详细的规格列表和费用请参见DLC计费说明

    超参数配置

    不同的模型,支持不同的超级参数配置。您可以使用默认值,也可以根据您业务需求修改参数配置。

    训练设置

    任务名称

    默认已配置任务名称,您也可以参考界面提示更改任务名称。

    输出路径

    选择OSS Bucket路径,用来保存训练生成的模型文件。

    说明

    如果您在工作空间详情页面配置了工作空间存储路径,这里会默认填充该路径,无需手动配置。如何配置工作空间存储路径,请参见管理工作空间

    最大运行时长

    设置任务运行的最长时长,配置完成后,后续任务运行超过最长时长后即返回,任务停止运行。

    如果保持默认配置,任务运行时长不受该参数限制。

  3. 单击训练。

    页面自动跳转到任务详情页面。您可以查看训练任务的基本信息、实时状态、任务日志和模型评估效果(不同模型可能评估方式会有差异)。

训练任务运行成功后:

  • 您可以在任务详情页面部署服务区域,单击部署来部署模型。模型部署流程同直接部署模型没有差异,详情请参见部署和调试模型

  • 您也可以在任务详情页面对该模型继续做增量训练,详情请参见增量训练模型

增量训练模型

增量训练是在本次训练产生的模型基础上,使用新的数据集继续训练。

  • 增量训练优势

    使用增量训练可以拓展之前模型的能力,比如针对某个模型现有结果不太理想的特定场景去做进一步的训练;或是让模型更加契合新的趋势和变化。相比较重新微调模型,在之前微调模型的基础上进行增量训练,可以更节约成本。

  • 如何进行增量训练

    在任务详情页面增量训练区域,对现有模型继续训练。增量训练的流程和微调训练也是完全相同的,详情请参见微调训练模型

标签:单击,训练,部署,模型,配置,建模,阿里,可视化,页面
From: https://www.cnblogs.com/ExMan/p/17914349.html

相关文章

  • 安防视频监控/可视化监控云平台EasyCVR播放鉴权与播放限制功能详细介绍
    视频监控GB28181视频管理平台EasyCVR能在复杂的网络环境中,将分散的各类视频资源进行统一汇聚、整合、集中管理,在视频监控播放上,智能监控平台可支持1、4、9、16个画面窗口播放,可同时播放多路视频流,也能支持视频定时轮播。视频监控汇聚平台EasyCVR支持多种播放协议,包括:HLS、HTTP-FLV......
  • 智慧安防视频监控可视化平台EasyCVR调用接口返回“Unauthorized”是什么原因?
    智慧安防视频监控可视化平台EasyCVR采用了开放式的网络结构,平台能在局域网、公网、专网等复杂的网络环境中,将场景中分散的海量网络监控设备进行统一接入与汇聚管理,并能提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集......
  • 安防视频云平台/可视化监控云平台EasyCVR获取设备录像失败,该如何解决?
    视频云存储/安防监控EasyCVR视频汇聚平台基于云边端智能协同,支持海量视频的轻量化接入与汇聚、转码与处理、全网智能分发、视频集中存储等。GB28181音视频流媒体视频平台EasyCVR拓展性强,视频能力丰富,具体可实现视频监控直播、视频轮播、视频录像、云存储、回放与检索、智能告警、......
  • 可视化场景及解读
    数合建模及可视化是款免费的数据建模及可视化工具,那么什么是可视化呢?数据可视化有很多种方式,不同的图表可以展示出数据不同的特征:一、趋势类折线图,适合展示一段时间内的趋势,可以使用多条线来展示多个组的趋势。二、关系,数据中变量之间的关系条形图,适用于比较不同组对应的数量。饼图......
  • 刘方舟 VC++面向对象与可视化程序设计 黄维通
    注:由于题目不确定,整理知识点范围比较宽,适当选取1.内联函数     定义:定义在类体内的成员函数,即函数的函数体放在类体内     特点:在调用处用内联函数体的代码来替换,用于解决程序的运行效率问题。一定要在调用之前定义,并且内联函数无法递归调用。2.构造函数与析构......
  • 阿里云sls+钉钉进行告警
    阿里云sls下支持告警中心设置钉钉hook 设置告警后,可以通过钉钉群机器人中通过hook方式进行关联到sls告警。 ......
  • R语言贝叶斯Metropolis-Hastings采样 MCMC算法理解和应用可视化案例
    贝叶斯MCMC模拟是一个丰富的领域,涵盖了各种算法,共同目标是近似后验模型。例如,使用的rstan包采用了一个HamiltonianMonteCarlo算法。用于贝叶斯建模的另一个rjags包采用了Gibbssampling算法。尽管细节有所不同,但这两种算法都是基于基本的Metropolis-Hastings算法的变体。主要思......
  • 聚类建模对智能助眠灯市场营销分析
    分析师:YueYu如何精准定位目标客户,准确量化客户需求来开发新的产品组合,并预测其可能的市场份额。解决方案任务/目标根据零售业务营销要求,运用多种数据源分析向客户给出产品性能组合的建议。数据源准备搜集除已有销量数据之外的额外信息包括对潜在消费者进行市场调查,收集其基本信息......
  • 数据可视化对个人用户有什么帮助?
    数据可视化是一种强大的工具,不仅可以为企业和专业人士提供见解,也对个人用户带来了许多实际的帮助。下面我就以一个数据可视化从业者的视角,来谈谈数据可视化对个人用户的益处:首先对于个人用户来说,数据可视化可以让平时接触的数据更易于理解。它能够将数字转化为图形或图表,为用户......
  • 低多边形3D城市建模纹理贴图
    在线工具推荐:3D数字孪生场景编辑器 - GLTF/GLB材质纹理编辑器 - 3D模型在线转换 - Three.jsAI自动纹理开发包 - YOLO虚幻合成数据生成器 - 三维模型预览图生成器 - 3D模型语义搜索引擎当谈到游戏角色的3D模型风格时,有几种不同的风格:写实风格:这种风格追求高度真实......