首页 > 其他分享 >创建及管理DSW实例

创建及管理DSW实例

时间：2023-07-09 10:35:41浏览次数：44  
标签：DSW instance 实例 workspace 创建 id

  机器学习PAI

首页>机器学习PAI>操作指南>AI开发>交互式建模（PAI-DSW）>创建及管理DSW实例

创建及管理DSW实例

更新时间：2023-06-05 18:24提交缺陷 产品详情 相关技术圈   我的收藏

本文中含有需要您注意的重要提示信息，忽略该信息可能对您的业务造成影响，请务必仔细阅读。

使用PAI-DSW建模前，您需要创建PAI-DSW实例。本文为您介绍如何创建PAI-DSW实例、管理实例及实例界面介绍。

前提条件

  • 如果首次使用PAI-DSW，则需要对相关资源进行访问授权，具体操作请参见云产品依赖与授权：DSW。
  • 已准备好DSW实例运行所需的通用训练资源或灵骏智算资源。
  • （可选）已创建完成NAS类或OSS类数据集。

    PAI-DSW为您提供临时存储，如果您想永久存储，则需要创建数据集，便于创建实例时关联此数据集。具体操作步骤，请参见创建及管理数据集。

  • 已完成身份验证配置。您可以使用环境变量、本地文件等方式配置，具体操作请参见身份验证配置。

背景信息

PAI-DSW支持通过控制台或Python SDK的方式创建实例，二者分别适用于不同的用户：
  • 通过控制台创建实例

    适用于普通开发者，您可以通过控制台管理实例。例如，在PAI-DSW中进行模型开发的开发者。

  • 通过Python SDK创建实例

    适用于需要对实例整体生命周期进行管理的开发者。例如，您需要将PAI-DSW系统中的资源整合到其他系统中，可以通过PAI-DSW的OpenAPI SDK实现。

创建实例

通过控制台创建实例。

  1. 进入DSW页面。
    1. 登录PAI控制台。
    2. 在概览页面选择目标地域。
    3. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。
    4. 在工作空间页面的左侧导航栏选择模型开发与训练 > 交互式建模（DSW），进入DSW页面。
  2. 单击创建实例。
  3. 在配置实例向导页面，配置以下关键参数。
     
    参数描述
    实例名称 参考界面提示信息配置DSW实例名称。
    资源组 支持选择：
    • 默认为通用训练资源公共资源组，支持选择CPU规格或GPU规格。
    • 支持使用通用训练资源专有资源组来创建实例。如果没有可选的专有资源组，您可以单击工作空间，为该工作空间关联通用训练资源专有资源组。   说明 如果后续挂载数据集时选择CPFS文件系统，则通用训练资源选择的专有网络和交换机需要与CPFS文件系统一致，具体操作，请参见挂载CPFS。
    • 支持使用灵骏智算资源来创建实例。如果没有可选的灵骏智算资源，您可以单击工作空间，为该工作空间关联灵骏智算资源。
    数据集 实例自带系统盘用来做临时存储，停止或删除实例后，该存储清空。如果需要永久化存储，需要选择已创建的数据集进行挂载。如果没有可选的数据集，您可以通过单击创建数据集进行创建。关于如何创建数据集，详情请参见创建及管理数据集。   说明
    • 数据集仅支持选择NAS类型或OSS类型。
    • 第一个数据集必须选择NAS类型数据集，且会被同时挂载到您指定的路径和DSW默认工作目录/mnt/workspace/下。
    • 多个数据集挂载的路径不能重复。
    选择镜像 支持选择以下镜像：
    • 官方镜像：预置的官方镜像，覆盖Python、TensorFlow及PyTorch多个版本。
    • 用户自定义镜像：支持选择已创建的自定义镜像。关于如何添加自定义镜像，详情请参见查看并添加镜像。
    • 镜像URL：输入公共可访问的镜像公网地址，使用该镜像。您也可以直接填入当前region下ACR个人版中镜像的公网地址。
    专有网络 仅资源组选择公共资源组时，支持配置该参数。

    支持在VPC内使用PAI-DSW。您必须同时配置专有网络、交换机及安全组。

    您可以直接选择已经创建的专有网络进行挂载，或单击专有网络后的创建专有网络进行创建。
    交换机 如果配置了专有网络，则必须同时配置交换机和安全组。

    您可以直接选择已经创建的交换机和安全组进行挂载，或单击创建交换机和创建安全组进行创建。
    安全组
  4. 单击下一步。 如果没有配置数据集，会弹出数据集未选择对话框。如果无需配置数据集，单击继续提交，继续下一步操作；如果您需要重新配置数据集，单击返回编辑，在配置实例向导页面，添加数据集即可。数据集未选择
  5. 在确认订单配置向导页面，确认所选配置，勾选服务协议，单击创建实例。
通过Python SDK创建实例：
  1. 安装Python SDK。   
    # 工作空间SDK安装。
pip install alibabacloud-aiworkspace20210204 -U -q
# DSW SDK安装。
pip install alibabacloud_pai_dsw20220101 -U -q
# OpenAPI依赖。
pip install alibabacloud_tea_openapi -U -q
# 预付费资源组查询SDK安装。
pip install https://sdk-portal-us-prod.oss-accelerate.aliyuncs.com/downloads/u-b8602de7-c468-436c-8a02-2eca4a30d376-python-paistudio.zip -U -q
  2. 创建一个PAI-DSW实例。 创建实例的代码示例如下所示。   
    from alibabacloud_credentials.client import Client as CredClient
from alibabacloud_pai_dsw20220101.client import Client as DSWClient
from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient

from alibabacloud_aiworkspace20210204.models import (ListWorkspacesRequest,
                                                     ListImagesRequest,
                                                     ListDatasetsRequest,
                                                     ListResourcesRequest)

from alibabacloud_pai_dsw20220101.models import (ListInstancesRequest, 
                                                 ListEcsSpecsRequest,
                                                 CreateInstanceRequest,
                                                 StopInstanceRequest,
                                                 CreateInstanceShutdownTimerRequest,
                                                 CreateInstanceRequestRequestedResource,
                                                 CreateInstanceSnapshotRequest,
                                                 ListInstanceSnapshotRequest,
                                                 GetInstanceMetricsRequest,
                                                 CreateIdleInstanceCullerRequest)

from alibabacloud_tea_openapi.models import Config as AliyunConfig
from alibabacloud_tea_openapi.client import TeaException
# 阿里云账号AccessKey拥有所有API的访问权限，建议您使用RAM用户进行API访问或日常运维。 
# 强烈建议不要把AccessKey ID和AccessKey Secret保存到工程代码里，否则可能导致AccessKey泄露，威胁您账号下所有资源的安全。
# 本示例通过Credentials SDK默认从环境变量中读取AccessKey，来实现身份验证。
region_id = 'cn-beijing' # Region，可以是cn-hangzhou，cn-shanghai，cn-shenzhen等。
cred = CredClient()

# client config。
workspace_client = AIWorkspaceClient(
     config=AliyunConfig(
        credential=cred,
        region_id=region_id,
        endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
    )
)
dsw_client = DSWClient(
    config=AliyunConfig(
        credential=cred,
        region_id=region_id,
        endpoint='pai-dsw.{}.aliyuncs.com'.format(region_id),
    )
)

# 定义一个用来显示DSW实例信息的Helper函数。
def show_instance(instance_id):
    instance = dsw_client.get_instance(instance_id=instance_id).body
    print(instance.status, instance.instance_name, instance.ecs_spec, instance.accumulated_running_time_in_ms)

# 查询一个已经存在的工作空间（Workspace）的属性和ID。
workspace_name = '**已有的AI工作空间名称**'

# 获取工作空间列表。
workspaces = workspace_client.list_workspaces(ListWorkspacesRequest(
    page_number=1, 
    page_size=10,
    workspace_name=workspace_name, # 模糊匹配，如果不指定名字，则返回所有workspace。
))

if len(workspaces.body.workspaces) == 0:
    raise RuntimeError('请指定正确的workspace_name')

for workspace in workspaces.body.workspaces:
    print(workspace.workspace_name,
         workspace.workspace_id,
         workspace.status, workspace.creator)

# 使用查询到的第一个结果作为后续操作的workspace，您可以按需切换或者直接指定一个字符串类型的ID。
workspace_id = workspaces.body.workspaces[0].workspace_id

# 获取镜像列表，可以用labels来做过滤。
images = workspace_client.list_images(ListImagesRequest(
                    page_size=100,
                    #workspace_id=workspace_id, #不指定workspace_id则意味着查询所有PAI平台内置的镜像
                    labels=','.join(['system.supported.dsw=true',
                                    #'system.framework=tensorflow', #指定pytorch或者tensorflow
                                    'system.pythonVersion=3.6',
                                    ]),
                    verbose=True # verbose=True会列出更加详细的信息，包括labels
                    )) 

# 可以查看所有可用的镜像。
for image in images.body.images:
    print(image.image_id, image.image_uri)

# 获得用于提交任务所使用的镜像，这里取第一个作为示例。
image_uri = images.body.images[0].image_uri
print('image_uri', image_uri)

# 获取DSW的节点规格列表。
try:
    resp = dsw_client.list_ecs_specs(ListEcsSpecsRequest(accelerator_type='CPU', # CPU 或者 GPU
                                                   )).body
except TeaException as t:   
    print("List ECS Specs failed:", t.message)
else:
    for spec in resp.ecs_specs:
        print(spec.instance_type + ", CPU: " + str(spec.cpu) + ", Memory: " + str(spec.memory))

    # 获得用于提交任务的节点规格。
    ecs_spec = resp.ecs_specs[0].instance_type
    print('Selected ecs_spec:', ecs_spec)
# 创建DSW实例。
request = CreateInstanceRequest(instance_name="Test_From_SDK_1",
                                ecs_spec=ecs_spec,
                                workspace_id=workspace_id,
                                #image_id='', #可以指定工作空间中的镜像的ID，但是与image_url只能指定一个参数
                                image_url=image_uri) 
try:vi
    ins_resp = dsw_client.create_instance(request)
except TeaException as t:
    print('创建实例失败，错误消息：' + t.message)
else:
    instance_id = ins_resp.body.instance_id
    print("Created Instance ID:", instance_id)

    show_instance(instance_id)

    关于更多接口的说明，请参见API参考。

管理实例

您可以按照下图操作指引，管理DSW实例。管理实例   警告 如果DSW实例未挂载数据集，则停止或删除DSW实例后相关数据无法恢复，请谨慎操作。
  • 您可以将鼠标悬浮到①位置，来查看实例详情、资源类型详情及DSW实例状态变化的时间记录。
  • 自动停止设置：在自动停止设置对话框，您可以打开启用自动停止开关，并设置自动停止时间，等到指定时间时，系统会自动停止DSW实例。
  • 保存镜像：您可以按照界面操作指引，将DSW实例保存到个人版ACR中或企业版ACR中，后续您可以直接使用该镜像。
  • 单击DSW实例名称，进入实例详情页面，您可以在该页面查看DSW实例的基础信息和实例配置。您也可以做以下变更配置。
    • 在基础信息区域，修改实例名称。
    • 在实例配置区域，单击变更配置，您可以修改资源信息、镜像信息、数据集配置或网络配置。

实例界面介绍

实例创建完成后，您可以单击操作列下的打开，进入DSW实例界面。DSW实例界面主要包括以下三部分：
  • JupyterlabJupyterlab
     
    功能区编号描述
    ① 顶部菜单栏。
    ② 左侧工具栏。
    ③ 工具内容。
    ④ 主工作区。
    ⑤ 资源水位。
  • WebIDEWebIDE
     
    功能区编号描述
    ① 左侧工具栏。
    ② 工具内容。
    ③ 主工作区。
    ④ 资源水位。
  • TermInalTermInal
     
    功能区编号描述
    ① 主工作区。
    ② 资源水位。
 

标签：DSW,instance,实例,workspace,创建,id
From： https://www.cnblogs.com/flyingsir/p/17538382.html

相关文章

  • 从docker hub上拉取镜像nginx、tomcat实例
     可以从百度上搜索dockerhub，进入网站：https://hub-stage.docker.com/search?q=tomcat  查看不同镜像版本 查看镜像命令，以下两种均可dockerimagelsdockerimages拉取tomcat镜像，如不指定版本，默认拉取最近的 dockerpulltomcat拉取指定版本tomcat......
  • node.js 创建微服务器
    consthttp=require('http');consthostname='127.0.0.1';constport=3000;constserver=http.createServer((req,res)=>{res.statusCode=200;res.setHeader('Content-Type','text/plain');res.end(&......
  • python创建类似于wx.EVT_BUTTON这样的自定义事件
    想要创建类似于wx.EVT_BUTTON这样的自定义事件，可以通过定义一个继承自wx.PyEvent的子类，并在其中添加自定义的事件类型。下面是一个示例代码：importwx#创建自定义事件类型MY_EVENT_TYPE=wx.NewEventType()EVT_MY_EVENT=wx.PyEventBinder(MY_EVENT_TYPE,1)#创建自定义......
  • 创建Vue3.0工程
    使用vue-cli创建官方文档：https://cli.vuejs.org/zh/guide/creating-a-project.html#vue-create##查看@vue/cli版本，确保@vue/cli版本在4.5.0以上vue--version##安装或者升级你的@vue/clinpminstall-g@vue/cli##创建vuecreatevue_test##启动cdvue_testnpmr......
  • 如何实现MySQL创建排班表的具体操作步骤
    MySQL创建排班表在现代社会中，许多企事业单位都需要对员工进行排班管理，以保证工作的正常运转。MySQL作为一个强大的关系型数据库管理系统，可以很好地满足这个需求。本文将介绍如何使用MySQL创建一个排班表，并通过代码示例演示其使用方法。创建数据表首先，我们需要创建一个数据表来存......
  • 解决MySQL 修改创建用户 主机名的具体操作步骤
    MySQL修改创建用户主机名简介在MySQL中，我们可以通过修改和创建用户来管理数据库的访问权限。本文将向刚入行的小白介绍如何通过MySQL来修改和创建用户的主机名。操作步骤下表总结了修改和创建用户主机名的步骤：步骤操作步骤1登录MySQL数据库步骤2查看已存在的......
  • 2.【初级班】VS环境创建一个简单的程序(C,C++)
    本课知识点C,C++第一个程序生成程序输出窗口生成程序所在目录新建->项目Ctrl+Shift+N C:\Users\Administrator\Source\Repos\L001\Debug\include<stdio.h>voidmain(){printf("我的第一个程序helloworld!");getchar();}voidmain()//001-识记入口函数名main......
  • Git代码管理、提交、问题、仓库创建与管理
    第一章、在Github上创建仓库第1节、创建仓库进入https://github.com进入项目仓库：yourrepositories右侧点击：new按钮owner填写仓库名称Description填写项目描述public选择项目公开private选择项目不公开第2节、下载和安装Git客户端下载地址：https://git-scm.com/downloa......
  • Buildroot创建ramdisk、ext4、ubifs镜像，以及mkfs.ext4/mkfs.ubifs/cpio的使用
    通过mkfs.ext4和mkfs.ubifs可以生成ext4和ubi格式的文件系统文件。Buildroot中创建文件系统文件即借助这两个命令。1.mkfs.ext4mkfs.ext4以及mkfs.ext2/mkfs.ext3都指向mke2fs，用于创建ext4格式的文件系统。Usage:mkfs.ext4[-c|-lfilename][-bblock-size][-Ccluster-si......
  • 新增文章创建索引
                        文章微服务异步调用生成静态文件，上传到minIO之后发送消息到MQ，因为创建索引需要staticurl。packagecom.heima.article.service.impl;importcom.alibaba.fastjson.JSON;importcom.alibaba.fastjson.JSONA......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99