首页 > 其他分享 >CDSW1.4的Models功能-创建和部署模型(QuickStart)

CDSW1.4的Models功能-创建和部署模型(QuickStart)

时间:2022-10-04 14:02:03浏览次数:87  
标签:QuickStart Models CDSW1.4 Hadoop 部署 创建 Model

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​https://github.com/fayson/cdhproject​


提示:代码块部分可以左右滑动查看噢


1.文档编写目的



在前面的文章Fayson介绍了关于《​​CDSW1.4的新功能​​​》、《​​Hadoop之上的模型训练 - CDSW1.4新功能模块​​​》、《​​CDSW1.4的Experiments功能使用​​​》及《​​Hadoop之上的模型部署 - CDSW1.4新功能模块​​》,本篇文章Fayson主要以实操的方式介绍CDSW1.4版本中新增的Models的功能,创建和部署模型。


  • 内容概述

1.Models使用

2.总结


  • 测试环境说明

1.CM和CDH版本为5.15

2.CDSW版本为1.4

3.操作系统为RedHat7.4


2.Models功能使用



CDSW可以让你在一个脚本中创建各种函数并以REST API的方式部署。对于机器学习项目来说,你可能在脚本中创建了一个预测函数,它会接受输入并基于模型的参数返回预测。


这个QuickStart demo会创建一个非常简单的函数,它添加两个数字并将其部署为返回数字总和的模型。此函数将接受JSON格式的两个数字作为输入并返回总和。


接下来Fayson通过一个简单的示例说明Model功能的使用,详细步骤如下:


1.登录CDSW平台创建一个Python模板的工程


CDSW1.4的Models功能-创建和部署模型(QuickStart)_hadoop


工程创建成功,进入工程目录列表


CDSW1.4的Models功能-创建和部署模型(QuickStart)_github_02


2.点击“Open Workbench”选择Python3环境并启动会话


CDSW1.4的Models功能-创建和部署模型(QuickStart)_github_03


会话启动成功


CDSW1.4的Models功能-创建和部署模型(QuickStart)_json格式_04


3.创建一个名为add_numbers.py文件,定义一个用于调用model的函数,内容如下:


def add(args):
result = args["a"] + args["b"]
return result

(可左右滑动)


CDSW1.4的Models功能-创建和部署模型(QuickStart)_hadoop_05


在部署model之前,在会话节点执行命令测试add_numbers.py是否正常运行


CDSW1.4的Models功能-创建和部署模型(QuickStart)_json格式_06


4.回去Project概述界面,点击左侧“Models”新建一个Model


CDSW1.4的Models功能-创建和部署模型(QuickStart)_github_07


点击“new model”进入Model创建界面


CDSW1.4的Models功能-创建和部署模型(QuickStart)_json格式_08


注意:上述的输入参数必须为JSON格式的,截图中的单引号会有问题


完成Model信息填写后,点击底部菜单“Deploy Model”


CDSW1.4的Models功能-创建和部署模型(QuickStart)_github_09


部署成功后显示:


CDSW1.4的Models功能-创建和部署模型(QuickStart)_github_10


5.点击Model名称进入查看详细信息


CDSW1.4的Models功能-创建和部署模型(QuickStart)_hadoop_11


6.提供model测试功能


CDSW1.4的Models功能-创建和部署模型(QuickStart)_github_12


7.Deployments界面可以看到该Model的部署记录


CDSW1.4的Models功能-创建和部署模型(QuickStart)_hadoop_13


8.Builds界面可以看到Model部署依赖的Docker容器准备过程


CDSW1.4的Models功能-创建和部署模型(QuickStart)_json格式_14


9.Monitoring界面可以看到部署的Model的每个副本状态及日志信息


CDSW1.4的Models功能-创建和部署模型(QuickStart)_hadoop_15


10.Settings界面提供Model名称及描述信息以、访问秘钥的修改以及删除Model


CDSW1.4的Models功能-创建和部署模型(QuickStart)_json格式_16


如上关于CDSW的Models功能的演示。更多说明可以参考官网:

​https://www.cloudera.com/documentation/data-science-workbench/latest/topics/cdsw_models.html​


3.总结



1.Model默认继承工程所在环境(如:engine,依赖包等),在上述测试可以看到test-models使用的engine:5,创建的Model也是使用的engine:5进行编译,会默认的执行工程下的cdsw-build.sh脚本,自动安装依赖环境。


2.Model的每个Replica一次只能处理一个请求,多一个副本有助于负载均衡起到容错和服务并发请求作用,每个Model最多设置9个Replica。



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

CDSW1.4的Models功能-创建和部署模型(QuickStart)_json格式_17

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


标签:QuickStart,Models,CDSW1.4,Hadoop,部署,创建,Model
From: https://blog.51cto.com/u_14049791/5731247

相关文章