首页 > 其他分享 >大数据开发治理--大数据AI公共数据集分析

大数据开发治理--大数据AI公共数据集分析

时间:2024-12-02 09:04:44浏览次数:6  
标签:教程 单击 公共数据 -- MaxCompute DataWorks AI SQL 页面

本文以分析公共数据集的数据示例,为您展示如何使用DataWorks进行简单数据分析工作。本教程以申请免费资源为例为您展示详细操作步骤,您也可以使用付费资源,操作类似。

教程简介

阿里云DataWorks基于多种大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

本教程通过DataWorks,联合云原生大数据计算服务MaxCompute,使用大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等公共数据),指导您如何快速进行大数据分析,快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更多建模、集成、开发、治理等全链路的数据能力可前往官方文档进行查看。

我能学到什么

  • 熟悉DataWorks的基础操作界面,如登录控制台、创建数据源、进入子功能模块页面。

  • 学习如何在DataWorks进行简单的大数据分析操作,了解DataWorks的数据分析能力。

操作难度

所需时间

30分钟

使用的阿里云产品

  • DataWorks:一站式大数据开发与治理平台,创建数据源并在数据开发绑定数据源后可在DataWorks上开发调度对应引擎的数据开发治理任务。

  • MaxCompute:适用于数据分析场景的企业级SaaS模式云数据仓库,为海量数据提供丰富的计算和存储能力。

所需费用

  • DataWorks:

    • 产品版本:阿里云为您提供了免费的基础版DataWorks。

    • 增强分析:阿里云为您提供了免费的使用额度,超出额度后将收取相应费用。计费详情请参见增强分析计费说明

  • MaxCompute:阿里云免费试用为您提供一定额度的免费MaxCompute资源包,您可使用该资源包免费试用本教程。如果您的操作超出了免费资源包的额度,则需收取相应的费用。计费详情请参见MaxCompute计费概述

准备环境和资源

  1. 开通大数据开发治理平台DataWorks。

    1. 访问阿里云免费试用。单击页面右上方的登录/注册按钮,并根据页面提示完成账号登录(已有阿里云账号)、账号注册(尚无阿里云账号)或实名认证(根据试用产品要求完成个人实名认证或企业实名认证)。

    2. 成功登录后,即可进入申请免费试用DataWorks页面,单击大数据开发治理平台 DataWorks产品的立即试用

    3. 在弹出的购买试用DataWorks产品的面板上选择开通地域为华东2(上海),勾选服务协议后单击确认订单并支付

  2. 准备MaxCompute环境。

    • 本教程还需使用MaxCompute产品,您也可以在免费试用中申请免费额度的MaxCompute资源包进行本教程的操作,申请操作请前往申请免费试用MaxCompute页面,MaxCompute免费资源包的支持地域及免费额度介绍请参见MaxCompute新用户免费试用额度

      【说明】:如果您此前已申请过MaxCompute的免费试用,可登录MaxCompute控制台后,查看华东2(上海)地域是否已开通,如果界面提示上海地域还未开通,您可单击欢迎界面的立即开通MaxCompute进行开通。

    • 如果您不符合免费使用MaxCompute规则,您可以开通按量计费版本的MaxCompute,计费详情请参见MaxCompute计费概述

创建MaxCompute项目

  1. 登录MaxCompute控制台,在左上角选择地域,本教程使用的地域为华东2(上海)。单击左侧导航项目管理,在项目管理列表页面单击新建项目

  2. 在弹出的新建项目配置页面中配置项目信息,核心配置参数如表所示。

    参数

    说明

    项目名称

    自定义项目名称。本教程设置为doc_test_000

    说明

    项目名称需全局唯一,如果界面提示您项目名称已存在,您可根据提示修改项目名称。

    计算资源付费类型

    本教程选择:按量付费

    重要

    您通过免费试用选购的资源抵扣包仅可用于抵扣后付费资源消耗,本教程选择“按量付费”。

    默认Quota

    用于实现计算资源分配。本教程选择:默认后付费Quota

    单SQL消费限制

    本教程不设置。本参数为单SQL消费的最高阈值。单位:扫描量(GB)*复杂度。非必填项,当选择按量付费计费类型时建议设置,可以避免非预期的单SQL消费过高。同时也建议配置实时消费监控告警,多方位监控限制消费超出预期,详情请参见消费监控告警

    数据类型

    MaxCompute数据类型包含1.0数据类型2.0数据类型Hive兼容类型。本教程选择:2.0数据类型

    是否加密

    指定创建的MaxCompute项目是否需要开启数据加密功能。更多数据加密信息,请参见存储加密

    本教程选择:不加密

  3. 完成配置后单击确定,完成项目创建。

新增MaxCompute数据源

本教程使用的地域为华东2(上海)默认工作空间。

  1. 进入管理中心页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 管理中心页面,单击左侧导航数据源 > 数据源列表后,在页面上单击新增数据源,然后在弹窗内选择MaxCompute数据源,配置MaxCompute数据源详情请参见创建MaxCompute数据源

  3. 完成配置后单击完成创建,完成数据源的增加。

数据查询体验

本教程中使用阿里电商数据集(bigdata_public_dataset.commerce.commerce_ali_e_commerce)该数据集来源于天池阿里移动推荐算法挑战赛,拥有100万条脱敏后的行为数据(包括点击、购买、加购、喜欢)。

说明

DataWorks为您准备了丰富的数据集,可直接体验DataWorks的开发与分析能力,简单的SQL查询操作界面、轻松上手数据分析,还可以生成分析结果并分享给同事。

  1. 登录并进入DataWorks控制台,在左上角选择地域,本教程使用的地域为华东2(上海)

  2. 单击左侧导航栏的大数据体验 > 公共数据集,单击阿里电商数据集,进入阿里电商数据集详情页。

    image.png

  3. 单击右上角的开始分析,选择您需要体验的引擎类型。本教程使用的是MaxCompute

    image.png

  4. 在新打开的DataWorks SQL查询页面中,会创建一个新的SQL查询页面,并显示公共数据集的默认显示SQL。单击SQL查询文件右上角的

    image.png

    ,在弹框中设置工作空间及引擎信息。

  5. 完成设置后,您即可在SQL文件中进行数据查询命令开发,完成后可单击SQL查询文件操作栏中的运行按钮,运行成功后,在SQL文件下方会显示查询结果。

    本教程为您提供了一些查询示例SQL命令,您可参见下文的附录:数据查询SQL示例,进行数据查询分析。

    image.png

增强分析-创建卡片

  1. 单击查询结果区域左侧栏的

    image.png

    ,DataWorks会默认为您生成一个可视化的图表,将表格展现的SQL查询结果数据通过可视化的方式展现出来。

    说明

    首次操作时你需要先单击我要体验,并根据界面提示开启增强分析对应的功能。

    image.png

  2. 如系统默认生成的可视化图表,不符合您对于数据可视化的预期,您可单击图表右上方的

    image.png

    ,进入图表编辑页面。本教程以修改图表横纵坐标标题为例,为您示例编辑图表展示的操作。

    image.png

  3. 单击图表右上方的

    image.png

    ,即可将该结果持久化保存下来并分享。

    保存卡片后,您可以单击数据分析页面最左侧导航栏中的

    image.png

    ,查看当前已保存的所有卡片。

    image.png

增强分析-创建报告

数据分析结果保存在DataWorks-卡片中后,您可以通过增强分析-报告的功能,将卡片组织为有图表、有描述、有逻辑的分析报告,便于一键将分析报告分享给伙伴、同事。

  1. 单击数据分析页面左侧导航栏中的

    image.png

    ,进入报告页面。

  2. 单击右上角的创建报告,根据界面提示选择需要生成报告的数据分析结果卡片。

  3. 配置数据分析报告页面内容与主题风格,完成后单击右上角的创建,完成报告创建。

    image.png

  4. 返回报告列表页面后,您可以将鼠标悬浮到需要分享给其他人的报告上,单击右上角的分享按钮,根据界面提示即可获得分享链接。后续可将分享链接发送给分享对象。

    您可单击此处查看分析报告分享链接示例

附录:数据查询SQL示例

  • 用户购物行为时间趋势

    SET odps.namespace.schema = TRUE;
    SELECT  CAST(SUBSTR(behavior_time,12) AS BIGINT) AS 时间段
            ,CASE   WHEN behavior_type = '1' THEN '商品页浏览'
                    WHEN behavior_type = '3' THEN '加入购物车'
                    WHEN behavior_type = '4' THEN '购买成功'
                    ELSE behavior_type
            END AS 用户操作
            ,COUNT(DISTINCT user_id) AS 用户数
    FROM    bigdata_public_dataset.commerce.commerce_ali_e_commerce
    WHERE   behavior_type IN ('1','3','4')
    GROUP BY 时间段
             ,用户操作
    order by 时间段 asc;
  • 不同时间段的页面访问次数

    SET odps.namespace.schema = true;
    set odps.task.sql.sqa.enable=false;
    SELECT  CASE    WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 0
                        AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 3 THEN '00点-03点'
                    WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 4
                        AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 7 THEN '04点-07点'
                    WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 8
                        AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 11 THEN '08点-11点'
                    WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 12
                        AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 15 THEN '12点-15点'
                    WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 16
                        AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 19 THEN '16点-19点'
                    WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 20
                        AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 23 THEN '20点-23点'
            END AS 时间段
            ,COUNT(1) AS 页面访问次数
    FROM    bigdata_public_dataset.commerce.commerce_ali_e_commerce
    WHERE   behavior_type = '1'
    GROUP BY 时间段
    ORDER BY 时间段 ASC
    LIMIT   100;
  • TOP10热销商品品类

    SET odps.namespace.schema = true;
    SELECT  item_category as 商品品类ID,COUNT(DISTINCT item_id) AS 商品数量
    FROM    bigdata_public_dataset.commerce.commerce_ali_e_commerce
    WHERE  behavior_type = '4'
    group by item_category
    order by 商品数量 desc
    limit 10;

清理

完成教程后,请及时清理测试数据和试用资源。

  • MaxCompute资源清理。

    本教程使用了MaxCompute计算引擎,在体验完成本教程后,如果后续您不再使用的话,请及时将MaxCompute资源释放,否则MaxCompute会继续计费。释放操作请参见资源释放

  • DataWorks资源清理。

    本教程使用了免费的基础版DataWorks的SQL分析模块,基础版DataWorks的SQL分析任务运行结束后不会收取其他费用,如果您使用了DataWorks的其他功能模块,使用了DataWorks的资源组运行了其他周期任务,请及时将DataWorks周期任务暂停,避免造成资源组的浪费。

标签:教程,单击,公共数据,--,MaxCompute,DataWorks,AI,SQL,页面
From: https://blog.csdn.net/segwy/article/details/143885871

相关文章

  • DataWorks数据安全治理最佳实践
    DataWorks基于数据安全治理的常见思路,针对资产梳理、技术体系建设和运营体系建设,提供了一系列数据安全产品能力,您可通过“基础防护建设、数据安全防护措施及策略增强建设、数据安全持续运营”三个阶段在DataWorks上落地数据安全治理项目。参考本文启动数据安全治理项目前,建议......
  • 宝塔安装成功但打不开界面的解决方法
    检查面板状态使用命令 bt 进入宝塔面板管理界面,检查面板是否正在运行。如果未运行,尝试启动面板:btstart。重启面板尝试重启宝塔面板:btrestart。检查端口占用使用命令 netstat-tuln|grep8888 检查8888端口是否被占用。如果被占用,可以尝试更改宝塔面板的端......
  • 如何解决易优CMS中 General error: 1366 Incorrect string value 错误?
    解决易优CMS中 Generalerror:1366Incorrectstringvalue 错误的方法主要包括以下几个步骤:升级MySQL版本:如果当前使用的MySQL版本低于5.5,建议首先将MySQL版本升级到5.7或更高版本。新版本的MySQL已经全面支持 utf8mb4 编码,能够更好地处理4字节字符。修改数据库字......
  • 【Git的安装和Github的使用】
    目录:一、Git的下载二、Git的安装三、在IDEA中配置Git四、在GitHub上创建访问令牌五、在IDEA中向Github上传项目六、在IDEA中Commit和Push七、在IDEA中克隆Github上的项目八、在Github上的项目中添加协作者引言:本文详细介绍了如何通过Git、Github、IDEA等工具进行......
  • 易优CMS 中出现 SQLSTATE[HY000]: General error: 1366 Incorrect string value 错误
    在使用易优CMS时,如果遇到 SQLSTATE[HY000]:Generalerror:1366Incorrectstringvalue 错误,通常是因为数据库字段不支持某些特殊字符或表情符号。这些字符在UTF-8编码中占用4个字节,而易优CMS默认的数据库编码是UTF-8,只能支持最多3个字节的字符。因此,需要将数据库编码从UTF-8......
  • 【开题报告】基于Springboot+vue学生就业信息管理系统(程序+源码+论文) 计算机毕业设计
    本系统(程序+源码)带文档lw万字以上文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着高等教育的普及和就业市场的日益竞争,学生就业信息管理成为高校和教育机构面临的重要挑战。传统的就业信息管理方式,如纸质简历、人工匹配等,不仅效......
  • 【开题报告】基于Springboot+vue学业导师双选系统(程序+源码+论文) 计算机毕业设计
    本系统(程序+源码)带文档lw万字以上文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景在当今高等教育体系中,学业导师制度已成为培养学生综合素质、促进学术发展的重要途径。然而,传统的导师分配方式往往依赖于行政命令或随机分配,这可能导......
  • Java 并发集合容器
    在多线程编程中,高效地访问和操作数据结构是一个重要的挑战。Java提供了并发集合容器(ConcurrentCollectionContainers)来解决这个问题。这些容器通过内部的同步机制实现了线程安全,使得开发者无需显式同步代码就能在并发环境下安全使用。本文将详细介绍Java并发集合容器中......
  • ConcurrentHashMap 详解
    在Java的并发编程中,ConcurrentHashMap是一个非常重要的数据结构。它位于java.util.concurrent包中,提供了线程安全的哈希表实现,能够在多线程环境下高效地进行读写操作。本文将深入探讨ConcurrentHashMap的内部实现、线程安全机制以及在不同JDK版本中的变化。1Conc......
  • PbootCMS 织梦搜索结果页分页条样式修改
    编辑 /include/arc.searchview.class.php 文件,将532行左右的代码:$this->dtp->Assign($tagid,$this->GetPageListDM($list_len));修改为:$listitem=$ctag->GetAtt("listitem")==""?"index,pre,pageno,next,end,option":$ct......