首页 > 其他分享 >大数据学习连载02篇:业务分析步骤、数据的收集、整理、展现以及工作报告

大数据学习连载02篇:业务分析步骤、数据的收集、整理、展现以及工作报告

时间:2023-01-28 21:33:41浏览次数:39  
标签:02 数据分析 连载 收集 报告 分析 框架 数据


大数据业务分析基本步骤

典型的大数据分析包含以下几个步骤:

大数据学习连载02篇:业务分析步骤、数据的收集、整理、展现以及工作报告_hadoop

(1)明确分析目的和思路

明确数据分析目的以及确定分析思路,是确保数据分析过程有效进行的先决条件,它可以为数据的收集、处理及分析提供清晰的指引方向。

目的是整个分析流程的起点。目的不明确则会导致方向性的错误。即思考:为什么要开展数据分析,通过这次数据分析要解决什么问题?

当明确目的后,就要校理分析思路,并搭建分析框架,把分析目的分解成若干个不同的分析要点,即如何具体开展数据分析,需要从哪几个角度进行分析,采用哪些分析指标。只有明确了分析目的,分析框架才能跟着确定下来,最后还要确保分析框架的体系化,使分析更具有说服力。

体系化也就是逻辑化,简单来说就是先分析什么,后分析什么,使得各个分析点之间具有逻辑联系。避免不知从哪方面入手以及分析的内容和指标被质疑是否合理、完整。所以体系化就是为了让你的分析框架具有说服力。

要想使分析框架体系化,就需要一些营销、管理等理论为指导,结合着实际的业务情况进行构建,这样才能保证分析维度的完整性,分析结果的有效性以及正确性。比如以用户行为理论为指导,搭建的互联网网站分析指标框架如下:

大数据学习连载02篇:业务分析步骤、数据的收集、整理、展现以及工作报告_数据库_02

把跟数据分析相关的营销、管理等理论统称为数据分析方法论。比如用户行为理论、PEST分析法、5W2H分析法等等,详细请查阅附件资料。

(2)数据收集

数据收集是按照确定的数据分析框架,收集相关数据的过程,它为数据分析提供了素材和依据。这里所说的数据包括第一手数据与第二手数据,第一手数据主要指可直接获取的数据,第二手数据主要指经过加工整理后得到的数据。一般数据来源主要有以下几种方式:

数据库:每个公司都有自己的业务数据库,存放从公司成立以来产生的相关业务数据。这个业务数据库就是一个庞大的数据资源,需要有效地利用起来。

公开出版物:可以用于收集数据的公开出版物包括《中国统计年鉴》《中国社会统计年鉴》《中国人口统计年鉴》《世界经济年鉴》《世界发展报告》等统计年鉴或报告。

互联网:随着互联网的发展,网络上发布的数据越来越多,特别是搜索引擎可以帮助我们快速找到所需要的数据,例如国家及地方统计局网站、行业组织网站、政府机构网站、传播媒体网站、大型综合门户网站等上面都可能有我们需要的数据。

市场调查:进行数据分析时,需要了解用户的想法与需求,但是通过以上三种方式获得此类数据会比较困难,因此可以尝试使用市场调查的方法收集用户的想法和需求数据。

(3)数据处理

数据处理是指对收集到的数据进行加工整理,形成适合数据分析的样式,它是数据分析前必不可少的阶段。数据处理的基本目的是从大量的、杂乱无章、难以理解的数据中,抽取并推导出对解决问题有价值、有意义的数据。

数据处理主要包括数据清洗、数据转化、数据提取、数据计算等处理方法。一般拿到手的数据都需要进行一定的处理才能用于后续的数据分析工作,即使再“干净”’的原始数据也需要先进行一定的处理才能使用。

数据处理是数据分析的基础。通过数据处理,将收集到的原始数据转换为可以分析的形式,并且保证数据的一致性和有效性。

大数据学习连载02篇:业务分析步骤、数据的收集、整理、展现以及工作报告_数据挖掘_03

(4)数据分析

数据分析是指用适当的分析方法及工具,对处理过的数据进行分析,提取有价值的信息,形成有效结论的过程。由于数据分析多是通过软件来完成的,这就要求数据分析师不仅要掌握各种数据分析方法,还要熟悉数据分析软件的操作。

数据挖掘其实是一种高级的数据分析方法,就是从大量的数据中挖掘出有用的信息,它是根据用户的特定要求,从浩如烟海的数据中找出所需的信息,以满足用户的特定需求。数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。一般来说,数据挖掘侧重解决四类数据分析问题:分类、聚类、关联和预测,重点在寻找模式和规律。数据分析与数据挖掘的本质是一样的,都是从数据里面发现关于业务的知识。

(5)数据展现

大数据学习连载02篇:业务分析步骤、数据的收集、整理、展现以及工作报告_hadoop_04

一般情况下,数据是通过表格和图形的方式来呈现的,我们常说用图表说话就是这个意思。常用的数据图表包括饼图、柱形图、条形图、折线图、散点图、雷达图等,当然可以对这些图表进一步整理加工,使之变为我们所需要的图形,例如金字塔图、矩阵图、漏斗图等。

大多数情况下,人们更愿意接受图形这种数据展现方式,因为它能更加有效、直观地传递出分析所要表达的观点。记位,一般情况不,能用图说明问题的就不用表格,能用表格说明问题的就不要用文字。

(6)报告撰写

数据分析报告其实是对整个数据分析过程的一个总结与呈现。通过报告,把数据分析的起因、过程、结果及建议完整地呈现出来,供决策者参考。

一份好的数据分析报告,首先需要有一个好的分析框架,并且图文并茂,层次明晰,能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容;图文并茂,可以令数据更加生动活泼 ,提供视觉冲击力,有助于阅读者更形象、直观地看清楚问题和结论,从而产生思考。

另外,数据分析报告需要有明确的结论,没有明确结论的分析称不上分析,同时也失去了报告的意义,因为我们最初就是为寻找或者求证一个结论才进行分析的,所以千万不要舍本求末。

最后,好的分析报告一定要有建议或解决方案。作为决策者,需要的不仅仅是找出问题,更重要的是建议或解决方案,以便他们做决策时作参考。所以,数据分析师不仅需要掌握数据分析方法,而且还要了解和熟悉业务,这样才能根据发现的业务问题,提出具有可行性的建议或解决方案。

(7)大数据部门的组织结构

大数据学习连载02篇:业务分析步骤、数据的收集、整理、展现以及工作报告_数据库_05

 

 

标签:02,数据分析,连载,收集,报告,分析,框架,数据
From: https://blog.51cto.com/u_8238263/6025159

相关文章

  • Vue.js项目实战教程:智慧学成数据展示平台
    Vue作为前端框架三巨头之一,以其轻量易用著称,纵观它的整个发展也是极其迅速的。在前端的开发中,Vue已经成为每个前端开发者的必须掌握的技能。 下面播妞就来带大家用一篇文章......
  • 【YBT2023寒假Day1 B】不跪模样(树链剖分)(线段树)
    不跪模样题目链接:YBT2023寒假Day1B题目大意给你一棵有根数,点有点权,两种操作:对于所有x子树内与x距离不超过2的点,将其点权加v。询问x子树中,满足i<=j且i,j......
  • 2023-1-28 #29.5 鲜花
    最近的做题记录比较鸽,随便发了一个之前的听课记录出来。主要是过年比较摆吧……争取几天后恢复更新。回顾P8340[AHOI2022]山河重整,发现互异分拆可以得到一个与普通分......
  • 【YBT2023寒假Day1 A】孤走暗巷(费用流)
    孤走暗巷题目链接:YBT2023寒假Day1A题目大意给你一个整数序列,你要通过一些操作把它变成单调不降序列。你有m种操作,每次可以选择一个长度为li的区间,花费ci的代价......
  • 影响移动硬盘速度的一个潜在因素——数据量的质量
    最近搞了一个新硬盘盒,配上自己的nvme硬盘,又搞了一条2m的数据量,正兴致盎然的给新装备测试,结果却惊人。硬盘盒:......
  • 安装Neo4j数据库教程
    安装Neo4j之前,需要先安装JDK两者对应关系:Neo4jversion3.5使用java1.8;Neo4jversion4.0+目前只支持JDK111.安装JDK1.1下载Neo4j是基于Java运行环境的图形数据库,因......
  • 我的2023年Todo List
    2023年,如约而至。回到老家过年,看着许多熟悉的人、熟悉的房子,总感觉一切都好像在昨天。内心难得平静,终于可以停下脚步,去复盘一下自己这一年的经历,收拾一下心情,重新出发。......
  • 「WC-2023」学习笔记(Day1&2)
    尼玛在游记里立flag是吧。1月必更新是吧。寒假作业都写不完了!!!!!这篇四舍五入就是1月学习记录了。1月剩下的杂题可能放2月去写。嗯也可能2月就退役了。退役了就没......
  • #Python 数据查询功能,对标V-LOOKUP
    日常办公中,我们经常会遇到需要匹配表,匹配对应数据的场景,在EXCEL中,我们习惯使用VLOOKUP函数或者是X-LOOKUP函数,今天学习的是Python,pandas库中的匹配功能。首先导入所需的pa......
  • 使用labelimg标注数据集
    labelimg安装在cmd命令行中运行如下命令:pipinstalllabelimg-ihttps://pypi.tuna.tsinghua.edu.cn/simple数据准备新建一个名为VOC2007的文件夹(注意路径中不要带有中文),在......