数据分析基础概念1

一、什么是数据分析？

观测、实验、应用

二、重新认识数据分析

观测：对实物形成客观量化的认知（报表、图表、仪表盘）

实验：发现规律、验证假设（科学研究、A/B实验）

应用：不断基于数据反馈迭代产品；基于数据训练算法，让机器自动化地完成工作

三、观测

采集数据、储存数据、展示数据

1、采集数据的方式

解析系统日志

埋点获取新数据

通过传感器采集

根据api获取数据

根据爬虫解析网站

2、储存数据（数据采集完后进行存储）

数据库的分类：hive，mysql，postgresql，impala

连接数据库取数：数据存储在哪个数据库中

3、展示数据

从数据库获取后进行展示数据：可视化高效传达信息

四、测量

设定标准、发现异常、研究关系

-----------------------------

分析数据的目的是什么？

1、及时发现异常

2、找到数据之间的因果关系

怎么做到？

数据是客观统一的，所以有统一的认知才能有共同的目标

1、及时发现异常

设定标准+发现异常

举例：当月的销售额设定一个基准值，超出和下降就是变化，提前发现异常

研究关系：可视化查看相关性、建模推导相关性、设计实验提出假设，然后验证假设

举例：观测到差评率飙升，假设由恶劣天气引起，通过天气数据验证

2、找到数据之间的因果关系

所有未经事实数据验证的想法都是假设

设计a/b测试获取数据

--实验目标、实验假设、实验打分、实验指标、实验观众、实验版本、开发验收、实验结果、实验分析、后续计划

---------

如何在业务只有少量数据时设计数据实验？

如何在无法同时测试两个版本时比较数据？

1、基于数据反馈不断迭代产品喝业务策略

2、基于数据训练算法，让机器自动化地完成工作

五、应用-如何应用数据创造价值

 —基于数据反馈不断迭代产品和业务策略

 —明确业务的目标，拆解目标，得到标准值

—流程拆解法、二分法、象限拆解法、杜邦分析法、AARRR、pest、rfm、swot、5w1h（拆解只要符合mece法则即可）

—将数据应用于业务

—将数据应用于算法

①为算法设定明确的业务目标

②为算法提供高质量的数据

③判断算法是否真的创造了实际价值

④帮助业务更好地使用算法

基于数据和算法的竞争，无时无刻不在互联网行业上演；

基于数据训练算法，让机器自动化地完成工作