大数据分析步骤

大数据分析步骤

数据爬取

数据清洗

数据分析

数据可视化

例子：用大数据分析一下商业电影的成功是否存在统一公式，以帮助投资人决策。

爬取 Kaggle 平台（TMDb 5000 Movie Database）关于美国地区 1916-2017 年近 5000 部电影的数据，包含预算、导演、票房、电影评。

爬取到的信息分成3个文件：

• tmdb_5000_movies：电影基本信息，包含 20 个变量

• tmdb_5000_credits：演职员信息，包含 4 个变量

• tmdb_1000_predict.csv ：包含 1000 部电影的基本信息

缺失值处理

重复值处理

日期转换，json字符串转换

无用行（比如评分底的电影）删除

解决的终极问题是：电影票房的影响因素有哪些？ 接下来我们就分不同的维度分析：

· 观众喜欢什么电影类型？有什么主题关键词？

· 电影风格随时间是如何变化的？

· 电影预算高低是否影响票房？

· 高票房或者高评分的导演有哪些？

· 电影的发行时间最好选在啥时候？

· 拍原创电影好还是改编电影好？

echarts可视化展示