MathorCup 高校数学建模挑战赛——大数据竞赛
练习题:观影大数据分析
王 S 聪想要在海外开拓万 D 电影的市场,这次他在考虑:怎么拍商业电影才能赚钱?毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影业来说比以往任何时候都更加重要。 所以,他就请来了你(数据分析师)来帮他解决问题,给出一些建议,根据数据分析一下商业电影的成功是否存在统一公式?以帮助他更好地进行决策。
解决的终极问题是:电影票房的影响因素有哪些?接下来我们就分不同的维度分析: • 观众喜欢什么电影类型?有什么主题关键词? • 电影风格随时间是如何变化的? • 电影预算高低是否影响票房? • 高票房或者高评分的导演有哪些? • 电影的发行时间最好选在啥时候? • 拍原创电影好还是改编电影好?本次使用的数据来自于 Kaggle 平台(TMDb 5000 Movie Database)。收录了美国地区 1916-2017 年近 5000 部电影的数据,包含预算、导演、票房、电影评分等信息。原始数据集包含 2 个文件:
• tmdb_5000_movies:电影基本信息,包含 20 个变量 • tmdb_5000_credits:演职员信息,包含 4 个变量
请使用 Python 编程,完成下列问题:
(1) 使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集,进行数据清洗、数据挖掘、数据分析和数据可视化等,研究电影票房的影响因素有哪些?从不同的维度分析电影,讨论并分析你的结果。
(2) 附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息,请你选择合适的指标,进行特征提取,建立机器学习的预测模型,预测 1000 部电影的 vote_average 和 vote_count,并保存为 tmdb_1000_predicted.csv。
数据清洗
1 导入数据
2 缺失值处理缺失记录仅____3____条,采取网上搜索,补全信息。
2.1 补全 release_date
缺失记录的电影标题为《__America Is Still the Place__》,日期为____2014-06-01______。
2.2 补全 runtime
缺失记录的电影 runtime 分别为___94____min 和 ___240____min。
3 重复值处理
运行结果:有__4803___个不重复的 id,可以认为没有重复数据。
4 日期值处理
将 release_date 列转换为日期类型:
5 筛选数据
使用数据分析师最喜欢的一个语法: df.describe()
票房、预算、受欢迎程度、评分为___0____的数据应该去除;
评分人数过低的电影,评分不具有统计意义,筛选评分人数大于__50___的数据。
此时剩余__2961____条数据,包含___19__个字段。
6 json 数据转换
**说明:**genres,keywords,production_companies,production_countries,cast,crew 这 6 列都是 json 数据,需要处理为列表进行分析。
处理方法: json 本身为字符串类型,先转换为字典列表,再将字典列表转换为,以’,'分割的字符串
7 数据备份
标签:总结,__,5000,开学,第十,电影,____,___,数据 From: https://www.cnblogs.com/liubaiii/p/16871643.html