MathorCup 高校数学建模挑战赛——大数据竞赛

标签：plt df print 电影 建模 release MathorCup genre 挑战赛

MathorCup 高校数学建模挑战赛——大数据竞赛

练习题：观影大数据分析

王 S 聪想要在海外开拓万 D 电影的市场，这次他在考虑：怎么拍商业电影才能赚钱？毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影业来说比以往任何时候都更加重要。 所以，他就请来了你（数据分析师）来帮他解决问题，给出一些建议，根据数据分析一下商业电影的成功是否存在统一公式？以帮助他更好地进行决策。

解决的终极问题是：电影票房的影响因素有哪些？ 接下来我们就分不同的维度分析：

• 观众喜欢什么电影类型？有什么主题关键词？
• 电影风格随时间是如何变化的？
• 电影预算高低是否影响票房？
• 高票房或者高评分的导演有哪些？
• 电影的发行时间最好选在啥时候？
• 拍原创电影好还是改编电影好？

本次使用的数据来自于 Kaggle 平台（TMDb 5000 Movie Database）。收录了美国地区 1916-2017 年近 5000 部电影的数据，包含预算、导演、票房、电影评

分等信息。原始数据集包含 2 个文件：

• tmdb_5000_movies：电影基本信息，包含 20 个变量
• tmdb_5000_credits：演职员信息，包含 4 个变量请使用 Python  编程，完成下列问题：

（1） 使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集，进行数据清洗、数据挖掘、数据分析和数据可视化等，研究电影票房的影响因素有哪些？从不同的维度分析电影，讨论并分析你的结果。

（2） 附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息，请你选择合适的指标，进行特征提取，建立机器学习的预测模型，预测 1000 部电影的vote_average 和 vote_count，并保存为 tmdb_1000_predicted.csv。

数据清洗

1 导入数据

 

 

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来显示中文
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

import json

import warnings

warnings.filterwarnings('ignore')

pd.set_option('display.width', 1000)  # 加了这一行那表格的一行就不会分段出现了

# 显示所有列
pd.set_option('display.max_columns', None)
# 显示所有行
pd.set_option('display.max_rows', None)

movies = pd.read_csv('D:\\installed\\python\\document\\tmdb_5000_movies.csv', encoding='utf_8')
credits = pd.read_csv('D:\\installed\\python\\document\\tmdb_5000_credits.csv', encoding='utf_8')

movies.info()  # 查看信息
credits.info()

# 两个数据框都有title列，以及movies.riginal_title

# 以上三个数据列重复，删除两个
del credits['title']
del movies['original_title']

# 连接两个csv文件
merged = pd.merge(movies, credits, left_on='id', right_on='movie_id', how='left')

# 删除不需要分析的列
df = merged.drop(['homepage', 'overview', 'spoken_languages', 'status', 'tagline', 'movie_id'], axis=1)
df.info()

 

 

 

 

 

 

 

 

 

 

 

2 缺失值处理

 

缺失记录仅 3条，采取网上搜索，补全信息。

 

2.1 补全 release_date

 

查找release_date是空

print("查找缺失值记录-release_date +++++++++++++++++++++++++++++++")
n = df[df.release_date.isnull()]
print(n)

 

 

 

 

 

 

 

 

 

 

 

 

缺失记录的电影标题为《 America Is Still the Place》，日期为  2014-06-01。

 

2.2 补全 runtime

 

查找runtime是空的数据

 

n2 = df[df.runtime.isnull()]
print(n2)

 

 

 

 

 

 

 

 

 

 

 

 

缺失记录的电影 runtime 分别为 94min 和 240min。

 

3 重复值处理

 

 

print("重复值处理+++++++++++++++++++++++++++++++")
n3 = len(df.id.unique())
print(n3)

 

 

 

 

运行结果：有 4803个不重复的 id，可以认为没有重复数据。

4 日期值处理

 

将 release_date 列转换为日期类型：

 

print("release_date 列转换为日期类型+++++++++++++++++++++++++++++++++")
df['release_year'] = pd.to_datetime(df.release_date, format = '%Y-%m-%d',errors='coerce').dt.year
df['release_month'] = pd.to_datetime(df.release_date).apply(lambda x: x.month)
df['release_day'] = pd.to_datetime(df.release_date).apply(lambda x: x.day)
df.info()

 

 

 

 

 

 

 

 

 

5 筛选数据

 

使用数据分析师最喜欢的一个语法：

 

n4 = df.describe()
print(n4)

 

 

 

 

 

 

 

票房、预算、受欢迎程度、评分为 0的数据应该去除；

评分人数过低的电影，评分不具有统计意义，筛选评分人数大于 50的数据。

 

 

 

df = df[(df.vote_count >= 50) & (df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = 'True')
df.info()

 

 

 

 

 

 

 

此时剩余 2961条数据，包含 19个字段。

 

6 json 数据转换

 

**说明：**genres,keywords,production_companies,production_countries,cast,crew 这 6 列都是

 

json 数据，需要处理为列表进行分析。处理方法：

json 本身为字符串类型，先转换为字典列表，再将字典列表转换为，以’,'分割的字符串

 

 

print("+++++++++++++++++++++++++pppppppppppppp")
json_column = ['genres', 'keywords', 'production_companies', 'production_countries', 'cast', 'crew']

# 1-json本身为字符串类型，先转换为字典列表
for i in json_column:
    df[i] = df[i].apply(json.loads)

# 2-将字典列表转换为以','分割的字符串
def get_name(x):
    return ','.join([i['name'] for i in x])

df['cast'] = df['cast'].apply(get_name)

# 3.提取derector
def get_director(x):
    for i in x:
        if i['job'] == 'Director':
            return i['name']

df['crew'] = df['crew'].apply(get_director)

for j in json_column[0:4]:
    df[j] = df[j].apply(get_name)

# 命名字典
rename_dict = {'cast': 'actor', 'crew': 'director'}

df.rename(columns=rename_dict, inplace=True)

df.info()

df.head(5)

 

 

 

 

 

 

7 数据备份

 

print("++++++++++++++++++++++++++++++++")
# 备份原始数据框original_df
org_df = df.copy()
df.reset_index().to_csv("TMDB_5000_Movie_Dataset_Cleaned.csv")
df.info()

 

 

 

 

 

 

 

 

 

 

 

5 数据分析

 

5.1 why

 

想要探索影响票房的因素，从电影市场趋势，观众喜好类型，电影导演，发行时间，评分与关键词等维度着手，给从业者提供合适的建议。

5.2 what

 

5.2.1 电影类型：定义一个集合，获取所有的电影类型

 

 

 

 

 

 

genre = set()
for i in df['genres'].str.split(','):  # 去掉字符串之间的分隔符，得到单个电影类型
    genre = set().union(i, genre)  # 集合求并集
    # genre.update(i) #或者使用update方法
print(genre)

 

 

 

 

 

 

注意到集合中存在多余的元素：空的单引号，所以需要去除。

 

 

genre.discard('')
print("去除多余的元素")
print(genre)

 

 

 

5.2.1.1 电影类型数量（绘制条形图）

 

 

# 将genre转变成列表
genre_list = list(genre)

# 创建数据框-电影类型
genre_df = pd.DataFrame()

# 对电影类型进行one-hot编码
for i in genre_list:
    # 如果包含类型 i，则编码为1，否则编码为0
    genre_df[i] = df['genres'].str.contains(i).apply(lambda x: 1 if x else 0)

# 将数据框的索引变为年份
genre_df.index = df['release_year']
genre_df.head(5)


# 计算得到每种类型的电影总数目，并降序排列
grnre_sum = genre_df.sum().sort_values(ascending=False)

# 可视化
colors = ['cyan', 'red']
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来显示中文
grnre_sum.plot(kind='bar', label='genres', color=colors, figsize=(12, 9))

plt.title('不同类型的电影数量总计', fontsize=20)
plt.xticks(rotation=60)
plt.xlabel('电影类型', fontsize=16)
plt.ylabel('数量', fontsize=16)
plt.grid(False)
plt.savefig("不同电影类型数量-条形图.png", dpi=300)  # 在 plt.show() 之前调用 plt.savefig()
plt.show()

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5.2.1.2 电影类型占比（绘制饼图）

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5.2.1.3 电影类型变化趋势（绘制折线图）

标签：plt,df,print,电影,建模,release,MathorCup,genre,挑战赛
From： https://www.cnblogs.com/lss1226/p/16967950.html