目录
数据分析流程
- 每个环节都有具体的要求,例如需求文档要求包含:目的,分析思路,预期效果
- 业务部门出问题和需求,以及对算法&数据部门输出报告的理解和应用
项目背景&产品架构
客户介绍:拜耳官方旗舰店(拜耳公司,总部位于德国的勒沃库森,在六大洲的200个地点建有750家生产厂;拥有120,000名员工及350家分支机构,几乎遍布世界各国.高分子,医药保健,化工以及农业是公司的四大支柱产业.公司的产品种类超过10000种)
客户需求:拜耳官方旗舰店寻求市场增长点
产品架构:
数据说明
分析流程
驱虫市场的潜力分析-分析目的&加载数据
- 分析目的:针对各个子类目市场近三年的交易额数据,以及top100品牌数据(2017年11月到2018年10月),通过描述性分析,在年变化的维度上:
- 分析整个市场的总体趋势
- 分析各子类目市场占比及变化趋势
- 分析市场集中度,即是否存在垄断
- 分析过程
-读取各子类目市场近三年交易额数据
-依时间汇总成各子类目在时间线上的交易金额数据
加载数据
导入所需库
import glob
import os
import pandas as pd
import numpy as np
import re
import datetime as dt
from sklearn.linear_model import LinearRegression
import seaborn as sns;sns.set()
from matplotlib import pyplot as plt
import jieba
import jieba.analyse
import imageio
from wordcloud import WordCloud
from snownlp import SnowNLP
import warnings
warnings.filterwarnings('ignore')
1、切换目录，将数据文件data存至于Jupyter Notebook所写文件的相同目录下，运行如下代码
# 切换目录
os.chdir('data\驱虫剂市场')
2、查找驱虫市场目录下关于近三年交易额的数据文件
filenames1 = glob.glob("*市场近三年交易额.xlsx")
filenames1
运行结果如下
这里假设 1、各月之间没有明显的周期性变化； 2、每年对应月份的数据呈线性变化
3、定义函数，读取单个excel文件，转换成DataFrame,改变列名， 时间列变为datetime类型，并将时间列变为index
def read_3threes(filename):
colname = re.search(r'.*(?=市场)',filename).group() # 提取文件名中“市场”前面的文字
df = pd.read_excel(filename)
if df['时间'].dtypes == 'int64':
# 将“时间”列的数据类型转变为datetime类型
df['时间'] = pd.to_datetime(df['时间'],unit='D',origin=pd.Timestamp('1899-12-30'))
df.rename(columns={df.columns[1]:colname},inplace=True) # 修改第二列的列名
df.set_index('时间',inplace=True)
return df
# 分别读取七个文件，并转换成DataFrame,存入列表中
dfs = [read_3threes(filename) for filename in filenames1]
# 将7个DataFrame在axis=1的方向拼接
df = pd.concat(dfs,axis=1).reset_index()
df.head()
结果如下：以时间为索引，得到不同属性商品的交易额
4、查看各列的数据缺失情况
df.isna().mean()
5、抽取df的所有月份，以供后面使用
month = df['时间'].dt.month
month
清洗数据-驱虫市场潜力分析
由于其中的时间列是从2015年11月到2018年10月,而我们需要的是2016-2018年每月完整的数据(方便从年变化的角度分析产品)
这里我们假设:
- 每年各月之间没有明显规律的周期性变化(近似认为月和月之间的相关性不大)
- 每年对应月份的数据是线性变化的(一是因为数据少,二是认为随着年份的增长,交易额在大环境下是稳步变化的)
故这里我们可以简单的用线性回归预测
1、对于每个子类目市场,用15,16,17年的11/12月销售金额预测18年的11/12月数据
for i in [11,12]:
dm = df[month==i] # 从df中抽取对应月份的记录
Xtrain = np.array(dm['时间'].dt.year).reshape(-1,1)
y_hat = [pd.datetime(2018,i,1)]
for j in range(1,len(dm.columns)): # 遍历对应月份的每个种类
ytrain = np.array(dm.iloc[:,j]) # 获取对应种类的交易金额，作为训练样本集标签
reg = LinearRegression()
reg.fit(Xtrain,ytrain)
y_predict = reg.predict(np.array([2018]).reshape(-1,1))
y_hat.append(y_predict)
newrow = pd.DataFrame(dict(zip(df.columns,y_hat)))
df = newrow.append(df) # 将预测的结果加到df中
预测结果2018年预测结果如下：
2、删除2015年的记录
df = df[df['时间'].dt.year!=2015]
3、添加新列，用来存储每年每月的交易金额总和
df['colsum'] = df.sum(1)
df.head()
插入一个年分列’year’
df.insert(1,'year',df['时间'].dt.year)
得到前五行数据为：
4、根据年份分组，并对每一组求和,重置索引
byyear = df.groupby('year').sum().reset_index()
# 重命名 'year' 列为 '年份'
byyear = byyear.rename(columns={'year': '年份'})
byyear = byyear.rename(columns={'colsum': '合计'})
# 显示前几行数据
byyear.head()
整体市场-驱虫市场的潜力分析
按照年份查看驱虫市场的总体变化趋势
- 所有子类目市场每年的交易金额总和;折线图表示变化
# 绘图
sns.relplot('年份','合计',kind='line',marker='o',data=byyear)
plt.title('近三年驱虫市场趋势',fontsize=16)
plt.xticks(byyear.年份)
plt.xlabel('年份')
plt.yticks(byyear.合计)
plt.ylabel('总交易额')
plt.show()
可以看出:近三年呈增长趋势,整个市场倾向于成长期和成熟期