01-data_explore.py

 1 # -*- coding: utf-8 -*-
 2 
 3 # 代码10-1
 4 
 5 import pandas as pd
 6 import matplotlib.pyplot as plt
 7 
 8 inputfile = './demo/data/original_data.xls'  # 输入的数据文件
 9 data = pd.read_excel(inputfile)  # 读取数据
10 
11 # 查看有无水流的分布
12 # 数据提取
13 lv_non = pd.value_counts(data['有无水流'])['无']
14 lv_move = pd.value_counts(data['有无水流'])['有']
15 # 绘制条形图
16  
17 fig = plt.figure(figsize = (6 ,5))  # 设置画布大小
18 plt.rcParams['font.sans-serif'] = 'SimHei'  # 设置中文显示
19 plt.rcParams['axes.unicode_minus'] = False
20 plt.bar(left=range(2), height=[lv_non,lv_move], width=0.4, alpha=0.8, 
21         color='skyblue')
22 plt.xticks([index for index in range(2)], ['无','有'])
23 plt.xlabel('水流状态')
24 plt.ylabel('记录数')
25 plt.title('不同水流状态记录数')
26 plt.show()
27 plt.close()
28 
29 # 查看水流量分布
30 water = data['水流量']
31 # 绘制水流量分布箱型图
32 fig = plt.figure(figsize = (5 ,8))
33 plt.boxplot(water, 
34             patch_artist=True,
35             labels = ['水流量'],  # 设置x轴标题
36             boxprops = {'facecolor':'lightblue'})  # 设置填充颜色
37 plt.title('水流量分布箱线图')
38 # 显示y坐标轴的底线
39 plt.grid(axis='y')
40 plt.show()

 02-data_preprocessed.py

  1 # -*- coding: utf-8 -*-
  2 
  3 # ´代码10-2
  4 
  5 import pandas as pd
  6 import numpy as np
  7 data = pd.read_excel('../data/original_data.xls')
  8 print('初始状态的数据形状为：', data.shape)
  9 # 删除热水器编号、有无水流、节能模式属性
 10 data.drop(labels=["热水器编号","有无水流","节能模式"],axis=1,inplace=True) 
 11 print('删除冗余属性后的数据形状为：', data.shape)
 12 data.to_csv('../tmp/water_heart.csv',index=False)
 13 
 14 
 15 
 16 
 17 # 代码10-3
 18 
 19 # 读取数据
 20 data = pd.read_csv('../tmp/water_heart.csv')
 21 # 划分用水事件
 22 threshold = pd.Timedelta('4 min')  # 阈值为4分钟
 23 data['发生时间'] = pd.to_datetime(data['发生时间'], format = '%Y%m%d%H%M%S')  # 转换时间格式
 24 data = data[data['水流量'] > 0]  # 只要流量大于0的记录
 25 sjKs = data['发生时间'].diff() > threshold  # 相邻时间向前差分，比较是否大于阈值
 26 sjKs.iloc[0] = True  # 令第一个时间为第一个用水事件的开始事件
 27 sjJs = sjKs.iloc[1:]  # 向后差分的结果
 28 sjJs = pd.concat([sjJs,pd.Series(True)])  # 令最后一个时间作为最后一个用水事件的结束时间
 29 # 创建数据框，并定义用水事件序列
 30 sj = pd.DataFrame(np.arange(1,sum(sjKs)+1),columns = ["事件序号"])
 31 sj["事件起始编号"] = data.index[sjKs == 1]+1  # 定义用水事件的起始编号
 32 sj["事件终止编号"] = data.index[sjJs == 1]+1  # 定义用水事件的终止编号
 33 print('当阈值为4分钟的时候事件数目为：',sj.shape[0])
 34 sj.to_csv('../tmp/sj.csv',index = False)
 35 
 36 
 37 
 38 
 39 # 代码10-4
 40 
 41 # 确定单次用水事件时长阈值
 42 n = 4  # 使用以后四个点的平均斜率
 43 threshold = pd.Timedelta(minutes=5)  # 专家阈值
 44 data['发生时间'] = pd.to_datetime(data['发生时间'], format='%Y%m%d%H%M%S')
 45 data = data[data['水流量'] > 0]  # 只要流量大于0的记录
 46 # 自定义函数：输入划分时间的时间阈值，得到划分的事件数
 47 def event_num(ts):
 48     d = data['发生时间'].diff() > ts  # 相邻时间作差分，比较是否大于阈值
 49     return d.sum() + 1  # 这样直接返回事件数
 50 dt = [pd.Timedelta(minutes=i) for i in np.arange(1, 9, 0.25)]
 51 h = pd.DataFrame(dt, columns=['阈值'])  # 转换数据框，定义阈值列
 52 h['事件数'] = h['阈值'].apply(event_num)  # 计算每个阈值对应的事件数
 53 h['斜率'] = h['事件数'].diff()/0.25  # 计算每两个相邻点对应的斜率
 54 h['斜率指标']= h['斜率'].abs().rolling(4).mean()  # 往前取n个斜率绝对值平均作为斜率指标
 55 ts = h['阈值'][h['斜率指标'].idxmin() - n]
 56 # 用idxmin返回最小值的Index，由于rolling_mean()计算的是前n个斜率的绝对值平均
 57 # 所以结果要进行平移（-n）
 58 if ts > threshold:
 59     ts = pd.Timedelta(minutes=4)
 60 print('计算出的单次用水时长的阈值为：',ts)
 61 
 62 
 63 
 64 
 65 # 代码10-5
 66 
 67 data = pd.read_excel('../data/water_hearter.xlsx',encoding='gbk')  # 读取热水器使用数据记录
 68 sj = pd.read_csv('../tmp/sj.csv')  # 读取用水事件记录
 69 # 转换时间格式
 70 data["发生时间"] = pd.to_datetime(data["发生时间"],format="%Y%m%d%H%M%S")
 71 
 72 # 构造特征：总用水时长
 73 timeDel = pd.Timedelta("0.5 sec")
 74 sj["事件开始时间"] = data.iloc[sj["事件起始编号"]-1,0].values- timeDel
 75 sj["事件结束时间"] = data.iloc[sj["事件终止编号"]-1,0].values + timeDel
 76 sj['洗浴时间点'] = [i.hour for i in sj["事件开始时间"]]
 77 sj["总用水时长"] = np.int64(sj["事件结束时间"] - sj["事件开始时间"])/1000000000 + 1
 78 
 79 # 构造用水停顿事件
 80 # 构造特征“停顿开始时间”、“停顿结束时间”
 81 # 停顿开始时间指从有水流到无水流，停顿结束时间指从无水流到有水流
 82 for i in range(len(data)-1):
 83     if (data.loc[i,"水流量"] != 0) & (data.loc[i + 1,"水流量"] == 0) :
 84         data.loc[i + 1,"停顿开始时间"] = data.loc[i +1, "发生时间"] - timeDel
 85     if (data.loc[i,"水流量"] == 0) & (data.loc[i + 1,"水流量"] != 0) :
 86         data.loc[i,"停顿结束时间"] = data.loc[i , "发生时间"] + timeDel
 87         
 88 # 提取停顿开始时间与结束时间所对应行号，放在数据框Stop中
 89 indStopStart = data.index[data["停顿开始时间"].notnull()]+1
 90 indStopEnd = data.index[data["停顿结束时间"].notnull()]+1
 91 Stop = pd.DataFrame(data={"停顿开始编号":indStopStart[:-1],
 92                             "停顿结束编号":indStopEnd[1:]}) 
 93 # 计算停顿时长，并放在数据框stop中，停顿时长=停顿结束时间-停顿结束时间
 94 Stop["停顿时长"] = np.int64(data.loc[indStopEnd[1:]-1,"停顿结束时间"].values-
 95                      data.loc[indStopStart[:-1]-1,"停顿开始时间"].values)/1000000000
 96 # 将每次停顿与事件匹配,停顿的开始时间要大于事件的开始时间，
 97 # 且停顿的结束时间要小于事件的结束时间
 98 for i in range(len(sj)):
 99     Stop.loc[(Stop["停顿开始编号"] > sj.loc[i,"事件起始编号"]) & 
100            (Stop["停顿结束编号"] < sj.loc[i,"事件终止编号"]),"停顿归属事件"]=i+1
101              
102 # 删除停顿次数为0的事件
103 Stop = Stop[Stop["停顿归属事件"].notnull()]
104 
105 # 构造特征 用水事件停顿总时长、停顿次数、停顿平均时长、
106 # 用水时长，用水/总时长
107 stopAgg =  Stop.groupby("停顿归属事件").agg({"停顿时长":sum,"停顿开始编号":len})
108 sj.loc[stopAgg.index - 1,"总停顿时长"] = stopAgg.loc[:,"停顿时长"].values
109 sj.loc[stopAgg.index-1,"停顿次数"] = stopAgg.loc[:,"停顿开始编号"].values
110 sj.fillna(0,inplace=True)  # 对缺失值用0插补
111 stopNo0 = sj["停顿次数"] != 0  # 判断用水事件是否存在停顿
112 sj.loc[stopNo0,"平均停顿时长"] = sj.loc[stopNo0,"总停顿时长"]/sj.loc[stopNo0,"停顿次数"] 
113 sj.fillna(0,inplace=True)  # 对缺失值用0插补
114 sj["用水时长"] = sj["总用水时长"] - sj["总停顿时长"]  # 定义特征用水时长
115 sj["用水/总时长"] = sj["用水时长"] / sj["总用水时长"]  # 定义特征 用水/总时长
116 print('用水事件用水时长与频率特征构造完成后数据的特征为：\n',sj.columns)
117 print('用水事件用水时长与频率特征构造完成后数据的前5行5列特征为：\n',
118       sj.iloc[:5,:5])
119 
120 
121 
122 
123 # ´代码10-6
124 
125 data["水流量"] = data["水流量"] / 60 # 原单位L/min，现转换为L/sec
126 sj["总用水量"] = 0 # 给总用水量赋一个初始值0
127 for i in range(len(sj)):
128     Start = sj.loc[i,"事件起始编号"]-1
129     End = sj.loc[i,"事件终止编号"]-1
130     if Start != End:
131         for j in range(Start,End):
132             if data.loc[j,"水流量"] != 0:
133                 sj.loc[i,"总用水量"] = (data.loc[j + 1,"发生时间"] - 
134                                     data.loc[j,"发生时间"]).seconds* \
135                                     data.loc[j,"水流量"] + sj.loc[i,"总用水量"]
136         sj.loc[i,"总用水量"] = sj.loc[i,"总用水量"] + data.loc[End,"水流量"] * 2
137     else:
138         sj.loc[i,"总用水量"] = data.loc[Start,"水流量"] * 2
139         
140 sj["平均水流量"] = sj["总用水量"] / sj["用水时长"] # 定义特征 平均水流量
141 # 构造特征：水流量波动
142 # 水流量波动=∑(((单次水流的值-平均水流量)^2)*持续时间)/用水时长
143 sj["水流量波动"] = 0 # 给水流量波动赋一个初始值0
144 for i in range(len(sj)):
145     Start = sj.loc[i,"事件起始编号"] - 1
146     End = sj.loc[i,"事件终止编号"] - 1
147     for j in range(Start,End + 1):
148         if data.loc[j,"水流量"] != 0:
149             slbd = (data.loc[j,"水流量"] - sj.loc[i,"平均水流量"])**2
150             slsj = (data.loc[j + 1,"发生时间"] - data.loc[j,"发生时间"]).seconds
151             sj.loc[i,"水流量波动"] = slbd * slsj + sj.loc[i,"水流量波动"]
152     sj.loc[i,"水流量波动"] = sj.loc[i,"水流量波动"] / sj.loc[i,"用水时长"]   
153 
154 # 构造特征：停顿时长波动
155 # 停顿时长波动=∑(((单次停顿时长-平均停顿时长)^2)*持续时间)/总停顿时长
156 sj["停顿时长波动"] = 0 # 给停顿时长波动赋一个初始值0
157 for i in range(len(sj)):
158     if sj.loc[i,"停顿次数"] > 1: # 当停顿次数为0或1时，停顿时长波动值为0，故排除
159         for j in Stop.loc[Stop["停顿归属事件"] == (i+1),"停顿时长"].values:
160             sj.loc[i,"停顿时长波动"] = ((j - sj.loc[i,"平均停顿时长"])**2) * j + \
161                                      sj.loc[i,"停顿时长波动"]
162         sj.loc[i,"停顿时长波动"] = sj.loc[i,"停顿时长波动"] / sj.loc[i,"总停顿时长"]
163 
164 print('用水量和波动特征构造完成后数据的特征为：\n',sj.columns)
165 print('用水量和波动特征构造完成后数据的前5行5列特征为：\n',sj.iloc[:5,:5])
166 
167 
168 
169 
170 # 代码10-7
171 
172 sj_bool = (sj['用水时长'] >100) & (sj['总用水时长'] > 120) & (sj['总用水量'] > 5)
173 sj_final = sj.loc[sj_bool,:]
174 sj_final.to_excel('../tmp/sj_final.xlsx',index=False)
175 print('筛选出候选洗浴事件前的数据形状为：',sj.shape)
176 print('筛选出候选洗浴事件后的数据形状为：',sj_final.shape)

03-model_train.py

 1 # -*- coding: utf-8 -*-
 2 
 3 # 代码10-8
 4 
 5 import pandas as pd
 6 from sklearn.preprocessing import StandardScaler
 7 from sklearn.neural_network import MLPClassifier
 8 from sklearn.externals import joblib
 9 
10 # 读取数据
11 Xtrain = pd.read_excel('../tmp/sj_final.xlsx')
12 ytrain = pd.read_excel('../data/water_heater_log.xlsx')
13 test = pd.read_excel('../data/test_data.xlsx')
14 # 训练集测试集区分。
15 x_train, x_test, y_train, y_test = Xtrain.iloc[:,5:],test.iloc[:,4:-1],\
16                                    ytrain.iloc[:,-1],test.iloc[:,-1]
17 # 标准化
18 stdScaler = StandardScaler().fit(x_train)
19 x_stdtrain = stdScaler.transform(x_train)
20 x_stdtest = stdScaler.transform(x_test)
21 # 建立模型
22 bpnn = MLPClassifier(hidden_layer_sizes = (17,10), max_iter = 200, solver = 'lbfgs',random_state=50)
23 bpnn.fit(x_stdtrain, y_train)
24 # 保存模型
25 joblib.dump(bpnn,'../tmp/water_heater_nnet.m')
26 print('构建的模型为：\n',bpnn)