数据分组是对相同类别的数据进行汇总，而数据透视表是通过对行或列的不同组合对数据进行汇总，所使用的汇总方法有求和、计数、平均值、标准差等，本文使用Python对数据进行数据分组和数据透视，下面一起来学习。
一、groupby分组
这里首先导入pandas和datetime库，生成一个包含'用户ID','日期','城市','年龄','性别','成交量'的DataFrame数据。
import pandas as pdimport datetime
df = pd.DataFrame({'用户ID':[1001,1002,1003,1004,1005,1006], '日期':pd.date_range(datetime.datetime(2021,3,23),periods=6), '城市':['北京', '上海', '广州', '上海', '杭州', '北京'], '年龄':[23,44,54,32,34,32], '性别':['F','M','M','F','F','F'], '成交量':[3200,1356,2133,6733,2980,3452]}, columns =['用户ID','日期','城市','年龄','性别','成交量'])df
groupby可以通过传入需要分组的参数实现对数据的分组，参数可以是单列，也可以是多列，分组后可以对单列进行函数处理，也可以对多列进行函数处理。
#按照单列分组df.groupby('城市').count()
#按照单列分组df.groupby('城市')['用户ID'].count()
先筛选列再groupby与先groupby再筛选列得出来的结果是一样的。
# 先筛选,然后groupby要加dfdf['成交量'].groupby([df['城市'],df['性别']]).sum()
如果先聚合，聚合列可以只写列名，不加变量名，因为没有筛选某列前，可以直接搜索到列。
#先groupby()再写列，列不用加dfdf.groupby(['城市','性别'])['成交量'].count() #计数
#先groupby()再写列，列不用加dfdf.groupby(['城市','性别'])['成交量'].sum() #求和
使用unstack函数，增加数据透视的效果。
# 增加透视效果df['成交量'].groupby([df['城市'],df['性别']]).sum().unstack()
as_index=False，会按从0开始的数据索引。
#分组键一般会作为分层索引，如果不想要，可以在group()中加上参数：as_index=False，会按从0开始的数据索引df.groupby([df['城市'], df['性别']],as_index=False).sum()
先数据分组，然后做描述分析。
df.groupby('城市').describe()
size显示数据组分类的多少。
df.groupby('城市').size()
二、group by与agg的用法
groupby与agg两者可以结合使用，可以对单列或多列进行单一或多个不同的聚合运算, 常用聚合函数有count,sum,std等，直接用函数名加引号即可，如果有多个函数时，可以用逗号隔开;
# 常用聚合函数用引号即可引用df.groupby(['城市', '性别']).agg('sum')
列表可以同时使用多个函数，用逗号隔开。
# 列表可以同时使用多个函数df.groupby(['城市', '性别']).agg(['mean','std','sum','count'])
reset_index用来重置索引。
# 列表可以同时使用多个函数df.groupby(['城市', '性别']).agg(['mean','std','sum','count']).reset_index()
用元组修改函数名。
# 可以用元组修改函数名df.groupby(['城市', '性别']).agg([('No.1', 'sum'), ('No.2', 'std')])
可以对不同的列使用不同的函数进行运算。
#如果不同列用不同函数，可以对不同的列使用不同的函数df.groupby(['城市', '性别']).agg({'年龄': ['max','min'],'成交量': ['sum', 'count', 'std']})
三、apply与agg的用法
apply与agg相同点：都可以对分组后的结果进行运算；
apply与agg不同点：agg只能对单列，apply可以对多列进行；apply可以使用匿名函数，agg不可以使用匿名函数。
#首先定义一个top函数，使用apply函数进行运算def top(df, n=2, column='成交量'): return df.sort_values(by=column)[-n:] # 自建函数
df.groupby('城市').apply(top)
直接使用apply函数进行聚合运算。
df.groupby('城市').apply(top, n=3, column='成交量')
四、cut与qcut的用法
qcut是等样本数，cut是等值区间分，groupby和cut和qcut结合使用，可以对等值或等样本数分组后的结果进行分析。
#使用numpy生成两个随机数import numpy asdf = pd.DataFrame({'data1':np.random.randn(1000),'data2': np.random.randn(1000)})df.head()
将数据data1等值区间四等分。
#将数据data1等值区间四等分quariles = pd.cut(df.data1, 4)quariles[:10]
数据data1等样本数四等分。
#将数据data1等样本数四等分quriles_1 = pd.qcut(df.data1,4)quriles_1[:10]
五、apply与applymap的用法
apply函数主要用于对DataFrame中的某一column或row中的元素执行相同的函数操作，而applymap函数主要用于对DataFrame中每一个元素执行系统的操作，apply和applymap都要与lambda结合使用。
#首先生成A,B,C的一个随机数组import numpy asdf = pd.DataFrame({'A':np.random.rand(3),'B': np.random.rand(3),'C': np.random.rand(3) })df.head()
使用apply函数，对A列的每一个元素加1。
#对A列的每一个元素加1df["A"].apply(lambda x:x+1)
使用applymap对表内的每个元素加1。
#对表内的每个元素加1df.applymap(lambda x:x+1)
定义一个get函数，对data2数据使用apply函数做聚合运算。
def get(group): return {'min':group.min(),'max':group.max(),'count': group.count(),'mean': group.mean()}
df.data2.groupby(quariles).apply(get)
使用unstack函数显示数据透视表效果。
df.data2.groupby(quariles).apply(get).unstack()
labels=False采用默认的0开始的索引
# 去掉分组数值lable,采用默认的0开始的索引q = pd.qcut(df.data1, 10, labels=False) df.data2.groupby(q).apply(get).unstack()
六、数据透视表
数据透视表使用的是pivot_table函数，接下来介绍该函数使用最多的几个参数。data表示使用数据透视表数据，values表示计算值，index表示数据透视的行，columns表示数据透视的列，aggfunc表示计算类型，margins表示是否显示合计列，margins_name表示合计列的名字。
pivot_table(data, values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All')
margins显示合计，并且margins_name修改合计名称。
#margins显示合计，margins_name修改合计名称pd.pivot_table(df,values = "用户ID",columns ="性别",index="城市",aggfunc="count",margins = True,margins_name ="合计")
当数据透视结果有缺失值时，用fill_value = 0缺失值填充。
#fill_value = 0缺失值填充pd.pivot_table(df,values = "用户ID",columns ="性别",index="城市",aggfunc="count",fill_value = 0)
aggfunc={"用户ID":"count","成交量":"sum"}，对用户ID做计数运算，对成交量做求和运算。
pd.pivot_table(df,values = ["用户ID","成交量"],columns="性别",index="城市",aggfunc={"用户ID":"count","成交量":"sum"},fill_value = 0)
reset_index对数据透视结果重置索引。
pd.pivot_table(df,values = ["用户ID","成交量"],columns="性别",index="城市",aggfunc={"用户ID":"count","成交量":"sum"},fill_value = 0).reset_index()