Python之pandas基础

1.pandas简介：

panel data analysis（多维数据分析）
pandas 中具有两种基本的数据存储结构，存储一维 values 的 Series 和存储二维 values 的 DataFrame;
Series:
Series 一般由四个部分组成，分别是序列的值 data 、索引 index 、存储类型 dtype 、序列的名字 name 。其中，索引也可以指定它的名字，默认为空
dtype = 'object’类型，代表了一种混合类型
DataFrame :
在 Series 的基础上增加了列索引，一个数据框可以由二维的 data 与行列索引来构造：值 data由一维变成了二维，加了一个参数columns，给出了列名

2.读取Excel

import pandas as pd
df = pd.read_excel('demo.xlsx')
# 前20行
df.head(10)
# 后20行
df.tail(10)

3.写入Excel

df = pd.DataFrame({
    'A':range(10,20),
    'B':range(20,30),
    'C':range(30,40),
})

with pd.ExcelWriter('./数据表/output.xlsx') as f:
    df.to_excel(f, index= False)

with open('./数据表/output.csv', 'w', newline = '') as f:
    df.to_csv(f, index= False)

4.数据类型：Series

import pandas as pd
df = pd.read_excel('./数据表/demo.xlsx')
df.columns

type(df['区县'])
df['区县']
df.区县

# 查看序号
df['区县'].index

# 获取值
df['基站IP'].values

# 修改index
df['区县'].index = range(100,151)
df['区县'].index

# 去重
df['区县'].unique()

# 去重
df['区县'].drop_duplicates()

# 查看数据描述
df['区县'].describe()

# 统计数量
df['区县'].value_counts()

# 排序
df['区县'].sort_values()

5.数据类型：DataFrame

# 表格的形状
df.shape
# 表格的列
df.columns
# 表格的行号
df.index

# 获取某一列的值
df['对应中文名称']

# 查看表格全部数据 
df.values 

# 注意数据是一列一列显示的

df.describe()

df.drop_duplicates(['厂家'], keep= 'first')

df.备注

df.fillna(0, inplace = True)
df.备注

# 选择行
df[5:10]

# 选择列
df[['区县', '基站名', '对应中文名称']]

# 选择指定行或者列（按列名）
df.loc[10:20,['基站名', '对应中文名称']]

# 选择指定行或者列（按列名）
df.loc[10:20,'区县':'对应中文名称']

# 选择指定行或者列（按序号）
df.iloc[10:20,0:3]

# 跨行选择
df.iloc[[1,3,5,7],[1,3]]

6.常用操作

# 拆分表格
df_entry = pd.read_excel('./数据表/报名表.xlsx')
df_entry.columns

# 按所属单位拆分表格
for city in df_entry['所属单位（必填）只到州市'].unique():
    df_tmp = df_entry[df_entry['所属单位（必填）只到州市']==city]
    with pd.ExcelWriter('./数据表/州市/' + city + '.xlsx') as f:
        df_tmp.to_excel(f, index =False)

# 合并表格
import os
files = os.listdir('./数据表/州市/')

res = []
for file in files:
    df_tmp = pd.read_excel('./数据表/州市/' + file)
    res.append(df_tmp)

df_res = pd.concat(res, axis = 0)

with pd.ExcelWriter('./数据表/_全省汇总.xlsx') as f:
    df_res.to_excel(f, index= False)