标签：入门 -- movie dfm Series print csv Pandas
Pandas
Pandas
"""
Pandas
DataFrame: 可以把DataFrame看作由Series对象组成的字典, 其中key是列名, 值是Series
Series: Series和Python中的列表类似, 但是Series中每个元素的数据类型必须相同
没有行的数据结构:
即使是行数据, 也会通过列的方式进行展示
"""
1.1 Series
"""
创建Series对象
Series 是pandas中的最基本的数据结构对象, 是DataFrame的列对象或者行对象
Series 本身具有行索引
Series 是一种类似于一维数组的对象, 有两个部分组成
1. values 一维数组的数据(numpy.ndarray类型)
2. index 相关的数据行索引标签, 如果没有为数据指定索引, 于是自动创建一个 0 到 n-1 的整形索引
"""
import pandas as pd
import numpy as np
# 创建 numpy.ndarray 对象
n = np.array([1, 2, 3])
print(n)
print(type(n))
# 构建Series对象
s = pd.Series(data=n)
print(s)
print(type(s))
# 创建Series对象
s = pd.Series(["hello", 12])
print(s)
print(type(s[1]))
# 通过元祖创建Series对象
tuple = (1, 2, 3)
s = pd.Series(tuple)
print(s)
# 通过字典创建Series对象
# 其中 key 作为 Series 对象的索引值 value 作为Series对象的数据值
d = {"a": 1, "b": 2, "c": 3}
s = pd.Series(d)
print(s)
1.1.1 常用属性
"""
常用属性:
loc -- 使用索引值获取数据
iloc -- 使用行号获取数据
dtype dtypes -- Series 内容的数据类型
T -- Series的转置矩阵
shape -- 数组的维度
size -- Series 中元素的数量
values -- Series 的数据值
index -- Series 的索引值
"""
# 读取 csv 文件
data = pd.read_csv('data/nobel_prizes.csv', index_col='id')
# 展示数据中的前 5 行 数据
print(data.head())
# 通过使用索引值获取数据
first_row = data.loc[1]
print(first_row)
# 使用行号获取数据
first_row = data.iloc[1]
print(first_row)
1.1.2 常用方法
"""
常用方法
append -- 连接两个或多个Series
corr -- 计算与另一个Series的相关系数
cov -- 计算与另一个Series的协方差
describe -- 计算常见统计量
drop_duplicates -- 返回去重之后的Series
equals -- 判断两个Series是否相同
get_values -- 获取Series的值，作用与values属性相同
hist -- 绘制直方图
isinSeries -- 中是否包含某些值
min -- 返回最小值
max -- 返回最大值
mean -- 返回算术平均值
median -- 返回中位数
mode -- 返回众数
quantile -- 返回指定位置的分位数
replace -- 用指定值代替Series中的值
sample -- 返回Series的随机采样值
sort_values -- 对值进行排序
to_frame -- 把Series转换为DataFrame
unique -- 去重返回数组
value_counts -- 统计不同值数量
keys -- 获取索引值
head -- 查看前5个值
tail -- 查看后5个值
"""
# 布尔类型索引
# 从 scientists.csv 数据集中，展示出大于 Age 列的平均值的具体值
dfm = pd.read_csv('data/scientists.csv')
print(dfm)
print(dfm.head())
# 通过布尔值获取 大于 Age 列的平均值的具体值 元素
dfm[dfm['Age'] > dfm.Age.mean()]
"""
series 的运算
Series 与 数据类型变量计算时, 变量会与Series中每个元素进行计算
两个 Series之间计算时, 索引相同的元素会进行计算, 索引值不同的元素的计算结果会用NaN进行填充
"""
2.1 DataFrame
"""
DataFrame
DataFrame 是一个表格型数据结构, 包含任意多个Series
DataFrame 是Pandas中最基本的数据结构对象 可以认为是一个二维数据表, 有行有列有索引
DataFrame 许多属性和方法 与 Series 相同
"""
# 字典方式创建
dict_data = {
'id': [1, 2, 3],
'name': ['Alice', 'Bob', 'Charlie'],
'age': [25, 30, 35]
}
dfm = pd.DataFrame(data=dict_data)
print(dfm)
print(type(dfm))
# 通过index参数指定索引 columns 参数指定列的位置
dfm = pd.DataFrame(data=dict_data, index=['A', 'B', 'C'], columns=['id', 'name', 'age'])
print(dfm)
# 列表 + 元祖方式创建
list_data = [(1, '张飞', 18), (2, '关羽', 20), (3, '刘备', 22)]
dfm = pd.DataFrame(list_data, index=['A', 'B', 'C'], columns=['id', 'name', 'age'])
print(dfm)
2.1.1 基础属性 基本函数
"""
DataFrame 基础属性 基本函数
"""
# 加载数据集, 得到df对象
dfm = pd.read_csv('data/scientists.csv')
print('=============== 常用属性 ===============')
# 查看维度, 返回元组类型 -> (行数, 列数), 元素个数代表维度数
print(dfm.shape)
# 查看数据值个数, 行数*列数, NaN值也算
print(dfm.size)
# 查看数据值, 返回numpy的ndarray类型
print(dfm.values)
# 查看维度数
print(dfm.ndim)
# 返回列名和列数据类型
print(dfm.dtypes)
# 查看索引值, 返回索引值对象
print(dfm.index)
# 查看列名, 返回列名对象
print(dfm.columns)
print('=============== 常用方法 ===============')
# 查看前5行数据
print(dfm.head())
# 查看后5行数据
print(dfm.tail())
# 查看df的基本信息
dfm.info()
# 查看df对象中所有数值列的描述统计信息
print(dfm.describe())
# 查看df对象中所有非数值列的描述统计信息
# exclude:不包含指定类型列
print(dfm.describe(exclude=['int', 'float']))
# 查看df对象中所有列的描述统计信息
# include:包含指定类型列, all代表所有类型
print(dfm.describe(include='all'))
# 查看df的行数
print(len(dfm))
# 查看df各列的最小值
print(dfm.min())
# 查看df各列的非空值个数
print(dfm.count())
# 查看df数值列的平均值
print(dfm.mean())
2.1.2 索引相关操作
"""
DataFrame 索引相关操作
Pandas 关于DataFrame和Series相关API中 参数有 inplace 的 默认值是 False
即会返回对象的副本 不会对原始对象数据进行更改
如果 设置 inplace=True 就会直接修改原来的数据, 但是该方法就没有返回值了
"""
# 读取文件, 不指定索引, Pandas会自动加上从0开始的索引
movie = pd.read_csv('data/movie.csv')
movie.head()
# 设置 电影名 为索引列 不修改原始数据
new_movie = movie.set_index('movie_title')
new_movie.head()
# 如果加上 inplace=True, 则会修改原始的df对象
movie.set_index('movie_title', inplace=True)
movie.head() # 原始的数据并没有发生改变
# 取消之前设置的索引 这里 加上inplace, 就是直接修改 源数据
movie.reset_index(inplace=True)
movie.head()
2.1.3 修改行名 和 列索引值
"""
DataFrame 修改行名 和 列索引值
方式一 rename()函数, 可以对原有的行索引名 和 列名进行修改
方式二 把 index 和 columns属性提取出来, 修改之后, 再赋值回去
"""
# 方式一 rename()函数, 可以对原有的行索引名 和 列名进行修改
movie = pd.read_csv('data/movie.csv', index_col='movie_title')
# 前5个行索引名
movie.index[:5]
# 前5个列名
movie.columns[:5]
# 修改 行索引名 和 列名
idx_rename = {'Avatar': '阿凡达', "Pirates of the Caribbean: At World's End": '加勒比海盗'}
col_rename = {'color': '颜色', 'director_name': '导演名'}
# 通过rename()函数, 对原有的行索引名 和 列名进行修改
movie.rename(index=idx_rename, columns=col_rename).head()
# 方式二 把 index 和 columns属性提取出来, 修改之后, 再赋值回去
movie = pd.read_csv('data/movie.csv', index_col='movie_title')
# 提取出 行索引名 和 列名, 并转成列表.
index_list = movie.index.tolist()
columns_list = movie.columns.tolist()
# 修改列表元素值
index_list[0] = '阿凡达'
index_list[1] = '加勒比海盗'
columns_list[0] = '颜色'
columns_list[1] = '导演名'
# 重新把修改后的值, 设置成 行索引 和 列名
movie.index = index_list
movie.columns = columns_list
# 查看数据
movie.head(5)
2.1.4 添加列
# 添加列
movie = pd.read_csv('data/movie.csv', index_col='movie_title')
# 方式一
# 通过 dfm[列名] = 值 的方式, 可以给df对象新增一列, 默认: 在df对象的最后添加一列
movie['has_seen'] = 0
movie.head() # 查看内容
# 方式二
# insert() 表示插入列 参数解释: loc:插入位置(从索引0开始计数), column=列名, value=值
# 总利润 = 总收入 - 总预算
movie.insert(loc=1, column='profit', value=movie['gross'] - movie['budget'])
movie.head()
2.1.5 删除列
# 删除列
# movie.drop('has_seen') # 报错, 需要指定方式, 按行删, 还是按列删
movie.drop('has_seen', axis='columns', inplace=True) # 按列删
# movie.drop('has_seen', axis=1, inplace=True) # 按列删, 这里的1表示: 列
movie.drop('Avatar', axis='rows', inplace=True) # 按行删除
# movie.drop('Avatar', axis=0, inplace=True) # 按行删, 这里的0表示: 行
# 删除行
movie.reset_index(inplace=True)
print(movie.head())
print('*' * 30)
movie.drop([0,1], inplace=True) # 按行索引删
print(movie.head())
3.1 导入 导出 数据
"""
导出数据
"""
# 需求: 导出数据到 /root/output/...
# 细节: 要导出到的目的地目录, 必须存在, 即: output目录必须存在
# 格式: dfm.to_后缀名(路径)
# 准备原始df对象
dfm = pd.read_csv('data/scientists.csv')
dfm
# 2. 对上述的df做操作, 模拟: 实际开发中, 对df对象做处理
# 需求: 筛选出 年龄 大于 平均年龄的数据
new_dfm = dfm[dfm.Age > dfm.Age.mean()]
new_dfm
# 3. 把上述的df对象, 写出到目的地中
# pickle: 比较适合 存储中间的df数据, 即: 后续要频繁使用的df对象, 可以存储下来
# new_dfm.to_pickle('output/scientists_pickle.pkl') # pickle文件的后缀名可以是: .p, .pkl, .pickle
# excel, csv等文件, 适合于: 存储最终结果
# 注意: 有三个包需要安装一下, 如果你读写excel文件, 但如果你用的是Anaconda, 已经有了, 无需安装
# new_dfm.to_excel('output/scientists.xls') # 会把索引列也当做数据, 写出
# new_dfm.to_excel('output/scientists_noindex.xls', index=False, sheet_name='ai20') # 不导出索引列, 且设置表名
# csv(用逗号隔开), tsv(用\t隔开), 适用于 数据共享, 整合等操作
# new_dfm.to_csv('output/scientists.csv') # 会把索引列也当做数据, 写出
# new_dfm.to_csv('output/scientists_noindex.csv', index=False) # 不导出索引列
# 如果每行数据的 各列值之间用逗号隔开是 csv, 用\t隔开是 tsv
new_dfm.to_csv('output/scientists_noindex.tsv', index=False, sep='\t') # 不导出索引列
print('导出成功!')
"""
导入数据
"""
# pickle文件
# pd.read_pickle('output/scientists_pickle.pkl')
# excel文件
# pd.read_excel('output/scientists.xls')
# pd.read_excel('output/scientists_noindex.xls')
# csv文件
# pd.read_csv('output/scientists.csv')
# pd.read_csv('output/scientists_noindex.csv')
pd.read_csv('output/scientists_noindex.tsv', sep='\t')
标签：入门,
--,
movie,
dfm,
Series,
print,
csv,
Pandas
From： https://blog.csdn.net/h15366059/article/details/140576803