Pandas入门 1.读取和写入数据 ①read _csv():从 CSV文件读取数据到DataFrame。 import pandas as pd 读取文件名为"data.csv'的数据 df= pd.read_csv('data.csv') ②read_excel():从 Excel文件读取数据。 假设有一个文件名为1data.xlsx df = pd.read_excel('data.xlsx') ③read_sql():从SQL数据库读取数据。 import pandas as pd import sqlalchemy as sa #建立数据库连接 engine = sa.create_engine('sqlite:///my_database.db') #读取名为'my_table'的表格 df= pd.read_sql('my_table', engine) ④to_csv():将DataFrame数据写入CSV文件。 df.to_csv('output.csV', index=False) ⑤to_excel():将DataFrame数据写入 Excel文件。 df.to_excel('output.xlsx', index=False) ⑥to_sql():将DataFrame数据写入SQL数据库。 df.to_sql('my_table',engine, if_exists='replace',index=False) ⑦read_json(),to_json():读取和写入JSON文件。 #读取JSON df= pd.read_json('data.json') #写入JSON df.to_json('output.json') ⑧read_htm l(),to_html():读取HTML表格数据，写入数据到HTML。 #读取HTML #返回一个列表，每个元素是一个DataFrame list_of_df= pd.read_html('http://example. com/table.html') #写入HTML df.to_html('output.html') ⑨read_parquet(),to_parquet():读取和写入Parquet文件，一种高效的列存储格式。 #读取Parquet df= pd.read_parquet(' data.parquet') #写入Parquet df.to_parquet('output.parquet') 2.数据探索和检查 ①head():查看DataFrame 的前几行。 df.head()#默认显示前5行 ②tail():查看DataFrame 的后几行。 df.tail()#默认显示后5行 ③info():获取DataFrame的概要信息。 df. info() ④describe ():显示数据的统计摘要。 df. describe(） ⑤dtypes:查看每列的数据类型。 df.dtypes 3.数据清洗和预处理 ①dropna ():删除含有缺失值的行或列。 df.dropna()#删除含有NaN 的行 ②fiulna():填充缺失值。 df.f1llna(value=0)#用日填充NaN ③drop():删除指定的行或列。 df.drop(C'column1','column2'],axis=1)#删除指定列 ④rename():重命名DataFrame 的索引或列名。 df.rename (columns={'old_name': Inew_name '}) ⑤astype():转换列的数据类型。 df['column'].astype(' float') 4.数据筛选和索引 ①loc[:基于标签的索引。 df.loc[df['column']>10] ②iloc[]:基于位置的索引。 df.iloc[o:5]#选择前5行 ③query():使用查询字符串来筛选数据。 df.query('column >10') 5.数据操作和转换 ①groupby():按照某些列进行分组。 df.groupby('column').sum () ②pivot-table():创建透视表。 df.pivot_table(values='D', index=['A', 'B'], columns=['C']) ③merge():合并两个DataFrame。 pd.merge(df1, df2, on='key') ④concat():连接两个或多个DataFrame。 pd.concat([df1, df2]) ⑤apply():对数据应用函数。 df.apply(lambda x: x.max()-x.min() 6.时间序列分析 ①to_datetime():将字符串转换为datetime对象。 pd.to_datetime (df[' column ']) ②resample ():对时间序列数据进行重采样。 df.resample('M').mean() ③rolling():应用滚动窗口计算。 df.rolling(window=3).mean() 7.其他有用功能 ①unique():查找列中的唯一值。 df[' column'].unique() ②va lue_counts():计算一列中各值出现的频次。 df['column'].value_counts() ③sort_values():按照一列或多列的值进行排序。 df.sort_values (by='column') ④isna():检测缺失值。 df.isna() 8.聚合和统计 ①sum():计算数值列的总和。 df['column'].sum() ②mean():计算数值列的平均值。 df['column'].mean() ③median():计算数值列的中位数。 df['column'].median() ④min():找出数值列的最小值。 df['column '].min() ⑤max():找出数值列的最大值。 df['Column'].max() ⑥std():计算数值列的标准差。 df['column'].std () ⑦var():计算数值列的方差。 df['column '].var（） ⑧count():计算非空值的数量。 df[' column'].count() ⑨agg():使用一个或多个操作同时对一组数据进行聚合。 df.agg({'column1':['sum', 'min'l, 'column2': ['max', Imean']}) 9.数据转换 ①melt():将DataFrame 从宽格式转换为长格式。 pd.melt(df, id_vars=['A'l,value_vars=['B', 'C']) ②pivot():将数据从长格式转换为宽格式。 df.pivot(index=' date', columns='variable', values='value') ③cut():将连续数据分割成离散的区间。 pd.cut(df[' column'1, bins=3) ④qcut():基于样本分位数来分割数据。 pd.qcut(df[' column'], q=4) 10.字符串处理 ①lower():将字符串转换为小写。 df[' column '].str.lower() ②upper():将字符串转换为大写。 df['column'].str.upper() ③len ():计算字符串的长度。 df[' column'].str.len() ④strip():删除字符串前后的空白符(包括空格、换行符等)。 df['column'].str.strip() ⑤lstrip():删除字符串左边的空白符。 df[' column'].str.lstrip() ⑥rstrip():删除字符串右边的空白符。 df['column '].str.rstrip() ⑦contains():检查每个字符串是否包含特定模式/子字符串。 df['column'].str.contains ('pattern') ⑧startswith():检查字符串是否以特定子字符串开始。 df['column'].str.startswith('prefix') ⑨endswith():检查字符串是否以特定子字符串结束。 df[' column'].str.endswith(' suffix') ⑩match():根据给定的正则表达式匹配字符串。 df[' column'].str.match(rI^pattern$') ⑪replace():替换字符串中的某些部分。 df[' column'].str.replace('old', 'new') ⑫split():根据分隔符拆分字符串为多个部分。 df[' column'].str.split(',') ⑬join():将序列中的元素连接成字符串。 df[' column'].str.join('-1) ⑭cat():连接字符串(默认按行连接)。 df[' column'].str.cat(sep=',1) 11.正则表达式 ①extract():使用正则表达式从字符串中提取一部分。 df[' column'1.str.extract(r' (pattern)') ②findal1():使用正则表达式查找字符串中的所有匹配项。 df['column '].str.findall(r'pattern') ③replace():使用正则表达式替换字符串中的部分内容。 df['column '].str.replace(r'pattern', Ireplacement',regex=True) 12.辅助判断与提取 ①isnumeric():检查每个字符串是否只包含数字。 df['column '].str.isnumeric() ②isdecimal():检查每个字符串是否只包含十进制数字。 df['column'].str.isdecimal( ③isalpha():检查每个字符串是否只包含字母。 df['column'].str. isalpha() ④isdigit():检查每个字符串是否只包含数字。 df[' column'].str.isdigit() ⑤islower():检查每个字符串是否只包含小写字母。 df[' column'].str.islower() ⑥isupper():检查每个字符串是否只包含大写字母。 1 df['column '].str.isupper () ⑦istitle():检查字符串是否是标题化的(每个单词的首字母大写)。 df['column'].str.istitle() 13.数据可视化 plot():默认绘制线图。 df.plot() ①plot.bar(),plot.barh():绘制条形图。 df.plot.bar( #垂直条形图2df.plot.barh()#水平条形图 ②plot.hist():绘制直方图。 df.plot.hist() ③plot.box():绘制箱形图。 df.plot.box() ④plot.area():绘制面积图。 df.plot.area() ⑤plot.pie():绘制饼图。 df.plot.pie(subplots=True) ⑥plot.scatter():绘制散点图。 df.plot.scatter(x='columnl', y=' column2') 14.处理重复数据 ①duplicated():检查重复行。 df.duplicated () ②drop_duplicates():删除重复行。 df.drop_duplicates () 15.数据连接 ①concat():沿着一个轴将多个对象堆叠到一起。 pd. concat([df1, df2]) ②merge():根据一个或多个键将不同DataFrame的行连接起来。 pd.merge (df1, df2, on='key') ③join():对索引进行连接。可以是内连接、外连接、左连接或右连接。 df1.join(df2, how='left') ④append():将一行或多行附加到DataFrame 上，相当于concat()的特例。 df1.append (df2) 16.数据分组和分箱 ①cut():将连续的数值分割成离散的区间。 pd.cut(df[' column'], bins=3) ②qcut():基于样本分位数来划分数据。 pd.qcut(df[' column'1, q=4) ③set_index():将DataFrame中的一列或多列设置为索引。 df.set_index('column') 17.索引操作 ①set_index():将DataFrame 的一列或多列设置为索引。 df.set_index('column') ②reset_index():重置DataFrame 的索引，使之回到默认整数索引。 df.reset_index() ③swaplevel():交换索引的级别。 df. swaplevel() ④stack():将列旋转为行。 df.stack() ⑤unstack():将行旋转为列。 df.unstack() 18.性能提升 ①eval0):使用字符串表达式快速计算DataFrame的操作，有助于提高性能。 pd.eval('df1 + df2') ②query():使用字符串表达式对DataFrame进行查询。 df.query('column >10')
标签：pd,入门,df,DataFrame,column,str,字符串,Pandas From： https://www.cnblogs.com/chen119/p/18316264