Python数据分析易错知识点归纳（五）：横向对比

五、横向对比

排序

# 列表
a.sort()   # 修改原列表，返回值为None!!!!!这里很容易出错
sorted(a)  # 生成新的列表

# 嵌套列表的排序（若是对字典排序，需先用list()转成列表形式）
li = [['A', 90], ['B', 20], ['C', 50]]
# 利用sorted()函数中的key属性重新建立排序规则
li = sorted(li, key=lambda x: x[1], reverse=True)

# numpy
#numpy.sort()函数返回输入数组的排序副本
#numpy.sort(a, axis, kind, order)
#axis: 沿着它排序数组的轴，如果没有数组会被展开，沿着最后的轴排序， axis=0 按列排序，axis=1 按行排序
#kind: 默认为'quicksort'（快速排序）
#order: 如果数组包含字段，则是要排序的字段
a = np.array([[3, 7], [9, 1]])
print('原数组:')
print(a)
print('调用sort() 函数:')
print(np.sort(a))
print('按列排序:')
print(np.sort(a, axis=0))

# Series
se.sort_values(ascending=False, inplace=True) #注意Series排序没有by参数

# dataframe
# 根据值排序
df.sort_values(by='A')  
df.sort_values(by='A', ascending=False)  # 逆序，默认升序  
df.sort_values(by='A', inplace=True)  # 改变原df
df.sort_values(by=['A', 'B'])
# 根据index排序
df.sort_index(ascending=False)  # 用法与上面基本一致，只是没有by

逆序排序参数

列表：reverse=True

numpy、pandas: ascending=False

字典遍历和dataframe遍历的区别

# 字典遍历
for eachItem in dict1.items():
	print(eachItem)

# Series遍历
for index, value in se.iteritems():
    print(index) # 索引名
    print(value) # 值
    
# dataframe遍历（分按行遍历和按列遍历）
# 按行遍历
for index, row in df.iterrows():
    print(index) # 行名
    print(row) # 每一行，为Series
# 按列遍历
for index,column in df.iteritems():
	print(index) # 列名
    print(column) # 每一列，为Series
 

列表和集合删除元素

numpy删除元素

np.delete(a, index, [axis=?])

a = np.arange(12).reshape(3, 4)
print('第一个数组:')
print(a)
print('未传递Axis参数。在插入之前输入数组会被展开。')
print(np.delete(a, 5))   # 5是展开之后的索引
print('删除第二列:')
print(np.delete(a, 1, axis=1))  # 1是列索引

'''
第一个数组:
[[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
未传递Axis参数。在插入之前输入数组会被展开。
[ 0  1  2  3  4  6  7  8  9 10 11]
删除第二列:
[[ 0  2  3]
 [ 4  6  7]
 [ 8 10 11]]
'''

pandas删除行、列

df.drop

• 删除行

# 通过行名称删除：
df = df.drop(['1', '2'])      # 不指定axis默认为0
df.drop(['1', '3'], inplace=True)  # 注意若多行有相同行名，都删除

# 通过行号删除
df.drop(df.index[0], inplace=True)    # 删除第1行
df.drop(df.index[0:3], inplace=True)   # 删除前3行
df.drop(df.index[[0, 2]], inplace=True) # 删除第1第3行

# 通过过滤条件进行切片（实际应用时一般用）
chooses = df['B'].drop_duplicates().index
df.loc[chooses]

• 删除列

del df['A'] # 删除A列，会就地修改

df = df.drop(['B', 'C'], axis=1)        # drop不会就地修改，创建副本返回

df.drop(['B', 'C'], axis=1, inplace=True)   # inplace=True会就地修改

过滤空值

• numpy 用np.isnan

  a = np.array([np.nan, 1, 2, np.nan, 3, 4, 5])
  # ~取补运算符过滤NaN
  print('非空过滤数组:')
  print(a[~np.isnan(a)])
  

• pandas

  df = df[df['one'].isnull()]
  df = df[df['one'].notnull()]
  
  df = df.dropna()  # 删除全部是空值的行
  df = df.dropna(subset=['one'])  # 删除某一列是空值的行
  

pd开头的方法

• pd.DataFrame / pd.Series
• pd.set_option
• pd.read_csv / pd.read_excel
• pd.concat
• pd.merge
• pd.qcut
• pd.get_dummies
• pd.pivot_table
• pd.crosstab

prefix/suffixes

• prefix 在pd.get_dummies中使用
• suffixes 在pd.merge中使用