博客地址：https://www.cnblogs.com/zylyehuo/

开发环境

• anaconda
  • 集成环境：集成好了数据分析和机器学习中所需要的全部环境
  • 安装目录不可以有中文和特殊符号
• jupyter
  • anaconda提供的一个基于浏览器的可视化开发工具

需求

• 导入文件，查看原始数据
• 将人口数据和各州简称数据进行合并
• 将合并的数据中重复的abbreviation列进行删除
• 查看存在缺失数据的列
• 找到有哪些state/region使得state的值为NaN，进行去重操作
• 为找到的这些state/region的state项补上正确的值，从而去除掉state这一列的所有NaN
• 合并各州面积数据areas
• 我们会发现area(sq.mi)这一列有缺失数据，找出是哪些行
• 去除含有缺失数据的行
• 找出2010年的全民人口数据
• 计算各州的人口密度
• 排序，并找出人口密度最高的州

import numpy as np
import pandas as pd
from pandas import DataFrame

导入文件，查看原始数据

abb = pd.read_csv('./data/state-abbrevs.csv')  # state(州的全称)abbreviation（州的简称）
abb.head()

area = pd.read_csv('./data/state-areas.csv')  # state州的全称，area (sq. mi)州的面积
area.head()

将人口数据和各州简称数据进行合并

pop = pd.read_csv('./data/state-population.csv') 
# state/region简称，ages年龄，year时间，population人口数量
abb_pop = pd.merge(abb,pop,left_on='abbreviation',right_on='state/region',how='outer')
abb_pop.head()

将合并的数据中重复的abbreviation列进行删除

abb_pop.drop(labels='abbreviation',axis=1,inplace=True)
abb_pop.head()

查看存在缺失数据的列

方式1

• isnull --> any
• notnull --> all

abb_pop.isnull().any(axis=0)
# state,population这两列中存在空值

state            True
state/region    False
ages            False
year            False
population       True
dtype: bool

方式2

abb_pop.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 2544 entries, 0 to 2543
Data columns (total 5 columns):
 #   Column        Non-Null Count  Dtype  
---  ------        --------------  -----  
 0   state         2448 non-null   object 
 1   state/region  2544 non-null   object 
 2   ages          2544 non-null   object 
 3   year          2544 non-null   int64  
 4   population    2524 non-null   float64
dtypes: float64(1), int64(1), object(3)
memory usage: 119.2+ KB

找到有哪些state/region使得state的值为NaN，进行去重操作(将state中的空值对应的简称找到，且对简称进行去重)

abb_pop.head()

# 思路：可以将state这一列中的空值对应的行数据取出，从该行数据中就可以取出简称的值
# 1.将state中的空值定位到
abb_pop['state'].isnull()
# 2.将上述的布尔值作为源数据的行索引
abb_pop.loc[abb_pop['state'].isnull()]  # 将state中空对应的行数据取出
# 3.将简称取出
abb_pop.loc[abb_pop['state'].isnull()]['state/region']
# 4.对简称去重
abb_pop.loc[abb_pop['state'].isnull()]['state/region'].unique()
# 结论：只有PR和USA对应的全称数据为空值

array(['PR', 'USA'], dtype=object)

为找到的这些state/region的state项补上正确的值，从而去除掉state这一列的所有NaN

• 思考：填充该需求中的空值可不可以使用fillna？
  • 不可以。fillna可以使用空的紧邻值做填充。fillna(value='xxx')使用指定的值填充空值
  • 使用给元素赋值的方式进行填充！

1.先给USA的全称对应的空值进行批量赋值

1.1将USA对应的行数据找出（行数据中就存在state的空值）

abb_pop['state/region'] == 'USA'
abb_pop.loc[abb_pop['state/region'] == 'USA']  # 将usa对应的行数据取出
abb_pop.loc[abb_pop['state/region'] == 'USA'].head()

1.2将USA对应的全称空对应的行索引取出

indexs = abb_pop.loc[abb_pop['state/region'] == 'USA'].index
indexs

Int64Index([2496, 2497, 2498, 2499, 2500, 2501, 2502, 2503, 2504, 2505, 2506,
            2507, 2508, 2509, 2510, 2511, 2512, 2513, 2514, 2515, 2516, 2517,
            2518, 2519, 2520, 2521, 2522, 2523, 2524, 2525, 2526, 2527, 2528,
            2529, 2530, 2531, 2532, 2533, 2534, 2535, 2536, 2537, 2538, 2539,
            2540, 2541, 2542, 2543],
           dtype='int64')

abb_pop.iloc[indexs]
abb_pop.loc[indexs,'state'] = 'United States'
abb_pop

2.可以将PR的全称进行赋值

abb_pop['state/region'] == 'PR'
abb_pop.loc[abb_pop['state/region'] == 'PR']  # PR对应的行数据
indexs = abb_pop.loc[abb_pop['state/region'] == 'PR'].index
indexs

Int64Index([2448, 2449, 2450, 2451, 2452, 2453, 2454, 2455, 2456, 2457, 2458,
            2459, 2460, 2461, 2462, 2463, 2464, 2465, 2466, 2467, 2468, 2469,
            2470, 2471, 2472, 2473, 2474, 2475, 2476, 2477, 2478, 2479, 2480,
            2481, 2482, 2483, 2484, 2485, 2486, 2487, 2488, 2489, 2490, 2491,
            2492, 2493, 2494, 2495],
           dtype='int64')

abb_pop.loc[indexs,'state'] = 'PPPRRR'
abb_pop

合并各州面积数据areas

abb_pop_area = pd.merge(abb_pop,area,how='outer')
abb_pop_area

我们会发现area(sq.mi)这一列有缺失数据，找出是哪些行

abb_pop_area['area (sq. mi)'].isnull()
abb_pop_area.loc[abb_pop_area['area (sq. mi)'].isnull()]  # 空对应的行数据
indexs = abb_pop_area.loc[abb_pop_area['area (sq. mi)'].isnull()].index
indexs

Int64Index([], dtype='int64')

去除含有缺失数据的行

abb_pop_area.drop(labels=indexs,axis=0,inplace=True)
abb_pop_area

找出2010年的全民人口数据(基于df做条件查询)

abb_pop_area.query('ages == "total" & year == 2010')
abb_pop_area.query('ages == "total" & year == 2010').head()

计算各州的人口密度(人口除以面积)

abb_pop_area['midu'] = abb_pop_area['population'] / abb_pop_area['area (sq. mi)']
abb_pop_area

排序，并找出人口密度最高的州

abb_pop_area.sort_values(by='midu',axis=0,ascending=False).iloc[0]['state']

'District of Columbia'