Python数据分析NumPy和pandas（十八、从Web APIs 和 数据库中获取数据）

一、与Web APIs 进行数据交互

很多Web网站都提供公共的API，并通过 JSON 或其他格式提供数据。那Python也有很多种方法可以访问网站提供的API，其中一种常用的方法是通过使用 requests 库，使用之前需要先安装它，这里通过pip安装：

pip install requests

下面我通过GitHub网站提供的API来学习使用requests。例如，要在 GitHub 上找到 pandas 的最后 30 个 GitHub 问题列表数据，我们可以使用附加组件requests库发出 GET HTTP 请求：

import requests

url = "https://api.github.com/repos/pandas-dev/pandas/issues"
resp = requests.get(url)
resp.raise_for_status()
print(resp)

以上代码首先导入了requests库，url定义了要访问的API接口，然后通过requests.get()方法访问该接口，并用resp变量获取访问的结果，最后通过结果对象的raise_for_status()方法检查是否有HTTP错误，我们最好始终在使用 requests.get 后调用 raise_for_status 来检查 HTTP 错误。打印resp的输出结果是：<Response [200]>  200表示访问成功。

响应对象resp的 json() 方法会返回一个 Python 对象，其中包含从API接口获取的并已经解析的 JSON 数据（如字典或列表所示）（取决于返回的 JSON内的数据格式）：

import requests

url = "https://api.github.com/repos/pandas-dev/pandas/issues"
resp = requests.get(url)
resp.raise_for_status()

#用响应对象resp的json方法获取python对象
data = resp.json()
#获取第一个元素的title
title = data[0]["title"]
print(title)

输出结果是：

DOC: Update contributing docs for Windows build tools instructions

因为通过这个API检索到的结果是实时数据，因此我们在不同的时候运行此代码会得到不同的第一个问题的标题。data 中的每个元素都是一个字典，包含在 GitHub 问题页面上找到的所有数据（评论除外）。我们可以将data直接传递给 pandas.DataFrame构造一个DataFrame对象并提取我们感兴趣的字段。如下代码：

import pandas as pd
import requests

url = "https://api.github.com/repos/pandas-dev/pandas/issues"
resp = requests.get(url)
resp.raise_for_status()

#用响应对象resp的json方法获取python对象
data = resp.json()
issues = pd.DataFrame(data, columns=["number", "title", "labels", "state"])
print(issues)

输出结果：

在我们的实际开发或进行数据分析的时候，我们可以创建一些更方便的Web API接口，让这些接口返回 DataFrame 对象，从而可以更方便的应用pandas进行数据分析。

二、与数据库进行数据交互

在正式业务环境中，数据一般不会存储在文本文件或 Excel 文件中。这个大家都知道，当前主流方式还是将数据存储在基于 SQL 的关系数据库中（如 SQL Server、PostgreSQL 和 MySQL）。至于选择用那种数据库，取决于应用程序的性能、数据完整性和可伸缩性的需求。

pandas 具有一些好的功能，可以非常方便的将 SQL 查询结果加载到 DataFrame 中。下面我将使用 Python 内置 sqlite3 驱动程序创建一个 SQLite3 数据库进行学习。我还是通过代码来学习更直观：

import pandas as pd
import sqlite3

#创建一个表名为test的表，该表有a,b,c,d四个字段。
query = """
CREATE TABLE test
(a VARCHAR(20), b VARCHAR(20),
 c REAL,        d INTEGER
);"""
#连接python内置的sqllite3数据库
con = sqlite3.connect("mydata.sqlite")
#执行建表语句
con.execute(query)
#提交事务
con.commit()

上面这部分代码定义了一个在sqlite中创建表test的语句，test表有a,b,c,d四个字段。接下来我们在test表中插入数据。

#要插入test表中的数据
data = [("Atlanta", "Georgia", 1.25, 6),
        ("Tallahassee", "Florida", 2.6, 3),
        ("Sacramento", "California", 1.7, 5)]
#插入语句
stmt = "INSERT INTO test VALUES(?, ?, ?, ?)"
#执行插入数据操作
con.executemany(stmt, data)
#提交事务
con.commit()

以上定义了要在test表中插入的数据data和插入语句，并执行提交。

#查询test全表，并返回一个游标
cursor = con.execute("SELECT * FROM test")
#获取返回的所有行数据
rows = cursor.fetchall()
#将数据打印出来看看
print(rows)

以上执行查询test全表数据，并通过获取的游标将返回的数据赋值给rows变量，然后打印输出rows。rows的输出结果是一个元组列表：

[('Atlanta', 'Georgia', 1.25, 6), ('Tallahassee', 'Florida', 2.6, 3), ('Sacramento', 'California', 1.7, 5)]

接下来我们可以将元组列表传递给 DataFrame 构造函数构造一个DataFrame对象，但是还需要获取列名来作为DataFrame对象的列标签（索引），列名我们可以通过游标cursor的 description 属性获得。请注意，对于 SQLite3，游标描述仅提供列名（其他字段是 Python 的数据库 API 规范的一部分，都是 None），但对于其他一些数据库驱动程序，description提供了更多的列信息。

cursor.description

这一行代码通过游标cursor的属性description获取表的列信息，对于SQLite3来说这个列信息只有列名，我们输出cursor.description来看下：

(('a', None, None, None, None, None, None), ('b', None, None, None, None, None, None), ('c', None, None, None, None, None, None), ('d', None, None, None, None, None, None))

#用返回的元组列表和列名构造一个DataFrame对象，
#列名通过推导式获得
pd_rows = pd.DataFrame(rows, columns=[x[0] for x in cursor.description])

上面用返回的元组列表rows和表test的列名构造了一个DataFrame对象pd_rows。下面我们将上面的代码完整的整合下，并输出最后pd_rows内容：

import pandas as pd
import sqlite3

#创建一个表名为test的表，该表有a,b,c,d四个字段。
query = """
CREATE TABLE test
(a VARCHAR(20), b VARCHAR(20),
 c REAL,        d INTEGER
);"""
#连接python内置的sqllite3数据库
con = sqlite3.connect("mydata.sqlite")
#执行建表语句
con.execute(query)
#提交事务
con.commit()

#要插入test表中的数据
data = [("Atlanta", "Georgia", 1.25, 6),
        ("Tallahassee", "Florida", 2.6, 3),
        ("Sacramento", "California", 1.7, 5)]
#插入语句
stmt = "INSERT INTO test VALUES(?, ?, ?, ?)"
#执行插入数据操作
con.executemany(stmt, data)
#提交事务
con.commit()

#查询test全表，并返回一个游标
cursor = con.execute("SELECT * FROM test")
#获取返回的所有行数据
rows = cursor.fetchall()
#将数据打印出来看看
print(rows)
#通过游标查看列信息,SQLite3的列信息中只包含列名
print(cursor.description)
#用返回的元组列表和列名构造一个DataFrame对象
pd_rows = pd.DataFrame(rows, columns=[x[0] for x in cursor.description])
print(pd_rows)

输出pd_rows结果：

                      a                b       c  d
0           Atlanta     Georgia  1.25  6
1   Tallahassee      Florida   2.60  3
2   Sacramento  California  1.70  5

上面的代码从连接数据库、创建表、插入表数据、查询表数据到通过返回的数据和列名构造DataFrame，这些工作还是比较繁琐的，我们不希望每次查询数据库时都重复一些操作。所以我再对 SQLAlchemy 项目进行一个简要的学习，SQLAlchemy是一个流行的 Python SQL 工具包，它抽象出 SQL 数据库之间的许多常见差异，同时，pandas 具有 read_sql()函数，可让我们很方便的从通用 SQLAlchemy 连接中读取数据。先用pip安装SQLAlchemy。

pip install sqlalchemy

现在，我将使用 SQLAlchemy 连接到同一个 SQLite 数据库，并从之前创建的表中读取数据：

import sqlalchemy as sqla

#连接到数据库
db = sqla.create_engine("sqlite:///mydata.sqlite")
#读取数据
data = pd.read_sql("SELECT * FROM test", db)
print(data)

输出结果：

                      a                b       c  d
0           Atlanta     Georgia  1.25  6
1   Tallahassee      Florida   2.60  3
2   Sacramento  California  1.70  5

这相比于之前使用python内置的sqlite中的方法的先连接到数据库、再执行查询、然后通过游标获取查询后的数据，最后用返回的数据和列名构造DataFrame对象简单了很多。

三、总结

在前面写的学习笔记过程中，我学习了许多有用的工具，通过这些学习算是入了数据分析的门了。但是访问数据通常是数据分析过程的第一步，在后面的学习过程中，还得更深入的学习数据整理、数据可视化、时间序列分析等。