网络爬虫——常用存储方式

在网络爬虫中，根据爬取的数据类型和业务需求，可以选择多种存储方式。本节将详细讲解将数据存储为 CSV 和 Excel 文件、SQLite 数据库 和 MongoDB 等 NoSQL 数据库 的使用方法。

1. 存储为 CSV 和 Excel 文件

1.1 CSV 文件存储

1.1.1 什么是 CSV 文件？

• CSV（Comma-Separated Values）是一种轻量级的表格数据格式，通常用于存储和传输结构化数据。
• 文件格式简单，易于阅读和操作。

1.1.2 使用场景

• 小型项目。
• 数据需要以表格形式进行分析。
• 便于与其他工具（如 Excel、数据分析软件）交互。

1.1.3 Python 存储为 CSV 文件

• 利用 Python 的 csv 模块可以快速将数据存储为 CSV 文件。
• 示例代码：

import csv

# 模拟爬取的数据
data = [
    {"id": 1, "name": "张三", "age": 28},
    {"id": 2, "name": "李四", "age": 30}
]

# 写入 CSV 文件
with open("data.csv", "w", encoding="utf-8", newline="") as csvfile:
    fieldnames = ["id", "name", "age"]
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

    # 写入表头
    writer.writeheader()

    # 写入数据
    writer.writerows(data)

1.1.4 优缺点

• 优点：
  • 格式简单，跨平台兼容性好。
  • 文件体积小。
• 缺点：
  • 不支持复杂数据结构（如嵌套 JSON）。
  • 适合小规模数据。

1.2 Excel 文件存储

1.2.1 什么是 Excel 文件？

• Excel 是一种常用的电子表格格式，支持复杂的表格布局和数据格式。
• 适用于结构化数据的存储与分析。

1.2.2 使用场景

• 数据需要以可视化表格形式呈现。
• 数据需要与 Excel 等办公软件共享。

1.2.3 Python 存储为 Excel 文件

• 利用 openpyxl 库可以存储数据为 Excel 格式。
• 示例代码：

from openpyxl import Workbook

# 模拟爬取的数据
data = [
    {"id": 1, "name": "张三", "age": 28},
    {"id": 2, "name": "李四", "age": 30}
]

# 创建 Excel 工作簿
workbook = Workbook()
sheet = workbook.active
sheet.title = "爬取数据"

# 写入表头
sheet.append(["ID", "姓名", "年龄"])

# 写入数据
for item in data:
    sheet.append([item["id"], item["name"], item["age"]])

# 保存为文件
workbook.save("data.xlsx")

1.2.4 优缺点

• 优点：
  • 支持复杂数据格式和样式。
  • 更适合以人为中心的数据分享和分析。
• 缺点：
  • 文件体积较大，存储效率低于 CSV。
  • 不适合大规模存储。

2. SQLite 数据库存储

2.1 什么是 SQLite？

• SQLite 是一种轻量级的嵌入式数据库，无需单独的数据库服务。
• 数据存储在单个文件中，非常便携。

2.2 使用场景

• 小型项目。
• 数据规模较小，查询复杂度较低。
• 开发和测试环境。

2.3 Python 使用 SQLite 存储数据

• 利用 sqlite3 库操作 SQLite 数据库。
• 示例代码：

import sqlite3

# 连接到 SQLite 数据库（不存在时自动创建）
conn = sqlite3.connect("data.db")
cursor = conn.cursor()

# 创建表
cursor.execute("""
CREATE TABLE IF NOT EXISTS users (
    id INTEGER PRIMARY KEY,
    name TEXT,
    age INTEGER
)
""")

# 插入数据
data = [
    (1, "张三", 28),
    (2, "李四", 30)
]
cursor.executemany("INSERT INTO users (id, name, age) VALUES (?, ?, ?)", data)

# 提交事务并关闭连接
conn.commit()
conn.close()

2.4 优缺点

• 优点：
  • 易于设置和使用，无需额外安装。
  • 支持基本的 SQL 查询。
  • 单个文件存储，便于迁移。
• 缺点：
  • 不支持分布式和高并发。
  • 仅适用于小型应用。

3. MongoDB 等 NoSQL 数据库的使用

3.1 什么是 NoSQL 数据库？

• NoSQL 数据库是一类非关系型数据库，通常用于处理非结构化和半结构化数据。
• 常见 NoSQL 数据库：MongoDB、Redis、Cassandra。

3.2 使用场景

• 数据结构灵活，模式不固定。
• 数据量大且多样。
• 高并发读写场景。

3.3 MongoDB 存储爬取数据

3.3.1 MongoDB 优势

• 支持嵌套数据（如 JSON）。
• 支持高效的分布式存储与扩展。
• 天然适合文档型存储。

3.3.2 Python 操作 MongoDB

• 利用 pymongo 库操作 MongoDB。
• 示例代码：

from pymongo import MongoClient

# 连接到 MongoDB
client = MongoClient("mongodb://localhost:27017/")
db = client["web_crawler"]  # 数据库
collection = db["users"]   # 集合

# 插入数据
data = [
    {"id": 1, "name": "张三", "age": 28},
    {"id": 2, "name": "李四", "age": 30}
]
collection.insert_many(data)

# 查询数据
for user in collection.find():
    print(user)

# 关闭连接
client.close()

3.4 优缺点

• 优点：
  • 数据模型灵活，支持 JSON 文档直接存储。
  • 可扩展性强，适合大规模分布式系统。
• 缺点：
  • 学习曲线较高。
  • 性能依赖于硬件和网络环境。

4. 存储方式选择指南

总结

爬取的数据需要根据具体需求选择合适的存储方式：小型项目可优先使用 CSV 或 SQLite，复杂项目或非结构化数据可选择 MongoDB 等 NoSQL 数据库。在实际开发中，灵活运用多种存储方式可以最大化数据管理的效率与便捷性。