0 概述
1 Java Spider
spider-flow
- Home URL : https://www.spiderflow.org/
spider-flow 是一个爬虫平台，以图形化方式定义爬虫流程，无需代码即可实现一个爬虫
- Github Star : 7.7K
Webmagic
- Home URL : http://webmagic.io/docs/en/
WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。
特性：
简单的API，可快速上手
模块化的结构，可轻松扩展
提供多线程和分布式支持
- Github URL : 10.7K
Heritrix 3
- Home URL : heritrix.readthedocs.io/
Heritrix 是一个开源，可扩展的 web 爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix 设计成严格按照 robots.txt 文件的排除指示和 META robots 标签。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。
- Github Star : 2.4K
2 Python Spider
Scrapy
- Language : Python
- GitHub Star : 46.4K
20230306
- Home URL : https://scrapy.org/community/
【简介】
Scrapy 是一种高速的高层 Web 爬取和 Web 采集框架，可用于爬取网站页面，并从页面中抽取结构化数据。
Scrapy 的用途广泛，适用于从数据挖掘、监控到自动化测试。
Scrapy 设计上考虑了从网站抽取特定的信息，它支持使用 CSS 选择器和 XPath 表达式，使开发人员可以聚焦于实现数据抽取。
对于熟悉 Python 的开发人员，只需几分钟就能建立并运行 Scrapy。
支持运行在 Linux、Mac OS 和 Windows 系统上。
【特性】
内置支持从 HTML 和 XML 抽取数据、使用扩展的 CSS 选择器（Selector）和 XPath 表达式等特性。
支持以多种格式（JSON、CSV、XML）生成输出。
基于 Twisted 构建。
稳健的支持，自动检测编码方式。
快速，功能强大。
PySpider
- Home URL : https://docs.pyspider.org/en/latest/
- Github Star : 15.8K
PySpider 是一种 Python 编写的强大 Web 爬虫。
它支持 JavaScript 网页，并具有分布式架构。
PySpider 支持将爬取数据存储在用户选定的后台数据库，包括 MySQL, MongoDB, Redis, SQLite, Elasticsearch 等。
支持开发人员使用 RabbitMQ、Beanstalk 和 Redis 等作为消息队列。
提供强大 Web 界面，具有脚本编辑器、任务监控、项目管理器和结果查看器。
支持对重度 Ajax 网站的爬取。
易于实现适用、快速的爬取。
Beautifulsoup
- Home URL : https://www.crummy.com/software/BeautifulSoup/
- Docs URL : https://www.crummy.com/software/BeautifulSoup/bs4/doc/
Beautiful Soup 一种设计用于实现 Web 爬取等快速数据获取项目的 Python 软件库。
它在设计上处于 HTML 或 XML 解析器之上，提供用于迭代、搜索和修改解析树等功能的 Python 操作原语。往往能为开发人员节省数小时乃至数天的工作。
Beautiful Soup 自动将输入文档转换为 Unicode 编码，并将输出文档转换为 UTF-8 编码。
Beautiful Soup 处于一些广为采用的 Python 解析器（例如，lxml 和 html5lib）之上，支持用户尝试使用多种不同的解析策略，并在速度和灵活性上做出权衡。
X 参考文献
- 资源推荐 | 五十种最好用的开源爬虫软件 - 开发者头条
- 33款可用来抓数据的开源爬虫软件工具 - Weixin
- 83款 网络爬虫开源软件 - 博客园/祥龙之子
- 33款可用来抓数据的开源爬虫软件工具 - Weixin/数学中国
- Heritrix web 爬虫 - OSChina