网上整理中......
HtmlAgilityPack：HtmlAgilityPack是一个HTML文档处理库，它使您能够方便地在HTML文档中进行XPath查询和操作。虽然它不是一个专门用于爬取的框架，但可以用于解析和分析HTML页面，从而构建自己的爬虫。
AngleSharp：AngleSharp是一个强大的.NET库，用于解析HTML和XML文档，并支持类似于jQuery的CSS选择器和LINQ查询。它可以用于构建Web爬虫，轻松地从网页中提取数据。
ScrapySharp：ScrapySharp是一个.NET版本的Scrapy，是一个用于爬取网站数据的强大框架。它提供了类似于Scrapy的API，并且可以轻松地爬取网页、提取数据并进行数据处理。
DotnetSpider：DotnetSpider是一个.NET Core版本的爬虫框架，它提供了一套完整的解决方案，包括下载、解析、处理和存储网页数据的功能。它支持分布式爬取、多线程爬取等特性，并且易于扩展和定制。
Abot：Abot是一个轻量级的.NET爬虫框架，用于爬取网站并提取数据。它支持多线程爬取、网站深度优先搜索、URL过滤等功能，并且易于使用和扩展。
Crawler.NET: Crawler.NET是一个基于.NET的爬虫框架，它提供了异步爬虫、页面下载、页面解析、数据存储等功能。
WebScraping.NET: 这是一个开源的.NET爬虫库，它提供了简单的API来抓取网页内容。
C# Port of BeautifulSoup: BeautifulSoup是一个非常流行的Python库，用于解析HTML和XML文档。有人已经将它移植到了.NET上，称为BeautifulSoup.NET。
Flurl.Http: 这是一个轻量级的.NET HTTP库，它提供了易于使用的API来发送HTTP请求和处理响应。
Azure Functions: 如果你在云环境中工作，并且想要构建分布式爬虫，你可以考虑使用Azure Functions。你可以编写无服务器的爬虫代码，并在Azure上执行它们。
标签：框架,爬虫,爬取,HTML,NET,解析,Net From： https://www.cnblogs.com/llhhll/p/18180968