首页 > 编程语言 >c# 爬取汉字

c# 爬取汉字

时间:2024-03-13 10:15:14浏览次数:28  
标签:city string c# 汉字 爬取 IndexOf mainData new match

//下载页面源文件并将其转换成UTF8编码格式的STRING
//string mainData = Encoding.UTF8.GetString(wc.DownloadData(string.Format("你要采集的网页地址")));
string path = Server.MapPath("data");
FileStream fs = new FileStream(path + "\\data.txt", FileMode.OpenOrCreate);
//下载网页源文件到本地
wc.DownloadFile("http://hotels.ctrip.com/citylist", "path");
//读取下载下来的源文件HTML格式的字符串
string mainData = File.ReadAllText("path", Encoding.UTF8);

var cityList = new List<City>();//定义泛型列表存放城市名称及对应的酒店URL
var links = Regex.Matches(mainData, @"<a[^>]+href=""*(?<href>/hotel/[^>\s]+)""\s*[^>]*>(?<text>(?!.*img).*?)</a>", RegexOptions.IgnoreCase);
StreamWriter sw = new StreamWriter(fs);
int i = 0;
foreach (Match match in links)
{
//string name = match.Groups["text"].Value;
//string url = "http://hotels.ctrip.com" + match.Groups["href"].Value;
//sw.WriteLine(name +" "+ url);
i++;
var city = new City
{
CityName = i + match.Groups["text"].Value,
Uri = new Uri("http://hotels.ctrip.com" + match.Groups["href"].Value
)
};
if (!cityList.Contains(city)) cityList.Add(city);//将数据加入到泛型列表
//Console.WriteLine(city.CityName + "|" + city.Uri);//将城市名称及URL显示到控制台
sw.WriteLine(city.CityName + " | " + city.Uri);

}
mainData = mainData.Substring(mainData.IndexOf("<a class=\"titlelnk\" href=\"") + 26);

//获取文章页面的链接地址
// string articleAddr = mainData.Substring(0, mainData.IndexOf("\""));

//获取文章标题
// string articleTitle = mainData.Substring(mainData.IndexOf("target=\"_blank\">") + 16,
// mainData.IndexOf("</a>") - mainData.IndexOf("target=\"_blank\">") - 16);
sw.Close();

 

标签:city,string,c#,汉字,爬取,IndexOf,mainData,new,match
From: https://www.cnblogs.com/jigeqiu/p/18069982

相关文章

  • CSS下划线动画
    <template><divclass="home"><h2class="title"><span>FromthemomentIsawyou,myheartbegantobeatinadifferentrhythm.Yoursmileislikearayofsunshinethatwarmsmywor......
  • docker-compose 部署apollo
    apollo-1.9.2docker-compose.yamlversion:'3'services:#模拟一个正常的mysql数据库mysql8:image:mysql:5.7restart:alwayscontainer_name:mysqlports:-3306:3306volumes:-./databases/mysql/logs:/var/log/mysql......
  • CH395实现FTP_Client应用(上)
    测试环境:CH30v307RCT6+CH395Q,PC端工具:XLight(FTP服务器,语言为英文)1.主要代码说明(1)main.c(2)CH395FTP.c工程CH395FTP.c99行CH395_FTPInterCmd函数执行了四个主要的流程,包括登录、搜索目录、下载文件、上传文件。在该函数中可以修改想要访问的文件夹和文本文档名称,也可修改想......
  • c#爬取图片
    staticvoidMain(string[]args){Stopwatchstopwatch=newStopwatch();//图片网址//https://www.ivsky.com/tupian/index_8.html//stringurl="https://cn.bing.com/images/search?q=%e6%84%8f%e5%a2%83%e5%9......
  • docker-compose 部署nacos
    version:'3'services:#模拟一个正常的mysql数据库mysql8:image:mysql:5.7restart:alwayscontainer_name:mysqlports:-3306:3306volumes:-./databases/mysql/logs:/var/log/mysql-./databases/mysql/data:/v......
  • CH395实现FTP_Client应用(下)
    CH395实现FTP_Client例程、抓包和打印log可以在下面的博客中下载CH395实现FTP_Client应用(上)-lqlq123-博客园(cnblogs.com) 本篇是对例程流程抓包和打印日志的解析1.串口打印日志(从上电到流程结束):1SourIP:192,168,3,30,//本地IP2......
  • 使用 Keras 和 ArcGIS Pro 通过 Mask-RCNN/DeepLabV3+ 进行 EagleView 高分辨率图像语
            机器学习中的计算机视觉为GIS提供了巨大的机会。其任务包括获取、处理、分析和理解数字图像的方法,以及从现实世界中提取高维数据以产生数字或符号信息,例如以决策的形式。在过去的几年中,计算机视觉越来越多地从传统的统计方法转向最先进的深度学习神经网络技......
  • Python 分析— 使用 LeuvenMapMatching 包进行地图匹配用于道路导航
        在道路导航中,我们有了街道网络地图。轨迹/GPS数据必须与街道相匹配才能进行导航,因为GPS读数提供纯粹的纬度和经度坐标,但我们想知道车辆行驶的具体道路。        我首先尝试了一种简单的方法来匹配点,将每个点独立地匹配到最近的路段。如果没有道路,只需......
  • Failed to populate field: ‘String‘ object has no attribute
    ROS2中我们使用编译topicpub如上报错时,可以考虑检查一下命令行是否书写错误,这里我的问题是ros2topicpub/chatterstd_msgs/msg/String'data:"123"':和"之间少打了一个空格发生报错,改正后可以正常打印,问题解决ros2topicpubarg手动发布命令......
  • 什么是PLC设备数据采集?
    在当今工业4.0和智能制造的大背景下,数据的价值日益凸显。特别是对于PLC(可编程逻辑控制器)这类核心工业设备,数据采集显得尤为重要。那么,究竟什么是PLC设备数据采集?它又有何价值呢?今天,就让我们通过介绍HiWooBox,一款卓越的PLC设备数据采集工具,来为您揭开这层面纱。一、PLC设备......