首页 > 其他分享 >网页爬虫

网页爬虫

时间:2022-09-03 04:33:06浏览次数:51  
标签:插件 网页 爬虫 html 网页内容 数据

记录一下如何抓一个网页:

做开发的经常会被问到怎么去抓别人的数据

那么抓数据可以分成 抓接口数据或网页数据

其实都是网络上的内容,有各自的特点

抓接口数据一般通过第三方软件代理http来看到请求实体

而抓网页内容通常我们会叫它爬虫…

那么爬虫是怎么回事呢?

抓取网页有效内容并自动归并处理。

怎么实现:

如何抓-

1、通过第三方框架如phantomjs,webcrawl等,selnium等这些工具各有自己不同的使命。用法也不相同,缺点要求伪造技术高,程序不易被目标站点识别为爬虫。优点:高效便捷,自动化处理

2、通过自己写浏览器插件的形式,由于插件可以与网页内容做交互,所以这里要有一些html 标签以及selector的基础,缺点:要写很多代码,还要弄懂怎么跟浏览器通信,优点不易被网站识别是爬虫,可控性强

3、无侵入式爬取,借用手机,电脑,模拟器自动化处理,实现模拟点按,并自动下载保存.

优点:不易被网站识别,自动化高,缺点:模拟点击的话需要会调用一些人工智能的库,用模拟器的webview的话要会一些移动端的编程经验。

如何取-

取内容的过程比较简单:用一个html组件读取html文本,然后分析如html-parsor

 

标签:插件,网页,爬虫,html,网页内容,数据
From: https://www.cnblogs.com/codetime/p/16651863.html

相关文章

  • CSS美化网页元素
    3.美化网页元素3.1为什么要美化网页1.有效的传递页面信息2.美化网页,页面漂亮才能吸引用户3.凸显页面的主题4.提高用户的体验 span标签:重点要突出的字使用span标签......
  • python脚本获取网页第3方登录的cookies
    以企业微信tapd网站为例,登录需要通过企业微信扫码,本文将讲述通过python脚本实现获取第3方登录cookies并将其保存到pc本地的方法,示例代码如下:fromseleniumimportwebdri......
  • 06_Linux基础-NGINX和浏览器、网页的关系-云服务器ssh登陆-安装NGINX-上传网页-压缩命
    06_Linux基础-NGINX和浏览器、网页的关系-云服务器ssh登陆-安装NGINX-上传网页-压缩命令-xz-gzip-bzip2-zip-tar-配置NGINX服务器支持下载功能-备份脚本一.NGINX和浏览......
  • 在cpolar客户端部署网页安全协议 (群晖7.X版)
    在上篇介绍中,我们为购买的域名向域名平台提交了安全证书的申请,经过一段时间的审核,域名平台会通过邮件/短信方式通知我们证书申请通过,也意味着我们可以将证书部署到cpolar客......
  • 网页基本标签
    网页基本标签标题标签HTML标题(Heading)是通过<h1>-<h6>等标签进行定义的<h1>定义最大的标题,<h6>定义最小的标题<!--标题标签--><h1>一级标签</......
  • Swift Practice # 172 Swift 取得网页资料并制作台湾乡镇气象连结JSON
    SwiftPractice#172Swift取得网页资料并制作台湾乡镇气象连结JSON上一篇解决了使用GoogleAdmob套件所产生的Link问题,让广告可以顺利显示。[SwiftPractice#171G......
  • 最新小红书数据 小红书爬虫 小红书接口 xhs 小红书算法 小红书api
    最新版小红书APP接口,需要交流的朋友联系,少量勿扰,谢谢!只取APP公开数据,不做违法事情,如有侵犯贵公司,请联系删除!博主详情笔记详情博主笔记列表笔记评论关键词搜索等等接......
  • 网页共享的工作原理
    网页共享的工作原理Photoby塞巴斯蒂安·杜米特鲁on不飞溅网络浏览是关于连接人们的,就像诺基亚的标语一样。因此,我们经常有朋友互相分享好奇的页面。可以通过许多......
  • Python爬虫-BeautifulSoup基本用法(三)
    BeautifulSoup基本用法BeautifulSoup是Python的一个HTML或XML的解析库,可以用它来方便地从网页提取数据(以下为崔庆才的爬虫书的学习笔记)一.安装方式#安装beautifulsoup......
  • 网页上传文件夹的解决方案
    ​前言:因自己负责的项目(jetty内嵌启动的SpringMvc)中需要实现文件上传,而自己对java文件上传这一块未接触过,且对Http协议较模糊,故这次采用渐进的方式来学习文件上传的原......