首页 > 其他分享 >爬取拉勾网职位信息

爬取拉勾网职位信息

时间:2024-03-20 16:11:25浏览次数:19  
标签:www jobs 拉勾 com 职位 爬取 lagou https data

https://www.lagou.com/jobs/list_python?labelWords=sug&fromSearch=true&suginput=py

分析思路:

1.看了job_detail的网页源码代码发现全是是在静态页面里面,使用requests和xpath就能完成,即访问

https://www.lagou.com/wn/jobs/11748362.html?show=441ad9eea5ca4095b1a65d6cbcb4620d,但是11748362 不容易获取

 

 

 2.page页面获取detail_url,发现 a class="position_link" href="https://www.lagou.com/wn/jobs/{{item.positionId}}.html?show={{extra.showId}}" target="_blank" data-index="{{i}}" data-lg-tj-id="8E00" data-lg-tj-no="  href 是动态加载

 

 

标签:www,jobs,拉勾,com,职位,爬取,lagou,https,data
From: https://www.cnblogs.com/xiaogan-520/p/18085481

相关文章

  • 使用Python爬取豆瓣电影影评:从数据收集到情感分析
    简介在当今数字化时代,对电影的评价和反馈在很大程度上影响着人们的选择。豆瓣作为一个知名的电影评价平台,汇集了大量用户对电影的评论和评分。本文将介绍如何使用Python编写爬虫来获取豆瓣电影的影评数据,并通过情感分析对评论进行简单的情感评价。环境准备在开始之前,我们需要......
  • 爬取汽车之家:基于selenium和request自动获取汽车信息并保存到CSV文件matplotlib和seab
    在网络时代,信息获取变得越来越重要,而Python作为一门强大的编程语言,其爬虫技术可以帮助我们自动获取互联网上的各种信息。今天,我们将学习如何使用Python编写爬虫程序,自动获取汽车信息,并将这些信息保存到CSV文件中。1.引入必要的库首先,我们需要引入一些必要的库,包括csv用于......
  • 爬虫实战爬取图片
        最近喜欢存一些图片来当住头像或者背景图,接下来我们爬一下某网站的图片1.打开网站    1.1按f12点击network然后刷新一下2.双击一下3.这时候我们就可以写代码了把基础的先写上importrequestsproxy={'http':'122.9.101.6:8888'}h......
  • 全栈的自我修养 ———— python爬虫爬取斗破苍穹小说并保存到文档里!看完保证会灵活使
    如果赶时间请直接看第四大步中的源码,好好看完这篇博客,这里保证大家以后彻底搞懂获得一个网站怎么来爬取!!!!一、准备二、选入合适的爬取的目标1、如何看出网站做了反爬2、合适的网站三、理思路1、选择合适的页面2、选择合适的元素三、爬取1、获取所有章节的链接获取网站上......
  • Python实战:爬取小红书
    有读者在公众号后台询问爬取小红书,今天他来了。本文可以根据关键词,在小红书搜索相关笔记,并保存为excel表格。爬取的字段包括笔记标题、作者、笔记链接、作者主页地址、作者头像、点赞量。一、先看效果1、爬取搜索页2、爬取结果保存到本地excel表格运行我写的爬虫,......
  • 数据爬取与可视化技术——urllib、XPath、lxml案例爬取新浪股票吧
    shy:数据爬取与可视化技术系列已发文三篇了,更多爬虫技术请查看专栏文章。数据爬取与可视化技术——使用urllib库爬取网页获取数据数据爬取与可视化技术——使用XPath和lxml库爬取、解析、提取数据shy:现已开辟专栏四个:C++、ACM、数据库系统概论、数据爬取与可视化技术,更多......
  • c# 爬取汉字
    //下载页面源文件并将其转换成UTF8编码格式的STRING//stringmainData=Encoding.UTF8.GetString(wc.DownloadData(string.Format("你要采集的网页地址")));stringpath=Server.MapPath("data");FileStreamfs=newFileStream(path+&quo......
  • c#爬取图片
    staticvoidMain(string[]args){Stopwatchstopwatch=newStopwatch();//图片网址//https://www.ivsky.com/tupian/index_8.html//stringurl="https://cn.bing.com/images/search?q=%e6%84%8f%e5%a2%83%e5%9......
  • Python爬取免费IP代理时,无法解析到数据
    大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【ZXS】问了一个Python网络爬虫实战问题。问题如下:我这里遇到一个问题:【爬取免费IP代理时,无法解析到数据】,我通过xpath,css定位到了元素,但是在运行时返回空列表,请问我该怎么解决呀以下是解析数据的截图:他自......
  • 案例--某站视频爬取
    众所周知,某站的视频是:由视频和音频分开的。所以我们进行获取,需要分别获得它的音频和视频数据,然后进行音视频合并。这么多年了,某站还是老样子,只要加个防盗链就能绕过。(防止403)音视频合并用ffmpeg软件,需要设置环境变量。---soeasy  话不多说,直接上代码......