一.某勾网职位爬取

众所周知，现在反爬机制特别严重，我们想要爬取一些职位数据是难上加难，所以我们现在使用selenium模拟真人操作网页爬取这个某勾网的职位。

我选用selenium模拟真人操作网页，使用谷歌和火狐游览器的插件，进行动态的对目标网站进行爬取。 将目标网页存入一个列表中，每个url爬取30页（使用一个30次的循环操作）将里面当前页面的数据提取出来。然后分别调用getData函数（提取目标值存入对应的列表内），得到目标值datalist，然后使用pandas转化完成，存入csv文件里。最终得到如下数据：

共计8000条左右数据。

爬虫结构图

1.1 selenium的使用

1、爬虫开始，先将需要的模块包导入：

from selenium import webdriver  # 模拟真人操作网页
import pyquery as pq  # 解析网页
import time  # 时间模块
import os  # 文件模块
import pandas as pd
from selenium.webdriver.chrome.service import Service  # 新增
from selenium.webdriver.common.by import By

2.避免乱码，在py文件的最上面，加入utf-8编码，显示中文。

# coding = utf-8

3.将谷歌的chromedriver的路径写一下，如果没有chromedriver的话，去官网下载一下，下载解压，将chromedriver拖拽到谷歌游览器的目录即可。

service = Service(executable_path='/home/yan/Python/chromeselenium/chromeselenium/chromedriver')

4.官方下载地址：

https://registry.npmmirror.com/binary.html?path=chromedriver/

5.其实如果的最新版的selenium。不用下载chromedriver就可以用，模块里会自动下载配置好的。

driver = webdriver.Chrome()

6.来一端测试代码，测试一下：

from selenium import webdriver

driver = webdriver.Chrome()
url = 'https://www.baidu.net/'
driver.get(url)
driver.maximize_window()

7.如果出现以下报错：

8.去外面刚刚下载好的chromedriver里，双击脚本，启动服务：

出现以下界面，说明启动成功：

9.重新运行刚刚那段测试代码，如果还是无法启动，更换火狐游览器即可解决问题，火狐游览器测试代码：

import time
from selenium.webdriver import Firefox
from selenium import webdriver
driver = webdriver.Firefox()
driver.get("https://www.toutiao.com/a6969138023774667264/")
time.sleep(2)
html = driver.page_source
print(html)
driver.quit()

效果图：

1,2 开始爬取

1.使用selenium模拟真人操作网页（谷歌为例）。目标url

lagou_http = "https://www.lagou.com/jobs/list_go%E5%BC%80%E5%8F%91%E5%B7%A5%E7%A8%8B%E5%B8%88/p-city_0?&cl=false&fromSearch=true&labelWords=&suginput="
driver.get(lagou_http)
data = []

2.每个url爬取30页：以下一页按钮的class为准：.pager_next ，然后进行调用函数，data处理数据：

index = 0
while index < 31:
    if index<1:
        time.sleep(30)
    index += 1
    next_button = driver.find_element(By.CSS_SELECTOR, ".pager_next ").get_attribute('class')
    print(next_button)
    if next_button == "pager_next ":
        # 获取当前页面的数据
        items = pq.PyQuery(driver.page_source).find(".con_list_item")
        # print('items',items)
        data += getData(items)
        time.sleep(2)
        # driver.find_element_by_xpath("")
        element = driver.find_element(By.XPATH, "//span[@action='next']").click()
        time.sleep(2)
    else:
        print("爬取结束")
        break

3.getData 函数的作用，将上面拿到的前页面的数据里将我们需要的目标数据拿到，放到list列表里返回。

def getData(items):

4.我们抓取这些关键字：职位名,薪资,公司名,行业,公司融资/上市情况,人数规模,工作年限,学历,城市

x.append(item.attr("data-positionname"))
x.append(item.attr("data-salary"))
x.append(item.attr('data-company'))
x.append(pq.PyQuery(item).find(".industry").text())
x.append(pq.PyQuery(item).find(".p_bot>.li_b_l").remove(".money").text())
x.append((pq.PyQuery(item).find(".add").text()))

4.最后将获取到的数据保存到csv文件中

f = open('D-3-Go岗.csv','w',encoding='utf-8')
name=["职位名","薪资",'公司名','公司描述','工作经验',"地点"]
test=pd.DataFrame(columns=name,data=data)
# csv_writer = csv.writer(test)
print(test)
test.to_csv('D-3-Go岗.csv',encoding='utf-8')
print('写入文件成功')

5.爬取部分结果如下:

6，可以看到如下的数据还是比较规整的：

(成都)Java工程师-周末双休-专科民教网勿扰,11k-18k,联龙博通,科技金融 , 不需要融资 , 2000人以上,经验3-5年,本科,成都 (杭州)Java工程师-周末双休,13k-21k,联龙博通,科技金融 , 不需要融资 , 2000人以上,经验5-10年,本科,杭州 .net开发工程师-HK,11k-16k,普华永道成都SDC,务｜咨询 , 不需要融资 , 2000人以上,经验3-5年,本科,成都 .net开发工程师（转Java）,18k-35k,红途科技,信息安全 , A轮 , 50-150人,经验3-5年,本科,深圳 .NET开发架构师,15k-20k,欧派,居住服务 , 上市公司 , 2000人以上,经验5-10年,本科,广州 .NET开发架构师,15k-20k,欧派,居住服务 , 上市公司 , 2000人以上,经验5-10年,本科,杭州 .net高级开发工程师,25k-35k,上海元聚,工具类产品 , 不需要融资 , 150-500人,经验5-10年,本科,上海

7.一共爬取的数据类型有：

共计8000组数据。