首页 > 其他分享 >简单几步快速完成爬虫任务

简单几步快速完成爬虫任务

时间:2023-01-17 10:33:33浏览次数:34  
标签:几步 driver 爬虫 nth child import div csv 快速

#一、引入selenium
from selenium import webdriver
from time import sleep
#from selenium.webdriver.chrome.options import Options
#import xlrd
import csv
import os
#固定csv保存在桌面
os.chdir(r'C:\Users\Administrator\Desktop')

#二、打开网页
# 使用webkit无界面浏览器
# 如果路径为 exe 启动程序的路径,那么该路径需要加一个 r
driver =webdriver.Firefox()
# 获取指定网页的数据 start_urls
driver.get('https://movie.douban.com/top250')
driver.implicitly_wait(20)

#三、翻页、获取内容、写入CSV
#遍历循环20次
for o in range (1,13):
#遍历循环15次
sleep(0.5)
for i in range (1,26):
#获取标题和时间
#拼接字符串
data1 = driver.find_element_by_css_selector('.grid_view > li:nth-child('+str(i)+') > div:nth-child(1) > div:nth-child(2) > div:nth-child(1) > a:nth-child(1) > span:nth-child(1)').text
data2 = driver.find_element_by_css_selector('.grid_view > li:nth-child('+str(i)+') > div:nth-child(1) > div:nth-child(2) > div:nth-child(2) > p:nth-child(3) > span:nth-child(1)').text
print(data1, data2)
#写入csv
with open('豆瓣.csv', 'a+', newline = '\n')as f:
w = csv.writer(f)
w.writerow([data1, data2])
sleep(0.5)
#并进行点击翻页
driver.find_element_by_css_selector('.next > a:nth-child(2)').click()


driver.quit()

标签:几步,driver,爬虫,nth,child,import,div,csv,快速
From: https://blog.51cto.com/u_13488918/6011961

相关文章

  • 爬虫就应该这样学
    新人如何学习Python爬虫其实也很简单,根据之前学习的步伐,大体上分为四个阶段,这也是我学习爬虫的一些心得,下面我就将我详细学习Python爬虫所制定的学习路线分享给大家吧。......
  • 【jQuery超快速入门教程】上篇
    ......
  • 机械CAD中如何快速绘制对刀塞尺?
    在机械CAD制图过程中,当需要绘制对刀塞尺时,该如何操作?浩辰CAD机械软件集机械绘图、机构设计、数据管理于一体,提供了丰富的夹具库,可以一键绘制对刀塞尺,接下来的机械CAD制图教......
  • 如何使用 ST05 事物码,快速找到访问指定数据库表的 ABAP 代码试读版
    在实际项目开发过程中,ABAP顾问可能会经常接到这类需求:调研SAP标准产品某个功能的具体实现位置,在此基础上做增强开发。比如下图是SAPCRM产品主数据管理应用的搜索页......
  • D&C--快速排序
    分而治之->递归式问题解决方法工作原理:1,找出简单的基线条件2,确定如何缩小问题规模,使其符合基线条件。快速排序算法:1,取一个基准值,大于基准值的位于一个数组,小于基准值......
  • Nginx 快速入门
    一、Nginx快速入门1、Nginx概述1.1介绍​Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/PoP3)代理服务器。其特点是占有内存少,并发能力强......
  • Spring Cache 快速入门
    一、SpringCache快速入门1、SpringCache简介什么是SpringCache?SpringCache是一个框架,实现了基于注解的缓存功能,只需要简单地加一个注解,就能实现缓存功能。Spr......
  • MATLAB爬虫爬取股票数据
    Matlab也可以爬取网络数据~近年来,大数据盛行,有关爬虫的教程层次不穷。那么,爬虫到底是什么呢?什么是爬虫?百度百科是这样定义的:网络爬虫(又被称为网页​​蜘蛛​​​,网络机......
  • 如何在几分钟内快速的学会多种外国语言和多种中文方言的教程 All In One
    如何在几分钟内快速的学会多种外国语言和多种中文方言的教程AllInOne英语、俄语、韩语、日语、意大利语、法语、泰语、越南语粤语、吴语、四川话、东北话、陕北话......
  • 快速构建用户xlwings环境
    一、安装python python-3.8.3-amd64.exe二、准备文件requirements.txt内容如下安装失败需要切换国内镜像源numpy==1.22.1openpyxl==3.0.5pandas==1.4.0xlrd==1.2.......