首页 > 其他分享 >selenium 版本4爬取淘宝商品信息

selenium 版本4爬取淘宝商品信息

时间:2023-10-17 11:45:10浏览次数:37  
标签:商品信息 -- selenium SELECTOR 爬取 element dr find CSS

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from time import sleep
#访问淘宝页面
path =  Service('C:\Python38\chromedriver.exe')
browser = webdriver.Chrome(service=path)
dr = webdriver.Chrome()
dr.get('https://www.taobao.com/')

#输入搜索信息
dr.find_element(By.CSS_SELECTOR,'#q').send_keys("iphone")
#全局等待15秒
dr.implicitly_wait(15)
#窗口最大化
dr.maximize_window()
#回车
dr.find_element(By.CSS_SELECTOR,'#q').send_keys(Keys.ENTER)
sleep(3)
#取出3页的商品
for i in range(3):
    # 取出一页每个商品信息
    iphonelist=dr.find_elements(By.CSS_SELECTOR,".Content--contentInner--QVTcU0M .Card--doubleCardWrapper--L2XFE73")
    for d in iphonelist:
        print(d.find_element(By.CSS_SELECTOR,".ShopInfo--TextAndPic--yH0AZfx a").text)
        print(d.find_element(By.CSS_SELECTOR,".Title--title--jCOPvpf span").text)
        print(d.find_element(By.CSS_SELECTOR,".Price--priceWrapper--Q0Dn7pN .Price--unit--VNGKLAP").text + d.find_element(By.CSS_SELECTOR,".Price--priceWrapper--Q0Dn7pN .Price--priceInt--ZlsSi_M").text + d.find_element(By.CSS_SELECTOR,".Price--priceWrapper--Q0Dn7pN .Price--priceFloat--h2RR0RK").text )
        # print(d.find_element(By.CSS_SELECTOR,".Price--priceWrapper--Q0Dn7pN  .Price--realSales--FhTZc7U").text)
    #取下一页按钮
    next=dr.find_element(By.XPATH,"//*[text()='下一页']")
    next.click()

 

标签:商品信息,--,selenium,SELECTOR,爬取,element,dr,find,CSS
From: https://www.cnblogs.com/lh438369/p/17769333.html

相关文章

  • selenium 相关
    一、webdriver下载https://googlechromelabs.github.io/chrome-for-testing/形如https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/118.0.5993.70/win64/chromedriver-win64.zip查找对应chrome的版本,需要随着chrome的每12个月升级而不断换下载新的驱动 二、c......
  • selenium之鼠标操作详解
    前言人类频繁的用手操作鼠标和键盘,为了解决这个问题,selenium工具为我们提供了一个类来处理这些事件—Actionchains,该类可以完成鼠标移动,鼠标点击事件、键盘输入、内容菜单交互等交互行为。1、常见的鼠标操作有:单击、右键点击、双击、移动鼠标、拖拽鼠标。(Actionchains代替人......
  • 软件测试|selenium 元素无法选择异常的原因及解决
    SeleniumElementNotSelectableException异常:原因及解决方法简介在进行Web自动化测试时,使用Selenium可能会遇到各种异常情况。其中之一就是ElementNotSelectableException异常,该异常通常意味着在尝试选择一个不可选元素时出现了问题。本文将详细介绍这个异常的原因、可能的......
  • 软件测试|selenium 元素无此属性NoSuchAttributeException问题分析与解决
    SeleniumNoSuchAttributeException异常原因及解析简介在使用Selenium进行Web自动化测试时,我们可能会遇到NoSuchAttributeException异常。这个异常通常在尝试访问一个元素的属性(attribute)时抛出,但该属性不存在。本文将介绍NoSuchAttributeException异常的常见原因以及解决方法,并附......
  • python+playwright 学习-61 Playwright 和 Selenium 的区别是什么?
    前言最近有不少同学问到Playwright和Selenium的区别是什么?有同学可能之前学过selenium了,再学一个playwright感觉有些多余,可能之前有项目已经是selenium写的了,换成playwright需要时间成本,并且可能有未知风险。也有同学之前可能没学过selenium,现在正准备入手一个web......
  • selenium——clear()使用了不生效,解决输入框没法清空的情况
    前提:今天研究web自动化,准备模拟一个修改名称的操作,想的是定位都输入框元素,然后使用clear()方法清空输入框内容,再重新输入一些内容结果实际上发现并没有清空输入框内容,而是直接在输入框后面追加了(这里就可以确定元素肯定是定位到了的)clear()方法为什么会失效不得而知,在网上搜索......
  • Selenium打开网页时保持登陆状态
    前言今天在学习selenium的时候,每次调试网页都会打开一个新的浏览器窗口,当我想要做某些操作的时候就需要自己再去模拟登陆,太浪费时间了。那么要怎么样才能在打开网页的时候直接就是登陆状态呢?使用下面的方法就可以直接加载登陆过后的保存在本地的信息,而且不再需要手动登陆上代......
  • selenium系列:三(配置)
    ChromeOptionsChromeOptionsoptions=newChromeOptions();setPageLoadStrategy等待策略options.setPageLoadStrategy(PageLoadStrategy.NORMAL);PageLoadStrategy.NORMAL正常情况下,selenium会等待整个界面加载完成(指对html和子资源的下载与解析,入JS文件,图片等,不包含ajax)PageLo......
  • selenium所有检测点和绕过方式[运行命令后被检测/打开就被检测/环境检测]
    网上说的基本不全,最近有个新加密(F5shape)是控制流加密,解起来比较繁琐,就直接用selenium了,我看到有环境监测,但是没想到有检测selenium…一开始用nodejs写的,但是用nodejs写面向过程的代码真的很难受,又改为python了JSVMPjs加密打开这个网站就能看到部分检测点https://bo......
  • Python自动化测试工具Selenium使用踩坑
    1.背景       最近看同事在搞自动化测试,便想着自己在本地搭建一个自动化点击页面环境。主要是Selenium操作谷歌游览器进行访问百度,然后搜索关键词,获取搜索的内容。2.环境准备(1)查看本地谷歌游览器版本号,点击游览器右上角->设置-关于chrome即可获取,目前我的游览器是最新......