首页 > 其他分享 >selenium拉到底

selenium拉到底

时间:2023-04-04 10:57:36浏览次数:37  
标签:到底 selenium driver height 滚动条 html sleep check

from selenium import webdriver
from lxml import etree

driver = webdriver.Chrome()
driver.get(url='https://www.ixigua.com/home/2515337690485792/?source=pgc_author_name&list_entrance=anyVideo')
# 页面最大
driver.maximize_window()
# 定义一个初始值
temp_height = 0
time.sleep(2)

while True:
    
    # 循环将滚动条下拉
    driver.execute_script("window.scrollBy(0,1000)")
    # sleep一下让滚动条反应一下
    time.sleep(2)
    # 获取当前滚动条距离顶部的距离
    check_height = driver.execute_script(
        "return document.documentElement.scrollTop || window.pageYOffset || document.body.scrollTop;")
    
    # 如果两者相等说明到底了
    if check_height == temp_height:
#         driver.refresh()
        # 在这里获取网页源代码
        html_data = driver.page_source
#         time.sleep(1)
        # print(html_data)
        break
    temp_height = check_height
#     print(check_height)
driver.close

#提取内容
html = etree.HTML(html_data)
address_list=html.xpath('//a[@class="HorizontalFeedCard__coverWrapper disableZoomAnimation"]/@href')

标签:到底,selenium,driver,height,滚动条,html,sleep,check
From: https://www.cnblogs.com/duoba/p/17285653.html

相关文章

  • c#OpenQA.Selenium截图二维码
    c#OpenQA.Selenium如何给指定元素截图,比如截图获取二维码,1.获取指定元素节点 varimage=driver.FindElementById("CheckCode");2.使用ITakesScreenshot获取截图并保存 Screenshotscreenshot=((ITakesScreenshot)image).GetScreenshot(); screenshot.SaveAsFile(Login......
  • Cassandra一个节点到底应该存放多大数据
    在Cassandra2.x版本及更早版本的时候,我经常建议用户单节点规模数据不要超过1T,到Cassandra3.x之后我又建议用户单节点规模不要超过4T。为什么会有这些变化,其实是跟基础设施的发展有关系的。一方面是随着SSD硬盘的越来越廉价,大部分用户使用SSD替换了机械硬盘提升了磁盘随机读写能......
  • VR交互探秘:我们到底需要怎样的手部交互?
    导语:从现在开始的相当长一段时间里,手部交互依然是最成熟的控制类人机交互方式,并且体验也远远没到完美,值得投入完善。我们与现实世界进行交互的主要方式是手,我们与VR世界的交互同样如此。从最初级的手势交互,例如英梅吉和HoloLens仅有固定几个手势,到追踪用户手指关节运......
  • 你到底值多少钱?2023打工人薪酬指南
    大家好,我是王有志,欢迎和我聊技术,聊漂泊在外的生活。作为打工人,你最关心什么?技能,成长,发展还是薪酬?刚毕业时,我为了赢得面试官的好感,说了很多违心话,如:“工资不要紧,主要是想学习”,又或者是“我对贵司的这块技术非常感兴趣”。现在想想,呸!恶心,哪怕是花钱嫖培训呢,也不要再傻乎乎的说......
  • css选择器语法使用(以selenium为例)
    """通过css选择器查找元素"""#查找类名属性为plant的第一个元素element=wd.find_element(By.CSS_SELECTOR,".plant")#查找tag属性名为div的第一个元素element=wd.find_element(By.CSS_SELECTOR,"div")#查找id属性为searchtext的第一个元素element=wd.......
  • xpath语法的使用(以selenium为例)
    """xpath定位1.路径选择/表示根节点/html表示选择根节点下的html节点/html/body/div表示选择根节点下的html节点下面的body节点下面的div节点//div/p选择所有div下的直接子节点p元素//div//p选择所有div下的所有p元素//div/2.属性选择[@属性名="属性值"......
  • selenium简单使用
    fromseleniumimportwebdriverfromselenium.webdriver.chrome.serviceimportServicefromselenium.webdriver.common.byimportByfromselenium.webdriver.support.uiimportSelectfromselenium.webdriver.common.action_chainsimportActionChainsimporttime......
  • DevOps到底是什么意思?
    提到DevOps这个词,我相信很多人一定不会陌生。作为一个热门的概念,DevOps近年来频频出现在各大技术社区和媒体的文章中,备受行业大咖的追捧,也吸引了很多吃瓜群众的围观。那么,DevOps是什么呢?有人说它是一种方法,也有人说它是一种工具,还有人说它是一种思......
  • 一个通信项目从开始到结束,到底包括哪些工作?
    本月12日,中国移动31个省的通信工程设计与可行性研究集采正式启动。这次集采规模庞大,涵盖了无线网(5G、FDD、NB等)、核心网、承载网、支撑网等专业方向,预估基本规模超400亿元,预估扩展规模超600亿元。毫无疑问,5G,是中国移动本次集采的主要目标。很多人可能会问,这次集采并不是真正的工......
  • “工服(工程服务)”到底是干吗的?
    马上又到秋招季了,很多通信行业的单位陆续启动了校招宣传。有同学问我,在各大企业的招聘岗位中,经常会看到“工服类”的岗位需求。这个“工服”,到底是干啥的?作为一个地地道道的工服出身的通信人,我今天就专门给大家解释一下,到底什么是“工服”,这类岗位值不值得去。工服,当然不是指“工作......