首页 > 其他分享 >爬虫之xpath的使用和selenium的操作和爬虫框架简介

爬虫之xpath的使用和selenium的操作和爬虫框架简介

时间：2022-12-06 19:12:22浏览次数：45  
标签：xpath body selenium 爬虫 bro html div find

一、xpath操作

# xpath和css选择器一样 都是让我们快速得到标签信息
# html中选择标签，可以使用的通用方式
    -css选择
    -xpath选择
        -XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言
# 语法的简单介绍
    -nodename    选取此节点的所有子节点
    -/            从根节点选取    /body/div
    -//        从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置  //div
    -.           选取当前节点。
    -..          选取当前节点的父节点。
    -@          选取属性。
    
# 终极大招
    -复制
    可以去网站上找到我们需要的位置,然后在通过右键检查,找到这个标签的位置,然后右键复制xpath即可

1.1 代码演示

doc='''
<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html' id='id_a'>Name: My image 1 <br/><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html' class='li li-item' name='items'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
   <a href='image6.html' name='items'><span><h5>test</h5></span>Name: My image 6 <br /><img src='image6_thumb.jpg' /></a>
  </div>
 </body>
</html>
'''

from lxml import etree

html=etree.HTML(doc)
html=etree.parse('search.html',etree.HTMLParser())
# 1 所有节点
    a=html.xpath('//*')
# 2 指定节点（结果为列表）
    a=html.xpath('//head')

# 3 子节点，子孙节点
    a=html.xpath('//div/a')
    a=html.xpath('//body/a') #无数据
    a=html.xpath('//body//a')
# 4 父节点
    a=html.xpath('//body//a[@href="image1.html"]/..')
    a=html.xpath('//body//a[1]/..')
# 也可以这样
    a=html.xpath('//body//a[1]/parent::*')
    a=html.xpath('//body//a[1]/parent::div')
# 5 属性匹配
    a=html.xpath('//body//a[@href="image1.html"]')

# 6 文本获取  text()    ********
    a=html.xpath('//body//a[@href="image1.html"]/text()')

# 7 属性获取            ******
    a=html.xpath('//body//a/@href')
    a=html.xpath('//body//a/@id')
# # 注意从1 开始取（不是从0）
    a=html.xpath('//body//a[1]/@id')
# 8 属性多值匹配
# a 标签有多个class类，直接匹配就不可以了，需要用contains
    a=html.xpath('//body//a[@class="li"]')
    a=html.xpath('//body//a[@name="items"]')
    a=html.xpath('//body//a[contains(@class,"li")]')
    a=html.xpath('//body//a[contains(@class,"li")]/text()')
# 9 多属性匹配
    a=html.xpath('//body//a[contains(@class,"li") or @name="items"]')
    a=html.xpath('//body//a[contains(@class,"li") and @name="items"]/text()')

# 10 按序选择
    a=html.xpath('//a[2]/text()')
    a=html.xpath('//a[3]/@href')
# 取最后一个
    a=html.xpath('//a[last()]/@href')
# 位置小于3的
    a=html.xpath('//a[position()<3]/@href')
# 倒数第二个
    a=html.xpath('//a[last()-2]/@href')
# 11 节点轴选择
# ancestor：祖先节点
# 使用了* 获取所有祖先节点
    a=html.xpath('//a/ancestor::*')
# # 获取祖先节点中的div
    a=html.xpath('//a/ancestor::div')
# attribute：属性值
    a=html.xpath('//a[1]/attribute::*')
    a=html.xpath('//a[1]/attribute::href')
# child：直接子节点
    a=html.xpath('//a[1]/child::*')
# descendant：所有子孙节点
    a=html.xpath('//a[6]/descendant::*')

# following:当前节点之后所有节点
    a=html.xpath('//a[1]/following::*')
    a=html.xpath('//a[1]/following::*[1]/@href')
# following-sibling:当前节点之后同级节点
    a=html.xpath('//a[1]/following-sibling::*')
    a=html.xpath('//a[1]/following-sibling::a')
    a=html.xpath('//a[1]/following-sibling::*[2]')
    a=html.xpath('//a[1]/following-sibling::*[2]/@href')

print(a)

二、selenium动作链

# 网站中有些按住鼠标，滑动的效果
    -滑动验证码
    
# 两种形式
    -形式一：
        actions=ActionChains(bro) #拿到动作链对象
        actions.drag_and_drop(sourse,target) #把动作放到动作链中，准备串行执行
        actions.perform()
    -方式二：
        ActionChains(bro).click_and_hold(sourse).perform()
        distance=target.location['x']-sourse.location['x']
        track=0
        while track < distance:
            ActionChains(bro).move_by_offset(xoffset=2,yoffset=0).perform()
            track+=2

三、自动登入12306

# 因为登入12306有滑动验证码校验 所以我们可以使用到selenium的动作链

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
from selenium.webdriver import ActionChains
from selenium.webdriver.chrome.options import Options

options = Options()
# 12306检测到了我们使用了selenium控制了浏览器，所以它的滑块出不来  所以我们需要去掉这些检测
options.add_argument("--disable-blink-features=AutomationControlled")  # 去掉自动化控制的提示
bro = webdriver.Chrome(executable_path='./chromedriver.exe', options=options)

bro.get('https://kyfw.12306.cn/otn/resources/login.html')

bro.maximize_window()
bro.implicitly_wait(10)

try:
    username = bro.find_element(by=By.ID, value='J-userName') # 获取用户输入框
    username.send_keys('')  # 输入用户名
    password = bro.find_element(by=By.ID, value='J-password')  # 获取密码输入框
    password.send_keys('')  # 输入密码
    time.sleep(3)
    btn = bro.find_element(by=By.ID, value='J-login')  # 获取登入按钮
    btn.click()  # 点击登入按钮
    span = bro.find_element(by=By.ID, value='nc_1_n1z')  # 获取滑动验证码按钮

    ActionChains(bro).click_and_hold(span).perform()  # 鼠标点主
    ActionChains(bro).move_by_offset(xoffset=300, yoffset=0).perform() # 滑动 直接向右滑动300

    time.sleep(10)

except Exception as e:
    print(e)

finally:
    bro.close()

 四、打码平台使用

# 有时候有些登入需要使用验证码才能够登入那么我们可以借助第三方来帮我们实现

# 可以使用超级鹰

import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from chaojiying import ChaojiyingClient  # 超级鹰提供给我们的sdk
from PIL import Image
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
bro.get('http://www.chaojiying.com/apiuser/login/')
bro.implicitly_wait(10)
bro.maximize_window()
try:
    username = bro.find_element(by=By.XPATH, value='/html/body/div[3]/div/div[3]/div[1]/form/p[1]/input')  # 使用xpath找到用户输入框
    password = bro.find_element(by=By.XPATH, value='/html/body/div[3]/div/div[3]/div[1]/form/p[2]/input')
    code = bro.find_element(by=By.XPATH, value='/html/body/div[3]/div/div[3]/div[1]/form/p[3]/input')
    btn = bro.find_element(by=By.XPATH, value='/html/body/div[3]/div/div[3]/div[1]/form/p[4]/input')
    username.send_keys('')  # 输入用户名
    password.send_keys('')  # 输入密码
    # 获取验证码 我们可以先把整个页面截图,然后在使用pillow截出验证码图片,然后交给超级鹰帮我们识别：
    # 1 整个页面截图
    bro.save_screenshot('main.png')
    # 2 使用pillow，从整个页面中截取出验证码图片 code.png
    img = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/div/img')  
    # 利用xpath找到验证码图片
    location = img.location
    size = img.size
    print(location)  # 位置
    print(size)  # 大小
    # 使用pillow扣除大图中的验证码   验证码的左上角的xy轴 到 验证码的右下角的xy轴
    img_tu = (int(location['x']), int(location['y']), int(location['x'] + size['width']), int(location['y'] + size['height']))
    # # 抠出验证码
    # #打开
    img = Image.open('./main.png')
    # 抠图
    fram = img.crop(img_tu)
    # 截出来的小图
    fram.save('code.png')
    # 3 使用超级鹰破解
    chaojiying = ChaojiyingClient('', '', '937234')  # 用户名和密码还有超级鹰给我们的id
    # 用户中心>>软件ID 生成一个替换 96001
    im = open('code.png', 'rb').read()  # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    print(chaojiying.PostPic(im, 1902))  # 1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
    res_code=chaojiying.PostPic(im, 1902)['pic_str']
    code.send_keys(res_code)
    time.sleep(5)
    btn.click()
    time.sleep(10)
except Exception as e:
    print(e)
finally:
    bro.close()

五、使用selenium爬取京东的商品信息

from selenium import webdriver
from selenium.webdriver.common.by import By  # 按照什么方式查找，By.ID,By.CSS_SELECTOR
import time
from selenium.webdriver.common.keys import Keys

def get_goods(driver):
    try:
        goods = driver.find_elements(by=By.CLASS_NAME, value='gl-item')  # 先找商品信息框
        for good in goods:
            name = good.find_element(by=By.CSS_SELECTOR, value='.p-name em').text 
            # 商品名字
            price = good.find_element(by=By.CSS_SELECTOR, value='.p-price i').text
            # 商品价格
            commit = good.find_element(by=By.CSS_SELECTOR, value='.p-commit a').text
            # 商品评论
            url = good.find_element(by=By.CSS_SELECTOR, value='.p-name a').get_attribute('href')
            # 商品地址
            img = good.find_element(by=By.CSS_SELECTOR, value='.p-img img').get_attribute('src')
            # 商品图片
            if not img:  
          # 因为京东加载商品是按照懒加载的 所以页面最下面的图片会获取不到  所以我们需要使用其他获取
                img ='https://'+ good.find_element(by=By.CSS_SELECTOR, value='.p-img img').get_attribute('data-lazy-img')

            print('''
            商品名字：%s
            商品价格：%s
            商品链接：%s
            商品图片：%s
            商品评论：%s
            ''' % (name, price, url, img, commit))

        button = driver.find_element(by=By.PARTIAL_LINK_TEXT, value='下一页')
        button.click()
        time.sleep(1)
        get_goods(driver)
    except Exception as e:
        print(e)


def spider(url, keyword):
    driver = webdriver.Chrome(executable_path='./chromedriver.exe')
    driver.get(url)
    driver.implicitly_wait(10)  # 使用隐式等待
    try:
        input_tag = driver.find_element(by=By.ID, value='key')  # 获取输入框
        input_tag.send_keys(keyword)  # 输入想要获取的商品名字
        input_tag.send_keys(Keys.ENTER)  # 按回车
        get_goods(driver)  # 执行 
    finally:
        driver.close()


if __name__ == '__main__':
    spider('https://www.jd.com/', keyword='精品内衣')  # 地址, 获取什么商品

七、scrapy框架介绍

# 前面学的都是模块，做专业的爬虫，可以使用框架 (django:web)  scrapy:爬虫框架
    -做爬虫用的东西，都封装好了，只需要在固定的位置写固定的代码即可
    
# scrapy 号称爬虫界的djagno
    -django 大而全，做web相关的它都用
    -scrapy 大而全，做爬虫的，它都用
    
    
# 介绍
Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据或者通用的网络爬虫



# 安装 scrapy
    -mac，linux：
        pip3 install scrapy
    -win：看人品
        -pip3 install scrapy
        -人品不好：
        1、pip3 install wheel #安装后，便支持通过wheel文件安装软件   xx.whl
        3、pip3 install lxml
        4、pip3 install pyopenssl
        5、下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/
        6、下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
        7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
        8、pip3 install scrapy
        
        
 # 释放出scrapy 可执行文件
    -以后使用这个创建爬虫项目 ---》django-admin创建django项目
    
    
 # 创建爬虫项目
    scrapy startproject myfirstscrapy
    
 # 创建爬虫 [django创建app]
    scrapy genspider cnblogs www.cnblogs.com
    
 # 启动爬虫 
    scrapy crawl cnblogs --nolog
    
 # pycharm中运行
    新建run.py
    from scrapy.cmdline import execute
    execute(['scrapy', 'crawl', 'cnblogs','--nolog'])

 

标签：xpath,body,selenium,爬虫,bro,html,div,find
From： https://www.cnblogs.com/stephenwzh/p/16955978.html

相关文章

  • 爬虫项目
     springdataflow，各个服务通过rocketmq来串联 springbootredisjpa Selenium bucket4jrocketmqjieba| es+hibernatesearch| UrlManager:管理需要......
  • 爬虫学习-04
    一、xpath的使用html中选择标签，可以使用的通用方式css选择xpath选择1.1介绍XPath即为XML路径语言（XMLPathLanguage），它是一种用来确定XML文档中某部分位置的语言，Scr......
  • Python异步爬虫（aiohttp版）
    异步协程不太了解的话可以去看我上篇博客：https://www.cnblogs.com/Red-Sun/p/16934843.htmlPS：本博客是个人笔记分享，不需要扫码加群或必须关注什么的（如果外站需要加群或关......
  • 爬虫从入门到入狱之入门（2）
    1 css选择器bs4可以通过遍历，搜索，css选择器选择标签frombs4importBeautifulSouphtml_doc="""<html><head><title>TheDormouse'sstory</title></head><body>......
  • Selenium无浏览器页面执行测试用例—静默执行
    在执行WebUI自动化用例的时候，经常需要不打开浏览器执行自动化测试，这时就需要用到浏览器的静默执行。浏览器静默执行要点：1.定义Chrome的选项，两种方式任选chrome_options=......
  • 网络爬虫优化几种常见策略
    什么是网络爬虫和反爬虫：网络爬虫：使用一些技术手段，大量获取网站数据的一种方式。反爬虫：使用一些技术手段，阻止网络爬虫获取次网站数据的一种方式。常见的反爬虫机制有哪些：通过......
  • （转）java爬虫 httpclient htmlunit selenium 比较
    原文链接：https://blog.csdn.net/qq_34661726/article/details/80585659简单介绍。1httpclienthttpclient是HttpClient是ApacheJakartaCommon下的子项目，支持常......
  • python爬虫爬取网易云音乐（超详细教程，附源码）
    一、前言先说结论，目前无法下载无损音乐，也无法下载vip音乐。此代码模拟web网页js加密的过程，向api接口发送参数并获取数据，仅供参考学习，如果需要下载网易云音乐，不如直接在......
  • Selenium4+Python3系列（十一） - Page Factory设计模式
    写在前面：PageObject模式，目的是将元素定位和元素操作分层，只接触测试内容，不写基础内容，便于后续对自动化测试用例体系的维护，这是中心思想，也是核心。那么我们继续将简洁延续，......
  • Selenium4+Python3系列（十一） - Page Factory设计模式
    写在前面：PageObject模式，目的是将元素定位和元素操作分层，只接触测试内容，不写基础内容，便于后续对自动化测试用例体系的维护，这是中心思想，也是核心。那么我们继续将简洁延续......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99