首页 > 其他分享 >用lxml中的etree对猪八戒服务名称价格获取

用lxml中的etree对猪八戒服务名称价格获取

时间:2024-07-19 21:58:02浏览次数:10  
标签:lxml etree 22 text 22% 猪八戒 2C% div class

#本文仅供学习之用
由于获取的响应内容不是JSON数据也不是静态页面只能通过lxmlxpath完成注意格式
import requests

cookies = {
    '_uq': '41047ede63ba9fa098e72e449062fe93',
    'uniqid': 'd01o8vk4trqm6',
    '_suq': '14ee7588-acad-4654-8b05-5be72cb5d6ac',

    'Hm_lvt_a360b5a82a7c884376730fbdb8f73be2': '1721341370',
    'HMACCOUNT': '70E52AFDD5606235',
    'unionJsonOcpc': 'e30=',
    'vidSended': '1',
    'zbj_pubHistory': '{%22type%22:%22search%22%2C%22value%22:%22saas%22}',
    'Hm_lvt_c189d409e2c6b8c7bf93dc6ba2a49c79': '1721341488',
    'localCityInfo': '{%22handleInfo%22:{%22cityId%22:3584%2C%22cityName%22:%22%E5%BC%A0%E5%AE%B6%E5%8F%A3%22%2C%22cityEname%22:%22zjk%22%2C%22provinceId%22:3569%2C%22provinceName%22:%22%E6%B2%B3%E5%8C%97%22%2C%22adminCode%22:%22130700%22%2C%22towns%22:%22%22}%2C%22localInfo%22:{%22cityId%22:3584%2C%22cityName%22:%22%E5%BC%A0%E5%AE%B6%E5%8F%A3%22%2C%22cityEname%22:%22zjk%22%2C%22provinceId%22:3569%2C%22provinceName%22:%22%E6%B2%B3%E5%8C%97%22%2C%22adminCode%22:%22130700%22}}',
   
}

headers = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'accept-language': 'zh-CN,zh;q=0.9',
    'cache-control': 'max-age=0',

    'priority': 'u=0, i',
    'referer': 'https://www.zbj.com/',
    'sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Google Chrome";v="126"',
    'sec-ch-ua-mobile': '?1',
    'sec-ch-ua-platform': '"Android"',
    'sec-fetch-dest': 'document',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-site': 'same-origin',
    'sec-fetch-user': '?1',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Mobile Safari/537.36',
}

params = {
    'k': 'saas',
}

response = requests.get('https://m.zbj.com/fw/', params=params, cookies=cookies, headers=headers)
print(response.text)
#调用LXML模块 
from lxml import etree
html=etree.HTML(response.text)

divs = html.xpath("//div[@class='m-service-box']")
#标签加属性用[]用@对于img直接@就可以注意父子关系带参数
for item in divs:
    name= item.xpath("./div/div[@class='m-service-card']/a/div[@class='service-info-text']/div[@class='service-name-box']/span[@class='service-name']/text()")[0]
    price=item.xpath("./div/div[@class='m-service-card']/a/div[@class='service-info-text']/div[@class='service-price']/div[@class='discount-price']/span[@class='price-text']/text()")[0]

    print(name,price)

标签:lxml,etree,22,text,22%,猪八戒,2C%,div,class
From: https://blog.csdn.net/lfsysc/article/details/140560287

相关文章

  • Python从0到100(三十三):xpath和lxml类库
    1.为什么要学习xpath和lxmllxml是一款高性能的PythonHTML/XML解析器,我们可以利用XPath,来快速的定位特定元素以及获取节点信息2.什么是xpathXPath,全称为XMLPathLanguage,是一种用于在XML文档中进行导航和数据提取的语言,可用来在HTML\XML文档中对元素和属性进行遍......
  • sourcetree使用ssh拉取代码报错?看下是不是ssh客户端的问题以及相应的解决方案看这里~~
    相信很多软件开发的同学都很熟悉sourcetree,如果也有同学在使用过程中出现ssh拉取代码出现如下报错的问题这里比较头疼的是没法交互输入y确认缓存秘钥。Theserver'shostkeyisnotcachedintheregistry.Youhavenoguaranteethattheserveristhecomputeryouthi......
  • sourceTree 重置当前分支到此次提交
    撤回合并的分支(分支dev合并到分支0415,并且已经推送到远程分支了) 高风险操作:选择强行合并,此时本地仓库的改动已经删掉了!!!所以本地仓库和远端推送之前的版本应该是一样的。只需要强制推送当前本地仓库到远程即可选择强行合并之后看到下图所示 不需要拉取,直接点击推送 注意......
  • 爬虫 | xpath + lxml 库 解析爬取网页
    lxml库是用来解析XML和HTML网页内容的Xpath库则是用来查询数据(XPath表达式是一种在XML文档中查找信息的语言,它同样适用于HTML文档)简单示例:#先pipinstalllxmlimportrequestsfromlxmlimportetree#etree主要是用来解析和操作XML/HTML文档#步骤3:获取......
  • Git客户端工具:SourceTree for Mac v 4.1.5中文特别版
    SourceTree是一款由Atlassian公司推出的免费的Git和Mercurial版本控制系统的可视化客户端工具。它提供了一种简单易用的方式来管理和查看代码的版本历史,以及进行代码的比较、合并和提交等操作。用户可以通过SourceTree轻松地管理多个代码仓库,并且可以直观地查看代码的变化和提......
  • 客快物流大数据项目(九十三):ClickHouse的ReplacingMergeTree深入了解 ClickHouse清除重
    ​ClickHouse的ReplacingMergeTree深入了解为了解决MergeTree相同主键无法去重的问题,ClickHouse提供了ReplacingMergeTree引擎,用来对主键重复的数据进行去重。删除重复数据可以使用optimize命令手动执行,这个合并操作是在后台运行的,且无法预测具体的执行时间。在使用optimize命......
  • 数据爬取与可视化技术——urllib、XPath、lxml案例爬取新浪股票吧
    shy:数据爬取与可视化技术系列已发文三篇了,更多爬虫技术请查看专栏文章。数据爬取与可视化技术——使用urllib库爬取网页获取数据数据爬取与可视化技术——使用XPath和lxml库爬取、解析、提取数据shy:现已开辟专栏四个:C++、ACM、数据库系统概论、数据爬取与可视化技术,更多......
  • SourceTree提示Authentication failed for 如何解决
    sourcetree拉取失败提示Authenticationfailed(下图)1、关闭sourcetree;2、打开文件目录C:\Users\****\AppData\Local\Atlassian\SourceTree,删除passwd文件;3、打开sourcetree,点击拉取,就会弹出身份验证窗口,输入完成点击login即可拉取成功; ......
  • 技术笔记(6)SourceTree Push到github时报错
    技术笔记(6)SourceTreePush到github时报错remote:SupportforpasswordauthenticationwasremovedonAugust13,2021.Pleaseuseapersonalaccesstokeninstead.​即无法通过输入账号密码的方式来验证,需要使用个人token来验证。昨晚搜到了很多无效方法,搞得有点头痛了,记......
  • SourceTree回滚到指定版本
    SourceTree功能作用将master重置到此次提交:将本地代码重置到选中的提交。栗子:有a、b、c三次提交记录,最新提交记录为c,选中b,选择将master重置到此次提交,本地代码将会被重置到b提交的内容,因为本地代码会重置到b提交,远端代码还是c提交的原因,此时会显示落后一个版本,并且本地文件有......