首页 > 编程语言 >有没有大佬可以帮忙看一下我基于python爬取租房数据的代码,新手第一次发帖子可能有点乱,距离毕设初稿提交还剩3天,真的麻烦各位了!!

有没有大佬可以帮忙看一下我基于python爬取租房数据的代码,新手第一次发帖子可能有点乱,距离毕设初稿提交还剩3天,真的麻烦各位了!!

时间:2024-12-12 21:59:40浏览次数:8  
标签:xpath 毕设 python text list li content -- 发帖子

这是我的代码,代码基本雏形是在本网站的一位大佬的帖子里复制过来的,经过更改爬取的网页基本信息之后,发现只能爬取一个数据,真的不知道问题出现在哪里了,本人基础很薄弱很菜鸡,但还是想搞清楚问题出现在哪里,就上来求助了

import requests
from lxml import etree
import csv
# from pip._internal import index

# 发送请求
url = 'https://cs.lianjia.com/zufang/#contentList'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
                         ' AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
                         '/131.0.0.0 Safari/537.36 Edg/131.0.0.0'}
response = requests.get(url=url, headers=headers)
# 获取数据
html_content = response.text
et = etree.HTML(html_content)
doc = et.xpath('//*[@id="content"]/div[1]/div[1]/div[1]/div')

# 解析数据
list_1 = []
for li in doc:
    title = li.xpath('.//p[@class="content__list--item--title"]/a/text()')[0]
    price = li.xpath('.//span[@class="content__list--item-price"]/em/text()')[0]
    position = li.xpath('.//p[@class="content__list--item--des"]/a/text()')
    peculiarity = li.xpath('.//p[@class="content__list--item--bottom oneline"]/i/text()')
    area = li.xpath('.//p[@class="content__list--item--des"]/text()[5]')
    layout = li.xpath('.//p[@class="content__list--item--des"]/text()[7]')

    if position:
        position = '-'.join(position)
    list_1.append([title, price, position, peculiarity, area, layout])
# 保存数据  定义列名
headers = ['title', 'price', 'position', 'peculiarity', 'area', 'layout']

for p in list_1:
    with open('data31.csv', mode='a', encoding='utf-8', newline='') as file:
        csv_writer = csv.writer(file)
        csv_writer.writerow(headers)  # 写入列名
        csv_writer.writerow(p)


# 检验list1的长度以及打印出列表内容
# print('List length:', len(list_1))
# print('List contents:', list_1)

 这是爬出来的csv文件

如果 按照源代码的结构应该是这样的,但是还是只爬出一个数据

 

标签:xpath,毕设,python,text,list,li,content,--,发帖子
From: https://blog.csdn.net/woshiFUPOa/article/details/144436945

相关文章

  • 基于SpringBoot+Vue的旅游推荐管理系统设计与实现毕设(文档+源码)
    目录一、项目介绍二、开发环境三、功能介绍四、核心代码五、效果图六、源码获取:         大家好呀,我是一个混迹在java圈的码农。今天要和大家分享的是一款基于SpringBoot+Vue的旅游推荐管理系统,项目源码请点击文章末尾联系我哦~目前有各类成品毕设JavaWeb......
  • python debug
    pythondebug在Python中,查看程序的调用栈(callstack)可以帮助你调试代码,了解函数调用的顺序和上下文。以下是查看Python调用栈的常用方法。1.使用traceback模块traceback是Python标准库模块,可用于打印异常发生时的调用栈或程序的当前调用栈。示例:打印当前调用栈impo......
  • (附源码)springboot牙科诊所预约系统-计算机毕设 34463
    springboot牙科诊所预约系统摘要目 录1绪论1.1选题背景1.2发展现状1.3论文结构与章节安排2 牙科诊所预约系统系统分析2.1可行性分析2.1.1技术可行性分析2.1.2 经济可行性分析2.1.3法律可行性分析2.2系统功能分析2.2.1功能性分析2.2.2非......
  • win10给python起一个别名p
    1、安装python自行安装好python,确保安装成功。2、编写bat脚本在任意目录(我的目录是:C:\ZProgram\p_bat)编写一个脚本,脚本名称为:p.bat,脚本内容如下:@echooffpython%*3、添加环境变量3.1、将python安装的位置添加到环境变量(系统环境变量)Path中3.2、将脚本的位置也加到环......
  • Python3 insloader库爬取博主视频粉丝量,点赞,互动率,国家等信息
    写在题前:之前搞Java的,今天部门的人给了我一批视频链接,问问有没有办法爬出来这一批视频链接的博主的粉丝量,以及该视频的互动率等信息。经过一番探索之后了解了insloader库。真不不得不感叹python的强大。 之前给代码把:importinstaloaderfromurllib.parseimporturlpars......
  • python的venv环境迁移
    前言使用Python内置的venv模块管理python环境,怎么实现环境迁移。方案一 拷贝老环境下的Lib目录1、在新设备上新建与原始环境相同python版本的venv环境python-mvenvmy_venv2、将原始环境.venv下的Lib文件拷贝到新环境中cp-rold/venv/Libnew/my_venv/3、然后就......
  • python中的pip操作
    python中的pip操作1.pip更换国内镜像源由于python自带的源下载速度非常慢,特别是安装一些库的时候,甚至有时会失败。因此,建议将下载源替换成国内的,下载速度会快很多。总共有两种方法代码替换(推荐使用这一种)手动替换1.1代码替换1.1.1阿里源(推荐这个)pipconfigset......
  • Python序列的应用(七):序列、列表
    前言:在Python编程语言中,序列(Sequence)是一种基本且核心的数据结构,它允许我们以有序的方式存储和操作数据。序列可以包含不同类型的元素,并且支持通过索引来访问和修改这些元素。在Python中,最常见的序列类型包括列表(List)、元组(Tuple)、字符串(String)等。这些序列类型在数据处理、......
  • flask框架车辆充电桩毕设源码+论文
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、选题背景随着全球汽车电动化进程的加速,车辆充电桩的建设与发展成为了备受关注的领域。在国内外,关于充电桩的研究主要集中在基础设施布局规划、......
  • flask框架大学生学业预警系统毕设源码+论文
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、选题背景关于大学生学业预警系统的研究,现有研究主要以理论探讨和简单的系统功能框架构建为主。专门针对大学生学业预警系统从多方面功能(如考勤......