首页 > 编程语言 >python爬虫不报错也不出结果?

python爬虫不报错也不出结果?

时间:2024-05-29 12:33:46浏览次数:12  
标签:info python text list 爬虫 headers book 报错 response

刚学爬虫对着视频想爬个网络小说但是代码写完不报错也不出结果,大佬们帮忙看看啥情况

import re

import requests
from lxml import etree

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36 Edg/125.0.0.0"


}
proxy = {
    'http': 'http://127.0.0.1:7890',
    'https': 'http://127.0.0.1:7890'
}
# 定义小说首页
index_url = 'https://www.69shuba.pro/book/48273/'

# 发送网络请求
response = requests.get(index_url, headers=headers)

# 筛选链接和标题
info_list = re.findall('<li><a href ="(.*?)">(.*?)</a></li>', response.text)

# 遍历列表,得到每章的部分链接和标题
for info in info_list:
    #     从元组中取出部分链接进行拼接,获取每章的页面链接
    url = info[0]

    # 获取数据
    response = requests.get(url, headers=headers)
    html_data = etree.HTML(response.text)

# XPATH筛选出文本数据,并将数据列表转换成字符串
    text_list = html_data.xpath('//html/body/div[2]/div[1]/div[3]/')
    text = ''.join(text_list)

# 添加标题
    book_text = '\n\n' + info[1] + '\n\n'

    print("正在下载" + info[1])
    print(book_text)

    with open('阵问长生.txt', 'a', encoding='utf-8') as file:
        file.write(book_text)

标签:info,python,text,list,爬虫,headers,book,报错,response
From: https://blog.csdn.net/m0_45207459/article/details/139280187

相关文章

  • 一款功能强大的Python工具,一键打包神器,一次编写、多平台运行!
    1、项目介绍Briefcase是一个功能强大的工具,主要用于将Python项目转化为多种平台的独立本地应用。它支持多种安装格式,使得Python项目能够轻松打包并部署到不同的操作系统和设备上,如macOS、Windows、Linux、iPhone/iPad、安卓系统以及电视操作系统等。项目地址:https://github.com......
  • python入门教程,从0到精通,不信你学不会!!
    在数字化时代的浪潮中,Python作为一门简洁、易读且功能强大的编程语言,日益受到广大编程爱好者的青睐。无论你是初涉编程的小白,还是希望进一步提升技能的开发者,本教程都将为你打开Python编程世界的大门,引领你走向编程的巅峰。只要掌握了科学的学习方法并制定了合理的学习计划,Pyth......
  • Linux 编译安装 Python
    解压:tar-zxfPythonXX.tgz安装依赖:yuminstalllibffi-develconfiguremkdirbuildcdbuild../configure--enable-optimizations--prefix=`pwd`/install--with-openssl=$OPEN_SSL_INSTALL_DIRBuild:make-j48makeinstall然后可以把install打包.注意,instal......
  • python中的静态方法:@staticmethod 原理及应用
    @staticmethod是一个Python装饰器,用于声明一个方法为静态方法。静态方法不接受特定的实例或类参数(即没有self或cls参数),它们可以直接通过类调用,而不需要创建类的实例。静态方法的行为更接近于普通的函数。这是一个例子:classMyClass:@staticmethoddefmy_method(x,y)......
  • python发送多个图片
     #-*-coding:utf-8-*-fromemail.mime.textimportMIMETextfromemail.mime.imageimportMIMEImagefromemail.mime.multipartimportMIMEMultipartimportsmtplibimportdatetimeimportosmail_to="[email protected]"mail_host="mail.qq.c......
  • python中使用win32com实现Excel转CSV
    Excel转csv可以使用pandas的to_excel、to_csv实现转换,但是当Excel文件较大时,pandas耗时会较多,可以考虑使用win32com实现importwin32com.clientxl=win32com.client.Dispatch("Excel.Application")xl.DisplayAlerts=Falsexl.Visible=Falsexl.Workbooks.Open(Filename=......
  • 《最新出炉》系列入门篇-Python+Playwright自动化测试-49-Route类拦截修改请求-下篇
    1.简介 在日常工作和学习中,自动化测试的时候:在加载页面时,可能页面出现很多不是很重要或者不是我们所关注的,这个时候我们就可以选择不加载这些内容,以提高页面加载速度,节省资源。例如:可能页面上图片比较多,而我们又不关心图片内容。那么,在加载页面时,可以选择不加载图片,以提高页面加......
  • 用python字典统计CSV数据
    1.用python字典统计CSV数据的步骤和代码示例为了使用Python字典来统计CSV数据,我们可以使用内置的csv模块来读取CSV文件,并使用字典来存储统计信息。以下是一个详细的步骤和完整的代码示例:1.1步骤(1)导入csv模块。(2)打开CSV文件并读取数据。(3)初始化一个空字典来存储统计信息。......
  • 空转第三节课多样本整合的补充2(python版本)
    作者,EvilGenius大家国庆过得如何了?????如果很开心,不妨分享一下上一篇文章讲过了,对空间转录组进行整合分析,比较CCA和harmony的结果可以发现harmony整合的过程中把正常区域整合在了一起,而CCA在整合的过程把部分正常区域和部分肿瘤区域合并成了一个cluster。CCA对肿瘤区域的聚类......
  • python面向对象
    defydrz():print("引导入座")defdcd():print("递菜单")defdc():print("点餐")defgscscd():print("告诉厨师菜谱")defzc():print("做菜")defyc():print("用餐")defjscf():print(&qu......