首页 > 编程语言 >Python错误:scrapy框架中callback无法调用

Python错误:scrapy框架中callback无法调用

时间:2022-09-29 14:13:57浏览次数:50  
标签:调用 False Python callback scrapy url True

问题描述:

当碰到scrapy框架中callback无法调用,直接略过了,别提多头疼了!

scrapy.Request(url, headers=self.header, callback=self.details)

 

解决办法:

原因分析:url 可能是被scrapy过滤掉了。

解决办法就是:

1、如果是被scrapy过滤掉了,那就只需要在这个 scrapy.Request() 函数中将参数放入dont_filter=True加入进去。

2、如果发现还是不行,就可能是因为allowed_domains这个赋值的时候赋值的是别的url,其实可以直接把这个注释掉直接不用。
3、仍然无法使用的话,首先那就要看网站协议了,直接在网站中查看输入:https://www.tencent.com/robots.txt 这里就可以看到

  

 

   这里是没有限制的,那么的话按照前两个按照操作就可以正常的回调了,

4、如果不行就要打开配置文件settings.py,这里的False表示忽略网站的robots.txt协议,默认为True:

ROBOTSTXT_OBEY = False

  把这个设置为False再试下就可以进行回调了。

标签:调用,False,Python,callback,scrapy,url,True
From: https://www.cnblogs.com/zhengxianfa/p/16741295.html

相关文章

  • Python3
    实例一:importdatetime#定义一个列表mot=["今天星期一:\n坚持下去不是因为我很坚强,而是因为我别无选择。","今天星期二:\n含泪播种的人一定能笑着收获。","......
  • python else的小九九
    else是python语言中活生生的备胎,谁都是想用就用,不用也行。1.ifelse语句常规的if...else语句我就不过多赘述了,这里提一下三元表达式,可以有效减少代码量,使代码的整体......
  • How to Set Up a Virtual Environment in Python – And Why It's Useful
    https://www.freecodecamp.org/news/how-to-setup-virtual-environments-in-python/HowtoSetUpaVirtualEnvironmentinPython–AndWhyIt'sUsefulStephenSan......
  • Python基础(七) | 文件、异常以及模块详解
    ⭐本专栏旨在对Python的基础语法进行详解,精炼地总结语法中的重点,详解难点,面向零基础及入门的学习者,通过专栏的学习可以熟练掌握python编程,同时为后续的数据分析,机器学习及深......
  • Python面向对象---类的基本使用
    1、面向对象类(class):是一种用来描述具有相同属性和方法的对象的集合。类变量:类变量在整个实例化的对象中是公用的。一般定义在类中且在函数体之外。方法:类中的函数数据成员:类......
  • [oeasy]教您玩转python - 0002 - 你好世界(hello world!)
    你好世界......
  • 第四章python实训
    shift+win+s局部截图4-1:输出每日一帖4datetime.datetime.now()  获取当前日期datetime.datetime.now().weekday()  获取当前日期的星期  运行结果:  ......
  • Python_4 实例
    一、实验目的和要求理解序列的应用二、实验过程 通过pycharm进行代码编辑三、实验过程敲代码四、代码及其结果###实例1importdatetime#导入日期......
  • python冒泡排序例子
    #冒泡排序nums=[1,3,9,4,2,6,8,7,0]length=len(nums)foriinrange(length):forjinrange(length-1-i):ifnums[j]>nums[j+1]:nums[......
  • 力扣202(java&python)-快乐数(简单)
    题目:编写一个算法来判断一个数n是不是快乐数。「快乐数」 定义为:对于一个正整数,每一次将该数替换为它每个位置上的数字的平方和。然后重复这个过程直到这个数变为1,......