首页 > 其他分享 >scrapy在pychram中调试

scrapy在pychram中调试

时间:2024-08-01 09:08:01浏览次数:10  
标签:文件 py 爬虫 pychram cmdline scrapy 虚拟环境 调试

方法一

# Name:配置项目的名称
# Script path:scrapy package中的cmdline.py文件路径
# Parameters:启动scrapy爬虫所需参数(也就是传参)
# Python Interpreter:选择所用的Python环境(我用的自己创建的anaconda虚拟环境,找cmdline.py文件时也是在虚拟环境中的site-packages找到,这点要注意)
# Working directory:你scrapy爬虫项目根目录

方法二

在 Scrapy 项目的根目录创建一个 main.py文件,然后在里面写下如下一段代码:

from scrapy.cmdline import execute

execute('scrapy crawl 爬虫名'.split())

然后,以这个文件作为入口文件,在这个文件上右键,选择Debug 'main',就可以正确启动 PyCharm 的调试模式并在第一个断点上停下来了。

标签:文件,py,爬虫,pychram,cmdline,scrapy,虚拟环境,调试
From: https://www.cnblogs.com/wanxun/p/18335925

相关文章

  • vsc python 调试器和 pylance 无法识别已安装的包
    我最近使用snowflake-connector-python在我的虚拟环境中安装了pipinstallsnowflake-connector-python[pandas]==2.7.6,当我在激活虚拟环境的情况下从命令行运行我的脚本时,它工作正常。我设置了与VSC解释器相同的虚拟环境,但尝试运行python调试器会引发异常......
  • 记录--别想调试我的前端页面代码
    ......
  • 海康ID2013扫码枪调试笔记
    1,将电脑IP设置为自动获取2,修改IP3,点击刷新,连接扫码枪 4,自动工作模式设置 5,图像配置 6,算法配置 7,输入输出 8,  ......
  • 【调试笔记-20240730-Linux-OpenWrt 23.05 安装 Docker 配置 bitnami/Wordpress-with-
    调试笔记-系列文章目录调试笔记-20240730-Linux-OpenWrt23.05安装Docker配置bitnami/Wordpress-with-NGINX实现微信用户在线注册登录文章目录调试笔记-系列文章目录调试笔记-20240730-Linux-OpenWrt23.05安装Docker配置bitnami/Wordpress-with-NGINX实现......
  • klist.exe 是一个 Windows 系统命令行工具,用于管理和显示用户登录到当前系统上的 Kerb
    klist|MicrosoftLearnklist.exe是一个Windows系统命令行工具,用于管理和显示用户登录到当前系统上的Kerberos令牌信息。它通常用于以下几个方面:显示当前的Kerberos令牌信息:当运行 klist 命令时,它会列出当前用户的Kerberos令牌(Ticket-GrantingTicket,TGT)及......
  • Scrapy 爬取旅游景点相关数据(六):代理使用
    本期内容:(1)继续完善评论数据的爬取(2)代理的使用1创建数据库表上期我们只打印了爬取到的数据,并没有入库,保存到数据,先执行以下SQL:CREATETABLEtb_comment(idINTAUTO_INCREMENTPRIMARYKEYCOMMENT'自增主键',tidVARCHAR(255)COMMENT'景点ID',......
  • 比传统PID算法更容易实现和调试的增量调速法
    当你接到一个控制任务,比如需要控制电机的转速,并支持动态快速调整转速,电机的转速可以实时获取。然后开始网上一顿搜索,搜索结果大致如下所述。在自动控制领域中,PID控制算法是一种非常常见且有效的控制算法,用于实现闭环控制系统中的精确控制。PID控制器由三个组成部分构成:比例......
  • DRV8301 SPI调试问题(接收一直为0x0000)
    CUBEMX配置uint16_tdrv8301_data_t[1];uint16_tdrv8301_data_t0[1]={0x9000};uint16_tdrv8301_data_t1[1]={0x0000};uint16_tdrv8301_data_r[1];//SPI参数配置函数voidDRV8301_SPI_setting(void){ drv8301_data_t[0]=0x1560; DRV8301_SPI_M1_CS_L; HAL_SPI_......
  • 基于STC8H4K64TL单片机的RTC(即实时时钟)功能调试
    基于STC8H4K64TL单片机的RTC(即实时时钟)功能调试STC8H4K64TL单片机介绍STC8H4K64TL单片机管脚图(48个引脚)STC8H4K64TL单片机串口仿真与串口通信STC8H4K64TL单片机管脚图(32个引脚)STC8H4K64TL单片机管脚图(20个引脚)STC8H系列单片机管脚说明STC8H系列单片机I/O口STC8H......
  • 【C语言】VS实⽤调试技巧
    VS实⽤调试技巧1.什么是bug?2.什么是调试?3.debug和release4.VS调试快捷键4.1环境准备4.2调试快捷键5.监视和内存观察5.1监视5.2内存6.调试举例17.调试举例28.调试举例3:扫雷9.编程常⻅错误归类9.1编译型错误9.2链接型错误9.3运⾏时错误1.什么是bug?......