如何在 VS Code 中调试 Scrapy？

问题是我无法在 VS Code 中调试 Scrapy 爬虫。问题是，当我开始调试时，它总是会在我的导入之一上中断。当然，为了修复它，我对这个导入进行了很多操作，但它没有帮助。我也尝试过使用 venv 和不使用 venv，但没有帮助。

有人遇到同样的问题吗？

这是错误

当然可以，以下是在 VS Code 中调试 Scrapy 爬虫的逐步指南，并提供一些可能遇到的常见问题的解决方案：

1. 设置

• 确保安装了 Scrapy 和必要的依赖项： 如果你还没有，请在你的虚拟环境中使用 pip install scrapy 安装它。
• VS Code 扩展： 考虑安装 Python 扩展，它提供了出色的调试支持。

2. 创建启动配置

• 在 VS Code 中打开你的 Scrapy 项目。
• 转到调试侧边栏（Ctrl+Shift+D 或 Cmd+Shift+D）并单击“创建 launch.json 文件”按钮。
• 从环境下拉列表中选择“Python”。
• 选择或手动添加“Python：当前文件”配置。
• 更新你的 launch.json 文件，使其看起来像这样：

{
  "version": "0.2.0",
  "configurations": [
    {
      "name": "Scrapy",
      "type": "python",
      "request": "launch",
      "program": "${workspaceFolder}/<your_project_folder>/scrapy.cfg", 
      "console": "integratedTerminal",
      "args": [
        "crawl",
        "<your_spider_name>" 
      ],
      "justMyCode": false 
    }
  ]
}

解释：

• program : 我们不是直接启动你的 Python 文件，而是调用 Scrapy，它会处理你的爬虫的执行。将 <your_project_folder> 替换为你的 Scrapy 项目的实际名称，例如“my_scrapy_project”。
• args :
  • crawl : 这个参数告诉 Scrapy 运行一个爬虫。
  • <your_spider_name> : 用你的爬虫的名称替换它（例如， my_spider ）。
• justMyCode : 将其设置为 false 对于调试 Scrapy 至关重要，因为它允许你在 Scrapy 库本身中单步执行代码。

3. 设置断点

• 在你的爬虫代码中你想开始调试的地方单击左边距设置断点。

4. 开始调试

• 选择你的“Scrapy”配置，然后单击调试侧边栏（或按 F5）中的“开始调试”按钮。

解决常见的“导入错误”问题

你遇到的导入错误很可能是由你的 VS Code 调试器和 Scrapy 环境之间的路径问题引起的。以下是解决方法：

1. 验证你的虚拟环境： 确保在 VS Code 中激活了正确的虚拟环境，并且它与你的 Scrapy 项目一起使用。你可以通过在 VS Code 的状态栏中检查所选的解释器来验证这一点。

2. 将“scrapy.cfg”作为工作目录：

3. 在你的 launch.json 中，添加 "cwd": "${workspaceFolder}/<your_project_folder>" ，将 <your_project_folder> 替换为你的 Scrapy 项目文件夹的实际名称。
4. 这可以帮助 Scrapy 正确找到它的配置文件和设置。

json { "version": "0.2.0", "configurations": [ { "name": "Scrapy", "type": "python", "request": "launch", "program": "${workspaceFolder}/<your_project_folder>/scrapy.cfg", "cwd": "${workspaceFolder}/<your_project_folder>", "console": "integratedTerminal", "args": [ "crawl", "<your_spider_name>" ], "justMyCode": false } ] }

1. 检查你的 PYTHONPATH（如果适用）： 在复杂的项目设置中，你可能需要更新你的 PYTHONPATH。你可以在 launch.json 中通过向你的配置中添加 env 部分来实现：

json "env": { "PYTHONPATH": "${workspaceFolder}/<your_project_folder>" }

调试技巧

• 逐步执行代码： 使用“单步执行”（F10）、“单步进入”（F11）和“单步跳出”（Shift+F11）按钮来检查你的代码执行情况。
• 检查变量： 将鼠标悬停在变量上以查看它们的值，或在“变量”窗格中查看它们。
• 使用“监视”： 在调试会话期间，在“监视”窗格中添加特定的表达式或变量以跟踪它们的值。

如果你仍然遇到问题，请提供有关你的项目结构、使用的任何特定 Scrapy 设置或错误消息的更多详细信息，我可以提供更具体的帮助。