首页 > 其他分享 >Scrapy 专题

Scrapy 专题

时间:2023-07-14 17:48:07浏览次数:35  
标签:baidu 解决办法 专题 cryptography scrapy Scrapy install pip

  • 安装scrapy
- pip install scrapy 
  • 创建项目并创建spider,跑起来
- scrapy startproject scrapy_demo1
- cd scrapy_demo1
- scrapy genspider baidu baidu.com
- scrapy crawl baidu

  • 报错记录
- AttributeError: module ‘OpenSSL.SSL’ has no attribute ‘SSLv3_METHOD’
	- 解决办法:卸载新版,安装旧版即可解决问题
		pip uninstall pyOpenSSL==22.1.0
		pip install pyOpenSSL==22.0.0
		
- module ‘lib‘ has no attribute ‘OpenSSL_add_all_algorithms‘
	- 解决办法: 安装的 cryptography库与你现在的使用的环境不兼容导致的,可能是因为cryptography的版本太高,需要进行降级
		pip install cryptography==38.0.4
		
- ImportError: cannot import name 'HTTPClientFactory' from 'twisted.web.client' (unknown location)
	- 解决办法: Twisted版本太高
		pip install Twisted==20.3.0

  • 配置日志的级别,不然输出太多,不容易看
### settings
......
#----------自定义配置-------#
LOG_LEVEL = 'WARNING' # 配置日志级别
ROBOTSTXT_OBEY = False # 最好False,否则啥都没有

标签:baidu,解决办法,专题,cryptography,scrapy,Scrapy,install,pip
From: https://www.cnblogs.com/qinganning/p/17554587.html

相关文章

  • CTFer成长记录——CTF之Web专题·初识反序列化
    一、题目链接http://122.114.252.87:1110/index2.php前置知识:序列化与反序列化序列化是将变量转换成可保存或传输的字符串,实现函数是:serialize();反序列化是:将字符串转换成变量,是一个逆过程。实现的函数式:unserialize();序列化:上面的结果是对一个对象的打印,后面是序列化......
  • 关于scrapy框架的学习
    最近打算参加一个爬虫比赛,特来研究爬虫,在掌握了爬虫的基本实现后,我们需要用一个更高效的方式来写爬虫这个时候便用到了爬虫框架scrapyscrapy是什么?Scrapy是一个应用程序框架,用于对网站进行爬行和提取结构化数据,这些结构化数据可用于各种有用的应用程序,如数据挖掘、信息处......
  • scrapy-redis 用法举例 解析
     scrapy-redis是一个用于将Scrapy分布式爬虫与Redis数据库相结合的库,可以使得多个Scrapy爬虫实例共享爬取任务队列和爬取结果数据等信息。下面是scrapy-redis的用法举例:安装scrapy-redis:pipinstallscrapy-redis 假设我们要爬取豆瓣电影TOP250的电影信息,......
  • scrapy用法举例 (Scrapy爬取豆瓣电影Top250)
    Scrapy是一个Python的爬虫框架,用于快速开发和部署Web爬虫。它提供了一套完整的爬虫工具,包括爬虫的调度、数据下载、数据处理和存储等功能,同时也支持多线程、分布式和异步IO等高级特性。以下是Scrapy的用法介绍:1.安装ScrapyScrapy可以通过pip安装,命令如下:pipinstal......
  • 7.14 海高集训 DP 专题 2
    出题人:\(\text{D}\color{red}\text{eaphetS}\)#A.[NOIP2012提高组]开车旅行倍增优化dp。这题难就难在预处理。首先预处理出A和B每个人从一个城市出发的目标是哪个城市。可以用平衡树找一个点的前驱和后继,或者双向链表。我当然选择了最偷懒的set。(ps:这里如果用set......
  • 2023 长郡暑期集训 DAY-2 数学专题笔记
    2023长郡暑期集训DAY-2数学质数和约数质数是指除了\(1\)和它本身之外没有其他因数的自然数。质数判定判定单个自然数是否为质数,可以使用试除法,在这里不多描述。boolis_prime(intn){if(n<2)return0;//如果n小于2,不是质数,返回0for(inti=2;i<=n......
  • scrapy架构
    1selenium爬取京东商品信息importtimefromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.common.keysimportKeys#键盘按键操作fromselenium.webdriver.chrome.optionsimportOptionsdefget_goods(bro):......
  • 【专题】保险行业数字化洞察白皮书报告PDF合集分享(附原数据表)
    报告链接:https://tecdat.cn/?p=33203原文出处:拓端数据部落公众号近年来,"养老"、"三胎政策"、"医疗成本"等一系列备受关注的民生话题,使得保险服务备受瞩目,并逐渐渗透到每个人的生活中。自2020年以来,由于多种因素的影响,人们对健康的意识不断提高,这正在重新塑造中国消费者对保险的......
  • 【专题】2022年中国跨境电商行业研究报告PDF合集分享(附原数据表)
    报告链接:http://tecdat.cn/?p=32044近年来,我国的跨境电子商务发展迅速,在过去五年中,其贸易额增长率达到了16.2%,已经成为稳定对外贸易的一支重要力量(查看文末了解报告PDF版本免费获取方式)。一方面,随着跨境电子商务的发展,跨境电子商务的监管政策得到了进一步的改善,跨境电子商务的规......
  • Python3.6下scrapy框架的安装
    命令安装,提示  FailedbuildingwheelforTwistedMicrosoftVisualC++14.0isrequired...  总结pipinstallwheel 下载Twisted包安装下载Scrapy包安装下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/详细解决方案1首先考虑使用最简单的方法安装pipinstallsc......