首页 > 编程语言 >python中scrapy框架安装和创建

python中scrapy框架安装和创建

时间:2023-04-20 16:23:18浏览次数:44  
标签:框架 python myspider scrapy install pip 安装

第一步是先安装wheel

pip install wheel

第二步是安装lxml

pip install lxml

第三步是安装Twisted,先在https://www.lfd.uci.edu/~gohlke/pythonlibs/中找到Twisted,然后找到与自己安装的python的版本对应的版本下载下来,然后执行安装,因为我安装的的3.10.11版本,所以我下载的是310版本

pip install twisted_iocpsupport-1.0.2-cp310-cp310-win_amd64.whl

第四步安装pywin32

pip install pywin32

第五步安装scrapy

pip install scrapy

创建项目命令

scrapy startproject myproject

创建爬虫代码文件

scrapy genspider myspider www.xxxx.ocm

执行命令

scrapy crawl myspider

在执行时,不打印日志命名

scrapy crawl myspider --nolog
#也可以在配置文件中添加:LOG_LEVEL="ERROR",设置输出错误类型

 

标签:框架,python,myspider,scrapy,install,pip,安装
From: https://www.cnblogs.com/liao-long/p/17337262.html

相关文章

  • 各平台安装python
    windowwin10+Python3.9.6https://www.python.org/ftp/python/https://www.python.org/ftp/python/3.9.6/这里以Python目前的最新版3.9.6版本为例,本教程也适用于Python3.x版本的安装。但推荐大家安装使用Python3.6及以上版本。访问这个地址:https://www.python.org/ftp/py......
  • scrapy startproject tutorial 这句话在哪输入cmd?
    大家好,我是皮皮。一、前言前几天在Python钻石交流群【未央.】问了一个Python网络爬虫的问题,这里拿出来给大家分享下。课程截图如下:官网的截图如下:二、实现过程这里【甯同学】给了提示,不过对于新手来说,还是不太容易上手的。进入终端之后,我们再启动项目,如下:正常来说,这样就可以启动成......
  • 通过python获取SSL证书到期时间
    在前面的文章中曾介绍过如何通过openssl命令获取SSL证书的到期时间:通过zabbix监控ssl证书到期时间。有人反馈实践中这种方式存在缺陷,可能会出现部分域名证书无法获取的情况,报错如下:140323981043600:error:0906D06C:PEM routines:PEM_read_bio:nostartline:pem_lib.c:707:Expe......
  • python操作pptx设置title字体大小插入全屏图片A4尺寸实例一枚
    pipinstallpython-pptx安装好pptx,设置标题最大的作用是ppt里面的摘要视图显示摘要文字参考:https://python-pptx.readthedocs.io/en/latest/ frompptximportPresentationfrompptx.utilimportCmpwidth,pheight=Cm(29.7),Cm(21)#A4大小297*210left=top=0prs=......
  • 【Python无伤速通】第二话:容器
    目录容器序列序列_索引序列_加和乘序列_切片成员测试列表列表_容器的概念列表_创建转化列表_操作列表_追加列表_插入列表_修改列表_删除元组元组_介绍元组_示例元组_创建元组_拆包元组_用途bytes字符串字符串的表示方式普通字符串原始......
  • Python pth 文件写入 getshell 或权限维持
    今天看到Y4er师傅写的文章,我这里简单学习了一下:https://y4er.com/posts/python-pth-file-write-getshell/概述python的site模块支持"Site-specificconfigurationhook"的功能,这个功能点本身是用来将特定路径加入模块搜索路径。该模块在初始化期间自动导入。sys.prefix......
  • PYTHON - datetime 模块
    datetime模块1.1主要类date日期对象time时间对象datetime日期时间对象timedelta两个时间之间的时间间隔1.2date类date对象由year年份、month月份及day日期三个部分来构成的1.2.1获取当前日期fromdatetimeimportdatetime,datetoday=datetime.today().dat......
  • LeetCode Top100:回文链表 (python)
    LeetCodeTop100:回文链表给你一个单链表的头节点 head ,请你判断该链表是否为回文链表。如果是,返回 true ;否则,返回 false 。示例1:输入:head=[1,2,2,1]输出:true示例2:输入:head=[1,2]输出:false提示:链表中节点数目在范围[1,105] 内0<=Node.val<=9 ......
  • Python常用数据结构之元组
    前面的两节课,我们为大家讲解了Python中的列表,它是一种容器型的数据类型,通过列表类型的变量,我们可以保存多个数据并通过循环实现对数据的批量操作。当然,Python中还有其他容器型的数据类型,接下来我们就为大家讲解另一种容器型的数据类型,Python常用数据结构之元组(tuple)。元组的定义......
  • python dataclasses定义默认值为可变类型(转)
    原文:https://zhuanlan.zhihu.com/p/59658886作者:没有50CM手臂网站:知乎 场景还原最近开发遇到一个问题是在python3.7的dataclass中不能使用可变的默认值,错误如下:@dataclassclassFoo:bar:list=[]#ValueError:mutabledefault<class'list'>forfieldaisn......