首页 > 其他分享 >小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)

时间:2023-05-16 22:04:52浏览次数:41  
标签:lxml 一步 32 小白教 带图 Scrapy https pip 安装


一、介绍西瓜皮

Scrapy(西瓜皮)是一个为了爬取网站数据、提取结构性数据而编写的应用框架,可以应用在包括数据挖掘、信息处理或者存储历史数据等一系列的程序中。

二、注意事项

目前Scrapy不支持Python3,因此需要安装Python2.7来使用Scrapy,Python2.7和3是可以共存的。

三、安装Python2.7

下载网址:https://www.python.org/downloads/release/python-2715/

这里选择windows 32位(32位可以兼容32位与64位系统,反之不行)

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_.net

下载完成后,点击安装

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_xml_02

怎样查看是否安装成功:

方式有很多,这里可以打开IDLE,输入help()

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_python_03


安装完成后到所有程序中找到python2.7下的IDLE,右键发送到桌面快捷方式(为了方便,不是必须)

找到python2.7的安装目录下的脚本文件:

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_.net_04

点击右键编辑,选择2.7版本对应的IDLE,选择上面的run module F5

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_xml_05

完成设置环境变量

四、安装pywin32(32位版本)

地址为:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/

是个exe文件,点击安装即可

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_xml_06

五、安装pip

地址:https://pip.pypa.io/en/stable/installing/

pip实际上是Python的一个安装软件的模块

下载get-pip.py然后还是打开运行同上。

六、安装lxml

虽然可以用pip安装lxml,但如果是windows,建议不要,使用lxml专门为windows提供的安装包

网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_python_07

找到下面的lxml

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_python_08

选择对应版本下载并安装

七、使用pip安装pyOpenSSL

在两个Python版本并存的情况下,使用pip安装时,命令为:py -2 -m install pyOpenSSL

如果提示你pip需要升级则执行:

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_xml_09


小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_.net_10

注意:

这里pip安装需要微软的VS2008C语言编译器,没有安装或者版本太高也是不行,也可以安装微软为Python准备的:

VCForPython27.msi

小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)_python_11

地址:

http://www.microsoft.com/en-us/download/details.aspx?id=44266

八、安装Scrapy

双版本并存下,使用:py -2 -m install Scrapy

验证是否安装成功



标签:lxml,一步,32,小白教,带图,Scrapy,https,pip,安装
From: https://blog.51cto.com/BADAOLIUMANGQZ/6287429

相关文章

  • 长文多图一步步讲清楚:DDD理论、建模与代码实现全流程
    1六个问题1.1为什么使用DDDDDD方法论核心是将问题不断分解,把大问题分解为小问题,大业务分解小领域,简而言之就是分而治之,各个击破。分而治之是指直接面对大业务我们无从下手,需要按照一定方法进行分解,分解为高内聚的小领域,使得业务有边界清晰,而这些小领域是我们有能力处理的,这就......
  • 百尺竿头更进一步:最高排名16
    由17到16,虽然只是一名,也实在是不容易。原创4873周排名2869总排名16访问8219569等级10积分112875粉丝4295获赞2078评论6696收藏3131现在排名特别容易变化,一周不写就下来了。同样的,周六周日发文,对于排名似乎有特别帮助(要求每日发文?)......
  • 6年测开经验,从功能测试到测试开发,每一步都深思熟虑...
    ​蓦然回首,软件测试风风雨雨的这几年,起初每天的工作只是鼠标点点点,我还真不知道怎么办,闲的时候真的怀疑自己的存在价值,每天拿着7000的工资,飘荡在繁华的深圳,吃不饱也饿不死,未来一片茫然……​时间荏苒,工作越久越能体会测试才不是这么简单,假如只会点点鼠标,并不能走得长远,工资也渐......
  • 梅西,离新球王的诞生只差一步
    数据对比:LionelMessiWorldPlayeroftheYearawards:4WorldCups:NoneContinentaltitles:ThreeLeaguetitles:SixTotalapps/goals:457apps,354goalsInternationalapps/goals:93apps,42goalsPeleWorldPlayeroftheYearawards:N/AWorldCup......
  • 乐信被严重低估了,2023年收入和利润将进一步增长
    乐信2022年第四季度财务业绩回顾乐信(LX)3月13日发布的2022年第四季财报显示,其财务业绩相当不错,超出了市场预期,财报显示,乐信的收入已经从2021年第四季度的21.99亿元增长到了2022年第四季度季度的30.5亿元。这意味着乐信的收入在2022年第四季度分别同比增长了39%和环比13%。2022年第四......
  • Angular4_支持多选,分组,自动完成,带图标,清理输入框可配置的select
    Angular4_支持多选,分组,自动完成,过滤,带图标,清理输入框可配置的select效果图DocumentationUsageInstall ngx-select-ex through npm packagemanagerusingthefollowingcommand:npmingx-select-ex--saveForusagewithAngular4installusingthefollowingcomman......
  • 基础备忘(发送htm正文带图片并且带附件的邮件)
    需求背景如下:发送htm正文带图片并且带附件的邮件。如题所示,任务拆解关键字为:html正文带图片带附件先介绍普通发邮件的方式添加maven引用<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-mail</ar......
  • 一步步制作下棋机器人之 完善XY坐标控制
    匆匆忙忙,又是一周。马上五一,凑了十天假期,想想就开心。但是假期中是生日,又老了一岁了。很多目标都没有实现,就马上要到30了,可怕。30啊!!唉,时光匀速又决绝的前行不息,推动了没有返程票的人生旅程。总想着不断提升自己,不断丰富生命的意义,不断拓宽人生的界限,让人世这一遭不至于太单调......
  • java excel带图片导入
    日常项目中使用easyExcel但是easyExcel不支持带图片的excel导入,后面通过网络查找,再加上询问技术经理终于解决,大前提是图片在excel中不是嵌入的,需要悬浮才可以读取。代码如下引用jar包为<!--需要2.10版本及以上不然excel缺少工具类--><dependency><groupId>com......
  • 软件工程日报——排班的下一步计划
    今天,建民老师将我们选择排班的队伍叫到了会议室,对我们的第一阶段的成果进行评价,给我提供了一些改进意见,给我们做了一些新的要求。我写这篇博客来记录一下建民老师提到的几点排班要考虑到门店内部规则:比如员工每天最多工作八个小时,每周最多工作四十个小时排班要考虑实际情况,比......