首页 > 编程语言 >Python3.6下scrapy框架的安装

Python3.6下scrapy框架的安装

时间:2023-07-12 22:31:34浏览次数:48  
标签:wheel 框架 whl Python3.6 scrapy install pip 安装


命令安装,提示 

 Failed building wheel for Twisted

Microsoft Visual C++ 14.0 is required...

 

 

总结

pip install wheel

 下载Twisted 包 安装

下载 Scrapy 包 安装

下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

详细解决方案

1 首先考虑使用最简单的方法安装

pip install scrapy

 

于是开始问度娘应该怎样安装,看了几篇博客,虽然和我的问题不十分相同,但是也受到了启发,知道应该怎样解决我的问题了。解决问题的过程总结如下:

2、直接使用pip install scrapy安装不成功可以安装whl格式的包

首先下载scrapy的whl包

 

在网页中搜索scrapy找到

  • Scrapy‑1.3.3‑py2.py3‑none‑any.whl
  • 下载了scrapy的whl包先不要着急安装,接着 
  • 2、安装whl格式包需要安装wheel库
  • 看到别人的博客上说可以直接使用pip install wheel安装wheel,由于我已经安装过wheel了,在这里就不用安装了,就没有测试怎么安装wheel。
  • 没有安装过wheel库的请先安装。
  •  

 

3、scrapy依赖twiste,同样使用whl格式的包进行安装

还是进入http://www.lfd.uci.edu/~gohlke/pythonlibs/,在网页中搜索twisted找到其对应的whl包并下载

  • Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl

 

根据你的Python的版本选择合适的包,名称中间的cp36是python3.6的意思,amd64是python的位数

下载完成后使用cmd打开windows的命令行窗口,进入whl包所在的文件夹执行如下命令

pip install [whl]

[whl]是whl包的名字,即:

 

pip install Twisted-17.1.0-cp36-cp36m-win_amd64.whl

 

Python3.6下scrapy框架的安装_ci

Scrapy-1.3.3-py2.py3-none-any.whl包使用同样的方式安装,只是应该等到其所有依赖的包安装完成后才能进行安装,现在还不能安装

4、scrapy依赖lxml包,需要先安装lxml包,lxml包依赖libxml2,libxml2-devel,所以安装lxmllibxml2, libxml2-devel。幸运的是之前我之前已经安装过lxml

5、所有准备工作做完,终于可以安装scrapy包了,进入Scrapy-1.3.3-py2.py3-none-any.whl所在的目录

 

pip install Scrapy-1.3.3-py2.py3-none-any.whl

 

Python3.6下scrapy框架的安装_ci_02

Successfully ! 先别急着撒花,是否真的安装成功了,还需要验证,输入scrapy -h

Python3.6下scrapy框架的安装_ci_03

显示scrapy的相关信息,大功告成,撒花~~~

标签:wheel,框架,whl,Python3.6,scrapy,install,pip,安装
From: https://blog.51cto.com/u_14523369/6705485

相关文章

  • Django框架学习-Celery的使用
    celery用户文档:https://docs.celeryq.dev/en/v5.3.1/userguide/index.html1、Celery的提出用户需要在网站填写注册信息,发给用户一封注册激活邮件到邮箱,如果由于各种原因,这封邮件发送所需时间较长,那么客户端将会等待很久,造成不好的用户体验。——> 将耗时任务放到后台异步执行,从......
  • 确定毕设题目——《基于SSM框架高校学生博客系统的设计与实现》
    人总要喜欢什么,追求什么。题目的灵感来自于大二的Web课程学习,当时的期末大作业是根据所学内容自己搭建一个网站,我搭建的是一个个人博客网站。人总会成长。大二的时候我已经能够为自己搭建一个博客网站。经过一年的成长,我能否使用所学所得为全校的同学每人搭建一个博客网站,并将......
  • ASP.NET CORE 框架揭秘读书笔记系列——命令行程序的创建(一)
    一、dotnet--info查看本机开发环境dotnet--info 会显示本机安装的SDK版本、运行时环境、运行时版本二、利用命令行创建.NET项目我们不仅可以利用脚手架模版创建各种类型的应用项目,还可以为项目添加各种组件和配置。换句话说IDE能完成的各项工作全部都可以通过脚手架命令行......
  • Scrapy框架爬取cnblog实例
    Scrapy框架爬取cnblog下一页简单实例犯了一个错误:直接拿浏览器点出来第二页链接去做拼接,导致一直爬不到下一页实际上应该是:blog.pyimportscrapyfromscrapyimportRequestfrombs4importBeautifulSoupimporttimeclassBlogSpider(scrapy.Spider):name="bl......
  • Maven项目中使用Mybatis框架
    一.准备一个空的Maven项目。二.配置pom文件,引入相关依赖。<!--版本建议换成提示的更安全的版本--><!--mybatis插件--><dependency><groupId>org.mybatis</groupId><artifactId>mybatis</artifactId>......
  • Metasploit Pro 4.22.1-2023070501 (Linux, Windows) - 渗透测试框架
    MetasploitPro4.22.1-2023070501(Linux,Windows)-渗透测试框架Rapid7Penetrationtesting请访问原文链接:https://sysin.org/blog/metasploit-pro-4/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.org世界上最广泛使用的渗透测试框架知识就是力量,尤其是当它被......
  • 前端框架及项目面试-聚焦Vue、React、Webpack
    第1章课程导学介绍课程制作的背景和课程主要内容。第2章课程介绍先出几道面试真题,引导思考。带着问题来继续学习,效果更好。第3章Vue使用Vue是前端面试必考内容,首先要保证自己要会使用Vue。本章讲解Vue基本使用、组件使用、高级特性和VuexVue-router,这些部分的知识点和......
  • 整合SSM框架
    整合SSM框架最近把SSM框架的视频快速的过了一遍,虽然啥都没学会,但还是想在最后整合SSM框架的时候玩儿一下一、环境要求IDEAMySQL5.7.XTomcat9Maven3.6二、数据库环境搭建CREATEDATABASE`ssmbuild`;USE`ssmbuild`;DROPTABLEIFEXISTS`books`;CREATETABL......
  • Pytest测试框架
    一.pytest简介  测试框架:用来组织测试用例并进行运行控制的  使用测试框架可以做到以下几点:  挑选用例并批量执行  单条用例失败后不影响其他用例执行  不同范围的测试准备和环境清理方法  一套断言机制 运行完生成测试报告 常用测试框架:unitest......
  • ssm框架使springmvc放行资源(java配置类)
    在springmvc中,如果配置了拦截所有请求交给springmvc处理,会出现一些静态web资源加载不出来的情况,或者想放行指定web资源可以通过修改通过修改配置达到相应目的,这里使用覆写WebMvcConfigurationSupport中的方法作介绍。@ConfigurationpublicclassSpringMvcSupportextendsWeb......