首页 > 其他分享 >scrapy框架语句及流程

scrapy框架语句及流程

时间:2022-11-29 10:55:18浏览次数:37  
标签:语句 name url 流程 spider cd scrapy 爬虫

1、打开cmd找到指定目录。

(1)E:

(2)cd python_crawler

(3)cd 第十六节课-scrapy入门

2、创建项目

scrapy startproject [name] # name 为项目名称

3、创建spider。

(1)进入创建的项目

  cd [name]

(2)数据爬虫文件名和url

  scrapy genspider [spider_name] [url] # spider_name 为爬虫名,url为要抓取的目标网站。

(3)执行爬虫(run)

  scrapy crawl spider_name

4、效果:

标签:语句,name,url,流程,spider,cd,scrapy,爬虫
From: https://www.cnblogs.com/LoLong/p/16934766.html

相关文章

  • ZYNQ的MIO与EMIO中断设置流程——Vivado2018.3
    MIO与EMIO在各bank的分布根据官方手册可以看到MIO分布在BANK0与BANK1有54个,而EMIO分布在BANK2与BANK3有64个。中断系统的介绍根据官方手册的GIC中断控制器的系统级块......
  • Scrapy 抓取指数基金6个月前10 名 存到mongodb 中
    1.抓取前的分析 http://fund.eastmoney.com/trade/zs.html#zwf_,sc_6y,st_desc地址是这个,我们发现中间的内容是后来通过ajax来加载的,所以这个地址是抓取不到的。通过chrom......
  • Java复合语句
    Java复合语句的使用复合语句由开括号{开始,闭括号}结束;Java的复合语句是以整个块区为单位的语句,所以又称为块语句;在定义一个类和方法的时候类体和方法体都是以{}......
  • 发布自己的npm包流程的随记
    第1步,在npm上注册好自己的账号第2步,编写好自己的package代码(下面是以一个Vue组件的形式为例)src文件夹下应该有一份index.js文件作为包的入口;packages文件夹中该包的......
  • 部分SQL语句
    select查询(运行下面的语句,说出其含义)select * from zgdaselect all 职称 from zgda        &&all可省略,查出所有记录的职称字段值select distinct ......
  • 循环语句2
    前言:今天我们接着将循环语句收尾,再次声明本博客资源来自比特1. do...while()循环1.1do语句的语法:do循环语句;while(表达式);1.2执行流程1.3  do...while()语句的特点......
  • spl增删改查语句
    增:insertinto语句删:delete语句改:update语句查:select语句 语法:一、增加insertinto表名values(值1,值2,...)列如:向表student中插入一条数据:insertintostuden(na......
  • SQL语句执行顺序,select、from、where、group by、having、order by语句位置及功能详解
    在spl语句中的执行顺序:from→where→groupby→having→select→orderby第一步:from语句,选择要操作的表。第二步:where语句,在from后的表中设置筛选条件,筛选出符合条件的......
  • mysql基础语句
       一、mysql中6中常见的的约束/规则主键约束(primarykey)外键约束(foreignkey):如果同一个属性字段x在表一中数主键,而在表二中不是主主键,则字段称为表二的外键。非......
  • SQL语句查询关键字
    SQL语句查询关键字前戏SQL语句中关键字的执行顺序和编写顺序并不是一致的,可能会错乱eg:selectid,namefromuserinfo;我们先写的select再写的from,但是执行的时候是先......