运维系列&AI系列&Lenovo-G双系统系列（前传-装之前搜索的）：Scrapy爬虫的打包Auto-py-to-exe/Pyinstall

Scrapy爬虫的打包Auto-py-to-exe/Pyinstall

• Scrapy爬虫的打包Auto-py-to-exe/Pyinstall
• • 前言
  • 步骤
  • • Scrapy代码部分
    • • 1. 系统调用方案
      • 2. API启动方案
    • auto-py-to-exe部分
    • • 1. 安装
      • 2. 配置
      • • 1. 将基础的目录配置进去，包括`spiders`的上级目录，和对应的库文件
        • 2. 把对应的python环境库文件的目录加入到path中
        • 3. 打包成exe后，将scrapy.cfg拷贝到exe文件同目录下运行。查看运行的错误，如果有找不到的库，在hidden-import里面把库名写进去。
        • 4. 反复尝试直到不再缺少库。

Scrapy爬虫的打包Auto-py-to-exe/Pyinstall

前言

朋友托了我写了个小爬虫，然后写成之后老是要在我这儿跑，交付不了给朋友。项目太小，也不好用scrapyd托管在服务器。找了找有pyinstall和Auto-py-to-exe可以打包成可执行程序，也遇到了不少问题。好不容易成功了，略微分享一二。

步骤

Scrapy代码部分

原来在Scrapy下，我都是直接使用CLI命令行方式启动爬虫的:

$ scrapy crawl xypt -O xypt.xml

现在需要采用pyinstall(auto-py-to-exe)打包，就不能再使用命令行来启动了 ，我们就需要写一个python脚本来启动相关的spider。

根据Run Scrapy from a script，编写了从python脚本启动爬虫的方法，还简单做了个交互。

1. 系统调用方案

也可以用cmdline库来进行调用，看起来更简单，就是直接在execute里面把原来CLI的输入写进去

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'xypt', '-O', 'xypt.xml']);
execute(['scrapy', 'crawl', 'xyptinfo', '-O', 'infoResult.xml']);

2. API启动方案

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import warnings
import xlwings
from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.project import get_project_settings

warnings.filterwarnings("ignore")

# CrawlerRunner获取settings.py 里的设置信息
runner = CrawlerRunner(get_project_settings())

@defer.inlineCallbacks
def crawl():
    yield runner.crawl("xypt")    
    reactor.stop()
    
@defer.inlineCallbacks
def crawl_detail(val):
    if val == "1":            # 判断num的值
        print ("即将为您爬取基础信息...") 
        yield runner.crawl("xyptinfo")
    elif val == "2":
        print ("即将为您爬取档案...") 
        yield runner.crawl("xyptpunishinfo")
    elif val == "3":
        print ("即将为您爬取人员档案...") 
        yield runner.crawl("xyptstaffinfo")
    else:
        print ("输入错误！！")

    print ("\n 爬取完毕") 
    reactor.stop()

choice = input("是否需要爬取编制清单(y/n)：") or "n"
print("您选择了：%s" % choice)

if choice == "y":            # 判断num的值
    print ("开始爬取编制清单...") 
    crawl()
    reactor.run()
    print ("爬取完毕") 
elif choice == "n":
    choice2 = input("请选择需要爬取的内容: \n 1: 爬取基础信息 \n 2: 爬取档案 \n 3: 爬取人员档案 \n") or "1"
    print("您选择了：%s" % choice2)
    crawl_detail(choice2)
    reactor.run()

这个启动方案的问题是，原先-O xypt.xml的命令行参数没有传进去，那么我们就要用settings来进行设置了，在对应的spider脚本(xxxx_spider.py)中加上初始化内容，其中输出的内容是settings的FEEDS来进行设定：

class XyptSpider(scrapy.Spider):
    name = "xypt"
    
    # 新增custom settings的部分
	custom_settings = {
	    "FEEDS": {
	        './infoResult.xml': {
	            'format': 'xml',
	            'overwrite':True,
	        },
	    },
	}

其它的参数可以参考Settings来设定

auto-py-to-exe部分

auto-py-to-exe是封装了pyinstall的GUI，使用起来更方便一些，就决定用它了！

1. 安装

$ pip install -i https://pypi.tuna.tsinghua.edu.cn/simple auto-py-to-e xe
$ auto-py-to-exe 
 #启动代码

2. 配置

主要是有几个配置点：

1. 将基础的目录配置进去，包括spiders的上级目录，和对应的库文件

2. 把对应的python环境库文件的目录加入到path中

3. 打包成exe后，将scrapy.cfg拷贝到exe文件同目录下运行。查看运行的错误，如果有找不到的库，在hidden-import里面把库名写进去。

4. 反复尝试直到不再缺少库。

注意： 及时导出配置，避免关掉之后要重新配

amuro_ray027

Scrapy爬虫的打包Auto-py-to-exe/Pyinstall