PyInstaller打包模型文件

　　最近需要将python项目打包成可执行文件，研究了下，记录下整个过程。项目是基于mxnet实现的一个物体检测器，需要打包成exe文件(windows)和linux的可执行文件，选择PyInstaller作为打包工具。主要有三个问题需要注意：

　　1.由于PyInstaller会将python环境中的所有安装包都打包进去，所以最好新建一个虚拟环境，只安装项目中需要的安装包

　　2. 模型和配置文件等静态资源，添加时注意其打包路径，以及代码运行时如何寻找这些静态文件

　　3. 项目中有多个py文件，主函数入口py文件，需要能找到这些文件

打包步骤整理如下：

1 环境安装

1.1 创建虚拟环境

　　采用virtualenv创建一个新的python虚拟环境，只安装脚本需要的模块，如下所示：

#windows系统
        virtualenv --no-site-package --python="D:\Anaconda3\python.exe" package_test   #在当前目录下，利用virtualenv创建一个空的python虚拟环境，名字为packgae_test
        cd package_test/Scripts  #进入python虚拟环境目录
        ./activate               #激活python虚拟环境
        pip install -i https://pypi.douban.com/simple/ opencv-python zmq mxnet-cu101 gluoncv Pyyaml #通过豆瓣镜像源，安装脚本需要用到的包opencv-python, zmq, mxnet-cu101, gluoncv，pyyaml
   
#linux系统
        virtualenv --no-site-package --python="D:\Anaconda3\python.exe" package_test   #在当前目录下，利用virtualenv创建一个空的python虚拟环境，名字为packgae_test
        cd package_test/bin  #进入python虚拟环境目录
        source ./activate               #激活python虚拟环境
        pip install -i https://pypi.douban.com/simple/ opencv-python zmq mxnet-cu101mkl gluoncv Pyyaml #通过豆瓣镜像源，安装脚本需要用到的包opencv-python, zmq, mxnet-cu101mkl, gluoncv，pyyaml
   

1.2 安装PyInstaller

　　采用PyInstaller作为python打包工具，将python脚本打包成单独的exe文件。官方文档：https://pyinstaller.readthedocs.io/en/stable/

pip uninstall setuptools
pip install setuptools==44.0.0   #安装PyInstaller之前需要卸载默认的最新版本的setuptools，安装44.0.0或者之前版本的setuptools
pip install -i https://pypi.douban.com/simple/ PyInstaller  ##通过豆瓣镜像源，安装 PyInstaller

 1.3 Pyinstaller源码编译

　　当打包文件的大小超过2G时，pyinstaller打包会失败，需要修改Pyinstaller中的限制，修改后重新编译即可。

1. 从github下载源码(https://github.com/pyinstaller), 修改代码

2. 修改源码后重新编译：
cd /bootloader
python ./waf distclean all

3. 安装编译后的代码：
cd ..
python setup.py install

2. 代码整理

　　2.1 多个py文件的依赖关系

　　　　确定项目的入口py文件，需要对代码进行整理，确保pyinstaller能通过主文件找到导入的其他py文件。这里有两种方式:

　　　　A. 代码如果比较简单，可以直接将所有代码写入到入口py文件中，简单粗暴。

　　　　B. 代码文件比较复杂，需要在入口py文件中检查下相关导入的import语句（实验中发现通过将sys.path加入包路径的情况，打包后运行时会出现找不到模块的问题），如下面例子中，在main.py中导入detection文件夹下的detection.py文件：

#测试通过的导入方式
from .detection import detection


#运行报错导入方式
import sys
sys.path.append(sys.path[0]+"/detection")
import detection

　　2.2 模型文件路径解析问题

　　　　PyInstaller可以将模型文件一起bundle到exe中，当exe在运行时，会生成一个临时文件夹，程序可通过sys._MEIPASS访问临时文件夹中的资源，我们打包进去的模型文件和配置文件也会解压到此处；而程序只会在执行路径下搜索模型文件，因此会找不到模型参数文件，所以需要在代码中将模型参数的路径转化为 “临时文件目录+打包路径” 格式，参见如下resource_path()函数。

def resource_path(relative_path):
    """ Get absolute path to resource, works for dev and for PyInstaller """
    base_path = getattr(sys, '_MEIPASS', os.path.dirname(os.path.abspath(__file__)))
    return os.path.join(base_path, relative_path)

3. 脚本打包

　　在上面激活的python虚拟环境中，命令行执行下面打包命令

#windows示例
    pyinstaller -F --add-data="D:\my_envs\package\Lib\site-packages\mxnet\*;./mxnet" --add-data="F:\python打包\package_test\param\detection-symbol.json;." --add-binary="F:\python打包\package_test\param\detection--0000.params;." --workpath=“F:\python打包\package_test\build” --distpath="F:\python打包\package_test\build\dist" “F:\python打包\package_test\build\main.py”
    
    命令参数说明如下：
    
    -F 表示生成一个单独的exe
    --add-data="D:\my_envs\package\Lib\site-packages\mxnet\*;./mxnet"   添加虚拟环境中mxnet安装路径下的所有文件 (由于PyInstaller无法寻找到mxnet相关的dll文件，需要指明需要添加的文件)
    --add-data="F:\python打包\package_test\param\detection-symbol.json;."        添加模型结构文件 （;. 表示json文件添加到生成exe的同级目录）
    --add-binary="F:\python打包\package_test\param\detection--0000.params;."     添加模型参数文件 （;. 表示params文件添加到生成exe的同级目录）
    --workpath=“F:\python打包\package_test\build”   打包过程中产生的临时文件和日志文件存放目录
    --distpath="F:\python打包\package_test\dist"  打包生成的exe文件目录
    “F:\python打包\package_test\build\main.py”      为需要打包的入口py文件路径
    
#linux示例
 linux的打包命令和windows类似，区别在于下面三个参数中符号区别(windows中;.表示同级目录， linux中:.表示同级目录)

 命令参数说明如下：
     -F 表示生成一个单独的可执行文件
    --add-data="/home/my_envs/package_test/lib/python3.7/site-packages/mxnet/*:./mxnet"   添加虚拟环境中mxnet安装路径下的所有文件 (由于PyInstaller无法寻找到mxnet相关的.so文件，需要指明需要添加的文件)
    --add-data="/home/param/detection-symbol.json:."        添加模型结构文件 (:. 表示json文件添加到生成可执行文件的同级目录）
    --add-binary="/home/param/detection-0000.params:."      添加模型参数文件 （:. 表示params文件添加到生成可执行文件的同级目录）

4. 运行exe文件

　　打包好的可执行文件在dist目录，第一次运行打包生成的exe文件时需要命令行执行，随后可以双击运行

参考文章：

　　https://www.cnblogs.com/ylsd80/p/10471936.html

　　https://blog.csdn.net/zlc0324/article/details/103697890

　　https://blog.csdn.net/m0_37477175/article/details/82146996