openppl-public (github.com)

openppl-public/ppl.nn: A primitive library for neural network (github.com)

openppl-public/ppq: PPL Quantization Tool (PPQ) is a powerful offline neural network quantization tool. (github.com)

PPL Quantization Tool 0.6.6 (PPL 量化工具)

PPQ 是一个可扩展的、高性能的、面向工业应用的神经网络量化工具。

神经网络量化，作为一种常用的神经网络加速方案自 2016 年以来被广泛地应用。相比于神经网络剪枝与架构搜索，网络量化的泛用性更强，具有较高的工业实用价值。特别是对于端侧芯片而言，在片上面积与功耗都受到限制的场景下，我们总是希望将所有浮点运算转换为定点运算。量化技术的价值在于浮点运算与访存是十分昂贵的，它依赖于复杂的浮点运算器以及较高的访存带宽。如果我们能够在可接受的范围内使用较低位宽的定点运算近似浮点结果，这将使得我们在芯片电路设计、系统功耗、系统延迟与吞吐量等多方面获得显著的优势。

我们正处在时代的浪潮之中，基于神经网络的人工智能正快速发展，图像识别、图像超分辨率、内容生成、模型重建等技术正改变我们的生活。与之俱来的，是不断变化的模型结构，成为摆在模型量化与部署前的第一道难关。为了处理复杂结构，我们设计了完整的计算图逻辑结构与图调度逻辑，这些努力使得 PPQ 能够解析并修改复杂的模型结构，自动判定网络中的量化区与非量化区，并允许用户对调度逻辑进行手动控制。

网络的量化与性能优化是严峻的工程问题，我们希望用户能够参与到网络的量化与部署过程中来，参与到神经网络的性能优化中来。为此我们在 Github 中提供相应的与部署相关学习资料，并在软件设计上刻意强调接口的灵活性。在我们不断的尝试与探索中，我们抽象出量化器这一逻辑类型，负责初始化不同硬件平台上的量化策略，并允许用户自定义网络中每一个算子、每一个张量的量化位宽、量化粒度与校准算法等。我们将量化逻辑重组为27个独立的量化优化过程 (Quantization Optimization Pass)，PPQ 的用户可以根据需求任意组合优化过程，完成高度灵活的量化任务。作为 PPQ 的使用者，您能够根据需求新增、修改所有优化过程，探索量化技术的新边界。

这是一个为处理复杂量化任务而生的框架 —— PPQ 的执行引擎是专为量化设计的，截止 PPQ 0.6.6 版本，软件一共内置 99 种常见的 Onnx 算子执行逻辑，并原生支持执行过程中的量化模拟操作。PPQ 可以脱离 Onnxruntime 完成 Onnx 模型的推理与量化。作为架构设计一部分，我们允许用户使用 Python + Pytorch 或 C++ / Cuda 为 PPQ 注册新的算子实现，新的逻辑亦可替换现有的算子实现逻辑。PPQ 允许相同的算子在不同平台上有不同的执行逻辑，从而支撑不同硬件平台的运行模拟。借助定制化的执行引擎与 PPQ Cuda Kernel 的高性能实现，使得 PPQ 具有极其显著的性能优势，往往能以惊人的效率完成量化任务。

PPQ 的开发与推理框架关系密切，这使得我们能够了解硬件推理的诸多细节，从而严格控制硬件模拟误差。在国内外众多开源工作者共同努力之下，目前 PPQ 支持与 TensorRT, OpenPPL, Openvino, ncnn, mnn, Onnxruntime, Tengine, Snpe, GraphCore, Metax 等多个推理框架协同工作，并预制了对应量化器与导出逻辑。PPQ 是一个高度可扩展的模型量化框架，借助 ppq.lib 中的函数功能，您能够将 PPQ 的量化能力扩展到其他可能的硬件与推理库上。我们期待与您一起把人工智慧带到千家万户之间。

在 0.6.6 的版本更新中，我们为你带来了这些功能：

1. FP8 量化规范，PPQ 现在支持 E4M3, E5M2 等多种规范的 FP8 量化模拟与训练
2. PFL 基础类库，PPQ 现在提供一套更为基础的 api 函数帮助你完成更为灵活的量化
3. 更为强大的 图模式匹配 与 图融合功能
4. 基于 Onnx 的模型 QAT 功能
5. 全新的 TensorRT 量化与导出逻辑
6. 全球最大的量化模型库 OnnxQuant
7. 其他未知的软件特性

Installation (安装方法)

1. Install CUDA from CUDA Toolkit

2. Install Complier

apt-get install ninja-build # for debian/ubuntu user
yum install ninja-build # for redhat/centos user

For Windows User:

(1) Download ninja.exe from https://github.com/ninja-build/ninja/releases, add it to Windows PATH.

(2) Install Visual Studio 2019 from https://visualstudio.microsoft.com.

(3) Add your C++ compiler to Windows PATH Environment, if you are using Visual Studio, it should be like "C:\Program Files\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.16.27023\bin\Hostx86\x86"

(4) Update PyTorch version to 1.10+.

3. Install PPQ

git clone https://github.com/openppl-public/ppq.git
cd ppq
pip install -r requirements.txt
python setup.py install

• Install PPQ from our docker image (optional):

docker pull stephen222/ppq:ubuntu18.04_cuda11.4_cudnn8.4_trt8.4.1.5

docker run -it --rm --ipc=host --gpus all --mount type=bind,source=your custom path,target=/workspace stephen222/ppq:ubuntu18.04_cuda11.4_cudnn8.4_trt8.4.1.5 /bin/bash

git clone https://github.com/openppl-public/ppq.git
cd ppq
export PYTHONPATH=${PWD}:${PYTHONPATH}

• Install PPQ using pip (optional):

python3 -m pip install ppq

Learning Path (学习路线)

PPQ 基础用法及示例脚本

PPQ 优化过程文档

视频资料

量化部署教程

Dive into PPQ 深入理解量化框架

PPLNN

Overview

PPLNN, which is short for "PPLNN is a Primitive Library for Neural Network", is a high-performance deep-learning inference engine for efficient AI inferencing. It can run various ONNX models and has better support for OpenMMLab.

Hello, world!

• Installing prerequisites:

  • On Debian or Ubuntu:

  apt-get install build-essential cmake git python3 python3-dev

  • On RedHat or CentOS:

  yum install gcc gcc-c++ cmake3 make git python3 python3-devel

• Cloning source code:

git clone https://github.com/openppl-public/ppl.nn.git

• Building from source:

cd ppl.nn
./build.sh -DPPLNN_USE_X86_64=ON -DPPLNN_ENABLE_PYTHON_API=ON

• Running python demo:

PYTHONPATH=./pplnn-build/install/lib python3 ./tools/pplnn.py --use-x86 --onnx-model tests/testdata/conv.onnx

Refer to Documents for more details.

Documents

• Building from Source
• How to Integrate
• APIs
  • C++
    • Getting Started
    • API Reference
  • Python
    • Getting Started
    • API Reference
  • Lua
    • Getting Started
    • API Reference
• Develop Guide
  • Adding New Engines and Ops
  • X86
    • Supported Ops and Platforms
    • Adding Ops（中文版）
    • Benchmark（中文版）
  • CUDA
    • Supported Ops and Platforms
    • Adding Ops（中文版）
    • Benchmark（中文版）
  • RISCV
    • Supported Ops and Platforms
    • Adding Ops（中文版）
    • Benchmark（中文版）
  • ARM
    • Adding Ops（中文版）
    • Benchmark（中文版）
• Models
  • Converting ONNX Opset
  • Generating ONNX models from OpenMMLab