首页 > 其他分享 >深度学习之量化概念初步理解

深度学习之量化概念初步理解

时间:2023-04-01 13:00:16浏览次数:59  
标签:训练 float quantization 初步 深度 量化 bit fine

也许标题并不是很对,但

一再听到有人提起量化这个词,搜索了下,稍作整理如下:

量化任务的简要总结:
1、量化映射方法,也就是将float-32映射到Int数据类型,每个间隔是相等的还是不相等的,这里就是均匀量化(uniform quantization)和非均匀量化(non-uniform quantization),也可以叫作线性量化和非线性量化

2、关于映射到整数是数值范围是有正负数,还是都是正数,这里就是对称量化(有正负数)和非对称量化(全是正数),非对称量化就有zero-point,zero-point的主要作用是用于做padding。

3、原精度即浮float-32,量化到什么样的数据类型,这里就有float和int;到底要选择量化后的是多少个bit,这里就有1-bit(二值网络)、2-bit(三值网络)、3-bit、4-bit、5-bit、6-bit、7-bit、8-bit,这几种量化后的数值类型是整型。

4、是固定所有网络都是相同的bit-width,还是不同的,这里就有混合精度量化(Mixed precision)

5、是从一个已经训练好的模型再进行量化,还是有fine tune的过程或者直接是从头开始训练一个量化的模型,这里就有Post-training quantization(后量化,即将已经训练完的模型参数进行量化)、quantization-aware training(量化感知训练,即在从头开始训练中加入量化)和quantization-aware fine tune(在fine tune训练中加入量化)。

 

以上信息来自: 量化 | 浅谈深度学习模型量化 - 知乎 (zhihu.com)

标签:训练,float,quantization,初步,深度,量化,bit,fine
From: https://www.cnblogs.com/ben7980/p/17278450.html

相关文章

  • 深度学习——用简单的线性模型构建识别鸟与飞机模型
    本文仅为深度学习的入门学习,故采用线性模型而非CNN处理图像数据集。一、准备工作1.下载CIFAR-10数据集这是一个\(32\times32\)像素的RGB图像集合,用于学习使用。fromtorchvisionimportdatasetsdata_path="./data/"cifar10=datasets.CIFAR10(root=data_path,train=......
  • 202031607211-米乐 实验一 软件工程准备—初步认识软件工程
    实验一软件工程准备项目内容班级博客链接2023年春软件工程(2020级计算机科学与技术)本次作业要求链接实验一软件工程准备我的课程学习目标学会使用博客园进行学习、了解Github的基本操作、阅读《现代软件工程——构建之法》本次作业帮我实现的学习目标能够......
  • 202031607334-贾小萌 实验一 软件工程准备 初步认识软件工程
    项目内容班级博客链接20级卓越班本次作业要求链接实验一软件工程准备我的课程学习目标学习博客园软件开发者学习社区使用技巧和经验;了解Github基本操作本次作业在哪方面帮我实现学习目标初步了解博客园软件和Github的基本操作;初步认识软件工程实验内容......
  • 202031705119-张倩 实验一 软件工程准备——初步认识软件工程
    一.博文开头项目内容班级博客链接2023春软件工程(2020级计算机科学与技术)本次作业要求链接实验一软件工程准备我的课程学习目标1.学会使用博客园的基本功能2.学会使用Github的基本功能3.阅读《现代软件工程——构建之法》并解决提出的问题本次作业在哪些......
  • 202031607332-阿卜杜热合曼·麦麦提艾萨 实验一 软件工程准备—对课程的初步认识
    项目内容班级博客链接2023年春软件工程(2020级计算机科学与技术本次作业要求链接实验一软件工程准备我的课程学习目标1.学习博客园软件开发者学习社区使用技巧和经验2.了解Github的基本操作本次作业在哪些方面帮我实现学习目标学习了博客园使用技巧,Github的......
  • 手把手带你玩转Spark机器学习-深度学习在Spark上的应用
    文章目录系列文章目录前言一、ApacheSparkTimeline二、开发步骤1.在jupyter中启动SparkSession和SparkContext2.下载数据3.用Spark读取图片3.TransferLearning总结前言本文将介绍深度学习在Spark上的应用,我们将聚焦于深度学习Pipelines库,并讲解使用DLPipelines的方式。我们......
  • 《很多反相吧友的知识体系,既没深度,也没广度》 回复
    《很多反相吧友的知识体系,既没深度,也没广度》      https://tieba.baidu.com/p/8325085511      @真Djh801   在 36 楼回复里说   “单叶红枫:回复Ehg2000:对,你说对了。迈-实验实际就只是一个验证地球上光速各向相同性的实验。而不能作......
  • 202031607202-李锋斌 实验一 软件工程准备 对软件工程的初步认识
    实验一软件工程准备项目内容班级博客链接2023春软件工程2020级计算机科学与技术本次作业要求链接实验一软件工程准备我的课程学习目标学习软件工程的基本概念和方法,提高软件开发能力。本次作业在哪些方面帮我实现学习目标通过完成任务1-任务5,我了解了博......
  • R语言金融市场量化交易:布林带、价差策略、RSI交易策略,回测COMP 226|附代码数据
    全文下载链接:http://tecdat.cn/?p=29653最近我们被客户要求撰写关于量化交易的研究报告,包括一些图形和统计输出。我们将利用每日数据制定简单的交易策略,将涵盖以下内容。一个简单的介绍性交易。它每天只根据前一天的价格行为做出交易决定-我们用这个例子来介绍前瞻性的偏见......
  • LeetCode 559.二叉树的最大深度
    1.题目:给定一个N叉树,找到其最大深度。最大深度是指从根节点到最远叶子节点的最长路径上的节点总数。N叉树输入按层序遍历序列化表示,每组子节点由空值分隔(请参见示例)。示例1:输入:root=[1,null,3,2,4,null,5,6]输出:3来源:力扣(LeetCode)链接:https://leetcode.cn/problems/maximum......