网站首页
编程语言
数据库
系统相关
其他分享
编程问答
Omniquant
2024-12-21
论文-Omniquant-记录
20241220这是一篇23年的论文了,主要看的点也就是Duquant中类似的旋转矩阵,以及可学习的权重矩阵,也就是LWC.Qmniquant使用了可学习的权重和可学习的等价交换LET策略,可微的平滑策略之前的工作是直接把量化的阈值设置为可学习的,而Omniquant的工作是使用两个参数间接地