• 2024-12-21论文-Omniquant-记录
    20241220这是一篇23年的论文了,主要看的点也就是Duquant中类似的旋转矩阵,以及可学习的权重矩阵,也就是LWC.Qmniquant使用了可学习的权重和可学习的等价交换LET策略,可微的平滑策略之前的工作是直接把量化的阈值设置为可学习的,而Omniquant的工作是使用两个参数间接地