1.介绍  知识蒸馏最早出自于论文“DistillingtheKnowledgeinaNeuralNetwork”，作者是深度学习泰斗Geofrey Hinton，在人工智能方向上，有公认的四大天王，见下图，另外，博主也算是吴恩达的学生，从一个门外汉看他的视频一步一步的走上了算法工程师的岗位，建议有这方面兴趣的人

文章目录PruningQuantizationKnowledgedistillationPruningPruning把模型里一些不重要的权重砍掉，减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。QuantizationQuantization.模型量化就是将训练好的深度神经网络的权值，激活值等从高精度转化成低精

摘要：深度神经网络（DNNs）继续取得重大进展，解决了从图像分类到翻译或增强学习的任务。这个领域的一个受到广泛关注的方面是在资源受限环境中（如移动或嵌入式设备）高效执行深度模型。本文聚焦于这一问题，并提出了两种新的压缩方法，这两种方法共同利用了权重量化和大型网络（称为“教师”网络）

本文是LLM系列文章，针对《DISTILLM:TowardsStreamlinedDistillationforLargeLanguageModels》的翻译。DISTILLM：面向大型语言模型的流线蒸馏摘要1引言2背景3DISTILLM4实验5分析与讨论6相关工作7结论摘要知识蒸馏（KD）被广泛用于将教师模型压缩为

 三.Network 1.  2.FLB：没看懂是怎么分离的水平和竖直方向 3.SLB：每一层保留一半的通道特征用于细化，其余的在特征重构后输出（没看懂）。Multi-distillationNetwork 超分辨网络的Multi-distillationNetwork(2019ACMMM_LightweightImageSuper-ResolutionwithIn

目录概符号说明LLP代码GuoZ.,ShiaoW.,ZhangS.,LiuY.,ChawlaN.V.,ShahN.andZhaoT.Linklesslinkpredictionviarelationaldistillation.ICML,2023.概从GNN教师模型蒸馏到MLP学生模型.符号说明\(G=(\mathcal{V,E})\),无向图;\(\mathbf{A}\in

8InnovativeBERTKnowledgeDistillationPapersThatHaveChangedTheLandscapeofNLPContemporarystate-of-the-artNLPmodelsaredifficulttobeutilizedinproduction.Knowledgedistillationofferstoolsfortacklingsuchissuesalongwithseveralothe

摘要Knowledgedistillationbecomesadefactostandardtoimprovetheperformanceofsmallneuralnetworks.知识蒸馏成为提高小型神经网络性能的事实上的标准。Mostofthepreviousworksproposetoregresstherepresentationalfeaturesfromtheteachertothes

目录概UnKD代码ChenG.,ChenJ.,FengF.,ZhouS.andHeX.Unbiasedknowledgedistillationforrecommendation.WSDM,2023.概考虑流行度偏差的知识蒸馏,应用于推荐系统.UnKDMotivation就不讲了,感觉不是很强烈.方法很简单,就是将按照流行度给items进行

目录概DE-RRDDistillationExperts(DE)RelaxedRankingDistillation(RRD)代码KangS.,HwangJ.,KweonW.andYuH.DE-RRD:Aknowledgedistillationframeworkforrecommendersystem.CIKM,2020.概知识蒸馏应用于推荐系统(同时迁移隐层+输出层特征).DE-RRD

目录概TopologyDistillationFullTopologyDistillation(FTD)HierarchicalTopologyDistillation(HTD)代码KangS.,HwangJ.,KweonW.andYuH.Topologydistillationforrecommendersystem.KDD,2021.概一种基于关系的知识蒸馏,这种关系的处理比较特殊.Topolog

https://www.microsoft.com/en-us/research/blog/three-mysteries-in-deep-learning-ensemble-knowledge-distillation-and-self-distillation/