长尾形分布论文三十篇速览1【0-29】

这三十篇论文主要围绕长尾分布问题展开，涉及多个不同领域的具体应用和方法，可以大致分为以下五类：长尾学习方法创新、多模态与自监督技术应用、知识蒸馏与适配、长尾场景下特定领域的应用、以及数据增强与网络优化。

1. 长尾学习方法创新：多篇文章提出了新型的长尾学习方法，如Knowledge Rectification Distillation (KRDistill)（Paper2）、Prior-free Balanced Replay (PBR)（Paper10）、反射学习（Paper22）等，通过蒸馏、再平衡以及模拟人类学习过程等手段来提高尾部类的学习效果。这些研究通过增强对尾部数据的关注和处理来有效减少长尾分布问题的影响。

2. 多模态与自监督技术应用：在处理长尾数据时，多模态和自监督学习也扮演了重要角色。如MLLM-FL联邦学习框架（Paper5）、TOKEN多模态大语言模型（Paper26）、以及自监督异常检测预训练（Paper7）等，通过引入多模态信息、联邦学习和自监督预训练来提高对长尾数据的处理能力。

3. 知识蒸馏与适配：一些文章探讨了如何通过知识蒸馏和基础模型适配来增强长尾学习的效果，例如VLM-KD（Paper8）、TFA-LT（Paper11）等。这些研究通过从视觉-语言模型中提取知识或通过引入轻量级适配器来适应长尾分布，取得了显著效果。

4. 长尾场景下特定领域的应用：部分文章关注于长尾问题在特定领域中的应用，如长尾音乐自动标注（Paper1）、医学图像分类（Paper11）、骨架行为识别（Paper24）等，通过创新的特定领域技术，如文本引导混合、上下文平衡学习、Shapley值引导等，提高对长尾场景的识别能力。

5. 数据增强与网络优化：为了改善长尾数据分布下模型的性能，许多研究引入了新颖的数据增强方法和网络优化策略。例如Contrastive CutMix数据增强（Paper25）、APART自适应适配器路由（Paper3）、SSF-NAS神经架构搜索（Paper27）等，这些方法通过生成新数据样本、增强模型表征能力，或者优化网络结构来提升尾部数据的分类性能。

总的来说，这些研究共同推动了长尾分布问题在不同场景下的应用与优化，为多领域中的长尾数据处理提供了多样的解决方案。

Paper0 Diffusion, Long-Time Tails, and Localization in Classical and Quantum Lorentz Models: A Unifying Hydrodynamic Approach

摘要小结: 本文提出了一个统一且简单的方法来解释存在于多体系统和无相互作用粒子在随机无序中的Lorentz模型中的长时间尾现象，表明通过修改扩散方程中的随机扩散系数或随机散射势可以解释速度自相关函数的主要长时间尾的衰减指数和前因子。

Paper1 Music auto-tagging in the long tail: A few-shot approach

摘要小结: 本文提出了一种将少样本学习应用于多标签音乐自动标注的方法，通过使用预训练模型特征作为轻量级线性分类器的输入，实验表明这种方法在仅使用少量训练数据（如每个标签20个样本）时接近最先进模型的性能，并且能有效处理自动分配长尾标签的问题，即使在有限标注数据的情况下。

Paper2 Learn from Balance: Rectifying Knowledge Transfer for Long-Tailed Scenarios

摘要小结: 本文提出了一个名为Knowledge Rectification Distillation (KRDistill)的新框架，旨在解决传统知识蒸馏（KD）方法在数据不平衡情况下对尾部类别的性能严重下降问题。通过引入平衡的类别先验和纠正教师网络对尾部类别的偏见，使教师网络能够提供平衡准确的知识来训练可靠的学生网络，实验证明该方法在长尾数据集上有效。

Paper3 Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning

摘要小结: 本文提出了AdaPtive Adapter RouTing (APART) 方法，旨在解决长尾分布数据下的类增量学习问题（LTCIL），该方法不依赖重训练线性分类器，而是利用预训练模型的强大表征能力。APART通过训练插入的适配器、维护适配器池以及自适应实例路由来应对遗忘问题，特别强调了对少数类的有效泛化，最终在统一框架下解决了不平衡和灾难性遗忘问题，并通过广泛的基准实验验证了其有效性。

Paper4 An Effective Context-Balanced Adaptation Approach for Long-Tailed Speech Recognition

摘要小结: 这项工作探讨了通过改变上下义词表的词频分布来影响端到端自动语音识别模型性能，并扩展了上下文适配器（CA）以引入一个简单有效的上下文平衡学习目标，实验表明使用训练语料库中的所有词汇作为上下义词表并结合平衡目标能显著提高模型性能，尤其是在减少字符错误率（CER）和零样本词错误率方面。

Paper5 MLLM-FL: Multimodal Large Language Model Assisted Federated Learning on Heterogeneous and Long-tailed Data

摘要小结: 本文提出了一种新型的联邦学习框架，称为多模态大语言模型辅助联邦学习（MLLM-FL），主要工作是通过在服务器端使用强大的多模态大语言模型来解决数据异质性和长尾挑战，提高了性能，同时避免了隐私泄漏和本地设备的计算负担。该框架包括三个关键阶段：全局视觉文本预训练、本地训练以及全球对齐，实验证明在数据异质性和长尾分布的FL场景中表现良好。

Paper6 Text-Guided Mixup Towards Long-Tailed Image Categorization

摘要小结: 本文提出了一种新的文本引导混合技术，利用预训练的视觉-语言模型中的文本信息来解决长尾分布问题，通过利用类之间的语义关系来缓解长尾挑战，并在基准长尾任务上验证了其有效性。主要工作是利用text-guided mixup技术来改善长尾学习问题。

Paper7 Self-supervised Anomaly Detection Pretraining Enhances Long-tail ECG Diagnosis

摘要小结: 本研究提出了一种新颖的方法，通过自监督异常检测预训练来解决ECG数据集中的不平衡问题，显著提高了对罕见但关键的心脏异常的检测能力；模型在超过一百万的临床ECG记录上进行验证，表现出对罕见ECG类型的高准确度，并在实际临床设置中提高了诊断效率，为临床心脏病学中AI的集成提供了重要进展。

Paper8 VLM-KD: Knowledge Distillation from VLM for Long-Tail Visual Recognition

摘要小结: 本文提出了一种有效的方法，称为VLM-KD，通过从现成的视觉-语言模型（VLM）中提取知识，为视觉识别任务提供新的监督，该方法除了传统的视觉模型监督外，还能生成新颖的文本监督并将其蒸馏到视觉编码器中，实验表明该方法在多个基准数据集上超越了现有的长尾视觉分类器，是首个利用VLM生成的文本监督进行知识蒸馏并应用于随机初始化的视觉编码器的工作。

Paper9 SAU: A Dual-Branch Network to Enhance Long-Tailed Recognition via Generative Models

摘要小结: 本文提出了一种利用合成数据来补充长尾分布数据集的方法，以消除数据不平衡的影响，并设计了一个包含合成感知和无感知分支（SAU）的两分支模型来处理真实合成混合数据集，实验证明该方法能显著提高长尾图像识别的准确率，并在CIFAR-10-LT和CIFAR-100-LT数据集上达到最先进的Top-1准确率。

Paper10 Prior-free Balanced Replay: Uncertainty-guided Reservoir Sampling for Long-Tailed Continual Learning

摘要小结: 本文提出了一个新颖的Prior-free Balanced Replay (PBR)框架，旨在解决长尾分布下的连续学习中的灾难性遗忘问题，该方法无需使用任何先验信息来重新平衡训练数据。PBR通过不确定性引导的采样策略优先复习少数类数据，并结合两个无先验组件进一步减少遗忘问题，实验证明在多种设置下其性能优于现有方法。

Paper11 Text-guided Foundation Model Adaptation for Long-Tailed Medical Image Classification

摘要小结: 这项工作提出了一个名为TFA-LT的新型文本引导的基础模型适配方法，用于解决长尾分布的医学图像分类问题，通过采用两阶段的训练策略和仅两个线性适配器以及单个集成器来平衡结果，实验证明该方法在仅需6.1%的GPU内存使用下，相比当前最佳算法提高了27.1%的准确率，凸显了基础模型适配在医学图像分类领域的潜力。

Paper12 Distilling Long-tailed Datasets

摘要小结: 这篇文章主要探讨了现有数据集蒸馏（DD）方法在长尾数据集上的不足，并提出了长尾感知数据集蒸馏（LAD）方法来解决这一问题。文章指出，传统DD方法在长尾数据集上表现不佳的原因是专家网络训练偏差和尾部类别性能不佳，LAD通过权重不匹配避免和自适应解耦匹配技术，有效提高了蒸馏数据集在尾部类别的表现，这是首次有效尝试在长尾数据集上进行数据集蒸馏。

Paper13 Representation Norm Amplification for Out-of-Distribution Detection in Long-Tail Learning

摘要小结: 本文主要研究了在长尾数据集上训练的模型中，检测分布外（OOD）样本的挑战，并提出了一个新方法——表示范数放大（RNA），该方法通过解耦OOD检测和分布内（ID）分类来解决问题。RNA利用表示范数作为OOD检测的新维度，并通过训练方法生成ID和OOD数据之间的表示范数显著差异，同时不影响ID分类的特征学习。实验结果显示，RNA在OOD检测和分类性能上均优于现有方法，在CIFAR10-LT和ImageNet-LT数据集上分别提高了1.70%和9.46%的FPR95以及2.43%和6.87%的分类准确率。

Paper14 Long-Tail Temporal Action Segmentation with Group-wise Temporal Logit Adjustment

摘要小结: 该研究针对程序活动视频中常见的长尾动作分布问题，提出了一种新的组别时间逻辑调整（G-TLA）框架，该框架结合了组别softmax公式，同时利用活动信息和动作顺序进行逻辑调整，显著提高了对尾部动作的分割性能，且对头部动作的性能没有损失。主要工作是解决现有方法在时间分割框架中识别尾部类别的不足。

Paper15 Category-Prompt Refined Feature Learning for Long-Tailed Multi-Label Image Classification

摘要小结: 该研究提出了一个名为Category-Prompt Refined Feature Learning (CPRFL)的新方法，用于解决长尾多标签图像分类（LTMLC）中的问题，通过利用不同类别之间的语义相关性并分解每个类别的特定视觉表示。CPRFL使用预训练CLIP的嵌入初始化类别提示，并通过与视觉特征的交互分解特定视觉表示，从而促进头尾类之间的语义关联。同时，设计了一种渐进式双路径反向传播机制来细化提示，并采用不对称损失作为优化目标，有效提升了头尾识别性能，并在两个LTMLC基准上验证了其有效性。

Paper16 Long-Tailed Out-of-Distribution Detection: Prioritizing Attention to Tail

摘要小结: 这篇研究提出了一种新的名为Prioritizing Attention to Tail (PATT)的方法，用于处理长尾分布下的out-of-distribution (OOD)检测问题，它通过使用增强而非减少的方法，利用von Mises-Fisher分布和温度缩放模块来增强ID数据的语义并促进ID与OOD数据的区分，同时通过特征校准进一步强化OOD检测能力，实验证明该方法在保证ID数据分类性能的同时优于现有技术。

Paper17 Learning from Noisy Labels for Long-tailed Data via Optimal Transport

摘要小结: 本文提出了一种新的方法来处理同时具有长尾分布和噪声标签的数据，通过引入损失-距离交叉选择模块来过滤干净样本，并使用最优传输策略生成伪标签，实验证明该方法优于当前最先进的方法，能够有效应对噪声标签和长尾分布带来的问题。

Paper18 Personalized Federated Learning on Heterogeneous and Long-Tailed Data via Expert Collaborative Learning

摘要小结: 本文针对个性化联邦学习（PFL）中存在的长尾数据分布与数据异质性问题，提出了一种名为专家协同学习（ECL）的方法，通过在每个客户端训练多个专家模型并在不同训练子集上优化，保证少数类得到充分训练，多个专家协同工作以提高模型性能，并在多种数据异质性和长尾分布程度下优于现有PFL方法。

Paper19 A Systematic Review on Long-Tailed Learning

摘要小结: 本文全面回顾了长尾视觉学习领域的最新进展，提出了一个新的长尾学习分类法，包含八个不同维度，并基于此分类法系统地回顾了长尾学习方法，讨论了它们的共性与差异，同时分析了不平衡学习与长尾学习方法的差异，并展望了该领域的未来发展方向。

Paper20 Optimizing Long-tailed Link Prediction in Graph Neural Networks through Structure Representation Enhancement

摘要小结: 本文主要研究了图神经网络在链接预测任务中受到的度基长尾问题的影响，发现节点度与预测准确性的关联较弱，而节点对之间的共同邻居数量与准确性有强关联。由于尾部节点对在数据集中占很大比例但表现不佳，作者提出链接预测也面临长尾问题，并提出了长尾框架（LTLP）来提升尾部节点对的性能，通过增加共同邻居，从而提高链接预测的整体性能。

Paper21 Distribution-Aware Robust Learning from Long-Tailed Data with Noisy Labels

摘要小结: 该研究提出了一个名为Distribution-aware Sample Selection and Contrastive Learning (DaSC)的稳健训练框架，旨在应对真实世界数据中的长尾分布和标签噪声问题。主要工作包括引入Distribution-aware Class Centroid Estimation (DaCC)来生成增强的类中心，并通过加权平均所有样本特征实现；同时提出了一种信心感知的对比学习策略，使用高置信度样本进行平衡和稳健的表示，并通过低置信度样本计算Mixup增强的实例歧视损失来改进表示。实验结果显示，DaSC在CIFAR和真实噪声标签数据集上的表现优于先前方法。总结来说：该研究提出DaSC框架，通过DaCC和信心感知对比学习策略，有效应对长尾分布和标签噪声，提升模型泛化性能。

Paper22 LTRL: Boosting Long-tail Recognition via Reflective Learning

摘要小结: 本文提出了一种名为“反射学习”的新学习范式，用于处理长尾识别问题，该方法通过在训练过程中回顾过去的预测、总结和利用跨类别的特征关系以及纠正损失函数的梯度冲突这三个过程来模拟人类学习过程，其设计轻量且能够与现有的长尾学习方法结合使用，在流行的长尾视觉基准测试中达到了最先进的性能。

Paper23 GUME: Graphs and User Modalities Enhancement for Long-Tail Multimodal Recommendation

摘要小结: 本文提出了一种新的图与用户模态增强（GUME）方法，用于长尾多模态推荐系统，通过增强用户-物品图和改进用户模态表示来提高长尾物品的表示质量和推荐效果，并在四个公开数据集上验证了该方法的有效性。

Paper24 Shap-Mix: Shapley Value Guided Mixing for Long-Tailed Skeleton Based Action Recognition

摘要小结: 该研究针对现实场景中人类行为数据的长尾分布问题，提出了一种名为Shap-Mix的新方法，通过挖掘尾部类别的代表性运动模式来改善长尾学习，特别是在骨架数据上的表现。具体来说，该方法首先开发了一种有效的时空混合策略来提升骨架数据的表示质量，并通过基于Shapley值的显著性引导方法保留了少数类别的显著运动部分，实验证明在长尾和平衡设置下都能显著提高性能。总结如下：该研究提出Shap-Mix方法，通过时空混合策略和显著性引导改善骨架数据的长尾学习问题，并在多个数据集上验证了其有效性。

Paper25 Enhanced Long-Tailed Recognition with Contrastive CutMix Augmentation

摘要小结: 该研究针对现实数据中的长尾分布问题，提出了一种名为Contrastive CutMix的方法，通过在语义空间中计算样本间的相似性来修正传统的基于面积的标签，从而在数据增强时生成具有语义一致性标签的样本，以提高长尾识别的性能。实验表明，该方法显著提高了尾类别的准确性和整体性能，例如在ImageNet-LT上使用ResNeXt-50时，总体准确率提高了3.0%，尾类别准确率提高了3.3%，并且这种改进也适用于其他基准和模型。

Paper26 Tokenize the World into Object-level Knowledge to Address Long-tail Events in Autonomous Driving

摘要小结: 本文提出了TOKEN，一种新颖的多模态大语言模型（MM-LLM），通过将世界划分为对象级知识，有效利用LLM的推理能力，提高自动驾驶车辆在长尾场景下的规划能力；该方法通过传统端到端驾驶模型生成场景的浓缩和语义丰富表示，并通过表示和推理对齐训练阶段优化LLM规划兼容性，实验结果显示TOKEN在长尾场景下的轨迹误差降低27%，碰撞率降低39%，证明了其在表示对齐和结构化推理方面的重要性。

Paper27 Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning

摘要小结: 这篇论文主要探讨了如何在长尾数据集上提高神经架构搜索（NAS）的搜索和训练性能，重点介绍了SSF-NAS方法，该方法集成了自监督学习和公平可微分的NAS，以在长尾数据集上实现更好的性能，并在CIFAR10-LT数据集上进行了实验验证。

Paper28 On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models

摘要小结: 本文提出了一种针对大型语言模型（LLM）的简单有效的长尾知识检测方法，通过引入新的生成预期校准误差（GECE）指标来衡量知识的“长尾性”，并在输入查询与长尾知识相关时，检索相关文档以修补知识漏洞，从而在提高RAG的性能上实现了超过4倍的平均推理速度提升和下游任务的持续性能改进。

Paper29 Boosting Consistency in Dual Training for Long-Tailed Semi-Supervised Learning

摘要小结: 本文提出了一种新的简单方法BOAT，通过在训练过程中构建标准和平衡分支以处理标签和无标签数据之间的类别分布不匹配问题，有效利用无标签数据，并在多个标准长尾半监督学习基准测试中实现了最先进的性能，无论标签和无标签数据的类别分布是否匹配，BOAT均能显著提升模型的性能。