Calibrating Class Activation Maps for Long-Tailed Visual Recognition
Nanyang Technological University（南洋理工大学）；South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）
现实世界的视觉识别问题往往呈现长尾分布，不同类别的学习数据量表现出显着的不平衡。在这样的数据分布上学习的标准分类模型通常会对头部类进行有偏见的预测，而对尾部类的预测则很差。在本文中，我们提出了两种有效的CNN修改，以改善长尾分布的网络学习。首先，我们提出了一个类激活图校准（CAMC）模块，以改善网络分类器的学习和预测，通过执行基于重要图像区域的网络预测。所提出的CAMC模块突出了跨数据的相关图像区域，并加强了这些区域中的表示，以获得更好的全局表示用于分类。此外，我们研究了在长尾问题中使用归一化分类器进行表示学习。我们的实证研究表明，通过简单地缩放的分类器的输出与适当的标量，我们可以有效地提高分类精度的尾类，而不会失去头类的准确性。我们进行了广泛的实验来验证我们设计的有效性，并在五个基准测试中设置了新的最先进的性能，包括ImageNet-LT，Places-LT，iNaturalist 2018，CIFAR 10-LT和CIFAR 100-LT。
2021-08-29 cs.CV
Category-Prompt Refined Feature Learning for Long-Tailed Multi-Label Image Classification
School of Big Data & Software Engineering, Chongqing University（重庆大学大数据与软件学院）；College of Computer Science, Chongqing University（重庆大学计算机学院）；Fowler College of Business, San Diego State University（圣地亚哥州立大学福勒商学院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
针对长尾多标签图像分类中数据分布不均与多目标识别的难题，提出类别提示精炼特征学习方法，结合CLIP类别提示、渐进双路径反向传播与非对称损失，在两个基准上取得优于基线的效果。
2024-08-15 cs.CV
Compound Batch Normalization for Long-tailed Image Classification
Zhejiang Lab（之江实验室）；Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）；Sun Yat-sen University（中山大学）
利用数据重采样、重加权和边缘调整等鲁棒训练算法，在长尾数据分布下学习图像分类神经网络方面取得了重大进展。然而，这些方法忽略了数据不平衡对特征归一化的影响。在估计统计和仿射参数时，多数类（头类）的主导地位导致在不太频繁的类别内的内部协变量偏移被忽略。为了缓解这一挑战，我们提出了一种基于高斯混合的复合批量归一化方法。它可以更全面地对特征空间进行建模，减少头类的优势。此外，基于移动平均的期望最大化（EM）算法被用来估计多个高斯分布的统计参数。然而，EM算法对初始化敏感，并且很容易陷入局部最小值，其中多个高斯分量继续集中在大多数类上。为了解决这个问题，我们开发了一个双路径学习框架，该框架采用类感知的分裂特征归一化来使估计的高斯分布多样化，从而使高斯分量更全面地与不太频繁的类的训练样本相适应。在常用数据集上的大量实验表明，该方法在长尾图像分类上优于现有方法。
2022-12-02 cs.CV
MICACL: Multi-Instance Category-Aware Contrastive Learning for Long-Tailed Dynamic Facial Expression Recognition
University of Science and Technology of China（科学技术大学）；Hefei University of Technology（合肥工业大学）；IAI, Hefei Comprehensive National Science Center（IAI合肥国家科学中心）
MICACL通过整合时空依赖建模和长尾对比学习优化，提升动态面部表情识别的鲁棒性和泛化能力。
2025-09-04 cs.CV
Balanced Contrastive Learning for Long-Tailed Visual Recognition
Fudan University（复旦大学）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）；La Trobe University（乐卓博大学）
真实世界的数据通常遵循长尾分布，其中少数多数类别占据大部分数据，而大多数少数类别包含有限数量的样本。最小化交叉熵的分类模型很难表示和分类尾类。虽然学习无偏分类器的问题已经得到了很好的研究，表示不平衡的数据的方法是探索不足。在本文中，我们专注于不平衡数据的表示学习。最近，监督对比学习在平衡数据上表现出了良好的性能。然而，通过我们的理论分析，我们发现，对于长尾数据，它未能形成一个规则的单纯形，这是一个理想的几何配置的表示学习。为了纠正SCL的优化行为，进一步提高长尾视觉识别的性能，我们提出了一种新的损失平衡对比学习（BCL）。与SCL相比，BCL有两个改进：类平均，它平衡了负类的梯度贡献;类补充，它允许所有类出现在每个小批次中。提出的平衡对比学习（BCL）方法满足形成正则单纯形的条件，并辅助交叉熵的优化。配备BCL，所提出的两分支框架可以获得更强的特征表示，并在CIFAR-10-LT，CIFAR-100-LT，ImageNet-LT和iNaturalist 2018等长尾基准数据集上实现具有竞争力的性能。我们的代码可在https://github.com/FlamieZhu/BCL上获得。
2022-09-10 cs.CV cs.LG
LMPT: Prompt Tuning with Class-Specific Embedding Loss for Long-tailed Multi-Label Visual Recognition
Monash University（莫纳什大学）；Imperial College London（伦敦帝国学院）
针对长尾多标签视觉识别，提出LMPT提示调优框架，通过类别特定嵌入损失和分布平衡损失融合图文语义，显著提升头尾类别性能。
2024-06-18 cs.CV
DBN-Mix: Training Dual Branch Network Using Bilateral Mixup Augmentation for Long-Tailed Visual Recognition
Hanyang University（汉阳大学）
本文提出双边 mixup 增强与逐类温度缩放方法，并应用于双分支网络框架构建 DBN-Mix 模型，有效缓解长尾视觉识别中的类别不平衡与少数类表示困难，显著提升基线性能并在部分基准中达到 SOTA。
2022-08-20 cs.CV cs.LG
Probabilistic Contrastive Learning for Long-Tailed Visual Recognition
Tsinghua University（清华大学）
针对长尾视觉识别中的数据不平衡问题，提出概率对比学习（ProCo）算法，通过假设归一化特征服从vMF混合分布，实现高效分布估计与无限对比对采样，并推导闭式损失以优化性能。
2024-03-14 cs.CV cs.LG
Positive-First Most Ambiguous: A Simple Active Learning Criterion for Interactive Retrieval of Rare Categories
INRIA, LIRMM, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃大学计算机科学、机器人技术与微电子实验室）；Institut National de l’Audiovisuel（法国国家视听研究所）
本文提出PF-MA准则，用于在低预算和低延迟环境下有效检索罕见类别，通过优先选择边界样本和可能的正例，提升检索效率和用户满意度。
2026-04-08 cs.CV cs.HC cs.IR
Generalized Category Discovery under the Long-Tailed Distribution
University of Edinburgh（爱丁堡大学）；The University of Hong Kong（香港大学）
针对长尾分布下的广义类别发现，提出基于置信样本选择与密度聚类的框架，解决分类器学习失衡与类别数估计难题，实验验证有效。
2025-06-20 cs.CV
No One Left Behind: Improving the Worst Categories in Long-Tailed Learning
Nanjing University（南京大学）
与使用平衡训练数据集的情况不同，每类召回率（即，已知用不平衡数据集训练的神经网络的精度）在类别与类别之间变化很大。长尾识别的惯例是手动将所有类别分为三个子集，并报告每个子集内的平均准确率。我们认为，在这样的评价设置，某些类别不可避免地被牺牲。一方面，关注平衡测试集上的平均准确率几乎不会导致惩罚，即使一些表现最差的类别的准确率为零。另一方面，“少”子集中的类不一定比“多”或“中”子集中的类执行得更差。因此，我们主张更多地关注提高所有类别中的最低召回率和所有召回值的调和平均值。具体来说，我们提出了一个简单的插件的方法，适用于广泛的方法。通过简单地用我们提出的损失函数重新训练现有预训练模型的分类器，并使用组合两个分类器预测的可选集成技巧，我们实现了召回值在类别之间的更均匀分布，这导致了更高的调和平均准确度，同时（算术）平均准确度仍然很高。我们的方法的有效性是合理的广泛使用的基准数据集。
2023-03-17 cs.CV
Equalized Focal Loss for Dense Long-Tailed Object Detection
Tongji University（同济大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
尽管最近长尾目标检测取得了成功，但几乎所有的长尾目标检测器都是基于两阶段范式开发的。在实践中，单级检测器在行业中更普遍，因为它们具有易于部署的简单快速的管道。然而，在长尾情景中，迄今尚未探讨这一工作领域。在本文中，我们研究一级检测器是否可以在这种情况下表现良好。我们发现，主要的障碍，阻止一阶段检测器实现优异的性能是：类别遭受不同程度的正负不平衡问题下的长尾数据分布。传统的焦点损失平衡的训练过程与所有类别的相同的调制因子，从而无法处理长尾问题。为了解决这个问题，我们提出了均衡焦点损失（EFL），重新平衡的损失贡献的正样本和负样本的不同类别独立根据其不平衡程度。具体而言，EFL采用了一个与类别相关的调节因子，该因子可以根据不同类别的训练状况进行动态调整。在具有挑战性的LVIS v1基准上进行的大量实验证明了我们所提出的方法的有效性。通过端到端的培训管道，EFL在整体AP方面达到了29.2%，并在罕见类别上获得了显着的性能提升，超过了所有现有的最先进的方法。该代码可在https://github.com/ModelTC/EOD上获得。
2022-06-30 cs.CV
Boosting Long-tailed Object Detection via Step-wise Learning on Smooth-tail Data
National University of Singapore（新加坡国立大学）；Harbin Institute of Technology（哈尔滨工业大学）
提出逐步学习框架，通过构建平滑尾部数据、预训练模型、微调头部专家模型并迁移知识训练统一模型，有效解决长尾目标检测问题，在LVIS数据集上显著提升AP特别是稀有类别AP。
2023-05-22 cs.CV
Equalization Loss for Long-Tailed Object Recognition
Tongji University（同济大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；The University of Sydney（悉尼大学）
使用卷积神经网络（CNN）的对象识别技术已经取得了巨大的成功。然而，最先进的目标检测方法在大词汇量和长尾数据集（例如LVIS）上仍然表现不佳。在这项工作中，我们从一个新的角度来分析这个问题：一个类别的每个正样本都可以被视为其他类别的负样本，使尾部类别获得更多令人沮丧的梯度。在此基础上，我们提出了一个简单而有效的损失，命名为均衡损失，以解决长尾罕见类别的问题，只需忽略这些梯度的罕见类别。均衡损失保护稀有类别的学习在网络参数更新期间处于不利地位。因此，该模型能够学习更好的区分特征的稀有类的对象。在没有任何花哨的情况下，与Mask R-CNN基线相比，我们的方法在具有挑战性的LVIS基准上实现了4.1%和4.8%的罕见和常见类别的AP增益。利用有效均衡损耗，我们最终在2019年LVIS挑战赛中获得第一名。代码已在以下网址提供：https：//github.com/tztztztztz/eql.detectron2
2020-04-14 cs.CV
Sample hardness based gradient loss for long-tailed cervical cell detection
Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence of Robotics of Society（深圳市人工智能与机器人研究院）；University of California, Irvine（加州大学欧文分校）
由于癌症样本收集和注释的困难，宫颈癌数据集通常呈现长尾数据分布。当训练检测器以检测从TCT（薄层细胞学测试）样本捕获的WSI（全切片图像）图像中的癌细胞时，头部类别（例如正常细胞和炎性细胞）通常具有比尾部类别（例如癌细胞）大得多的样本数量。现有的目标检测中的长尾学习方法大多集中在类别分布统计上来解决长尾场景中的问题，而没有考虑每个样本的“硬度”。为了解决这个问题，在这项工作中，我们提出了一个梯度天秤座损失，利用梯度来动态校准不同类别的每个样本的硬度，并重新平衡正样本和负样本的梯度。因此，我们的损失可以帮助检测器更加重视头部和尾部类别中的那些硬样本。在长尾TCT WSI图像数据集上进行的大量实验表明，使用我们提出的服从Libra损失训练的主流检测器，例如RepPoints，FCOS，ATSS，YOLOF等，实现了比使用交叉熵分类损失训练的更高（7.8%）的mAP。
2022-08-07 cs.CV
Reviving Undersampling for Long-Tailed Learning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对长尾识别中类别准确率不均、平均评估指标易忽略差表现类的问题，重启平衡欠采样并设计无额外开销的集成策略，在基准数据集上实现差类别准确率提升，兼顾调和、几何均值与平均准确率。
2024-01-30 cs.CV
Investigate the Essence of Long-Tailed Recognition from a Unified Perspective
随着数据规模的增长，深度识别模型通常会受到长尾数据分布的影响，这是由于类别之间的样本数量严重不平衡。实际上，真实世界数据通常在不同类别之间表现出某种相似性关系（例如，鸽子和麻雀），在这项工作中称为类别相似性。当具有相似外观的这些类别之间出现不平衡时，这就更加困难了。然而，现有的解决方案主要集中在样本数量，以重新平衡数据分布。在这项工作中，我们从统一的角度系统地研究了长尾问题的本质。具体来说，我们证明了长尾识别受到样本数量和类别相似性的影响。直觉上，我们首先用一个玩具的例子，表明样本数不是唯一的影响因素长尾识别的性能下降。理论上，我们证明了（1）类别相似性作为一个不可避免的因素，也会通过相似样本影响长尾分布下的模型学习，（2）使用更具区分性的表示方法（例如，自监督学习）进行相似性降低，可以进一步减轻分类器偏差，同时大大提高性能。在几个长尾数据集上的实验验证了理论分析的合理性，并表明在现有的SOTA基础上，通过相似性约简可以进一步提高性能。我们的研究突出了长尾问题背后的本质，并为未来的工作提出了几个可行的方向。
2022-08-17 cs.CV
Imagine by Reasoning: A Reasoning-Based Implicit Semantic Data Augmentation for Long-Tailed Classification
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
现实世界的数据往往遵循长尾分布，这使得现有的分类算法的性能严重下降。一个关键的问题是，在尾部类别的样本无法描述他们的类内多样性。即使是第一次看到这个类别，人类也可以用他们的先验知识以新的姿势，场景和视角想象样本。受此启发，我们提出了一种新的基于推理的隐式语义数据增强方法借用其他类的转换方向。由于每个类别的协方差矩阵表示特征变换方向，因此我们可以从相似的类别中采样新的方向以生成明确不同的实例。具体地，首先采用长尾分布式数据训练骨干和分类器。然后，估计每个类别的协方差矩阵，并构造知识图谱来存储任意两个类别的关系。最后，通过传播知识图谱中所有相似类别的信息，自适应地增强尾样本。在CIFAR-100-LT、ImageNet-LT和iNaturalist 2018上的实验结果表明，与现有方法相比，我们提出的方法是有效的。
2022-02-11 cs.CV
Seesaw Loss for Long-Tailed Instance Segmentation
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
实例分割在类平衡基准方面取得了显著的进展。然而，它们在现实世界的场景中无法准确地执行，其中对象的类别分布自然带有长尾。头类别的10%支配长尾数据集，它们作为尾类别的负样本。尾类上负样本的压倒性梯度导致分类器的有偏学习过程。因此，尾部类别的对象更容易被误分类为背景或头部类别。为了解决这个问题，我们提出了跷跷板损失来动态地重新平衡每个类别的阳性和阴性样本的梯度，其中有两个互补因素，即，补偿系数和补偿系数。减轻因素减少惩罚的尾部类别w.r.t.不同类别之间累积训练实例的比率。同时，补偿因子增加了对错误分类实例的惩罚，以避免尾类别的误报。我们使用主流框架和不同的数据采样策略对跷跷板损失进行了广泛的实验。通过一个简单的端到端训练管道，Seesaw Loss比交叉熵损失获得了显着的收益，并在LVIS数据集上实现了最先进的性能，而无需花里胡哨。代码可在https://github.com/open-mmlab/mmdetection上获得。
2021-06-17 cs.CV
Balanced Classification: A Unified Framework for Long-Tailed Object Detection
University of Science and Technology of China（中国科学技术大学）
针对长尾目标检测中的分类偏倚问题，提出统一框架BACL，通过前景分类平衡损失（FCBL）和动态特征幻觉模块（FHM）分别缓解竞争不平等和增强尾部多样性，在LVIS等数据集上取得SOTA性能。
2023-08-04 cs.CV
Long-tailed Instance Segmentation using Gumbel Optimized Loss
King’s College London（伦敦国王学院）；University of Liverpool（利物浦大学）；Imperial College London（帝国理工学院）
近年来，在目标检测和分割领域取得了重大进展。然而，当涉及到罕见类别时，最先进的方法无法检测到它们，从而导致罕见类别和频繁类别之间的显著性能差距。在本文中，我们发现深度检测器中使用的Sigmoid或Softmax函数是性能低下的主要原因，并且对于长尾检测和分割来说是次优的。为了解决这个问题，我们开发了Gumbel优化损失（GOL），用于长尾检测和分割。它与不平衡数据集中稀有类的Gumbel分布一致，考虑到长尾检测中的大多数类具有较低的预期概率。与Mask-RCNN相比，所提出的GOL在AP上的性能显著优于最先进的方法1.1%，并将整体分割提高了9.0%，检测提高了8.0%，特别是在LVIS数据集上将罕见类别的检测提高了20.3%。代码可在：https://github.com/kostas1515/GOL
2022-11-03 cs.CV
MEDOE: A Multi-Expert Decoder and Output Ensemble Framework for Long-tailed Semantic Segmentation
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对长尾语义分割中尾部类别性能差的问题，提出模型无关的 MEDOE 框架，通过多专家解码与可学习输出集成保留上下文信息，在 Cityscapes 和 ADE20K 上显著提升 mIoU 与 mAcc。
2023-08-16 cs.CV
Learn from Balance: Rectifying Knowledge Transfer for Long-Tailed Scenarios
School of Computer Science and Technology, Southwest University of Science and Technology（西南科技大学计算机科学与技术学院）；School of Information Science and Technology, Great Bay University（大湾区大学信息科学与技术学院）；Graduate School of Science and Engineering, Hosei University（法政大学理工学研究院）
提出KRDistill框架，利用平衡类别先验校正教师网络的不平衡知识与有偏预测，在长尾场景下有效训练可靠学生网络。
2024-09-20 cs.CV
Generalized Categories Discovery for Long-tailed Recognition
Hasso Plattner Institut（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
针对无标签数据类别分布不均的长尾广义类别发现问题，提出基于重加权机制和类先验约束的正则化方法，在ImageNet100上提升约6-9%性能。
2024-08-25 cs.CV cs.LG
Inverse Image Frequency for Long-tailed Image Recognition
University of Liverpool（利物浦大学）；Imperial College London（帝国理工学院）
针对长尾图像识别中的类别不平衡问题，提出逆图像频率（IIF）方法，通过对分类层logits进行乘法边际调整来去偏，在多个长尾基准上达到最先进性能。
2023-10-07 cs.CV
Forest R-CNN: Large-Vocabulary Long-Tailed Object Detection and Instance Segmentation
State University of New York at Buffalo（纽约州立大学布法罗分校）；Tianjin University（天津大学）；Horizon Robotics, Inc.（地平线机器人科技有限公司）
尽管以前的成功的对象分析，检测和分割大量的对象类别与长尾数据分布仍然是一个具有挑战性的问题，是较少的研究。对于一个大词汇量的分类器，获得噪声logits的机会要高得多，这很容易导致错误的识别。在本文中，我们利用对象类别之间的关系的先验知识聚类细粒度的类到粗父类，并构造一个分类树，负责解析一个对象实例到一个细粒度的类别，通过其父类。在分类树中，由于父类节点的数量明显较少，因此它们的logits噪声较小，并且可以用来抑制细粒度类节点中存在的错误/噪声logits。由于构造父类的方式不是唯一的，我们进一步构建多棵树来形成分类森林，其中每棵树都为细粒度分类贡献其投票。为了缓解长尾现象导致的学习不平衡，我们提出了一种简单而有效的重新分配方法，NMS重新分配，以重新平衡数据分布。我们的方法被称为Forest R-CNN，可以作为一个即插即用模块，应用于大多数对象识别模型，识别1000多个类别。在大词汇量数据集LVIS上进行了大量的实验。与Mask R-CNN基线相比，Forest R-CNN显著提高了性能，在罕见类别和整体类别上分别提高了11.5%和3.9%的AP。此外，我们在LVIS数据集上获得了最先进的结果。代码可在https://github.com/JialianW/Forest_RCNN上获得。
2021-03-03 cs.CV
Anisotropic Diffusion Probabilistic Model for Imbalanced Image Classification
DAMO Academy, Alibaba Group（阿里巴巴达摩院）；School of Mathematical Sciences, Beijing Normal University（北京师范大学数学科学学院）
针对长尾分布导致尾部类别分类不佳的问题，提出各向异性扩散概率模型（ADPM），通过数据分布控制前向扩散速度、基于误差分析选择噪声，并融合图像先验与语义上下文，有效提升了不平衡图像分类中稀有类的准确率。
2024-09-22 cs.CV
The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition
Tongji University（同济大学）；Sensetime Research（商汤科技研究院）；University of Sydney（悉尼大学）；Shanghai AI Laboratory（上海人工智能实验室）
长尾分布在实际应用中广泛存在。由于实例的比例非常小，尾部类别通常表现出较差的准确性。在本文中，我们发现这种性能瓶颈主要是由不平衡的梯度，它可以分为两个部分：（1）正的部分，来自同一类别的样本，（2）负的部分，由其他类别的贡献。基于综合实验，还观察到累积的阳性与阴性的梯度比是衡量类别训练平衡程度的良好指标。受此启发，我们提出了一种梯度驱动的训练机制来解决长尾问题：根据当前累积梯度动态地重新平衡正/负梯度，统一目标是实现平衡梯度比。利用简单灵活的梯度机制，我们引入了一个新的梯度驱动的损失函数，即均衡损失。我们对各种视觉任务进行了广泛的实验，包括两阶段/单阶段长尾目标检测（LVIS），长尾图像分类（ImageNet-LT，Places-LT，iNaturalist）和长尾语义分割（ADE 20 K）。我们的方法始终优于基线模型，证明了所提出的均衡损失的有效性和泛化能力。代码将在https://github.com/ModelTC/United-Perception上发布。
2022-10-11 cs.CV
Improving Long-tailed Object Detection with Image-Level Supervision by Multi-Task Collaborative Learning
Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；Shanghai University of Traditional Chinese Medicine（上海中医药大学）
现实世界中的目标检测数据往往呈现长尾分布。现有的解决方案通过减轻头部和尾部类别之间的竞争来解决这个问题。然而，由于训练样本的稀缺性，尾类别仍然无法学习判别表示。在训练中引入更多的数据可能会缓解这个问题，但收集实例级注释是一项令人痛苦的任务。相比之下，图像级注释很容易访问，但没有得到充分利用。在本文中，我们提出了一个新的框架CLIS（多任务协作学习与图像级监督），它利用图像级监督，以提高检测能力的多任务协作的方式。具体来说，在我们的框架中有一个目标检测任务（由实例分类任务和定位任务组成）和一个图像分类任务，负责利用这两种类型的监督。通过三个关键设计来协同训练不同的任务：（1）任务专用子网络，它学习不同任务的特定表示，而没有特征纠缠。(2)用于图像分类任务的连体子网络，其与实例分类任务共享其知识，从而导致检测器的特征富集。(3)一种对比学习规则化，保持表示的一致性，弥合不同监督的特征差距。在具有挑战性的LVIS数据集上进行了广泛的实验。没有复杂的损失工程，CLIS实现了31.1的整体AP，尾部类别提高了10.1点，建立了一个新的最先进的。代码将在https://github.com/waveboo/CLIS。
2022-10-11 cs.CV
Mutual Exclusive Modulator for Long-Tailed Recognition
University of Science and Technology of China（中国科学技术大学）；Australian National University（澳大利亚国立大学）；SenseTime Research（商汤科技研究院）
本文针对长尾识别中训练样本极度不平衡的问题，提出将类别按样本量分为多、中、少三组分别预测，并设计互斥调制器估计样本所属组别概率作为先验信息指导分类，在多个长尾数据集上取得有竞争力的性能。
2023-04-11 cs.CV
Group-wise Supervision with Focal-Dice Loss for Long-Tailed Indoor Semantic Occupancy Prediction
College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）；Guangdong Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室）
针对室内语义占用预测的长尾类别瓶颈，提出Group-UFD Occ方法，通过分组策略与UFD损失优化，在EmbodiedScan数据集上较基线实现11.38%相对提升，长尾类别精度显著提高。
2026-08-03 cs.CV
The Devil is in Fine-tuning and Long-tailed Problems:A New Benchmark for Scene Text Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；VCIP & TMCC & DISSec, College of Computer Science, Nankai University（南开大学计算机学院）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）
该研究揭示场景文本检测学术性能与实际表现差距的两大成因：微调差距与文本长尾分布，提出联合数据集学习协议缓解微调差距，构建长尾基准LTB并推出基于自监督的强基线方法MAEDet。
2025-05-21 cs.CV
ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot
University of Washington（华盛顿大学）
单阶段长尾识别方法以"跷跷板"方式提高整体性能，即，要么牺牲头部的准确性以获得更好的尾部分类，要么将头部的准确性提高得更高但忽略尾部。现有的算法通过多阶段的训练过程绕过这种权衡：在不平衡集上进行预训练，在平衡集上进行微调。虽然实现了有前途的性能，但它们不仅对预训练模型的泛化敏感，而且不容易集成到其他计算机视觉任务中，如检测和分割，其中单独的分类器预训练是不适用的。在本文中，我们提出了一个单阶段的长尾识别计划，盟友互补专家（ACE），其中专家是最有知识的专家在一个子集，占主导地位的培训，并补充其他专家在较少看到的类别，而不会受到干扰，它从来没有见过。我们设计了一个分布自适应优化器来调整每个专家的学习速度，以避免过度拟合。在没有特殊功能的情况下，vanilla ACE在CIFAR10-LT、CIFAR100-LT、ImageNet-LT和iNaturalist数据集上的性能比当前的单阶段SOTA方法高出3 - 10%。它也被证明是第一个打破“跷跷板”的权衡，同时提高多数和少数类别的准确性，只有一个阶段。代码和训练模型在www.example.com。
2021-08-05 cs.CV
Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach
Shanghai Jiao Tong University（上海交通大学）
深度神经网络仍然在长尾图像数据集上苦苦挣扎，原因之一是跨类别的训练数据的不平衡导致训练模型参数的不平衡。基于经验发现，训练的分类器在头类中产生更大的权重规范，我们建议通过夹角重新制定识别概率，而无需重新平衡分类器权重。具体来说，我们计算数据特征和类分类器权重之间的角度，以获得基于角度的预测结果。受到预测形式重构的性能改进和广泛使用的两阶段学习框架的出色性能的启发，我们探索了这种角度预测的不同属性，并提出了新的模块来提高框架中不同组件的性能。我们的方法是能够获得最好的性能之间的同行的方法没有预先训练CIFAR 10/100-LT和ImageNet-LT。源代码将公开。
2022-12-03 cs.CV
Towards Realistic Long-tailed Semi-supervised Learning in an Open World
School of Computer Science, Peking University（北京大学计算机学院）；University of Macau（澳门大学）
针对开放世界长尾半监督学习，提出更现实的ROLSSL设置，并采用双阶段事后逻辑调整方法，动态估计未标记数据分布以缓解类别偏差，在CIFAR100和ImageNet100上性能提升高达50.1%。
2024-05-23 cs.AI cs.CV
Balancing Logit Variation for Long-tailed Semantic Segmentation
SenseTime Research（商汤科技研究院）；Shanghai Jiao Tong University（上海交通大学）；CUHK（香港中文大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对语义分割的长尾分布导致尾部类特征被挤压的问题，本文在训练时按类别规模向预测 logit 引入可丢弃变异，以平衡特征区域，并作为插件提升多种 SOTA 方法性能。
2023-06-03 cs.CV
Input-Output Balanced Framework for Long-tailed LiDAR Semantic Segmentation
ShanghaiTech University（上海科技大学）；Chinese University of Hong Kong（香港中文大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
对自动驾驶汽车进行全面、全面的场景理解至关重要，其中LiDAR语义分割起着不可或缺的作用。然而，大多数现有的方法集中在网络的设计，而忽略了固有的困难，不平衡的数据分布在现实的数据集（也称为长尾分布），这缩小了国家的最先进的方法的能力。在本文中，我们提出了一个投入产出平衡的框架来处理长尾分布的问题。具体而言，在输入空间中，我们从网格模型中合成这些尾实例，很好地模拟了LiDAR扫描的位置和密度分布，增强了输入数据的平衡性，提高了数据的多样性。对于输出空间，提出了一种基于形状和实例数量对不同类别进行分组的多头块，避免了特征学习过程中对主导类别的有偏表示。我们在两个大规模数据集SemanticKITTI和nuScenes上评估了所提出的模型，最先进的结果证明了其有效性。提出的新模块也可以作为一个即插即用，我们将它们应用于各种骨干和数据集，显示出良好的泛化能力。
2021-03-26 cs.CV
LLMs-based Augmentation for Domain Adaptation in Long-tailed Food Datasets
School of Computing and Information Systems（计算与信息系统学院）
本文提出基于大语言模型的框架，用于解决长尾食品数据集中的领域适应问题，通过生成食品标题和配料并投影到共享嵌入空间以提升识别性能。
2025-11-20 cs.CV
Detecting Human-Object Interaction via Fabricated Compositional Learning
The University of Sydney（悉尼大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shenzhen Technology University（深圳技术大学）
人-物交互（HOI）检测是从图像/视频中推断出人与物体之间的关系，是高层次场景理解的一项基本任务。然而，HOI检测通常受到与物体相互作用的开放长尾性质的影响，而人类具有非常强大的成分感知能力来认知罕见或不可见的HOI样本。受此启发，我们设计了一种新的HOI组合学习框架，称为装配组合学习（FCL），以解决开放长尾HOI检测的问题。具体来说，我们引入对象构造器来生成有效的对象表示，然后将动词和构造的对象组合起来以组成新的HOI样本。使用所提出的对象制造器，我们能够为罕见和不可见的类别生成大规模的HOI样本，以减轻HOI检测中的开放长尾问题。在最流行的HOI检测数据集HICO-DET上进行的大量实验证明了所提出的方法对不平衡HOI检测的有效性，并显着提高了罕见和不可见HOI类别的最新性能。代码可在https://github.com/zhihou7/HOI-CL上获得。
2021-03-25 cs.CV
Deep Long-Tailed Learning: A Survey
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）；SEA（冬海集团）
本文系统综述了深度长尾学习的最新进展，将现有方法归纳为类别再平衡、信息增强和模块改进三类，并通过提出的相对准确率指标实证分析代表性方法，最后展望了重要应用与未来研究方向。
2023-04-15 cs.CV
Rectify the Regression Bias in Long-Tailed Object Detection
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对长尾目标检测中被忽略的回归偏差问题，提出类别无关分支、聚类头、合并头三种解决方案，在LVIS等数据集上取得SOTA性能，是该方向的首次探索。
2024-01-31 cs.CV
Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition
Sungkyunkwan University（成均馆大学）
现实世界中的视频量急剧增加，主题非常多样化和新兴，自然形成了长尾视频分布，这突出了视频长尾识别（VLTR）的需求。在这项工作中，我们总结了VLTR的挑战，并探讨如何克服它们。这些挑战是：（1）为高质量特征重新训练整个模型是不切实际的，（2）获取逐帧标签需要大量成本，以及（3）长尾数据触发有偏训练。然而，大多数现有的VLTR工作都合理地利用了从与任务无关的预训练模型中提取的图像级特征，并通过视频级标签进行学习。因此，为了处理（1）与任务无关的特征和（2）视频级标签，我们引入了两个互补的可学习特征聚合器。每个聚合器中的可学习层将产生任务相关的表示，并且每个聚合器将片段知识组装成视频表示。然后，我们提出了面向少数群体的邻近扩展（MOVE），它明确地利用类频率来近似邻近分布，以减轻（3）有偏见的训练。通过结合这些解决方案，我们的方法在大规模VideoLT和综合诱导的不平衡MiniKinetics 200上实现了最先进的结果。借助ResNet-50的VideoLT功能，与之前的最先进方法相比，它在头部和尾部类上分别实现了18%和58%的相对改进。
2022-11-24 cs.CV
Learning with Free Object Segments for Long-Tailed Instance Segmentation
The Ohio State University（俄亥俄州立大学）
为复杂场景中的大量类构建实例分割模型的一个基本挑战是缺乏训练样本，特别是对于稀有对象。在本文中，我们探讨了增加训练样本而无需费力的数据汇集和注释的可能性。我们发现，根据两种见解，可以从以对象为中心的图像中免费获得大量实例片段：（i）以对象为中心的图像通常在简单背景中包含一个显着对象;（ii）来自同一类的对象通常具有相似的外观或与背景的相似对比度。出于这些见解，我们提出了一个简单的和可扩展的框架FreeSeg提取和利用这些“自由”的对象前景段，以促进模型训练长尾实例分割。具体地说，我们调查对象为中心的同类图像之间的相似性，提出候选段的前景实例，其次是一种新的排名段的质量。然后可以使用所得到的高质量对象片段来增强现有的长尾数据集，例如，通过将片段复制并粘贴到原始训练图像上。大量的实验表明，FreeSeg在强大的基线之上产生了实质性的改进，并在分割稀有对象类别方面达到了最先进的准确性。
2022-10-05 cs.CV
DropLoss for Long-Tail Instance Segmentation
National Tsing Hua University（台湾清华大学）；Virginia Tech（弗吉尼亚理工大学）；Aeolus Robotics
长尾类分布在目标检测和实例分割的实际应用中非常普遍。长尾实例分割中的先前工作通过减少错误预测稀有类别标签的模型的惩罚来解决稀有类别和频繁类别之间的损失的不平衡。我们证明了罕见的类别被正确的背景预测严重抑制，这降低了所有具有相同权重的前景类别的概率。由于罕见类别的相对较少，这导致了预测更频繁类别的不平衡。基于这一见解，我们开发了DropLoss --一种新的自适应损失，以补偿这种不平衡，而无需在罕见和常见类别之间进行权衡。有了这个损失，我们在LVIS数据集上显示了罕见，常见和常见类别的最先进的mAP。
2021-04-17 cs.CV
MosaicOS: A Simple and Effective Use of Object-Centric Images for Long-Tailed Object Detection
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；University of Southern California（南加州大学）
许多对象在复杂场景中出现得不够频繁（例如，起居室中的某些手提包）用于训练精确的对象检测器，但是经常被频繁地发现（例如，产品图片）。然而，这些以对象为中心的图像没有被有效地用于改进以场景为中心的图像中的目标检测。在本文中，我们提出了马赛克的对象为中心的图像场景为中心的图像（MosaicOS），一个简单而新颖的框架，是令人惊讶的有效解决长尾目标检测的挑战。我们的方法的关键是三重：（i）伪场景为中心的图像建设从对象为中心的图像，以减轻域差异，（ii）高质量的限界框填补使用对象为中心的图像的类标签，和（iii）一个多阶段的训练过程。在LVIS目标检测（和实例分割）方面，MosaicOS在稀有对象类别的平均精度方面相对提高了60%（和23%）。我们还表明，我们的框架可以兼容地使用与其他现有的方法，以实现更进一步的收益。我们的预训练模型可在https://github.com/czhang0528/MosaicOS/上公开获取。
2021-09-13 cs.CV
Shap-Mix: Shapley Value Guided Mixing for Long-Tailed Skeleton Based Action Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
针对长尾骨架动作识别，提出Shap-Mix方法，利用Shapley值引导的混合增强挖掘尾部类别代表性运动模式，在三个大规模数据集上显著提升性能。
2024-07-17 cs.CV
Improving Long-Tailed Object Detection with Balanced Group Softmax and Metric Learning
Univeristy of the Cumberlands（坎伯兰大学）
本文通过改进平衡分组Softmax和度量学习，提升长尾目标检测性能，达到新的mAP指标。
2025-09-02 cs.AI cs.CV cs.LG
Handling Supervision Scarcity in Chest X-ray Classification: Long-Tailed and Zero-Shot Learning
University of Technology, Vietnam（越南技术大学）；National University of Singapore（新加坡国立大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对胸部X光分类中极端长尾多标签分布和罕见/未见发现缺失标注的问题，提出不平衡感知多标签学习（任务1）和无需监督标签的零样本预测方法（任务2），在CXR-LT 2026挑战赛中取得领先性能。
2026-02-23 cs.CV
Synthetic Data Augmentation using Pre-trained Diffusion Models for Long-tailed Food Image Classification
Korea University（韩国大学）
本文提出一种两阶段合成数据增强框架，利用预训练扩散模型结合正负提示与组合采样策略，提升长尾食物图像分类的类内多样性与类间分离，并在两个基准数据集上取得领先的top-1准确率。
2025-06-02 cs.CV
Concept Drift and Long-Tailed Distribution in Fine-Grained Visual Categorization: Benchmark and Method
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Alibaba Group, DEEPROUTE.AI（阿里巴巴集团DEEPROUTE.AI）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linkoping University（林雪平大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对现实世界中概念漂移与长尾分布问题，构建CDLT基准数据集并提出特征重组框架，实验验证其有效性并揭示大型视觉-语言模型的局限。
2024-11-11 cs.CV
Fractal Calibration for long-tailed object detection
Imperial College London（帝国理工学院）；University of Liverpool（利物浦大学）
针对长尾目标检测中现有方法忽略图像空间类别分布的问题，提出无需训练的后校准方法FRACAL，利用分形维数调整logit实现双维度平衡，提升稀有类检测性能且泛化性良好。
2025-03-24 cs.CV
Pursuing Better Decision Boundaries for Long-Tailed Object Detection via Category Information Amount
Xidian University（西安电子科技大学）
本文提出类别信息量概念以更准确反映类别学习难度，并据此设计 IGAM 损失动态调整各类别决策空间，在长尾及非长尾目标检测数据集上均有效缓解了类别偏差。
2025-02-06 cs.AI cs.CV
Prior-Anchored Debiasing for Long-Tailed Multi-Organ Pathology Report Generation
City University of Hong Kong, Hong Kong SAR（香港城市大学）；University of Nottingham, United Kingdom（诺丁汉大学）；University of Massachusetts Boston, United States（马萨诸塞大学波士顿分校）
针对多器官病理报告生成中视觉表示和文本解码的长尾偏差，提出先验锚定框架PriOrGen，通过视觉原型锚定瓶颈和元报告锚定库分别缓解两类偏差，在长尾数据集上优于现有方法。
2026-07-03 cs.CV
Uniformly Distributed Category Prototype-Guided Vision-Language Framework for Long-Tail Recognition
Alibaba group（阿里巴巴集团）；Hong Kong University of Science and Technology（香港科技大学）；Zhejiang University（浙江大学）
针对长尾识别中数据分布不均导致特征空间偏差、决策边界模糊的问题，提出均匀类别原型引导的视觉语言框架，结合原型匹配、文本过滤增强及原型引导分类器，实现SOTA性能。
2023-11-06 cs.CV
