Investigate the Essence of Long-Tailed Recognition from a Unified Perspective
随着数据规模的增长，深度识别模型通常会受到长尾数据分布的影响，这是由于类别之间的样本数量严重不平衡。实际上，真实世界数据通常在不同类别之间表现出某种相似性关系（例如，鸽子和麻雀），在这项工作中称为类别相似性。当具有相似外观的这些类别之间出现不平衡时，这就更加困难了。然而，现有的解决方案主要集中在样本数量，以重新平衡数据分布。在这项工作中，我们从统一的角度系统地研究了长尾问题的本质。具体来说，我们证明了长尾识别受到样本数量和类别相似性的影响。直觉上，我们首先用一个玩具的例子，表明样本数不是唯一的影响因素长尾识别的性能下降。理论上，我们证明了（1）类别相似性作为一个不可避免的因素，也会通过相似样本影响长尾分布下的模型学习，（2）使用更具区分性的表示方法（例如，自监督学习）进行相似性降低，可以进一步减轻分类器偏差，同时大大提高性能。在几个长尾数据集上的实验验证了理论分析的合理性，并表明在现有的SOTA基础上，通过相似性约简可以进一步提高性能。我们的研究突出了长尾问题背后的本质，并为未来的工作提出了几个可行的方向。
2022-08-17 cs.CV
Long-tailed Recognition by Learning from Latent Categories
Nanyang Technological University（南洋理工大学）
在这项工作中，我们解决了具有挑战性的任务长尾图像识别。以往的长尾识别方法通常关注于尾部类的数据增强或重新平衡策略，以在模型训练过程中给予尾部类更多关注。然而，由于尾类的训练图像有限，尾类图像的多样性仍然受到限制，这导致特征表示较差。在这项工作中，我们假设头部和尾部类中的共同潜在特征可以用于提供更好的特征表示。基于此，我们提出了一种基于潜在类别的长尾识别方法（LCReg）。具体来说，我们建议学习一组在头部和尾部类之间共享的类不可知的潜在特征。然后，我们隐式地丰富训练样本的多样性，通过应用语义数据增强的潜在特征。在五个长尾图像识别数据集上的广泛实验表明，我们提出的LCReg能够显着优于以前的方法，并实现最先进的结果。
2022-09-12 cs.CV
Semi-supervised Long-tailed Recognition using Alternate Sampling
UC, San Diego（加州大学圣迭戈分校）；Wormpex AI Research（Wormpex AI 研究院）
长尾识别面临的主要挑战是数据分布不平衡和尾类样本稀缺。虽然已经提出了一些技术来实现更平衡的训练损失，并改善尾类数据与合成样本的变化，但我们利用现成的未标记数据来提高识别准确性。这个想法导致了一个新的识别设置，即半监督长尾识别。我们认为，这种设置更好地类似于现实世界的数据汇集和注释过程，因此可以帮助缩小差距，以现实世界的情况。为了解决半监督长尾识别问题，我们提出了一个交替采样框架，结合了这两个研究领域中成功方法的直觉。分类器和特征嵌入分别学习并迭代更新。采用类平衡采样策略对未标记数据进行分类器的训练，使分类器的训练不受伪标记质量的影响。引入了一致性损失，以限制未标记数据的影响，同时利用它们来更新特征嵌入。我们在两个数据集上证明了与其他竞争方法相比的显着准确性提高。
2021-05-01 cs.CV
Self-Supervised Aggregation of Diverse Experts for Test-Agnostic Long-Tailed Recognition
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；ByteDance（字节跳动）
现有的长尾识别方法，旨在从长尾数据中训练类平衡模型，通常假设模型将在均匀测试类分布上进行评估。然而，实际的测试类分布经常违反这个假设（例如，或者是长尾的或者甚至是反长尾的），这可能导致现有方法在实际应用中失败。在本文中，我们研究了一个更实际但具有挑战性的任务，称为测试不可知的长尾识别，其中训练类分布是长尾的，而测试类分布是不可知的，不一定是均匀的。除了类不平衡的问题之外，该任务还提出了另一个挑战：训练数据和测试数据之间的类分布偏移是未知的。为了解决这个问题，我们提出了一种新的方法，称为自监督聚合的不同的专家，它包括两个策略：（i）一个新的技能多样化的专家学习策略，训练多个专家从一个单一的和固定的长尾数据集，分别处理不同的类分布;（ii）一种新的测试时专家聚合策略，其利用自我监督来聚合学习到的多个专家以处理未知的测试类分布。我们从理论上证明了我们的自监督策略具有可证明的能力来模拟测试不可知的类分布。有前途的实证结果表明，我们的方法对香草和测试不可知的长尾识别的有效性。代码可在\url{https://github.com/Vanint/SADE-AgnosticLT}上获得。
2022-10-27 cs.CV
Supervised Contrastive Learning on Blended Images for Long-tailed Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
真实世界的数据通常具有长尾分布，其中每个类的样本数量在训练类中不相等。不平衡的数据形成有偏的特征空间，这恶化了识别模型的性能。在本文中，我们提出了一种新的长尾识别方法来平衡潜在的特征空间。首先，我们引入了一种基于MixUp的数据增强技术来减少长尾数据的偏差。此外，我们提出了一种新的监督对比学习方法，命名为监督对比学习混合类（SMC），混合图像。SMC根据原始图像的类别标签创建一组阳性图像。阳性的组合比率对训练损失中的阳性进行加权。基于类混合损失的SMC探索了更多样的数据空间，增强了模型的泛化能力。在各种基准测试上的大量实验表明了我们的一阶段训练方法的有效性。
2022-11-22 cs.CV
Self Supervision to Distillation for Long-Tailed Visual Recognition
Nanjing University（南京大学）
深度学习在大规模平衡数据集上的视觉识别方面取得了显着进展，但在现实世界的长尾数据上仍然表现不佳。以往的方法通常采用类再平衡训练策略来有效缓解不平衡问题，但可能存在过拟合尾类的风险。最近的解耦方法通过使用多阶段训练方案克服了过拟合问题，然而，它仍然无法在特征学习阶段捕获尾类信息。在本文中，我们表明，软标签可以作为一个强大的解决方案，将标签相关到一个多阶段的训练计划长尾识别。软标签所体现的类之间的内在联系，有助于长尾识别，将知识从头部转移到尾部类。具体来说，我们提出了一个概念上简单但特别有效的多阶段训练计划，称为自监督蒸馏（SSD）。该方案由两部分组成。首先，我们介绍了一个自蒸馏框架的长尾识别，它可以自动挖掘标签关系。其次，提出了一种新的自监督引导的蒸馏标签生成模块。提取的标签集成了标签和数据域的信息，可以有效地建模长尾分布。我们进行了广泛的实验，我们的方法在三个长尾识别基准测试中取得了最先进的结果：ImageNet-LT，CIFAR 100-LT和iNaturalist 2018。我们的SSD在各种数据集上从$2.7\%$到$4.5\%$都优于强大的LWS基线。该代码可在https://github.com/MCG-NJU/SSD-LT上获得。
2021-09-09 cs.CV
Breadcrumbs: Adversarial Class-Balanced Sampling for Long-tailed Recognition
UC, San Diego（加州大学圣迭戈分校）；Wormpex AI Research（Wormpex AI 研究院）
长尾识别的问题，每类的例子的数量是高度不平衡的，被认为是。虽然使用类平衡采样的训练已被证明对这个问题有效，但已知过拟合到Few-Shot类。据推测，这是由于重复采样的例子，可以解决的特征空间增强。提出了一种新的特征增强策略EMANATE，该策略基于训练过程中跨时期的特征回溯。结果表明，与类平衡抽样不同，这是一种对抗性增强策略。然后引入一个新的采样过程，面包屑，实现对抗类平衡采样，而无需额外的计算。在三个流行的长尾识别数据集上的实验表明，面包屑训练产生的分类器优于现有的问题解决方案。
2021-05-01 cs.CV
Distilling Virtual Examples for Long-tailed Recognition
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机科学与技术系（注：此处原机构为南京大学，具体实验室为 Novel Software Technology 重点实验室，按要求提取到大学级别））；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与技术学院）
本文从知识蒸馏的角度出发，提出了一种虚拟样本蒸馏（DiVE）方法来解决长尾视觉识别问题。具体来说，通过将教师模型的预测视为虚拟示例，我们证明了从这些虚拟示例中提取等价于在某些约束下的标签分布学习。我们表明，当虚拟示例分布变得比原始输入分布更平坦时，代表性不足的尾部类将得到显着改善，这在长尾识别中至关重要。所提出的DiVE方法可以显式地调整虚拟示例分布，使其变得平坦。在三个基准数据集（包括大规模iNaturalist数据集）上进行的广泛实验证明，所提出的DiVE方法可以显着优于最先进的方法。此外，额外的分析和实验验证了虚拟示例的解释，并证明了定制设计的有效性，在潜水长尾问题。
2021-09-19 cs.CV
LCReg: Long-Tailed Image Classification with Latent Categories based Recognition
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
针对长尾图像识别中尾部类别样本少导致特征表示不佳的问题，提出LCReg方法，通过学习头部和尾部类别共享的类别无关潜在特征并进行语义数据增强，显著提升了基线性能。
2023-09-13 cs.CV
A Survey on Long-Tailed Visual Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
对数据的严重依赖是目前限制深度学习发展的主要原因之一。数据质量直接决定了深度学习模型的效果，长尾分布是影响数据质量的因素之一。由于自然界中普遍存在幂律，长尾现象普遍存在。在这种情况下，深度学习模型的性能通常由头部类主导，而尾部类的学习严重不足。为了使所有的类都能充分地学习，许多研究者对长尾问题进行了研究并初步解决了这一问题。本文针对长尾数据分布带来的问题，梳理了具有代表性的长尾视觉识别数据集，并对一些主流的长尾研究进行了总结。具体而言，我们从表示学习的角度将这些研究归纳为十类，并概述了每类研究的亮点和局限性。此外，我们还研究了四个定量的度量方法来评估数据的不平衡性，并建议使用基尼系数来评估数据集的长尾性。基于基尼系数，我们定量研究了20个广泛使用的和大规模的视觉数据集，在过去的十年中，发现长尾现象是普遍存在的，并没有得到充分的研究。最后，我们给出了长尾学习未来发展的几个方向，为读者提供更多的思路。
2022-05-27 cs.CV
A Simple Long-Tailed Recognition Baseline via Vision-Language Model
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
视觉世界自然地呈现出开放类的长尾分布，这对现代视觉系统提出了巨大的挑战。现有的方法要么执行类重新平衡策略，或直接改善网络模块来解决这个问题。然而，他们仍然训练模型与一组有限的预定义的标签，限制他们的监督信息和限制他们的可移植性，以新的实例。大规模对比视觉语言预训练的最新进展为视觉识别提供了一条新的途径。通过开放词汇监督，预训练的对比视觉语言模型学习强大的多模态表示，有望处理数据不足和不可见的概念。通过计算视觉和文本输入之间的语义相似度，视觉识别转换为视觉语言匹配问题。受此启发，我们建议BALLAD利用对比视觉语言模型进行长尾识别。我们首先通过特定长尾目标数据集上的对比学习继续预训练视觉语言主干。之后，我们冻结主干，并进一步采用额外的适配器层，以增强尾类在使用重采样策略构建的平衡训练样本上的表示。广泛的实验已经进行了三个流行的长尾识别基准。因此，我们简单而有效的方法设置了新的最先进的性能，并以较大的利润率超过竞争对手的基线。代码发布于https://github.com/gaopengcuhk/BALLAD。
2021-11-29 cs.CV
Balancing Domain Experts for Long-Tailed Camera-Trap Recognition
KAIST（韩国科学技术院）
相机陷阱图像中的标签分布是高度不平衡和长尾的，导致神经网络倾向于偏向频繁出现的头类。虽然长尾学习已经被广泛探索以解决数据不平衡问题，但很少有研究考虑相机陷阱特征，例如多域和多帧设置。在这里，我们提出了一个统一的框架，并介绍了两个数据集的长尾相机陷阱识别。我们首先设计领域专家，每个专家学习平衡由数据不平衡引起的不完善的决策边界，并相互补充以生成领域平衡的决策边界。此外，我们提出了一个流的一致性损失，专注于移动对象，期望多帧的类激活地图匹配的流与输入图像的光流地图。此外，两个长尾相机陷阱数据集，WCS-LT和DMZ-LT，介绍了验证我们的方法。实验结果表明，我们的框架的有效性，并提出的方法优于以往的方法对隐性域样本。
2022-02-16 cs.CV
Rethink Long-tailed Recognition with Vision Transformers
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Shenzhen Peng Cheng Lab（深圳鹏城实验室）
本文重新审视基于视觉Transformer的长尾识别，发现ViT在长尾数据上难以训练但可通过无监督学习获得泛化特征，并提出预测分布校准（PDC）度量模型的预测偏好，实验验证其能精确反映校准情况。
2023-04-17 cs.CV
VL-LTR: Learning Class-wise Visual-Linguistic Representation for Long-Tailed Visual Recognition
Chinese University of Hong Kong（香港中文大学）；SenseTime（商汤科技）；Shanghai AI Laboratory（上海人工智能实验室）
基于深度学习的模型在处理现实世界中的长尾数据时会遇到挑战。现有的解决方案通常采用一些平衡策略或迁移学习来处理基于图像模态的类不平衡问题。在这项工作中，我们提出了一个视觉语言长尾识别框架，称为VL-LTR，并进行实证研究的好处，引入文本模态长尾识别（LTR）。与现有方法相比，所提出的VL-LTR具有以下优点。(1)我们的方法不仅可以从图像中学习视觉表示，而且还可以从从互联网上收集的噪声类级文本描述中学习相应的语言表示;（2）我们的方法可以有效地使用学习的视觉语言表示来提高视觉识别性能，特别是对于图像样本较少的类。我们还进行了广泛的实验，并在广泛使用的LTR基准测试中设置了新的最先进的性能。值得注意的是，我们的方法在ImageNet-LT上实现了77.2%的整体准确率，比之前的最佳方法明显高出17个点以上，并且接近完整ImageNet上的普遍性能训练。代码可在https://github.com/ChangyaoTian/VL-LTR上获得。
2022-07-19 cs.CV
Feature-Balanced Loss for Long-Tailed Visual Recognition
Hong Kong Baptist University（香港浸会大学）
针对长尾数据导致模型偏差的问题，提出特征平衡损失，通过给予尾部类别更强刺激增大其特征范数，并结合课程学习提升泛化能力，在多个基准上取得优于现有方法的性能。
2023-05-18 cs.CV
Memory-based Jitter: Improving Visual Recognition on Long-tailed Data with Diversity In Memory
Jilin University（吉林大学）；Tsinghua University（清华大学）；Zhe Jiang University（浙江大学）；Megvii Inc.（旷视科技有限公司）
本文考虑长尾数据的深度视觉识别。一般来说，我们考虑两个应用场景，\ie，深度分类和深度度量学习。在长尾数据分布下，多数类（\ie，尾类）只占用相对较少的样本，并且容易缺乏类内多样性。一个激进的解决方案是增加具有更高多样性的尾类。为此，我们介绍了一种简单而可靠的方法命名为基于记忆的抖动（MBJ）。我们观察到，在训练过程中，深度模型在每次迭代后都会不断改变其参数，从而产生\emph{weight jitters}现象。因此，给定相同的图像作为输入，模型的两个历史版本在深度嵌入空间中生成两个不同的特征，从而产生\emph{feature jitters}。使用存储体，我们在多个训练迭代中收集这些（模型或特征）抖动，并获得所谓的基于存储器的抖动。累积的抖动增强了尾类的类内多样性，从而提高了长尾视觉识别。经过轻微修改，MBJ适用于两个基本的视觉识别任务，\emph{i.e.}，深度图像分类和深度度量学习（长尾数据）。在五个长尾分类基准测试和两个深度度量学习基准测试上进行的大量实验证明了显著的改进。此外，在这两项任务中，所实现的性能与最先进的水平相当。
2021-07-06 cs.CV
Class-Aware Universum Inspired Re-Balance Learning for Long-Tailed Recognition
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对少数类的数据增强是长尾识别的一种有效策略，因此发展了大量的方法。虽然这些方法都保证了样本数量的平衡，但增强样本的质量并不总是令人满意的识别，容易出现过拟合，缺乏多样性，语义漂移等问题。针对这些问题，我们提出了类感知的Universum启发再平衡学习（CaUIRL）用于长尾识别，这赋予了Universum从样本数量和质量两个方面重新平衡单个少数类的类意识能力。特别是，我们从理论上证明了CaUIRL学习的分类器是一致的，从贝叶斯的角度来看，在平衡条件下学习。此外，我们进一步开发了一种高阶混合方法，该方法可以自动生成类感知的Universum（CaU）数据，而无需借助任何外部数据。与传统的Universum不同，这种生成的Universum还考虑了域相似性，类可分性和样本多样性。在基准数据集上的大量实验表明，该方法具有令人惊讶的优势，特别是少数类的top1准确率比最先进的方法提高了1.9%-6%。
2022-08-11 cs.CV
Domain Balancing: Face Recognition on Long-Tailed Domains
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tianjin University（天津大学）
长尾问题一直是人脸识别中的一个重要课题。然而，现有的方法只集中在类的长尾分布。随后，我们致力于长尾域分布问题，这是指这样一个事实，即少数域频繁出现，而其他域远远不存在。该问题的关键挑战是域标签太复杂（与种族，年龄，姿势，光照等有关）。并且在实际应用中不可访问。在本文中，我们提出了一种新的域平衡（DB）机制来处理这个问题。具体来说，我们首先提出了一个域频率指示（DFI）来判断样本是来自头部域还是尾部域。其次，我们制定了一个轻量级的剩余平衡映射（RBM）块，通过调整网络根据DFI平衡域分布。最后，我们在损失函数中提出了一个域平衡余量（DBM）来进一步优化尾域的特征空间，以提高泛化能力。大量的分析和实验结果表明，该方法有效地提高了泛化能力，取得了优异的性能。
2020-03-30 cs.CV
Decoupling Representation and Classifier for Long-Tailed Recognition
Facebook AI（脸书人工智能研究院）；National University of Singapore（新加坡国立大学）
视觉世界的长尾分布对基于深度学习的分类模型如何处理类不平衡问题提出了巨大挑战。现有的解决方案通常涉及类平衡策略，例如，通过损失重加权、数据重采样或从头类到尾类的迁移学习，但是它们中的大多数坚持联合学习表示和分类器的方案。在这项工作中，我们将学习过程解耦为表示学习和分类，并系统地探讨了不同的平衡策略如何影响它们的长尾识别。调查结果令人惊讶：（1）数据不平衡可能不是学习高质量表示的问题;（2）使用最简单的实例平衡（自然）采样学习的表示，也可以通过仅调整分类器来实现强大的长尾识别能力。我们进行了广泛的实验，并在ImageNet-LT，Places-LT和iNaturalist等常见长尾基准上设置了新的最先进的性能，表明通过使用简化表示和分类的直接方法，可以超越精心设计的损失，采样策略，甚至是具有内存的复杂模块。我们的代码可在www.example.com上获得。
2020-02-19 cs.CV
SAU: A Dual-Branch Network to Enhance Long-Tailed Recognition via Generative Models
The University of Sydney（悉尼大学）；School of Computer Science（计算机学院）
提出双分支网络SAU，利用生成模型产生的合成数据补充长尾数据集，通过合成不感知分支分类与合成感知分支提升鲁棒性，显著提升长尾图像识别准确率。
2024-08-29 cs.CV
DAF:re: A Challenging, Crowd-Sourced, Large-Scale, Long-Tailed Dataset For Anime Character Recognition
National Chiao Tung University（国立交通大学）
在这项工作中，我们解决了具有挑战性的问题，动漫字符识别。动漫，指的是日本国内制作的动画以及从中衍生或受到启发的作品。为此，我们介绍了DanbooruAnimeFaces：revised，这是一个大规模、众包、长尾的数据集，包含近500 K的图像，分布在3000多个类中。此外，我们使用各种分类模型，包括基于CNN的ResNets和基于自我注意力的视觉Transformer（ViT），对mathematical：re和类似的数据集进行实验。我们的结果为ViT模型在与上游预训练所用数据集截然不同的领域数据集上的泛化和迁移学习属性提供了新的见解，包括训练中批次和图像大小的影响。此外，我们分享我们的数据集，源代码，预训练的检查点和结果，作为Animesion，第一个大规模动漫角色识别的端到端框架：https://github.com/arkel23/animesion
2021-01-21 cs.CV
Aligned Contrastive Loss for Long-Tailed Recognition
Panasonic R&D Center Singapore（松下新加坡研发中心）；Nanyang Technological University（南洋理工大学）；Panasonic Connect Co., Ltd. R&D Division（松下连接有限公司研发部）
本文提出对齐对比学习（ACL）算法，通过理论分析发现监督对比学习中的梯度冲突和正负样本梯度不平衡问题，并在多个长尾数据集上验证其达到新的最先进性能。
2025-06-01 cs.CV
Meta Feature Modulator for Long-tailed Recognition
当训练数据遭受类别不平衡问题时，深度神经网络通常会显著退化。现有办法，例如，重新采样和重新加权通常通过重新排列训练数据的标签分布来训练网络，以很好地适应隐式平衡标签分布来解决这个问题。然而，由于对训练数据样本内/样本间信息利用不足，大多数方法阻碍了学习特征的代表能力。为了解决这个问题，我们提出了Meta特征调制器（MFM），一个元学习框架，从表示学习的角度来建模长尾训练数据和平衡Meta数据之间的差异。具体地说，我们采用可学习的超参数（称为调制参数）自适应缩放和移动的中间特征的分类网络，和调制参数一起优化的分类网络参数的指导下，少量的平衡Meta数据。我们进一步设计了一个调制器网络来指导调制参数的生成，并且这样的元学习器可以很容易地适应于在其他长尾数据集上训练分类网络。在基准视觉数据集上进行的大量实验证实了我们的方法在长尾识别任务上的优越性，超过了其他最先进的方法。
2020-08-08 cs.CV
Solutions for Fine-grained and Long-tailed Snake Species Recognition in SnakeCLEF 2022
Ant Group（蚂蚁集团）
自动蛇种识别非常重要，因为它具有巨大的潜力，可以帮助降低蛇咬伤造成的死亡和残疾。我们在SnakeCLEF 2022中介绍了我们的解决方案，用于在重长尾类分布上进行细粒度蛇物种识别。首先，一个网络架构的设计，以提取和融合功能，从多个模态，即从视觉模态和语言模态的地理位置信息的照片。然后，基于logit调整的方法进行了研究，以减轻严重的类不平衡所造成的影响。其次，提出了一种监督学习和自监督学习相结合的方法，以充分利用数据集，包括标记的训练数据和未标记的测试数据。最后，后处理策略，如多尺度和多作物测试时间增加，位置过滤和模型集成，以提高性能。通过几种不同型号的合奏，在最终排行榜上获得了82.65%的私人评分，排名第三。
2022-07-04 cs.CV
Improving Calibration for Long-Tailed Recognition
Chinese University of Hong Kong（香港中文大学）；SmartMore
当训练数据集严重类别不平衡时，深度神经网络可能表现不佳。最近，两阶段方法解耦表示学习和分类器学习，以提高性能。但仍然有一个至关重要的问题，即校准错误。为了解决这个问题，我们设计了两种方法来提高这种情况下的校准和性能。由于类的预测概率分布与类实例的数量高度相关，我们提出了标签感知平滑来处理类的不同程度的过度自信，并改善分类器学习。对于这两个阶段之间的数据集偏差，由于不同的采样器，我们进一步提出了移位批量归一化的解耦框架。我们提出的方法在多个流行的长尾识别基准数据集上创造了新的记录，包括CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、Places-LT和iNaturalist 2018。代码将在https://github.com/Jia-Research-Lab/MiSLAS上提供。
2021-04-01 cs.CV
GistNet: a Geometric Structure Transfer Network for Long-Tailed Recognition
UC, San Diego（加州大学圣迭戈分校）；Wormpex AI Research
长尾识别的问题，每类的例子的数量是高度不平衡的，被认为是。假设可以利用标准分类器训练对流行类过拟合的众所周知的趋势来进行有效的迁移学习。学习算法不应该消除这种过拟合，例如通过采用流行的类平衡采样方法，而是应该利用这种过拟合来将几何信息从流行类转移到低拍摄类。一个新的分类器架构，GistNet，提出了支持这一目标，使用分类器参数的星座编码类几何。然后提出了一种新的学习算法的几何结构转移（GIST），与诉诸的损失函数，结合类平衡和随机抽样的组合，以保证，而过拟合的流行类是限制几何参数，它是利用转移类几何从流行的Few-Shot类。这使得Few-Shot类能够更好地泛化，而不需要手动指定类权重，甚至不需要显式地将类分组为不同的类型。在两个流行的长尾识别数据集上的实验表明，GistNet优于现有的解决方案。
2021-05-01 cs.CV
Deep Long-Tailed Learning: A Survey
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）；SEA（冬海集团）
本文系统综述了深度长尾学习的最新进展，将现有方法归纳为类别再平衡、信息增强和模块改进三类，并通过提出的相对准确率指标实证分析代表性方法，最后展望了重要应用与未来研究方向。
2023-04-15 cs.CV
Calibrating Class Activation Maps for Long-Tailed Visual Recognition
Nanyang Technological University（南洋理工大学）；South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）
现实世界的视觉识别问题往往呈现长尾分布，不同类别的学习数据量表现出显着的不平衡。在这样的数据分布上学习的标准分类模型通常会对头部类进行有偏见的预测，而对尾部类的预测则很差。在本文中，我们提出了两种有效的CNN修改，以改善长尾分布的网络学习。首先，我们提出了一个类激活图校准（CAMC）模块，以改善网络分类器的学习和预测，通过执行基于重要图像区域的网络预测。所提出的CAMC模块突出了跨数据的相关图像区域，并加强了这些区域中的表示，以获得更好的全局表示用于分类。此外，我们研究了在长尾问题中使用归一化分类器进行表示学习。我们的实证研究表明，通过简单地缩放的分类器的输出与适当的标量，我们可以有效地提高分类精度的尾类，而不会失去头类的准确性。我们进行了广泛的实验来验证我们设计的有效性，并在五个基准测试中设置了新的最先进的性能，包括ImageNet-LT，Places-LT，iNaturalist 2018，CIFAR 10-LT和CIFAR 100-LT。
2021-08-29 cs.CV
Mix from Failure: Confusion-Pairing Mixup for Long-Tailed Recognition
UCSB（加州大学圣巴巴拉分校）；Seoul National University（首尔大学）；Google（谷歌公司）
本文提出混淆配对混合（CP-Mix）方法，通过实时估计模型混淆分布并增强混淆对样本来提升少数类多样性，从而缓解长尾图像识别中的数据不足和决策边界偏差问题。
2025-03-04 cs.CV
ResLT: Residual Learning for Long-tailed Recognition
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
深度学习算法面临着长尾数据分布的巨大挑战，然而，这在现实世界中是非常常见的情况。以前的方法从输入空间（以不同的频率重新采样类）或损失空间（以不同的权重重新加权类）的方面来解决这个问题，在训练期间遭受严重的过拟合到尾类或硬优化。为了缓解这些问题，我们提出了一个更基本的长尾识别视角，即，从参数空间的角度出发，对低频类保持比容量。从这个角度来看，平凡的解决方案分别为头类、中间类和尾类使用不同的分支，然后将它们的输出相加，因为最终结果是不可行的。相反，我们设计了有效的残差融合机制-一个主要分支优化识别所有类别的图像，另外两个残差分支逐渐融合和优化，分别增强中等+尾部类别和尾部类别的图像。然后通过添加快捷方式将分支聚合为最终结果。我们在几个基准上测试我们的方法，即，CIFAR-10、CIFAR-100、Places、ImageNet和iNaturalist 2018的长尾版本。实验结果表明了该方法的有效性。我们的代码可在https://github.com/jiequancui/ResLT上获得。
2022-05-12 cs.CV
Targeted Supervised Contrastive Learning for Long-Tailed Recognition
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
现实世界的数据往往表现出严重的类不平衡的长尾分布，其中多数类可以主导训练过程，并改变少数类的决策边界。最近，研究人员研究了监督对比学习用于长尾识别的潜力，并证明它提供了强大的性能增益。在本文中，我们表明，虽然监督对比学习可以帮助提高性能，过去的基线遭受不平衡的数据分布带来的均匀性差。这种差的均匀性表现在来自少数类的样本在特征空间中具有差的可分性。为了解决这个问题，我们提出了有针对性的监督对比学习（TSC），它提高了超球体上的特征分布的均匀性。TSC首先生成一组均匀分布在超球面上的目标。然后在训练过程中使不同类别的特征收敛到这些不同且均匀分布的目标。这迫使所有类（包括少数类）在特征空间中保持均匀分布，改善类边界，并提供更好的泛化，即使在存在长尾数据的情况下。在多个数据集上的实验表明，TSC在长尾识别任务上达到了最先进的性能。
2022-05-02 cs.CV
Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition
Airdoc LLC（鹰瞳科技）；Monash University（莫纳什大学）；Harbin Engineering University（哈尔滨工程大学）；The University of Sydney（悉尼大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
在现实世界中，医疗数据集通常表现出长尾数据分布（即，少数类占据了大部分数据，而大多数类很少有样本），这导致了具有挑战性的不平衡学习场景。例如，估计有超过40种不同类型的视网膜疾病，其发病率不同，然而超过30种以上的病症在全球患者队列中非常罕见，这导致基于深度学习的筛选模型的典型长尾学习问题。在这项研究中，我们提出了类子集学习，根据先验知识，如区域和表型信息将长尾数据划分为多个类子集。它强制模型专注于学习特定于子集的知识。更具体地说，有一些关系类，驻留在固定的视网膜区域，或一些共同的病理特征，观察到在大多数和少数条件。利用这些子集学习的教师模型，然后我们能够将多个教师模型提取成具有加权知识蒸馏损失的统一模型。该框架被证明是有效的长尾视网膜疾病识别任务。在两个不同数据集上的实验结果表明，我们的方法是灵活的，可以很容易地插入到许多其他国家的最先进的技术与显着的改进。
2021-04-22 cs.CV
Label-Occurrence-Balanced Mixup for Long-tailed Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Inner Mongolia Key Laboratory of Molecular Biology on Featured Plants（内蒙古特色植物分子生物学重点实验室）
Mixup是一种流行的数据增强方法，随后提出了许多变体。这些方法主要通过随机数据对及其对应的独热标签的凸组合来创建新的示例。然而，它们中的大多数坚持随机抽样和混合策略，而不考虑混合过程中标签出现的频率。当将mixup应用于长尾数据时，会出现标签抑制问题，其中每个类的标签出现频率不平衡，并且大多数新示例将完全或部分分配有头部标签。抑制效应可能进一步加剧数据不平衡的问题，并导致尾部类的性能较差。为了解决这个问题，我们提出了标签发生平衡混合来增加数据，同时保持每个类别的标签发生统计平衡。总之，我们采用两个独立的类平衡采样器来选择数据对并混合它们以产生新的数据。我们在几个长尾视觉和声音识别基准上测试我们的方法。实验结果表明，该方法显著提高了混合方法对不平衡数据的适应性，并取得了优于最先进的长尾学习方法的性能。
2021-10-11 cs.CV
Semantic Data Augmentation for Long-tailed Facial Expression Recognition
针对现实场景中面部表情识别因数据集长尾分布导致的挑战，本文提出一种基于VAE-GAN潜在空间的语义增强方法，通过为源数据编码引入随机性生成新样本，在RAF-DB数据集上实现长尾分布平衡，可扩展至多种数据密集型场景。
2024-11-26 cs.AI cs.CV
Temporal Flow Mask Attention for Open-Set Long-Tailed Recognition of Wild Animals in Camera-Trap Images
KAIST（韩国科学技术院）
相机陷阱、无人观测设备和基于深度学习的图像识别系统大大减少了人类在收集和分析野生动物图像方面的努力。然而，通过上述装置收集的数据表现出1）长尾和2）开放式分布问题。为了解决开集长尾识别问题，我们提出了时间流掩码注意力网络，它包括三个关键构建模块：1）光流模块，2）注意力残差模块，3）元嵌入分类器。我们使用光流模块提取序列帧的时间特征，并使用注意力残差块学习信息表示。此外，我们表明，应用元嵌入技术提高了该方法在开集长尾识别中的性能。我们将此方法应用于韩国非军事区（DMZ）数据集。我们进行了大量的实验，定量和定性分析，以证明我们的方法有效地解决了开集长尾识别问题，同时对未知类具有鲁棒性。
2022-08-31 cs.AI cs.CV
Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier
University of California, San Diego（加利福尼亚大学圣迭戈分校）
长尾识别处理现实世界场景中的自然非均匀分布数据。虽然现代分类器在填充类上表现良好，但其性能在尾类上显着下降。然而，人类受此影响较小，因为当遇到不确定的例子时，他们只是选择提供更粗糙的预测。受此启发，提出了一种深度现实分类器（Deep-RTC）作为长尾问题的新解决方案，将现实主义与分层预测相结合。一旦模型不能保证所需的性能，它可以选择拒绝分类法不同级别的分类样本。Deep-RTC在训练过程中使用随机树采样来实现，以在更精细或更粗糙的级别上模拟所有可能的分类条件，并在推理时采用拒绝机制。在CIFAR 100、AWA 2、Imagenet和iNaturalist四个数据集的长尾版本上的实验表明，该方法保留了不同流行程度的所有类的更多信息。Deep-RTC在长尾识别、分层分类和使用所提出的正确预测位（CPB）度量的拒绝文献学习方面也优于最先进的方法。
2020-07-20 cs.CV
Feature Fusion from Head to Tail for Long-Tailed Visual Recognition
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））；Shenzhen University（深圳大学）；Hong Kong Baptist University（香港浸会大学）；Xiamen University（厦门大学）
本文提出头到尾融合（H2T）方法，通过将头部类别的特征图嫁接到尾部类别以增强其语义多样性，从而优化长尾识别中的决策边界，并可即插即用地提升现有方法性能。
2023-12-18 cs.CV
SuperDisco: Super-Class Discovery Improves Visual Recognition for the Long-Tail
AIM Lab, University of Amsterdam（阿姆斯特丹大学AIM实验室）；Inception Institute of Artificial Intelligence（Inception人工智能研究所）；United Imaging Healthcare, Co., Ltd.（联合影象医疗科技有限公司）
针对长尾图像识别中尾部类别性能差的问题，提出SuperDisco算法，通过元学习构建超类图并进行消息传递优化表征，在多个长尾基准上取得最优性能。
2025-06-16 cs.CV
Gen2Balance: Generative Balancing for Long-Tailed Video Action Recognition
University of Bristol（布里斯托大学）；Adobe Research（Adobe 研究院）
提出Gen2Balance方法，利用文本到视频生成模型将长尾训练集平衡为真实与生成视频的混合，结合两阶段训练策略缓解域偏移，在长尾基准上显著提升动作识别准确率。
2026-06-23 cs.CV
Long-tailed Recognition by Routing Diverse Distribution-Aware Experts
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Nanyang Technological University（南洋理工大学）
自然数据通常是长尾分布在语义类上。现有的识别方法通过将更多的重点放在尾部数据上来解决这种不平衡的分类，通过对不同的数据组进行类别重新平衡/重新加权或组合，从而提高尾部准确性，但降低头部准确性。我们对训练数据采取动态视图，并在训练数据波动时提供原则性的模型偏差和方差分析：现有的长尾分类器总是增加模型方差，并且由于尾部的硬否定越来越大的混淆，头-尾模型偏差差距仍然很大。我们提出了一个新的长尾分类器，称为搜索多样性专家（RIDE）。该算法采用多专家模型降低模型方差，采用分布感知的多样性损失降低模型偏差，采用动态专家路由模块降低计算开销。RIDE在CIFAR 100-LT、ImageNet-LT和iNaturalist 2018基准测试中的表现优于最先进的5%至7%。它也是一个通用的框架，适用于各种骨干网络，长尾算法和训练机制，以获得一致的性能增益。我们的代码可在https://github.com/frank-xwang/RIDE-LongTailRecognition上获取。
2022-05-01 cs.CV
A dual-branch model with inter- and intra-branch contrastive loss for long-tailed recognition
South China University of Technology（华南理工大学）
针对长尾分布中尾部类别样本少、决策边界模糊的问题，本文提出 DB-LTR 双分支模型，通过不平衡学习分支与 CoLB 的原型、对比及度量损失增强尾部适应能力，并在三个基准上取得优于对比方法的结果。
2023-09-28 cs.CV
Rebalanced Siamese Contrastive Mining for Long-Tailed Recognition
The Chinese University of Hong Kong（香港中文大学）；MEGVII Technology（旷视科技）
深度神经网络在严重类别不平衡的数据集上表现不佳。鉴于对比学习的良好性能，我们提出了重新平衡的暹罗对比挖掘（ResCom）来解决不平衡识别问题。基于数学分析和仿真结果，我们认为有监督对比学习在原始批和连体批两个层次上都存在双重类不平衡问题，比长尾分类学习更严重.在本文中，在原始的批次级别，我们引入了类平衡的监督对比损失分配自适应权重为不同的类。在暹罗批处理级别，我们提出了一个类平衡队列，它为所有类保持相同数量的键。此外，我们注意到相对于对比logits的不平衡对比损失梯度可以解耦为正和负，并且容易的正和容易的负将使对比梯度为零。我们提出了有监督的硬正负对挖掘，以挑选信息对进行对比计算，并提高表示学习。最后，为了近似最大化两个视图之间的互信息，我们提出了Siamese Balanced Softmax，并将其与对比损失相结合进行一阶段训练。大量的实验表明，ResCom优于以前的方法在多个长尾识别基准的大利润率。我们的代码和模型在https://github.com/dvlab-research/ResCom上公开提供。
2022-06-24 cs.CV
Novel Class Discovery for Long-tailed Recognition
ShanghaiTech University（上海科技大学）；Lingang Laboratory（临港实验室）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
针对现实场景中新旧类别均呈长尾分布、现有新类别发现方法性能退化的问题，提出基于等角原型表示的自适应自标记策略，通过松弛最优传输生成高质量伪标签缓解类别偏差，在多个数据集上验证了优越性。
2023-08-25 cs.CV
Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition
Sungkyunkwan University（成均馆大学）
现实世界中的视频量急剧增加，主题非常多样化和新兴，自然形成了长尾视频分布，这突出了视频长尾识别（VLTR）的需求。在这项工作中，我们总结了VLTR的挑战，并探讨如何克服它们。这些挑战是：（1）为高质量特征重新训练整个模型是不切实际的，（2）获取逐帧标签需要大量成本，以及（3）长尾数据触发有偏训练。然而，大多数现有的VLTR工作都合理地利用了从与任务无关的预训练模型中提取的图像级特征，并通过视频级标签进行学习。因此，为了处理（1）与任务无关的特征和（2）视频级标签，我们引入了两个互补的可学习特征聚合器。每个聚合器中的可学习层将产生任务相关的表示，并且每个聚合器将片段知识组装成视频表示。然后，我们提出了面向少数群体的邻近扩展（MOVE），它明确地利用类频率来近似邻近分布，以减轻（3）有偏见的训练。通过结合这些解决方案，我们的方法在大规模VideoLT和综合诱导的不平衡MiniKinetics 200上实现了最先进的结果。借助ResNet-50的VideoLT功能，与之前的最先进方法相比，它在头部和尾部类上分别实现了18%和58%的相对改进。
2022-11-24 cs.CV
Long-Tailed Recognition via Weight Balancing
MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Argo AI（Argo AI公司）；CMU（卡内基梅隆大学）
在真实的开放世界中，数据往往遵循长尾类分布，这激发了研究得很好的长尾识别（LTR）问题。朴素训练产生的模型在更高的准确性方面偏向于常见的类。解决LTR的关键是平衡各个方面，包括数据分布，训练损失和学习梯度。我们探索一个正交方向，权重平衡，由经验观察的动机，天真的训练分类器具有“人为”较大的权重，在规范的共同类（因为有丰富的数据训练他们，不像罕见的类）。我们研究了三种平衡权重的技术，L2归一化，权重衰减和MaxNorm。我们首先指出，L2-normalization“完美”地平衡了每个类的权重，但这样的硬约束可能会阻止类学习更好的分类器。相比之下，权重衰减对较大权重的惩罚更重，因此学习较小的平衡权重; MaxNorm约束鼓励在范数球内增加较小的权重，但通过半径限制所有权重。我们的广泛研究表明，这两种方法都有助于学习平衡权重，并大大提高了LTR的准确性。令人惊讶的是，权重衰减，虽然在LTR中探索不足，但比以前的工作有了显着改善。因此，我们采用两阶段训练范式，并提出了一种简单的LTR方法：（1）通过调整权重衰减使用交叉熵损失学习特征，以及（2）通过调整权重衰减和MaxNorm使用类平衡损失学习分类器。我们的方法在五个标准基准上达到了最先进的准确性，作为长尾识别的未来基线。
2022-03-27 cs.CV
ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot
University of Washington（华盛顿大学）
单阶段长尾识别方法以"跷跷板"方式提高整体性能，即，要么牺牲头部的准确性以获得更好的尾部分类，要么将头部的准确性提高得更高但忽略尾部。现有的算法通过多阶段的训练过程绕过这种权衡：在不平衡集上进行预训练，在平衡集上进行微调。虽然实现了有前途的性能，但它们不仅对预训练模型的泛化敏感，而且不容易集成到其他计算机视觉任务中，如检测和分割，其中单独的分类器预训练是不适用的。在本文中，我们提出了一个单阶段的长尾识别计划，盟友互补专家（ACE），其中专家是最有知识的专家在一个子集，占主导地位的培训，并补充其他专家在较少看到的类别，而不会受到干扰，它从来没有见过。我们设计了一个分布自适应优化器来调整每个专家的学习速度，以避免过度拟合。在没有特殊功能的情况下，vanilla ACE在CIFAR10-LT、CIFAR100-LT、ImageNet-LT和iNaturalist数据集上的性能比当前的单阶段SOTA方法高出3 - 10%。它也被证明是第一个打破“跷跷板”的权衡，同时提高多数和少数类别的准确性，只有一个阶段。代码和训练模型在www.example.com。
2021-08-05 cs.CV
Long-Tailed Continual Learning For Visual Food Recognition
针对食物识别中持续学习与长尾分布的挑战，提出了基于知识蒸馏预测器与CAM-CutMix增强技术的端到端框架，并构建了三个反映真实人群消费的新基准数据集，显著提升了实例稀少类别的泛化能力。
2025-04-26 cs.CV
Decoupled Contrastive Learning for Long-Tailed Recognition
Peking University（北京大学）
针对监督对比损失在长尾识别中存在的类内优化偏差、忽略负样本语义的问题，提出解耦对比学习方法，结合基于图像块的自蒸馏迁移头部类别知识，在ImageNet-LT等基准上取得优于现有工作的性能。
2024-03-10 cs.CV
Shap-Mix: Shapley Value Guided Mixing for Long-Tailed Skeleton Based Action Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
针对长尾骨架动作识别，提出Shap-Mix方法，利用Shapley值引导的混合增强挖掘尾部类别代表性运动模式，在三个大规模数据集上显著提升性能。
2024-07-17 cs.CV
SAN: Structure-Aware Network for Complex and Long-tailed Chinese Text Recognition
School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院）
针对中文文本识别中复杂字形与尾部类别性能不佳的问题，提出结构感知网络SAN，利用偏旁分支蒸馏层次组合信息并采用树相似度加权，显著提升复杂及长尾字符识别性能。
2024-11-10 cs.CV
Class-Balanced Distillation for Long-Tailed Visual Recognition
Google Research（谷歌研究院）
现实世界的图像往往是由每个类的图像数量的显着不平衡，导致长尾分布的特点。长尾视觉识别的一种有效而简单的方法是分别使用实例和类平衡采样来学习特征表示和分类器。在这项工作中，我们引入了一个新的框架，通过关键的观察，与实例采样学习的特征表示是远远不是最佳的长尾设置。我们的主要贡献是一种新的训练方法，称为类平衡蒸馏（CBD），利用知识蒸馏，以提高功能表示。CBD允许特征表示在第二个训练阶段中发展，由第一阶段中学习的教师指导。第二阶段采用班级均衡抽样，以关注代表性不足的班级。这个框架可以自然地适应多个教师的使用，从一组模型中释放信息，以增强识别能力。我们的实验表明，所提出的技术在长尾识别基准测试（如ImageNet-LT，iNaturalist 17和iNaturalist 18）上始终优于最先进的技术。
2022-01-12 cs.CV cs.LG
Semantic-guided Fine-tuning of Foundation Model for Long-tailed Visual Recognition
本文提出Sage方法，通过SG-Adapter将文本语义引导融入视觉微调以增强视觉-文本对齐，并设计分布不匹配感知补偿因子纠正预测偏差，从而提升长尾视觉识别性能。
2025-07-17 cs.CV
Subtyping Breast Lesions via Generative Augmentation based Long-tailed Recognition in Ultrasound
National-Regional Key Technology Engineering Laboratory for Medical Ultrasound（医学超声关键技术研发实验室）；School of Biomedical Engineering, Medical School, Shenzhen University（生物医学工程学院）；Medical Ultrasound Image Computing (MUSIC) Lab（医学超声图像计算实验室）；Marshall Laboratory of Biomedical Engineering, Shenzhen University（生物医学工程马歇尔实验室）
针对超声乳腺病变亚型数据的长尾分布问题，提出含强化学习自适应采样器和类别可控合成网络的双阶段生成增强分类框架，在两类数据集上性能优于现有最优方法。
2025-07-30 cs.CV
Balanced Representation Learning for Long-tailed Skeleton-based Action Recognition
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；University of Science and Technology of China（中国科学技术大学）
针对长尾骨架动作识别中的数据不平衡导致表征有偏的问题，提出含时空动作探索、分离式动作感知学习和跳模态表征的平衡表征学习方法，在多个数据集上取得优于SOTA的性能与泛化能力。
2025-02-21 cs.CV
