VideoLT: Large-scale Long-tailed Video Recognition
Fudan University（复旦大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；University of Maryland（马里兰大学）
现实世界中的标签分布通常是长尾和不平衡的，导致模型偏向于主导标签。虽然长尾识别已被广泛研究的图像分类任务，有限的努力已经取得了视频域。在本文中，我们介绍了VideoLT，一个大规模的长尾视频识别数据集，作为迈向真实世界视频识别的一步。我们的VideoLT包含256，218个未修剪的视频，注释为1，004个具有长尾分布的类。通过广泛的研究，我们证明了用于长尾图像识别的最先进的方法在视频域中表现不佳，由于视频数据中的额外的时间维度。这促使我们提出FrameStack，一个简单而有效的方法长尾视频识别任务。特别是，FrameStack在帧级执行采样，以平衡类分布，并且在训练期间使用从网络导出的知识动态确定采样率。实验结果表明，FrameStack可以提高分类性能，而不牺牲整体精度。代码和数据集可在https://github.com/17Skye17/VideoLT上获得。
2021-08-18 cs.CV
DBN-Mix: Training Dual Branch Network Using Bilateral Mixup Augmentation for Long-Tailed Visual Recognition
Hanyang University（汉阳大学）
本文提出双边 mixup 增强与逐类温度缩放方法，并应用于双分支网络框架构建 DBN-Mix 模型，有效缓解长尾视觉识别中的类别不平衡与少数类表示困难，显著提升基线性能并在部分基准中达到 SOTA。
2022-08-20 cs.CV cs.LG
Nested Collaborative Learning for Long-Tailed Visual Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baidu Research（百度研究院）；University of Chinese Academy of Sciences（中国科学院大学）
尽管训练设置相同，但在长尾数据集上训练的网络差异很大，这表明长尾学习具有很大的不确定性。为了减轻不确定性，我们提出了一个嵌套的协作学习（NCL），它通过协作学习多个专家一起解决这个问题。NCL包括两个核心部分：嵌套个体学习（NIL）和嵌套平衡在线蒸馏（NBOD），分别关注单个专家的个体监督学习和多个专家之间的知识传递。为了更彻底地学习表示，NIL和NBOD都是以嵌套的方式制定的，其中不仅从完整的角度对所有类别进行学习，而且从部分角度对一些硬类别进行学习。关于局部视角的学习，我们特别选择预测得分高的负面类别作为硬类别，使用建议的硬类别挖掘（HCM）。在NCL中，从两个角度的学习是嵌套的，高度相关和互补的，并帮助网络不仅捕获全局和鲁棒的特征，而且具有细致的区分能力。此外，自我监督进一步用于特征增强。大量的实验表明，我们的方法优于国家的最先进的无论是通过使用单一的模型或合奏的优越性。
2022-04-19 cs.CV
Balanced Meta-Softmax for Long-Tailed Visual Recognition
SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）
深度分类器在视觉识别中取得了巨大的成功。然而，现实世界的数据本质上是长尾的，导致训练和测试分布之间的不匹配。在本文中，我们证明了Softmax函数虽然用于大多数分类任务，但在长尾设置下给出了有偏梯度估计。本文提出了平衡Softmax，Softmax的一个优雅的无偏扩展，以适应训练和测试之间的标签分布偏移。理论上，我们推导出多类Softmax回归的推广界，并证明我们的损失最小化了界。此外，我们还引入了Balanced Meta-Softmax算法，利用一个互补的Meta Sampler来估计最优的类采样率，进一步改进了长尾学习。在我们的实验中，我们证明了Balanced Meta-Softmax在视觉识别和实例分割任务上都优于最先进的长尾分类解决方案。
2020-11-22 cs.CV cs.LG stat.ML
Delving Deep into Simplicity Bias for Long-Tailed Image Recognition
Nanjing University of Science and Technology（南京理工大学）；University of Toronto（多伦多大学）；University of Wollongong（伍伦贡大学）；Qingdao AInnovation Technology Group Co., Ltd.（青岛创新奇智科技集团股份有限公司）
简单性偏差（Simplicity Bias，SB）是指深度神经网络在应用于有监督的判别任务时，倾向于有利地依赖于较简单的预测模式，但忽略了一些复杂的特征。在这项工作中，我们研究了长尾图像识别中的SB，发现尾部类受到SB的影响更严重，这损害了这种代表性不足的类的泛化性能。我们的经验报告，自监督学习（SSL）可以减轻SB和执行的监督同行通过丰富的特征提取的尾部样本，从而更好地利用这种罕见的样本。然而，标准SSL方法的设计没有明确考虑到类的固有数据分布，并且对于长尾分布式数据可能不是最佳的。为了解决这个问题，我们提出了一种新的SSL方法量身定制的不平衡数据。它通过三个不同的级别来利用SSL，即，整体，部分和增强级别，以增强预测复杂模式的学习，这提供了克服尾部数据严重SB的潜力。在五个长尾基准数据集上的定量和定性实验结果表明，我们的方法可以有效地减轻SB，并显着优于竞争的最先进的。
2023-02-07 cs.CV cs.LG
Towards Calibrated Model for Long-Tailed Visual Recognition from Prior Perspective
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
现实世界的数据普遍面临着严重的类不平衡问题，并表现出长尾分布，即，大多数标签与有限的实例相关联。由这些数据集监督的幼稚模型会更喜欢主导标签，遇到严重的泛化挑战，并且校准不良。我们提出了两个新的方法，从先验的角度来缓解这种困境。首先，我们推导出一个平衡导向的数据增强均匀混合（UniMix），以促进混合在长尾场景，它采用了先进的混合因子和采样器，有利于少数。其次，在贝叶斯理论的指导下，我们计算出贝叶斯偏差（Bayias），这是一种由先验不一致引起的固有偏差，并将其作为标准交叉熵损失的修正进行补偿。我们进一步证明，所提出的方法确保分类校准理论和经验。大量的实验验证了我们的策略有助于更好地校准模型，并且它们的组合在CIFAR-LT，ImageNet-LT和iNaturalist 2018上实现了最先进的性能。
2021-11-06 cs.CV cs.LG
Constructing Balance from Imbalance for Long-tailed Image Recognition
Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology（香港科技大学）；Qing Yuan Research Institute（清源研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
长尾图像识别对深度学习系统提出了巨大的挑战，因为多数（头）类和少数（尾）类之间的不平衡严重扭曲了数据驱动的深度神经网络。以前的方法从数据分布，特征空间和模型设计等角度处理数据不平衡。在这项工作中，我们建议在分类器学习之前，从以前忽略的平衡标签空间的角度，而不是直接学习识别模型。为了减轻头到尾的偏见，我们提出了一个简洁的范式，逐步调整标签空间和划分头类和尾类，动态构建平衡，从不平衡，以促进分类。通过灵活的数据过滤和标签空间映射，我们可以很容易地将我们的方法嵌入到大多数分类模型中，特别是解耦的训练方法。此外，我们还发现，不同的特征具有不同的归纳偏差，头尾类的可分性也不同。因此，我们提出的模型还提供了一种特征评估方法，并为长尾特征学习铺平了道路。大量的实验表明，我们的方法可以提高性能的国家的艺术不同类型的广泛使用的基准测试。代码可在https://github.com/silicx/DLSA上获得。
2022-10-08 cs.CV cs.LG
Balanced Contrastive Learning for Long-Tailed Visual Recognition
Fudan University（复旦大学）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）；La Trobe University（乐卓博大学）
真实世界的数据通常遵循长尾分布，其中少数多数类别占据大部分数据，而大多数少数类别包含有限数量的样本。最小化交叉熵的分类模型很难表示和分类尾类。虽然学习无偏分类器的问题已经得到了很好的研究，表示不平衡的数据的方法是探索不足。在本文中，我们专注于不平衡数据的表示学习。最近，监督对比学习在平衡数据上表现出了良好的性能。然而，通过我们的理论分析，我们发现，对于长尾数据，它未能形成一个规则的单纯形，这是一个理想的几何配置的表示学习。为了纠正SCL的优化行为，进一步提高长尾视觉识别的性能，我们提出了一种新的损失平衡对比学习（BCL）。与SCL相比，BCL有两个改进：类平均，它平衡了负类的梯度贡献;类补充，它允许所有类出现在每个小批次中。提出的平衡对比学习（BCL）方法满足形成正则单纯形的条件，并辅助交叉熵的优化。配备BCL，所提出的两分支框架可以获得更强的特征表示，并在CIFAR-10-LT，CIFAR-100-LT，ImageNet-LT和iNaturalist 2018等长尾基准数据集上实现具有竞争力的性能。我们的代码可在https://github.com/FlamieZhu/BCL上获得。
2022-09-10 cs.CV cs.LG
SMCL: Saliency Masked Contrastive Learning for Long-tailed Recognition
Sogang University（西江大学）；Seoul National University（首尔大学）
针对长尾数据中背景特征导致预测偏向多数类的问题，提出显著性掩码对比学习方法，通过掩码图像重要部分并在特征空间向少数类移动，有效解耦背景特征相关性，在基准数据集上达到最先进性能。
2024-06-04 cs.CV cs.LG
Generalized Categories Discovery for Long-tailed Recognition
Hasso Plattner Institut（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
针对无标签数据类别分布不均的长尾广义类别发现问题，提出基于重加权机制和类先验约束的正则化方法，在ImageNet100上提升约6-9%性能。
2024-08-25 cs.CV cs.LG
Investigate the Essence of Long-Tailed Recognition from a Unified Perspective
随着数据规模的增长，深度识别模型通常会受到长尾数据分布的影响，这是由于类别之间的样本数量严重不平衡。实际上，真实世界数据通常在不同类别之间表现出某种相似性关系（例如，鸽子和麻雀），在这项工作中称为类别相似性。当具有相似外观的这些类别之间出现不平衡时，这就更加困难了。然而，现有的解决方案主要集中在样本数量，以重新平衡数据分布。在这项工作中，我们从统一的角度系统地研究了长尾问题的本质。具体来说，我们证明了长尾识别受到样本数量和类别相似性的影响。直觉上，我们首先用一个玩具的例子，表明样本数不是唯一的影响因素长尾识别的性能下降。理论上，我们证明了（1）类别相似性作为一个不可避免的因素，也会通过相似样本影响长尾分布下的模型学习，（2）使用更具区分性的表示方法（例如，自监督学习）进行相似性降低，可以进一步减轻分类器偏差，同时大大提高性能。在几个长尾数据集上的实验验证了理论分析的合理性，并表明在现有的SOTA基础上，通过相似性约简可以进一步提高性能。我们的研究突出了长尾问题背后的本质，并为未来的工作提出了几个可行的方向。
2022-08-17 cs.CV
Long-tailed Recognition by Learning from Latent Categories
Nanyang Technological University（南洋理工大学）
在这项工作中，我们解决了具有挑战性的任务长尾图像识别。以往的长尾识别方法通常关注于尾部类的数据增强或重新平衡策略，以在模型训练过程中给予尾部类更多关注。然而，由于尾类的训练图像有限，尾类图像的多样性仍然受到限制，这导致特征表示较差。在这项工作中，我们假设头部和尾部类中的共同潜在特征可以用于提供更好的特征表示。基于此，我们提出了一种基于潜在类别的长尾识别方法（LCReg）。具体来说，我们建议学习一组在头部和尾部类之间共享的类不可知的潜在特征。然后，我们隐式地丰富训练样本的多样性，通过应用语义数据增强的潜在特征。在五个长尾图像识别数据集上的广泛实验表明，我们提出的LCReg能够显着优于以前的方法，并实现最先进的结果。
2022-09-12 cs.CV
CUDA: Curriculum of Data Augmentation for Long-Tailed Recognition
KAIST AI（韩国科学技术院人工智能研究院）
类不平衡问题经常发生在现实世界的任务中，传统的深度学习算法在不平衡的训练数据集上的性能下降是众所周知的。为了缓解这个问题，许多方法旨在通过重新加权或重新采样训练样本来平衡给定的类。这些重新平衡方法增加了少数类的影响，减少了多数类对模型输出的影响。然而，由于少数民族样本数量有限，所提取的代表性可能质量较差。为了处理这种限制，已经开发了几种方法，通过利用多数样本的特征来增加少数样本的表示。尽管最近进行了广泛的研究，但尚未对确定要增强的类别和增强的强度进行深入分析。在这项研究中，我们首先调查的程度之间的相关性增强和类明智的表现，并发现，必须为每个类分配适当的程度的增强，以减轻类不平衡的问题。基于这一发现，我们提出了一个简单而有效的新课程，旨在找到适当的每类数据增强的强度，称为CUDA：长尾识别的数据增强的CURISTORY。CUDA可以简单地集成到现有的长尾识别方法中。我们提出的实验结果表明，与各种不平衡数据集（如CIFAR-100-LT，ImageNet-LT和iNaturalist 2018）的最新方法相比，CUDA有效地实现了更好的泛化性能。
2023-02-10 cs.CV cs.LG
Difficulty-aware Balancing Margin Loss for Long-tailed Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出难度感知平衡边际损失，通过结合类级边际和实例级边际同时解决长尾识别中的类别不平衡与实例难度变化问题，提升模型判别性。
2024-12-20 cs.AI cs.CV cs.LG
Large-Scale Long-Tailed Recognition in an Open World
The Chinese University of Hong Kong（香港中文大学）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
真实世界的数据通常具有长尾和开放式分布。一个实用的识别系统必须在多数和少数类别之间进行分类，从一些已知的实例中进行归纳，并在从未见过的实例中承认新颖性。我们将开放长尾识别（OLTR）定义为从自然分布的数据中学习，并在包括头部，尾部和开放类的平衡测试集上优化分类精度。OLTR必须在一个集成算法中处理不平衡分类，少样本学习和开集识别，而现有的分类方法只关注一个方面，并且在整个类谱上表现不佳。关键的挑战是如何在头类和尾类之间共享视觉知识，以及如何减少尾类和开放类之间的混淆。我们开发了一个集成的OLTR算法，将图像映射到特征空间，使视觉概念可以很容易地相互关联的基础上学习的度量，尊重封闭世界的分类，同时承认开放世界的新颖性。我们所谓的动态元嵌入结合了直接的图像特征和相关的记忆特征，特征规范表示对已知类的熟悉程度。在我们从以对象为中心的ImageNet、以场景为中心的Places和以人脸为中心的MS1M数据中挑选的三个大规模OLTR数据集上，我们的方法始终优于最先进的方法。我们的代码、数据集和模型支持未来的OLTR研究，并可在https://liuziwei7.github.io/projects/LongTail.html上公开获取。
2019-04-16 cs.CV cs.LG
Margin Calibration for Long-Tailed Visual Recognition
Tokyo Institute of Technology（东京工业大学）；Microsoft STCA（微软STCA）；Nanjing University（南京大学）；Microsoft Research Asia（微软亚洲研究院）
视觉识别任务中的长尾类分布对神经网络如何处理头类和尾类之间的有偏预测提出了很大的挑战，即，该模型倾向于将尾类分类为头类。现有的研究主要集中在数据恢复和损失函数工程上，本文从不同的角度研究了分类边界。我们研究了边际和logits（分类分数）之间的关系，并实证观察到有偏边际和有偏logits呈正相关。我们提出了MARC，一个简单而有效的MARgin校准功能，动态校准无偏logits的有偏利润。我们通过对CIFAR-LT、ImageNet-LT、Places-LT和iNaturalist-LT等常见的长尾基准测试进行大量的实验来验证MARC。实验结果表明，我们的MARC在这些基准测试上都取得了良好的效果。此外，MARC非常容易实现，只需三行代码。我们希望这个简单的方法能激励人们重新思考长尾视觉识别中的有偏边缘和有偏logit。
2022-10-08 cs.AI cs.CV cs.LG
BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition
Megvii Technology（旷视科技）；Waseda University（早稻田大学）；Nanjing University（南京大学）
我们的工作重点是解决具有挑战性但自然的长尾数据分布视觉识别任务（即，少数类占据了大部分数据，而大多数类很少有样本）。在文献中，阶级再平衡策略（例如，重加权和重采样）是为解决长尾问题而提出的显著而有效的方法。在本文中，我们首先发现这些重新平衡方法能够达到令人满意的识别精度，这是因为它们可以显著促进深度网络的分类器学习。然而，与此同时，它们会在某种程度上意外地损害学习到的深层特征的代表能力。因此，我们提出了一个统一的双边分支网络（BBN），以同时兼顾表示学习和分类器学习，其中每个分支确实单独执行自己的职责。特别是，我们的BBN模型进一步配备了一种新的累积学习策略，该策略旨在首先学习通用模式，然后逐渐关注尾部数据。在四个基准数据集上进行的广泛实验，包括大规模的iNaturalist数据集，证明了所提出的BBN可以显着优于最先进的方法。此外，验证实验可以证明我们的初步发现和BBN的长尾问题的定制设计的有效性。我们的方法在iNaturalist 2019大型物种分类竞赛中获得了第一名，我们的代码是开源的，可在https://github.com/Megvii-Nanjing/BBN上获得。
2020-03-10 cs.CV cs.LG
Semi-supervised Long-tailed Recognition using Alternate Sampling
UC, San Diego（加州大学圣迭戈分校）；Wormpex AI Research（Wormpex AI 研究院）
长尾识别面临的主要挑战是数据分布不平衡和尾类样本稀缺。虽然已经提出了一些技术来实现更平衡的训练损失，并改善尾类数据与合成样本的变化，但我们利用现成的未标记数据来提高识别准确性。这个想法导致了一个新的识别设置，即半监督长尾识别。我们认为，这种设置更好地类似于现实世界的数据汇集和注释过程，因此可以帮助缩小差距，以现实世界的情况。为了解决半监督长尾识别问题，我们提出了一个交替采样框架，结合了这两个研究领域中成功方法的直觉。分类器和特征嵌入分别学习并迭代更新。采用类平衡采样策略对未标记数据进行分类器的训练，使分类器的训练不受伪标记质量的影响。引入了一致性损失，以限制未标记数据的影响，同时利用它们来更新特征嵌入。我们在两个数据集上证明了与其他竞争方法相比的显着准确性提高。
2021-05-01 cs.CV
Self-Supervised Aggregation of Diverse Experts for Test-Agnostic Long-Tailed Recognition
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；ByteDance（字节跳动）
现有的长尾识别方法，旨在从长尾数据中训练类平衡模型，通常假设模型将在均匀测试类分布上进行评估。然而，实际的测试类分布经常违反这个假设（例如，或者是长尾的或者甚至是反长尾的），这可能导致现有方法在实际应用中失败。在本文中，我们研究了一个更实际但具有挑战性的任务，称为测试不可知的长尾识别，其中训练类分布是长尾的，而测试类分布是不可知的，不一定是均匀的。除了类不平衡的问题之外，该任务还提出了另一个挑战：训练数据和测试数据之间的类分布偏移是未知的。为了解决这个问题，我们提出了一种新的方法，称为自监督聚合的不同的专家，它包括两个策略：（i）一个新的技能多样化的专家学习策略，训练多个专家从一个单一的和固定的长尾数据集，分别处理不同的类分布;（ii）一种新的测试时专家聚合策略，其利用自我监督来聚合学习到的多个专家以处理未知的测试类分布。我们从理论上证明了我们的自监督策略具有可证明的能力来模拟测试不可知的类分布。有前途的实证结果表明，我们的方法对香草和测试不可知的长尾识别的有效性。代码可在\url{https://github.com/Vanint/SADE-AgnosticLT}上获得。
2022-10-27 cs.CV
Supervised Contrastive Learning on Blended Images for Long-tailed Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
真实世界的数据通常具有长尾分布，其中每个类的样本数量在训练类中不相等。不平衡的数据形成有偏的特征空间，这恶化了识别模型的性能。在本文中，我们提出了一种新的长尾识别方法来平衡潜在的特征空间。首先，我们引入了一种基于MixUp的数据增强技术来减少长尾数据的偏差。此外，我们提出了一种新的监督对比学习方法，命名为监督对比学习混合类（SMC），混合图像。SMC根据原始图像的类别标签创建一组阳性图像。阳性的组合比率对训练损失中的阳性进行加权。基于类混合损失的SMC探索了更多样的数据空间，增强了模型的泛化能力。在各种基准测试上的大量实验表明了我们的一阶段训练方法的有效性。
2022-11-22 cs.CV
Self Supervision to Distillation for Long-Tailed Visual Recognition
Nanjing University（南京大学）
深度学习在大规模平衡数据集上的视觉识别方面取得了显着进展，但在现实世界的长尾数据上仍然表现不佳。以往的方法通常采用类再平衡训练策略来有效缓解不平衡问题，但可能存在过拟合尾类的风险。最近的解耦方法通过使用多阶段训练方案克服了过拟合问题，然而，它仍然无法在特征学习阶段捕获尾类信息。在本文中，我们表明，软标签可以作为一个强大的解决方案，将标签相关到一个多阶段的训练计划长尾识别。软标签所体现的类之间的内在联系，有助于长尾识别，将知识从头部转移到尾部类。具体来说，我们提出了一个概念上简单但特别有效的多阶段训练计划，称为自监督蒸馏（SSD）。该方案由两部分组成。首先，我们介绍了一个自蒸馏框架的长尾识别，它可以自动挖掘标签关系。其次，提出了一种新的自监督引导的蒸馏标签生成模块。提取的标签集成了标签和数据域的信息，可以有效地建模长尾分布。我们进行了广泛的实验，我们的方法在三个长尾识别基准测试中取得了最先进的结果：ImageNet-LT，CIFAR 100-LT和iNaturalist 2018。我们的SSD在各种数据集上从$2.7\%$到$4.5\%$都优于强大的LWS基线。该代码可在https://github.com/MCG-NJU/SSD-LT上获得。
2021-09-09 cs.CV
Breadcrumbs: Adversarial Class-Balanced Sampling for Long-tailed Recognition
UC, San Diego（加州大学圣迭戈分校）；Wormpex AI Research（Wormpex AI 研究院）
长尾识别的问题，每类的例子的数量是高度不平衡的，被认为是。虽然使用类平衡采样的训练已被证明对这个问题有效，但已知过拟合到Few-Shot类。据推测，这是由于重复采样的例子，可以解决的特征空间增强。提出了一种新的特征增强策略EMANATE，该策略基于训练过程中跨时期的特征回溯。结果表明，与类平衡抽样不同，这是一种对抗性增强策略。然后引入一个新的采样过程，面包屑，实现对抗类平衡采样，而无需额外的计算。在三个流行的长尾识别数据集上的实验表明，面包屑训练产生的分类器优于现有的问题解决方案。
2021-05-01 cs.CV
Semantic Data Augmentation for Long-tailed Facial Expression Recognition
针对现实场景中面部表情识别因数据集长尾分布导致的挑战，本文提出一种基于VAE-GAN潜在空间的语义增强方法，通过为源数据编码引入随机性生成新样本，在RAF-DB数据集上实现长尾分布平衡，可扩展至多种数据密集型场景。
2024-11-26 cs.AI cs.CV
Temporal Flow Mask Attention for Open-Set Long-Tailed Recognition of Wild Animals in Camera-Trap Images
KAIST（韩国科学技术院）
相机陷阱、无人观测设备和基于深度学习的图像识别系统大大减少了人类在收集和分析野生动物图像方面的努力。然而，通过上述装置收集的数据表现出1）长尾和2）开放式分布问题。为了解决开集长尾识别问题，我们提出了时间流掩码注意力网络，它包括三个关键构建模块：1）光流模块，2）注意力残差模块，3）元嵌入分类器。我们使用光流模块提取序列帧的时间特征，并使用注意力残差块学习信息表示。此外，我们表明，应用元嵌入技术提高了该方法在开集长尾识别中的性能。我们将此方法应用于韩国非军事区（DMZ）数据集。我们进行了大量的实验，定量和定性分析，以证明我们的方法有效地解决了开集长尾识别问题，同时对未知类具有鲁棒性。
2022-08-31 cs.AI cs.CV
Open Long-Tailed Recognition in a Dynamic World
Nanyang Technological University（南洋理工大学）；University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；The Chinese University of Hong Kong（香港中文大学）；Google Inc.（谷歌公司）
真实世界的数据通常呈现长尾和开放式（具有不可见的类）分布。一个实际的识别系统必须在多数（头）和少数（尾）类之间取得平衡，在分布上进行概括，并在看不见的类（开放类）的实例上承认新颖性。我们将开放式长尾识别++（OLTR++）定义为从这种自然分布的数据中学习，并在包括已知和开放类的平衡测试集上优化分类精度。OLTR++在一个集成算法中处理不平衡分类，少样本学习，开集识别和主动学习，而现有的分类方法通常只关注一个或两个方面，并且在整个范围内表现不佳。主要挑战是：1）如何在头部和尾部类之间共享视觉知识，2）如何减少尾部和公开类之间的混淆，以及3）如何积极地探索公开类与学习的知识。我们的算法OLTR++将图像映射到特征空间，使得视觉概念可以通过记忆关联机制和学习度量（动态元嵌入）相互关联，该机制和学习度量既尊重所见类的封闭世界分类，又承认开放类的新颖性。此外，我们提出了一个基于视觉记忆的主动学习方案，该方案以数据高效的方式学习识别开放类，以备将来扩展。在我们从ImageNet（以对象为中心），Places（以场景为中心）和MS 1 M（以面部为中心）数据中策划的三个大规模开放长尾数据集上，以及三个标准基准（CIFAR-10-LT，CIFAR-100-LT和iNaturalist-18），我们的方法作为一个统一的框架，始终表现出竞争力。值得注意的是，我们的方法也显示出强大的潜力，积极探索公开课…
2022-08-17 cs.CV cs.LG
Improving Long-tailed Object Detection with Image-Level Supervision by Multi-Task Collaborative Learning
Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；Shanghai University of Traditional Chinese Medicine（上海中医药大学）
现实世界中的目标检测数据往往呈现长尾分布。现有的解决方案通过减轻头部和尾部类别之间的竞争来解决这个问题。然而，由于训练样本的稀缺性，尾类别仍然无法学习判别表示。在训练中引入更多的数据可能会缓解这个问题，但收集实例级注释是一项令人痛苦的任务。相比之下，图像级注释很容易访问，但没有得到充分利用。在本文中，我们提出了一个新的框架CLIS（多任务协作学习与图像级监督），它利用图像级监督，以提高检测能力的多任务协作的方式。具体来说，在我们的框架中有一个目标检测任务（由实例分类任务和定位任务组成）和一个图像分类任务，负责利用这两种类型的监督。通过三个关键设计来协同训练不同的任务：（1）任务专用子网络，它学习不同任务的特定表示，而没有特征纠缠。(2)用于图像分类任务的连体子网络，其与实例分类任务共享其知识，从而导致检测器的特征富集。(3)一种对比学习规则化，保持表示的一致性，弥合不同监督的特征差距。在具有挑战性的LVIS数据集上进行了广泛的实验。没有复杂的损失工程，CLIS实现了31.1的整体AP，尾部类别提高了10.1点，建立了一个新的最先进的。代码将在https://github.com/waveboo/CLIS。
2022-10-11 cs.CV
Distilling Virtual Examples for Long-tailed Recognition
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机科学与技术系（注：此处原机构为南京大学，具体实验室为 Novel Software Technology 重点实验室，按要求提取到大学级别））；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与技术学院）
本文从知识蒸馏的角度出发，提出了一种虚拟样本蒸馏（DiVE）方法来解决长尾视觉识别问题。具体来说，通过将教师模型的预测视为虚拟示例，我们证明了从这些虚拟示例中提取等价于在某些约束下的标签分布学习。我们表明，当虚拟示例分布变得比原始输入分布更平坦时，代表性不足的尾部类将得到显着改善，这在长尾识别中至关重要。所提出的DiVE方法可以显式地调整虚拟示例分布，使其变得平坦。在三个基准数据集（包括大规模iNaturalist数据集）上进行的广泛实验证明，所提出的DiVE方法可以显着优于最先进的方法。此外，额外的分析和实验验证了虚拟示例的解释，并证明了定制设计的有效性，在潜水长尾问题。
2021-09-19 cs.CV
LCReg: Long-Tailed Image Classification with Latent Categories based Recognition
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
针对长尾图像识别中尾部类别样本少导致特征表示不佳的问题，提出LCReg方法，通过学习头部和尾部类别共享的类别无关潜在特征并进行语义数据增强，显著提升了基线性能。
2023-09-13 cs.CV
Unleashing the Power of Vision-Language Models for Long-Tailed Multi-Label Visual Recognition
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of Computer Network and Information Integration (Southeast University)（计算机网络与信息集成重点实验室）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出CAPNET框架，通过显式建模标签相关性，结合图卷积网络和可学习软提示，解决长尾多标签视觉识别中的类别不平衡问题，提升模型性能。
2025-11-25 cs.CV cs.LG
Difficulty-Net: Learning to Predict Difficulty for Long-Tailed Recognition
Hitachi Ltd.（日立有限公司）
长尾数据集，其中头部类包含比尾部类更多的训练样本，导致识别模型偏向头部类。加权损失是缓解这个问题的最流行的方法之一，最近的一项工作表明，类难度可能是一个更好的线索，而不是传统上使用的类频率来决定权重的分布。在以前的工作中使用的启发式公式量化的难度，但我们的经验发现，最佳配方取决于数据集的特性。因此，我们提出了难度网络，它学习使用元学习框架中模型的性能来预测类的难度。为了使它在其他类的上下文中学习一个类的合理难度，我们新引入了两个关键概念，即相对难度和驱动程序损失。前者有助于难度网在计算一个类的难度时将其他类考虑在内，而后者对于引导学习向有意义的方向发展是不可或缺的。在流行的长尾数据集上的大量实验证明了该方法的有效性，并在多个长尾数据集上取得了最先进的性能。
2022-09-07 cs.AI cs.CV cs.LG
A Survey on Long-Tailed Visual Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
对数据的严重依赖是目前限制深度学习发展的主要原因之一。数据质量直接决定了深度学习模型的效果，长尾分布是影响数据质量的因素之一。由于自然界中普遍存在幂律，长尾现象普遍存在。在这种情况下，深度学习模型的性能通常由头部类主导，而尾部类的学习严重不足。为了使所有的类都能充分地学习，许多研究者对长尾问题进行了研究并初步解决了这一问题。本文针对长尾数据分布带来的问题，梳理了具有代表性的长尾视觉识别数据集，并对一些主流的长尾研究进行了总结。具体而言，我们从表示学习的角度将这些研究归纳为十类，并概述了每类研究的亮点和局限性。此外，我们还研究了四个定量的度量方法来评估数据的不平衡性，并建议使用基尼系数来评估数据集的长尾性。基于基尼系数，我们定量研究了20个广泛使用的和大规模的视觉数据集，在过去的十年中，发现长尾现象是普遍存在的，并没有得到充分的研究。最后，我们给出了长尾学习未来发展的几个方向，为读者提供更多的思路。
2022-05-27 cs.CV
Balanced Product of Calibrated Experts for Long-Tailed Recognition
Linköping University（林雪平大学）；Husqvarna Group（胡斯华纳集团）；University of KwaZulu-Natal（夸祖鲁-纳塔尔大学）
本文提出 BalPoE，将 logit 调整扩展为面向不同测试目标分布的专家乘积，证明其对平衡误差具有 Fisher 一致性，并用 mixup 校准专家，在三个长尾基准上达到最先进性能。
2023-06-07 cs.CV cs.LG
Fill-Up: Balancing Long-Tailed Data with Generative Models
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
针对现有生成数据补充方法在长尾等数据匮乏场景提升有限的问题，本文提出基于Textual Inversion的图像合成流程Fill-Up，可有效对齐真实域、缓解数据不平衡，结合长尾识别技术在标准长尾基准上实现从头训练的最优结果。
2023-06-12 cs.CV cs.LG
You Only Need End-to-End Training for Long-Tailed Recognition
长尾数据集的泛化差距主要是由于大多数类别只占用少数训练样本。解耦训练通过分别训练骨干和分类器来实现更好的性能。是什么导致端到端模型训练的性能较差（例如，logits基于边际的方法）？在这项工作中，我们确定了影响分类器学习的一个关键因素：在输入分类器之前具有低熵的通道相关特征。从信息论的角度，我们分析了为什么交叉熵损失往往会产生高度相关的特征上的不平衡数据。此外，我们还从理论上分析和证明了它对分类器权重梯度、Hessian的条件数和基于logits边缘的方法的影响。因此，我们首先提出使用通道白化去相关（“分散”）分类器的输入解耦的权重更新和重塑倾斜的决策边界，这取得了令人满意的结果结合基于logits边缘的方法。然而，当小班人数较多时，批次不平衡和参与培训的人数过多会导致大班的过度拟合。我们还提出了两个新的模块，基于块的相对平衡批量采样器（B3 RS）和批量嵌入式训练（BET），以解决上述问题，这使得端到端的训练实现甚至比解耦训练更好的性能。在CIFAR-LT和ImageNet-LT两个长尾分类基准上的实验结果表明了该方法的有效性。
2023-03-10 cs.CV cs.LG
A Simple Long-Tailed Recognition Baseline via Vision-Language Model
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
视觉世界自然地呈现出开放类的长尾分布，这对现代视觉系统提出了巨大的挑战。现有的方法要么执行类重新平衡策略，或直接改善网络模块来解决这个问题。然而，他们仍然训练模型与一组有限的预定义的标签，限制他们的监督信息和限制他们的可移植性，以新的实例。大规模对比视觉语言预训练的最新进展为视觉识别提供了一条新的途径。通过开放词汇监督，预训练的对比视觉语言模型学习强大的多模态表示，有望处理数据不足和不可见的概念。通过计算视觉和文本输入之间的语义相似度，视觉识别转换为视觉语言匹配问题。受此启发，我们建议BALLAD利用对比视觉语言模型进行长尾识别。我们首先通过特定长尾目标数据集上的对比学习继续预训练视觉语言主干。之后，我们冻结主干，并进一步采用额外的适配器层，以增强尾类在使用重采样策略构建的平衡训练样本上的表示。广泛的实验已经进行了三个流行的长尾识别基准。因此，我们简单而有效的方法设置了新的最先进的性能，并以较大的利润率超过竞争对手的基线。代码发布于https://github.com/gaopengcuhk/BALLAD。
2021-11-29 cs.CV
Balancing Domain Experts for Long-Tailed Camera-Trap Recognition
KAIST（韩国科学技术院）
相机陷阱图像中的标签分布是高度不平衡和长尾的，导致神经网络倾向于偏向频繁出现的头类。虽然长尾学习已经被广泛探索以解决数据不平衡问题，但很少有研究考虑相机陷阱特征，例如多域和多帧设置。在这里，我们提出了一个统一的框架，并介绍了两个数据集的长尾相机陷阱识别。我们首先设计领域专家，每个专家学习平衡由数据不平衡引起的不完善的决策边界，并相互补充以生成领域平衡的决策边界。此外，我们提出了一个流的一致性损失，专注于移动对象，期望多帧的类激活地图匹配的流与输入图像的光流地图。此外，两个长尾相机陷阱数据集，WCS-LT和DMZ-LT，介绍了验证我们的方法。实验结果表明，我们的框架的有效性，并提出的方法优于以往的方法对隐性域样本。
2022-02-16 cs.CV
Rethink Long-tailed Recognition with Vision Transformers
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Shenzhen Peng Cheng Lab（深圳鹏城实验室）
本文重新审视基于视觉Transformer的长尾识别，发现ViT在长尾数据上难以训练但可通过无监督学习获得泛化特征，并提出预测分布校准（PDC）度量模型的预测偏好，实验验证其能精确反映校准情况。
2023-04-17 cs.CV
VL-LTR: Learning Class-wise Visual-Linguistic Representation for Long-Tailed Visual Recognition
Chinese University of Hong Kong（香港中文大学）；SenseTime（商汤科技）；Shanghai AI Laboratory（上海人工智能实验室）
基于深度学习的模型在处理现实世界中的长尾数据时会遇到挑战。现有的解决方案通常采用一些平衡策略或迁移学习来处理基于图像模态的类不平衡问题。在这项工作中，我们提出了一个视觉语言长尾识别框架，称为VL-LTR，并进行实证研究的好处，引入文本模态长尾识别（LTR）。与现有方法相比，所提出的VL-LTR具有以下优点。(1)我们的方法不仅可以从图像中学习视觉表示，而且还可以从从互联网上收集的噪声类级文本描述中学习相应的语言表示;（2）我们的方法可以有效地使用学习的视觉语言表示来提高视觉识别性能，特别是对于图像样本较少的类。我们还进行了广泛的实验，并在广泛使用的LTR基准测试中设置了新的最先进的性能。值得注意的是，我们的方法在ImageNet-LT上实现了77.2%的整体准确率，比之前的最佳方法明显高出17个点以上，并且接近完整ImageNet上的普遍性能训练。代码可在https://github.com/ChangyaoTian/VL-LTR上获得。
2022-07-19 cs.CV
Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）
现有的分布外（OOD）检测方法通常在具有平衡类分布的训练集上进行基准测试。然而，在实际应用中，训练集通常具有长尾分布。在这项工作中，我们首先证明了现有的OOD检测方法通常遭受显着的性能下降时，训练集是长尾分布。通过分析，我们认为这是因为模型很难区分少数尾类分布样本，从真正的OOD样本，使尾类更容易被错误地检测为OOD。为了解决这个问题，我们提出了部分和非对称监督对比学习（PASCL），它明确鼓励模型区分尾类分布样本和OOD样本。为了进一步提高分布内分类的准确性，我们提出了辅助分支微调，它使用BN和分类层的两个独立分支分别进行异常检测和分布内分类。直觉是，分布内和OOD异常数据具有不同的潜在分布。我们的方法优于以前的国家的最先进的方法，$1.29\%$，$1.45\%$，$0.69\%$异常检测假阳性率（FPR）和$3.24\%$，$4.06\%$，$7.89\%$在分布分类准确性分别在CIFAR 10-LT，CIFAR 100-LT和ImageNet-LT。代码和预训练模型可在https://github.com/amazon-research/long-tailed-ood-detection上获得。
2022-07-04 cs.CV cs.LG
Feature-Balanced Loss for Long-Tailed Visual Recognition
Hong Kong Baptist University（香港浸会大学）
针对长尾数据导致模型偏差的问题，提出特征平衡损失，通过给予尾部类别更强刺激增大其特征范数，并结合课程学习提升泛化能力，在多个基准上取得优于现有方法的性能。
2023-05-18 cs.CV
Memory-based Jitter: Improving Visual Recognition on Long-tailed Data with Diversity In Memory
Jilin University（吉林大学）；Tsinghua University（清华大学）；Zhe Jiang University（浙江大学）；Megvii Inc.（旷视科技有限公司）
本文考虑长尾数据的深度视觉识别。一般来说，我们考虑两个应用场景，\ie，深度分类和深度度量学习。在长尾数据分布下，多数类（\ie，尾类）只占用相对较少的样本，并且容易缺乏类内多样性。一个激进的解决方案是增加具有更高多样性的尾类。为此，我们介绍了一种简单而可靠的方法命名为基于记忆的抖动（MBJ）。我们观察到，在训练过程中，深度模型在每次迭代后都会不断改变其参数，从而产生\emph{weight jitters}现象。因此，给定相同的图像作为输入，模型的两个历史版本在深度嵌入空间中生成两个不同的特征，从而产生\emph{feature jitters}。使用存储体，我们在多个训练迭代中收集这些（模型或特征）抖动，并获得所谓的基于存储器的抖动。累积的抖动增强了尾类的类内多样性，从而提高了长尾视觉识别。经过轻微修改，MBJ适用于两个基本的视觉识别任务，\emph{i.e.}，深度图像分类和深度度量学习（长尾数据）。在五个长尾分类基准测试和两个深度度量学习基准测试上进行的大量实验证明了显著的改进。此外，在这两项任务中，所实现的性能与最先进的水平相当。
2021-07-06 cs.CV
Class-Aware Universum Inspired Re-Balance Learning for Long-Tailed Recognition
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对少数类的数据增强是长尾识别的一种有效策略，因此发展了大量的方法。虽然这些方法都保证了样本数量的平衡，但增强样本的质量并不总是令人满意的识别，容易出现过拟合，缺乏多样性，语义漂移等问题。针对这些问题，我们提出了类感知的Universum启发再平衡学习（CaUIRL）用于长尾识别，这赋予了Universum从样本数量和质量两个方面重新平衡单个少数类的类意识能力。特别是，我们从理论上证明了CaUIRL学习的分类器是一致的，从贝叶斯的角度来看，在平衡条件下学习。此外，我们进一步开发了一种高阶混合方法，该方法可以自动生成类感知的Universum（CaU）数据，而无需借助任何外部数据。与传统的Universum不同，这种生成的Universum还考虑了域相似性，类可分性和样本多样性。在基准数据集上的大量实验表明，该方法具有令人惊讶的优势，特别是少数类的top1准确率比最先进的方法提高了1.9%-6%。
2022-08-11 cs.CV
Domain Balancing: Face Recognition on Long-Tailed Domains
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tianjin University（天津大学）
长尾问题一直是人脸识别中的一个重要课题。然而，现有的方法只集中在类的长尾分布。随后，我们致力于长尾域分布问题，这是指这样一个事实，即少数域频繁出现，而其他域远远不存在。该问题的关键挑战是域标签太复杂（与种族，年龄，姿势，光照等有关）。并且在实际应用中不可访问。在本文中，我们提出了一种新的域平衡（DB）机制来处理这个问题。具体来说，我们首先提出了一个域频率指示（DFI）来判断样本是来自头部域还是尾部域。其次，我们制定了一个轻量级的剩余平衡映射（RBM）块，通过调整网络根据DFI平衡域分布。最后，我们在损失函数中提出了一个域平衡余量（DBM）来进一步优化尾域的特征空间，以提高泛化能力。大量的分析和实验结果表明，该方法有效地提高了泛化能力，取得了优异的性能。
2020-03-30 cs.CV
Learning Prototype Classifiers for Long-Tailed Recognition
University of California Santa Barbara（加州大学圣巴巴拉分校）；Google（谷歌）；Salesforce Research（赛富时研究院）
针对长尾识别中softmax分类器因数据量导致范数偏差的问题，提出联合学习原型分类器，利用表示空间距离作为对数分数并引入通道相关温度参数，实现稳定优化与更好分离，性能优于或可比现有方法。
2023-06-26 cs.CV cs.LG
Decoupling Representation and Classifier for Long-Tailed Recognition
Facebook AI（脸书人工智能研究院）；National University of Singapore（新加坡国立大学）
视觉世界的长尾分布对基于深度学习的分类模型如何处理类不平衡问题提出了巨大挑战。现有的解决方案通常涉及类平衡策略，例如，通过损失重加权、数据重采样或从头类到尾类的迁移学习，但是它们中的大多数坚持联合学习表示和分类器的方案。在这项工作中，我们将学习过程解耦为表示学习和分类，并系统地探讨了不同的平衡策略如何影响它们的长尾识别。调查结果令人惊讶：（1）数据不平衡可能不是学习高质量表示的问题;（2）使用最简单的实例平衡（自然）采样学习的表示，也可以通过仅调整分类器来实现强大的长尾识别能力。我们进行了广泛的实验，并在ImageNet-LT，Places-LT和iNaturalist等常见长尾基准上设置了新的最先进的性能，表明通过使用简化表示和分类的直接方法，可以超越精心设计的损失，采样策略，甚至是具有内存的复杂模块。我们的代码可在www.example.com上获得。
2020-02-19 cs.CV
SAU: A Dual-Branch Network to Enhance Long-Tailed Recognition via Generative Models
The University of Sydney（悉尼大学）；School of Computer Science（计算机学院）
提出双分支网络SAU，利用生成模型产生的合成数据补充长尾数据集，通过合成不感知分支分类与合成感知分支提升鲁棒性，显著提升长尾图像识别准确率。
2024-08-29 cs.CV
DAF:re: A Challenging, Crowd-Sourced, Large-Scale, Long-Tailed Dataset For Anime Character Recognition
National Chiao Tung University（国立交通大学）
在这项工作中，我们解决了具有挑战性的问题，动漫字符识别。动漫，指的是日本国内制作的动画以及从中衍生或受到启发的作品。为此，我们介绍了DanbooruAnimeFaces：revised，这是一个大规模、众包、长尾的数据集，包含近500 K的图像，分布在3000多个类中。此外，我们使用各种分类模型，包括基于CNN的ResNets和基于自我注意力的视觉Transformer（ViT），对mathematical：re和类似的数据集进行实验。我们的结果为ViT模型在与上游预训练所用数据集截然不同的领域数据集上的泛化和迁移学习属性提供了新的见解，包括训练中批次和图像大小的影响。此外，我们分享我们的数据集，源代码，预训练的检查点和结果，作为Animesion，第一个大规模动漫角色识别的端到端框架：https://github.com/arkel23/animesion
2021-01-21 cs.CV
Aligned Contrastive Loss for Long-Tailed Recognition
Panasonic R&D Center Singapore（松下新加坡研发中心）；Nanyang Technological University（南洋理工大学）；Panasonic Connect Co., Ltd. R&D Division（松下连接有限公司研发部）
本文提出对齐对比学习（ACL）算法，通过理论分析发现监督对比学习中的梯度冲突和正负样本梯度不平衡问题，并在多个长尾数据集上验证其达到新的最先进性能。
2025-06-01 cs.CV
Meta Feature Modulator for Long-tailed Recognition
当训练数据遭受类别不平衡问题时，深度神经网络通常会显著退化。现有办法，例如，重新采样和重新加权通常通过重新排列训练数据的标签分布来训练网络，以很好地适应隐式平衡标签分布来解决这个问题。然而，由于对训练数据样本内/样本间信息利用不足，大多数方法阻碍了学习特征的代表能力。为了解决这个问题，我们提出了Meta特征调制器（MFM），一个元学习框架，从表示学习的角度来建模长尾训练数据和平衡Meta数据之间的差异。具体地说，我们采用可学习的超参数（称为调制参数）自适应缩放和移动的中间特征的分类网络，和调制参数一起优化的分类网络参数的指导下，少量的平衡Meta数据。我们进一步设计了一个调制器网络来指导调制参数的生成，并且这样的元学习器可以很容易地适应于在其他长尾数据集上训练分类网络。在基准视觉数据集上进行的大量实验证实了我们的方法在长尾识别任务上的优越性，超过了其他最先进的方法。
2020-08-08 cs.CV
Why Not Hyperparameter-Friendly Optimisation? A Monotonic Adaptive Norm Rescaling Approach For Long-Tailed Recognition
University of Oxford（牛津大学）
提出一种无需参数正则化的自适应单调归一化方法（SAMN），通过保序回归直接对类别权重范数施加单调性约束，实现超参数友好的长尾识别。
2026-06-01 cs.AI cs.CV
Solutions for Fine-grained and Long-tailed Snake Species Recognition in SnakeCLEF 2022
Ant Group（蚂蚁集团）
自动蛇种识别非常重要，因为它具有巨大的潜力，可以帮助降低蛇咬伤造成的死亡和残疾。我们在SnakeCLEF 2022中介绍了我们的解决方案，用于在重长尾类分布上进行细粒度蛇物种识别。首先，一个网络架构的设计，以提取和融合功能，从多个模态，即从视觉模态和语言模态的地理位置信息的照片。然后，基于logit调整的方法进行了研究，以减轻严重的类不平衡所造成的影响。其次，提出了一种监督学习和自监督学习相结合的方法，以充分利用数据集，包括标记的训练数据和未标记的测试数据。最后，后处理策略，如多尺度和多作物测试时间增加，位置过滤和模型集成，以提高性能。通过几种不同型号的合奏，在最终排行榜上获得了82.65%的私人评分，排名第三。
2022-07-04 cs.CV
Improving Calibration for Long-Tailed Recognition
Chinese University of Hong Kong（香港中文大学）；SmartMore
当训练数据集严重类别不平衡时，深度神经网络可能表现不佳。最近，两阶段方法解耦表示学习和分类器学习，以提高性能。但仍然有一个至关重要的问题，即校准错误。为了解决这个问题，我们设计了两种方法来提高这种情况下的校准和性能。由于类的预测概率分布与类实例的数量高度相关，我们提出了标签感知平滑来处理类的不同程度的过度自信，并改善分类器学习。对于这两个阶段之间的数据集偏差，由于不同的采样器，我们进一步提出了移位批量归一化的解耦框架。我们提出的方法在多个流行的长尾识别基准数据集上创造了新的记录，包括CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、Places-LT和iNaturalist 2018。代码将在https://github.com/Jia-Research-Lab/MiSLAS上提供。
2021-04-01 cs.CV
GistNet: a Geometric Structure Transfer Network for Long-Tailed Recognition
UC, San Diego（加州大学圣迭戈分校）；Wormpex AI Research
长尾识别的问题，每类的例子的数量是高度不平衡的，被认为是。假设可以利用标准分类器训练对流行类过拟合的众所周知的趋势来进行有效的迁移学习。学习算法不应该消除这种过拟合，例如通过采用流行的类平衡采样方法，而是应该利用这种过拟合来将几何信息从流行类转移到低拍摄类。一个新的分类器架构，GistNet，提出了支持这一目标，使用分类器参数的星座编码类几何。然后提出了一种新的学习算法的几何结构转移（GIST），与诉诸的损失函数，结合类平衡和随机抽样的组合，以保证，而过拟合的流行类是限制几何参数，它是利用转移类几何从流行的Few-Shot类。这使得Few-Shot类能够更好地泛化，而不需要手动指定类权重，甚至不需要显式地将类分组为不同的类型。在两个流行的长尾识别数据集上的实验表明，GistNet优于现有的解决方案。
2021-05-01 cs.CV
Deep Long-Tailed Learning: A Survey
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）；SEA（冬海集团）
本文系统综述了深度长尾学习的最新进展，将现有方法归纳为类别再平衡、信息增强和模块改进三类，并通过提出的相对准确率指标实证分析代表性方法，最后展望了重要应用与未来研究方向。
2023-04-15 cs.CV
