Calibrating Class Activation Maps for Long-Tailed Visual Recognition
Nanyang Technological University（南洋理工大学）；South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）
现实世界的视觉识别问题往往呈现长尾分布，不同类别的学习数据量表现出显着的不平衡。在这样的数据分布上学习的标准分类模型通常会对头部类进行有偏见的预测，而对尾部类的预测则很差。在本文中，我们提出了两种有效的CNN修改，以改善长尾分布的网络学习。首先，我们提出了一个类激活图校准（CAMC）模块，以改善网络分类器的学习和预测，通过执行基于重要图像区域的网络预测。所提出的CAMC模块突出了跨数据的相关图像区域，并加强了这些区域中的表示，以获得更好的全局表示用于分类。此外，我们研究了在长尾问题中使用归一化分类器进行表示学习。我们的实证研究表明，通过简单地缩放的分类器的输出与适当的标量，我们可以有效地提高分类精度的尾类，而不会失去头类的准确性。我们进行了广泛的实验来验证我们设计的有效性，并在五个基准测试中设置了新的最先进的性能，包括ImageNet-LT，Places-LT，iNaturalist 2018，CIFAR 10-LT和CIFAR 100-LT。
2021-08-29 cs.CV
Semantic Data Augmentation for Long-tailed Facial Expression Recognition
针对现实场景中面部表情识别因数据集长尾分布导致的挑战，本文提出一种基于VAE-GAN潜在空间的语义增强方法，通过为源数据编码引入随机性生成新样本，在RAF-DB数据集上实现长尾分布平衡，可扩展至多种数据密集型场景。
2024-11-26 cs.AI cs.CV
Feature Fusion from Head to Tail for Long-Tailed Visual Recognition
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））；Shenzhen University（深圳大学）；Hong Kong Baptist University（香港浸会大学）；Xiamen University（厦门大学）
本文提出头到尾融合（H2T）方法，通过将头部类别的特征图嫁接到尾部类别以增强其语义多样性，从而优化长尾识别中的决策边界，并可即插即用地提升现有方法性能。
2023-12-18 cs.CV
SuperDisco: Super-Class Discovery Improves Visual Recognition for the Long-Tail
AIM Lab, University of Amsterdam（阿姆斯特丹大学AIM实验室）；Inception Institute of Artificial Intelligence（Inception人工智能研究所）；United Imaging Healthcare, Co., Ltd.（联合影象医疗科技有限公司）
针对长尾图像识别中尾部类别性能差的问题，提出SuperDisco算法，通过元学习构建超类图并进行消息传递优化表征，在多个长尾基准上取得最优性能。
2025-06-16 cs.CV
Semantic-guided Fine-tuning of Foundation Model for Long-tailed Visual Recognition
本文提出Sage方法，通过SG-Adapter将文本语义引导融入视觉微调以增强视觉-文本对齐，并设计分布不匹配感知补偿因子纠正预测偏差，从而提升长尾视觉识别性能。
2025-07-17 cs.CV
MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Inceptio Tech.（嬴彻科技）
真实世界的训练数据通常呈现长尾分布，其中几个多数类具有比其余少数类显著更多的样本数量。这种不平衡降低了为平衡训练集设计的典型监督学习算法的性能。在本文中，我们解决了这个问题，通过增加少数民族类最近提出的隐式语义数据增强（ISDA）算法，产生多样化的增强样本翻译深功能沿许多语义有意义的方向。重要的是，考虑到ISDA估计类条件统计以获得语义方向，我们发现由于训练数据不足，在少数类上这样做是无效的。为此，我们提出了一种新的方法来学习转换的语义方向与元学习自动。具体地说，在训练过程中的增强策略是动态优化的，旨在最大限度地减少一个小的平衡验证集的损失，这是通过Meta更新步骤近似。在CIFAR-LT-10/100、ImageNet-LT和iNaturalist 2017/2018上的大量实证结果验证了我们方法的有效性。
2021-04-07 cs.CV
Co-Learning Meets Stitch-Up for Noisy Multi-label Visual Recognition
Zhejiang University（浙江大学）
本文针对长尾多标签视觉数据中的标签噪声问题，提出了Stitch-Up增强方法和异构协同学习框架，通过合成干净样本和利用分布不一致性生成更干净标签，在构建的新基准上取得了优于基线的结果。
2023-07-03 cs.CV
MICACL: Multi-Instance Category-Aware Contrastive Learning for Long-Tailed Dynamic Facial Expression Recognition
University of Science and Technology of China（科学技术大学）；Hefei University of Technology（合肥工业大学）；IAI, Hefei Comprehensive National Science Center（IAI合肥国家科学中心）
MICACL通过整合时空依赖建模和长尾对比学习优化，提升动态面部表情识别的鲁棒性和泛化能力。
2025-09-04 cs.CV
SciLT: Long-tailed Image Classification under Scientific Image Domains
Gaoling School of Artificial Intelligence（人工智能学院）
本文研究了科学图像领域的长尾识别问题，发现基础模型微调效果有限，提出SciLT框架通过多级表征和双监督学习实现头尾类平衡，实验表明其在科学长尾识别中表现优异。
2026-08-10 cs.CV
Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
Tsinghua University（清华大学）；ByteDance（字节跳动）；Microsoft（微软）
现实世界中的数据往往呈现长尾标签分布，这给视觉识别中的神经网络训练带来了巨大的挑战。现有的方法主要从数据量的角度来解决这个问题，即，每个类别中的样本数量。具体来说，他们更关注尾部类，比如对logit应用更大的调整。然而，在训练过程中，数据的数量和难度是两个相互交织、同样关键的问题。对于某些尾类，其实例的特征具有明显的区分性，也能带来令人满意的准确率;对于某些头类，虽然样本足够，但由于与其他类的语义相似度高，缺乏区分性特征，准确率会很差。基于这些观察结果，我们提出了自适应Logit调整损失（ALA损失）应用自适应调整项的logit。自适应调整项由两个互补因子组成：1）数量因子，它更关注尾类; 2）难度因子，它在训练过程中自适应地更关注硬实例。难度因子可以缓解尾部但容易的实例的过度优化和头部但困难的实例的优化不足。这两个因素的协同作用不仅可以进一步提高尾类的性能，而且还可以提高头类的准确性。与以往的logit调整方法只关注数据量不同，ALA Loss从更全面、细粒度和自适应的角度解决了长尾问题。大量的实验结果表明，我们的方法在具有挑战性的识别基准测试中达到了最先进的性能，包括ImageNet-LT，iNaturalist 2018和Places-LT。
2021-09-23 cs.CV
Nested Collaborative Learning for Long-Tailed Visual Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baidu Research（百度研究院）；University of Chinese Academy of Sciences（中国科学院大学）
尽管训练设置相同，但在长尾数据集上训练的网络差异很大，这表明长尾学习具有很大的不确定性。为了减轻不确定性，我们提出了一个嵌套的协作学习（NCL），它通过协作学习多个专家一起解决这个问题。NCL包括两个核心部分：嵌套个体学习（NIL）和嵌套平衡在线蒸馏（NBOD），分别关注单个专家的个体监督学习和多个专家之间的知识传递。为了更彻底地学习表示，NIL和NBOD都是以嵌套的方式制定的，其中不仅从完整的角度对所有类别进行学习，而且从部分角度对一些硬类别进行学习。关于局部视角的学习，我们特别选择预测得分高的负面类别作为硬类别，使用建议的硬类别挖掘（HCM）。在NCL中，从两个角度的学习是嵌套的，高度相关和互补的，并帮助网络不仅捕获全局和鲁棒的特征，而且具有细致的区分能力。此外，自我监督进一步用于特征增强。大量的实验表明，我们的方法优于国家的最先进的无论是通过使用单一的模型或合奏的优越性。
2022-04-19 cs.CV
Margin Calibration for Long-Tailed Visual Recognition
Tokyo Institute of Technology（东京工业大学）；Microsoft STCA（微软STCA）；Nanjing University（南京大学）；Microsoft Research Asia（微软亚洲研究院）
视觉识别任务中的长尾类分布对神经网络如何处理头类和尾类之间的有偏预测提出了很大的挑战，即，该模型倾向于将尾类分类为头类。现有的研究主要集中在数据恢复和损失函数工程上，本文从不同的角度研究了分类边界。我们研究了边际和logits（分类分数）之间的关系，并实证观察到有偏边际和有偏logits呈正相关。我们提出了MARC，一个简单而有效的MARgin校准功能，动态校准无偏logits的有偏利润。我们通过对CIFAR-LT、ImageNet-LT、Places-LT和iNaturalist-LT等常见的长尾基准测试进行大量的实验来验证MARC。实验结果表明，我们的MARC在这些基准测试上都取得了良好的效果。此外，MARC非常容易实现，只需三行代码。我们希望这个简单的方法能激励人们重新思考长尾视觉识别中的有偏边缘和有偏logit。
2022-10-08 cs.AI cs.CV cs.LG
Solution for Large-scale Long-tailed Recognition with Noisy Labels
Sun Yat-sen University（中山大学）；Tencent Youtu Lab（腾讯优图实验室）
这是CVPR 2021 AliProducts挑战赛的技术报告。AliProducts Challenge是为研究世界领先的电子商务公司遇到的大规模和细粒度商品图像识别问题而提出的竞赛。大规模的产品识别同时满足噪声注释，不平衡（长尾）的数据分布和细粒度分类的挑战。在我们的解决方案中，我们采用了CNN和Transformer的最先进的模型架构，包括ResNeSt，EfficientNetV2和DeiT。我们发现，迭代数据清理，分类器权重归一化，高分辨率微调和测试时间增加是提高噪声和不平衡数据集训练性能的关键组成部分。最后，我们得到了6.4365%的平均类出错率在排行榜上与我们的集成模型。
2021-06-20 cs.AI cs.CV
Balanced Meta-Softmax for Long-Tailed Visual Recognition
SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）
深度分类器在视觉识别中取得了巨大的成功。然而，现实世界的数据本质上是长尾的，导致训练和测试分布之间的不匹配。在本文中，我们证明了Softmax函数虽然用于大多数分类任务，但在长尾设置下给出了有偏梯度估计。本文提出了平衡Softmax，Softmax的一个优雅的无偏扩展，以适应训练和测试之间的标签分布偏移。理论上，我们推导出多类Softmax回归的推广界，并证明我们的损失最小化了界。此外，我们还引入了Balanced Meta-Softmax算法，利用一个互补的Meta Sampler来估计最优的类采样率，进一步改进了长尾学习。在我们的实验中，我们证明了Balanced Meta-Softmax在视觉识别和实例分割任务上都优于最先进的长尾分类解决方案。
2020-11-22 cs.CV cs.LG stat.ML
PI-H2T: Enhancing Long-Tailed Visual Recognition with Permutation-Invariant and Head-to-Tail Feature Fusion
Guangdong Provincial Key Laboratory of Visual Media and Multidimensional Intelligence, CSSE, Shenzhen University, China（广东省视觉媒体与多维智能重点实验室，计算机科学与电子技术学院，深圳大学，中国）；Fujian Key Laboratory of Sensing and Computing for Smart City, School of Informatics, Xiamen University, China（福建省智慧城市感知与计算重点实验室，信息学院，厦门大学，中国）；Department of Computer Science, Hong Kong Baptist University, China（计算机科学系，香港 Baptist 大学，中国）；Inspur Smart City Technology Co., Ltd., China（Inspur 智能城市技术有限公司，中国）
针对长尾数据不平衡致深度学习模型准确率低的问题，提出PI-H2T方法，通过排列不变表示融合增强表示空间，利用头到尾融合调整分类器，经理论分析和实验验证其有效性，且可无缝集成到现有方法中提升性能。
2026-07-21 cs.CV
Long-tailed Visual Recognition via Gaussian Clouded Logit Adjustment
Hong Kong Baptist University（香港浸会大学）；Xiamen University（厦门大学）
本文提出高斯模糊化对数调整方法，通过对尾部类施加较大振幅的高斯扰动来缓解softmax饱和，扩大其嵌入空间，并结合基于类的有效数采样与分类器重训练，有效解决长尾视觉识别问题。
2023-05-19 cs.CV
LMPT: Prompt Tuning with Class-Specific Embedding Loss for Long-tailed Multi-Label Visual Recognition
Monash University（莫纳什大学）；Imperial College London（伦敦帝国学院）
针对长尾多标签视觉识别，提出LMPT提示调优框架，通过类别特定嵌入损失和分布平衡损失融合图文语义，显著提升头尾类别性能。
2024-06-18 cs.CV
Disentangling Label Distribution for Long-tailed Visual Recognition
Hyperconnect（Hyperconnect公司）
目前的长尾视觉识别评估协议在长尾源标签分布上训练分类模型，并在均匀目标标签分布上评估其性能。这种协议的实用性值得怀疑，因为目标也可能是长尾的。因此，我们制定长尾视觉识别作为一个标签偏移问题的目标和源标签分布是不同的。处理标签偏移问题的一个重要障碍是源标签分布和模型预测之间的纠缠。在本文中，我们专注于从模型预测中解开源标签分布。我们首先介绍一种简单但被忽视的基线方法，该方法通过对交叉熵损失和Softmax函数训练的模型预测进行后处理来匹配目标标签分布。虽然这种方法在基准数据集上超过了最先进的方法，但可以通过在训练阶段直接将源标签分布与模型预测分离来进一步改进。因此，我们提出了一种新的方法，拉贝尔分布解纠缠（LADE）损失的基础上的最佳界的Donsker-Varadhan表示。LADE在CIFAR-100-LT、Places-LT、ImageNet-LT和iNaturalist 2018等基准数据集上实现了最先进的性能。此外，LADE优于现有的方法在各种移动的目标标签分布，显示了我们所提出的方法的一般适应性。
2021-03-20 cs.CV cs.LG
NCL++: Nested Collaborative Learning for Long-Tailed Visual Recognition
Institute of Deep Learning, Baidu Research（百度研究院深度学习研究所）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）
针对长尾视觉识别中数据不平衡导致的学习不确定性，提出NCL++嵌套协作学习，通过专家间与专家内协作及平衡在线蒸馏和困难类别挖掘，提升识别性能，优于现有最先进方法。
2024-07-18 cs.CV
Mixture of Balanced Information Bottlenecks for Long-Tailed Visual Recognition
Huazhong University of Science and Technology（华中科技大学）
针对真实视觉数据长尾分布带来的训练部署难题，提出整合损失重平衡与自蒸馏的平衡信息瓶颈BIB，进一步构建多层知识融合的MBIB混合结构，在多个长尾数据集上实现SOTA性能。
2025-09-01 cs.CV cs.IT math.IT
Long-Tailed Visual Recognition via Self-Heterogeneous Integration with Knowledge Excavation
Xiamen University（厦门大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Hong Kong Baptist University（香港浸会大学）
针对长尾视觉识别中专家模型深度单一的问题，提出基于知识挖掘的自异构集成方法SHIKE，通过深度知识融合与动态知识转移提升专家多样性与尾部类准确率，在多个数据集上达到SOTA。
2023-04-06 cs.CV
DBN-Mix: Training Dual Branch Network Using Bilateral Mixup Augmentation for Long-Tailed Visual Recognition
Hanyang University（汉阳大学）
本文提出双边 mixup 增强与逐类温度缩放方法，并应用于双分支网络框架构建 DBN-Mix 模型，有效缓解长尾视觉识别中的类别不平衡与少数类表示困难，显著提升基线性能并在部分基准中达到 SOTA。
2022-08-20 cs.CV cs.LG
Towards Calibrated Model for Long-Tailed Visual Recognition from Prior Perspective
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
现实世界的数据普遍面临着严重的类不平衡问题，并表现出长尾分布，即，大多数标签与有限的实例相关联。由这些数据集监督的幼稚模型会更喜欢主导标签，遇到严重的泛化挑战，并且校准不良。我们提出了两个新的方法，从先验的角度来缓解这种困境。首先，我们推导出一个平衡导向的数据增强均匀混合（UniMix），以促进混合在长尾场景，它采用了先进的混合因子和采样器，有利于少数。其次，在贝叶斯理论的指导下，我们计算出贝叶斯偏差（Bayias），这是一种由先验不一致引起的固有偏差，并将其作为标准交叉熵损失的修正进行补偿。我们进一步证明，所提出的方法确保分类校准理论和经验。大量的实验验证了我们的策略有助于更好地校准模型，并且它们的组合在CIFAR-LT，ImageNet-LT和iNaturalist 2018上实现了最先进的性能。
2021-11-06 cs.CV cs.LG
Balanced Contrastive Learning for Long-Tailed Visual Recognition
Fudan University（复旦大学）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）；La Trobe University（乐卓博大学）
真实世界的数据通常遵循长尾分布，其中少数多数类别占据大部分数据，而大多数少数类别包含有限数量的样本。最小化交叉熵的分类模型很难表示和分类尾类。虽然学习无偏分类器的问题已经得到了很好的研究，表示不平衡的数据的方法是探索不足。在本文中，我们专注于不平衡数据的表示学习。最近，监督对比学习在平衡数据上表现出了良好的性能。然而，通过我们的理论分析，我们发现，对于长尾数据，它未能形成一个规则的单纯形，这是一个理想的几何配置的表示学习。为了纠正SCL的优化行为，进一步提高长尾视觉识别的性能，我们提出了一种新的损失平衡对比学习（BCL）。与SCL相比，BCL有两个改进：类平均，它平衡了负类的梯度贡献;类补充，它允许所有类出现在每个小批次中。提出的平衡对比学习（BCL）方法满足形成正则单纯形的条件，并辅助交叉熵的优化。配备BCL，所提出的两分支框架可以获得更强的特征表示，并在CIFAR-10-LT，CIFAR-100-LT，ImageNet-LT和iNaturalist 2018等长尾基准数据集上实现具有竞争力的性能。我们的代码可在https://github.com/FlamieZhu/BCL上获得。
2022-09-10 cs.CV cs.LG
BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition
Megvii Technology（旷视科技）；Waseda University（早稻田大学）；Nanjing University（南京大学）
我们的工作重点是解决具有挑战性但自然的长尾数据分布视觉识别任务（即，少数类占据了大部分数据，而大多数类很少有样本）。在文献中，阶级再平衡策略（例如，重加权和重采样）是为解决长尾问题而提出的显著而有效的方法。在本文中，我们首先发现这些重新平衡方法能够达到令人满意的识别精度，这是因为它们可以显著促进深度网络的分类器学习。然而，与此同时，它们会在某种程度上意外地损害学习到的深层特征的代表能力。因此，我们提出了一个统一的双边分支网络（BBN），以同时兼顾表示学习和分类器学习，其中每个分支确实单独执行自己的职责。特别是，我们的BBN模型进一步配备了一种新的累积学习策略，该策略旨在首先学习通用模式，然后逐渐关注尾部数据。在四个基准数据集上进行的广泛实验，包括大规模的iNaturalist数据集，证明了所提出的BBN可以显着优于最先进的方法。此外，验证实验可以证明我们的初步发现和BBN的长尾问题的定制设计的有效性。我们的方法在iNaturalist 2019大型物种分类竞赛中获得了第一名，我们的代码是开源的，可在https://github.com/Megvii-Nanjing/BBN上获得。
2020-03-10 cs.CV cs.LG
Global and Local Mixture Consistency Cumulative Learning for Long-tailed Visual Recognitions
Yunnan University（云南大学）
提出GLMC单阶段训练策略，通过全局与局部混合一致性损失和累积头部-尾部软标签重加权损失，提升长尾识别鲁棒性并缓解头部偏置，在多个长尾数据集上达到最先进准确率。
2023-05-15 cs.AI cs.CV
Dual-Margin Embedding for Fine-Grained Long-Tailed Plant Taxonomy
Changwon National University（昌原国立大学）；Max Planck Institute for Security and Privacy (MPI-SP)（马克斯·普朗克安全与隐私研究所）；AiV Co.（AiV公司）
本文提出TaxoNet框架，通过理论支撑的双边目标优化类别决策边界，在类别不平衡情况下提升细粒度区分能力和稀有类表示几何。在开放世界设置中，利用多种植物数据集验证了其优于多模态基础模型的性能。
2026-04-13 cs.CV
Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Hong Kong Baptist University（香港浸会大学）；Xiamen University（厦门大学）；Shenzhen University（深圳大学）
本文从特征层面解决长尾视觉识别问题，通过高斯形式特征增强平衡嵌入分布，并基于扰动特征提出两种logit调整方法，校准嵌入空间并消除分类器偏差，实验证明优于现有方法。
2024-07-18 cs.AI cs.CV
VICAL: Vicinal Consistency Alignment for Long-Tailed Visual Recognition
Fudan University（复旦大学）；Zhejiang University of Technology（浙江工业大学）；Singapore Management University（新加坡管理大学）；La Trobe University（拉筹伯大学）
该研究针对长尾视觉识别，提出 VICAL 框架，通过自一致性学习和深度集成蒸馏减少预测方差，在多个长尾数据集上优于现有方法。
2026-09-07 cs.AI cs.CV
Improving Visual Prompt Tuning by Gaussian Neighborhood Minimization for Long-Tailed Visual Recognition
Guangming Laboratory（光明实验室）；Xiamen University（厦门大学）；Guangdong University of Technology（广东工业大学）；Hong Kong Baptist University（香港浸会大学）；Shenzhen University（深圳大学）
针对长尾识别中尾部类泛化差及 SAM 计算开销高的问题，本文提出 RSAM-PT，通过随机邻域单步梯度更新与延迟再加权提升性能。
2024-10-28 cs.CV
FER-C: Benchmarking Out-of-Distribution Soft Calibration for Facial Expression Recognition
School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
该研究提出FER-C软基准，针对面部表情识别模型校准偏差及分布外偏移加剧的表情模糊问题，采用能近似不同OOD偏移下平均信息损失的软标签，验证了校准对五种先进FER算法的提升作用。
2023-12-16 cs.CV
On the Use of Synthetic Data for Threshold Calibration in Face Recognition: Performance and Security Implications for Border Control Systems
Faculty of Information Technology and Electrical Engineering, University of Oulu（奥卢大学信息技术与电气工程学院）
研究合成数据用于边境控制系统人脸识别阈值校准，分析合成与真实数据集分数分布对齐及校准阈值跨域转移性，发现合成数据在受控环境可近似校准，但在无约束条件下不可靠，校准结果依赖数据集，高安全部署需真实数据验证调整。
2026-07-29 cs.CV
Adaptive Calibration for Fair and Performant Facial Recognition
University of Oxford（牛津大学）
提出自适应校准（AC）方法，通过将归一化嵌入的余弦相似度映射为校准概率，并融入局部上下文校正区域差异，从而在无需人口统计元数据的情况下提升面部识别的整体性能和公平性。
2026-09-09 cs.AI cs.CV
Probabilistic Contrastive Learning for Long-Tailed Visual Recognition
Tsinghua University（清华大学）
针对长尾视觉识别中的数据不平衡问题，提出概率对比学习（ProCo）算法，通过假设归一化特征服从vMF混合分布，实现高效分布估计与无限对比对采样，并推导闭式损失以优化性能。
2024-03-14 cs.CV cs.LG
VideoLT: Large-scale Long-tailed Video Recognition
Fudan University（复旦大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；University of Maryland（马里兰大学）
现实世界中的标签分布通常是长尾和不平衡的，导致模型偏向于主导标签。虽然长尾识别已被广泛研究的图像分类任务，有限的努力已经取得了视频域。在本文中，我们介绍了VideoLT，一个大规模的长尾视频识别数据集，作为迈向真实世界视频识别的一步。我们的VideoLT包含256，218个未修剪的视频，注释为1，004个具有长尾分布的类。通过广泛的研究，我们证明了用于长尾图像识别的最先进的方法在视频域中表现不佳，由于视频数据中的额外的时间维度。这促使我们提出FrameStack，一个简单而有效的方法长尾视频识别任务。特别是，FrameStack在帧级执行采样，以平衡类分布，并且在训练期间使用从网络导出的知识动态确定采样率。实验结果表明，FrameStack可以提高分类性能，而不牺牲整体精度。代码和数据集可在https://github.com/17Skye17/VideoLT上获得。
2021-08-18 cs.CV
Learning Muti-expert Distribution Calibration for Long-tailed Video Classification
University of Science and Technology Beijing（北京科技大学）；Peng Cheng Laboratory（鹏城实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
大多数现有的最先进的视频分类方法假设训练数据服从均匀分布。然而，现实世界中的视频数据通常表现出不平衡的长尾类分布，导致模型偏向头类，尾类性能相对较低。虽然当前的长尾分类方法通常集中在图像分类上，但将其应用于视频数据并不是一个微不足道的扩展。我们提出了一个端到端的多专家分布校准方法，以解决这些挑战的基础上两级分布信息。该方法综合考虑了样本在各个类中的分布（类内分布）和多样性数据的总体分布（类间分布），解决了长尾分布下数据不均衡的问题。该模型通过对两级分布信息进行建模，将头类和尾类联合考虑，有效地传递头类的知识，提高尾类的性能。大量的实验验证了我们的方法在长尾视频分类任务上达到了最先进的性能。
2022-07-05 cs.CV
Transfer Knowledge from Head to Tail: Uncertainty Calibration under Long-tailed Distribution
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）
本文针对长尾分布下模型校准问题，提出一种基于知识迁移的校准方法，通过将头部类别统计信息作为先验来估计尾部类别样本的重要性权重，从而缓解模型对头部类别的过度自信，并在多个长尾数据集上验证了其有效性。
2023-04-13 cs.CV
Investigate the Essence of Long-Tailed Recognition from a Unified Perspective
随着数据规模的增长，深度识别模型通常会受到长尾数据分布的影响，这是由于类别之间的样本数量严重不平衡。实际上，真实世界数据通常在不同类别之间表现出某种相似性关系（例如，鸽子和麻雀），在这项工作中称为类别相似性。当具有相似外观的这些类别之间出现不平衡时，这就更加困难了。然而，现有的解决方案主要集中在样本数量，以重新平衡数据分布。在这项工作中，我们从统一的角度系统地研究了长尾问题的本质。具体来说，我们证明了长尾识别受到样本数量和类别相似性的影响。直觉上，我们首先用一个玩具的例子，表明样本数不是唯一的影响因素长尾识别的性能下降。理论上，我们证明了（1）类别相似性作为一个不可避免的因素，也会通过相似样本影响长尾分布下的模型学习，（2）使用更具区分性的表示方法（例如，自监督学习）进行相似性降低，可以进一步减轻分类器偏差，同时大大提高性能。在几个长尾数据集上的实验验证了理论分析的合理性，并表明在现有的SOTA基础上，通过相似性约简可以进一步提高性能。我们的研究突出了长尾问题背后的本质，并为未来的工作提出了几个可行的方向。
2022-08-17 cs.CV
Long-tailed Recognition by Learning from Latent Categories
Nanyang Technological University（南洋理工大学）
在这项工作中，我们解决了具有挑战性的任务长尾图像识别。以往的长尾识别方法通常关注于尾部类的数据增强或重新平衡策略，以在模型训练过程中给予尾部类更多关注。然而，由于尾类的训练图像有限，尾类图像的多样性仍然受到限制，这导致特征表示较差。在这项工作中，我们假设头部和尾部类中的共同潜在特征可以用于提供更好的特征表示。基于此，我们提出了一种基于潜在类别的长尾识别方法（LCReg）。具体来说，我们建议学习一组在头部和尾部类之间共享的类不可知的潜在特征。然后，我们隐式地丰富训练样本的多样性，通过应用语义数据增强的潜在特征。在五个长尾图像识别数据集上的广泛实验表明，我们提出的LCReg能够显着优于以前的方法，并实现最先进的结果。
2022-09-12 cs.CV
Semi-supervised Long-tailed Recognition using Alternate Sampling
UC, San Diego（加州大学圣迭戈分校）；Wormpex AI Research（Wormpex AI 研究院）
长尾识别面临的主要挑战是数据分布不平衡和尾类样本稀缺。虽然已经提出了一些技术来实现更平衡的训练损失，并改善尾类数据与合成样本的变化，但我们利用现成的未标记数据来提高识别准确性。这个想法导致了一个新的识别设置，即半监督长尾识别。我们认为，这种设置更好地类似于现实世界的数据汇集和注释过程，因此可以帮助缩小差距，以现实世界的情况。为了解决半监督长尾识别问题，我们提出了一个交替采样框架，结合了这两个研究领域中成功方法的直觉。分类器和特征嵌入分别学习并迭代更新。采用类平衡采样策略对未标记数据进行分类器的训练，使分类器的训练不受伪标记质量的影响。引入了一致性损失，以限制未标记数据的影响，同时利用它们来更新特征嵌入。我们在两个数据集上证明了与其他竞争方法相比的显着准确性提高。
2021-05-01 cs.CV
Self-Supervised Aggregation of Diverse Experts for Test-Agnostic Long-Tailed Recognition
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；ByteDance（字节跳动）
现有的长尾识别方法，旨在从长尾数据中训练类平衡模型，通常假设模型将在均匀测试类分布上进行评估。然而，实际的测试类分布经常违反这个假设（例如，或者是长尾的或者甚至是反长尾的），这可能导致现有方法在实际应用中失败。在本文中，我们研究了一个更实际但具有挑战性的任务，称为测试不可知的长尾识别，其中训练类分布是长尾的，而测试类分布是不可知的，不一定是均匀的。除了类不平衡的问题之外，该任务还提出了另一个挑战：训练数据和测试数据之间的类分布偏移是未知的。为了解决这个问题，我们提出了一种新的方法，称为自监督聚合的不同的专家，它包括两个策略：（i）一个新的技能多样化的专家学习策略，训练多个专家从一个单一的和固定的长尾数据集，分别处理不同的类分布;（ii）一种新的测试时专家聚合策略，其利用自我监督来聚合学习到的多个专家以处理未知的测试类分布。我们从理论上证明了我们的自监督策略具有可证明的能力来模拟测试不可知的类分布。有前途的实证结果表明，我们的方法对香草和测试不可知的长尾识别的有效性。代码可在\url{https://github.com/Vanint/SADE-AgnosticLT}上获得。
2022-10-27 cs.CV
Supervised Contrastive Learning on Blended Images for Long-tailed Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
真实世界的数据通常具有长尾分布，其中每个类的样本数量在训练类中不相等。不平衡的数据形成有偏的特征空间，这恶化了识别模型的性能。在本文中，我们提出了一种新的长尾识别方法来平衡潜在的特征空间。首先，我们引入了一种基于MixUp的数据增强技术来减少长尾数据的偏差。此外，我们提出了一种新的监督对比学习方法，命名为监督对比学习混合类（SMC），混合图像。SMC根据原始图像的类别标签创建一组阳性图像。阳性的组合比率对训练损失中的阳性进行加权。基于类混合损失的SMC探索了更多样的数据空间，增强了模型的泛化能力。在各种基准测试上的大量实验表明了我们的一阶段训练方法的有效性。
2022-11-22 cs.CV
Self Supervision to Distillation for Long-Tailed Visual Recognition
Nanjing University（南京大学）
深度学习在大规模平衡数据集上的视觉识别方面取得了显着进展，但在现实世界的长尾数据上仍然表现不佳。以往的方法通常采用类再平衡训练策略来有效缓解不平衡问题，但可能存在过拟合尾类的风险。最近的解耦方法通过使用多阶段训练方案克服了过拟合问题，然而，它仍然无法在特征学习阶段捕获尾类信息。在本文中，我们表明，软标签可以作为一个强大的解决方案，将标签相关到一个多阶段的训练计划长尾识别。软标签所体现的类之间的内在联系，有助于长尾识别，将知识从头部转移到尾部类。具体来说，我们提出了一个概念上简单但特别有效的多阶段训练计划，称为自监督蒸馏（SSD）。该方案由两部分组成。首先，我们介绍了一个自蒸馏框架的长尾识别，它可以自动挖掘标签关系。其次，提出了一种新的自监督引导的蒸馏标签生成模块。提取的标签集成了标签和数据域的信息，可以有效地建模长尾分布。我们进行了广泛的实验，我们的方法在三个长尾识别基准测试中取得了最先进的结果：ImageNet-LT，CIFAR 100-LT和iNaturalist 2018。我们的SSD在各种数据集上从$2.7\%$到$4.5\%$都优于强大的LWS基线。该代码可在https://github.com/MCG-NJU/SSD-LT上获得。
2021-09-09 cs.CV
Improving Calibration for Long-Tailed Recognition
Chinese University of Hong Kong（香港中文大学）；SmartMore
当训练数据集严重类别不平衡时，深度神经网络可能表现不佳。最近，两阶段方法解耦表示学习和分类器学习，以提高性能。但仍然有一个至关重要的问题，即校准错误。为了解决这个问题，我们设计了两种方法来提高这种情况下的校准和性能。由于类的预测概率分布与类实例的数量高度相关，我们提出了标签感知平滑来处理类的不同程度的过度自信，并改善分类器学习。对于这两个阶段之间的数据集偏差，由于不同的采样器，我们进一步提出了移位批量归一化的解耦框架。我们提出的方法在多个流行的长尾识别基准数据集上创造了新的记录，包括CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、Places-LT和iNaturalist 2018。代码将在https://github.com/Jia-Research-Lab/MiSLAS上提供。
2021-04-01 cs.CV
Breadcrumbs: Adversarial Class-Balanced Sampling for Long-tailed Recognition
UC, San Diego（加州大学圣迭戈分校）；Wormpex AI Research（Wormpex AI 研究院）
长尾识别的问题，每类的例子的数量是高度不平衡的，被认为是。虽然使用类平衡采样的训练已被证明对这个问题有效，但已知过拟合到Few-Shot类。据推测，这是由于重复采样的例子，可以解决的特征空间增强。提出了一种新的特征增强策略EMANATE，该策略基于训练过程中跨时期的特征回溯。结果表明，与类平衡抽样不同，这是一种对抗性增强策略。然后引入一个新的采样过程，面包屑，实现对抗类平衡采样，而无需额外的计算。在三个流行的长尾识别数据集上的实验表明，面包屑训练产生的分类器优于现有的问题解决方案。
2021-05-01 cs.CV
Distilling Virtual Examples for Long-tailed Recognition
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机科学与技术系（注：此处原机构为南京大学，具体实验室为 Novel Software Technology 重点实验室，按要求提取到大学级别））；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与技术学院）
本文从知识蒸馏的角度出发，提出了一种虚拟样本蒸馏（DiVE）方法来解决长尾视觉识别问题。具体来说，通过将教师模型的预测视为虚拟示例，我们证明了从这些虚拟示例中提取等价于在某些约束下的标签分布学习。我们表明，当虚拟示例分布变得比原始输入分布更平坦时，代表性不足的尾部类将得到显着改善，这在长尾识别中至关重要。所提出的DiVE方法可以显式地调整虚拟示例分布，使其变得平坦。在三个基准数据集（包括大规模iNaturalist数据集）上进行的广泛实验证明，所提出的DiVE方法可以显着优于最先进的方法。此外，额外的分析和实验验证了虚拟示例的解释，并证明了定制设计的有效性，在潜水长尾问题。
2021-09-19 cs.CV
A Simple Long-Tailed Recognition Baseline via Vision-Language Model
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
视觉世界自然地呈现出开放类的长尾分布，这对现代视觉系统提出了巨大的挑战。现有的方法要么执行类重新平衡策略，或直接改善网络模块来解决这个问题。然而，他们仍然训练模型与一组有限的预定义的标签，限制他们的监督信息和限制他们的可移植性，以新的实例。大规模对比视觉语言预训练的最新进展为视觉识别提供了一条新的途径。通过开放词汇监督，预训练的对比视觉语言模型学习强大的多模态表示，有望处理数据不足和不可见的概念。通过计算视觉和文本输入之间的语义相似度，视觉识别转换为视觉语言匹配问题。受此启发，我们建议BALLAD利用对比视觉语言模型进行长尾识别。我们首先通过特定长尾目标数据集上的对比学习继续预训练视觉语言主干。之后，我们冻结主干，并进一步采用额外的适配器层，以增强尾类在使用重采样策略构建的平衡训练样本上的表示。广泛的实验已经进行了三个流行的长尾识别基准。因此，我们简单而有效的方法设置了新的最先进的性能，并以较大的利润率超过竞争对手的基线。代码发布于https://github.com/gaopengcuhk/BALLAD。
2021-11-29 cs.CV
Balancing Domain Experts for Long-Tailed Camera-Trap Recognition
KAIST（韩国科学技术院）
相机陷阱图像中的标签分布是高度不平衡和长尾的，导致神经网络倾向于偏向频繁出现的头类。虽然长尾学习已经被广泛探索以解决数据不平衡问题，但很少有研究考虑相机陷阱特征，例如多域和多帧设置。在这里，我们提出了一个统一的框架，并介绍了两个数据集的长尾相机陷阱识别。我们首先设计领域专家，每个专家学习平衡由数据不平衡引起的不完善的决策边界，并相互补充以生成领域平衡的决策边界。此外，我们提出了一个流的一致性损失，专注于移动对象，期望多帧的类激活地图匹配的流与输入图像的光流地图。此外，两个长尾相机陷阱数据集，WCS-LT和DMZ-LT，介绍了验证我们的方法。实验结果表明，我们的框架的有效性，并提出的方法优于以往的方法对隐性域样本。
2022-02-16 cs.CV
Rethink Long-tailed Recognition with Vision Transformers
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Shenzhen Peng Cheng Lab（深圳鹏城实验室）
本文重新审视基于视觉Transformer的长尾识别，发现ViT在长尾数据上难以训练但可通过无监督学习获得泛化特征，并提出预测分布校准（PDC）度量模型的预测偏好，实验验证其能精确反映校准情况。
2023-04-17 cs.CV
Class-Aware Universum Inspired Re-Balance Learning for Long-Tailed Recognition
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对少数类的数据增强是长尾识别的一种有效策略，因此发展了大量的方法。虽然这些方法都保证了样本数量的平衡，但增强样本的质量并不总是令人满意的识别，容易出现过拟合，缺乏多样性，语义漂移等问题。针对这些问题，我们提出了类感知的Universum启发再平衡学习（CaUIRL）用于长尾识别，这赋予了Universum从样本数量和质量两个方面重新平衡单个少数类的类意识能力。特别是，我们从理论上证明了CaUIRL学习的分类器是一致的，从贝叶斯的角度来看，在平衡条件下学习。此外，我们进一步开发了一种高阶混合方法，该方法可以自动生成类感知的Universum（CaU）数据，而无需借助任何外部数据。与传统的Universum不同，这种生成的Universum还考虑了域相似性，类可分性和样本多样性。在基准数据集上的大量实验表明，该方法具有令人惊讶的优势，特别是少数类的top1准确率比最先进的方法提高了1.9%-6%。
2022-08-11 cs.CV
Decoupling Representation and Classifier for Long-Tailed Recognition
Facebook AI（脸书人工智能研究院）；National University of Singapore（新加坡国立大学）
视觉世界的长尾分布对基于深度学习的分类模型如何处理类不平衡问题提出了巨大挑战。现有的解决方案通常涉及类平衡策略，例如，通过损失重加权、数据重采样或从头类到尾类的迁移学习，但是它们中的大多数坚持联合学习表示和分类器的方案。在这项工作中，我们将学习过程解耦为表示学习和分类，并系统地探讨了不同的平衡策略如何影响它们的长尾识别。调查结果令人惊讶：（1）数据不平衡可能不是学习高质量表示的问题;（2）使用最简单的实例平衡（自然）采样学习的表示，也可以通过仅调整分类器来实现强大的长尾识别能力。我们进行了广泛的实验，并在ImageNet-LT，Places-LT和iNaturalist等常见长尾基准上设置了新的最先进的性能，表明通过使用简化表示和分类的直接方法，可以超越精心设计的损失，采样策略，甚至是具有内存的复杂模块。我们的代码可在www.example.com上获得。
2020-02-19 cs.CV
SAU: A Dual-Branch Network to Enhance Long-Tailed Recognition via Generative Models
The University of Sydney（悉尼大学）；School of Computer Science（计算机学院）
提出双分支网络SAU，利用生成模型产生的合成数据补充长尾数据集，通过合成不感知分支分类与合成感知分支提升鲁棒性，显著提升长尾图像识别准确率。
2024-08-29 cs.CV
DAF:re: A Challenging, Crowd-Sourced, Large-Scale, Long-Tailed Dataset For Anime Character Recognition
National Chiao Tung University（国立交通大学）
在这项工作中，我们解决了具有挑战性的问题，动漫字符识别。动漫，指的是日本国内制作的动画以及从中衍生或受到启发的作品。为此，我们介绍了DanbooruAnimeFaces：revised，这是一个大规模、众包、长尾的数据集，包含近500 K的图像，分布在3000多个类中。此外，我们使用各种分类模型，包括基于CNN的ResNets和基于自我注意力的视觉Transformer（ViT），对mathematical：re和类似的数据集进行实验。我们的结果为ViT模型在与上游预训练所用数据集截然不同的领域数据集上的泛化和迁移学习属性提供了新的见解，包括训练中批次和图像大小的影响。此外，我们分享我们的数据集，源代码，预训练的检查点和结果，作为Animesion，第一个大规模动漫角色识别的端到端框架：https://github.com/arkel23/animesion
2021-01-21 cs.CV
Aligned Contrastive Loss for Long-Tailed Recognition
Panasonic R&D Center Singapore（松下新加坡研发中心）；Nanyang Technological University（南洋理工大学）；Panasonic Connect Co., Ltd. R&D Division（松下连接有限公司研发部）
本文提出对齐对比学习（ACL）算法，通过理论分析发现监督对比学习中的梯度冲突和正负样本梯度不平衡问题，并在多个长尾数据集上验证其达到新的最先进性能。
2025-06-01 cs.CV
