AdaPCLA: Adaptive Prior-Calibrated Logit Adjustment for Long-Tailed Longitudinal EHR Generation
University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学)
研究针对纵向电子健康记录生成中标准模型的不足,提出AdaPCLA框架,通过数据分布感知训练策略、模拟退火训练及零样本分布控制实现自适应拟合与生成,理论分析刻画相关界限,实验验证其在多方面有提升。
2026-10-15 cs.LG
Generalised Balanced Softmax: A Finite-Data Perspective on Logit Adjustment for Long-Tailed Recognition
School of Computing and Mathematical Sciences, University of Leicester(莱斯特大学计算与数学科学学院);Department of Physics and Astronomy, University of Leicester(莱斯特大学物理与天文学系);Scientific Computing, Rutherford Appleton Laboratory, Science and Technology Facilities Council(科学技术设施委员会卢瑟福·阿普尔顿实验室科学计算部);School of Computer Science and Informatics, De Montfort University(德蒙福特大学计算机科学与信息学院);School of Automation and Information Engineering, Xi’an University of Technology(西安理工大学自动化与信息工程学院)
针对不平衡数据集上传统Softmax分类器性能下降问题,提出基于贝叶斯理论的类平衡Softmax(CBS)方法,它是简单的对数几率调整,计算成本低且易集成。CBS可缓解模型偏好问题,实验证明其高度可扩展且优于现有方法。
2026-09-22 cs.CV cs.LG
Learning Dynamics of Logits Debiasing for Long-Tailed Semi-Supervised Learning
Beijing Jiaotong University(北京交通大学);AntGroup(蚂蚁集团);Northwestern Polytechnical University(西北工业大学);University of Southampton(南安普顿大学)
本研究针对长尾半监督学习中伪标签偏向多数类的问题,从动态学习视角揭示对数去偏机制,提出DyTrim动态剪枝框架,经实验验证可提升模型泛化性能。
2026-09-01 cs.AI cs.LG
Margin Calibration for Long-Tailed Visual Recognition
Tokyo Institute of Technology(东京工业大学);Microsoft STCA(微软STCA);Nanjing University(南京大学);Microsoft Research Asia(微软亚洲研究院)
视觉识别任务中的长尾类分布对神经网络如何处理头类和尾类之间的有偏预测提出了很大的挑战,即,该模型倾向于将尾类分类为头类。现有的研究主要集中在数据恢复和损失函数工程上,本文从不同的角度研究了分类边界。我们研究了边际和logits(分类分数)之间的关系,并实证观察到有偏边际和有偏logits呈正相关。我们提出了MARC,一个简单而有效的MARgin校准功能,动态校准无偏logits的有偏利润。我们通过对CIFAR-LT、ImageNet-LT、Places-LT和iNaturalist-LT等常见的长尾基准测试进行大量的实验来验证MARC。实验结果表明,我们的MARC在这些基准测试上都取得了良好的效果。此外,MARC非常容易实现,只需三行代码。我们希望这个简单的方法能激励人们重新思考长尾视觉识别中的有偏边缘和有偏logit。
2022-10-08 cs.AI cs.CV cs.LG
Online Continual Learning via Logit Adjusted Softmax
Shanghai Jiao Tong University(上海交通大学);Institute of Image Processing and Pattern Recognition(图像处理与模式识别研究所)
本文针对在线持续学习中的类间不平衡导致遗忘的问题,提出Logit Adjusted Softmax方法,通过调整模型logits抵抗类别先验偏差,以极小的计算代价在多种场景下显著提升性能。
2024-09-29 cs.LG
Neural Prior Estimation: Learning Class Priors from Latent Representations
University of Isfahan(伊斯法罕大学);Department of Electrical Engineering Faculty of Engineering(电气工程系)
本文提出神经先验估计器NPE,通过从潜在表示中学习类先验以缓解深度学习中的类别不平衡问题。
2026-08-21 cs.CV cs.LG
Safe Error Correction for Language Models: Frozen-Base Adjustment with Capability Preservation
Eulogik
本研究提出CRN v2,一个轻量级logit纠错模块,在冻结Gemma模型上通过SFT和DPO训练,以53.3%纠错率保持基础能力,验证了冻结基座加logit纠错加KL锚定的设计原则。
2026-09-16 cs.AI cs.CL cs.LG
Class-Level Logit Perturbation
National Center for Applied Mathematics, Tianjin University(天津大学国家应用数学中心);University of Southern Queensland(南昆士兰大学)
特征、logits和标签是样本通过深度神经网络时的三个主要数据。特征扰动和标签扰动是近年来研究的热点。它们已被证明在各种深度学习方法中非常有用。例如,(对抗性)特征扰动可以提高学习模型的鲁棒性甚至泛化能力。然而,有限的研究已经明确探讨了罗吉特向量的扰动。这项工作讨论了现有的几种方法有关的类级logit扰动。建立了正、负数据增强与logit扰动引起的损失变化之间的统一观点。一个理论分析,以阐明为什么类水平的logit扰动是有用的。因此,提出了新的方法来明确学习扰动logits单标签和多标签分类任务。在基准图像分类数据集及其长尾版本上的大量实验表明,我们的学习方法具有竞争力的性能。由于它只对logit进行扰动,因此它可以作为一个插件与任何现有的分类算法融合。所有代码都可以在https://github.com/limengyang1992/lpl上找到。
2022-09-26 cs.AI cs.LG
You Only Need End-to-End Training for Long-Tailed Recognition
长尾数据集的泛化差距主要是由于大多数类别只占用少数训练样本。解耦训练通过分别训练骨干和分类器来实现更好的性能。是什么导致端到端模型训练的性能较差(例如,logits基于边际的方法)?在这项工作中,我们确定了影响分类器学习的一个关键因素:在输入分类器之前具有低熵的通道相关特征。从信息论的角度,我们分析了为什么交叉熵损失往往会产生高度相关的特征上的不平衡数据。此外,我们还从理论上分析和证明了它对分类器权重梯度、Hessian的条件数和基于logits边缘的方法的影响。因此,我们首先提出使用通道白化去相关(“分散”)分类器的输入解耦的权重更新和重塑倾斜的决策边界,这取得了令人满意的结果结合基于logits边缘的方法。然而,当小班人数较多时,批次不平衡和参与培训的人数过多会导致大班的过度拟合。我们还提出了两个新的模块,基于块的相对平衡批量采样器(B3 RS)和批量嵌入式训练(BET),以解决上述问题,这使得端到端的训练实现甚至比解耦训练更好的性能。在CIFAR-LT和ImageNet-LT两个长尾分类基准上的实验结果表明了该方法的有效性。
2023-03-10 cs.CV cs.LG
Bounded Adjustment with Reliability-Guided Embedding for Imbalanced Learning with Noisy Labels
Indian Institute of Technology Indore(印度理工学院印多尔分校)
针对类别不平衡与标签噪声的耦合问题,提出BARGE方法,结合有界先验调整得分与可靠性引导角度几何,无需噪声率,在多个基准上显著降低平均平衡错误。
2026-09-16 cs.LG stat.ML
Angular Gaussian Supervised Contrastive Learning for Long-Tailed Electrocardiogram Arrhythmia Diagnosis
School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学生物医学工程学院);Department of Neurology and Neurological Rehabilitation, Shanghai Yangzhi Rehabilitation Hospital, School of Medicine, Tongji University(同济大学医学院附属上海养志康复医院神经科与神经康复科)
研究针对长尾心电图心律失常诊断问题,提出角高斯监督对比学习(AG-SCL),集成角高斯对比分支、自适应对数调整和尾部感知增强三个组件,在两个数据集上取得最佳宏观性能,增强对罕见心律失常敏感性并保持特异性。
2026-07-17 cs.AI cs.LG
Long-Tailed Recognition by Mutual Information Maximization between Latent Features and Ground-Truth Labels
Seoul National University(首尔国立大学)
本文将长尾识别重新定义为潜在特征与真实标签之间的互信息最大化,无缝整合对比学习与logit调整,提出新损失函数,在长尾识别基准上达到最先进性能,并验证了其在图像分割中的通用性。
2023-08-08 cs.CV cs.LG
Taming the Long Tail in Human Mobility Prediction
The University of Tokyo(东京大学)
针对人类移动预测中POI访问分布不均的长尾问题,提出结合图调整、损失调整及辅助任务的LoTNext框架,在真实数据集上性能超越现有最优方法。
2025-01-15 cs.AI cs.CY cs.LG
Label-Imbalanced and Group-Sensitive Classification under Overparameterization
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California, Riverside(加州大学河滨分校);University of British Columbia(不列颠哥伦比亚大学)
标签不平衡和组敏感分类的目标是优化相关指标,如平衡错误和平等机会。经典的方法,如加权交叉熵,在训练深度网络到训练的终端阶段(TPT)时失败,即训练超过零训练误差。这一观察结果激发了最近的一系列活动,即根据促进少数群体获得更大幅度的直观机制,开发启发式替代方案。与之前的分析相反,我们遵循原则性分析,解释不同的损失调整如何影响利润率。首先,我们证明了所有的线性分类训练TPT,有必要引入乘法,而不是添加剂,logit调整,使类间的利润率适当地改变。为了证明这一点,我们发现了一个连接的乘法CE修改成本敏感的支持向量机。也许与直觉相反,我们还发现,在训练开始时,相同的乘法权重实际上会损害少数类。因此,虽然添加剂的调整是无效的TPT,我们表明,他们可以通过对抗乘法权重的初始负面影响,加快收敛。出于这些发现,我们制定的矢量缩放(VS)的损失,捕获现有的技术作为特殊情况。此外,我们引入了一个自然扩展的VS损失组敏感的分类,从而治疗两种常见类型的不平衡(标签/组)在一个统一的方式。重要的是,我们在最先进的数据集上的实验与我们的理论见解完全一致,并证实了我们算法的优越性能。最后,对于不平衡的高斯混合数据,我们进行了泛化分析,揭示了平衡/标准误差和平等机会之间的权衡。
2021-11-08 cs.LG stat.ML
API Is Enough: Conformal Prediction for Large Language Models Without Logit-Access
Zhejiang University - University of Illinois Urbana-Champaign Institute(浙江大学-伊利诺伊大学厄巴纳-香槟分校研究所);University of Illinois Chicago(芝加哥大学伊利诺伊分校)
针对仅能通过 API 访问、无法获取 logit 的大语言模型,提出融合样本频率与语义相似性的保形预测方法,以更小预测集实现用户指定覆盖率保证,并在问答任务上优于基于 logit 的基线。
2024-04-04 cs.AI cs.CL cs.LG
Class Confidence Aware Reweighting for Long Tailed Learning
Department of Computer Science & Engineering, Electronics & Communication Engineering, Indian Institute of Information Technology Nagpur(计算机科学与工程系、电子与通信工程系、印度信息技术学院纳格浦)
本文提出一种基于置信度的重加权方法,用于解决长尾学习中的类不平衡问题,通过调整损失层面的贡献来提升模型性能。
2026-01-22 cs.AI cs.CV cs.LG
Robust Long-Tailed Learning via Label-Aware Bounded CVaR
Huawei(华为);National University of Singapore(新加坡国立大学);Tencent(腾讯);Peking University(北京大学)
针对长尾学习问题,提出基于条件风险值的标签感知有界损失(LAB-CVaR)及其logit调整变体,具备理论保证,在真实长尾数据集上实验验证了优越性。
2023-08-29 cs.CV cs.IR cs.LG
Rethinking Class Imbalance for Single-Cell Foundation Models: A Systematic Benchmark Across Architectures and Long-Tail Loss Functions
本研究系统基准测试了六种长尾损失函数在三种单细胞基础模型上的类别不平衡问题,发现稀有类别失败分为可恢复与不可恢复两种机制,并提供了选择损失函数的实用指南。
2026-09-22 cs.LG
Gradient Perturbation: Learning to Perturb Gradients for Adaptive Training
Henan University(河南大学)
本文提出学习扰动梯度(LPG)方法,通过自适应地扰动类别级别的梯度实现类别感知训练,并建立统一框架揭示SAM、梯度裁剪等方法的梯度扰动本质,实验表明LPG在平衡/长尾分类和噪声标签学习中优于现有方法。
2026-05-28 cs.LG
Adapt-and-Adjust: Overcoming the Long-Tail Problem of Multilingual Speech Recognition
Salesforce Research(赛富时研究院);The Hong Kong University of Science and Technology(香港科技大学)
现实世界的多语言语音识别的一个关键挑战是长尾分布问题,其中一些资源丰富的语言(如英语)具有丰富的训练数据,但长尾低资源语言具有不同数量的有限训练数据。为了克服长尾问题,在本文中,我们提出了适应和调整(A2),一个基于transformer的多任务学习框架的端到端的多语种语音识别。A2框架通过三种技术克服了长尾问题:(1)利用预训练的多语言语言模型(mBERT)来提高低资源语言的性能;(2)提出了由语言特定和语言不可知自适应组成的双适配器,并具有最少的附加参数;以及(3)通过在训练期间在损失中强加类别先验或在推理期间调整softmax输出的logit来克服类别不平衡。在CommonVoice语料库上的大量实验表明,A2方法的性能明显优于传统方法。
2020-12-03 cs.AI cs.CL cs.LG
Residual-Quantile Adjustment for Adaptive Training of Physics-informed Neural Network
City University of Hong Kong(香港城市大学)
物理信息神经网络(PINN)的自适应训练方法需要专门构造每个训练样本的权重分布。有效地寻求这样的最优权重分布不是一个简单的任务,并且大多数现有方法基于近似全分布或残差的最大值来选择自适应权重。在本文中,我们表明,在训练效率的样本的自适应选择的瓶颈是数值残差的尾部分布的行为。因此,我们提出了残差分位数调整(RQA)方法,为每个训练样本提供更好的权重选择。在初始设置与残差的$p$次幂成比例的权重后,我们的RQA方法将高于$q$分位数的所有权重(例如$90\%$)重新分配给中值,以便权重遵循从残差导出的分位数调整分布。另一方面,这种迭代重新加权技术也非常容易实现。实验结果表明,该方法在求解各种偏微分方程(PDE)问题上的性能优于几种自适应方法。
2022-12-08 cs.LG physics.comp-ph
Inductive Gradient Adjustment For Spectral Bias In Implicit Neural Representations
Sun Yat-sen University(中山大学)
本文提出归纳梯度调整(IGA)方法,利用经验神经正切核矩阵改善隐式神经表示的谱偏差,提升纹理细节与边缘锐度。
2025-05-25 cs.CV cs.LG
Exploring Weight Balancing on Long-Tailed Recognition Problem
The University of Tokyo(东京大学)
本文分析了权重平衡在长尾识别问题中有效的原理,发现其可分解为提升Fisher判别比与隐式logit调整,并据此将两阶段训练简化为单阶段且提升了准确率。
2024-04-28 cs.LG
Rank-Aware Spectral Bounds on Attention Logits for Stable Low-Precision Training
UNC-Chapel Hill, Kenan-Flagler Business School, Chapel Hill, NC, USA(北卡罗来纳大学教堂山分校,肯纳-弗拉格勒商学院)
本文提出一种基于秩感知谱界的注意力logits缩放方法,通过隐式幂迭代计算每层缩放因子,有效控制低精度训练中的溢出风险,同时保持模型性能。
2026-11-10 cs.AI cs.LG
Training Over-parameterized Models with Non-decomposable Objectives
Google Research(谷歌研究院)
许多现代机器学习应用程序都有复杂而细致的设计目标,例如最大限度地减少最坏情况下的错误,满足给定的精度或召回率目标,或强制执行组公平性约束。用于优化这种不可分解目标的流行技术将问题简化为一系列成本敏感的学习任务,然后通过使用特定于示例的成本重新加权训练损失来解决每个任务。我们指出,标准的方法,重新加权的损失,将标签成本可以产生不满意的结果时,用于训练过参数化模型。作为一种补救措施,我们提出了新的成本敏感的损失,扩展了经典的logit调整的想法,以处理更一般的成本矩阵。我们的损失是经过校准的,并且可以通过教师模型中提取的标签进一步改进。通过在基准图像数据集上的实验,我们展示了我们的方法在训练具有常见鲁棒性和约束优化目标的ResNet模型方面的有效性。
2021-07-09 cs.AI cs.LG
A Systematic Review on Long-Tailed Learning
Henan University(河南大学);Baidu Inc.(百度公司);University Campus Bio-Medico di Roma(罗马生物医学大学);University of Porto(波尔图大学)
本文系统综述了长尾视觉学习的最新进展,提出涵盖数据平衡、神经架构、特征增强、logits调整、损失函数、附加技巧、网络优化和事后处理八个维度的新分类体系,并分析了不平衡学习与长尾学习的差异及未来方向。
2024-08-01 cs.AI cs.CV cs.LG
DBN-Mix: Training Dual Branch Network Using Bilateral Mixup Augmentation for Long-Tailed Visual Recognition
Hanyang University(汉阳大学)
本文提出双边 mixup 增强与逐类温度缩放方法,并应用于双分支网络框架构建 DBN-Mix 模型,有效缓解长尾视觉识别中的类别不平衡与少数类表示困难,显著提升基线性能并在部分基准中达到 SOTA。
2022-08-20 cs.CV cs.LG
Long-Tailed Partial Label Learning via Dynamic Rebalancing
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
现实世界中的数据往往存在标签模糊和严重的不平衡性,这对部分标签学习(PLL)和长尾学习(LT)算法的鲁棒性提出了挑战。LT和PLL的直接组合,即,LT-PLL,遭受一个根本的困境:LT方法建立在一个给定的类分布,这是不可用的PLL,和PLL的性能受到严重影响,在长尾的情况下。我们表明,即使有辅助的Oracle类之前,国家的最先进的方法表现不佳,由于一个不利的事实,即在LT中的不断重新平衡是苛刻的标签消歧PLL。为了克服这一挑战,我们因此提出了一个动态的再平衡方法,称为记录,而不假设任何先验知识的类分布。基于有偏输出的参数分解,我们的方法构造了一个动态调整,这是良性的标签消歧过程,理论上收敛到Oracle类先验。在三个基准数据集上进行的大量实验表明,与一系列基线相比,RECORDS具有显着的增益。代码是公开的。
2023-02-10 cs.CV cs.LG
Long-Tailed Out-of-Distribution Detection with Refined Separate Class Learning
Nanjing Agricultural University(南京农业大学);Nanjing University(南京大学);Shandong University(山东大学);Nanjing University of Posts and Telecommunications(南京邮电大学);Southeast University(东南大学)
针对长尾分布下OOD检测性能下降问题,提出精细化分离类别学习(RSCL),通过动态类别级温度调整和信息性离群点挖掘,提升OOD检测性能并改善分类准确率。
2025-09-25 cs.CV cs.LG
Efficient and Long-Tailed Generalization for Pre-trained Vision-Language Model
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室)
针对预训练视觉语言模型适配下游任务时的长尾分布与新类零样本问题,提出Candle框架,通过补偿对数调整损失、跨模态注意力及新类虚拟原型实现高效长尾泛化,在11个数据集上达SOTA且训练时间更短。
2024-06-18 cs.CV cs.LG