Balancing Multimodal Learning through Label Space Reshaping
针对多模态学习中模态不平衡问题，提出基于标签空间重塑的BMLR方法，通过均衡各模态映射难度来提升多模态性能。
2026-05-22 cs.AI cs.LG
Hierarchy-Consistent Learning and Adaptive Loss Balancing for Hierarchical Multi-Label Classification
Ocean University of China（中国海洋大学）
本文提出HCAL分类器，通过原型对比学习、自适应任务加权和原型扰动机制解决层次多标签分类中的结构一致性与损失平衡问题，并引入HVR指标评估层次一致性，在三个数据集上取得优于基线模型的精度和一致性。
2025-08-19 cs.CV cs.LG
An Active Learning Framework with a Class Balancing Strategy for Time Series Classification
School of Graduate Studies（研究生院）；Memorial University of Newfoundland（纽芬兰纪念大学）
本文提出一种与标准主动学习策略集成的类别平衡实例选择算法，用于减少时间序列分类的标注需求，并在触觉纹理识别和工业故障检测中验证其效果。
2024-05-20 cs.LG
Balancing Accuracy, Calibration, and Efficiency in Active Learning with Vision Transformers Under Label Noise
Department of Information and Computer Sciences, University of Hawai‘i at Manoa（夏威夷大学马诺亚分校信息与计算机科学系）；Department of Computer Science, University of Pretoria（pretoria大学计算机科学系）
本文研究了标签噪声和低预算主动学习下不同规模视觉Transformer与Swin Transformer的准确率与校准表现，发现较大ViT模型更鲁棒、小块并不总能提升性能，且基于信息的主动学习策略在高噪声下会损害校准。
2025-05-07 cs.AI cs.CV cs.LG
Learning Adaptive SED for heterogeneous load balancing
针对服务速率未知的异构两服务器负载均衡系统，提出一种在线学习算法，平衡经验SED路由与强制探索，实现有限遗憾并收敛至SED策略。
2026-09-09 cs.LG math.PR
Balancing Label Quantity and Quality for Scalable Elicitation
EleutherAI
本文研究在标注成本约束下从预训练模型引出分类能力时的标签数量与质量权衡问题，识别出三种引出状态，并提出结合高低质量数据及few-shot提示的样本高效方法，在固定预算下将监督微调准确率最多提升5个百分点。
2024-10-21 cs.LG
Parallel-beam X-ray CT datasets of apples with internal defects and label balancing for machine learning
Centrum Wiskunde & Informatica（数学与计算机科学研究所）；Leiden University（莱顿大学）；Eindhoven University of Technology（埃因霍温理工大学）
我们提出了三个平行光束断层扫描数据集的94个苹果与内部缺陷以及缺陷标签文件。这些数据集用于开发和测试数据驱动的、基于学习的图像重建、分割和后处理方法。这三个版本是无噪声模拟;添加高斯噪声的模拟和散射噪声。这些数据集基于真实的3D X射线CT数据及其随后的体积重建。基于体积重建的地面实况图像也可通过该项目获得。苹果含有各种缺陷，这自然会引入标签偏见。我们通过将偏差公式化为优化问题来解决这个问题。此外，我们演示了解决这个问题的两种方法：一个简单的启发式算法和通过混合整数二次规划。这确保了数据集可以分为测试，训练或验证子集，消除了标签偏差。因此，这些数据集可用于图像重建、分割、自动缺陷检测，以及测试机器学习中标签偏差的影响（以及应用新的方法来去除标签偏差）。
2020-12-24 cs.CV cs.LG math-ph
PHI-S: Distribution Balancing for Label-Free Multi-Teacher Distillation
NVIDIA（英伟达）
针对无标签异构多教师知识蒸馏中的教师激活分布失配问题，本文提出基于 Hadamard 矩阵的各向同性 PHI-S 标准化方法，并在多种方法中取得最佳学生模型。
2024-10-02 cs.AI cs.CV cs.LG
Less is more: Selecting informative and diverse subsets with balancing constraints
Google Research（谷歌研究院）
深度学习在视觉和自然语言处理方面取得了非凡的成果，但这一成就是有代价的。大多数模型在训练过程中需要大量的资源，无论是在计算方面还是在人工标记方面。我们表明，我们可以识别信息丰富且多样化的数据子集，这些数据子集导致深度学习模型与使用原始数据集训练的模型具有相似的性能。先前的方法利用了子模块目标函数的多样性和不确定性来选择子集。除了这些措施，我们表明，平衡预测类标签和决策边界的约束是有益的。我们提出了一种新的配方，这些限制使用拟阵，代数结构，广义线性向量空间中的独立性，并提出了一个有效的贪心算法与常数近似保证。我们在标准分类数据集（如CIFAR-10，CIFAR-100，ImageNet）以及长尾数据集（如CIFAR-100-LT）上的表现优于竞争基准。
2021-10-08 cs.AI cs.CV cs.LG
Removing supervision in semantic segmentation with local-global matching and area balancing
DeepPlants；DIAG, Sapienza（罗马第一大学DIAG）
提出一种基于局部-全局匹配与最优传输的端到端语义分割模型，在弱监督和无监督设置下均达到最先进水平。
2023-03-30 cs.CV cs.LG
Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility
Tsinghua University（清华大学）；Weill Cornell Medicine（威尔康奈尔医学院）
二分排序，其目的是学习一个评分函数，排名积极的个人高于消极的标记数据，被广泛采用在各种应用中，需要样本优先级。最近，人们越来越关注学习的评分函数是否会导致由敏感属性定义的不同保护组之间的系统差异。虽然公平性和性能之间可能存在权衡，但在本文中，我们提出了一个与模型无关的后处理框架，用于在二分排名场景中平衡它们。具体来说，我们通过直接调整各组样本的相对排序来最大化效用和公平性的加权和。通过制定这个问题的最佳翘曲路径在不同的保护组的识别，我们提出了一个非参数的方法来搜索这样的最佳路径，通过一个动态规划过程。我们的方法是兼容的各种分类模型，并适用于各种排名公平性指标。一套基准数据集和两个真实世界的病人电子健康记录库的综合实验表明，我们的方法可以实现算法的效用和排名的公平性之间的很大的平衡。此外，我们实验验证了我们的方法的鲁棒性，当面对较少的训练样本和训练和测试之间的排名分数分布的差异。
2021-06-07 cs.LG stat.ML
WHERE to Generate Matters: Budget-Aware Synthetic Augmentation for Label Skewed Federated Learning
Chung-Ang University（中央大学）
研究标签倾斜联邦学习问题，提出FedEAS策略，根据客户端本地标签分布分配熵自适应生成预算，决定生成量与样本流向，在大幅减少生成预算的同时恢复准确性提升，性能优于均匀分配。
2026-07-09 cs.AI cs.CV cs.LG
A cost-reducing partial labeling estimator in text classification problem
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的方法来解决文本分类问题时，学习部分标签是有益的。我们没有为每个训练样本提供一组候选标签，而是将负向标签分配给模糊的训练样本，如果它们不太可能落入某些类别。我们构造了新的具有自校正性质的极大似然估计，并证明了在一定条件下，我们的估计收敛得更快。我们还讨论了应用我们的估计一个完全监督学习问题的优点。该方法在众包、自然语言处理和医学图像分析等领域具有潜在的应用价值。
2019-06-10 cs.IR cs.LG stat.ML
Nonstationary Nonparametric Online Learning: Balancing Dynamic Regret and Model Parsimony
U.S. Army Research Laboratory（美国陆军研究实验室）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
监督学习中的一个开放性挑战是\emph{conceptual drift}：数据点开始时根据一个标签进行分类，但随着时间的推移，该标签的概念会发生变化。除了线性自回归模型之外，迁移和Meta学习解决了漂移问题，但在训练开始时需要代表不同领域的数据。为了放宽这一要求，我们提出了一个内存有效的\emph{online}通用函数逼近压缩核方法的基础上。我们的方法取决于将非平稳学习视为具有动态比较器的在线凸优化，其性能通过动态遗憾来量化。以前的工作控制动态遗憾增长的线性模型。相反，我们假设行动属于再生核希尔伯特空间（RKHS）。我们提出了一个函数的在线梯度下降（OGD）的操作与贪婪的子空间投影的变体。投影是必要的，以克服RKHS功能的复杂性与时间成正比的事实。对于这个计划，我们建立了次线性动态后悔增长的损失变化和功能路径长度，并保持适度的功能序列的记忆。实验表明，所提出的技术在线非线性回归和非平稳数据的分类问题的实用性。
2019-09-12 cs.LG eess.SP math.OC
Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels
KTH（瑞典皇家理工学院）
先前的工作已经发现，将可证明的噪声鲁棒损失函数，具有标准分类损失函数的平均绝对误差（MAE），例如交叉熵（CE），以提高其可学习性。在这里，我们建议使用Jensen-Shannon分歧作为噪声鲁棒性损失函数，并表明它有趣地在CE和MAE之间插值，并具有可控的混合参数。此外，我们做了一个重要的观察，CE表现出较低的一致性周围的噪声数据点。基于这一观察结果，我们采用了广义版本的詹森-香农分歧的多个分布，以鼓励数据点周围的一致性。使用这个损失函数，我们展示了合成（CIFAR）和真实世界（例如，WebVision）噪声，具有不同的噪声率。
2021-10-29 cs.CV cs.LG stat.ML
PerNodeDrop: A Method Balancing Specialized Subnets and Regularization in Deep Neural Networks
Department of Computer Science, Christ University（计算机科学系，基督大学）
PerNodeDrop通过在样本和节点层面引入随机扰动，平衡专用子网络与正则化，提升深度神经网络的泛化能力。
2026-11-03 cs.AI cs.CV cs.LG
Optimizing Diffusion Rate and Label Reliability in a Graph-Based Semi-supervised Classifier
University of São Paulo（圣保罗大学）
半监督学习受到了研究人员的关注，因为它允许人们利用未标记数据的结构来实现具有竞争力的分类结果，并且标签比监督方法少得多。局部和全局一致性（LGC）算法是最著名的基于图的半监督（GSSL）分类器之一。值得注意的是，它的解可以写成已知标签的线性组合。该线性组合的系数取决于参数$α$，该参数确定在随机游走中到达标记顶点时奖励随时间的衰减。在这项工作中，我们讨论了如何去除标记实例的自影响可能是有益的，以及它如何与留一错误相关。此外，我们建议使用自动微分来最小化这种留一损失。在这个框架内，我们提出了方法来估计标签的可靠性和扩散率。优化扩散速率是更有效地完成与光谱表示。结果表明，标签的可靠性方法与强大的L1-范数方法的竞争，删除对角条目降低过拟合的风险，并导致合适的标准参数选择。
2022-01-10 cs.LG
Handling Noisy Labels for Robustly Learning from Self-Training Data for Low-Resource Sequence Labeling
Heidelberg University（海德堡大学）；Aalto University（阿尔托大学）；Saarland University（萨尔兰大学）
在本文中，我们解决的问题，有效地自我训练神经网络在低资源设置。自训练经常用于自动增加训练数据的量。然而，在低资源场景中，由于使用未标记数据的自标记创建的不可靠注释，它的效率较低。我们建议将自训练与自标记数据的噪声处理相结合。在组合的干净训练集和自标记数据上直接估计噪声可能导致干净数据的损坏，因此性能更差。因此，我们提出了清洁和嘈杂的标签神经网络，通过明确地分别对清洁和嘈杂的标签进行建模，同时对清洁和嘈杂的自标记数据进行训练。在我们对组块和NER的实验中，这种方法比基线更鲁棒。作为这种显式方法的补充，噪声也可以在辅助学习任务的帮助下隐式处理。对于这种补充方法，我们的方法比其他基线方法更有益，并且一起提供了最佳的整体性能。
2019-03-28 cs.CL cs.LG
To Smooth or Not? When Label Smoothing Meets Noisy Labels
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Brown University（布朗大学）；The University of Sydney（悉尼大学）；RIKEN AIP（理化学研究所人工智能研究中心）；University of Tokyo（东京大学）
标签平滑（LS）是一种新兴的学习范式，它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明，LS作为一个正规化的训练数据与硬标签，因此提高了模型的推广。后来有报道称，LS甚至有助于提高使用噪声标签学习时的鲁棒性。然而，我们观察到，当我们在高标签噪声状态下操作时，LS的优势消失。直观地说，这是由于当噪声率高时$\mathbb{P}(\text{noisy label}|X)$的熵增加，在这种情况下，进一步应用LS倾向于“过度平滑”估计的后验。我们继续发现，文献中的几种带噪声标签的学习解决方案与负/非标签平滑（NLS）更密切相关，NLS与LS相反，并定义为使用负权重来组合硬标签和软标签！我们提供的LS和NLS的属性的理解时，学习与噪声标签。在其他既定的属性，我们理论上表明NLS被认为是更有益的标签噪声率高时。我们也提供了多个基准的广泛实验结果来支持我们的发现。代码可在https://github.com/UCSC-REAL/negative-label-smoothing上公开获取。
2022-06-24 cs.LG
Balancing the Scales: Enhancing Fairness in Facial Expression Recognition with Latent Alignment
Birla Institute of Technology and Science, Pilani（比拉理工科学与 Pilani 学院）
针对真实FER数据集因人工标注和群体表征不均导致的人口统计偏见与类别不平衡问题，本文提出基于隐空间的表征学习方法，以提升面部表情识别模型的公平性和整体准确率。
2024-10-25 cs.CV cs.LG
Unsupervised Domain Adaptation using Graph Transduction Games
Ca’ Foscari University of Venice（威尼斯大学）；Open University of the Netherlands（荷兰开放大学）；Radboud University Nijmegen（内梅亨大学）
无监督领域自适应（UDA）相当于使用来自相关源域的数据集的已标记实例，将类别标签分配给来自目标域的数据集的未标记实例。在本文中，我们建议投这个问题的博弈论设置为一个非合作的游戏，并介绍了一个完全自动化的迭代算法UDA的基础上图转换游戏（GTG）。这种方法的主要优点是它的原则基础，保证终止的迭代算法的纳什均衡（这对应于一个一致的标签条件）和软标签量化的标签分配过程的不确定性。我们还研究了使用线性分类器的伪标签来初始化迭代过程的有益效果。所得到的方法的性能进行评估公开的对象识别基准数据集，涉及浅和深的功能。实验结果表明，所提出的博弈论方法解决UDA任务的适用性。
2019-05-06 cs.CV cs.GT cs.LG
Early Stopping Against Label Noise Without Validation Data
The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
针对标签噪声下早停方法需平衡训练与验证数据量的问题，提出无需验证数据的Label Wave早停方法，通过跟踪训练集预测变化在模型过度拟合错误标签前停止训练，实验证明其有效性及对现有方法的增强能力。
2025-02-11 cs.LG
Normalise for Fairness: A Simple Normalisation Technique for Fairness in Regression Machine Learning Problems
University of Augsburg（奥格斯堡大学）；Technical University of Munich (TUM)（慕尼黑工业大学）；SYNCPILOT GmbH（SYNCPILOT有限公司）；Imperial College London（伦敦帝国学院）
本文提出一种基于归一化的简单公平性方法FaiReg及其混合变体FaiRegH，用于回归任务，有效减少标签偏差导致的不公平，且不显著损害预测性能，并在First Impressions数据集上验证了其优越性。
2024-08-20 cs.CY cs.LG
Dynamics-Aware Loss for Learning with Label Noise
Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；The University of Sydney（悉尼大学）
本文提出动态感知损失（DAL），根据DNN在标签噪声下先学有益模式后过拟合噪声的动态过程，在训练初期增强拟合能力、后期逐步提高鲁棒性，并结合简单样本加权与自举项以同时缓解噪声影响和欠拟合。
2023-08-05 cs.LG
An analysis of over-sampling labeled data in semi-supervised learning with FixMatch
KTH Royal Institute of Technology（KTH皇家理工学院）；Univrses AB（Univrses公司）
大多数半监督学习方法在构建训练小批量时对标记数据进行过采样。本文研究了这种常见的做法是否能提高学习效果以及如何提高学习效果。我们将其与另一种设置进行比较，其中每个小批量都是从所有训练数据中均匀采样的，无论是否标记，这大大减少了典型低标签制度中真实标签的直接监督。然而，这种更简单的设置也可以被视为更通用，甚至在多任务问题中是必要的，在这些问题中，过采样标记数据将变得难以处理。我们使用FixMatch对半监督CIFAR-10图像分类进行的实验表明，当使用均匀采样方法时，性能下降，当标记数据量或训练时间增加时，性能下降。此外，我们还分析了训练动态，以了解标记数据的过采样与均匀采样相比如何。我们的主要发现是，过采样在训练的早期特别有益，但在后期阶段，当更多的伪标签变得正确时，它就不那么重要了。然而，我们也发现，保持一些真正的标签仍然很重要，以避免积累的确认错误不正确的伪标签。
2022-04-08 cs.CV cs.LG
Automatic Detection of Noisy Electrocardiogram Signals without Explicit Noise Labels
Medical AI Inc.（医疗人工智能公司）；KAIST（韩国科学技术院）
心电图（ECG）信号有助于诊断心血管疾病，心血管疾病是导致死亡的主要原因之一。然而，它们经常被噪声伪影污染，并影响自动和手动诊断过程。基于深度学习的ECG信号自动检查可能导致不准确的诊断，而手动分析涉及临床医生拒绝噪声ECG样本，这可能会花费额外的时间。为了解决这个问题，我们提出了一个两阶段的基于深度学习的框架来自动检测有噪声的ECG样本。通过对两个不同数据集的广泛实验和分析，我们观察到基于深度学习的框架可以有效地检测轻微和高度噪声的ECG样本。我们还研究了将在一个数据集上学习的模型转移到另一个数据集，并观察到该框架有效地检测了有噪声的ECG样本。
2022-08-08 cs.LG eess.SP
Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation
JD.com（京东）；Waseda University（早稻田大学）；University of Electronic Science and Technology of China（电子科技大学）
针对生成式推荐中奖励模型因曝光偏差导致噪声的问题，提出AdaGRPO框架，通过策略难度和奖励可区分性诊断动态切换GRPO与监督学习，在电商数据集上提升召回率并抑制幻觉。
2026-06-07 cs.AI cs.IR cs.LG
Rethinking Fair Graph Neural Networks from Re-balancing
The Chinese University of Hong Kong（香港中文大学）；University of Virginia（弗吉尼亚大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对图神经网络中的公平性问题，提出基于再平衡的FairGB方法，通过反事实节点混合和贡献对齐损失实现群体平衡，在效用和公平性上达到最先进水平。
2024-07-16 cs.AI cs.CY cs.LG
