Noise-Robust Bidirectional Learning with Dynamic Sample Reweighting
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
使用标准交叉熵损失训练的深度神经网络更容易记住噪声标签,这会降低其性能。使用互补标签的负学习在噪声标签干预时更鲁棒,但模型收敛速度非常慢。在本文中,我们首先介绍了一种双向学习方案,其中积极学习确保收敛速度,而消极学习鲁棒地处理标签噪声。此外,提出了一种动态的样本重新加权策略,通过利用负学习对样本概率分布的良好区分能力,全局削弱噪声标记样本的影响。此外,我们结合自蒸馏,以进一步提高模型的性能。代码可在\url{https://github.com/chenchenzong/BLDR}上获得。
2022-09-03 cs.AI cs.LG
Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels
Wuhan University of Technology(武汉理工大学);University of Macau(澳门大学)
针对量化神经网络中现有机器遗忘方法存在噪声放大、梯度不平衡的问题,提出首个专用遗忘框架Q-MUL,通过相似标签分配和自适应梯度重加权解决上述问题,经基准测试验证性能优于现有方法。
2025-03-18 cs.LG
Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning
针对标签噪声学习中重构方法的隐式耦合问题,提出TRACE双源可靠性评估框架,分别评估观测标签与伪目标,提升了带噪声基准上的重构基线性能与伪监督可靠性。
2026-08-05 cs.CV cs.LG
Optimal Transport Reweighting for Robust Learning under Spurious Correlations and Label Noise
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对虚假相关与标签噪声下的子群体偏移问题,提出基于最优传输的POTER重加权框架,通过传输几何度量样本重要性,仅需单阶段ERM训练,在标准基准上实现最先进的组内最差精度。
2026-10-02 cs.AI cs.LG
Simple and Fast Group Robustness by Automatic Feature Reweighting
New York University(纽约大学)
针对分布外泛化中虚假特征依赖问题,提出自动特征重加权(AFR)方法,通过加权损失重训练ERM模型最后一层,无需组标签即可提升多个视觉和语言基准的鲁棒性,且计算开销极小。
2023-06-19 cs.LG stat.ML
Importance Reweighting for Biquality Learning
Orange Labs(奥兰治实验室);AgroParisTech(巴黎高等农业科学学院);INRAe(法国国家农业食品与环境研究院);UMR MIA-Paris(MIA-巴黎联合研究单位);Université Paris-Saclay(巴黎萨克雷大学)
弱监督学习(Weakly Supervised Learning,WSL)是近年来研究的热点领域之一,大量的论文针对不同类型的“监督缺陷”,即:质量差、非适应性和标签数量不足。关于质量,标签噪声可以是不同类型的,包括完全随机、随机或甚至非随机。所有这些类型的标签噪声在文献中单独解决,导致高度专业化的方法。本文提出了一个原始的,包容性的,弱监督学习,这导致在设计通用的方法能够处理任何类型的标签噪声的观点。为此,使用称为“双质量数据”的替代设置。它假设一个小的可信数据集的正确标记的例子是可用的,除了一个不可信的数据集的嘈杂的例子。在本文中,我们提出了一个新的重新加权方案,能够识别非损坏的例子在不可信的数据集。这允许人们使用两个数据集来学习分类器。大量的实验模拟了几种类型的标签噪声,并改变了不可信的例子的质量和数量,证明了所提出的方法优于基线和最先进的方法。
2021-09-20 cs.LG
Neural Architecture Search of Sample Reweighting Networks for Complex Distribution Shift
Yokohama National University(横滨国立大学)
针对标签噪声和类别不平衡共存的复杂分布偏移,引入神经架构搜索优化Meta-Weight-Net的隐藏层结构及分类模型中间层选择,提升样本重加权性能。
2026-06-23 cs.AI cs.LG
Auxiliary Task Reweighting for Minimum-data Learning
Peking University(北京大学);Georgia Institute of Technology(佐治亚理工学院);Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of California, Berkeley(加利福尼亚大学伯克利分校)
监督学习需要大量的训练数据,限制了其在标记数据稀缺的情况下的应用。为了弥补数据稀缺性,一种可能的方法是利用辅助任务来为主任务提供额外的监督。不同辅助任务的重要性权重的确定和优化仍然是一个关键的和在很大程度上未得到充分研究的研究问题。在这项工作中,我们提出了一种方法来自动重新加权辅助任务,以减少对主任务的数据要求。具体来说,我们制定的加权似然函数的辅助任务作为代理前的主要任务。通过调整辅助任务的权值,使主任务的代理先验与真实先验之间的偏差最小化,从而获得更精确的先验估计,达到了最小化主任务所需训练数据量和避免代价高昂的网格搜索的目的.在多个实验设置(例如半监督学习,多标签分类),我们表明,我们的算法可以有效地利用有限的标记数据的主要任务的辅助任务相比,以前的任务重新加权方法的好处。我们还表明,在极端情况下,只有几个额外的例子(例如Few-Shot领域自适应),我们的算法的结果在基线上的显着改善。
2020-10-16 cs.CV cs.LG stat.ML
MetaInfoNet: Learning Task-Guided Information for Sample Reweighting
Nanyang Technological University(南洋理工大学)
深度神经网络已经被证明很容易过拟合到带有标签噪声或类别不平衡的有偏训练数据。元学习算法通常被设计为通过学习将训练损失作为输入以生成样本权重的Meta加权网络来以样本重新加权的形式缓解这个问题。在本文中,我们主张为Meta加权网络选择适当的输入对于特定任务中所需的样本权重至关重要,而训练损失并不总是正确的答案。鉴于此,我们提出了一种新的元学习算法,MetaInfoNet,它自动学习有效的表示作为Meta加权网络的输入,强调任务相关的信息与信息瓶颈策略。在具有标签噪声或类别不平衡的基准数据集上进行的大量实验结果验证了MetaInfoNet优于许多最先进的方法。
2020-12-09 cs.CV cs.LG
Probabilistic Margins for Instance Reweighting in Adversarial Training
Hong Kong Baptist University(香港浸会大学);University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学);Nanjing University of Science and Technology(南京理工大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Tokyo(东京大学)
最近已经证明,在训练期间重新加权对抗数据可以提高对抗鲁棒性,其中更接近当前决策边界的数据被认为是更关键的,并被赋予更大的权重。然而,现有的测量接近度的方法不是非常可靠:它们是离散的并且只能取几个值,并且它们是路径依赖的,即,它们可以在给定具有不同攻击路径的相同起点和终点的情况下改变。在本文中,我们提出了三种类型的概率边际(PM),它们是连续的和路径无关的,用于测量上述接近度和重新加权对抗数据。具体地,PM被定义为两个估计的类后验概率之间的差,例如,例如,给定一些自然数据,真实标签的概率减去最令人困惑的标签的概率。虽然不同的PM捕获不同的几何属性,但所有三种PM都与数据的脆弱性呈负相关:具有较大/较小PM的数据更安全/风险更大,并且应该具有较小/较大的权重。实验表明,PM是可靠的测量和PM为基础的重新加权方法优于国家的最先进的方法。
2022-03-17 cs.LG
Multiplicative Reweighting for Robust Neural Network Optimization
Tel Aviv University(特拉维夫大学)
针对神经网络在噪声标签下性能下降的问题,提出将专家建议学习中的乘法权重(MW)用于样本重加权,理论证明其与梯度下降结合的收敛性及一维优势,实证显示在CIFAR-10等数据集上提升了噪声标签下的准确性并影响对抗鲁棒性。
2025-11-11 cs.CR cs.LG
STaR-DRO: Stateful Tsallis Reweighting for Group-Robust Structured Prediction
Yale University(耶鲁大学);Yale School of Medicine(耶鲁医学院)
提出STaR-DRO框架,结合Tsallis镜像上升和稀疏entmax映射,仅对持续困难群体上权重,在结构化预测中提升标签准确性和鲁棒性,在EPPC Miner任务上相比SFT和标准DRO分别提升F1分数1.08和2.20。
2026-06-15 cs.AI cs.LG
Group-robust Sample Reweighting for Subpopulation Shifts via Influence Functions
National University of Singapore(新加坡国立大学);Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟);Agency for Science, Technology and Research (A*STAR)(新加坡科学、技术与研究局);University of Washington(华盛顿大学)
针对亚群偏移问题,本文提出群体鲁棒样本重加权(GSR)方法,利用少量群体标签数据作为目标集,通过影响函数优化无标签数据权重并迭代微调模型最后一层,以高效提升模型鲁棒性。
2025-03-10 cs.AI cs.CV cs.LG
ResNet-50 with Class Reweighting and Anatomy-Guided Temporal Decoding for Gastrointestinal Video Analysis
Department of Computer Science and Biomedical Informatics, University of Thessaly(塞萨洛尼基大学计算机科学与生物医学信息学系)
本文提出了一种多标签消化系统视频分析管道,结合ResNet-50帧分类器和解剖引导的时间事件解码,通过类重加权和解剖引导的解码方法提高稀有病理类别的识别性能,最终在挑战测试集上将时间mAP从0.3801提升到0.4303。
2026-05-20 cs.CV cs.LG
Dirichlet-based Per-Sample Weighting by Transition Matrix for Noisy Label Learning
KAIST(韩国科学技术院)
针对噪声标签学习中过渡矩阵利用研究不足的问题,本文提出基于Dirichlet分布的逐样本权重采样框架,据此设计结合噪声过渡矩阵的重采样方法RENT,在多个基准数据集上性能优于现有过渡矩阵利用方法。
2024-03-05 cs.CV cs.LG
CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models
University of Melbourne(墨尔本大学);Southeast University(东南大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学)
研究针对预训练视觉语言模型零样本图像分类中提示与类独立性假设不成立的问题,提出类感知零样本提示重加权方法CARPRT,通过无训练方式量化提示与类的相关性并调整权重,实验表明该方法优于现有方法。
2026-07-17 cs.CV cs.LG
Meta Additive Model: Interpretable Sparse Learning With Auto Weighting
College of Informatics, Huazhong Agricultural University(华中农业大学信息学院)
本文提出元加法模型(MAM),通过双层优化框架实现数据驱动的个体损失加权,提升在高维数据中的稀疏学习性能,理论和实验均证明其在鲁棒回归和不平衡分类中的优越性。
2026-04-22 cs.AI cs.LG stat.ML
LPI-RIT at LeWiDi-2025: Improving Distributional Predictions via Metadata and Loss Reweighting with DisCo
Rochester Institute of Technology(罗切斯特理工学院)
针对LeWiDi 2025标注者分歧建模任务,研究团队对DisCo神经架构进行扩展,引入标注者元数据嵌入、增强输入表示与多目标训练损失,在三个数据集的两类评估指标上均实现显著提升,并通过分析明确了分歧感知建模的生效机制。
2025-10-05 cs.AI cs.CL cs.LG
Learning to Reweight Examples for Robust Deep Learning
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学)
深度神经网络已被证明是许多涉及复杂输入模式的监督学习任务的非常强大的建模工具。然而,它们也很容易过拟合训练集偏差和标签噪声。除了各种正则化器之外,示例重加权算法是这些问题的流行解决方案,但它们需要仔细调整额外的超参数,例如示例挖掘计划和正则化超参数。在过去的重新加权方法,通常由每个例子的成本值的函数,在这项工作中,我们提出了一种新的元学习算法,学习分配权重的训练样本的基础上,他们的梯度方向。为了确定示例权重,我们的方法对当前小批量示例权重(从零初始化)执行Meta梯度下降步骤,以最小化干净无偏验证集的损失。我们提出的方法可以在任何类型的深度网络上轻松实现,不需要任何额外的超参数调整,并且在只有少量干净验证数据的情况下,在类不平衡和损坏标签问题上实现了令人印象深刻的性能。
2019-05-05 cs.LG stat.ML
Distribution-free uncertainty quantification for classification under label shift
Carnegie Mellon University(卡内基梅隆大学)
ML模型的可信部署需要适当的不确定性度量,特别是在安全关键型应用中。我们专注于不确定性量化(UQ)的分类问题,通过两个途径-预测集使用共形预测和校准的概率预测后,特设分箱-因为这些拥有分布免费保证独立同分布。数据两种常见的归纳方法超越了独立同分布。设置包括处理协变量和标签偏移。在免分配用户数量的背景下,前者已经受到关注,但后者尚未受到关注。众所周知,标签移位会损害预测,我们首先认为它也会损害UQ,因为它会降低覆盖率和校准。借助最近在解决标签偏移(为了更好的预测)方面的进展,我们研究了通过重新加权上述适形和校准程序来实现UQ的正确方法,只要来自目标分布的一些未标记数据可用。我们研究这些技术理论上在一个免费的分布框架,并展示了其出色的实际性能。
2021-07-07 cs.LG stat.ML
Analyze the Robustness of Classifiers under Label Noise
本研究针对监督学习中标签噪声损害模型性能的问题,结合对抗机器学习与重要性重加权技术,以CNN为基础模型调整单样本参数,提升分类器在含噪真实场景中的鲁棒性。
2023-12-12 cs.AI cs.LG stat.ML
Chaos Is a LADDER: Domain Generalization Beyond Invariance via Reweighting
School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);Key Laboratory of Big Data Mining and Knowledge Management, Chinese Academy of Sciences(中国科学院大数据挖掘与知识管理重点实验室)
该研究针对领域泛化中域调节因果-响应映射的问题,提出LADDER方法,通过固定模型的源域分类器重加权实现目标域泛化,在模拟、FMoW等数据集上提升了整体与组平均准确率。
2026-09-23 cs.LG math.ST stat.ME
Meta Label Correction for Noisy Label Learning
Microsoft Research(微软研究院)
利用弱监督或噪声监督来构建有效的机器学习模型一直是一个重要的研究问题。最近,由于越来越需要大规模数据集来训练深度学习模型,其重要性进一步增加。弱或嘈杂的监督可能来自多个来源,包括非专家注释者或基于语义或用户交互信号的自动标记。以前有大量的工作集中在利用嘈杂的标签。最值得注意的是,最近的工作已经显示出令人印象深刻的收益,通过使用元学习的实例重新加权方法,其中元学习框架用于分配实例权重到嘈杂的标签。在本文中,我们扩展了这种方法,通过提出的问题作为标签校正问题的元学习框架内。我们将标签校正过程视为一个元过程,并提出了一个新的基于元学习的框架MLC(Meta Label Correction),用于带噪声标签的学习。具体而言,采用标签校正网络作为元模型,以产生噪声标签的校正标签,同时训练主模型以利用校正标签。这两个模型通过解决双层优化问题来联合训练。我们在图像识别和文本分类任务中使用不同的标签噪声水平和类型进行了广泛的实验。我们比较了重新加权和校正方法,表明校正框架解决了重新加权的一些局限性。我们还表明,建议的MLC方法实现了很大的改进,在许多设置比以前的方法。
2021-08-06 cs.LG stat.ML
Odds-Shift Slippage in One-vs-Rest Rankers: Diagnosing and Repairing Reweighting-Induced Top-K Errors
Shiga University(滋贺大学)
本研究诊断一对一排名器中重加权导致的赔率偏移滑移,量化其影响,并提出逐标签保序回归修复方法,显著恢复Top-K性能。
2026-09-15 cs.IR cs.LG
Understanding SAM's Robustness to Noisy Labels through Gradient Down-weighting
Rochester Institute of Technology(罗彻斯特理工学院);University of Science - VNUHCM(越南国立大学胡志明市理科大学);Rowan University(罗文大学)
本文通过分析SAM在元素级别表现,揭示其对噪声标签鲁棒性的机制,并提出SANER方法提升泛化能力。
2026-03-30 cs.LG
Unified Robust Training for Graph NeuralNetworks against Label Noise
Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院);Discipline of Business Analytics, The University of Sydney(悉尼大学商业分析学科)
图神经网络(GNN)已经实现了图上节点分类的最新性能。绝大多数现有的作品假设,真正的节点标签总是提供训练。然而,关于如何在存在标签噪声的情况下提高GNN的鲁棒性的研究很少。标签噪声学习主要是在图像分类的背景下研究的,但这些技术不能直接应用于图结构的数据,由于两个主要的挑战-标签稀疏性和标签依赖性-在图上学习所面临的。在本文中,我们提出了一个新的框架,UnionNET,用于在半监督设置下使用图上的噪声标签进行学习。我们的方法提供了一个统一的解决方案,用于鲁棒训练GNN并同时执行标签校正。其核心思想是执行标签聚合来估计节点级别的类概率分布,用于指导样本重新加权和标签校正。与现有的作品相比,UnionNET有两个吸引人的优点。首先,它不需要额外的干净的监督,或显式估计的噪声转移矩阵。其次,提出了一个统一的学习框架,以端到端的方式鲁棒地训练GNN。实验结果表明,我们提出的方法:(1)是有效的,提高模型的鲁棒性对不同类型和水平的标签噪声;(2)产生显着的改善,比最先进的基线。
2021-03-05 cs.LG
Weighted Distillation with Unlabeled Examples
Google Research(谷歌研究院)
使用未标记的示例进行蒸馏是一种流行而强大的方法,用于在标记数据量有限的情况下训练深度神经网络:在可用的标记数据上训练大型“教师"神经网络,然后使用它在未标记的数据集(通常大小要大得多)上生成标签。这些标签然后被用于训练将被实际部署的较小的“学生"模型。当然,这种方法的成功取决于教师标签的质量,因为如果在不准确的数据上训练,学生可能会感到困惑。本文提出了一个原则性的方法来解决这个问题的基础上“去偏”的学生的损失函数的加权蒸馏培训范例。我们的方法是超参数自由,数据不可知,并且易于实现。我们在流行的学术数据集上展示了显着的改进,并且我们的结果伴随着理论分析,该分析严格证明了我们的方法在某些环境中的性能。
2022-10-13 cs.AI cs.LG
Attribute-Efficient Learning of Halfspaces with Malicious Noise: Near-Optimal Label Complexity and Noise Tolerance
Stevens Institute of Technology(史蒂文斯理工学院);University of Arizona(亚利桑那大学)
研究了噪声环境下$\mathbb{R}^d$中齐次稀疏半空间的有效学习问题。虽然最近的工作已经建立了各种类型的标签噪声(如有界噪声)下的属性有效的学习算法,它仍然是一个悬而未决的问题时,以及如何$s$稀疏半空间可以有效地学习下具有挑战性的恶意噪声模型,其中对手可能会损坏的未标记的例子和标签。我们肯定地回答这个问题,通过设计一个计算效率高的主动学习算法,接近最优的标签复杂度为$\tilde{O}\big({s \log^4 \frac d ε} \big)$和噪声容限$η= Ω(ε)$,其中$ε\in (0, 1)$是目标错误率,假设分布在(未损坏)未标记的例子是各向同性对数凹。我们的算法可以直接定制的被动学习设置,我们表明,样本的复杂性是$\tilde{O}\big({\frac 1 εs^2 \log^5 d} \big)$,也享有属性效率。我们的主要技术包括属性有效的范例,例如重新加权和经验风险最小化,以及一个新的分析无界数据的统一浓度-所有这些都至关重要地考虑到底层半空间的结构。
2021-03-02 cs.DS cs.LG stat.ML
Adaptively Weighted Data Augmentation Consistency Regularization for Robust Optimization under Concept Shift
University of Texas at Austin(德克萨斯大学奥斯汀分校);Snap Inc.(Snap公司)
概念转移是医学图像分割等自然任务中普遍存在的问题,其中样本通常来自不同的子群体,特征和标签之间具有不同的相关性。医学图像分割中的一种常见的概念转移类型是具有很少(如果有的话)分割标签的标签稀疏样本和具有大量标记像素的标签密集样本之间的“信息不平衡”。现有的分布式鲁棒算法集中于自适应地截断/降低“较少信息”(即,在我们的上下文中是标签稀疏的)样本。为了更有效地利用标签稀疏样本的数据特征,我们提出了一种自适应加权在线优化算法- AdaWAC -将数据增强一致性正则化的样本重新加权。我们的方法引入了一组可训练的权重来分别平衡每个样本的监督损失和无监督一致性正则化。在底层目标的鞍点处,权重将标签密集样本分配给监督损失,将标签稀疏样本分配给无监督一致性正则化。我们提供了一个收敛保证,通过重铸的优化作为在线镜像下降的鞍点问题。我们的实验结果表明,AdaWAC不仅提高了分割性能和样本效率,但也提高了鲁棒性的概念转移的各种医学图像分割任务与不同的UNet风格的骨干。
2023-01-31 cs.CV cs.LG
Communication-Efficient Robust Federated Learning with Noisy Labels
University of Pittsburgh(匹兹堡大学);Simon Fraser University(西蒙弗雷泽大学)
联邦学习(Federated learning,FL)是一种基于分布式数据的隐私保护机器学习方法。在FL中,数据由每个用户本地保存。这保护了用户隐私,但也使服务器难以验证数据质量,特别是如果数据被正确标记。使用损坏的标签进行训练对联邦学习任务是有害的;然而,在标签噪声的情况下,很少有人关注FL。在本文中,我们专注于这个问题,并提出了一种基于学习的重新加权方法来减轻FL中噪声标签的影响。更确切地说,我们调整了每个训练样本的权重,使学习的模型在验证集上具有最佳的泛化性能。更正式地,该过程可以被公式化为联邦双层优化问题。双层优化问题是一类两层纠缠的优化问题。近年来,非分布双层问题的求解取得了显著的进展,并提出了新的有效算法。然而,解决双层优化问题下的联邦学习设置的研究不足。我们确定,高通信成本的高梯度评估是主要的瓶颈。因此,我们提出了\textit{Comm-FedBiO}来解决一般的联邦双层优化问题,更具体地说,我们提出了两个通信效率高的子例程来估计超梯度。最后给出了算法的收敛性分析。最后,我们应用所提出的算法来解决噪声标签问题。与各种基线相比,我们的方法在几个真实世界的数据集上表现出卓越的性能。
2022-06-11 cs.LG
FORML: Learning to Reweight Data for Fairness
Stanford University(斯坦福大学);Apple(苹果公司)
机器学习模型被训练为最小化单个度量的平均损失,因此通常不考虑公平性和鲁棒性。在训练中忽略这些指标会使这些模型在训练数据不平衡或测试分布不同时容易违反公平性。这项工作介绍了公平优化的重新加权通过元学习(FORML),训练算法,平衡公平性和鲁棒性与准确性,通过联合学习训练样本权重和神经网络参数。该方法增加了模型的公平性,通过学习,以平衡来自过度和代表性不足的子组的贡献,通过动态重新加权的数据从用户指定的保持了一组代表的分布下,公平性是期望的。FORML改进了图像分类任务的机会公平性标准,减少了损坏标签的偏差,并通过数据压缩促进了构建更公平的数据集。这些改进是在没有预处理数据或后处理模型输出的情况下实现的,不需要学习额外的加权函数,不需要改变模型架构,并且同时保持原始预测度量的准确性。
2022-07-20 cs.CV cs.LG
Split Conformal Prediction with Label-Shift-Adjusted Bayesian Scores
MOGAM Institute for Biomedical Research(MOGAM生物医学研究所);CROID Research(CROID研究);aSSIST University(aSSIST大学)
针对标签偏移下共形预测失效问题,提出标签偏移调整的贝叶斯分数(LSA分数),通过后验预测倾斜恒等式修正贝叶斯分数,在分子性质预测中生成更短区间且覆盖相当。
2026-09-14 cs.LG
Best Transition Matrix Esitimation or Best Label Noise Robustness Classifier? Two Possible Methods to Enhance the Performance of T-revision
The University of Sydney(悉尼大学)
本文研究标签噪声下的转移矩阵估计与鲁棒分类器构建,提出 T-Revision-Alpha 和 T-Revision-Softmax 改进方法,并在 FashionMINIST 和 CIFAR-10 上验证其性能。
2025-01-02 cs.LG
On Comparing Fair Classifiers under Data Bias
IIIT Delhi(德里印度理工学院信息技术学院);Microsoft Research India(微软印度研究院)
该研究通过向训练数据注入不同程度的代表性不足与标签偏差,审计三类公平分类器的性能,发现多数分类器性能随偏差上升下降,简单逻辑回归与少数公平技术表现更稳定,并给出实际部署的偏差风险整合方案。
2023-12-10 cs.AI cs.LG
Importance Weighting Correction of Regularized Least-Squares for Target Shift
Weierstrass Institute for Applied Analysis and Stochastics(魏泽萨斯应用分析与随机性研究所)
本文研究了在目标偏移下重要性加权修正正则化最小二乘法的统计行为,证明其在不改变输入空间复杂性的情况下能纠正训练-测试不匹配,并通过理论分析和实验验证了其在偏移严重性下的收敛性和鲁棒性。
2026-03-03 cs.LG math.ST stat.ML
Shortcut Invariance: Targeted Jacobian Regularization in Disentangled Latent Space
IIT Kanpur(印度坎普尔理工学院);ARF, IIT Kanpur(ARF,印度坎普尔理工学院)
本文提出了一种在解耦潜在空间中通过针对性雅可比正则化减少捷径依赖的方法,实现了在无需捷径标签或冲突样例的情况下提升分布外泛化性能。
2026-03-07 cs.CV cs.LG stat.ML
Debiased Graph Neural Networks with Agnostic Label Selection Bias
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室);Zhejiang University(浙江大学)
大多数现有的图神经网络(GNN)都是在没有考虑数据中的选择偏差的情况下提出的,即,训练集和测试集之间的不一致分布。实际上,在训练过程中甚至无法获得测试数据,这使得选择偏差不可知。带有偏置选择节点的GNN训练会导致显著的参数估计偏置,并极大地影响测试节点的泛化能力。在本文中,我们首先提出了一个实验研究,这清楚地表明,选择偏差极大地阻碍了GNN的泛化能力,并从理论上证明了选择偏差会导致GNN参数的有偏估计。然后,为了消除GNN估计中的偏差,我们提出了一种新的去偏图神经网络(DGNN)与微分去相关正则化。差分去相关正则化器估计每个标记节点的样本权重,从而可以消除学习嵌入的伪相关性。我们从因果关系的角度分析正则化子,它激励我们根据变量对混杂偏差的贡献来区分变量的权重。然后,这些样本权重被用来重新加权GNNs,以消除估计偏差,从而有助于提高预测的稳定性对未知的测试节点。在具有两种标签选择偏差的几个具有挑战性的图数据集上进行了综合实验。结果很好地验证了我们提出的模型优于最先进的方法,DGNN是一个灵活的框架,以增强现有的GNN。
2022-01-25 cs.AI cs.LG
Link Polarity Prediction from Sparse and Noisy Labels via Multiscale Social Balance
University of Pisa(比萨大学);ICAR-CNR(意大利国家研究委员会ICAR研究所);Sapienza University(罗马大学);CENTAI;Eurecat(欧洲科技中心)
本文提出一种基于多尺度社会平衡的半监督学习框架,通过与任意符号图神经网络架构无缝集成并动态调整样本权重,有效解决了稀疏且带噪标签下的链接极性预测问题。
2024-07-22 cs.LG cs.SI
Robust OOD Graph Learning via Mean Constraints and Noise Reduction
Independent Researcher(独立研究者);University of Science and Technology of China(中国科学技术大学);University of Science(科学大学)
针对图分布外分类中少数类性能差且对结构噪声敏感的问题,提出约束均值优化与邻域感知噪声重加权两种互补方法,经实验验证显著提升泛化与准确率。
2025-06-24 cs.LG
A Language Anchor-Guided Method for Robust Noisy Domain Generalization
Worcester Polytechnic Institute(沃斯通理工大学);Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);Tsinghua University(清华大学);Tohoku University(东北大学)
针对分布偏移和标签噪声问题,提出A3W算法,利用NLP锚点进行样本重加权与加权损失,提升域泛化的准确性和鲁棒性。
2025-04-20 cs.CL cs.CV cs.LG
Robust Neural Network Classification via Double Regularization
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
数据中存在错误标记的观察结果是统计学和机器学习中一个众所周知的挑战性问题,与传统分类器的泛化性能差有关,甚至可能与神经网络等灵活分类器有关。在这里,我们提出了一种新的双重正则化的神经网络的训练损失,结合了惩罚的分类模型的复杂性和最佳的重新加权的训练观察。组合惩罚导致改进的泛化特性和对错误标记的训练数据的不同设置中的过拟合以及训练时初始参数值的变化的强大鲁棒性。我们提供了一个理论上的理由,我们提出的方法推导出一个简单的情况下,逻辑斯谛回归。我们展示了双正则化模型,这里用DRFit表示,用于(i)MNIST和(ii)CIFAR-10的神经网络分类,在这两种情况下都有模拟的错误标记。我们还说明了DRFit识别错误标记的数据点具有非常好的精度。这为DRFit作为实用的现成分类器提供了强有力的支持,因为在不牺牲性能的情况下,我们得到了一个分类器,它同时减少了对错误标签的过度拟合,并给出了标签可信度的准确度量。
2022-02-08 cs.LG math.ST stat.AP