Distribution-free uncertainty quantification for classification under label shift
Carnegie Mellon University(卡内基梅隆大学)
ML模型的可信部署需要适当的不确定性度量,特别是在安全关键型应用中。我们专注于不确定性量化(UQ)的分类问题,通过两个途径-预测集使用共形预测和校准的概率预测后,特设分箱-因为这些拥有分布免费保证独立同分布。数据两种常见的归纳方法超越了独立同分布。设置包括处理协变量和标签偏移。在免分配用户数量的背景下,前者已经受到关注,但后者尚未受到关注。众所周知,标签移位会损害预测,我们首先认为它也会损害UQ,因为它会降低覆盖率和校准。借助最近在解决标签偏移(为了更好的预测)方面的进展,我们研究了通过重新加权上述适形和校准程序来实现UQ的正确方法,只要来自目标分布的一些未标记数据可用。我们研究这些技术理论上在一个免费的分布框架,并展示了其出色的实际性能。
2021-07-07 cs.LG stat.ML
Understanding SAM's Robustness to Noisy Labels through Gradient Down-weighting
Rochester Institute of Technology(罗彻斯特理工学院);University of Science - VNUHCM(越南国立大学胡志明市理科大学);Rowan University(罗文大学)
本文通过分析SAM在元素级别表现,揭示其对噪声标签鲁棒性的机制,并提出SANER方法提升泛化能力。
2026-03-30 cs.LG
Training Gradient Boosted Decision Trees on Tabular Data Containing Label Noise for Classification Tasks
Universität Koblenz(科布伦茨大学);University of Sheffield(谢菲尔德大学);Hochschule Koblenz(科布伦茨应用科学大学)
针对表格分类中的标签噪声问题,研究GBDT鲁棒性,改造两种深度学习噪声检测方法、提出Gradients并扩展重标注方法,在Adult上实现超过99%的检测准确率。
2025-01-06 cs.LG
Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels
Wuhan University of Technology(武汉理工大学);University of Macau(澳门大学)
针对量化神经网络中现有机器遗忘方法存在噪声放大、梯度不平衡的问题,提出首个专用遗忘框架Q-MUL,通过相似标签分配和自适应梯度重加权解决上述问题,经基准测试验证性能优于现有方法。
2025-03-18 cs.LG
How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime?
RIKEN AIP;The Institute of Statistical Mathematics(统计数学研究所);The University of Sydney(悉尼大学);The University of Tokyo(东京大学);University of California San Diego(圣地亚哥大学);New York University(纽约大学);Flatiron Institute(Flatiron 机构);The University of Hong Kong(香港大学)
本文研究低信噪比下神经网络的噪声过拟合问题,证明在梯度下降中注入标签噪声可抑制噪声记忆、促进信号学习,并给出标准 GD 测试误差非零下界。
2025-10-20 cs.LG
Semi-Supervised Learning by Label Gradient Alignment
OpenAI;University of Waterloo(滑铁卢大学)
我们提出了标签梯度对齐,半监督学习的一种新的算法,该算法为未标记的数据输入标签,并在输入的标签上进行训练。我们通过将点(x,y)映射到模型在(x,y)处的梯度,在输入空间上定义一个语义上有意义的距离度量。然后,我们制定了一个优化问题,其目标是最小化在这个空间中的标记和未标记的数据之间的距离,我们解决它的梯度下降的估算标签。我们使用Oliver等人(2018)引入的标准化架构评估标签梯度对齐,并在半监督CIFAR-10分类中展示了最先进的准确性。
2019-02-06 cs.LG stat.ML
A Gradient-based Approach for Online Robust Deep Neural Network Training with Noisy Labels
University of California(加利福尼亚大学);JP Morgan Chase AI Research(摩根大通人工智能研究院)
针对在线流数据场景下的噪声标签学习问题,提出基于梯度的OGRS方法,可自动筛选干净样本增量更新模型,经理论证明收敛且实验效果优于现有最优方法。
2023-06-08 cs.LG
Batch Label Inference and Replacement Attacks in Black-Boxed Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Tsinghua University(清华大学);Webank(微众银行);Shandong University(山东大学);Hong Kong University of Science and Technology(香港科技大学)
在垂直联邦学习(VFL)场景中,特征和模型被分成不同的部分,样本特定更新的通信对于正确的梯度计算是必需的,但可以用于推断重要的样本级标签信息。一个直接的防御策略是保护与同态加密(HE)通信的样本级消息,并且以这种方式,只有批量平均的局部梯度被暴露给每一方(称为黑盒VFL)。在本文中,我们首先探讨了在具有HE保护通信的垂直联邦学习设置中恢复标签的可能性,并通过训练梯度反转模型来高精度地重建私有标签。此外,我们表明,标签替换后门攻击可以在黑盒VFL直接更换加密的通信消息(称为梯度替换攻击)。由于批量平均信息共享是安全的,批量标签推理和替换攻击是VFL面临的严峻挑战。为了抵御批量标签推理攻击,我们进一步评估了几种防御策略,包括混淆自动编码器(CoAE),我们提出了一种基于自动编码器和熵正则化的技术。我们证明,标签推理和替换攻击可以成功地阻止这种技术,而不会损害尽可能多的主要任务的准确性相比,现有的方法。
2022-02-11 cs.LG
On the Convergence of A Family of Robust Losses for Stochastic Gradient Descent
Centre for Quantum Computation and Intelligent Systems(量子计算与智能系统中心);University of Technology Sydney(悉尼科技大学)
采用凸损失函数的随机梯度下降(SGD)算法的收敛性已被广泛研究。然而,使用凸损失的普通SGD方法不能很好地执行噪声标签,这对SGD方法中原始变量的更新产生不利影响。不幸的是,噪声标签在现实世界的应用中无处不在,例如众包。为了处理噪声标签,在本文中,我们提出了一个家庭的SGD方法的鲁棒损失。通过采用我们的鲁棒损失,SGD方法成功地减少了噪声标签对原始变量每次更新造成的负面影响。我们不仅证明了采用鲁棒损失的SGD方法的收敛速度为O(1/T),而且给出了两种典型鲁棒损失的鲁棒性分析。在6个真实数据集上的综合实验结果表明,在大多数情况下,使用鲁棒损失的SGD方法比其他基线方法具有更好的鲁棒性,并且收敛速度更快。
2016-05-05 cs.LG
User-Level Label Leakage from Gradients in Federated Learning
Technical University of Darmstadt(达姆施塔特工业大学)
联邦学习使多个用户能够通过共享他们的模型更新(梯度)来构建联合模型,而他们的原始数据仍保留在他们的设备上。与普遍认为这提供了隐私益处相反,我们在这里添加了最近关于共享梯度时隐私风险的结果。具体来说,我们调查标签泄漏从副本(LLG),一种新的攻击提取标签的用户的训练数据从他们的共享梯度。该攻击利用梯度的方向和幅度来确定是否存在任何标签。LLG简单而有效,能够泄漏由标签表示的潜在敏感信息,并且可以很好地扩展到任意批量大小和多个类。我们从数学和经验上证明了在不同的设置下的攻击的有效性。此外,实验结果表明,LLG在模型训练的早期阶段成功地提取了高精度的标签。我们还讨论了不同的防御机制对这种泄漏。我们的研究结果表明,梯度压缩是一种实用的技术,以减轻攻击。
2022-01-03 cs.CR cs.LG
Learning Gradient Boosted Multi-label Classification Rules
TU Darmstadt(达姆施塔特工业大学);JKU Linz(林茨约翰内斯·开普勒大学);Paderborn University(帕德博恩大学)
在多标签分类中,预测的评估不如单标签分类直接,已经提出了各种有意义的,尽管不同的损失函数。理想情况下,学习算法应该是针对性能度量的特定选择可定制的。从这个角度来看,提升的现代实现,最突出的是梯度提升决策树,似乎很有吸引力。然而,它们大多限于单标签分类,因此不适合多标签丢失,除非这些是标签方式可分解的。在这项工作中,我们开发了一个泛化的梯度提升框架多输出问题,并提出了一种算法,用于学习多标签分类规则,能够最大限度地减少可分解以及不可分解的损失函数。以著名的汉明损失和子集0/1损失为代表,分析了该方法在合成数据上的能力和局限性,并在多标签基准测试上评估了其预测性能。
2020-06-23 cs.LG stat.ML
iDLG: Improved Deep Leakage from Gradients
School of Informatics(信息学院);The University of Edinburgh(爱丁堡大学)
人们普遍认为,在分布式学习系统,如协作学习和联邦学习等,共享梯度不会泄漏私人的训练数据。最近,朱等。提出了一种方法,显示了可能性,以获得私人的训练数据从公共共享的梯度。在他们的深度梯度泄漏(DLG)方法中,他们在共享梯度的监督下合成了虚拟数据和相应的标签。然而,DLG在收敛和一致地发现地面真实标签方面存在困难。在本文中,我们发现共享梯度肯定会泄漏地面实况标签。我们提出了一个简单但可靠的方法来提取准确的数据的梯度。特别是,我们的方法当然可以提取地面实况标签,而不是DLG,因此我们称之为改进的DLG(iDLG)。我们的方法适用于任何在单热标签上使用交叉熵损失训练的可微模型。我们从数学上说明了我们的方法如何从梯度中提取地面实况标签,并以经验证明了DLG的优势。
2020-01-08 cs.LG stat.ML
Gradient Mirage: Trainable yet Label-Unidentifiable Gradients in Large Language Model Split Learning
针对大语言模型拆分学习中梯度匹配攻击的标签泄露问题,提出Gradient Mirage防御方法,通过三个维度的不一致性打破梯度-目标一致性,在保留优化效用的同时提升隐私保护,实现更优的隐私-效用权衡。
2026-08-20 cs.CL cs.LG
Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks
University of California, Riverside(加州大学河滨分校);University of Southern California(南加州大学)
现代神经网络通常在过参数化状态下训练,其中模型的参数远远超过训练数据的大小。这样的神经网络原则上具有(过)拟合包括纯噪声的任何标签集合的能力。尽管如此,有些矛盾的是,通过一阶方法训练的神经网络模型仍然可以很好地预测尚未看到的测试数据。本文将进一步揭开这一现象的神秘面纱。在丰富的数据集模型下,我们证明了梯度下降对恒定分数的标签上的噪声/腐败具有可证明的鲁棒性,尽管过度参数化。特别是,我们证明:(i)在最初的几次迭代中,更新仍然在初始化附近的梯度下降只适合正确的标签,基本上忽略了嘈杂的标签。(ii)为了开始过拟合到噪声标签,网络必须偏离初始化相当远,这只能在更多的迭代之后发生。总之,这些结果表明,具有早期停止的梯度下降可证明对标签噪声具有鲁棒性,并揭示了深度网络的经验鲁棒性以及通常采用的防止过度拟合的算法。
2019-07-03 cs.LG stat.ML
Dynamic Flows on Curved Space Generated by Labeled Data
Stanford University(斯坦福大学);The University of Akron(阿克伦大学);The Institute of Statistical Mathematics(统计数理研究所);RIKEN AIP(理化学研究所革新智能统合研究中心);Chinese University of Hong Kong(香港中文大学)
针对标记数据稀缺问题,提出在 feature-Gaussian 流形分布空间上基于最优传输度量的梯度流,以最小化 MMD 并生成接近目标域的样本,证明离散流收敛条件并提升迁移学习分类准确率。
2023-01-31 cs.LG
A Multi-Task Gradient Descent Method for Multi-Label Learning
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院)
多标签学习研究一个实例与一组标签相关联的问题。通过将单标签学习问题视为一个任务,多标签学习问题可以转化为同时解决多个相关任务。本文提出了一种新的多任务梯度下降(MGD)算法,用于同时解决一组相关任务。在该算法中,每个任务使用改进的梯度下降最小化其各自的成本函数,其中任务之间的关系,通过有效地传递模型参数值在多个任务。理论分析表明,该算法是收敛的,与适当的转移机制。与现有方法相比,MGD算法易于实现,对训练模型的要求较低,能够实现无缝的非对称转换,从而减轻负迁移,并且在任务数量较大时能够利用并行计算。在多标签学习数据集上的实验结果验证了该算法的有效性。
2019-11-19 cs.LG stat.ML
Extreme Gradient Boosted Multi-label Trees for Dynamic Classifier Chains
Technische Universität Darmstadt(达姆施塔特工业大学)
分类器链是多标签分类中的关键技术,因为它允许有效地考虑标签依赖性。然而,分类器根据标签的静态顺序对齐。在动态分类器链(DCC)的概念中,标签排序是根据手头的相应实例动态地为每个预测选择的。我们将这个概念与极端梯度提升树(XGBoost)的提升相结合,这是一种有效且可扩展的最先进技术,并将DCC纳入我们公开提供的XGBoost的快速多标签扩展中。由于仅需预测阳性标签,并且这些标签通常很少,因此可以进一步大幅降低训练成本。此外,正如在11个数据集上的实验所示,链的长度允许对先前预测的使用进行更多的控制,因此可以对想要优化的度量进行更多的控制。
2020-06-15 cs.LG stat.ML
Gradient-Based Adversarial and Out-of-Distribution Detection
Georgia Institute of Technology(佐治亚理工学院)
我们建议利用梯度来检测对抗性和分布外的样本。我们在梯度生成中引入混淆标签--与训练过程中看到的正常标签不同的标签--以探测神经网络的有效表达能力。事件描述了模型正确表示给定输入所需的变化量,从而深入了解由网络架构属性以及训练数据建立的模型的表示能力。通过引入不同设计的标签,我们消除了在推理过程中梯度生成对地面真值标签的依赖。我们表明,我们的基于梯度的方法允许捕获输入中的异常,基于模型的有效表达能力,无需超参数调整或额外处理,并且优于对抗性和分布外检测的最先进方法。
2022-07-04 cs.CV cs.LG
Optimized Gradient Clipping for Noisy Label Learning
Shanghai University(上海大学);Fudan University(复旦大学);Hong Kong Baptist University(香港浸会大学)
针对固定梯度裁剪阈值无法适应训练动态变化的问题,提出 Optimized Gradient Clipping (OGC) 方法,通过建模样本分布动态调整裁剪阈值以控制噪声梯度影响,并经统计分析与多类噪声实验验证了其有效性。
2024-12-22 cs.CV cs.LG
Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples
Florida Institute for Cyber Security (FICS) Research, University of Florida(佛罗里达大学);IBM Research(IBM研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Air Force Research Laboratory(空军研究实验室)
设计对对抗性样本鲁棒的深度网络仍然是一个悬而未决的问题。同样,最近对图像分类模型的零阶硬标签攻击已经显示出与其一阶梯度级替代方案相当的性能。最近在梯度水平设置中表明,常规对抗性示例离开数据流形,而它们在流形上的对应物实际上是泛化误差。在本文中,我们认为,查询效率在零阶设置连接到对手的遍历通过数据流形。为了解释这种行为,我们提出了一个信息理论的论点的基础上嘈杂的流形距离预言机,通过对手的梯度估计泄漏流形信息。通过流形梯度互信息的数值实验,我们表明这种行为作为一个函数的有效问题的维数和训练点的数量。在现实世界的数据集和使用降维的多个零阶攻击中,我们观察到相同的普遍行为,以产生更接近数据流形的样本。这导致歧管距离测量值减少了两倍,而不管模型的鲁棒性如何。我们的研究结果表明,考虑流形梯度互信息,从而为未来更好的鲁棒模型设计提供信息,并避免敏感数据流形的泄漏。
2021-03-04 cs.LG
Gradient-Discrepancy Acquisition for Pool-Based Active Learning
University of Regina(里贾纳大学)
本文提出基于梯度的获取准则,用于替代不确定性采样中的不确定性度量,或整合到考虑采样点分布和标签不确定性的多样性方法中,理论和实验证明其有效性。
2026-05-15 cs.LG
Towards Eliminating Hard Label Constraints in Gradient Inversion Attacks
School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
本研究聚焦梯度反转攻击的硬标签约束问题,提出首个可从单输入梯度同时恢复增强软标签与全连接层输入特征的算法,给出分析类标签恢复的必要条件,实验验证其标签恢复准确率及对图像重建的增益。
2024-04-15 cs.CR cs.CV cs.LG
Inception Score, Label Smoothing, Gradient Vanishing and -log(D(x)) Alternative
在这篇文章中,我们从数学上研究了几个GAN相关的主题,包括Inception评分,标签平滑,梯度消失和-log(D(x))替代。arXiv:1703.02000“Activation Maximization Generative Adversarial Nets”中包含了一个高级版本。有关初始分数的详细分析,请参阅1703.02000中的第6节,有关标签平滑、梯度消失和-log(D(x))替代的讨论,请参阅其附录。
2018-06-30 cs.AI cs.CV cs.LG
Learning with Noisy Labels by Adaptive Gradient-Based Outlier Removal
University of Vienna(维也纳大学)
提出AGRA方法,通过在训练过程中比较批聚合梯度与单样本梯度动态决定样本去留,实现带噪标签学习,避免永久移除离群点导致的过滤问题。
2024-01-03 cs.AI cs.LG
Curiosity Meets Cooperation: A Game-Theoretic Approach to Long-Tail Multi-Label Learning
School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区计算机科学与技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Department of Statistics and Data Science, National University of Singapore(新加坡国立大学统计与数据科学系);NExT++ Research Centre, National University of Singapore(新加坡国立大学NExT++研究中心)
本文提出 CD-GTMLL 合作势博弈框架,利用随标签稀有度和参与者分歧增长的好奇心奖励缓解长尾多标签学习不平衡,并证明其收敛性与 Rare-F1 下界收益。
2025-10-20 cs.LG
Improving Pseudo-label Training For End-to-end Speech Recognition Using Gradient Mask
Bytedance AI Lab(字节跳动人工智能实验室)
在最近的半监督语音识别趋势中,自监督表示学习和伪标记都显示出有希望的结果。在本文中,我们提出了一种新的方法,结合他们的想法,端到端的语音识别模型。在没有任何额外损失函数的情况下,我们在伪标签上训练时使用梯度掩码来优化模型。该方法迫使语音识别模型从掩蔽输入进行预测,以学习强声学表示,并使训练对标签噪声具有鲁棒性。在我们的半监督实验中,该方法可以提高在伪标签上训练时的模型性能,并且在Librispeech 100小时实验中,与其他半监督方法相比,我们的方法取得了有竞争力的结果。
2021-10-08 cs.LG cs.SD eess.AS
Gradient Perturbation: Learning to Perturb Gradients for Adaptive Training
Henan University(河南大学)
本文提出学习扰动梯度(LPG)方法,通过自适应地扰动类别级别的梯度实现类别感知训练,并建立统一框架揭示SAM、梯度裁剪等方法的梯度扰动本质,实验表明LPG在平衡/长尾分类和噪声标签学习中优于现有方法。
2026-05-28 cs.LG
GDBR: Label Recovery Attack Against Partial Gradient Encryption in Federated Learning
The Hong Kong Polytechnic University(香港理工大学)
研究联邦学习中部分梯度加密的隐私问题,提出GDBR攻击,利用常用神经模块漏洞,构建梯度桥近似logits信息恢复标签,揭示其隐私威胁并通过实验验证。
2026-07-07 cs.CR cs.LG
Label Leakage and Protection from Forward Embedding in Vertical Federated Learning
Bytedance Inc.(字节跳动公司)
近年来,垂直联邦学习(vFL)得到了广泛的关注,并被用于解决机器学习问题和数据隐私问题。然而,最近的一些工作表明,vFL很容易受到隐私泄露的影响,即使只有前向中间嵌入(而不是原始特征)和反向传播梯度(而不是原始标签)在参与者之间进行通信。由于原始标签通常包含高度敏感信息,因此最近提出了一些工作来有效地防止vFL中来自反向传播梯度的标签泄漏。然而,这些工作仅识别和防御来自反向传播梯度的标签泄漏的威胁。这些工作都没有注意到从中间包埋的标签泄漏的问题。本文提出了一种实用的标签推理方法,该方法在使用标签差分隐私和梯度扰动等现有保护方法的情况下,仍能有效地从共享中间嵌入中窃取私有标签。标签攻击的有效性与中间嵌入和相应私有标签之间的相关性密不可分。为了减轻前向嵌入的标签泄漏问题,我们在标签方添加了一个额外的优化目标,通过最小化中间嵌入和相应的私有标签之间的距离相关性来限制对手的标签窃取能力。我们进行了大量的实验来证明我们提出的保护方法的有效性。
2022-05-25 cs.CR cs.LG
Label Smoothing Improves Machine Unlearning
University of California, Santa Cruz(加州大学圣克鲁兹分校);Michigan State University(密歇根州立大学);TikTok(抖音(TikTok));Bytedance Research(字节跳动研究院)
针对机器遗忘中计算成本与性能难以平衡的问题,本文提出基于标签平滑逆过程的即插即用梯度方法UGradSL,并通过理论分析和六数据集实验证明其可显著提升遗忘准确率且几乎不增加计算开销。
2024-06-11 cs.LG
Fed-Listing: Federated Label Distribution Inference in Graph Neural Networks
Department of Computer Science, University of Nevada Las Vegas(内华达大学拉斯维加斯分校计算机科学系);Department of Computer Science, University of Southern California(南加州大学计算机科学系)
本文提出Fed-Listing,一种基于梯度的攻击方法,用于在联邦图神经网络中推断目标客户端的隐私标签统计信息,展示了其在非独立同分布场景下的优越性能。
2026-05-06 cs.LG
Generalization Bounds for Label Noise Stochastic Gradient Descent
University of Oxford(牛津大学)
本文在非凸设定下为带标签噪声的SGD建立泛化界,证明其误差以$n^{-2/3}$速率缩放,优于SGLD的$n^{-1/2}$,并揭示标签噪声对泛化的定量影响。
2023-11-01 cs.LG math.OC stat.ML
Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels
National Taiwan University(国立台湾大学);RIKEN(理化学研究所);The University of Tokyo(东京大学)
在弱监督学习中,当训练数据和测试数据来自不同的分布时,无偏风险估计器(URE)是训练分类器的有力工具。然而,当模型像深度网络一样复杂时,URES会在许多问题设置中导致过拟合。在本文中,我们通过研究一个称为互补标签学习的弱监督问题来研究这种过拟合的原因。我们认为梯度估计的质量在风险最小化中更重要。从理论上讲,我们证明了一个URE给出了一个无偏梯度估计(UGE)。然而,实际上,UGE可能遭受巨大的方差,这导致经验梯度通常远离真实梯度在最小化期间。为此,我们提出了一种新的替代互补损失(SCL)框架,交易零偏差减少方差,使经验梯度更符合真实梯度的方向。由于这一特性,SCL成功地缓解了过拟合问题,并改进了基于URE的方法。
2020-08-21 cs.LG stat.ML
Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions
University of Hamburg(汉堡大学);Ecole Normale Superieure de Rennes(里昂高等师范学校)
提出一种无需偏差标签的后处理方法,通过非负矩阵分解提取概念向量,并利用误分类样本的梯度信号识别视觉模型中的虚假关联,在不重新训练的情况下提升最差组准确率。
2026-05-27 cs.CV cs.LG
GAN-based Vertical Federated Learning for Label Protection in Binary Classification
Yale University(耶鲁大学)
本文提出GAFM模型,通过将splitNN与GAN结合并引入噪声标签交叉熵损失,有效缓解垂直联邦学习中的梯度标签泄露问题,在保护隐私的同时保持模型效用。
2023-05-17 cs.LG
Exponentiated Gradient Reweighting for Robust Training Under Label Noise and Beyond
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google Research(谷歌研究院)
机器学习中的许多学习任务可以被视为在每次训练迭代中采取梯度步骤,以最小化一批样本的平均损失。当噪声在数据中普遍存在时,这种对示例的统一处理可能导致对具有较大损失值的噪声示例的过拟合,并导致泛化能力差。受在线学习中专家设置的启发,我们提出了一种灵活的方法来从嘈杂的例子中学习。具体来说,我们将每个训练样本视为专家,并在所有样本上保持分布。我们交替使用梯度下降更新模型的参数和使用指数梯度更新示例权重。与其他相关方法不同,我们的方法处理一般类的损失函数,并可以应用于广泛的噪声类型和应用。我们展示了我们的方法对多个学习设置的有效性,即噪声主成分分析和各种噪声分类问题。
2021-04-03 cs.LG stat.ML
Gradient based Severity Labeling for Biomarker Classification in OCT
Georgia Institute of Technology(佐治亚理工学院);Center for Signal and Information Processing CSIP(信号与信息处理中心);School of Electrical and Computer Engineering(电气与计算机工程学院)
本文提出基于梯度的严重程度标注方法,用于提升OCT图像中生物标志物分类的准确性。
2026-02-23 cs.CV cs.LG
Analysis of Kinetic Models for Label Switching and Stochastic Gradient Descent
Friedrich–Alexander–Universität Erlangen–Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
在本文中,我们提供了一种新的方法来分析动力学模型的标签切换,这是用于粒子系统,可以随机切换梯度流在不同的能源景观。除了生物学和物理学中的问题,我们还证明了随机梯度下降,机器学习中最流行的技术,可以在这种情况下理解,当考虑时间连续变量时。我们的分析是集中在一个外部电位的集合中的演化的情况下,我们提供的演化以及平稳问题的分析和数值结果。
2022-12-08 cs.LG math-ph math.AP
Limited Gradient Descent: Learning With Noisy Labels
School of Electronic Information and Communications(电子信息与通信学院);Huazhong University of Science and Technology(华中科技大学)
标签噪声会影响分类器的泛化能力,如何从带有噪声标签的样本中有效地学习主模式是一个重要的挑战。最近的研究表明,深度神经网络倾向于优先学习简单模式,而不是记忆噪声模式。这表明了一种可能的方法来搜索学习主模式的最佳泛化,直到噪音开始被记忆。传统方法通常采用干净的验证集来找到学习的最佳停止时间,即,提前停止。然而,这种方法的泛化性能依赖于验证集的质量。此外,在实践中,有时难以获得干净的验证集。为了解决这个问题,我们提出了一种方法,可以估计最佳停止时间没有一个干净的验证集,称为有限的梯度下降。我们修改了噪声数据集中一些样本的标签,以获得错误标签并创建反向模式。通过监测噪声和反向样本的学习进度,我们可以确定学习的停止时间。在本文中,我们还从理论上提供了一些必要的条件,学习与噪声标签。在CIFAR-10和CIFAR-100数据集上的实验结果表明,我们的方法具有与依赖于干净验证集的方法相当的泛化性能。因此,在嘈杂的Clothing-1 M数据集上,我们的方法超过了依赖于干净验证集的方法。
2019-12-05 cs.LG stat.ML
Semi-Supervised Learning with Meta-Gradient
Nankai University(南开大学);University of California, Merced(加州大学默塞德分校);Tongji University(同济大学)
在这项工作中,我们提出了一个简单而有效的元学习算法在半监督学习。我们注意到,大多数现有的基于一致性的方法遭受过拟合和有限的模型泛化能力,特别是当训练只有少量的标记数据。为了缓解这个问题,我们提出了一个学习泛化正则化项,利用标签信息和优化的元学习方式的问题。具体来说,我们寻求未标记数据的伪标签,使模型可以很好地推广标记数据,这是一个嵌套的优化问题。我们使用连接伪标签和正则化项的元梯度来解决这个问题。此外,我们引入了一个简单的一阶近似,以避免计算高阶导数,并提供理论收敛性分析。对SVHN、CIFAR和ImageNet数据集的广泛评估表明,该算法与最先进的方法相比表现良好。
2021-03-17 cs.LG stat.ML
Decoupling the Class Label and the Target Concept in Machine Unlearning
Hong Kong Baptist University(香港浸会大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能中心);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Tokyo(东京大学)
本研究针对机器遗忘中类别标签与目标概念默认绑定的局限,将二者解耦并提出三类新遗忘问题,通过分析表征层遗忘动态,提出目标感知遗忘框架TARF,可在维持其余性能的同时实现目标概念的限制性遗忘,经新设置实验验证了有效性。
2024-06-16 cs.LG
Defending Label Inference Attacks in Split Learning under Regression Setting
Zhejiang University(浙江大学)
针对回归设置下 Split Learning 中基于梯度反演的标签推理攻击,提出 RLE 与自适应 MLE 标签扩展防御,在保持原任务性能的同时显著降低攻击效果。
2023-08-18 cs.CR cs.LG
Revealing and Protecting Labels in Distributed Training
Boston University(波士顿大学);Google(谷歌)
诸如联邦学习之类的分布式学习范例通常涉及通过网络传输模型更新或梯度,从而避免传输私有数据。然而,关于训练数据的敏感信息可能从这样的梯度中被揭示。先前的工作已经证明,标签可以从某些模型的最后一层(例如,ResNet),或者它们可以通过使用具有关于模型的当前状态的附加知识的属性匹配[Zhu et al'19]与模型输入联合重建。在这项工作中,我们提出了一种方法来发现训练样本的标签集,只从最后一层的梯度和id到标签的映射。我们的方法是适用于各种各样的模型架构,跨多个领域。我们证明了我们的方法在两个领域的模型训练的有效性-图像分类,和自动语音识别。此外,我们表明,现有的重建技术,提高其效率时,与我们的方法结合使用。相反,我们证明了梯度量化和稀疏化可以显着降低攻击的成功率。
2021-10-31 cs.CL cs.CR cs.LG
Approaching the Harm of Gradient Attacks While Only Flipping Labels
École Polytechnique(巴黎高等理工学院);CMAP, École Polytechnique(巴黎高等理工学院)
本文研究仅翻转有限训练标签的受限攻击对分布式学习的可用性威胁,提出每轮最优贪心规则,证明其可迁移至鲁棒聚合器,危害接近梯度攻击。
2026-09-09 cs.CR cs.LG stat.ML
Little is Enough: Boosting Privacy by Sharing Only Hard Labels in Federated Semi-Supervised Learning
Institute for Neuroinformatics, Ruhr University Bochum(波鸿鲁尔大学神经信息学研究所);Monash University(莫纳什大学);Case Western Reserve University(凯斯西储大学);Carenostics(Carenostics公司)
提出联邦协同训练方法FedCT,通过仅共享公共无标签数据集上的硬标签作为伪标签进行本地训练,在提升隐私的同时保持模型质量,并支持非参数聚合模型及大语言模型微调。
2024-12-20 cs.LG
Label noise (stochastic) gradient descent implicitly solves the Lasso for quadratic parametrisation
EPFL(洛桑联邦理工学院);École des Ponts(巴黎路桥学院)
理解训练算法的隐含偏差对于解释过度参数化神经网络的成功至关重要。在本文中,我们研究了标签噪声在二次参数化模型的训练动力学中的作用,通过其连续时间版本。我们显式地证明了由随机流所选择的解是Lasso规划的隐式解。为了完全完成我们的分析,我们提供了非渐近收敛保证的动态以及支持恢复的条件。我们也给出了实验结果,支持我们的理论主张。我们的研究结果强调了这样一个事实,即结构化噪声可以引起更好的概括,并有助于解释在实践中观察到的随机动力学的更大性能。
2022-06-20 cs.LG math.OC stat.ML
Verifiable Rewards for Calibrated Probabilistic Forecasting
Cascade Research(Cascade研究机构)
针对概率预测中奖励信号噪声导致校准退化的问题,提出基于历史结果的无标签可验证奖励,结合梯度掩码保持推理链,使7B模型达到博彩市场校准水平。
2026-07-02 cs.LG
Gradient-based Data Augmentation for Semi-Supervised Learning
NS Solutions Corporation(NS解决方案公司)
在半监督学习(SSL)中,一种称为一致性正则化(CR)的技术实现了高性能。实践证明,CR中使用的数据的多样性对于CR获得高鉴别性能的模型是极其重要的。我们提出了一种新的数据增强(基于约束的数据增强(GDA)),它是确定性地计算从图像像素值梯度的后验概率分布,即模型输出。我们的目标是通过利用三种类型的GDA来确保CR的有效数据多样性。另一方面,它已被证明是有效的标记数据和未标记数据的混合方法在SSL。我们提出了一个SSL方法命名为MixGDA的各种mixup方法和GDA相结合。MixGDA实现的区分性能与SSL研究中用作标准的13层CNN进行了评估。因此,对于CIFAR-10(4000个标签),MixGDA实现了与有史以来最佳性能相同的性能水平。对于SVHN(250个标签、500个标签和1000个标签)和CIFAR-100(10000个标签),MixGDA实现了最先进的性能。
2020-04-02 cs.CV cs.LG stat.ML
Unsupervised Word Segmentation Using Temporal Gradient Pseudo-Labels
Bar-Ilan University(巴伊兰大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
提出基于时间梯度幅度伪标签的无监督词分割方法,利用深度自监督特征训练线性分类器,在两个数据集上显著超越现有方法且运行速度快。
2023-03-30 cs.CL cs.LG cs.SD
Label Leakage in Federated Inertial-based Human Activity Recognition
University of Siegen(辛根大学)
本研究评估了联邦学习中基于梯度的标签泄露攻击在惯性人体活动识别任务上的有效性,发现活动类别数、采样策略和类别不平衡是影响泄露的关键因素,重建准确率超90%,且局部差分隐私保护有限,并为隐私感知部署提供了建议。
2025-08-07 cs.HC cs.LG
Gradient tree boosting with random output projections for multi-label classification and multi-output regression
University of Liège(列日大学)
在监督学习的许多应用中,必须联合预测多个分类或回归输出。我们考虑几个扩展的梯度提升来解决这些问题。我们首先提出了一个简单的适应梯度提升利用多个输出回归树作为基本学习者。然后,我们认为,这种方法预计只有在输出完全相关时才是最优的,因为它迫使树基学习器引起的分区被所有输出共享。然后,我们提出了一种新的梯度树提升扩展来专门解决这个问题。在这种新方法的每次迭代中,生长回归树结构以拟合当前残差的单个随机投影,并且该树的预测独立地线性拟合所有输出的当前残差。由于这种线性拟合,该方法可以自动适应任何输出相关结构。用这种方法进行了广泛的实验,以及其他算法的变种,在几个人工和真实的问题。随机投影的输出空间,以提供一个更好的适应不同的输出相关模式,因此在大多数情况下,最好的其他方法的竞争力。由于模型共享,收敛速度也得到了提高,减少了计算时间(或模型的复杂性),以达到特定的精度。
2019-05-18 cs.LG stat.ML
Stochastic Resetting Mitigates Latent Gradient Bias of SGD from Label Noise
Seoul National University(首尔大学);KAIST(韩国科学技术院)
本文针对噪声标签使 SGD 产生潜在梯度偏差并损害泛化的问题,引入统计物理中的随机重置机制,理论界定其有效条件并实验验证可显著提升泛化且易于兼容现有方法。
2025-03-04 cond-mat.stat-mech cs.AI cs.LG
Label Smoothing Improves Gradient Ascent in LLM Unlearning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Harbin Institute of Technology (Weihai)(哈尔滨工业大学(威海))
针对大语言模型去学习中梯度上升不稳定的问题,提出平滑梯度上升方法,通过结合正常数据稳定去学习过程,并在多个基准上取得优于原方法的效果。
2025-10-25 cs.CL cs.LG
Label Inference Attack against Split Learning under Regression Setting
Illinois Institute of Technology(伊利诺伊理工学院);ByteDance Inc.(字节跳动公司)
针对拆分学习在回归设置下连续标签易泄露的问题,提出一种结合梯度信息与额外学习正则化目标的基于学习的攻击方法,有效推断连续标签并经多数据集验证。
2023-04-07 cs.CR cs.LG