FLCert: Provably Secure Federated Learning against Poisoning Attacks
Meta Platforms(Meta平台公司);University of Science and Technology of China(中国科学技术大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Duke University(杜克大学)
由于其分布式性质,联邦学习容易受到中毒攻击,其中恶意客户端通过操纵其本地训练数据和/或发送到云服务器的本地模型更新来中毒训练过程,使得中毒的全局模型错误分类许多不加区分的测试输入或攻击者选择的输入。现有的防御主要利用拜占庭健壮的联邦学习方法或检测恶意客户端。但是,这些防御措施不具有针对中毒攻击的可证明的安全保证,并且可能容易受到更高级的攻击。在这项工作中,我们的目标是弥合差距,提出FLCert,一个集成的联邦学习框架,这是可证明安全的中毒攻击与有限数量的恶意客户端。我们的核心思想是将客户端分成组,使用任何现有的联邦学习方法为每组客户端学习一个全局模型,并在全局模型中进行多数投票以分类测试输入。具体来说,我们考虑了两种方法来对客户端进行分组,并相应地提出了FLCert的两种变体,即,FLCert-P在每个组中随机抽样客户端,FLCert-D确定性地将客户端划分到不相交的组。我们在多个数据集上进行的大量实验表明,我们的FLCert为测试输入预测的标签可证明不受有限数量的恶意客户端的影响,无论他们使用什么中毒攻击。
2022-10-04 cs.AI cs.CR cs.LG
Bounding Retraining Equivalence and the Deletion Floor in Materials Machine Unlearning
本研究针对材料机器学习中机器遗忘的模糊性,定义删除下限并推导理论界,实验表明删除后保留相关样本可大幅降低再训练损失,并建议综合报告多项指标以评估遗忘效果。
2026-09-29 cond-mat.mtrl-sci cs.LG quant-ph
Des-q: a quantum algorithm to provably speedup retraining of decision trees
Global Technology Applied Research, JPMorgan Chase(摩根大通全球技术应用研究部门)
Des-q是一种量子算法,通过分段线性分割和量子监督聚类,在对数复杂度内加速决策树的周期性再训练,性能与经典方法相当。
2025-01-22 cs.LG quant-ph
Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning
CISPA Helmholtz Center for Information Security(CISPA赫尔姆霍茨信息安全中心);Universität des Saarlandes(萨尔兰州立大学)
本文研究机器遗忘中梯度上升和随机标签方法导致的局部连带遗忘现象,并提出了基于局部教师蒸馏的缓解策略。
2026-05-29 cs.LG
Loss-Free Machine Unlearning
The Alan Turing Institute(阿兰·图灵研究所);University of Cambridge(剑桥大学)
针对机器遗忘依赖微调、全量数据存储或有标签 Fisher 信息的问题,本文扩展 Selective Synaptic Dampening,用模型输出 l2 范数梯度近似参数敏感度,实现无需重训和标签的遗忘,并在 ResNet18、ViT 上达到与 SOTA 相当的效果。
2024-02-29 cs.CV cs.LG
Transfer Learning with Label Noise
迁移学习的目的是通过从一个相关但不同的源域中借用知识来改善目标域的学习。为了减少源域和目标域之间的分布偏移,最近的方法集中于探索跨域具有相似分布的不变表示。然而,在学习这些不变知识时,现有的方法假设源域中的标签是未污染的,而在现实中,我们经常可以访问带有噪声标签的源数据。在本文中,我们首先展示了标签噪声如何在各种迁移学习场景中对不变表示的学习和标签移位的校正产生不利影响。为了减少不利影响,我们提出了一种新的去噪条件不变分量(DCIC)框架,该框架可证明地确保(1)在源域中具有噪声标签的示例和目标域中未标记的示例中提取不变表示;(2)估计目标域中的标签分布,没有偏见。仿真和真实数据的实验结果验证了该方法的有效性。
2018-08-08 stat.ML
Deep Learning with Label Differential Privacy
Google Research(谷歌研究院);MIT(麻省理工学院)
随机响应(RR)算法是一种提高调查数据聚合鲁棒性的经典技术,在差分隐私保证的应用中得到了广泛的应用。我们提出了一种新的算法,随机响应与先验(RRWithPrior),它可以提供更准确的结果,同时保持相同的隐私级别的RR保证。然后,我们应用RRWithPrior来学习具有标签差分隐私(LabelDP)的神经网络,并表明当只需要保护标签时,模型性能可以比以前最先进的私有基线显着提高。此外,我们研究了不同的方法来获得先验,当与RRWithPrior一起使用时,可以进一步提高模型性能,进一步减少私有和非私有模型之间的准确性差距。我们补充的实证结果与理论分析表明,LabelDP是可证明的比保护输入和标签更容易。
2021-10-26 cs.DS cs.LG
MultiGuard: Provably Robust Multi-label Classification against Adversarial Examples
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Huazhong University of Science and Technology(华中科技大学);Duke University(杜克大学)
多标签分类,它预测一组标签的输入,有许多应用。然而,最近的多项研究表明,多标签分类容易受到对抗性样本的影响。特别是,攻击者可以通过添加精心制作的,人类无法感知的扰动来操纵多标签分类器预测的标签。现有的可证明防御多类分类实现次优可证明的鲁棒性保证时,推广到多标签分类。在这项工作中,我们提出了MultiGuard,这是第一个针对多标签分类对抗性示例的可证明鲁棒防御。我们的MultiGuard利用随机平滑,这是最先进的技术来构建可证明的鲁棒分类器。具体来说,给定任意多标签分类器,我们的MultiGuard通过向输入添加随机噪声来构建平滑的多标签分类器。在这项工作中,我们考虑各向同性高斯噪声。我们的主要理论贡献是,我们证明了一定数量的地面真值标签的输入是可证明的标签集由我们的MultiGuard预测时,加入到输入的对抗扰动的$\ell_2$ -范数是有界的。此外,我们设计了一个算法来计算我们的可证明的鲁棒性保证。经验上,我们评估我们的MultiGuard VOC 2007年,MS-COCO和NUS-WIDE基准数据集。我们的代码可从以下网址获得:\url{https://github.com/quwenjie/MultiGuard}
2022-10-03 cs.CR cs.LG
UnAct: Gradient-Free Unlearning via Targeted Activation Intervention
Gaash Lab(Gaash实验室);National Institute of Technology Srinagar(斯利那加国立理工学院)
UnAct是一种无梯度的类别遗忘方法,仅通过前向传播和激活干预即可高效遗忘,在数据稀缺时优于现有方法,且保持高保留准确率。
2026-10-06 cs.CV cs.LG
QC-Forest: a Classical-Quantum Algorithm to Provably Speedup Retraining of Random Forest
JPMorgan Chase(摩根大通);Global Technology Applied Research(全球技术应用研究中心)
针对在线随机森林再训练随样本量线性增长的效率问题,提出经典-量子混合算法QC-Forest,扩展Des-q至多分类并优化量子子程序,在8万样本基准集上精度可比且再训练速度显著提升,运行时间与样本数呈多重对数关系。
2024-07-11 cs.LG quant-ph
Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks
University of California, Riverside(加州大学河滨分校);University of Southern California(南加州大学)
现代神经网络通常在过参数化状态下训练,其中模型的参数远远超过训练数据的大小。这样的神经网络原则上具有(过)拟合包括纯噪声的任何标签集合的能力。尽管如此,有些矛盾的是,通过一阶方法训练的神经网络模型仍然可以很好地预测尚未看到的测试数据。本文将进一步揭开这一现象的神秘面纱。在丰富的数据集模型下,我们证明了梯度下降对恒定分数的标签上的噪声/腐败具有可证明的鲁棒性,尽管过度参数化。特别是,我们证明:(i)在最初的几次迭代中,更新仍然在初始化附近的梯度下降只适合正确的标签,基本上忽略了嘈杂的标签。(ii)为了开始过拟合到噪声标签,网络必须偏离初始化相当远,这只能在更多的迭代之后发生。总之,这些结果表明,具有早期停止的梯度下降可证明对标签噪声具有鲁棒性,并揭示了深度网络的经验鲁棒性以及通常采用的防止过度拟合的算法。
2019-07-03 cs.LG stat.ML
Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences
Mila(米拉);Université de Montréal(蒙特利尔大学);Ecole Normale Supérieure de Paris(巴黎高等师范学院);University of Oxford(牛津大学)
该研究从理论与实验层面证明,经奖励模型筛选的合成数据参与生成模型迭代再训练时,可作为隐式偏好优化机制最大化期望奖励,同时会放大奖励模型偏差。
2024-06-12 cs.AI cs.CV cs.LG
Partial Label Learning with Self-Guided Retraining
Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院)
部分标签学习处理的问题是,每个训练实例都被分配了一组候选标签,其中只有一个是正确的。本文首次尝试利用自我训练的思想来处理部分标记的例子。具体来说,我们提出了一个统一的制定适当的约束训练所需的模型,并执行伪标记联合。对于伪标签,与传统的自训练不同,传统的自训练手动区分具有足够高置信度的地面真值标签,我们在建模输出上引入最大无穷范数正则化来自动实现此正则化,这导致凹凸优化问题。我们表明,优化这个凹凸问题相当于解决一组二次规划(QP)问题。通过提出一个上限代理目标函数,我们转向只解决一个QP问题,以提高优化效率。在合成数据集和真实数据集上的大量实验表明,所提出的方法明显优于最先进的部分标签学习方法。
2019-02-08 cs.LG stat.ML
Deep Learning is Provably Robust to Symmetric Label Noise
Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI
深度神经网络(DNN)能够完美地拟合训练数据,包括记忆噪声数据。人们普遍认为,死记硬背不利于概括。因此,许多最近的作品提出缓解策略,以避免嘈杂的数据或正确的记忆。在这项工作中,我们退一步问一个问题:深度学习是否可以在没有任何缓解的情况下对大量标签噪声保持鲁棒性?我们为对称标签噪声的情况提供了肯定的答案:我们发现某些DNN,包括欠参数化和过参数化模型,可以容忍高达信息论阈值的大规模对称标签噪声。通过诉诸经典统计理论和DNN的普遍一致性,我们证明了对于多类分类,如果标签噪声概率小于$\frac{K-1}{K}$,其中$K \ge 2$是类的数量,则在对称标签噪声下训练的$L_1$一致DNN分类器可以渐近地实现贝叶斯最优性。我们的研究结果表明,对称标签噪声,没有缓解是必要的$L_1$ -相合估计量。我们推测,对于一般的标签噪声,利用噪声数据的缓解策略将优于那些忽略噪声数据的策略。
2022-10-26 cs.LG stat.ML
Provably Consistent Partial-Label Learning
School of Computer Science and Engineering, Nanyang Technological University, Singapore(南洋理工大学计算机科学与工程学院);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Department of Computer Science, Hong Kong Baptist University(香港浸会大学计算机科学系);The University of Queensland, Australia(昆士兰大学);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心);The University of Tokyo, Japan(东京大学)
部分标签学习(PLL)是一个多类分类问题,其中每个训练样本与一组候选标签相关联。尽管在过去的二十年中已经提出了许多实用的PLL方法,但缺乏对这些方法的一致性的理论理解-迄今为止没有一种PLL方法具有候选标签集的生成过程,并且因此仍然不清楚为什么这样的方法在特定数据集上起作用以及在给定不同数据集时它可能失败。在本文中,我们提出了候选标签集的第一代模型,并开发了两种新的PLL方法,保证是可证明的一致性,即,一个是风险一致的,另一个是分类器一致的。我们的方法是有利的,因为它们与任何深度网络或随机优化器兼容。此外,由于生成模型,我们将能够通过测试生成模型是否匹配给定的候选标签集来回答上述两个问题。在基准数据集和真实数据集上的实验验证了所提出的生成模型和两种PLL方法的有效性。
2020-10-23 cs.LG stat.ML
From matrix inversion to constraints: provably tighter confidence regions for importance weights in label shift
The Pennsylvania State University(宾夕法尼亚州立大学)
针对标签偏移中重要性权重估计的不确定性,提出直接矩阵约束框架替代基于求逆的推断,通过线性规划提取边际区间,获得可证明更紧且有限样本有效的置信域,在多个基准上优于现有方法。
2026-11-10 cs.LG stat.ML
Pseudo-Label-Triggered Retraining from Forecast Errors for Online Time Series Forecasting
Seoul National University(首尔大学)
针对在线时间序列预测中何时重训练的问题,提出PILOT框架,利用预测误差动态构建伪标签并训练轻量级评分器触发重训练,在八个基准和三种主干模型上取得最优平均排名性能。
2026-11-18 cs.AI cs.LG
Provably End-to-end Label-Noise Learning without Anchor Points
University of New South Wales(新南威尔士大学);University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);RIKEN AIP(日本理化学研究所创新智能综合研究中心);University of Tokyo(东京大学)
在标签噪声学习中,转移矩阵在构建统计一致的分类器中起着关键作用。现有的一致性估计的转移矩阵已开发利用锚点。然而,锚点假设并不总是在现实情况下得到满足。在本文中,我们提出了一个端到端的框架来解决标签噪声学习没有锚点,其中我们同时优化两个目标:交叉熵损失之间的噪声标签和预测概率的神经网络,和体积的单纯形形成的转移矩阵的列。如果干净的类后验概率足够分散,我们提出的框架可以识别转移矩阵。这是迄今为止最温和的假设,在此假设下,转移矩阵是可证明可识别的,并且学习的分类器在统计上是一致的。在基准数据集上的实验结果证明了该方法的有效性和鲁棒性。
2021-10-21 cs.LG
Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing
University of Southern California(南加州大学);Google Research(谷歌研究)
该研究针对二分类任务中模型预测与标签最优结合的再训练问题,基于近似消息传递框架推导出贝叶斯最优聚合函数,还提出实用版本并验证其在高标签噪声场景下的优势。
2025-05-21 cs.LG math.ST stat.ML
Label Noise SGD Provably Prefers Flat Global Minimizers
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
在过参数化模型中,随机梯度下降(SGD)中的噪声隐式地正则化优化轨迹并确定SGD收敛到哪个局部最小值。受实证研究的启发,这些研究表明,使用带噪声的标签进行训练可以提高泛化能力,我们研究了带有标签噪声的SGD的隐式正则化效果。我们发现,SGD与标签噪声收敛到一个固定点的正则化损失$L(θ) +λR(θ)$,其中$L(θ)$是训练损失,$λ$是一个有效的正则化参数,取决于步长,标签噪声的强度,和批量大小,和$R(θ)$是一个明确的正则化惩罚尖锐的极小。我们的分析揭示了一个额外的正则化效果的大学习率超出了线性缩放规则,惩罚大的特征值的海森比小的。我们还证明了一般损失函数的分类扩展,动量的SGD和一般噪声协方差的SGD,显着加强了Blanc等人的工作。全局收敛和大学习率和HaoChen等人。一般模型。
2021-12-04 cs.IT cs.LG math.IT
Benign Overfitting in Classification: Provably Counter Label Noise with Larger Models
Tsinghua University(清华大学);Shanghai Qizhi Institute(上海期智研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
该研究发现在轻度过参数化设置下,良性过拟合在标签噪声存在时会失败,解释了ResNet在ImageNet上过拟合非良性的现象,并指出理解欠拟合状态下隐式偏差的重要性。
2023-04-03 cs.AI cs.LG stat.ML
Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences
University of Washington(华盛顿大学)
通过理论分析证明,基于多个奖励函数进行策展的递归训练可以避免生成模型崩溃,并收敛到满足加权纳什议价解的稳定分布。
2026-06-03 cs.AI cs.LG
Taming the Sigmoid Bottleneck: Provably Argmaxable Sparse Multi-Label Classification
University of Edinburgh(爱丁堡大学)
针对多标签分类中sigmoid低秩输出层存在大量无法argmax的标签组合的瓶颈问题,提出DFT输出层,保证k个以内活跃标签的稀疏组合可argmax,参数减少50%仍达相当F1@k性能。
2024-01-29 cs.LG
For self-supervised learning, Rationality implies generalization, provably
Harvard University(哈佛大学)
我们证明了一个新的上界的泛化差距的分类器,获得第一次使用自我监督学习的训练数据的表示$r$,然后拟合一个简单的(例如,线性)分类器$g$与标记相关联。具体地说,我们表明(在下面描述的假设下),如果$\mathsf{C}(g) \ll n$,这种分类器的泛化差距趋于零,其中$\mathsf{C}(g)$是一个适当定义的简单分类器$g$的复杂性的措施,和$n$是训练样本的数量。我们强调,我们的界限是独立的复杂性的表示$r$。我们不对表征学习任务进行任何结构或条件独立性假设,它可以使用稍后用于分类的相同训练数据集。相反,我们假设训练过程满足某些自然的噪声鲁棒性(添加少量标签噪声会导致性能略有下降)和合理性(获得错误的标签并不比没有标签更好)条件,这些条件在许多标准架构中广泛适用。我们证明了我们的边界对于CIFAR-10和ImageNet上许多流行的基于表示学习的分类器来说是非空的,包括Simplified,AMDIM和MoCo。
2020-10-16 cs.LG cs.NE stat.ML
Provably Near-Optimal Federated Ensemble Distillation with Negligible Overhead
针对联邦集成蒸馏中客户端预测权重分配影响性能的问题,提出基于GAN理论、利用服务器分发生成器与本地数据训练客户端判别器的近似最优加权法,性能优于基线且额外开销可忽略。
2025-05-19 cs.LG
Space Over Statistic, Retraining Over Ranking: Auditing Training Labels Under Label-Only Backdoors
Bangladesh University of Engineering and Technology(孟加拉国工程与技术大学)
该研究针对仅标签后门攻击,发现特征空间对防御效果起决定性作用,提出在未学习过标签的空间审计标签、通过重训练模型评判防御的方法,揭示了现有防御的缺陷。
2026-10-12 cs.CR cs.CV cs.LG
Cost-Sensitive Conformal Training with Provably Controllable Learning Bounds
Washington State University(华盛顿州立大学);Queen Mary, University of London(伦敦玛丽女王大学);Dalian University of Technology(大连理工大学)
本文提出一种成本敏感符合训练算法,通过排名加权策略有效控制学习界限,实验表明其在预测效率上优于现有方法,平均预测集大小减少21.38%。
2025-11-22 cs.LG stat.ML
Debugging Concept Bottleneck Models through Removal and Retraining
Cornell University(康奈尔大学)
本文提出一种可解释调试框架,通过移除和再训练步骤解决CBM与专家推理间的系统性偏差问题,CBDebug通过转换概念反馈为样本标签,减少对不良概念的依赖。
2026-03-25 cs.CV cs.LG
PointGuard: Provably Robust 3D Point Cloud Classification
Duke University(杜克大学)
3D点云分类具有许多安全关键型应用,例如自动驾驶和机器人抓取。然而,几项研究表明,它容易受到对抗攻击。特别是,攻击者可以通过仔细修改、添加和/或删除少量点来使分类器预测3D点云的不正确标签。随机平滑是构建可证明鲁棒的2D图像分类器的最先进技术。然而,当应用于3D点云分类时,随机平滑只能证明对逆向修改点的鲁棒性。在这项工作中,我们提出了PointGuard,第一个防御,具有可证明的鲁棒性保证对抗修改,添加和/或删除点。具体来说,给定一个3D点云和一个任意的点云分类器,我们的PointGuard首先创建多个二次采样点云,每个点云包含原始点云中点的随机子集;然后我们的PointGuard预测原始点云的标签,作为点云分类器预测的二次采样点云标签中的多数票。我们的第一个主要的理论贡献是,我们证明PointGuard预测相同的标签为3D点云时,adversarially修改,添加和/或删除的点的数量是有界的。我们的第二个主要的理论贡献是,我们证明了我们的导出边界的紧密性时,没有假设的点云分类器。此外,我们设计了一个有效的算法来计算我们的认证的鲁棒性保证。我们还在ModelNet 40和ScanNet基准数据集上对PointGuard进行了经验评估。
2021-07-02 cs.CR cs.CV cs.LG
Improved Group Robustness via Classifier Retraining on Independent Splits
Northeastern University(东北大学)
本文提出一种基于训练数据独立划分重训练分类器的简单方法,仅依赖单个超参数即可有效提升深度神经网络的最差组性能,且在图像和文本分类基准上优于 group DRO 和 JTT 等基线。
2023-07-28 cs.LG
Label Noise Robustness for Domain-Agnostic Fair Corrections via Nearest Neighbors Label Spreading
Arizona State University(亚利桑那州立大学);Stanford University(斯坦福大学);Google(谷歌公司)
本文提出一种即插即用的标签噪声校正方法,通过在潜在最近邻图上进行标签传播,提升最后一层重训练在子群体公平任务中对标签噪声的鲁棒性,并在多种数据集上取得最先进的最差组准确率。
2024-06-13 cs.AI cs.LG
Active Learning Using Uncertainty Information
Delft University of Technology(代尔夫特理工大学);National University of Defense Technology(国防科技大学);University of Copenhagen(哥本哈根大学)
许多主动学习方法都属于基于再训练的方法,即选择一个未标记的实例,将其添加到训练集,再训练分类模型,并评估我们选择的标准。然而,由于所选实例的真实标签是未知的,这些方法诉诸于计算关于未知标签的平均情况或最差情况的性能。在本文中,我们提出了一种不同的方法来解决这个问题。特别是,我们的方法旨在利用不确定性信息来提高基于再训练的模型的性能。我们将我们的方法应用于两种最先进的算法,并在各种真实世界的数据集上进行了广泛的实验。结果清楚地表明了所提出的方法的有效性,并表明它可以减少人类标记的努力,在许多现实生活中的应用。
2017-02-27 cs.LG stat.ML
Performative Prediction with Selective Labels
Instituto de Computação(计算研究所);Universidade Estadual de Campinas(坎皮纳斯州立大学);Department of Computer Science(计算机科学系);Saarland University(萨尔兰大学)
针对选择性标签下的绩效预测问题,提出基于置信区间的最坏情况目标,使重复风险最小化保持在稳定点有界距离内,实验验证其性能接近完整标签访问的RRM。
2026-11-09 cs.LG
SqueezeFit: Label-aware dimensionality reduction by semidefinite programming
The Ohio State University(俄亥俄州立大学);New York University(纽约大学)
给定高维向量空间中的标记点,我们寻找一个低维子空间,使得投影到这个子空间上保持不同标记点之间的某个指定距离。预期应用包括压缩分类。受大间隔最近邻分类法的启发,本文提出了一种半定松弛方法。不像它的前辈,这种放松是服从理论分析,使我们能够证明恢复种植投影算子的数据。
2018-12-06 cs.LG math.OC stat.ML
Hard Sample Mining for the Improved Retraining of Automatic Speech Recognition
Harbin Institute of Technology(哈尔滨工业大学)
利用目标域中越来越多的新训练数据进行再训练是提高现有自动语音识别(ASR)系统性能的有效途径。近年来,深度神经网络(DNN)已经成为ASR领域的成功模型。在基于DNN的方法的训练过程中,使用转录和相应的注释文本之间的误差的反向传播来更新和优化参数。因此,传播误差大的训练样本对参数的影响要大于传播误差小的样本。在本文中,我们定义的样本有显着的错误作为硬样本,并试图通过增加他们的ASR系统的性能提高。不幸的是,硬样本在目标域的训练数据中是稀疏的,并且手动标记它们是昂贵的。为此,本文提出了一种基于增强型深度多示例学习的硬样本挖掘方法,该方法通过在目标域中使用一小部分带有人工标注的数据集,从未标注的训练数据中发现硬样本。我们将我们的方法应用于End2End ASR任务,并获得了最佳性能。
2019-04-17 cs.LG cs.SD eess.AS
OSR: Output Space Redistribution for Adaptive Label Removal in Classification Models
Nanyang Technological University(南洋理工大学)
针对分类系统中标签移除的问题,提出输出空间重分配(OSR)方法,作为模块化输出过滤器绕过特征空间调整,在多项分类任务中实现与全重训练相当的性能,提升了计算效率与隐私保护。
2026-09-04 cs.LG
Stress-Testing Neural Network Verifiers with Provably Robust Instances
Department of Statistics & Data Science, University of California, Los Angeles(统计与数据科学系,加州大学洛杉矶分校);Department of Mathematics, University of California, Los Angeles(数学系,加州大学洛杉矶分校);Max Planck Institute for Mathematics in the Sciences, Leipzig(科学数学研究所,莱比锡)
本文提出了一种生成具有已知真实稳健标签的验证实例的框架,揭示了现有验证器的数值容忍度问题和实现错误,并引入了验证难度轮廓以系统研究验证器失败模式,评估了五种最先进的验证器并展示了不同实例对验证流程不同方面的压力测试。
2026-05-16 cs.LG cs.LO math.OC
When and How Unlabeled Data Provably Improve In-Context Learning
University of Michigan(密歇根大学);University of California, Riverside(加州大学河滨分校);Bilkent University(比尔肯特大学);NJIT(新 jersey 理工学院)
本文研究了无标签数据如何通过多层或循环变压器模型提升上下文学习效果,揭示了深度对多项式估计器的影响,并验证了半监督学习中循环机制的有效性。
2026-01-23 cs.AI cs.CL cs.LG
Training-free Graph Neural Networks and the Power of Labels as Features
National Institute of Informatics(情报学研究所)
该研究提出免训练图神经网络TFGNNs用于直推式节点分类,提出标签作为特征(LaF)技术并证明其可增强GNN表达能力,实验显示TFGNNs免训练性能优于现有GNNs且训练收敛更快。
2024-08-15 cs.AI cs.LG stat.ML
Adversarial Boot Camp: label free certified robustness in one epoch
McGill University(麦吉尔大学)
机器学习模型容易受到对抗攻击的攻击。解决这一漏洞的一种方法是认证,它侧重于保证对给定扰动大小具有鲁棒性的模型。最近认证模型的一个缺点是它们是随机的:它们需要多个计算昂贵的模型评估,并将随机噪声添加到给定的输入中。在我们的工作中,我们提出了一个确定性的认证方法,结果在一个可证明的强大的模型。这种方法基于具有特定正则化损失的训练与高斯平均值的期望值之间的等效性。我们在ImageNet-1 k上实现了认证模型,通过在不使用标签信息的情况下重新训练一个具有这种损失的模型一个时期。
2020-10-05 cs.CR cs.CV cs.LG
Label-efficient Training Updates for Malware Detection over Time
University of Cagliari(卡利亚里大学);Sapienza University(罗马大学);CINI(国家大学间信息学联盟)
本文提出一种模型无关框架,评估多种主动学习和半监督学习技术,降低手动标注成本,同时保持检测性能,提供对抗分布漂移的有效方法。
2026-03-30 cs.CR cs.LG
Label-Free Concept Drift Assessment for Reliable AI in Emerging Wireless Applications
Business and IoT Integrated Solutions LTD(业务与物联网集成解决方案有限公司);Trinity College Dublin(三一学院都柏林);University of Thessaly(塞萨洛尼基大学);University of Western Macedonia(西方马其顿大学)
研究新兴无线应用中机器学习模型因输入分布漂移致性能下降问题,提出结合表示学习与统计测试的CFPT和TabAutoDrift概念漂移检测器,在相关领域评估中表现优于经典检测器,能更可靠地指示模型是否需重新训练。
2026-07-20 cs.LG cs.NI
Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels
KTH(瑞典皇家理工学院)
先前的工作已经发现,将可证明的噪声鲁棒损失函数,具有标准分类损失函数的平均绝对误差(MAE),例如交叉熵(CE),以提高其可学习性。在这里,我们建议使用Jensen-Shannon分歧作为噪声鲁棒性损失函数,并表明它有趣地在CE和MAE之间插值,并具有可控的混合参数。此外,我们做了一个重要的观察,CE表现出较低的一致性周围的噪声数据点。基于这一观察结果,我们采用了广义版本的詹森-香农分歧的多个分布,以鼓励数据点周围的一致性。使用这个损失函数,我们展示了合成(CIFAR)和真实世界(例如,WebVision)噪声,具有不同的噪声率。
2021-10-29 cs.CV cs.LG stat.ML
AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks
MIT(麻省理工学院);Nokia Bell Labs(诺基亚贝尔实验室);University of Glasgow(格拉斯哥大学)
AdaBet通过无梯度方法选择重要层,提升深度神经网络在边缘设备上的训练效率和准确率。
2026-03-02 cs.LG
Quantifying and mitigating the impact of label errors on model disparity metrics
Prescient Design / Genentech(Prescient Design / 基因泰克);Meta
本文研究训练与测试标签错误对模型差异指标的影响,提出估计训练标签影响的方法,并结合自动重标注与微调以可证明地改善群体校准误差。
2023-10-04 cs.LG stat.ML
Efficient Bayesian Updates for Deep Active Learning via Laplace Approximations
University of Kassel(卡塞尔大学)
本文提出通过拉普拉斯近似实现高效的贝叶斯更新,用于深度主动学习中的批次选择,提高计算效率并改进模型更新性能。
2026-03-11 cs.LG
Confident Learning: Estimating Uncertainty in Dataset Labels
Cleanlab;Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院)
学习存在于数据的背景下,但置信度的概念通常集中在模型预测上,而不是标签质量。置信学习(CL)是一种替代方法,它通过特征化和识别数据集中的标签错误来关注标签质量,基于修剪噪声数据、使用概率阈值计数以估计噪声以及对示例进行排名以进行置信度训练的原则。虽然许多研究已经独立地开发了这些原则,在这里,我们结合它们,建立在类条件噪声过程的假设上,直接估计噪声(给定)标签和未损坏(未知)标签之间的联合分布。这导致在一个广义CL,这是可证明的一致性和实验性能。我们提出了CL准确发现标签错误的充分条件,并显示CL性能超过了最近七种竞争性方法,用于在CIFAR数据集上使用嘈杂标签进行学习。独特地,CL框架不耦合到特定的数据模态或模型(例如,我们使用CL在假定无错误的MNIST数据集中找到几个标签错误,并改进Amazon Reviews中文本数据的情感分类。我们还在ImageNet上使用CL来量化本体类重叠(例如,估计645“导弹”图像被错误地标记为它们的父类“抛射体”),并且适度地增加模型精度(例如,对于ResNet),在训练之前清理数据。这些结果可以通过开源的cleanlab版本复制。
2022-08-22 cs.LG stat.ML
High-dimensional Learning with Noisy Labels
Technology Innovation Institute(技术创新研究院)
本文通过随机矩阵理论分析高维噪声标签下的线性分类器,发现低维最优策略在高维失效,并提出一种经证明更高效且实验验证优于基线的优化方法。
2024-05-23 cs.AI cs.LG stat.ML
Provably Learning Diverse Features in Multi-View Data with Midpoint Mixup
Duke University(杜克大学)
本研究从特征学习角度证明,中点Mixup相比经验风险最小化,能更有效地在多视图分类数据中学习每个类别的全部特征,并在修改后的图像基准上验证了该理论。
2024-11-04 cs.AI cs.CV cs.LG
A Theory of Label Propagation for Subpopulation Shift
Princeton University(普林斯顿大学);Zhongguancun Haihua Institute for Frontier Information Technology(中关村海华前沿信息技术研究院)
机器学习的核心问题之一是领域自适应。与过去的理论工作不同,我们考虑了一个新的模型,在输入或表示空间的子种群转移。在这项工作中,我们提出了一个可证明有效的框架,领域自适应标签传播的基础上。在我们的分析中,我们使用一个简单但现实的膨胀假设,提出了\citet{wei2021theoretical}。使用在源域上训练的教师分类器,我们的算法不仅传播到目标域,而且还改进了教师。通过利用现有的泛化边界,我们还获得了整个算法的端到端有限样本保证。此外,我们将我们的理论框架扩展到基于第三个未标记数据集的更一般的源到目标转移设置,这可以很容易地应用于各种学习场景。受我们理论的启发,我们将基于一致性的半监督学习方法应用于领域自适应设置,并取得了显著的改进。
2021-07-20 cs.AI cs.LG stat.ML
Scalable Valuation of Human Feedback through Provably Robust Model Alignment
The University of Osaka(大阪大学);Lattice Lab, Toyota Motor Corporation(丰田公司Lattice实验室);Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组);RIKEN AIP(理化学研究所AIP)
针对人类反馈噪声问题,提出具有可证明红下降属性的Hölder-DPO损失,实现稳健对齐并估计干净数据分布,提供无梯度的数据集估值度量,有效检测错误标签,提升对齐性能。
2025-10-24 cs.AI cs.LG stat.ML
Train Smarter, Not Harder: Switching Signal-Guided Training in Active Learning
Faculty of Data and Decision Sciences, Technion(以色列理工学院数据与决策科学学院)
提出HybridAL,通过监控在线稳定化信号在主动学习中自适应地从重新训练切换到微调,在保持宏F1不劣的同时节省高达49%的训练时间并改善校准性能。
2026-09-09 cs.CL cs.LG
Provably Improving Generalization of Few-Shot Models with Synthetic Data
FPT Software AI Center(FPT软件人工智能中心);Hanoi University of Science(河内科学大学);VinUniversity(文大学);University of Warwick(沃里克大学)
针对少样本分类中合成数据导致的性能下降问题,提出一种集成原型学习的理论框架算法,优化数据划分与模型训练,有效弥合真实与合成数据分布差距并显著提升泛化性能。
2025-06-25 cs.CV cs.LG
Towards Understanding GD with Hard and Conjugate Pseudo-labels for Test-Time Adaptation
Yale University(耶鲁大学)
我们考虑一个设置,模型需要适应一个新的域下分布偏移,给定的只有未标记的测试样本从新的域是在测试时可访问的。在大多数相关工作中,一个共同的想法是为未标记的测试样本构造伪标签,并将梯度下降(GD)应用于具有伪标签的损失函数。最近,\cite{GSRK22}提出了共轭标签,这是一种新的伪标签,用于在测试时进行自训练。他们的经验表明,共轭标签优于许多领域自适应基准上的伪标记的其他方式。然而,可证明地显示具有共轭标签的GD学习用于测试时自适应的良好分类器仍然是开放的。在这项工作中,我们的目标是在理论上理解GD与硬共轭标签的二进制分类问题。我们发现,对于平方损失,共轭标签GD收敛到一个$ε$ -最佳的预测高斯模型下的任何任意小的$ε$,而GD硬伪标签失败,在这项任务。我们还分析了他们在不同的损失函数的更新。我们的研究结果有助于理解GD与硬标签或共轭标签在测试时自适应中工作的时间和原因。
2023-02-26 cs.LG