Large batch size training of neural networks with adversarial training and second-order information
University of California, Berkeley(加州大学伯克利分校)
加速随机梯度下降(SGD)计算的最直接方法是将随机选择的一批输入分布在多个处理器上。为了保持分布式处理器的充分利用,需要不断增加批处理大小。然而,大批量训练往往会导致泛化能力较差。最近提出的解决方案是在SGD中使用自适应批量大小。在这种情况下,我们从少量的过程开始,并随着训练的进行而扩展这些过程。这种方法的两个主要挑战是:(i)动态部署集群可能会增加不小的开销,部分原因是它目前不受支持,以及(ii)整体速度的提高受到初始阶段小批量的限制。在这项工作中,我们通过开发一个新的自适应批量大小框架来解决这两个挑战,并基于Ray框架进行自动缩放。这允许非常有效的弹性缩放,可以忽略不计的时间开销(ResNet 18 ImageNet训练时间的0.32%)。此外,我们提出了一个新的自适应批量训练计划,使用二阶方法和对抗训练。这使得在训练过程中可以更早地增加批量大小,从而缩短训练时间。我们在Cifar-10/100、SVHN、TinyImageNet和ImageNet数据集上广泛评估了我们的方法,使用了多个神经网络,包括ResNets和更小的网络,如SqueezeNext。我们的方法超过了现有的解决方案的准确性和SGD迭代次数(高达1\%和$5\times$,分别)方面的性能。重要的是,这是在没有任何额外的超参数调整的情况下实现的,以在任何这些实验中定制我们的方法。
2020-01-03 cs.AI cs.LG math.OC
On Fragile Features and Batch Normalization in Adversarial Training
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
现代深度学习架构利用批量归一化(BN)来稳定训练并提高准确性。已经表明,单独的BN层是令人惊讶的表现力。然而,在对抗性示例的鲁棒性方面,BN被认为会增加脆弱性。也就是说,BN有助于学习脆弱的特征。尽管如此,BN仍然用于对抗训练,这是学习鲁棒特征的事实标准。为了阐明BN在对抗训练中的作用,我们研究了BN的表达能力在多大程度上可以用于增强脆弱特征,而不是随机特征。在CIFAR10上,我们发现仅对BN层进行对抗性微调可以产生非平凡的对抗性鲁棒性。相反,从头开始只对抗训练BN层,无法传达有意义的对抗鲁棒性。我们的研究结果表明,脆弱特征可以用于学习具有中等对抗鲁棒性的模型,而随机特征则不能
2022-04-26 cs.CR cs.CV cs.LG
Adversarial Concurrent Training: Optimizing Robustness and Accuracy Trade-off of Deep Neural Networks
Advanced Research Lab(先进研究实验室);NavInfo Europe(航景欧洲公司)
对抗训练已被证明是提高模型对抗鲁棒性的有效技术。然而,在优化模型的准确性和鲁棒性之间似乎存在固有的权衡。为此,我们提出了对抗并发训练(ACT),它采用对抗训练的协作学习框架,我们训练一个强大的模型,结合自然模型在极大极小化游戏。ACT鼓励两个模型通过使用特定于任务的决策边界来对齐它们的特征空间,并更广泛地探索输入空间。此外,自然模型充当正则化器,强制鲁棒模型应该学习的特征的先验。我们对模型行为的分析表明,ACT导致了一个鲁棒的模型,具有较低的模型复杂性,在学习的表示中具有更高的信息压缩,以及表示收敛到更平坦的最小值的高后验熵解决方案。我们证明了所提出的方法在不同的数据集和网络架构的有效性。在ImageNet上,ACT在100次迭代的非目标攻击下达到了68.20%的标准准确率和44.29%的鲁棒性准确率,提高了标准对抗训练方法的65.70%标准准确率和42.36%鲁棒性。
2020-08-18 cs.CV cs.LG
How do SGD hyperparameters in natural training affect adversarial robustness?
Chennai Mathematical Institute(金奈数学研究所);Microsoft Research(微软研究院)
学习率、批量大小和动量是SGD算法中三个重要的超参数。从Jastrzebski等人arXiv:1711.04623的工作中已知,神经网络的大批量训练产生不能很好地推广的模型。Yao et al. arXiv:1802.08241观察到大批量训练产生的模型具有较差的对抗鲁棒性。在同一篇论文中,作者训练模型与不同的批量大小和计算的特征值的损失函数的海森。他们观察到,随着批量大小的增加,海森的主导特征值变得更大。他们还表明,对抗性训练和小批量训练都会导致Hessian的主特征值下降或降低其频谱。他们将对抗训练和二阶信息相结合,提出了一种新的大批量训练算法,并获得了具有良好泛化能力的鲁棒模型。在本文中,我们经验性地观察了SGD超参数对使用未扰动样本训练的网络的准确性和对抗鲁棒性的影响。Jastrzebski等人考虑了具有固定学习率与批量大小比率的训练模型。他们观察到,比率越高,概括性越好。我们观察到,如Jastrzebski等人所提出的,以恒定的学习率与批量大小之比训练的网络,产量模型,推广良好,也有几乎恒定的对抗鲁棒性,独立于批量大小。我们观察到,动量是更有效的不同的批量大小和固定的学习率比恒定的学习率批量大小的比例为基础的SGD训练。
2020-06-20 cs.CR cs.CV cs.LG
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft(微软)
近年来,基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型,许多神经网络从业者试图增加批量大小,以便利用多个GPU来提高训练速度。然而,增加批量大小通常会使优化变得更加困难,导致收敛速度慢或泛化能力差,可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中,我们探讨了大批量优化的损失景观的陡峭程度,以适应预训练的基于transformer的语言模型特定于领域的任务,并发现它往往是高度复杂和不规则的,对下游任务的泛化提出了挑战。为了应对这一挑战,我们提出了ScaLA,一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同,我们采用了一种顺序博弈论方法,将轻量级对抗性噪声添加到大批量优化中,从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明,ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$,同时达到了与现有大批量优化方法相当的精度,有时甚至更高。最后,我们还解决了大批量优化与对抗噪声的理论方面,并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
Length-Aware Adversarial Training for Variable-Length Trajectories: Digital Twins for Mall Shopper Paths
Yale University(耶鲁大学)
本文提出了一种长度意识采样方法,用于改善可变长度轨迹生成模型中分布匹配的稳定性,通过减少批次内长度异质性,提升了轨迹模拟和反事实分析的性能。
2026-01-04 cs.AI cs.LG
Adaptive Batch Normalization Networks for Adversarial Robustness
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出自适应批归一化网络(ABNN),利用预训练替代模型生成干净统计量,使目标模型在干净数据上训练并对齐,从而在不使用对抗训练的情况下,提升对数字和物理攻击的鲁棒性,同时提高干净数据性能并降低训练成本。
2024-05-27 cs.CV cs.LG
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院)
批量归一化(BN)由于改进了收敛性而被广泛用于现代深度神经网络(DNN)中。观察到BN提高了模型的准确性,同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响,特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说,准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征(RF)或非鲁棒特征(NRF)。我们的工作提出了实证证据,支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变,我们提出了一个框架,用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解,例如DNN首先主要学习RF,然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Advancing diagnostic performance and clinical usability of neural networks via adversarial training and dual batch normalization
RWTH Aachen University(亚琛工业大学);University Hospital Düsseldorf(杜塞尔多夫大学医院);University Hospital Aachen(亚琛大学医院);ARISTRA GmbH(ARISTRA有限公司);The Institute for Experimental Molecular Imaging, RWTH Aachen University(亚琛工业大学实验分子影像研究所);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学MEVIS研究所);Comprehensive Diagnostic Center Aachen (CDCA), University Hospital RWTH Aachen(亚琛工业大学医院综合诊断中心)
揭示机器学习模型的决策过程对于在临床实践中实现诊断支持系统至关重要。在这里,我们证明了与标准模型相比,经过对抗训练的模型可以显着提高病理检测的可用性。我们让六位经验丰富的放射科医生在X射线、计算机断层扫描和磁共振成像扫描的数据集中对显着性图的可解释性进行评级。我们的对抗模型得到了显着的改进,可以通过应用双批量归一化来进一步改进。与之前对逆向训练模型的研究相反,我们发现,当使用足够大的数据集和双批范数训练时,这些模型的准确性与标准模型相同。为了确保可移植性,我们还在22,433个X射线的外部测试集上验证了我们的结果。这些发现阐明了在训练期间需要对抗性和真实图像的不同路径,以实现具有卓越临床可解释性的最新结果。
2020-11-25 cs.CV cs.LG eess.IV
Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule
Meiji University(明治大学)
本文研究常数学习率 TTUR 训练 GAN 时批量大小与训练步数的关系,证明存在使 SFO 复杂度最小的临界批量大小,并用 FID 实验验证理论估计。
2023-06-05 cs.LG math.OC
Removing Batch Normalization Boosts Adversarial Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon Web Services(亚马逊云科技)
对抗性训练(AT)可以保护深度神经网络免受对抗攻击。限制其实际应用的一个挑战是清洁样品的性能下降。以前的工作中发现的一个主要瓶颈是广泛使用的批量归一化(BN),它很难对AT中干净和对抗训练样本的不同统计数据进行建模。虽然主要的方法是扩展BN来捕获这种混合分布,但我们建议通过移除AT中的所有BN层来完全消除这种瓶颈。我们的无归一化鲁棒训练(NoFrost)方法将无归一化网络的最新进展扩展到AT,因为它在处理混合分布挑战方面具有未开发的优势。我们表明,NoFrost实现了对抗性的鲁棒性,只有一个小的牺牲干净的样本的准确性。在使用ResNet50的ImageNet上,NoFrost实现了$74.06\%$干净的准确性,仅从标准训练中降低了$2.00\%$。相比之下,基于BN的AT获得了$59.28\%$干净的准确性,遭受了标准训练的显著$16.78\%$下降。此外,NoFrost算法实现了$23.56\%$对PGD攻击的对抗性鲁棒性,提高了$13.57\%$在基于BN的AT中的鲁棒性.我们从NoFrost中观察到更好的模型平滑度和更大的决策裕度,这使得模型对输入扰动不太敏感,因此更具鲁棒性。此外,当将更多的数据扩充到NoFrost中时,它实现了对多个分布偏移的全面鲁棒性。代码和预训练模型在https://github.com/amazon-research/normalizer-free…
2022-07-04 cs.CV cs.LG
Advancing Deep Metric Learning Through Multiple Batch Norms And Multi-Targeted Adversarial Examples
NEC Corporation(日本电气股份有限公司);University of Tsukuba(筑波大学)
深度度量学习(DML)是机器学习中的一个重要领域,具有广泛的实际应用,专注于学习视觉相似性。众所周知,诸如对抗性示例(AX)的输入遵循与干净数据不同的分布,导致来自DML系统的错误预测。本文提出了MDProp,一个框架,以同时提高干净的数据和输入以下多个分布的DML模型的性能。MDProp通过AX生成过程利用多分布数据,同时在DML模型的训练期间通过多个批量归一化层利用分离学习。MDProp是第一个生成特征空间多目标AX的工具,对训练模型的密集嵌入空间区域执行有针对性的正则化,从而提高嵌入空间密度,从而提高训练模型的泛化能力。从一个全面的实验分析,我们表明,MDProp的结果在高达2.95%的增加清洁数据Recall@1分数和高达2.12倍的增加对不同的输入分布的鲁棒性相比,传统的方法。
2022-12-06 cs.CV cs.LG
Admissibility of Stein Shrinkage for Batch Normalization in the Presence of Adversarial Attacks
Department of Statistics University of Florida(统计学系 佛罗里达大学);Department of Electrical and Computer Engineering University of Virginia(电气与计算机工程系 维吉尼亚大学);Department of Comput. Info. Sci. & Eng. University of Florida(计算机信息科学与工程系 佛罗里达大学)
本文研究了在存在对抗攻击时,Stein收缩在批量归一化中的可接受性,并展示了其在图像分类和分割任务中的应用效果。
2026-02-03 cs.LG stat.ML
Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization
Seoul National University(首尔大学);Neural Processing Research Center(神经处理研究中心);New York University(纽约大学);Genentech(基因泰克公司)
针对昂贵多目标组合优化中批次采集得分优化难、现有贪心方法无法并行的问题,提出一种可并行训练的贪心策略式子集选择算法,在红色荧光蛋白设计任务中以更少查询达到基线性能。
2024-06-21 cs.AI cs.LG
Augment your batch: better training with larger batches
Technion(以色列理工学院);Habana-Labs(哈巴纳实验室);ETH Zurich(苏黎世联邦理工学院)
大批量SGD对于深度神经网络的缩放训练很重要。然而,如果没有微调超参数时间表,模型的推广可能会受到阻碍。我们建议使用批量增强:在同一批中复制具有不同数据增强的样本实例。批量增强充当正则化器和加速器,提高泛化和性能扩展。我们分析了批量增强对梯度方差的影响,并表明它可以凭经验提高各种深度神经网络和数据集的收敛性。我们的研究结果表明,批量增强减少了必要的SGD更新的数量,以达到与最先进水平相同的精度。总体而言,这种简单而有效的方法通过允许同时使用更多的计算资源,实现了更快的训练和更好的泛化。
2019-01-27 cs.LG stat.ML
Sharpness-Aware Minimization with Dynamic Reweighting
University of Southern California(南加州大学);University of Cambridge(剑桥大学);Carnegie Mellon University(卡内基梅隆大学)
深度神经网络通常是过度参数化的,可能不容易实现模型泛化。对抗性训练通过在对抗性选择的扰动之上正则化损失的变化来提高泛化能力。最近提出的锐度感知最小化(SAM)算法进行对抗性权重扰动,鼓励模型收敛到平坦的最小值。SAM发现每个批次的共同对抗性权重扰动。虽然每实例对抗性权重扰动是更强的对手,并且可能导致更好的泛化性能,但它们的计算成本非常高,因此不可能在SAM中有效地使用每实例扰动。在本文中,我们解决了这个效率瓶颈,并提出了清晰度感知最小化与动态重新加权(delta-SAM)。我们的理论分析表明,有可能使用重新加权的每批次权重扰动来接近更强的每实例对抗性权重扰动。delta-SAM根据理论上有原则的加权因子动态地对每个批内的扰动进行重新加权,作为对每个实例扰动的良好近似。在各种自然语言理解任务上的实验证明了delta-SAM的有效性。
2022-12-06 cs.CL cs.LG
Adversarial training with informed data selection
Universidade Federal do Rio de Janeiro(里约热内卢联邦大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
随着可用数据量的增加和计算能力的进步,深度神经网络(DNN)已成功用于解决包括医疗保健、气候和金融在内的各个领域的挑战性任务。然而,最先进的DNN容易受到原始图像的准不可察觉的扰动版本的影响-对抗性示例。网络输入的这些扰动可能会在错误决策可能直接影响人类生活的关键领域导致灾难性的影响。对抗性训练是保护网络免受这些恶意攻击的最有效的解决方案。然而,对抗性训练的网络通常具有较低的精确度和较高的计算复杂性。本文提出了一种数据选择(DS)策略应用于小批量训练。基于交叉熵损失,选择批次中最相关的样本来更新反向传播中的模型参数。仿真结果表明,该算法在鲁棒性和标准精度方面取得了较好的折衷,同时降低了反向传播通道的计算复杂性。
2023-01-07 cs.LG
Manipulating hidden-Markov-model inferences by corrupting batch data
United States Air Force Academy(美国空军学院);Institute of Mathematical Sciences (ICMAT)(数学科学研究所);McCoy College of Business, Texas State University(德克萨斯州立大学麦科伊商学院);CUNEF Universidad(库内夫大学)
本文从对抗性风险分析视角研究通过污染批量数据操纵隐马尔可夫模型滤波、平滑与解码推断的问题,提出多种随机规划模型与三类求解方法,并通过实证测试揭示其安全弱点。
2024-02-19 cs.AI cs.CR cs.LG
Easy Batch Normalization
ITMO University(ITMO大学);Artificial Intelligence Research Institute(人工智能研究所);Tubingen Universitat(图宾根大学)
结果表明,对抗性示例可以提高对象识别。但他们的反面是什么,简单的例子?简单的示例是机器学习模型以高置信度正确分类的样本。在我们的论文中,我们正在探索在神经网络的训练过程中使用简单示例的潜在好处。我们建议使用一个辅助的批量归一化简单的例子,标准和强大的精度提高。
2022-07-18 cs.CV cs.LG
Structure-Guided Adversarial Training of Diffusion Models
Peking University(北京大学)
针对现有扩散模型训练忽略小批次内样本结构信息的问题,提出结构引导对抗训练方法SADM,通过结构判别器与生成器的极小极大博弈学习样本流形结构,在12个数据集的图像生成等任务上刷新SOTA。
2024-03-04 cs.AI cs.CV cs.LG
On the Effects of Batch and Weight Normalization in Generative Adversarial Networks
University of Southern California(南加州大学);Pinscreen;USC Institute for Creative Technologies(南加州大学创新技术研究院)
生成对抗网络(GANs)是一种高效的无监督学习框架,可以生成非常清晰的数据,即使是具有复杂、高度多峰分布的图像。然而,众所周知,GANs非常难以训练,存在模式崩溃和干扰视觉伪影等问题。批量归一化(BN)技术已被引入到解决的训练。虽然BN在开始时加速了训练,但我们的实验表明,BN的使用可能不稳定,并对训练模型的质量产生负面影响。BN和许多其他最近的计划,以改善GAN培训的评估是阻碍了缺乏一个有效的客观质量措施的GAN模型。为了解决这些问题,我们首先引入了一种用于GAN训练的权重归一化(WN)方法,该方法显着提高了生成样本的稳定性,效率和质量。为了进行系统的评估,我们在测试集上引入平方欧几里德重建误差作为新的客观度量,以评估生成样本的速度,稳定性和质量方面的训练性能。我们在常用数据集(CelebA,LSUN bedroom和CIFAR-10)上使用标准DCGAN架构进行的实验表明,对于GANs,使用WN进行训练通常优于BN,重建的均方损失降低了10%,并且比BN获得了更好的定性结果。我们进一步证明了WN在用CelebA数据集训练的21层ResNet上的稳定性。本文的代码可在https://github.com/stormraiser/gan-weightnorm-resnet上获得
2017-12-04 cs.CV cs.LG stat.ML
Adversarial Training for Process Reward Models
Department of Computer Science University of California, Santa Barbara(计算机科学系加州大学圣芭芭拉分校)
APRM通过对抗训练提升过程奖励模型的鲁棒性和泛化能力,无需手动标注即可提高数学推理任务的求解准确率
2025-11-28 cs.AI cs.LG
Uncovering Adversarial Risks of Test-Time Adaptation
Princeton University(普林斯顿大学);Penn State University(宾夕法尼亚州立大学)
最近,测试时自适应(TTA)已被提出作为解决分布偏移的一个有前途的解决方案。它允许基础模型通过利用来自一批(未标记的)测试数据的信息来适应推理期间不可预见的分布。然而,我们发现了TTA的一个新的安全漏洞,基于对良性样本的预测可能会受到同一批次中恶意样本的影响。为了利用这个漏洞,我们提出了分布式入侵攻击(DIA),它将一小部分恶意数据注入到测试批次中。DIA导致使用TTA的模型错误地分类良性和未受干扰的测试数据,为对手提供了一种全新的能力,这在规范的机器学习管道中是不可行的。通过全面的评估,我们证明了我们的攻击在六个TTA方法的多个基准的高效率。在响应中,我们研究了两个对策,鲁棒性现有的不安全的TTA实现,遵循“安全设计”的原则。总之,我们希望我们的研究结果可以让社区意识到在部署TTA时的实用性-安全性权衡,并为开发强大的TTA方法提供有价值的见解。
2023-02-04 cs.CR cs.LG
Adversarial Batch Inverse Reinforcement Learning: Learn to Reward from Imperfect Demonstration for Interactive Recommendation
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);Beijing Information Science and Technology University(北京信息科技大学);City University of Hong Kong(香港城市大学)
本文提出一种对抗性批量逆强化学习范式,通过折扣平稳分布校正、贝尔曼变换和KL正则化统一优化奖励与策略,在真实数据集上同时提升了推荐的有效性和效率。
2023-10-30 cs.IR cs.LG
Single Domain Generalization with Model-aware Parametric Batch-wise Mixup
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
针对单域泛化难题,提出模型感知参数化逐批次混合方法,结合对抗查询、注意力机制生成器与对齐损失增强数据,在基准数据集上取得最优泛化性能。
2025-02-22 cs.LG
Robust Regression via Online Feature Selection under Adversarial Data Corruption
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学);U. S. Army Corps of Engineers(美国陆军工程兵团)
用户生成的流数据(如社交媒体)中存在数据损坏,这激发了一个新的基本问题,即当特征不能一次完全访问时,学习可靠的回归系数。到目前为止,几个重要的挑战仍然无法同时处理:1)当只有部分特征可访问时,损坏的数据估计; 2)当数据包含对抗性损坏时,在线特征选择;以及3)扩展到大规模数据集。本文提出了一种新的RObust回归算法通过在线特征选择(\textit{RoOFS}),同时解决所有上述挑战。具体地说,该算法通过一个强大的在线特征替换方法迭代地更新回归系数和未损坏的集合。我们还证明了我们的算法有一个有限的误差界相比,最优解。在合成数据集和真实数据集上的大量实验表明,该方法在恢复特征选择和回归系数方面均优于现有方法,具有非常有竞争力的效率.
2019-02-05 cs.LG stat.ML
Pruning Adversarially Robust Neural Networks without Adversarial Examples
Northeastern University(东北大学)
对抗性剪枝压缩模型,同时保持鲁棒性。目前的方法需要在修剪过程中访问对抗性示例。这严重影响了培训效率。此外,随着新的对抗攻击和训练方法的快速发展,对抗修剪方法需要相应地修改以跟上。在这项工作中,我们提出了一个新的框架,修剪以前训练的强大的神经网络,同时保持对抗的鲁棒性,而不进一步生成对抗的例子。我们利用并发的自蒸馏和修剪来保留原始模型中的知识,并通过Hilbert-Schmidt信息瓶颈来正则化修剪后的模型。我们全面评估了我们提出的框架,并在MNIST,CIFAR-10和CIFAR-100数据集上训练的修剪架构针对五种最先进的攻击时,在对抗鲁棒性和效率方面表现出卓越的性能。代码可在https://github.com/neu-spiral/PwoA/上获得。
2022-10-09 cs.AI cs.CR cs.CV
Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?
University of Maryland(马里兰大学)
对抗性训练是对抗对抗攻击的最强防御之一,但它需要在优化过程中为每个小批生成对抗性示例。在训练过程中生成这些示例的费用通常会使对抗训练无法用于复杂的图像数据集。在这项研究中,我们探索了对抗性训练提高分类器鲁棒性的机制,并表明这些机制可以使用简单的正则化方法有效地模仿,包括标签平滑和logit挤压。值得注意的是,使用这些简单的正则化方法与高斯噪声注入相结合,我们能够实现强大的对抗鲁棒性-通常超过对抗训练-不使用对抗示例。
2019-10-25 cs.LG stat.ML
Parameter Re-Initialization through Cyclical Batch Size Schedules
最优参数初始化一直是神经网络训练的关键问题。较差的权重初始化可能花费更长的时间来训练和/或收敛到次优解。在这里,我们提出了一种方法的权重重新初始化的反复退火和注入噪声的训练过程中。我们实现这一点,通过一个周期性的批量大小的时间表的贝叶斯观点的神经网络训练的动机。我们评估我们的方法,通过广泛的实验,在语言建模,自然语言推理和图像分类的任务。我们证明了我们的方法能够将语言建模性能提高高达7.91的困惑度,并将训练迭代次数减少高达$61\%$,此外还可以灵活地启用快照集成和使用对抗训练。
2018-12-04 cs.LG
Overcoming the Challenges of Batch Normalization in Federated Learning
EPFL(洛桑联邦理工学院);Sorbonne Université(索邦大学);Univ Rennes, Inria, CNRS, IRISA(雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、法国国立高等工程技术学校雷恩分校)
本文提出联邦批归一化(FBN),解决联邦学习中批归一化因外部协变量偏移和统计不一致而失效的问题,恢复其训练加速与精度提升优势,并增强鲁棒性以抵御错误统计和对抗攻击。
2024-05-23 cs.LG
Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind)
本文提出一种新型后门,通过利用批量推理技术实现大规模用户数据窃取和模型响应操控,提出确定性缓解策略以保障用户隐私和系统安全。
2026-03-20 cs.AI cs.CR cs.LG
Whitening and Coloring batch transform for GANs
University of Trento(特伦托大学);Department of Information Engineering and Computer Science (DISI)(信息工程与计算机科学系(DISI))
批量归一化(BN)是一种用于加速和稳定训练的常用技术。另一方面,BN的可学习参数通常用于条件生成对抗网络(cGAN),用于使用条件批量归一化(cBN)表示类特定信息。在本文中,我们建议使用基于白化和着色的批量归一化来推广BN和cBN。我们表明,我们的条件着色可以表示分类条件信息,这在很大程度上有助于cGAN的定性结果。此外,我们证明了全特征白化在一般的GAN场景中是重要的,在这种场景中,训练过程是非常不稳定的。我们在不同的数据集上测试我们的方法,并使用不同的GAN网络和训练协议,在所有测试框架中显示出一致的改进。我们的CIFAR-10条件结果高于此数据集上的所有以前的作品。
2019-02-25 cs.LG stat.ML
The Bures Metric for Generative Adversarial Networks
KU Leuven(鲁汶大学);Univ. Lille, CNRS, Centrale Lille UMR 9189 CRIStAL(里尔大学,国家科学研究中心,中央里尔大学 UMR 9189 CRIStAL)
生成对抗网络(GANs)是产生高质量样本的高性能生成方法。然而,在某些情况下,GANs的训练可能导致模式坍塌或模式丢弃,即生成模型不能从整个概率分布中采样。为了解决这个问题,我们使用最后一层的特征映射来研究真实和虚假数据的分布。在训练过程中,我们建议通过使用特征空间中协方差矩阵之间的Bures距离来匹配真实批次多样性和假批次多样性。Bures距离的计算可以方便地在特征空间或核空间中分别根据协方差和核矩阵进行。我们观察到,多样性匹配大大减少了模式坍塌,并对样品质量有积极的影响。在实践方面,提出了一个非常简单的训练过程,不需要额外的超参数调整,并在几个数据集上进行了评估。
2021-04-27 cs.LG eess.IV stat.ML
Neural ODEs Meet Concurrent Learning: Stable Online Learning with Lyapunov Guarantees
Louisiana State University(路易斯安那州立大学)
本文证明神经ODE伴随梯度具有Lyapunov分析所需结构,提出NODE-CL方法,在滑动窗口和存储数据上实现稳定在线学习,并在DeepMind控制套件上取得最优或接近最优的预测误差。
2026-09-29 cs.LG cs.SY eess.SY
PIAT: Physics Informed Adversarial Training for Solving Partial Differential Equations
Sharif University of Technology(谢里夫理工大学)
本文提出了一种求解非线性微分方程的神经网络的物理信息对抗训练方法。众所周知,神经网络的标准训练会导致非光滑函数。对抗性训练(AT)是一种针对对抗攻击的既定防御机制,它也有助于使解决方案顺利进行。AT包括用扰动来增强训练小批量,使得网络输出与期望输出相反地不匹配。与仅依赖于训练数据的正式AT不同,在这里,我们在对抗网络架构中使用自动微分以非线性微分方程的形式对支配物理定律进行编码。我们比较PIAT与PINN,以表明我们的方法在解决高达10个维度的NDE的有效性。此外,我们提出了权重衰减和高斯平滑来证明PIAT的优势。代码存储库可在https://github.com/rohban-lab/PIAT上获得。
2022-07-14 cs.LG
Adversarial Vulnerability as a Consequence of On-Manifold Inseparibility
Purdue University(普渡大学);Michigan State University(密歇根州立大学)
该研究揭示对抗脆弱性源于流形上不可分性与一阶优化器病态导致的流形外方向收敛差,提出用二阶方法提升鲁棒性,实验验证了效果并指出批归一化会阻碍该增益。
2024-10-09 cs.LG stat.ML
Synthetic Magnetic Resonance Images with Generative Adversarial Networks
数据增强对于医学研究至关重要,可以增加训练数据集的大小并获得更好的结果。在这项工作中,我们实验三个GAN架构不同的损失函数,以产生新的大脑MRI。结果表明,超参数调整的重要性,并使用小批量相似层的鉴别和梯度惩罚的损失函数,以实现高质量和现实的收敛。此外,需要大量的计算时间来从原始数据集生成无法区分的图像。
2020-01-17 cs.LG eess.IV stat.ML
Noisy Concurrent Training for Efficient Learning under Label Noise
Advanced Research Lab, NavInfo Europe(NavInfo Europe 高级研究实验室)
深度神经网络(DNN)在标签噪声下无法有效学习,并且已被证明会记住影响其泛化性能的随机标签。我们认为孤立学习,使用独热编码标签作为唯一的监督来源,以及缺乏规则化来阻止记忆是标准训练程序的主要缺点。因此,我们提出了Noisy Concurrent Training(NCT),它利用协作学习来使用两个模型之间的共识作为额外的监督来源。此外,受大脑中试验间差异的启发,我们提出了一种反直觉的正则化技术,即目标差异,它需要随机改变每批训练样本中一定比例的标签,以防止DNN中的记忆和过度泛化。目标变异性独立应用于每个模型,以保持它们的差异并避免确认偏倚。由于DNN倾向于在记住噪声标签之前首先优先学习简单模式,因此我们采用了动态学习方案,随着训练的进行,两个模型越来越依赖于它们的共识。NCT还逐渐增加目标的可变性,以避免在后期阶段记忆。我们证明了我们的方法在合成和真实世界的噪声基准数据集的有效性。
2020-09-17 cs.CV cs.LG
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization
City University of Hong Kong(香港城市大学);Dalian University of Technology(大连理工大学);Tsinghua University(清华大学)
近年来,预训练模型及其下游训练在深度学习研究和应用中的重要性日益增加。与此同时,对抗性示例的防御主要在简单分类任务的随机初始化训练的背景下进行了研究。为了更好地利用预训练模型在对抗性鲁棒性方面的潜力,本文重点关注对抗性预训练模型在各种分类任务中的微调。现有研究表明,由于鲁棒预训练模型已经学习了鲁棒特征提取器,因此关键问题是如何在学习下游任务时保持预训练模型的鲁棒性。我们研究了基于模型和基于数据的方法,发现这两种常见的方法不能同时达到提高泛化能力和对抗鲁棒性的目的。因此,我们提出了一种新的基于神经网络的方法,Two-WIng NormliSation(TIOR)微调框架,其由两个神经网络组成,其中一个神经网络将预训练数据的总体均值和方差保持在批量归一化层中。除了鲁棒的信息传递之外,由于标准批量归一化层中的权重范数与其梯度范数之间的关系被打破,TSTK在不损害训练稳定性的情况下提高了有效学习率,从而更快地逃离次优初始化并减轻鲁棒过拟合。最后,TALTH被证明是有效的广泛的图像分类数据集的泛化和鲁棒性。我们的代码可在https://github.com/ziquanliu/CVPR2023-TWINS上获得。
2023-03-20 cs.CV cs.LG
Scaling Adversarial Training via Data Selection
Northeastern University(东北大学)
本文提出选择性对抗训练方法,通过数据选择减少计算成本,提升对抗鲁棒性。
2025-12-26 cs.LG
Universal Adversarial Training with Class-Wise Perturbations
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
尽管卷积神经网络(CNN)在广泛的应用中取得了压倒性的成功,但人们普遍认为它容易受到对抗性样本的影响。这种有趣的现象导致了对抗攻击和防御技术之间的竞争。到目前为止,对抗性训练是防御对抗攻击最广泛使用的方法。它还被扩展到防御普遍对抗性扰动(UAP)。SOTA通用对抗训练(UAT)方法为小批量中的所有训练样本优化了单个扰动。在这项工作中,我们发现,一个UAP不攻击所有类平等。受此观察的启发,我们将其确定为具有不平衡鲁棒性的模型的来源。为此,我们建议在对抗训练期间利用类明智的UAP来改进SOTA UAT。在多个基准数据集上,我们的类UAT在干净的准确性和对抗通用攻击的对抗性鲁棒性方面都具有优异的性能。
2021-04-07 cs.CV cs.LG
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University(杜克大学)
对抗训练(AT)对于获得对对抗攻击鲁棒的深度神经网络至关重要,但最近的研究发现,它也可能使模型更容易受到隐私攻击。在这项工作中,我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击,实际上适用于隐私敏感的联邦学习(FL)系统。使用我们的方法,攻击者可以利用在FL系统中的AT模型,以准确地重建用户的私人训练图像,即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
Comparative Study on Noise-Augmented Training and its Effect on Adversarial Robustness in ASR Systems
Technical University Munich(慕尼黑技术大学);Faculty of Computer Science, Ruhr University Bochum(博德姆鲁尔大学计算机科学系)
本文比较了四种ASR架构在三种数据增强条件下的对抗鲁棒性,发现噪声增强训练在提升含噪语音性能的同时,也能增强模型对白盒和黑盒对抗攻击的鲁棒性。
2025-11-07 cs.LG cs.SD eess.AS
Softmax GAN
Qihoo 360 Technology co. ltd(奇虎360科技有限公司)
Softmax GAN是生成对抗网络(GAN)的一种新变体。Softmax GAN的核心思想是在一个单一批次的样本空间中用softmax交叉熵损失代替原始GAN中的分类损失。在$N$真实训练样本和$M$生成样本的对抗学习中,对抗训练的目标是将所有概率质量分配给真实样本,每个样本的概率为$\frac{1}{M}$,而将零概率分配给生成数据。在生成器训练阶段,目标是为批次中的所有数据点分配相等的概率,每个数据点的概率为$\frac{1}{M+N}$。虽然原始的GAN与噪声对比估计(NCE)密切相关,但我们表明Softmax GAN是GAN的重要性采样版本。我们进一步用实验证明,这种简单的改变稳定了GAN训练。
2020-06-25 cs.LG cs.NE
BDFA: A Blind Data Adversarial Bit-flip Attack on Deep Neural Networks
Simon Fraser University(西蒙弗雷泽大学)
针对神经网络权值的对抗性位翻转攻击(BFA)通过翻转极少量的位,可导致灾难性的精度下降。现有位翻转攻击技术的主要缺点是它们依赖于测试数据。对于包含敏感或专有数据的应用程序,这通常是不可能的。在本文中,我们提出了盲数据对抗比特翻转攻击(BDFA),一种新的技术,使BFA没有任何访问的训练或测试数据。这是通过优化合成数据集来实现的,该数据集被设计为匹配网络和目标标签的不同层上的批量归一化的统计数据。实验结果表明,BDFA仅用4位翻转就能将ResNet 50的准确率从75.96%显著降低到13.94%.
2022-01-07 cs.CR cs.LG
An Investigation into the Stochasticity of Batch Whitening
Inception Institute of Artificial Intelligence (IIAI)(起源人工智能研究院)
批量归一化(BN)通过在小批量内执行标准化而被广泛用于各种网络架构中。对这个过程的全面理解一直是深度学习社区的中心目标。不同于现有的作品,通常只分析标准化操作,本文研究了更一般的批白化(BW)。我们的工作源于这样的观察,即虽然各种白化变换等效地改善了条件反射,但它们在区分场景和训练生成对抗网络(GANs)中表现出显着不同的行为。我们把这种现象归因于BW引入的随机性。我们定量地研究了不同白化变换的随机性,并表明它与训练过程中的优化行为有很好的相关性。我们还研究了如何随机性与人口统计推断过程中的估计。基于我们的分析,我们提供了一个框架,设计和比较BW算法在不同的情况下。我们提出的BW算法在ImageNet分类上显著提高了残差网络。此外,我们发现BW的随机性可以提高GAN的性能,但牺牲了训练的稳定性。
2020-03-27 cs.CV cs.LG
Adversarial Robustness vs Model Compression, or Both?
Tsinghua University(清华大学);IBM Research(IBM研究院);University of California, Los Angeles(加州大学洛杉矶分校);SenseTime Research(商汤科技研究院);Northeastern University(东北大学)
众所周知,深度神经网络(DNN)容易受到对抗攻击的攻击,这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小-最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而,对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架,该框架在保持对抗鲁棒性的同时实现了模型压缩,从根本上解决了对抗训练的困境。此外,这项工作研究了两个假设的权重修剪在传统的设置,并发现权重修剪是必要的,以减少网络模型的大小在对抗设置,从头开始训练一个小的模型,即使继承初始化从大模型不能同时实现对抗的鲁棒性和高标准的准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。
2021-06-22 cs.CR cs.CV cs.LG
NEO-KD: Knowledge-Distillation-Based Adversarial Training for Robust Multi-Exit Neural Networks
KAIST(韩国科学技术院);Purdue University(普渡大学)
NEO-KD提出基于知识蒸馏的对抗训练策略,通过邻居知识蒸馏和逐出口正交知识蒸馏,在降低计算预算的同时提升多出口神经网络的对抗鲁棒性。
2023-11-01 cs.LG
How Learning Dynamics Drive Adversarially Robust Generalization?
CISPA Helmholtz Center for Information Security(CISPA海德堡信息安全中心)
本文通过动力学系统分析,揭示对抗训练中鲁棒过拟合的机理,并提出PAC-Bayesian框架进行理论证明,同时探讨对抗扰动对泛化性能的影响。
2026-07-09 cs.LG
Manifold Regularized Deep Neural Networks using Adversarial Examples
Seoul National University(首尔国立大学)
使用深度神经网络学习有意义的表示涉及设计高效的训练方案和结构良好的网络。目前,具有动量和dropout的随机梯度下降方法是最流行的训练协议之一。在此基础上,更先进的方法(即,Maxout和批量归一化),但大多数仍然遭受由小扰动引起的性能下降,也称为对抗性示例。为了解决这个问题,我们提出了流形正则化网络(MRnet),该网络利用一种新的训练目标函数,最大限度地减少样本的多层嵌入结果与对抗结果之间的差异。我们的实验结果表明,MRnet对对抗性示例更具弹性,并有助于我们推广流形上的表示。此外,结合MRnet和dropout使我们能够在三个著名的基准测试中实现有竞争力的分类性能:MNIST,CIFAR-10和SVHN。
2016-01-14 cs.CV cs.LG
Small-GAN: Speeding Up GAN Training Using Core-sets
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);University of Toronto(多伦多大学);Google Brain(谷歌大脑)
Brock等人(2018)的最新研究表明,生成对抗网络(GANs)从大的小批量中受益不成比例。不幸的是,在传统硬件上使用大批量是缓慢和昂贵的。因此,如果我们能够生成实际上很大但实际上很小的批处理,那就太好了。在这项工作中,我们提出了一种方法来做到这一点,在主动学习中使用的核心选择的启发。在训练GAN时,我们从先验知识中抽取大量样本,然后使用Coreset选择压缩该批次。为了有效地创建大量的“真实”图像,我们为每个训练图像创建一个Inception激活的缓存数据集,将它们随机投影到较小的维度,然后在训练时对这些投影的激活使用Coreset选择。我们进行的实验表明,这种技术大大减少了现代GAN变体的训练时间和内存使用,它减少了合成数据集中丢弃模式的比例,并且它允许GANs在异常检测方面达到新的技术水平。
2019-10-29 cs.LG stat.ML
Regularizers for Single-step Adversarial Training
Indian Institute of Science(印度科学学院)
过去十年的进展使机器学习模型在计算机视觉的各种任务中取得了令人印象深刻的性能。然而,大量的工作已经证明了这些模型对对抗样本的敏感性。对抗性训练程序已经被提出来防御这种对抗攻击。对抗性训练方法用对抗性样本来增强小批量,并且通常使用单步的【形】(非迭代)方法来生成这些对抗性样本。然而,使用单步的【形】对抗训练训练的模型收敛到退化最小值,其中模型只是看起来很健壮。这些模型的伪鲁棒性是由于梯度掩蔽效应。虽然多步对抗训练有助于学习鲁棒模型,但由于使用迭代法来生成对抗样本,因此难以扩展。为了解决这些问题,我们提出了三种不同类型的正则化器,这些正则化器有助于使用单步的【形】对抗训练方法来学习鲁棒模型。所提出的正则化器通过利用区分鲁棒模型和伪鲁棒模型的属性来减轻梯度掩蔽的影响。使用所提出的正则化器训练的模型的性能与使用计算昂贵的多步对抗训练方法训练的模型相当。
2020-02-03 cs.CV cs.LG
Batch Group Normalization
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学);Queen Mary University of London(伦敦玛丽女王大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
深度卷积神经网络(DCNN)的训练是困难且耗时的。规范化是有效的解决办法之一。在以往的归一化方法中,批量归一化(BN)在中、大批量时性能较好,对多视觉任务具有良好的泛化能力,但在小批量时性能明显下降。在本文中,我们发现BN在极大批量时饱和,即,每个工人128张图像,即,GPU,以及提出的退化/饱和BN在小/超大批量是由嘈杂/混乱的统计计算。因此,在不增加新的可训练参数,使用多层或多次迭代的信息,或引入额外的计算,批量组归一化(BGN)提出解决噪声/混乱的统计计算BN在小/超大批量的引入通道,高度和宽度尺寸来补偿。该算法采用了分组归一化(GN)中的分组技术,并使用超参数G来控制用于统计计算的特征实例的数量,从而为不同的批量提供既不嘈杂也不混乱的统计量。我们的经验表明,BGN在广泛的视觉任务中,包括图像分类,神经结构搜索(NAS),对抗学习,少样本学习(FSL)和无监督领域自适应(UDA),始终优于BN,实例归一化(IN),层归一化(LN),GN和位置归一化(PN),表明其良好的性能,对批量的稳定性和广泛的推广性。例如,在ImageNet上训练ResNet-50,批量大小为2,BN达到了66.512%的Top1准确率,而BGN达到了76.096%,有显著的提高。
2020-12-09 cs.CV cs.LG
scMEDAL for the interpretable analysis of single-cell transcriptomics data with batch effect visualization using a deep mixed effects autoencoder
University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心)
scMEDAL提出深度混合效应自编码器框架,通过随机效应贝叶斯子网络scMEDAL-RE与固定效应对抗子网络scMEDAL-FE分别建模批次特异性和批次不变效应,在保留生物信息的同时实现可解释的批次效应可视化与更准确的疾病、供体和组织预测。
2025-11-05 cs.LG q-bio.GN