Structure-Guided Adversarial Training of Diffusion Models
Peking University（北京大学）
针对现有扩散模型训练忽略小批次内样本结构信息的问题，提出结构引导对抗训练方法SADM，通过结构判别器与生成器的极小极大博弈学习样本流形结构，在12个数据集的图像生成等任务上刷新SOTA。
2024-03-04 cs.AI cs.CV cs.LG
Synthetic Magnetic Resonance Images with Generative Adversarial Networks
数据增强对于医学研究至关重要，可以增加训练数据集的大小并获得更好的结果。在这项工作中，我们实验三个GAN架构不同的损失函数，以产生新的大脑MRI。结果表明，超参数调整的重要性，并使用小批量相似层的鉴别和梯度惩罚的损失函数，以实现高质量和现实的收敛。此外，需要大量的计算时间来从原始数据集生成无法区分的图像。
2020-01-17 cs.LG eess.IV stat.ML
Mixed batches and symmetric discriminators for GAN training
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
生成对抗网络（GANs）是一种强大的生成模型，它通过一个可重构网络向生成网络提供反馈.然而，该方法通常是对单个样品进行测定。这阻止了判别器访问生成样本的全局分布统计，并且通常导致模式丢弃：生成器仅对目标分布的一部分进行建模。我们建议用真假样本的混合批次来喂给预测器，并训练它来预测批次中真样本的比例。后一个分数不取决于批次中样品的顺序。而不是学习这种不变性，我们引入了一个通用的置换不变的结构。这种架构是可证明的一个唯一的近似的所有对称函数。实验上，我们的方法减少了GANs在两个合成数据集上的模式崩溃，并在CIFAR10和CelebA数据集上获得了良好的结果，无论是定性还是定量。
2018-06-19 cs.CV cs.LG stat.ML
Towards an Adversarially Robust Normalization Approach
Kyung-He University（庆熙大学）；Information Technology University（信息技术大学）
批量归一化（BatchNorm）对于提高深度神经网络的性能和加速训练是有效的。然而，它也被证明是对抗脆弱性的一个原因，即，没有它的网络对对抗攻击更健壮。在本文中，我们研究了BatchNorm如何导致这种漏洞，并提出了新的规范化，对对抗攻击具有鲁棒性。我们首先观察到对抗图像倾向于改变BatchNorm输入的分布，这种改变使得训练时估计的人口统计数据不准确。我们假设这些不准确的统计数据使BatchNorm模型更容易受到对抗攻击。我们证明了我们的假设，取代训练时间估计的统计数据与统计计算的推断时间批次。我们发现，如果我们使用这些统计数据，BatchNorm的对抗性脆弱性就会消失。但是，如果没有估计的批次统计数据，我们就不能在实践中使用BatchNorm。为了减轻这种情况，我们提出了鲁棒归一化（RobustNorm）; BatchNorm的一个对抗性鲁棒版本。我们的实验表明，使用RobustNorm训练的模型在对抗环境中表现更好，同时保留了BatchNorm的所有优点。代码可在\url{https://github.com/awaisrauf/RobustNorm}上获得。
2020-06-19 cs.LG stat.ML
Generating Adversarial Samples in Mini-Batches May Be Detrimental To Adversarial Robustness
University of Notre Dame（圣母大学）
本研究发现对抗样本生成时小批量大小增加会降低样本有效性，这与梯度消失有关，通过设计特定损失函数可消除该影响，避免低估攻击强度或高估模型鲁棒性。
2023-03-30 cs.CR cs.CV cs.LG
Detecting Adversarial Examples in Batches -- a geometrical approach
Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；Technishe Universitat Bergakademie Freiberg（弗赖贝格工业大学）
许多深度学习方法已经成功地解决了计算机视觉和语音识别应用中的复杂任务。尽管如此，这些模型的鲁棒性已被发现容易受到扰动输入或对抗性示例的影响，这些示例对人眼来说是不可感知的，但会导致模型做出错误的输出决策。在这项研究中，我们调整并引入了两个几何度量，密度和覆盖率，并评估它们在检测批量未知数据中的对抗样本中的使用。我们使用MNIST和MedMNIST的两个真实生物医学数据集对这些指标进行了实证研究，这些数据集受到了两种不同的对抗攻击。我们的实验表明，这两个指标检测敌对的例子有希望的结果。我们相信，他的工作可以为进一步研究这些指标在已部署的机器学习系统中的使用奠定基础，以监测对抗性示例或相关病理（如数据集移位）可能的攻击。
2022-06-17 cs.LG
Batch Normalization is a Cause of Adversarial Vulnerability
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Waterloo（滑铁卢大学）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University College London（伦敦大学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Google Brain（谷歌大脑）
批量归一化（batch normalization）通常用于稳定和加速深度神经网络中的训练。在许多情况下，它确实减少了实现低训练误差所需的参数更新次数。然而，它也降低了对小的对抗性输入扰动和噪声的鲁棒性，如我们在五个标准数据集上所示。此外，用权重衰减代替批量范数足以消除对抗脆弱性与输入维度之间的关系。我们的工作是一致的平均场分析，发现批量规范导致爆炸梯度。
2019-05-29 cs.LG stat.ML
Concurrent Adversarial Learning for Large-Batch Training
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Hong Kong University of Science and Technology（香港科技大学）
在使用大量GPU/TPU处理器训练神经网络时，大批量训练已成为一种常用技术。随着批量大小的增加，随机优化器往往收敛到尖锐的局部极小值，导致测试性能下降。目前的方法通常使用广泛的数据增强来增加批量大小，但我们发现数据增强的性能增益随着批量大小的增加而降低，并且数据增强在某个点之后变得不足。在本文中，我们建议使用对抗学习来增加大批量训练中的批量大小。尽管对抗学习是平滑决策表面和偏向平坦区域的自然选择，但它尚未成功应用于大批量训练，因为它需要在每一步至少进行两次连续的梯度计算，即使使用大量处理器，与普通训练相比，这至少会使运行时间增加一倍。为了克服这个问题，我们提出了一种新的并发对抗学习（ConAdv）方法，该方法通过利用静态参数来解耦对抗学习中的顺序梯度计算。实验结果表明，ConAdv可以成功地增加ImageNet上ResNet-50训练的批量大小，同时保持高精度。特别是，我们表明ConAdv在ImageNet ResNet-50训练中可以达到75.3\%的top-1准确率，批量大小为96 K，当将ConAdv与数据增强相结合时，准确率可以进一步提高到76.2\%。这是第一个成功将ResNet-50训练批量规模扩展到96 K的工作。
2022-01-23 cs.AI cs.LG
Batch-in-Batch: a new adversarial training framework for initial perturbation and sample selection
School of Mathematics and Computer Science, Jianghan University（江汉大学数学与计算机科学学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
本文提出 Batch-in-Batch 对抗训练框架，通过联合生成多组初始扰动并结合样本选择策略提升模型鲁棒性，在多个数据集上显著提高对抗准确率且计算成本较低。
2024-06-06 cs.AI cs.LG
Large batch size training of neural networks with adversarial training and second-order information
University of California, Berkeley（加州大学伯克利分校）
加速随机梯度下降（SGD）计算的最直接方法是将随机选择的一批输入分布在多个处理器上。为了保持分布式处理器的充分利用，需要不断增加批处理大小。然而，大批量训练往往会导致泛化能力较差。最近提出的解决方案是在SGD中使用自适应批量大小。在这种情况下，我们从少量的过程开始，并随着训练的进行而扩展这些过程。这种方法的两个主要挑战是：（i）动态部署集群可能会增加不小的开销，部分原因是它目前不受支持，以及（ii）整体速度的提高受到初始阶段小批量的限制。在这项工作中，我们通过开发一个新的自适应批量大小框架来解决这两个挑战，并基于Ray框架进行自动缩放。这允许非常有效的弹性缩放，可以忽略不计的时间开销（ResNet 18 ImageNet训练时间的0.32%）。此外，我们提出了一个新的自适应批量训练计划，使用二阶方法和对抗训练。这使得在训练过程中可以更早地增加批量大小，从而缩短训练时间。我们在Cifar-10/100、SVHN、TinyImageNet和ImageNet数据集上广泛评估了我们的方法，使用了多个神经网络，包括ResNets和更小的网络，如SqueezeNext。我们的方法超过了现有的解决方案的准确性和SGD迭代次数（高达1\%和$5\times$，分别）方面的性能。重要的是，这是在没有任何额外的超参数调整的情况下实现的，以在任何这些实验中定制我们的方法。
2020-01-03 cs.AI cs.LG math.OC
On Fragile Features and Batch Normalization in Adversarial Training
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
现代深度学习架构利用批量归一化（BN）来稳定训练并提高准确性。已经表明，单独的BN层是令人惊讶的表现力。然而，在对抗性示例的鲁棒性方面，BN被认为会增加脆弱性。也就是说，BN有助于学习脆弱的特征。尽管如此，BN仍然用于对抗训练，这是学习鲁棒特征的事实标准。为了阐明BN在对抗训练中的作用，我们研究了BN的表达能力在多大程度上可以用于增强脆弱特征，而不是随机特征。在CIFAR10上，我们发现仅对BN层进行对抗性微调可以产生非平凡的对抗性鲁棒性。相反，从头开始只对抗训练BN层，无法传达有意义的对抗鲁棒性。我们的研究结果表明，脆弱特征可以用于学习具有中等对抗鲁棒性的模型，而随机特征则不能
2022-04-26 cs.CR cs.CV cs.LG
How do SGD hyperparameters in natural training affect adversarial robustness?
Chennai Mathematical Institute（金奈数学研究所）；Microsoft Research（微软研究院）
学习率、批量大小和动量是SGD算法中三个重要的超参数。从Jastrzebski等人arXiv：1711.04623的工作中已知，神经网络的大批量训练产生不能很好地推广的模型。Yao et al. arXiv：1802.08241观察到大批量训练产生的模型具有较差的对抗鲁棒性。在同一篇论文中，作者训练模型与不同的批量大小和计算的特征值的损失函数的海森。他们观察到，随着批量大小的增加，海森的主导特征值变得更大。他们还表明，对抗性训练和小批量训练都会导致Hessian的主特征值下降或降低其频谱。他们将对抗训练和二阶信息相结合，提出了一种新的大批量训练算法，并获得了具有良好泛化能力的鲁棒模型。在本文中，我们经验性地观察了SGD超参数对使用未扰动样本训练的网络的准确性和对抗鲁棒性的影响。Jastrzebski等人考虑了具有固定学习率与批量大小比率的训练模型。他们观察到，比率越高，概括性越好。我们观察到，如Jastrzebski等人所提出的，以恒定的学习率与批量大小之比训练的网络，产量模型，推广良好，也有几乎恒定的对抗鲁棒性，独立于批量大小。我们观察到，动量是更有效的不同的批量大小和固定的学习率比恒定的学习率批量大小的比例为基础的SGD训练。
2020-06-20 cs.CR cs.CV cs.LG
Batch Virtual Adversarial Training for Graph Convolutional Networks
Tsinghua University（清华大学）
提出了一种新的图卷积网络（GCN）正则化方法--批量虚拟对抗训练（BVAT）。BVAT解决了GCN不考虑模型输出分布对输入周围局部扰动的平滑性的缺点。我们提出了两种算法，基于样本的BVAT和基于优化的BVAT，这是适合于促进图结构数据的模型的平滑性，无论是找到虚拟对抗扰动的一个子集的节点远离对方或生成虚拟对抗扰动的所有节点的优化过程。在Cora、Citeseer和Pubmed三个引文网络数据集和一个知识图谱数据集Nell上的实验验证了该方法的有效性，在半监督节点分类任务中取得了最佳的结果.
2019-05-24 cs.AI cs.LG stat.ML
Improving the convergence of SGD through adaptive batch sizes
Air Force Research Laboratory（空军研究实验室）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出根据训练损失自适应调整 SGD 批量大小的方法，在保持 SGD 梯度计算量级的同时达到梯度下降的更新次数量级，并通过损失近似与实验验证其不增加总计算量。
2023-09-27 cs.LG math.OC stat.ML
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft（微软）
近年来，基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型，许多神经网络从业者试图增加批量大小，以便利用多个GPU来提高训练速度。然而，增加批量大小通常会使优化变得更加困难，导致收敛速度慢或泛化能力差，可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中，我们探讨了大批量优化的损失景观的陡峭程度，以适应预训练的基于transformer的语言模型特定于领域的任务，并发现它往往是高度复杂和不规则的，对下游任务的泛化提出了挑战。为了应对这一挑战，我们提出了ScaLA，一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同，我们采用了一种顺序博弈论方法，将轻量级对抗性噪声添加到大批量优化中，从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明，ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$，同时达到了与现有大批量优化方法相当的精度，有时甚至更高。最后，我们还解决了大批量优化与对抗噪声的理论方面，并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
Adaptive Batch Normalization Networks for Adversarial Robustness
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出自适应批归一化网络（ABNN），利用预训练替代模型生成干净统计量，使目标模型在干净数据上训练并对齐，从而在不使用对抗训练的情况下，提升对数字和物理攻击的鲁棒性，同时提高干净数据性能并降低训练成本。
2024-05-27 cs.CV cs.LG
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
批量归一化（BN）由于改进了收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN提高了模型的准确性，同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说，准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提出了实证证据，支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变，我们提出了一个框架，用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解，例如DNN首先主要学习RF，然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Advancing diagnostic performance and clinical usability of neural networks via adversarial training and dual batch normalization
RWTH Aachen University（亚琛工业大学）；University Hospital Düsseldorf（杜塞尔多夫大学医院）；University Hospital Aachen（亚琛大学医院）；ARISTRA GmbH（ARISTRA有限公司）；The Institute for Experimental Molecular Imaging, RWTH Aachen University（亚琛工业大学实验分子影像研究所）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）；Comprehensive Diagnostic Center Aachen (CDCA), University Hospital RWTH Aachen（亚琛工业大学医院综合诊断中心）
揭示机器学习模型的决策过程对于在临床实践中实现诊断支持系统至关重要。在这里，我们证明了与标准模型相比，经过对抗训练的模型可以显着提高病理检测的可用性。我们让六位经验丰富的放射科医生在X射线、计算机断层扫描和磁共振成像扫描的数据集中对显着性图的可解释性进行评级。我们的对抗模型得到了显着的改进，可以通过应用双批量归一化来进一步改进。与之前对逆向训练模型的研究相反，我们发现，当使用足够大的数据集和双批范数训练时，这些模型的准确性与标准模型相同。为了确保可移植性，我们还在22，433个X射线的外部测试集上验证了我们的结果。这些发现阐明了在训练期间需要对抗性和真实图像的不同路径，以实现具有卓越临床可解释性的最新结果。
2020-11-25 cs.CV cs.LG eess.IV
Unlocking optimal batch size schedules using continuous-time control and perturbation theory
Friedrich-Schiller-University Jena（耶拿弗里德里希·席勒大学）
本文通过随机微分方程近似和摄动展开，从理论上推导出SGD的最优批量大小调度，并在线性回归中验证了结果。
2023-12-04 cs.LG math.OC
Removing Batch Normalization Boosts Adversarial Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）
对抗性训练（AT）可以保护深度神经网络免受对抗攻击。限制其实际应用的一个挑战是清洁样品的性能下降。以前的工作中发现的一个主要瓶颈是广泛使用的批量归一化（BN），它很难对AT中干净和对抗训练样本的不同统计数据进行建模。虽然主要的方法是扩展BN来捕获这种混合分布，但我们建议通过移除AT中的所有BN层来完全消除这种瓶颈。我们的无归一化鲁棒训练（NoFrost）方法将无归一化网络的最新进展扩展到AT，因为它在处理混合分布挑战方面具有未开发的优势。我们表明，NoFrost实现了对抗性的鲁棒性，只有一个小的牺牲干净的样本的准确性。在使用ResNet50的ImageNet上，NoFrost实现了$74.06\%$干净的准确性，仅从标准训练中降低了$2.00\%$。相比之下，基于BN的AT获得了$59.28\%$干净的准确性，遭受了标准训练的显著$16.78\%$下降。此外，NoFrost算法实现了$23.56\%$对PGD攻击的对抗性鲁棒性，提高了$13.57\%$在基于BN的AT中的鲁棒性.我们从NoFrost中观察到更好的模型平滑度和更大的决策裕度，这使得模型对输入扰动不太敏感，因此更具鲁棒性。此外，当将更多的数据扩充到NoFrost中时，它实现了对多个分布偏移的全面鲁棒性。代码和预训练模型在https://github.com/amazon-research/normalizer-free…
2022-07-04 cs.CV cs.LG
Advancing Deep Metric Learning Through Multiple Batch Norms And Multi-Targeted Adversarial Examples
NEC Corporation（日本电气股份有限公司）；University of Tsukuba（筑波大学）
深度度量学习（DML）是机器学习中的一个重要领域，具有广泛的实际应用，专注于学习视觉相似性。众所周知，诸如对抗性示例（AX）的输入遵循与干净数据不同的分布，导致来自DML系统的错误预测。本文提出了MDProp，一个框架，以同时提高干净的数据和输入以下多个分布的DML模型的性能。MDProp通过AX生成过程利用多分布数据，同时在DML模型的训练期间通过多个批量归一化层利用分离学习。MDProp是第一个生成特征空间多目标AX的工具，对训练模型的密集嵌入空间区域执行有针对性的正则化，从而提高嵌入空间密度，从而提高训练模型的泛化能力。从一个全面的实验分析，我们表明，MDProp的结果在高达2.95%的增加清洁数据Recall@1分数和高达2.12倍的增加对不同的输入分布的鲁棒性相比，传统的方法。
2022-12-06 cs.CV cs.LG
DynLP: Parallel Dynamic Batch Update for Label Propagation in Semi-Supervised Learning
Missouri University of Science and Technology（密苏里科技大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出DynLP算法，通过仅更新必要的子图实现高效标签传播，提升大规模数据集处理效率，实现13至102倍的速度提升。
2026-04-08 cs.DC cs.LG
Efficient Bayesian Updates for Deep Active Learning via Laplace Approximations
University of Kassel（卡塞尔大学）
本文提出通过拉普拉斯近似实现高效的贝叶斯更新，用于深度主动学习中的批次选择，提高计算效率并改进模型更新性能。
2026-03-11 cs.LG
Admissibility of Stein Shrinkage for Batch Normalization in the Presence of Adversarial Attacks
Department of Statistics University of Florida（统计学系 佛罗里达大学）；Department of Electrical and Computer Engineering University of Virginia（电气与计算机工程系 维吉尼亚大学）；Department of Comput. Info. Sci. & Eng. University of Florida（计算机信息科学与工程系 佛罗里达大学）
本文研究了在存在对抗攻击时，Stein收缩在批量归一化中的可接受性，并展示了其在图像分类和分割任务中的应用效果。
2026-02-03 cs.LG stat.ML
Off-Policy Evaluation of Bandit Algorithm from Dependent Samples under Batch Update Policy
CyberAgent Inc.（赛博特工公司）
政策外评估（OPE）的目标是使用通过行为策略获得的历史数据来评估新策略。然而，由于上下文强盗算法基于过去的观察来更新策略，因此样本不是独立且同分布的（i.i.d.）。本文通过构造相依样本的鞅差序列（MDS）的估计量来解决这个问题。在数据生成过程中，我们不假设策略的收敛性，但策略在一定时期内使用相同的条件概率选择行动。然后，我们得到了一个渐近正常的估计值的评价政策。作为我们的方法的另一个优点，基于批处理的方法同时解决了支持不足的问题。使用基准和真实世界的数据集，我们实验证实了所提出的方法的有效性。
2020-10-23 cs.LG econ.EM stat.ML
Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers
University of Alberta（阿尔伯塔大学）；Amii（艾伯塔机器智能研究所）；National Research Council of Canada（加拿大国家研究委员会）；CIFAR Canada AI Chair（CIFAR加拿大人工智能首席科学家）
针对现有深度策略梯度方法依赖大型回放缓冲区或批量更新、难以适配资源受限真实系统的问题，提出增量方法AVG及配套归一化缩放技术，在仿真基准上性能媲美批量方法，首次实现真实机器人的增量式深度强化学习。
2025-05-21 cs.AI cs.LG cs.RO
Batch Acquisition Function Evaluations and Decouple Optimizer Updates for Faster Bayesian Optimization
本文提出通过解耦QN更新和批量调用获取函数，以提高贝叶斯优化的效率，减少计算开销。
2025-12-09 cs.AI cs.LG
Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates
EPFL（洛桑联邦理工学院）
通过实验观察到，随机梯度（SGD）分布式训练的效率决定性地取决于批量大小和（在异步实现中）梯度的陈旧性。特别地，已经观察到，超过一定的批量大小和/或当延迟变得太大时，加速饱和。我们确定了一个依赖于数据的参数，解释了这两种设置中的加速饱和。我们的全面的理论分析，强凸，凸和非凸设置，统一和推广以前的工作方向，往往只集中在这两个方面之一。特别是，我们的方法使我们能够在经常考虑的稀疏性假设下得到改进的加速结果。我们的见解产生了理论上的指导方针，如何学习率可以在实践中进行调整。我们表明，我们的结果是紧密的，并说明在数值实验中的关键发现。
2021-03-03 cs.DC cs.LG stat.ML
Convergence and Margin of Adversarial Training on Separable Data
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对抗训练是一种用于训练鲁棒机器学习模型的技术。为了增强鲁棒性，它迭代地计算模型的对抗性示例，然后通过一些更新规则重新训练这些示例。这项工作分析了线性可分数据上对抗训练的性能，并提供了大幅度所需迭代次数的界限。我们表明，当更新规则由任意经验风险最小化器给出时，对抗训练可能需要指数级多次迭代才能获得较大的保证金。然而，如果使用梯度或随机梯度更新规则，则仅需要多项式多次迭代来找到大余量分离器。相比之下，在不使用对抗性示例的情况下，梯度方法可能需要指数级多次迭代才能实现大的裕度。我们的结果是通过显示具有梯度更新的对抗训练以$\mathcal{O}(\ln(t)^2/t)$速率最小化经验风险的鲁棒版本而得出的，尽管不平滑。我们从经验上证实了我们的理论。
2019-05-22 cs.LG math.OC stat.ML
Sharpness-Aware Minimization with Dynamic Reweighting
University of Southern California（南加州大学）；University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）
深度神经网络通常是过度参数化的，可能不容易实现模型泛化。对抗性训练通过在对抗性选择的扰动之上正则化损失的变化来提高泛化能力。最近提出的锐度感知最小化（SAM）算法进行对抗性权重扰动，鼓励模型收敛到平坦的最小值。SAM发现每个批次的共同对抗性权重扰动。虽然每实例对抗性权重扰动是更强的对手，并且可能导致更好的泛化性能，但它们的计算成本非常高，因此不可能在SAM中有效地使用每实例扰动。在本文中，我们解决了这个效率瓶颈，并提出了清晰度感知最小化与动态重新加权（delta-SAM）。我们的理论分析表明，有可能使用重新加权的每批次权重扰动来接近更强的每实例对抗性权重扰动。delta-SAM根据理论上有原则的加权因子动态地对每个批内的扰动进行重新加权，作为对每个实例扰动的良好近似。在各种自然语言理解任务上的实验证明了delta-SAM的有效性。
2022-12-06 cs.CL cs.LG
Batch size-invariance for policy optimization
OpenAI
我们说一个算法是批量不变的，如果批量大小的变化可以在很大程度上通过其他超参数的变化来补偿。众所周知，随机梯度下降通过学习率在小批量时具有此属性。然而，一些策略优化算法（如PPO）不具有此属性，因为它们如何控制策略更新的大小。在这项工作中，我们将展示如何使这些算法批量大小不变。我们的关键见解是将邻近策略（用于控制策略更新）与行为策略（用于策略外纠正）解耦。我们的实验有助于解释为什么这些算法工作，并展示了它们如何更有效地利用陈旧数据。
2022-09-24 cs.LG stat.ML
Optimal Robust Learning of Discrete Distributions from Batches
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
包括自然语言处理、传感器网络、协同过滤和联邦学习在内的许多应用都需要从批量收集的数据中估计离散分布，其中一些数据可能是不可信的、错误的、有缺陷的甚至是敌对的。此设置的先前估计值在指数时间内运行，并且对于某些制度，需要次优的批次数量。我们提供了第一个多项式时间估计，这是最佳的批次数量，基本上达到了最佳的估计精度。
2020-02-24 cs.LG stat.ML
Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches
Amirkabir University of Technology（阿米拉比尔理工大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
人们进行了许多尝试来改进自适应滤波器，这些自适应滤波器也可以用于改进反向传播（BP）。归一化最小均方（NLMS）算法是最小均方（LMS）算法中最成功的算法之一。然而，它的扩展到多层神经网络还没有发生过。在这里，我们首先表明，它是可以考虑的多层神经网络作为一个堆栈的自适应滤波器。此外，我们引入了比仿射投影算法（APA）中复杂的几何解释更易于理解的NLMS解释，用于单个全连接（FC）层，可以很容易地推广到例如卷积神经网络，并且在小批量训练中也能更好地工作。有了这个新的观点，我们引入了一个更好的算法，通过预测，然后校正的不良后果，发生在BP的行动，甚至在他们发生之前。最后，所提出的方法是兼容的随机梯度下降（SGD）和适用于基于动量的衍生工具，如RMSProp，亚当，NAG。我们的实验表明，我们的算法在训练深度神经网络的有用性。
2021-01-02 cs.LG stat.ML
Using a one dimensional parabolic model of the full-batch loss to estimate learning rates during training
University of Tübingen（图宾根大学）
深度学习的一个基本挑战是自动为随机梯度下降找到最佳步长。在传统优化中，线搜索是确定步长的常用方法。深度学习的一个问题是，在整批损失上找到合适的步长是不可行的昂贵。因此，经典的线搜索方法，设计的损失没有固有的噪声，通常是不适用的。最近的实证研究结果表明，除其他外，整批损失的行为局部抛物线的方向上的嘈杂的更新步骤的方向。此外，最佳更新步长的趋势变化缓慢。通过利用这些和更多的发现，这项工作介绍了一种线搜索方法，近似的全批次损失与抛物线估计超过几个小批量。学习率在训练期间从这样的抛物线导出。在进行的实验中，我们的方法与SGD相当，其中Momentum使用分段恒定学习率调度进行调整，并且在验证和测试准确性方面通常优于其他用于深度学习的线搜索方法。此外，我们的方法是深度学习的第一线搜索方法，该方法在多个推理中采样更大的批量大小，以便在低批量场景中仍然工作。
2022-02-21 cs.LG
Adversarial training with informed data selection
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
随着可用数据量的增加和计算能力的进步，深度神经网络（DNN）已成功用于解决包括医疗保健、气候和金融在内的各个领域的挑战性任务。然而，最先进的DNN容易受到原始图像的准不可察觉的扰动版本的影响-对抗性示例。网络输入的这些扰动可能会在错误决策可能直接影响人类生活的关键领域导致灾难性的影响。对抗性训练是保护网络免受这些恶意攻击的最有效的解决方案。然而，对抗性训练的网络通常具有较低的精确度和较高的计算复杂性。本文提出了一种数据选择（DS）策略应用于小批量训练。基于交叉熵损失，选择批次中最相关的样本来更新反向传播中的模型参数。仿真结果表明，该算法在鲁棒性和标准精度方面取得了较好的折衷，同时降低了反向传播通道的计算复杂性。
2023-01-07 cs.LG
Train longer, generalize better: closing the generalization gap in large batch training of neural networks
Technion - Israel Institute of Technology（以色列理工学院）
背景：深度学习模型通常使用随机梯度下降或其变体之一进行训练。这些方法使用它们的梯度来更新权重，这些梯度是从一小部分训练数据中估计的。已经观察到，当使用大批量时，泛化性能会持续下降-称为“泛化间隙”现象。查明这一差距的根源并缩小这一差距仍然是一个悬而未决的问题。贡献：我们研究了最初的高学习率训练阶段。我们发现，从它的初始化的权重距离的增长与权重更新的数量呈几何关系。因此，我们提出了一个“随机游动在随机景观”的统计模型，这是已知的表现出类似的“超慢”扩散行为。根据这一假设，我们进行了实验，以经验表明，“泛化差距”源于相对较少的更新数量，而不是批量大小，并且可以通过调整所使用的训练机制来完全消除。我们进一步研究了不同的技术，训练模型在大批量政权，并提出了一种新的算法命名为“鬼批归一化”，使显着减少泛化差距，而不增加更新的数量。为了验证我们的发现，我们在MNIST、CIFAR-10、CIFAR-100和ImageNet上进行了几个额外的实验。最后，我们重新评估了关于深度模型训练的常见实践和信念，并建议它们可能不是实现良好泛化的最佳选择。
2018-01-01 cs.LG stat.ML
Length-Aware Adversarial Training for Variable-Length Trajectories: Digital Twins for Mall Shopper Paths
Yale University（耶鲁大学）
本文提出了一种长度意识采样方法，用于改善可变长度轨迹生成模型中分布匹配的稳定性，通过减少批次内长度异质性，提升了轨迹模拟和反事实分析的性能。
2026-01-04 cs.AI cs.LG
Achieving Stable Training of Reinforcement Learning Agents in Bimodal Environments through Batch Learning
Arca Blanca Ltd.（阿尔卡布兰卡有限公司）；Artefact Research Centre（阿特法克特研究中心）
本文针对双峰随机环境下的强化学习挑战，提出一种基于批量更新的表格Q学习方法，并在定价模拟中验证其比传统方法更有效且更具鲁棒性。
2023-07-03 cs.AI cs.LG
Batched Nonparametric Contextual Bandits
Committee on Computational and Applied Mathematics, University of Chicago（计算与应用数学委员会，芝加哥大学）；Department of Statistics, University of Chicago（统计学系，芝加哥大学）
该研究针对批量约束下的非参数上下文老虎机问题，建立极小极大遗憾下界，提出动态划分协变量空间的批量学习算法，证明近乎恒定次数的策略更新可达到完全在线设定下的最优遗憾。
2025-10-03 cs.LG math.ST stat.ML
Dynamic Batch Norm Statistics Update for Natural Robustness
University of California（加利福尼亚大学）；Bosch（博世）
本文提出利用傅里叶域检测损坏类型并结合BN统计量动态更新的统一框架，无需重新训练即可提升现成模型在CIFAR10-C和ImageNet-C上的鲁棒准确率约8%和4%，并能进一步增强AugMix等先进鲁棒模型。
2023-10-31 cs.CV cs.LG
Leveraging Temporal Graph Networks Using Module Decoupling
Technion – Israel Institute of Technology（以色列理工学院）
本文提出模块解耦策略构建轻量化解耦时序图网络 LDTGN，在保持批处理高吞吐的同时支持频繁更新，并在 USLegis、UNTrade 等动态图基准上以超过 20% 的性能提升达到领先水平。
2024-06-06 cs.LG
Easy Batch Normalization
ITMO University（ITMO大学）；Artificial Intelligence Research Institute（人工智能研究所）；Tubingen Universitat（图宾根大学）
结果表明，对抗性示例可以提高对象识别。但他们的反面是什么，简单的例子？简单的示例是机器学习模型以高置信度正确分类的样本。在我们的论文中，我们正在探索在神经网络的训练过程中使用简单示例的潜在好处。我们建议使用一个辅助的批量归一化简单的例子，标准和强大的精度提高。
2022-07-18 cs.CV cs.LG
Advancing Adversarial Robustness Through Adversarial Logit Update
University of Alberta（阿尔伯塔大学）；Northwestern Polytechnical University（西北工业大学）
提出对抗性Logit更新（ALU）原则，利用净化前后logit差异提升模型对抗鲁棒性，无需额外训练数据，在多个数据集上优于现有方法。
2023-08-29 cs.CR cs.LG
Robustness-Congruent Adversarial Training for Secure Machine Learning Model Updates
Department of Electrical and Electronic Engineering, University of Cagliari, Italy（电子工程系，卡利亚里大学）；Department of Informatics, Bioengineering, Robotics and Systems Engineering, University of Genova, Italy（信息工程、生物工程、机器人与系统工程系，热那亚大学）
本文研究模型更新引发的对抗鲁棒性退化问题，提出鲁棒性一致性对抗训练方法，通过约束模型在已鲁棒样本上保持性能，有效缓解负翻转现象，提升了模型更新的安全性。
2025-05-29 cs.CR cs.LG
Update Rules for Parameter Estimation in Bayesian Networks
Stanford University（斯坦福大学）；AT&T Labs（AT&T实验室）
本文从在线学习的角度重新研究了具有缺失值和隐变量的贝叶斯网络中的参数估计问题。我们提供了一个统一的参数估计框架，包括在线学习，其中模型不断适应新的数据情况，因为他们到达，和更传统的批量学习，其中一个预先积累的样本集用于一次性模型选择过程。在批处理的情况下，我们的框架包括贝叶斯网络的梯度投影算法和EM算法。该框架还导致新的在线和批量参数更新计划，包括EM的参数化版本。我们提供的经验和理论结果表明，参数化EM允许更快的收敛到最大似然参数比标准EM。
2013-02-06 cs.LG stat.ML
Fast Variance Reduction Method with Stochastic Batch Size
University of California, Davis（加州大学戴维斯分校）
本文研究了一类具有随机批量的方差缩减方法--在每一步中，算法首先随机选择批量，然后选择一批样本进行方差缩减的随机更新。我们给出了这个框架的复合函数的线性收敛速度，并表明，每次数据访问达到最佳收敛速度的最佳策略是始终选择批量大小为1，这是等价于SAGA算法。然而，由于计算机体系结构中缓存/磁盘IO效应的存在，数据访问次数无法反映运行时间，因为1）随机内存访问比顺序存取慢得多，2）当数据太大而无法放入内存时，磁盘查找需要更长的时间。考虑到这些因素后，选择批量大小的$1$不再是最优的，所以我们提出了一个新的算法称为SAGA++，并展示了如何计算理论上的最优平均批量大小。我们的算法优于SAGA和其他现有的批量和随机求解器在真实数据集上。此外，我们还进行了一个精确的分析，比较不同的更新规则的方差减少方法，表明SAGA++收敛速度比SVRG在理论上。
2018-08-07 cs.LG stat.ML
COMMET: orders-of-magnitude speed-up in finite element method via batch-vectorized neural constitutive updates
Department of BioMechanical Engineering, Faculty of Mechanical Engineering, Delft University of Technology（生物机械工程系，机械工程学院，代尔夫特理工大学）；Department of Material Science Engineering, Faculty of Mechanical Engineering, Delft University of Technology（材料科学工程系，机械工程学院，代尔夫特理工大学）
COMMET通过批量向量化的神经本构更新显著提升有限元模拟效率，实现十倍速提升。
2026-01-20 cs.CE cs.LG
Stagewise Enlargement of Batch Size for SGD-based Learning
Nanjing University（南京大学）
已有研究表明，批量大小会严重影响基于随机梯度下降（SGD）的学习性能，包括训练速度和泛化能力。较大的批处理大小通常会导致较少的参数更新。在分布式训练中，较大的批量大小也会导致通信频率降低。但是，较大的批处理大小更容易产生泛化间隙。因此，如何为SGD设置适当的批量大小最近引起了人们的广泛关注。虽然已经提出了一些批量设置的方法，但是批量问题仍然没有得到很好的解决。在本文中，我们首先提供的理论表明，一个适当的批量大小与初始化和最佳的模型参数之间的差距。在此基础上，我们提出了一种新的方法，称为\underline{b} atch \underline{s} ize~（\mbox{SEBS}）的\underline{s}逐段\underline{e} numbering，来为SGD设置合适的批量大小。更具体地说，\mbox{SEBS}采用多级方案，并按阶段几何地扩大批量大小。从理论上证明了\mbox{SEBS}与传统的逐步降低学习速率的SGD相比，在不增加泛化误差的情况下，可以减少参数更新的次数. SEBS适用于\mbox{SGD}、动量\mbox{SGD}和AdaGrad。实际数据的实证结果成功地验证了\mbox{SEBS}的理论。此外，实证结果还表明，SEBS可以优于其他基线。
2020-02-27 cs.LG stat.ML
Uncovering Adversarial Risks of Test-Time Adaptation
Princeton University（普林斯顿大学）；Penn State University（宾夕法尼亚州立大学）
最近，测试时自适应（TTA）已被提出作为解决分布偏移的一个有前途的解决方案。它允许基础模型通过利用来自一批（未标记的）测试数据的信息来适应推理期间不可预见的分布。然而，我们发现了TTA的一个新的安全漏洞，基于对良性样本的预测可能会受到同一批次中恶意样本的影响。为了利用这个漏洞，我们提出了分布式入侵攻击（DIA），它将一小部分恶意数据注入到测试批次中。DIA导致使用TTA的模型错误地分类良性和未受干扰的测试数据，为对手提供了一种全新的能力，这在规范的机器学习管道中是不可行的。通过全面的评估，我们证明了我们的攻击在六个TTA方法的多个基准的高效率。在响应中，我们研究了两个对策，鲁棒性现有的不安全的TTA实现，遵循“安全设计”的原则。总之，我们希望我们的研究结果可以让社区意识到在部署TTA时的实用性-安全性权衡，并为开发强大的TTA方法提供有价值的见解。
2023-02-04 cs.CR cs.LG
Revisiting Small Batch Training for Deep Neural Networks
Graphcore Research（Graphcore研究公司）
现代深度神经网络训练通常基于小批量随机梯度优化。虽然使用大的小批量增加了可用的计算并行性，但小批量训练已被证明可以提供改进的泛化性能，并允许显著更小的内存占用，这也可以用于提高机器吞吐量。在本文中，我们回顾了常见的假设学习率缩放和训练时间，作为一个实验的基础上比较不同的小批量的测试性能。我们采用对应于每个梯度计算的恒定平均权值更新的学习率（即，每单位计算成本），并指出这导致权重更新的方差随小批量大小$m$线性增加。收集的CIFAR-10、CIFAR-100和ImageNet数据集的实验结果表明，增加小批量会逐渐减少学习率的范围，从而提供稳定的收敛和可接受的测试性能。另一方面，较小的小批量提供了更先进的梯度计算，从而产生更稳定和可靠的训练。$m = 2$和$m = 32$之间的小批量始终获得最佳性能，这与最近提倡使用数千个小批量的工作形成对比。
2018-04-20 cs.CV cs.LG stat.ML
Adversarial Batch Inverse Reinforcement Learning: Learn to Reward from Imperfect Demonstration for Interactive Recommendation
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Information Science and Technology University（北京信息科技大学）；City University of Hong Kong（香港城市大学）
本文提出一种对抗性批量逆强化学习范式，通过折扣平稳分布校正、贝尔曼变换和KL正则化统一优化奖励与策略，在真实数据集上同时提升了推荐的有效性和效率。
2023-10-30 cs.IR cs.LG
Dynamic Batch Adaptation
"Alexandru Ioan Cuza" University（亚历山德鲁·伊万·库扎大学）
当前的深度学习自适应优化器方法通过改变每个参数使用的有效学习率来调整参数更新的步长。基于已知的批量大小和更新步长上的学习率之间的反比关系，我们引入了一种新的训练过程，该过程动态地决定当前更新步长的维度和组成。我们的程序，动态批量自适应（DBA）分析每个样本的梯度，并选择最能改善某些指标的子集，例如网络每层的梯度方差。我们目前的结果显示DBA显着提高了模型收敛的速度。此外，我们发现，DBA在数据稀缺的条件下使用时，除了收敛速度，它还显着提高了模型的泛化能力，管理训练一个网络与一个单一的完全连接的隐藏层使用只有1%的MNIST数据集，达到97.79%的测试准确度。在更极端的情况下，它可以达到97.44%的测试准确率，每个类只使用10个样本。与标准优化器随机梯度下降（SGD）和Adam相比，这些结果分别表示相对出错率降低了81.78%和88.07%。
2022-08-01 cs.AI cs.CV cs.LG
Study on the Large Batch Size Training of Neural Networks Based on the Second Order Gradient
Institute of Microelectronics of the Chinese Academy of Sciences（中国科学院微电子研究所）
深度神经网络（DNN）中的大批量训练具有众所周知的“泛化间隙”，该间隙显著地导致泛化性能下降。然而，目前还不清楚不同的批量大小如何影响NN的结构。在这里，我们将理论与实验相结合，探索基本结构特性的演变，包括梯度，参数更新步长，和损失更新步长的神经网络在不同的批量大小。我们提供了新的指导，以提高泛化，这是进一步验证了两个设计的方法，涉及丢弃小损失样本和调度批量大小。提出了一种基于曲率的学习率（CBLR）算法，以更好地拟合神经网络各层的曲率变化（影响大批量训练的敏感因素）。作为CBLR的一种近似，中值曲率LR算法（MLR）被发现获得与分层自适应速率缩放（LARS）算法相当的性能。我们的理论结果和算法提供了基于几何的解释现有的研究。此外，我们证明了层明智的LR算法，例如LARS，可以被视为CBLR的特殊情况。最后，我们推导出大批量训练的理论几何图像，并表明所有网络参数都倾向于集中在其相关的最小值。
2020-12-16 cs.AI cs.LG
Improving the Transferability of Adversarial Examples via Direction Tuning
Qingdao University（青岛大学）
本文提出方向调优攻击，通过在大步长下减小更新偏差并在小步长下缓解更新振荡，同时结合网络剪枝平滑决策边界，显著提升了对抗样本在多个模型上的可迁移性。
2023-08-11 cs.CV cs.LG
