On Fragile Features and Batch Normalization in Adversarial Training
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
现代深度学习架构利用批量归一化（BN）来稳定训练并提高准确性。已经表明，单独的BN层是令人惊讶的表现力。然而，在对抗性示例的鲁棒性方面，BN被认为会增加脆弱性。也就是说，BN有助于学习脆弱的特征。尽管如此，BN仍然用于对抗训练，这是学习鲁棒特征的事实标准。为了阐明BN在对抗训练中的作用，我们研究了BN的表达能力在多大程度上可以用于增强脆弱特征，而不是随机特征。在CIFAR10上，我们发现仅对BN层进行对抗性微调可以产生非平凡的对抗性鲁棒性。相反，从头开始只对抗训练BN层，无法传达有意义的对抗鲁棒性。我们的研究结果表明，脆弱特征可以用于学习具有中等对抗鲁棒性的模型，而随机特征则不能
2022-04-26 cs.CR cs.CV cs.LG
How do SGD hyperparameters in natural training affect adversarial robustness?
Chennai Mathematical Institute（金奈数学研究所）；Microsoft Research（微软研究院）
学习率、批量大小和动量是SGD算法中三个重要的超参数。从Jastrzebski等人arXiv：1711.04623的工作中已知，神经网络的大批量训练产生不能很好地推广的模型。Yao et al. arXiv：1802.08241观察到大批量训练产生的模型具有较差的对抗鲁棒性。在同一篇论文中，作者训练模型与不同的批量大小和计算的特征值的损失函数的海森。他们观察到，随着批量大小的增加，海森的主导特征值变得更大。他们还表明，对抗性训练和小批量训练都会导致Hessian的主特征值下降或降低其频谱。他们将对抗训练和二阶信息相结合，提出了一种新的大批量训练算法，并获得了具有良好泛化能力的鲁棒模型。在本文中，我们经验性地观察了SGD超参数对使用未扰动样本训练的网络的准确性和对抗鲁棒性的影响。Jastrzebski等人考虑了具有固定学习率与批量大小比率的训练模型。他们观察到，比率越高，概括性越好。我们观察到，如Jastrzebski等人所提出的，以恒定的学习率与批量大小之比训练的网络，产量模型，推广良好，也有几乎恒定的对抗鲁棒性，独立于批量大小。我们观察到，动量是更有效的不同的批量大小和固定的学习率比恒定的学习率批量大小的比例为基础的SGD训练。
2020-06-20 cs.CR cs.CV cs.LG
Length-Aware Adversarial Training for Variable-Length Trajectories: Digital Twins for Mall Shopper Paths
Yale University（耶鲁大学）
本文提出了一种长度意识采样方法，用于改善可变长度轨迹生成模型中分布匹配的稳定性，通过减少批次内长度异质性，提升了轨迹模拟和反事实分析的性能。
2026-01-04 cs.AI cs.LG
Adaptive Batch Normalization Networks for Adversarial Robustness
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出自适应批归一化网络（ABNN），利用预训练替代模型生成干净统计量，使目标模型在干净数据上训练并对齐，从而在不使用对抗训练的情况下，提升对数字和物理攻击的鲁棒性，同时提高干净数据性能并降低训练成本。
2024-05-27 cs.CV cs.LG
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
批量归一化（BN）由于改进了收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN提高了模型的准确性，同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说，准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提出了实证证据，支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变，我们提出了一个框架，用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解，例如DNN首先主要学习RF，然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Advancing diagnostic performance and clinical usability of neural networks via adversarial training and dual batch normalization
RWTH Aachen University（亚琛工业大学）；University Hospital Düsseldorf（杜塞尔多夫大学医院）；University Hospital Aachen（亚琛大学医院）；ARISTRA GmbH（ARISTRA有限公司）；The Institute for Experimental Molecular Imaging, RWTH Aachen University（亚琛工业大学实验分子影像研究所）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）；Comprehensive Diagnostic Center Aachen (CDCA), University Hospital RWTH Aachen（亚琛工业大学医院综合诊断中心）
揭示机器学习模型的决策过程对于在临床实践中实现诊断支持系统至关重要。在这里，我们证明了与标准模型相比，经过对抗训练的模型可以显着提高病理检测的可用性。我们让六位经验丰富的放射科医生在X射线、计算机断层扫描和磁共振成像扫描的数据集中对显着性图的可解释性进行评级。我们的对抗模型得到了显着的改进，可以通过应用双批量归一化来进一步改进。与之前对逆向训练模型的研究相反，我们发现，当使用足够大的数据集和双批范数训练时，这些模型的准确性与标准模型相同。为了确保可移植性，我们还在22，433个X射线的外部测试集上验证了我们的结果。这些发现阐明了在训练期间需要对抗性和真实图像的不同路径，以实现具有卓越临床可解释性的最新结果。
2020-11-25 cs.CV cs.LG eess.IV
Removing Batch Normalization Boosts Adversarial Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）
对抗性训练（AT）可以保护深度神经网络免受对抗攻击。限制其实际应用的一个挑战是清洁样品的性能下降。以前的工作中发现的一个主要瓶颈是广泛使用的批量归一化（BN），它很难对AT中干净和对抗训练样本的不同统计数据进行建模。虽然主要的方法是扩展BN来捕获这种混合分布，但我们建议通过移除AT中的所有BN层来完全消除这种瓶颈。我们的无归一化鲁棒训练（NoFrost）方法将无归一化网络的最新进展扩展到AT，因为它在处理混合分布挑战方面具有未开发的优势。我们表明，NoFrost实现了对抗性的鲁棒性，只有一个小的牺牲干净的样本的准确性。在使用ResNet50的ImageNet上，NoFrost实现了$74.06\%$干净的准确性，仅从标准训练中降低了$2.00\%$。相比之下，基于BN的AT获得了$59.28\%$干净的准确性，遭受了标准训练的显著$16.78\%$下降。此外，NoFrost算法实现了$23.56\%$对PGD攻击的对抗性鲁棒性，提高了$13.57\%$在基于BN的AT中的鲁棒性.我们从NoFrost中观察到更好的模型平滑度和更大的决策裕度，这使得模型对输入扰动不太敏感，因此更具鲁棒性。此外，当将更多的数据扩充到NoFrost中时，它实现了对多个分布偏移的全面鲁棒性。代码和预训练模型在https://github.com/amazon-research/normalizer-free…
2022-07-04 cs.CV cs.LG
Admissibility of Stein Shrinkage for Batch Normalization in the Presence of Adversarial Attacks
Department of Statistics University of Florida（统计学系 佛罗里达大学）；Department of Electrical and Computer Engineering University of Virginia（电气与计算机工程系 维吉尼亚大学）；Department of Comput. Info. Sci. & Eng. University of Florida（计算机信息科学与工程系 佛罗里达大学）
本文研究了在存在对抗攻击时，Stein收缩在批量归一化中的可接受性，并展示了其在图像分类和分割任务中的应用效果。
2026-02-03 cs.LG stat.ML
Carpe Diem, Seize the Samples Uncertain "At the Moment" for Adaptive Batch Selection
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Institute for Basic Science（基础科学研究院）
深度神经网络的准确性受到训练步骤中构建小批量的影响。在本文中，我们提出了一种新的自适应批量选择算法，称为近偏差，利用不确定的样本预测不一致，在最近的迭代。每个训练样本的历史标签预测用于评估其在滑动窗口内的预测不确定性。然后，下一个小批量的抽样概率被分配给每个训练样本的预测不确定性的比例。通过利用这种设计，Recency Bias不仅加快了训练步骤，而且还实现了更准确的网络。我们证明了近因偏差的优越性，通过广泛的评价两个独立的任务。结果表明，与现有的批量选择方法相比，在固定的挂钟训练时间内，近因偏差将测试误差降低了20.97%。同时，在达到相同测试误差的情况下，训练时间最多提高了59.32%
2020-12-23 cs.LG stat.ML
Sharpness-Aware Minimization with Dynamic Reweighting
University of Southern California（南加州大学）；University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）
深度神经网络通常是过度参数化的，可能不容易实现模型泛化。对抗性训练通过在对抗性选择的扰动之上正则化损失的变化来提高泛化能力。最近提出的锐度感知最小化（SAM）算法进行对抗性权重扰动，鼓励模型收敛到平坦的最小值。SAM发现每个批次的共同对抗性权重扰动。虽然每实例对抗性权重扰动是更强的对手，并且可能导致更好的泛化性能，但它们的计算成本非常高，因此不可能在SAM中有效地使用每实例扰动。在本文中，我们解决了这个效率瓶颈，并提出了清晰度感知最小化与动态重新加权（delta-SAM）。我们的理论分析表明，有可能使用重新加权的每批次权重扰动来接近更强的每实例对抗性权重扰动。delta-SAM根据理论上有原则的加权因子动态地对每个批内的扰动进行重新加权，作为对每个实例扰动的良好近似。在各种自然语言理解任务上的实验证明了delta-SAM的有效性。
2022-12-06 cs.CL cs.LG
Adversarial training with informed data selection
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
随着可用数据量的增加和计算能力的进步，深度神经网络（DNN）已成功用于解决包括医疗保健、气候和金融在内的各个领域的挑战性任务。然而，最先进的DNN容易受到原始图像的准不可察觉的扰动版本的影响-对抗性示例。网络输入的这些扰动可能会在错误决策可能直接影响人类生活的关键领域导致灾难性的影响。对抗性训练是保护网络免受这些恶意攻击的最有效的解决方案。然而，对抗性训练的网络通常具有较低的精确度和较高的计算复杂性。本文提出了一种数据选择（DS）策略应用于小批量训练。基于交叉熵损失，选择批次中最相关的样本来更新反向传播中的模型参数。仿真结果表明，该算法在鲁棒性和标准精度方面取得了较好的折衷，同时降低了反向传播通道的计算复杂性。
2023-01-07 cs.LG
AutoAdversary: A Pixel Pruning Method for Sparse Adversarial Attack
Nanjing University（南京大学）
深度神经网络（DNN）已被证明容易受到对抗性示例的影响。对抗性示例的一个特殊分支，即稀疏对抗性示例，可以通过仅扰动几个像素来欺骗目标DNN。然而，现有的稀疏对抗攻击多采用探试法选择待扰动像素，将像素选择和对抗攻击视为两个独立的步骤。从神经网络剪枝的角度出发，提出了一种新的端到端稀疏对抗攻击方法AutoAdwords，该方法将像素选择融入到对抗攻击中，自动寻找最重要的像素。具体来说，我们的方法利用可训练的神经网络来生成用于像素选择的二进制掩码。在联合优化对抗性扰动和神经网络之后，仅扰动掩模中与值1相对应的像素。实验表明，我们提出的方法优于几个国家的最先进的方法。此外，由于AutoAdWorth不需要启发式像素选择过程，因此当图像大小增加时，它不会像其他方法那样过度减慢。
2022-03-18 cs.AI cs.CV cs.LG
Scaling Adversarial Training via Data Selection
Northeastern University（东北大学）
本文提出选择性对抗训练方法，通过数据选择减少计算成本，提升对抗鲁棒性。
2025-12-26 cs.LG
SSAS: Cross-subject EEG-based Emotion Recognition through Source Selection with Adversarial Strategy
Southeast University（东南大学）；Universiti Malaysia Perlis（马来西亚玻璃市大学）
本文提出一种通过源选择与对抗策略进行的跨主体基于EEG的情感识别方法，旨在解决个体间变异性及负迁移问题，提升分类性能。
2025-12-21 cs.AI cs.LG eess.SP
Adaptive Sample Selection for Robust Learning under Label Noise
Indian Institute of Science（印度科学学院）
深度神经网络（DNN）已被证明在存在噪声标记数据的情况下容易记忆或过拟合。对于这种噪声数据下的鲁棒学习问题，已经提出了几种算法。一类重要的算法依赖于样本选择策略，其中，基本上，选择损失值低于某个阈值的一部分样本进行训练。这些算法对这样的阈值敏感，并且难以固定或学习这些阈值。通常，这些算法还需要诸如标签噪声率之类的信息，这些信息在实践中通常是不可用的。在本文中，我们提出了一个自适应的样本选择策略，只依赖于一个给定的小批量的批量统计，以提供对标签噪声的鲁棒性。该算法没有任何额外的超参数用于样本选择，不需要任何关于噪声率的信息，也不需要访问具有干净标签的单独数据。我们经验证明了我们的算法在基准数据集上的有效性。
2022-12-05 cs.AI cs.CV cs.LG
Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?
University of Maryland（马里兰大学）
对抗性训练是对抗对抗攻击的最强防御之一，但它需要在优化过程中为每个小批生成对抗性示例。在训练过程中生成这些示例的费用通常会使对抗训练无法用于复杂的图像数据集。在这项研究中，我们探索了对抗性训练提高分类器鲁棒性的机制，并表明这些机制可以使用简单的正则化方法有效地模仿，包括标签平滑和logit挤压。值得注意的是，使用这些简单的正则化方法与高斯噪声注入相结合，我们能够实现强大的对抗鲁棒性-通常超过对抗训练-不使用对抗示例。
2019-10-25 cs.LG stat.ML
Dynamic ensemble selection based on Deep Neural Network Uncertainty Estimation for Adversarial Robustness
PLA Strategy Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）
针对深度神经网络在对抗攻击下的鲁棒性不足，提出基于不确定性估计的动态集成选择方法，利用Dirichlet分布和参数空间多样性约束构建轻量级子模型，在测试阶段动态选择低不确定性子模型进行预测，在不损害准确性的前提下显著提升了对抗白盒攻击的防御能力。
2023-08-01 cs.AI cs.CR cs.LG
Parameter Re-Initialization through Cyclical Batch Size Schedules
最优参数初始化一直是神经网络训练的关键问题。较差的权重初始化可能花费更长的时间来训练和/或收敛到次优解。在这里，我们提出了一种方法的权重重新初始化的反复退火和注入噪声的训练过程中。我们实现这一点，通过一个周期性的批量大小的时间表的贝叶斯观点的神经网络训练的动机。我们评估我们的方法，通过广泛的实验，在语言建模，自然语言推理和图像分类的任务。我们证明了我们的方法能够将语言建模性能提高高达7.91的困惑度，并将训练迭代次数减少高达$61\%$，此外还可以灵活地启用快照集成和使用对抗训练。
2018-12-04 cs.LG
Adversarial Coreset Selection for Efficient Robust Training
The University of Melbourne（墨尔本大学）
本文提出对抗性核心集选择方法，以梯度近似误差为准则从训练数据中选取小规模子集，在保持轻微精度损失的同时将对抗训练速度提升2-3倍，并可适配TRADES、ℓp-PGD等多种训练目标。
2023-08-08 cs.CV cs.LG
Concurrent Adversarial Learning for Large-Batch Training
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Hong Kong University of Science and Technology（香港科技大学）
在使用大量GPU/TPU处理器训练神经网络时，大批量训练已成为一种常用技术。随着批量大小的增加，随机优化器往往收敛到尖锐的局部极小值，导致测试性能下降。目前的方法通常使用广泛的数据增强来增加批量大小，但我们发现数据增强的性能增益随着批量大小的增加而降低，并且数据增强在某个点之后变得不足。在本文中，我们建议使用对抗学习来增加大批量训练中的批量大小。尽管对抗学习是平滑决策表面和偏向平坦区域的自然选择，但它尚未成功应用于大批量训练，因为它需要在每一步至少进行两次连续的梯度计算，即使使用大量处理器，与普通训练相比，这至少会使运行时间增加一倍。为了克服这个问题，我们提出了一种新的并发对抗学习（ConAdv）方法，该方法通过利用静态参数来解耦对抗学习中的顺序梯度计算。实验结果表明，ConAdv可以成功地增加ImageNet上ResNet-50训练的批量大小，同时保持高精度。特别是，我们表明ConAdv在ImageNet ResNet-50训练中可以达到75.3\%的top-1准确率，批量大小为96 K，当将ConAdv与数据增强相结合时，准确率可以进一步提高到76.2\%。这是第一个成功将ResNet-50训练批量规模扩展到96 K的工作。
2022-01-23 cs.AI cs.LG
Clustering Effect of (Linearized) Adversarial Robust Models
Tsinghua University（清华大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
随着对抗性实例的研究，对抗性鲁棒性受到越来越多的关注。到目前为止，已有的工作表明，鲁棒模型不仅获得了对各种对抗攻击的鲁棒性，而且还提高了一些下游任务的性能。然而，对抗鲁棒性的潜在机制仍然不清楚。本文从线性分量的角度对对抗鲁棒性进行了解释，发现综合鲁棒模型存在一些统计性质。具体地说，鲁棒模型在其线性化的子网络上显示出明显的层次聚类效应，当去除或替换所有非线性分量（例如，批量归一化、最大池化或激活层）。基于这些观察，我们提出了一种对对抗鲁棒性的新理解，并将其应用于更多的任务，包括域自适应和鲁棒性增强。实验结果证明了该聚类策略的合理性和优越性。
2021-11-25 cs.LG
ReLATE: Resilient Learner Selection for Multivariate Time-Series Classification Against Adversarial Attacks
San Diego State University（圣地亚哥州立大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
ReLATE 框架通过数据集相似性选择最优鲁棒模型，在对抗攻击下平均降低 81.2% 计算开销，性能保持在 Oracle 的 4.2% 以内。
2025-03-10 cs.CR cs.LG
PIAT: Physics Informed Adversarial Training for Solving Partial Differential Equations
Sharif University of Technology（谢里夫理工大学）
本文提出了一种求解非线性微分方程的神经网络的物理信息对抗训练方法。众所周知，神经网络的标准训练会导致非光滑函数。对抗性训练（AT）是一种针对对抗攻击的既定防御机制，它也有助于使解决方案顺利进行。AT包括用扰动来增强训练小批量，使得网络输出与期望输出相反地不匹配。与仅依赖于训练数据的正式AT不同，在这里，我们在对抗网络架构中使用自动微分以非线性微分方程的形式对支配物理定律进行编码。我们比较PIAT与PINN，以表明我们的方法在解决高达10个维度的NDE的有效性。此外，我们提出了权重衰减和高斯平滑来证明PIAT的优势。代码存储库可在https://github.com/rohban-lab/PIAT上获得。
2022-07-14 cs.LG
Moshi Moshi? A Model Selection Hijacking Adversarial Attack
University of Padua（帕多瓦大学）
本文提出首个针对模型选择的对抗攻击 MOSHI，通过基于变分自编码器的框架操纵选择数据，在视觉与语音任务上造成显著性能、延迟和能耗损害。
2025-02-20 cs.CR cs.LG
The Easy Path to Robustness: Coreset Selection using Sample Hardness
针对现有核心集选择算法无法保持对抗鲁棒性的问题，提出基于平均输入梯度范数量化样本难度的EasyCore算法，仅保留低难度样本训练，显著提升了标准与对抗训练下的对抗准确率。
2025-10-13 cs.CV cs.LG
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization
City University of Hong Kong（香港城市大学）；Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
近年来，预训练模型及其下游训练在深度学习研究和应用中的重要性日益增加。与此同时，对抗性示例的防御主要在简单分类任务的随机初始化训练的背景下进行了研究。为了更好地利用预训练模型在对抗性鲁棒性方面的潜力，本文重点关注对抗性预训练模型在各种分类任务中的微调。现有研究表明，由于鲁棒预训练模型已经学习了鲁棒特征提取器，因此关键问题是如何在学习下游任务时保持预训练模型的鲁棒性。我们研究了基于模型和基于数据的方法，发现这两种常见的方法不能同时达到提高泛化能力和对抗鲁棒性的目的。因此，我们提出了一种新的基于神经网络的方法，Two-WIng NormliSation（TIOR）微调框架，其由两个神经网络组成，其中一个神经网络将预训练数据的总体均值和方差保持在批量归一化层中。除了鲁棒的信息传递之外，由于标准批量归一化层中的权重范数与其梯度范数之间的关系被打破，TSTK在不损害训练稳定性的情况下提高了有效学习率，从而更快地逃离次优初始化并减轻鲁棒过拟合。最后，TALTH被证明是有效的广泛的图像分类数据集的泛化和鲁棒性。我们的代码可在https://github.com/ziquanliu/CVPR2023-TWINS上获得。
2023-03-20 cs.CV cs.LG
Universal Adversarial Training with Class-Wise Perturbations
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
尽管卷积神经网络（CNN）在广泛的应用中取得了压倒性的成功，但人们普遍认为它容易受到对抗性样本的影响。这种有趣的现象导致了对抗攻击和防御技术之间的竞争。到目前为止，对抗性训练是防御对抗攻击最广泛使用的方法。它还被扩展到防御普遍对抗性扰动（UAP）。SOTA通用对抗训练（UAT）方法为小批量中的所有训练样本优化了单个扰动。在这项工作中，我们发现，一个UAP不攻击所有类平等。受此观察的启发，我们将其确定为具有不平衡鲁棒性的模型的来源。为此，我们建议在对抗训练期间利用类明智的UAP来改进SOTA UAT。在多个基准数据集上，我们的类UAT在干净的准确性和对抗通用攻击的对抗性鲁棒性方面都具有优异的性能。
2021-04-07 cs.CV cs.LG
Optimizing Data Curation through Spectral Analysis and Joint Batch Selection (SALN)
Ferdowsi University of Mashhad（马什哈德费尔多西大学）
本文提出SALN方法，通过基于频谱分析的启发式策略在联合选择的批次内优先选择信息量最大的数据点，显著提升了深度神经网络的训练效率与准确率，相比标准训练时间减少最高达8倍且准确率提升最高达5%。
2024-12-22 cs.AI cs.LG
Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization
Seoul National University（首尔大学）；Neural Processing Research Center（神经处理研究中心）；New York University（纽约大学）；Genentech（基因泰克公司）
针对昂贵多目标组合优化中批次采集得分优化难、现有贪心方法无法并行的问题，提出一种可并行训练的贪心策略式子集选择算法，在红色荧光蛋白设计任务中以更少查询达到基线性能。
2024-06-21 cs.AI cs.LG
Batch Normalization is a Cause of Adversarial Vulnerability
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Waterloo（滑铁卢大学）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University College London（伦敦大学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Google Brain（谷歌大脑）
批量归一化（batch normalization）通常用于稳定和加速深度神经网络中的训练。在许多情况下，它确实减少了实现低训练误差所需的参数更新次数。然而，它也降低了对小的对抗性输入扰动和噪声的鲁棒性，如我们在五个标准数据集上所示。此外，用权重衰减代替批量范数足以消除对抗脆弱性与输入维度之间的关系。我们的工作是一致的平均场分析，发现批量规范导致爆炸梯度。
2019-05-29 cs.LG stat.ML
Removal of Batch Effects using Generative Adversarial Networks
Indian Institute of Technology-Bombay（印度理工学院孟买分校）
许多生物数据分析过程，如细胞计数或下一代测序（NGS），产生大量的数据，需要批量处理以进行下游分析。由于可能在不同时间、由不同实验者或在其他不同条件下处理批次的差异，这些数据集容易出现技术差异。这增加了来自相同来源样品的批次的变化。这些变化被称为批处理效果。这些变异和生物学引起的自然变异可能会混淆，但这种情况可以通过仔细计划的方式进行实验来避免。批次效应可能会妨碍下游分析，也可能导致结果不确定。因此，必须纠正这些影响。这可以使用本文提出的基于新的生成对抗网络（GANs）的框架来解决，使用该框架优于其他现有方法的优点在于，这里不需要选择再生核并定义其参数。报告了该框架在质谱细胞术数据集上的结果。
2019-06-21 cs.LG stat.ML
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft（微软）
近年来，基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型，许多神经网络从业者试图增加批量大小，以便利用多个GPU来提高训练速度。然而，增加批量大小通常会使优化变得更加困难，导致收敛速度慢或泛化能力差，可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中，我们探讨了大批量优化的损失景观的陡峭程度，以适应预训练的基于transformer的语言模型特定于领域的任务，并发现它往往是高度复杂和不规则的，对下游任务的泛化提出了挑战。为了应对这一挑战，我们提出了ScaLA，一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同，我们采用了一种顺序博弈论方法，将轻量级对抗性噪声添加到大批量优化中，从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明，ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$，同时达到了与现有大批量优化方法相当的精度，有时甚至更高。最后，我们还解决了大批量优化与对抗噪声的理论方面，并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
Multi-Label Adaptive Batch Selection by Highlighting Hard and Imbalanced Samples
Key Laboratory of Data Engineering and Visual Computing, Chongqing University of Posts and Telecommunications（重庆邮电大学数据工程与视觉计算重点实验室）；School of Informatics, Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学信息学院）
本文提出一种针对多标签深度学习的自适应批次选择算法，通过优先选择与少数标签相关的难样本并考虑标签相关性，在十三个基准数据集上验证了其比随机选择收敛更快且性能更优。
2024-03-27 cs.LG
Submodular Batch Selection for Training Deep Neural Networks
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
基于小批量梯度下降的方法是当今用于训练神经网络架构的事实上的算法。本文提出了一种基于子模函数最大化的小批量选择策略。我们的新的子模块化配方捕捉每个样本的信息量和整个子集的多样性。我们设计了一个有效的，贪心算法，可以提供高质量的解决方案，这个NP难的组合优化问题。我们在标准数据集上进行的大量实验表明，使用所提出的批量选择策略训练的深度模型比随机梯度下降以及不同学习率、批量大小和距离度量的流行基线采样策略提供了更好的泛化能力。
2019-06-20 cs.LG stat.ML
Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule
Meiji University（明治大学）
本文研究常数学习率 TTUR 训练 GAN 时批量大小与训练步数的关系，证明存在使 SFO 复杂度最小的临界批量大小，并用 FID 实验验证理论估计。
2023-06-05 cs.LG math.OC
FairBatch: Batch Selection for Model Fairness
KAIST（韩国科学技术院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
训练一个公平的机器学习模型对于防止人口差异至关重要。用于提高模型公平性的现有技术需要在数据预处理或模型训练中进行广泛的改变，使得它们难以被潜在的已经复杂的机器学习系统采用。我们通过双层优化的镜头来解决这个问题。在保持标准训练算法作为内部优化器的同时，我们引入了外部优化器，以便为内部问题提供额外的功能：自适应地选择minibatch大小，以提高模型的公平性。我们的批量选择算法，我们称之为FairBatch，实现了这种优化，并支持突出的公平性措施：平等机会，均衡赔率和人口均等。FairBatch具有显著的实现优势-它不需要对数据预处理或模型训练进行任何修改。例如，PyTorch代码的单行更改用于替换模型训练的批量选择部分，足以使用FairBatch。我们在合成和基准真实数据上进行的实验表明，FairBatch可以提供这些功能，同时实现与现有技术相当（甚至更高）的性能。此外，FairBatch可以通过微调轻松提高任何预训练模型的公平性。它还与现有的用于不同目的的批量选择技术兼容，例如更快的收敛，从而优雅地实现多个目的。
2021-06-02 cs.AI cs.LG stat.ML
Advancing Deep Metric Learning Through Multiple Batch Norms And Multi-Targeted Adversarial Examples
NEC Corporation（日本电气股份有限公司）；University of Tsukuba（筑波大学）
深度度量学习（DML）是机器学习中的一个重要领域，具有广泛的实际应用，专注于学习视觉相似性。众所周知，诸如对抗性示例（AX）的输入遵循与干净数据不同的分布，导致来自DML系统的错误预测。本文提出了MDProp，一个框架，以同时提高干净的数据和输入以下多个分布的DML模型的性能。MDProp通过AX生成过程利用多分布数据，同时在DML模型的训练期间通过多个批量归一化层利用分离学习。MDProp是第一个生成特征空间多目标AX的工具，对训练模型的密集嵌入空间区域执行有针对性的正则化，从而提高嵌入空间密度，从而提高训练模型的泛化能力。从一个全面的实验分析，我们表明，MDProp的结果在高达2.95%的增加清洁数据Recall@1分数和高达2.12倍的增加对不同的输入分布的鲁棒性相比，传统的方法。
2022-12-06 cs.CV cs.LG
Feature Selection Using Batch-Wise Attenuation and Feature Mask Normalization
University of Stuttgart（斯图加特大学）；Advantest Europe GmbH（爱德万测试欧洲有限公司）
特征选择通常被用作机器学习中最重要的预处理技术之一，因为它有助于降低数据的维数并帮助研究人员和从业者理解数据。因此，通过利用特征选择，可以预期更好的性能和减少的计算消耗、存储器复杂度以及甚至数据量。尽管存在利用深度神经网络的能力来执行特征选择的方法，但其中许多方法通常受到敏感超参数的影响。提出了一种基于批量衰减和特征模板归一化的特征选择特征模板模块（FM-模块）。该方法几乎不需要超参数，可以作为一种嵌入式特征选择方法集成到普通神经网络中。在流行的图像、文本和语音数据集上的实验表明，我们的方法易于使用，与其他最先进的基于深度学习的特征选择方法相比，具有更优越的性能。
2021-04-23 cs.LG
Soft Strategy Selection for Batch-Mode Active Learning
New York University（纽约大学）
针对主动学习中预先选择单一采集策略的难题，提出FractAL方法，在单批次内通过影响函数归因和在线镜像下降实现多策略软选择，在7种设置上均匹配或优于基线，为高通量实验提供可靠策略选择。
2026-10-06 cs.AI cs.LG
Batch Tournament Selection for Genetic Programming
SkipTheDishes Restaurant Services Inc.（SkipTheDishes餐饮服务公司）；Kyushu University（九州大学）；Michigan State University（密歇根州立大学）
词典选择通过引入有序测试用例实现了很好的解质量。然而，词典选择的计算复杂性会阻碍其在许多应用中的使用。在本文中，我们介绍了批量锦标赛选择（BTS），混合的比赛和词典选择，这是大约一个数量级的速度比词典选择，同时实现有竞争力的解决方案的质量。在一些回归数据集上的测试表明，BTS在平均绝对误差方面与词典选择相比，速度提高了25倍。令人惊讶的是，BTS和词典选择在多样性和性能方面几乎没有差异。这揭示了批处理和有序测试用例是完全不同的机制，它们共享促进个体专业化的相同一般原则。这项工作介绍了一种有效的算法，揭示了lexicase成功背后的主要原则，可能为算法的出现开辟了一系列新的可能性。
2019-04-18 cs.LG cs.NE
D2ACE: Multi-Label Batch Selection Guided by Dual Dynamics and Adaptive Correlation Enhancement
Key Laboratory of DECV, Chongqing University of Posts and Telecommunications（重庆邮电大学信息与通信工程重点实验室）；School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院）；School of Informatics, Aristotle University of Thessaloniki（希腊塞萨洛尼基阿里斯托芬大学信息学院）
D2ACE通过双动态和自适应相关增强方法，提升多标签分类的训练效率和预测性能，通过动态标签权重和局部上下文相关增强，优化标签重要性与相关性建模。
2026-05-10 cs.LG
Online Batch Selection for Faster Training of Neural Networks
Univesity of Freiburg（弗莱堡大学）
深度神经网络通常使用随机非凸优化过程进行训练，该过程由在数据集的分数（批次）上估计的梯度信息驱动。虽然人们普遍认为批量大小是离线调优的一个重要参数，但对在线选择批量的好处仍然知之甚少。我们调查在线批量选择策略的两个国家的最先进的方法的随机梯度为基础的优化，AdaDelta和亚当。由于整个数据集要最小化的损失函数是各个数据点的损失函数的聚合，直观地说，应该更频繁地考虑（批量选择）具有最大损失的数据点。然而，这种直觉的局限性和随着时间的推移对选择压力的适当控制是一个悬而未决的问题。我们提出了一个简单的策略，所有的数据点排名w.r.t.它们的最新已知损失值和被选择的概率作为等级的函数呈指数衰减。我们在MNIST数据集上的实验结果表明，选择批次可以将AdaDelta和Adam的速度提高约5倍。
2016-04-25 cs.LG cs.NE math.OC
Model Selection in Batch Policy Optimization
Stanford University（斯坦福大学）；Google Research, Brain Team（谷歌研究院 Brain 团队）
我们研究了批量策略优化中的模型选择问题：给定一个固定的部分反馈数据集和$M$模型类，学习一个性能与来自最佳模型类的策略具有竞争力的策略。我们通过识别任何模型选择算法都应该最佳权衡以具有竞争力的三个错误来源，在具有线性模型类的上下文Bandit设置中将问题形式化：（1）近似误差，（2）统计复杂性和（3）覆盖范围。前两个来源在监督学习的模型选择中是常见的，其中最佳地权衡这些属性是很好的研究。相比之下，第三个源是批处理策略优化所特有的，并且是由于设置所固有的数据集偏移。我们首先表明，没有批处理策略优化算法可以实现同时解决所有三个保证，揭示了批处理策略优化的困难和监督学习的积极成果之间的鲜明对比。尽管这个负面的结果，我们表明，放宽任何一个三个错误源，使算法的设计实现近预言的不平等的其余两个。我们的结论与实验证明这些算法的有效性。
2021-12-23 cs.LG stat.ML
Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning
University of Science and Technology of China（中国科学技术大学）
提出UDS框架，利用logits矩阵核范数和轻量记忆缓冲实现高效在线批次选择，兼顾数据效用与多样性，无需外部资源，在多个基准上优于现有方法并降低训练时间。
2026-06-16 cs.AI cs.CL cs.LG
Batch Selection and Communication for Active Learning with Edge Labeling
Aalborg University（奥尔堡大学）；King’s College London（伦敦国王学院）
本文提出CC-BAKD协议，通过线性混合压缩与贝叶斯主动学习结合，优化边缘标注中的批量选择与通信，减少通信轮数并提升效率。
2024-05-22 cs.LG
Diversified Batch Selection for Training Acceleration
Cooperative Medianet Innovation Center（合作 medianet 创新中心）；Shanghai Jiao Tong University（上海交通大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；IHPC, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局信息通信研究所）；Shanghai AI Laboratory（上海人工智能实验室）；College of Computing and Data Science, NTU（南洋理工大学计算与数据科学学院）
本文提出无需参考模型的多样化批次选择方法DivBS，通过分组正交化代表性准则解决逐样本选择的冗余问题，在多种任务上实现了性能与训练加速的显著提升。
2024-06-07 cs.LG
Batch Selection for Parallelisation of Bayesian Quadrature
University of Oxford（牛津大学）
非负被积函数上的积分是机器学习中的一个核心问题（例如，用于模型平均、（超）参数边缘化和计算后验预测分布）。贝叶斯求积法是一种概率数值积分技术，与传统的马尔可夫链蒙特卡罗方法相比，其表现令人鼓舞。然而，与易于并行化的MCMC方法相比，贝叶斯求积方法到目前为止本质上是串行的，在算法的每个步骤中选择一个点进行采样。我们提供的方法来选择批次的点在每一步，根据最近提出的批量贝叶斯优化文献。这种并行化显著减少了计算时间，特别是当被积函数的采样成本很高时。
2018-12-04 cs.LG stat.CO stat.ML
Leveraging Importance Weights in Subset Selection
Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个子集选择算法，旨在与任意模型的家庭在一个实际的批量设置。在这样的设置中，算法可以一次对一个示例进行采样，但是为了限制开销成本，一旦选择了足够大的一批示例，算法就只能更新其状态（即，进一步的训练模型权重）。我们的算法IWeS通过重要性采样选择示例，其中分配给每个示例的采样概率基于在先前选择的批次上训练的模型的熵。IWeS承认显着的性能改进相比，其他子集选择算法的七个公开可用的数据集。此外，它在主动学习设置中具有竞争力，其中标签信息在选择时不可用。我们还提供了一个初步的理论分析，以支持我们的重要性加权方法，证明泛化和采样率的界限。
2023-01-28 cs.AI cs.LG stat.ML
Scalable Graph Attention-based Instance Selection via Mini-Batch Sampling and Hierarchical Hashing
College of Information Technology, United Arab Emirates University（阿联酋大学信息科技学院）；Department of Computer Science, KU Leuven（比利时库尔勒大学计算机科学系）；College of Science, United Arab Emirates University（阿联酋大学科学学院）
针对大规模实例选择难题，提出基于图注意力的GAIS方法，利用小批量采样与层次哈希构建可扩展图，在39个数据集上实现超96%缩减率并保持模型性能。
2025-08-31 cs.LG
Batch Selection for Multi-Label Classification Guided by Uncertainty and Dynamic Label Correlations
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
提出一种基于不确定性和动态标签相关性的多标签分类批选择算法，通过结合连续预测差异与当前输出置信度评估各标签不确定性，有效提升了模型性能并加速收敛。
2024-12-21 cs.LG stat.ML
Learning Faster without Deeper Networks: A*-Inspired Batch Selection for Efficient CNN Training
AI Laboratory, University Metropolitan Tirana（地拉那都市大学人工智能实验室）；Laboratory of Images Signals and Intelligent Systems, ESIEE Paris（巴黎高等电子与电工工程师学校图像信号与智能系统实验室）
研究针对CNN训练中小批量随机打乱导致的低效问题，提出受A*启发的批量选择方法，通过特定分数排序批次，在MedMNIST-v2基准任务中，该方法在部分任务上超越ResNet基线，训练更快，证明智能批量排序可弥补架构不足。
2026-07-20 cs.LG
Every Batch Is Its Own Validation Set: Leave-One-Out Gradient Matching for Online Data Selection in LLM Fine-Tuning
Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）
针对在线批次选择中样本内梯度匹配的偏差问题，提出留一法梯度匹配（LOOM），通过移除Gram矩阵对角线实现无偏估计，在多个微调任务上显著优于全批次训练及其他选择器。
2026-10-02 cs.LG
Adaptive Batch-Wise Sample Scheduling for Direct Preference Optimization
Beihang University（北京航空航天大学）；Bytedance China（字节跳动中国）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出SamS算法，通过动态调度训练样本提升DPO性能，无需修改核心算法，有效提高LLM对齐效果。
2026-03-09 cs.AI cs.LG
Optimal Mini-Batch Size Selection for Fast Gradient Descent
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Amazon Alexa（亚马逊Alexa）；Morgan Stanley（摩根士丹利）；Rice University（莱斯大学）
本文提出了一种方法来选择小批量的大小，最大限度地减少随机梯度下降（SGD）的学习时间为单个和多个学习者的问题。通过从硬件和软件实现细节解耦算法分析问题，我们揭示了小批量大小和收敛到指定错误阈值所需的SGD更新的平均数量之间的鲁棒经验逆律。结合这一经验逆定律与测量的系统性能，我们创建了一个准确的，封闭形式的平均训练时间模型，并展示了如何使用该模型来识别机器学习的算法和硬件方面的量化影响。我们在图像识别（MNIST，CIFAR10和CIFAR100）和机器翻译（Europarl）任务上经验性地证明了逆规律，并通过证明小批量SGD训练的新界限提供了理论依据。
2019-11-15 cs.DC cs.LG stat.ML
