Detecting Adversarial Examples in Batches -- a geometrical approach
Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；Technishe Universitat Bergakademie Freiberg（弗赖贝格工业大学）
许多深度学习方法已经成功地解决了计算机视觉和语音识别应用中的复杂任务。尽管如此，这些模型的鲁棒性已被发现容易受到扰动输入或对抗性示例的影响，这些示例对人眼来说是不可感知的，但会导致模型做出错误的输出决策。在这项研究中，我们调整并引入了两个几何度量，密度和覆盖率，并评估它们在检测批量未知数据中的对抗样本中的使用。我们使用MNIST和MedMNIST的两个真实生物医学数据集对这些指标进行了实证研究，这些数据集受到了两种不同的对抗攻击。我们的实验表明，这两个指标检测敌对的例子有希望的结果。我们相信，他的工作可以为进一步研究这些指标在已部署的机器学习系统中的使用奠定基础，以监测对抗性示例或相关病理（如数据集移位）可能的攻击。
2022-06-17 cs.LG
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
批量归一化（BN）由于改进了收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN提高了模型的准确性，同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说，准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提出了实证证据，支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变，我们提出了一个框架，用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解，例如DNN首先主要学习RF，然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Admissibility of Stein Shrinkage for Batch Normalization in the Presence of Adversarial Attacks
Department of Statistics University of Florida（统计学系 佛罗里达大学）；Department of Electrical and Computer Engineering University of Virginia（电气与计算机工程系 维吉尼亚大学）；Department of Comput. Info. Sci. & Eng. University of Florida（计算机信息科学与工程系 佛罗里达大学）
本文研究了在存在对抗攻击时，Stein收缩在批量归一化中的可接受性，并展示了其在图像分类和分割任务中的应用效果。
2026-02-03 cs.LG stat.ML
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
Preferred Networks, Inc.（首选网络公司）；Kyoto University（京都大学）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Ritsumeikan University（立命馆大学）
我们提出了一种新的正则化方法的基础上虚拟对抗损失：一个新的措施，局部光滑的条件标签分布给定的输入。虚拟对抗损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。与对抗训练不同，我们的方法定义了没有标签信息的对抗方向，因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟”对抗，我们称我们的方法为虚拟对抗训练（VAT）。增值税的计算成本相对较低。对于神经网络，虚拟对抗损失的近似梯度可以用不超过两对的前向和反向传播来计算。在我们的实验中，我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过对基于熵最小化原理的算法进行简单的增强，我们的VAT在SVHN和CIFAR-10上的半监督学习任务中实现了最先进的性能。
2018-06-27 cs.LG stat.ML
Virtual Adversarial Training on Graph Convolutional Networks in Node Classification
Peking University（北京大学）；Beijing Institute of Big Data Research (BIBDR)（北京大数据研究院）
图卷积网络（GCN）的有效性已在广泛的基于图的机器学习任务中得到证明。然而，GCN中的参数更新仅来自标记节点，缺乏对未标记数据的利用。在本文中，我们将虚拟对抗训练（VAT），一种基于标记和未标记数据的对抗正则化方法应用于GCN的监督损失，以提高其泛化性能。通过在半监督学习中对后验分布施加虚拟对抗平滑性，VAT产生对GCN的对称拉普拉斯平滑性的改进。此外，由于特征属性的不同，我们分别对稀疏特征和密集特征进行虚拟对抗扰动，从而得到GCN稀疏VAT（GCNSVAT）和GCN密集VAT（GCNDVAT）算法。大量的实验验证了我们的两种方法在不同训练规模下的有效性。我们的工作为更好地理解未来GCN的改进方向铺平了道路。
2020-02-20 cs.LG stat.ML
Adaptive Batch Normalization Networks for Adversarial Robustness
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出自适应批归一化网络（ABNN），利用预训练替代模型生成干净统计量，使目标模型在干净数据上训练并对齐，从而在不使用对抗训练的情况下，提升对数字和物理攻击的鲁棒性，同时提高干净数据性能并降低训练成本。
2024-05-27 cs.CV cs.LG
Advancing diagnostic performance and clinical usability of neural networks via adversarial training and dual batch normalization
RWTH Aachen University（亚琛工业大学）；University Hospital Düsseldorf（杜塞尔多夫大学医院）；University Hospital Aachen（亚琛大学医院）；ARISTRA GmbH（ARISTRA有限公司）；The Institute for Experimental Molecular Imaging, RWTH Aachen University（亚琛工业大学实验分子影像研究所）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）；Comprehensive Diagnostic Center Aachen (CDCA), University Hospital RWTH Aachen（亚琛工业大学医院综合诊断中心）
揭示机器学习模型的决策过程对于在临床实践中实现诊断支持系统至关重要。在这里，我们证明了与标准模型相比，经过对抗训练的模型可以显着提高病理检测的可用性。我们让六位经验丰富的放射科医生在X射线、计算机断层扫描和磁共振成像扫描的数据集中对显着性图的可解释性进行评级。我们的对抗模型得到了显着的改进，可以通过应用双批量归一化来进一步改进。与之前对逆向训练模型的研究相反，我们发现，当使用足够大的数据集和双批范数训练时，这些模型的准确性与标准模型相同。为了确保可移植性，我们还在22，433个X射线的外部测试集上验证了我们的结果。这些发现阐明了在训练期间需要对抗性和真实图像的不同路径，以实现具有卓越临床可解释性的最新结果。
2020-11-25 cs.CV cs.LG eess.IV
Understanding and Improving Virtual Adversarial Training
Seoul National University（首尔国立大学）
在半监督学习中，虚拟对抗训练（VAT）方法由于其直观简单和强大的性能而成为最具吸引力的方法之一。增值税找到了一个对对抗方向的数据扰动具有鲁棒性的分类器。在这项研究中，我们提供了一个基本的解释，为什么增值税工作良好的半监督学习的情况下，并提出了新的技术，这是简单的，但功能强大的增值税方法。特别是，我们采用了坏GAN方法的思想，该方法利用分布在输入数据的支持的补充上的坏样本，而不需要任何额外的深度生成架构。我们使用增值税中使用的对抗训练生成高质量的坏样本，并从理论上解释了为什么对抗训练擅长生成坏样本。我们所提出的方法的一个优点是实现竞争力的性能相比，其他最近的研究与更少的计算。我们证明了我们的方法的优势，通过各种实验与知名的基准图像数据集。
2019-09-15 cs.LG stat.ML
Removing Batch Normalization Boosts Adversarial Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）
对抗性训练（AT）可以保护深度神经网络免受对抗攻击。限制其实际应用的一个挑战是清洁样品的性能下降。以前的工作中发现的一个主要瓶颈是广泛使用的批量归一化（BN），它很难对AT中干净和对抗训练样本的不同统计数据进行建模。虽然主要的方法是扩展BN来捕获这种混合分布，但我们建议通过移除AT中的所有BN层来完全消除这种瓶颈。我们的无归一化鲁棒训练（NoFrost）方法将无归一化网络的最新进展扩展到AT，因为它在处理混合分布挑战方面具有未开发的优势。我们表明，NoFrost实现了对抗性的鲁棒性，只有一个小的牺牲干净的样本的准确性。在使用ResNet50的ImageNet上，NoFrost实现了$74.06\%$干净的准确性，仅从标准训练中降低了$2.00\%$。相比之下，基于BN的AT获得了$59.28\%$干净的准确性，遭受了标准训练的显著$16.78\%$下降。此外，NoFrost算法实现了$23.56\%$对PGD攻击的对抗性鲁棒性，提高了$13.57\%$在基于BN的AT中的鲁棒性.我们从NoFrost中观察到更好的模型平滑度和更大的决策裕度，这使得模型对输入扰动不太敏感，因此更具鲁棒性。此外，当将更多的数据扩充到NoFrost中时，它实现了对多个分布偏移的全面鲁棒性。代码和预训练模型在https://github.com/amazon-research/normalizer-free…
2022-07-04 cs.CV cs.LG
Length-Aware Adversarial Training for Variable-Length Trajectories: Digital Twins for Mall Shopper Paths
Yale University（耶鲁大学）
本文提出了一种长度意识采样方法，用于改善可变长度轨迹生成模型中分布匹配的稳定性，通过减少批次内长度异质性，提升了轨迹模拟和反事实分析的性能。
2026-01-04 cs.AI cs.LG
Virtual Adversarial Ladder Networks For Semi-supervised Learning
University College London（伦敦大学学院）
半监督学习（SSL）通过使用从相同分布中提取的较大且相对便宜的未标记数据集来增强小标记数据集，部分地规避了标记数据的高成本。本文提供了两种基于深度学习的SSL方法，梯形网络和虚拟对抗训练（VAT）的新解释，将分布平滑应用于各自的潜在空间。我们提出了一类融合这些方法的模型。我们在MNIST数据集上使用每个类仅5个标签实现了接近监督的准确性和高度一致性：我们最好的模型，具有分层虚拟对抗噪声的梯形（LVAN-LW），在MNIST测试集上实现了1.42% +/- 0.12的平均出错率，而梯形网络报告的平均错误率为1.62% +/- 0.65。在使用L2归一化快速梯度方法生成的对抗性示例上，每个类使用5个示例训练的LVAN-LW实现了平均出错率2.4% +/- 0.3，而梯形网络为68.6% +/- 6.5，VAT为9.9% +/- 7.5。
2017-12-12 cs.CV cs.LG stat.ML
Distributional Smoothing with Virtual Adversarial Training
Kyoto University（京都大学）
我们提出了局部分布光滑（LDS），一个新的概念，光滑的统计模型，可以用来作为一个正则化项，以促进模型分布的光滑性。我们将基于LDS的正则化称为虚拟对抗训练（VAT）。模型在输入数据点处的LDS被定义为模型分布对数据点周围的局部扰动的基于KL发散的鲁棒性。VAT类似于对抗训练，但区别在于它仅从模型分布确定对抗方向，而不使用标签信息，使其适用于半监督学习。增值税的计算成本相对较低。对于神经网络，近似梯度的LDS可以计算不超过三对的前向和反向传播。当我们将我们的技术应用于MNIST数据集的监督和半监督学习时，它优于所有训练方法，而不是基于高度先进的生成模型的当前最先进的方法。我们还将我们的方法应用于SVHN和NORB，并证实了我们的方法优于应用于这些数据集的当前最先进的半监督方法。
2016-06-11 cs.LG stat.ML
Context-based Virtual Adversarial Training for Text Classification with Noisy Labels
ShinhanCard（新韩卡公司）；Deargen Inc.（Deargen公司）；GC Company（GC公司）
深度神经网络（DNN）具有很高的能力，可以在足够的训练时间内完全记忆噪声标签，不幸的是，它的记忆会导致性能下降。最近，虚拟对抗训练（VAT）引起了人们的关注，因为它可以进一步提高DNN在半监督学习中的泛化能力。VAT背后的驱动力是通过强制输入和扰动输入之间的一致性来防止模型过度拟合数据点。这种策略可以帮助从噪声标签中学习，如果它阻止神经模型学习噪声样本，同时鼓励模型泛化干净样本。在本文中，我们提出了基于上下文的虚拟对抗训练（ConVAT），以防止文本分类器过度拟合噪声标签。与以前的工作不同，所提出的方法在上下文级别而不是输入级别执行对抗训练。它使分类器不仅学习它的标签，而且学习它的上下文邻居，这通过保留每个数据点上的上下文语义来简化对噪声标签的学习。我们进行了广泛的实验，四个文本分类数据集与两种类型的标签噪声。综合实验结果清楚地表明，所提出的方法工作得很好，即使在非常嘈杂的设置。
2022-05-29 cs.AI cs.CL cs.LG
Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?
University of Maryland（马里兰大学）
对抗性训练是对抗对抗攻击的最强防御之一，但它需要在优化过程中为每个小批生成对抗性示例。在训练过程中生成这些示例的费用通常会使对抗训练无法用于复杂的图像数据集。在这项研究中，我们探索了对抗性训练提高分类器鲁棒性的机制，并表明这些机制可以使用简单的正则化方法有效地模仿，包括标签平滑和logit挤压。值得注意的是，使用这些简单的正则化方法与高斯噪声注入相结合，我们能够实现强大的对抗鲁棒性-通常超过对抗训练-不使用对抗示例。
2019-10-25 cs.LG stat.ML
Sharpness-Aware Minimization with Dynamic Reweighting
University of Southern California（南加州大学）；University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）
深度神经网络通常是过度参数化的，可能不容易实现模型泛化。对抗性训练通过在对抗性选择的扰动之上正则化损失的变化来提高泛化能力。最近提出的锐度感知最小化（SAM）算法进行对抗性权重扰动，鼓励模型收敛到平坦的最小值。SAM发现每个批次的共同对抗性权重扰动。虽然每实例对抗性权重扰动是更强的对手，并且可能导致更好的泛化性能，但它们的计算成本非常高，因此不可能在SAM中有效地使用每实例扰动。在本文中，我们解决了这个效率瓶颈，并提出了清晰度感知最小化与动态重新加权（delta-SAM）。我们的理论分析表明，有可能使用重新加权的每批次权重扰动来接近更强的每实例对抗性权重扰动。delta-SAM根据理论上有原则的加权因子动态地对每个批内的扰动进行重新加权，作为对每个实例扰动的良好近似。在各种自然语言理解任务上的实验证明了delta-SAM的有效性。
2022-12-06 cs.CL cs.LG
Regularization with Latent Space Virtual Adversarial Training
Philips Co-Creation Center（飞利浦共创中心）；University of Tsukuba（筑波大学）；I Dragon Corporation（I Dragon公司）；The Tokyo Foundation for Policy Research（东京政策研究基金会）；Lowe’s Services India Pvt. Ltd.（劳氏印度服务私人有限公司）
虚拟对抗训练（VAT）在最近开发的正则化方法（称为一致性正则化）中显示出令人印象深刻的结果。VAT利用对抗样本，通过在输入空间中注入扰动生成，用于训练，从而增强分类器的泛化能力。然而，这样的对抗样本只能在输入数据点周围的非常小的区域内生成，这限制了这样的样本的对抗有效性。为了解决这个问题，我们提出了LVAT（潜在空间增值税），它注入扰动的潜在空间，而不是输入空间。LVAT可以灵活地生成对抗样本，从而产生更多的不利影响，从而更有效地进行正则化。潜在空间是由生成模型构建的，在本文中，我们研究了两种不同类型的模型：变分自动编码器和归一化流，特别是Glow。我们使用SVHN和CIFAR-10数据集评估了我们的方法在图像分类任务的监督和半监督学习场景中的性能。在我们的评估中，我们发现我们的方法优于VAT和其他最先进的方法。
2022-12-24 cs.CV cs.LG
Adversarial Training Methods for Semi-Supervised Text Classification
Preferred Networks, Inc.（Preferred Networks公司）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Kyoto University（京都大学）；Google Brain（谷歌大脑）；OpenAI
对抗训练提供了一种规范监督学习算法的方法，而虚拟对抗训练能够将监督学习算法扩展到半监督环境。然而，这两种方法都需要对输入向量的许多条目进行小的扰动，这对于稀疏的高维输入（如单热词表示）是不合适的。我们通过对递归神经网络中的单词嵌入而不是原始输入本身施加扰动，将对抗和虚拟对抗训练扩展到文本域。该方法在多个基准半监督和纯监督任务上实现了最先进的结果。我们提供了可视化和分析，显示学习的单词嵌入质量有所提高，并且在训练时，模型不太容易过拟合。代码可在https://github.com/tensorflow/models/tree/master/research/adversarial_text上获得。
2021-11-16 cs.LG stat.ML
Adversarial training with informed data selection
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
随着可用数据量的增加和计算能力的进步，深度神经网络（DNN）已成功用于解决包括医疗保健、气候和金融在内的各个领域的挑战性任务。然而，最先进的DNN容易受到原始图像的准不可察觉的扰动版本的影响-对抗性示例。网络输入的这些扰动可能会在错误决策可能直接影响人类生活的关键领域导致灾难性的影响。对抗性训练是保护网络免受这些恶意攻击的最有效的解决方案。然而，对抗性训练的网络通常具有较低的精确度和较高的计算复杂性。本文提出了一种数据选择（DS）策略应用于小批量训练。基于交叉熵损失，选择批次中最相关的样本来更新反向传播中的模型参数。仿真结果表明，该算法在鲁棒性和标准精度方面取得了较好的折衷，同时降低了反向传播通道的计算复杂性。
2023-01-07 cs.LG
Adversarially and Distributionally Robust Virtual Energy Storage Systems via the Scenario Approach
Eindhoven University of Technology（埃因霍温理工大学）；Polytechnic of Bari（巴里理工大学）；Technical University of Delft（代尔夫特理工大学）
本文提出一种数据驱动的调度框架，通过停车场管理者与零售商互动，提供虚拟能源存储服务，并在不确定的电动车离场和电池状态限制下，实现经济性能与操作安全性的平衡。
2026-04-09 cs.LG cs.SY eess.SY
A White-Box Adversarial Attack Against a Digital Twin
Mississippi State University（密西西比州立大学）
本文研究数字孪生中ML/DL分类器对白盒对抗攻击的脆弱性，以车辆系统深度神经网络数字孪生为概念验证，通过扰动输入成功破坏模型。
2022-10-25 cs.AI cs.CR cs.LG
Parameter Re-Initialization through Cyclical Batch Size Schedules
最优参数初始化一直是神经网络训练的关键问题。较差的权重初始化可能花费更长的时间来训练和/或收敛到次优解。在这里，我们提出了一种方法的权重重新初始化的反复退火和注入噪声的训练过程中。我们实现这一点，通过一个周期性的批量大小的时间表的贝叶斯观点的神经网络训练的动机。我们评估我们的方法，通过广泛的实验，在语言建模，自然语言推理和图像分类的任务。我们证明了我们的方法能够将语言建模性能提高高达7.91的困惑度，并将训练迭代次数减少高达$61\%$，此外还可以灵活地启用快照集成和使用对抗训练。
2018-12-04 cs.LG
Real or Virtual: A Video Conferencing Background Manipulation-Detection System
Sabanci University（萨班哲大学）；Florida International University（佛罗里达国际大学）；University of Padua（帕多瓦大学）
最近，上一代视频会议技术的普及和广泛使用使其市场规模呈指数级增长。这种技术允许不同地理区域的参与者进行虚拟面对面的会议。此外，它使用户能够使用虚拟背景来隐藏自己的环境，因为隐私问题或减少分心，特别是在专业设置中。然而，在用户不应该隐藏其实际位置的情况下，他们可能会通过声称其虚拟背景为真实背景来误导其他参与者。因此，开发工具和策略来检测所考虑的虚拟背景的真实性至关重要。在本文中，我们提出了一种检测策略，以区分真实和虚拟的视频会议用户背景。我们证明了我们的检测器对两种攻击场景是鲁棒的。第一种情况考虑的是检测器不知道攻击的情况，而在第二种情况下，我们让检测器知道对抗攻击，我们称之为对抗多媒体取证（即，经过取证编辑的帧包含在训练集中）。鉴于缺乏公开的视频会议虚拟和真实背景数据集，我们创建了自己的数据集并将其公开[1]。然后，我们证明了我们的检测器对不同的对抗攻击，对手认为的鲁棒性。最终，我们的检测器的性能对CRSPAM 1372 [2]特征和后处理操作（如攻击者可能选择的不同质量因子的几何变换）来说是重要的。此外，我们的性能结果表明，我们可以完美地从虚拟背景中识别出真实背景，准确率为99.80%。
2022-04-25 cs.AI cs.CR cs.CV
Should Adversarial Attacks Use Pixel p-Norm?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对抗攻击旨在混淆机器学习系统，同时保持人类几乎无法感知。对图像分类系统的攻击通常根据像素特征空间中的$p$范数失真来衡量。我们进行了行为研究，表明像素$p$ -规范的任何$0\le p \le \infty$，和几个替代措施，包括推土机的距离，结构相似性指数，和深网嵌入，不适合人类的感知。我们的研究结果有可能提高对对抗攻击和防御策略的理解。
2019-06-06 cs.CR cs.LG stat.ML
Improving the Speed and Quality of GAN by Adversarial Training
University of California, Los Angeles（加州大学洛杉矶分校）
生成对抗网络（GAN）在图像生成任务中表现出了显着的效果。高保真类条件GAN方法通常依赖于通过约束全局Lipschitz连续性的稳定技术。这种正则化导致模型表达能力较低，收敛速度较慢;其他技术，如大批量训练，需要非常规的计算能力，并且不能广泛使用。在对抗训练技术的基础上，提出了一种快速GAN（Free GAN）算法，以提高GAN训练的速度和质量。我们在CIFAR 10（ImageNet的一个子集）和完整的ImageNet数据集上对我们的方法进行了基准测试。我们选择了强大的基线，如SNGAN和SAGAN;结果表明，我们的训练算法可以用更少的总训练时间实现更好的生成质量（就Inception得分和Frechet Inception距离而言）。最值得注意的是，我们的训练算法通过需要2-4个GPU将ImageNet训练带给更广泛的公众。
2020-08-07 cs.CV cs.LG stat.ML
Clustering Effect of (Linearized) Adversarial Robust Models
Tsinghua University（清华大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
随着对抗性实例的研究，对抗性鲁棒性受到越来越多的关注。到目前为止，已有的工作表明，鲁棒模型不仅获得了对各种对抗攻击的鲁棒性，而且还提高了一些下游任务的性能。然而，对抗鲁棒性的潜在机制仍然不清楚。本文从线性分量的角度对对抗鲁棒性进行了解释，发现综合鲁棒模型存在一些统计性质。具体地说，鲁棒模型在其线性化的子网络上显示出明显的层次聚类效应，当去除或替换所有非线性分量（例如，批量归一化、最大池化或激活层）。基于这些观察，我们提出了一种对对抗鲁棒性的新理解，并将其应用于更多的任务，包括域自适应和鲁棒性增强。实验结果证明了该聚类策略的合理性和优越性。
2021-11-25 cs.LG
PIAT: Physics Informed Adversarial Training for Solving Partial Differential Equations
Sharif University of Technology（谢里夫理工大学）
本文提出了一种求解非线性微分方程的神经网络的物理信息对抗训练方法。众所周知，神经网络的标准训练会导致非光滑函数。对抗性训练（AT）是一种针对对抗攻击的既定防御机制，它也有助于使解决方案顺利进行。AT包括用扰动来增强训练小批量，使得网络输出与期望输出相反地不匹配。与仅依赖于训练数据的正式AT不同，在这里，我们在对抗网络架构中使用自动微分以非线性微分方程的形式对支配物理定律进行编码。我们比较PIAT与PINN，以表明我们的方法在解决高达10个维度的NDE的有效性。此外，我们提出了权重衰减和高斯平滑来证明PIAT的优势。代码存储库可在https://github.com/rohban-lab/PIAT上获得。
2022-07-14 cs.LG
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization
City University of Hong Kong（香港城市大学）；Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
近年来，预训练模型及其下游训练在深度学习研究和应用中的重要性日益增加。与此同时，对抗性示例的防御主要在简单分类任务的随机初始化训练的背景下进行了研究。为了更好地利用预训练模型在对抗性鲁棒性方面的潜力，本文重点关注对抗性预训练模型在各种分类任务中的微调。现有研究表明，由于鲁棒预训练模型已经学习了鲁棒特征提取器，因此关键问题是如何在学习下游任务时保持预训练模型的鲁棒性。我们研究了基于模型和基于数据的方法，发现这两种常见的方法不能同时达到提高泛化能力和对抗鲁棒性的目的。因此，我们提出了一种新的基于神经网络的方法，Two-WIng NormliSation（TIOR）微调框架，其由两个神经网络组成，其中一个神经网络将预训练数据的总体均值和方差保持在批量归一化层中。除了鲁棒的信息传递之外，由于标准批量归一化层中的权重范数与其梯度范数之间的关系被打破，TSTK在不损害训练稳定性的情况下提高了有效学习率，从而更快地逃离次优初始化并减轻鲁棒过拟合。最后，TALTH被证明是有效的广泛的图像分类数据集的泛化和鲁棒性。我们的代码可在https://github.com/ziquanliu/CVPR2023-TWINS上获得。
2023-03-20 cs.CV cs.LG
Universal Adversarial Training with Class-Wise Perturbations
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
尽管卷积神经网络（CNN）在广泛的应用中取得了压倒性的成功，但人们普遍认为它容易受到对抗性样本的影响。这种有趣的现象导致了对抗攻击和防御技术之间的竞争。到目前为止，对抗性训练是防御对抗攻击最广泛使用的方法。它还被扩展到防御普遍对抗性扰动（UAP）。SOTA通用对抗训练（UAT）方法为小批量中的所有训练样本优化了单个扰动。在这项工作中，我们发现，一个UAP不攻击所有类平等。受此观察的启发，我们将其确定为具有不平衡鲁棒性的模型的来源。为此，我们建议在对抗训练期间利用类明智的UAP来改进SOTA UAT。在多个基准数据集上，我们的类UAT在干净的准确性和对抗通用攻击的对抗性鲁棒性方面都具有优异的性能。
2021-04-07 cs.CV cs.LG
Batch Normalization is a Cause of Adversarial Vulnerability
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Waterloo（滑铁卢大学）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University College London（伦敦大学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Google Brain（谷歌大脑）
批量归一化（batch normalization）通常用于稳定和加速深度神经网络中的训练。在许多情况下，它确实减少了实现低训练误差所需的参数更新次数。然而，它也降低了对小的对抗性输入扰动和噪声的鲁棒性，如我们在五个标准数据集上所示。此外，用权重衰减代替批量范数足以消除对抗脆弱性与输入维度之间的关系。我们的工作是一致的平均场分析，发现批量规范导致爆炸梯度。
2019-05-29 cs.LG stat.ML
Measurement Uncertainty: Relating the uncertainties of physical and virtual measurements
RWTH Aachen University（亚琛工业大学）；Fraunhofer Institute for Production Technology（弗劳恩霍夫生产技术研究所）
本文建立了概率机器学习模型预测不确定度与物理检测测量不确定度之间的对应关系，使虚拟测量可融入现有质量管理体系，实现基于过程数据的100%检测率，从而及时识别缺陷产品并中止后续工艺步骤。
2024-02-21 cs.LG math.PR stat.AP
Online Adversarial Attacks
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Meta AI Research（Meta人工智能研究院）
对抗攻击暴露了深度学习模型的重要漏洞，但很少有人关注数据作为流到达的设置。在本文中，我们形式化的在线对抗攻击问题，强调在现实世界的用例中发现的两个关键要素：攻击者必须在目标模型的部分知识下操作，攻击者所做的决定是不可撤销的，因为他们对瞬态数据流进行操作。我们首先严格分析了一个确定性的变体的在线威胁模型绘制平行的理论计算机科学中研究充分的$k$秘书问题，并提出虚拟+，一个简单而实用的在线算法。我们的主要理论结果表明，虚拟+产量可证明是最好的竞争比在所有单阈值算法的$k<5$-扩展以前的分析$k$秘书问题。我们还介绍了\textit{stochastic $k$-secretary} -有效地减少在线黑盒传输攻击的$k$秘书的问题下的噪音-并证明了虚拟+适应这种设置的性能的理论界限。最后，我们通过对MNIST，CIFAR-10和Imagenet分类器进行实验来补充我们的理论结果，揭示在线算法在实现接近最佳性能方面的必要性，以及攻击策略和在线攻击选择之间的丰富相互作用，使FGSM等简单策略能够胜过更强大的对手。
2022-03-22 cs.CR cs.DS cs.LG
Scaling Adversarial Training via Data Selection
Northeastern University（东北大学）
本文提出选择性对抗训练方法，通过数据选择减少计算成本，提升对抗鲁棒性。
2025-12-26 cs.LG
Concurrent Adversarial Learning for Large-Batch Training
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Hong Kong University of Science and Technology（香港科技大学）
在使用大量GPU/TPU处理器训练神经网络时，大批量训练已成为一种常用技术。随着批量大小的增加，随机优化器往往收敛到尖锐的局部极小值，导致测试性能下降。目前的方法通常使用广泛的数据增强来增加批量大小，但我们发现数据增强的性能增益随着批量大小的增加而降低，并且数据增强在某个点之后变得不足。在本文中，我们建议使用对抗学习来增加大批量训练中的批量大小。尽管对抗学习是平滑决策表面和偏向平坦区域的自然选择，但它尚未成功应用于大批量训练，因为它需要在每一步至少进行两次连续的梯度计算，即使使用大量处理器，与普通训练相比，这至少会使运行时间增加一倍。为了克服这个问题，我们提出了一种新的并发对抗学习（ConAdv）方法，该方法通过利用静态参数来解耦对抗学习中的顺序梯度计算。实验结果表明，ConAdv可以成功地增加ImageNet上ResNet-50训练的批量大小，同时保持高精度。特别是，我们表明ConAdv在ImageNet ResNet-50训练中可以达到75.3\%的top-1准确率，批量大小为96 K，当将ConAdv与数据增强相结合时，准确率可以进一步提高到76.2\%。这是第一个成功将ResNet-50训练批量规模扩展到96 K的工作。
2022-01-23 cs.AI cs.LG
Regularizers for Single-step Adversarial Training
Indian Institute of Science（印度科学学院）
过去十年的进展使机器学习模型在计算机视觉的各种任务中取得了令人印象深刻的性能。然而，大量的工作已经证明了这些模型对对抗样本的敏感性。对抗性训练程序已经被提出来防御这种对抗攻击。对抗性训练方法用对抗性样本来增强小批量，并且通常使用单步的【形】（非迭代）方法来生成这些对抗性样本。然而，使用单步的【形】对抗训练训练的模型收敛到退化最小值，其中模型只是看起来很健壮。这些模型的伪鲁棒性是由于梯度掩蔽效应。虽然多步对抗训练有助于学习鲁棒模型，但由于使用迭代法来生成对抗样本，因此难以扩展。为了解决这些问题，我们提出了三种不同类型的正则化器，这些正则化器有助于使用单步的【形】对抗训练方法来学习鲁棒模型。所提出的正则化器通过利用区分鲁棒模型和伪鲁棒模型的属性来减轻梯度掩蔽的影响。使用所提出的正则化器训练的模型的性能与使用计算昂贵的多步对抗训练方法训练的模型相当。
2020-02-03 cs.CV cs.LG
Evaluating adversarial robustness in simulated cerebellum
HKUST（香港科技大学）
人工神经网络在对抗性样本的攻击下表现出很强的鲁棒性。然而，这些例子通常是人类无法察觉的，因此它们对生物神经回路的影响在很大程度上是未知的。本文将研究模拟小脑中的对抗鲁棒性，小脑是计算神经科学中研究得很好的监督学习系统。具体而言，我们建议研究小脑中揭示的三个独特特征：（i）网络宽度;（ii）平行纤维-浦肯野细胞突触的长期抑制;（iii）颗粒层中的稀疏连接，并假设它们将有利于提高鲁棒性。据我们所知，这是第一次尝试在模拟小脑模型中研究对抗鲁棒性。结果是负面的，在实验阶段-没有显着的改善，从所提出的三种机制中发现的鲁棒性。因此，小脑预计将容易受到对抗性示例的影响，如批量训练下的深度神经网络。鼓励神经科学家在实验中用对抗攻击来欺骗生物系统。
2021-06-27 cs.LG cs.NE
Removal of Batch Effects using Generative Adversarial Networks
Indian Institute of Technology-Bombay（印度理工学院孟买分校）
许多生物数据分析过程，如细胞计数或下一代测序（NGS），产生大量的数据，需要批量处理以进行下游分析。由于可能在不同时间、由不同实验者或在其他不同条件下处理批次的差异，这些数据集容易出现技术差异。这增加了来自相同来源样品的批次的变化。这些变化被称为批处理效果。这些变异和生物学引起的自然变异可能会混淆，但这种情况可以通过仔细计划的方式进行实验来避免。批次效应可能会妨碍下游分析，也可能导致结果不确定。因此，必须纠正这些影响。这可以使用本文提出的基于新的生成对抗网络（GANs）的框架来解决，使用该框架优于其他现有方法的优点在于，这里不需要选择再生核并定义其参数。报告了该框架在质谱细胞术数据集上的结果。
2019-06-21 cs.LG stat.ML
Encoding Robustness to Image Style via Adversarial Feature Perturbations
University of Maryland, College Park（马里兰大学帕克分校）；Fudan University（复旦大学）；New York University（纽约大学）
对抗性训练是产生对小对抗性扰动具有鲁棒性的模型的行业标准。然而，机器学习从业者需要对自然发生的其他类型的变化（例如输入图像的风格或照明的变化）具有鲁棒性的模型。输入分布的这种变化已经被有效地建模为深度图像特征的均值和方差的偏移。我们通过直接扰动特征统计而不是图像像素来适应对抗训练，以产生对各种看不见的分布变化具有鲁棒性的模型。我们通过可视化对抗特征来探索这些扰动和分布变化之间的关系。我们提出的方法，对抗性批量归一化（AdvBN），是一个单一的网络层，在训练过程中产生最坏情况的特征扰动。通过对神经网络的对抗性特征分布进行微调，我们观察到网络对各种看不见的分布变化（包括风格变化和图像损坏）的鲁棒性有所提高。此外，我们表明，我们提出的对抗性特征扰动可以补充现有的图像空间数据增强方法，从而提高性能。源代码和预训练模型在\url{https://github.com/azshue/AdvBN}上发布。
2021-10-31 cs.CV cs.LG
What Doesn't Kill You Makes You Robust(er): How to Adversarially Train against Data Poisoning
University of Siegen（锡根大学）；University of Maryland（马里兰大学）
数据投毒是一种威胁模型，其中恶意行为者篡改训练数据以在推理时操纵结果。针对这种威胁模型提出了各种防御措施，但每一种都至少有以下缺陷之一：它们很容易被自适应攻击克服，它们严重降低测试性能，或者它们不能推广到不同的数据投毒威胁模型。对抗性训练及其变体目前被认为是唯一一种针对（推理时间）对抗攻击的经验性强的防御方法。在这项工作中，我们扩展了对抗性训练框架，以防御（训练时间）数据投毒，包括有针对性的和后门攻击。我们的方法通过在训练过程中创建毒药并将其注入训练批次来使网络对此类攻击的影响脱敏。我们证明了这种防御可以承受自适应攻击，推广到不同的威胁模型，并且比以前的防御（如DP-SGD或（逃避）对抗训练）具有更好的性能权衡。
2022-02-17 cs.CR cs.CV cs.LG
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft（微软）
近年来，基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型，许多神经网络从业者试图增加批量大小，以便利用多个GPU来提高训练速度。然而，增加批量大小通常会使优化变得更加困难，导致收敛速度慢或泛化能力差，可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中，我们探讨了大批量优化的损失景观的陡峭程度，以适应预训练的基于transformer的语言模型特定于领域的任务，并发现它往往是高度复杂和不规则的，对下游任务的泛化提出了挑战。为了应对这一挑战，我们提出了ScaLA，一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同，我们采用了一种顺序博弈论方法，将轻量级对抗性噪声添加到大批量优化中，从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明，ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$，同时达到了与现有大批量优化方法相当的精度，有时甚至更高。最后，我们还解决了大批量优化与对抗噪声的理论方面，并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule
Meiji University（明治大学）
本文研究常数学习率 TTUR 训练 GAN 时批量大小与训练步数的关系，证明存在使 SFO 复杂度最小的临界批量大小，并用 FID 实验验证理论估计。
2023-06-05 cs.LG math.OC
Enhancing Data-Free Adversarial Distillation with Activation Regularization and Virtual Interpolation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
知识蒸馏是指将知识从大型学习模型或学习模型的集合转移到小型模型的技术。这种方法依赖于对原始训练集的访问，而原始训练集可能并不总是可用的。一个可能的解决方案是无数据对抗蒸馏框架，它部署了一个生成网络来将教师模型的知识转移到学生模型。然而，在无数据对抗蒸馏中，数据生成效率较低。我们增加了激活正则化器和虚拟插值方法，以提高数据生成效率。激活正则化器使学生能够在激活边界和决策边界附近匹配教师的预测。虚拟插值方法可以在决策边界之间生成虚拟样本和标签。我们的实验表明，我们的方法超越了最先进的无数据蒸馏方法。在没有任何原始训练数据的情况下，学生模型在CIFAR-10和CIFAR-100上的准确率分别达到95.42%和77.05%。我们的模型的准确性比CIFAR-100上最先进的无数据方法高出13.8%。
2021-02-23 cs.AI cs.LG
Advancing Deep Metric Learning Through Multiple Batch Norms And Multi-Targeted Adversarial Examples
NEC Corporation（日本电气股份有限公司）；University of Tsukuba（筑波大学）
深度度量学习（DML）是机器学习中的一个重要领域，具有广泛的实际应用，专注于学习视觉相似性。众所周知，诸如对抗性示例（AX）的输入遵循与干净数据不同的分布，导致来自DML系统的错误预测。本文提出了MDProp，一个框架，以同时提高干净的数据和输入以下多个分布的DML模型的性能。MDProp通过AX生成过程利用多分布数据，同时在DML模型的训练期间通过多个批量归一化层利用分离学习。MDProp是第一个生成特征空间多目标AX的工具，对训练模型的密集嵌入空间区域执行有针对性的正则化，从而提高嵌入空间密度，从而提高训练模型的泛化能力。从一个全面的实验分析，我们表明，MDProp的结果在高达2.95%的增加清洁数据Recall@1分数和高达2.12倍的增加对不同的输入分布的鲁棒性相比，传统的方法。
2022-12-06 cs.CV cs.LG
VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI；Georgia Institute of Technology（佐治亚理工学院）
针对图Transformer小批量训练中样本不足导致密集注意力失效的问题，提出VCR-Graphormer，通过PPR令牌化解耦训练与拓扑，并引入虚拟连接编码多维度上下文信息。
2024-03-24 cs.LG
On the Effects of Batch and Weight Normalization in Generative Adversarial Networks
University of Southern California（南加州大学）；Pinscreen；USC Institute for Creative Technologies（南加州大学创新技术研究院）
生成对抗网络（GANs）是一种高效的无监督学习框架，可以生成非常清晰的数据，即使是具有复杂、高度多峰分布的图像。然而，众所周知，GANs非常难以训练，存在模式崩溃和干扰视觉伪影等问题。批量归一化（BN）技术已被引入到解决的训练。虽然BN在开始时加速了训练，但我们的实验表明，BN的使用可能不稳定，并对训练模型的质量产生负面影响。BN和许多其他最近的计划，以改善GAN培训的评估是阻碍了缺乏一个有效的客观质量措施的GAN模型。为了解决这些问题，我们首先引入了一种用于GAN训练的权重归一化（WN）方法，该方法显着提高了生成样本的稳定性，效率和质量。为了进行系统的评估，我们在测试集上引入平方欧几里德重建误差作为新的客观度量，以评估生成样本的速度，稳定性和质量方面的训练性能。我们在常用数据集（CelebA，LSUN bedroom和CIFAR-10）上使用标准DCGAN架构进行的实验表明，对于GANs，使用WN进行训练通常优于BN，重建的均方损失降低了10%，并且比BN获得了更好的定性结果。我们进一步证明了WN在用CelebA数据集训练的21层ResNet上的稳定性。本文的代码可在https://github.com/stormraiser/gan-weightnorm-resnet上获得
2017-12-04 cs.CV cs.LG stat.ML
VirtualFlow: Decoupling Deep Learning Models from the Underlying Hardware
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能（Google AI））
最先进的深度学习系统，如TensorFlow和PyTorch，将模型与底层硬件紧密耦合。这种耦合要求用户修改应用程序逻辑，以便跨不同的资源集运行相同的作业，从而限制了给定工作负载的硬件选择，并可能迫使用户放弃更有效的硬件配置。我们提出VirtualFlow，一个系统利用一种新的抽象称为虚拟节点处理解耦的模型从硬件。在训练或推断的每个步骤中，该批输入数据跨虚拟节点而不是硬件加速器（例如GPU和TPU）被分割。将多个虚拟节点映射到每个加速器并按顺序处理它们可以有效地对批处理进行时间切片，从而允许用户减少其工作负载的内存需求，并在小型群集上模拟大批量。使用这种技术，VirtualFlow可以实现许多新的用例，例如跨不同硬件、资源弹性和异构训练再现训练结果。在我们的评估中，我们为TensorFlow实现的VirtualFlow通过开箱即用的超参数在不同硬件上实现了强大的收敛保证，通过资源弹性将作业完成时间降低了48%，通过异构训练将吞吐量提高了42%。
2021-05-11 cs.DC cs.LG
HoechstGAN: Virtual Lymphocyte Staining Using Generative Adversarial Networks
University of St Andrews（圣安德鲁斯大学）；Lothian NHS University Hospitals（洛锡安NHS大学医院）
特定类型免疫细胞的存在和密度对于了解患者对癌症的免疫反应非常重要。然而，识别T细胞亚型所需的免疫荧光染色是昂贵的，耗时的，并且很少在临床环境中进行。我们提出了一个框架，虚拟染色Hoechst图像（这是廉价和广泛的）与CD3和CD8，以确定T细胞亚型在透明细胞肾细胞癌使用生成对抗网络。我们提出的方法联合学习两个染色任务，激励网络从每个任务中整合互利的信息。我们设计了一种新的度量来量化虚拟染色质量，并使用它来评估我们的方法。
2022-10-17 cs.CV cs.LG q-bio.QM
Whitening and Coloring batch transform for GANs
University of Trento（特伦托大学）；Department of Information Engineering and Computer Science (DISI)（信息工程与计算机科学系（DISI））
批量归一化（BN）是一种用于加速和稳定训练的常用技术。另一方面，BN的可学习参数通常用于条件生成对抗网络（cGAN），用于使用条件批量归一化（cBN）表示类特定信息。在本文中，我们建议使用基于白化和着色的批量归一化来推广BN和cBN。我们表明，我们的条件着色可以表示分类条件信息，这在很大程度上有助于cGAN的定性结果。此外，我们证明了全特征白化在一般的GAN场景中是重要的，在这种场景中，训练过程是非常不稳定的。我们在不同的数据集上测试我们的方法，并使用不同的GAN网络和训练协议，在所有测试框架中显示出一致的改进。我们的CIFAR-10条件结果高于此数据集上的所有以前的作品。
2019-02-25 cs.LG stat.ML
Easy Batch Normalization
ITMO University（ITMO大学）；Artificial Intelligence Research Institute（人工智能研究所）；Tubingen Universitat（图宾根大学）
结果表明，对抗性示例可以提高对象识别。但他们的反面是什么，简单的例子？简单的示例是机器学习模型以高置信度正确分类的样本。在我们的论文中，我们正在探索在神经网络的训练过程中使用简单示例的潜在好处。我们建议使用一个辅助的批量归一化简单的例子，标准和强大的精度提高。
2022-07-18 cs.CV cs.LG
S$^3$VAADA: Submodular Subset Selection for Virtual Adversarial Active Domain Adaptation
Indian Institute of Science（印度科学研究所）
无监督领域自适应（DA）方法集中于通过对齐来自源和目标域的特征而不使用目标域中的标记数据来实现最大性能。然而，在现实世界中，为一小部分目标数据获取标签可能是可行的。在这些情况下，重要的是选择最大信息量的样本进行标记，并找到一种有效的方法将它们与来自源数据的现有知识相结合。为了实现这一目标，我们提出了S $^3$ VAADA，其中i）引入了一种新的子模块标准，以选择一个最大的信息子集标记和ii）通过新的改进，有效地利用所有可用的数据，提高目标的泛化增强了基于聚类的DA过程。我们的方法始终优于竞争国家的最先进的方法对数据集具有不同程度的域转移。
2021-09-18 cs.AI cs.CV cs.LG
Knowing the Past to Predict the Future: Reinforcement Virtual Learning
Tencent Jarvis Lab（腾讯Jarvis实验室）；Durham University（杜伦大学）；Hefei Institutes of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院）；Institute of Microelectronics of the Chinese Academy of Sciences（中国科学院微电子研究所）
基于强化学习（RL）的控制系统在近几十年来受到了广泛的关注。然而，在许多现实世界的问题，如批处理控制，环境是不确定的，这需要昂贵的交互来获取状态和奖励值。在本文中，我们提出了一个具有成本效益的框架，使得RL模型可以在虚拟空间中使用仅具有历史数据的预测模型进行自我进化。所提出的框架使一步一步的RL模型预测未来的状态，并选择最佳的行动，长远的决策。主要研究内容包括：1）如何用最优策略平衡长期和短期收益; 2）如何使虚拟模型与真实环境交互以收敛到最终的学习策略。在流加过程的实验环境下，我们的方法始终优于现有的最先进的方法。
2022-11-02 cs.AI cs.LG cs.SY
Adversarial Vulnerability as a Consequence of On-Manifold Inseparibility
Purdue University（普渡大学）；Michigan State University（密歇根州立大学）
该研究揭示对抗脆弱性源于流形上不可分性与一阶优化器病态导致的流形外方向收敛差，提出用二阶方法提升鲁棒性，实验验证了效果并指出批归一化会阻碍该增益。
2024-10-09 cs.LG stat.ML
The Bures Metric for Generative Adversarial Networks
KU Leuven（鲁汶大学）；Univ. Lille, CNRS, Centrale Lille UMR 9189 CRIStAL（里尔大学，国家科学研究中心，中央里尔大学 UMR 9189 CRIStAL）
生成对抗网络（GANs）是产生高质量样本的高性能生成方法。然而，在某些情况下，GANs的训练可能导致模式坍塌或模式丢弃，即生成模型不能从整个概率分布中采样。为了解决这个问题，我们使用最后一层的特征映射来研究真实和虚假数据的分布。在训练过程中，我们建议通过使用特征空间中协方差矩阵之间的Bures距离来匹配真实批次多样性和假批次多样性。Bures距离的计算可以方便地在特征空间或核空间中分别根据协方差和核矩阵进行。我们观察到，多样性匹配大大减少了模式坍塌，并对样品质量有积极的影响。在实践方面，提出了一个非常简单的训练过程，不需要额外的超参数调整，并在几个数据集上进行了评估。
2021-04-27 cs.LG eess.IV stat.ML
Manipulating hidden-Markov-model inferences by corrupting batch data
United States Air Force Academy（美国空军学院）；Institute of Mathematical Sciences (ICMAT)（数学科学研究所）；McCoy College of Business, Texas State University（德克萨斯州立大学麦科伊商学院）；CUNEF Universidad（库内夫大学）
本文从对抗性风险分析视角研究通过污染批量数据操纵隐马尔可夫模型滤波、平滑与解码推断的问题，提出多种随机规划模型与三类求解方法，并通过实证测试揭示其安全弱点。
2024-02-19 cs.AI cs.CR cs.LG
Off-Policy Actor-Critic for Adversarial Observation Robustness: Virtual Alternative Training via Symmetric Policy Evaluation
Department of Information Science, Kyoto University, Kyoto, Japan（京都大学信息科学系）；ATR Neural Information Processing Laboratories, Kyoto, Japan（ATR神经信息处理实验室）；International Research Center for Neurointelligence, The University of Tokyo, Tokyo, Japan（神经智能国际研究中心）
提出一种基于对称策略评估的离策略演员-评论家方法，通过软约束优化消除额外环境交互，提升对抗性观测下的鲁棒性。
2025-06-20 cs.AI cs.LG cs.RO
