Bigger Is Safer: Provable Robustness in In-Context Learning Scales with Capacity
School of AI and Advanced Computing（人工智能与先进计算学院）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
本文提出了一种分布鲁棒的元学习框架，通过推导非渐近界限，揭示了上下文学习在对抗条件下鲁棒性与模型容量、扰动强度之间的缩放关系。
2026-07-21 cs.LG stat.ML
Learning Diverse Representations for Fast Adaptation to Distribution Shift
Imperial College London（帝国理工学院）
身份证。假设是一种有用的理想化，它支撑了许多成功的监督机器学习方法。然而，违反它可能导致模型学会利用训练数据中的虚假相关性，使它们容易受到对抗性干预，破坏其可靠性，并限制其实际应用。为了缓解这个问题，我们提出了一种学习多个模型的方法，结合一个目标，迫使每个模型学习一种不同的方法来解决任务。我们提出了一个多样性的概念，基于最小化给定标签的模型之间的最终层表示的条件总相关性，我们使用变分估计器近似，并使用对抗训练最小化。为了证明我们的框架的能力，以促进快速适应分布偏移，我们训练一些简单的分类器从头开始对我们的模型的冻结输出使用少量的数据从移动的分布。在此评估协议下，我们的框架显着优于使用经验风险最小化原则训练的基线。
2020-06-12 cs.LG stat.ML
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
批量归一化（BN）由于改进了收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN提高了模型的准确性，同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说，准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提出了实证证据，支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变，我们提出了一个框架，用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解，例如DNN首先主要学习RF，然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Data Attribution in Adaptive Learning
本文研究自适应学习中的数据归因问题，提出条件干预目标，证明回放信息无法一般性恢复归因，并识别出一个结构类以从日志数据中识别目标。
2026-04-06 cs.LG
Robustly Disentangled Causal Mechanisms: Validating Deep Representations for Interventional Robustness
ETH Zurich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
学习分解表示的能力对于神经网络的数据高效和鲁棒使用是重要的，所述分解表示将高维非结构化数据中的变化的潜在来源分开。虽然最近提出了各种旨在实现这一目标的方法，但缺乏一个普遍接受的定义和验证程序。我们提供了一个因果关系的角度表示学习，其中包括解纠缠和域转移的鲁棒性作为特殊情况。我们的因果框架使我们能够引入一个新的指标来定量评估深层潜变量模型。我们展示了如何从标记的观测数据中估计这个度量，并进一步提供了一个有效的估计算法，该算法在数据集大小上线性扩展。
2019-05-13 cs.LG stat.ML
Brenier Meets Adversarial Training: Optimal Transport Geometry for Robust Learning
EPFL（瑞士洛桑联邦理工学院）；Apple（苹果公司）
本研究提出基于最优传输几何的对抗训练改进方法，通过多起点粒子上升和输入凸神经网络参数化对抗映射，确保循环单调性，从而在鲁棒回归、图像分类和控制任务中提升鲁棒性与泛化性能。
2026-09-28 cs.LG math.OC stat.ML
Adversarial Latent-State Training for Robust Policies in Partially Observable Domains
Constrained Image-Synthesis Lab（受限图像合成实验室）
本文提出对抗性潜在状态训练方法，通过理论分析和实验验证，提升了部分可观测域中策略的鲁棒性，特别是在处理潜在分布偏移问题时表现出色。
2026-08-11 cs.AI cs.LG stat.ML
Adversarial Examples Are a Natural Consequence of Test Error in Noise
Google Brain（谷歌大脑）
在过去的几年里，对抗性示例的现象-欺骗训练过的机器学习模型的恶意构造的输入-已经引起了研究界的注意，特别是当对手仅限于对正确处理的输入进行小修改时。不那么令人惊讶的是，图像分类器在随机损坏的图像上也缺乏人类水平的性能，例如具有加性高斯噪声的图像。在本文中，我们提供了经验和理论证据，这是同一个潜在现象的两种表现形式，建立了对抗鲁棒性和腐败鲁棒性研究计划之间的密切联系。这表明，提高对抗性鲁棒性应该与在更普遍和现实的图像损坏情况下提高性能齐头并进。根据我们的研究结果，我们建议未来的对抗性防御考虑使用Imagenet-C等基准来评估其方法对分布偏移的鲁棒性。
2019-01-29 cs.CV cs.LG stat.ML
Learning a Single Neuron Robustly to Distributional Shifts and Adversarial Label Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究在对抗性分布偏移与标签噪声下鲁棒学习单个神经元的问题，提出一种基于原始-对偶框架且计算高效的算法，通过直接界定非凸 $L_2^2$ 损失的风险来逼近最坏情况下的最优解。
2024-11-11 cs.DS cs.LG math.OC
Adversarial Causal Intervention Falsification
University of Calgary（卡尔加里大学）
本文针对生成模型可能编码错误因果结构的问题，提出对抗性因果干预证伪（ACIF）博弈，证明其理论性质并给出线性高斯示例，搭建了因果生成建模等领域的桥梁。
2026-08-10 cs.GT cs.LG econ.EM
Learning Implicit Causal World Models from Multi-Agent Demonstrations
该研究针对多智能体系统中世界模型因相关性与因果机制混淆导致分布偏移下失效的问题，提出隐式因果世界模型，经评估在协调任务上表现出可解释因果表示且精度随干预强度提升。
2026-07-30 cs.LG cs.MA cs.RO
Metric Learning for Adversarial Robustness
Columbia University（哥伦比亚大学）
众所周知，深度网络对于对抗攻击是脆弱的。我们对最先进的攻击方法PGD下的深层表示进行了实证分析，发现攻击导致内部表示向“假”类靠拢。出于这一观察结果，我们建议使用度量学习来正则化受到攻击的表示空间，以产生更鲁棒的分类器。通过仔细采样用于度量学习的示例，我们学习的表示不仅提高了鲁棒性，而且还检测了以前未见过的对抗样本。定量实验表明，鲁棒性的准确性提高了4%，检测效率提高了6%，根据曲线下面积得分比以前的工作。我们的工作代码可在https://github.com/columbia/Metric_Learning_Adversarial_Robustness上获得。
2019-10-28 cs.CR cs.CV cs.IR
RL-Based Method for Benchmarking the Adversarial Resilience and Robustness of Deep Reinforcement Learning Policies
Kansas State University（堪萨斯州立大学）
本文提出区分DRL智能体漏洞来源的方法，并开发两种基于RL的定量基准测试技术，以评估DRL策略在状态转换扰动下的对抗韧性与鲁棒性，并在Cartpole环境中验证了其可行性。
2019-06-03 cs.AI cs.CR cs.LG
Test-Time Learning of Causal Structure from Interventional Data
HKUST（香港科技大学）；HKUST(GZ)（香港科技大学（广州））；Microsoft Research（微软研究院）；Sony Research（索尼研究院）；NUS（国立新加坡大学）
TICL通过结合测试时训练与联合因果推断，有效解决干预数据中因果结构学习的泛化问题，提升因果发现和干预目标检测性能。
2026-02-22 cs.AI cs.LG
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
Massachusetts Institute of Technology（麻省理工学院）；Aerospace Control Laboratory（航空控制实验室）；Laboratory of Information and Decision Systems（信息与决策系统实验室）
研究非对称信息下对抗团队博弈，提出概率鲁棒极小极大遗憾均衡（PR-MRE），结合极小极大遗憾推理的无分布鲁棒性与概率信息，通过鲁棒双线性规划及新型元求解器 PRMRE-PSRO 实现策略学习，实验证明其在隐藏类型上性能更优，行为更稳健。
2026-07-14 cs.AI cs.GT cs.LG
Learning to Induce Causal Structure
DeepMind（深度思维）；Mila（米拉（魁北克人工智能研究所））；Polytechnique Montreal（蒙特利尔理工学院）；University of Montreal（蒙特利尔大学）；Google Research（谷歌研究院）
因果归纳的基本挑战是在给定观察和/或干预数据的情况下推断潜在的图形结构。大多数现有的因果归纳算法通过生成候选图并使用基于分数的方法（包括连续优化）或独立性测试来评估它们。在我们的工作中，我们将推理过程视为黑盒，并设计了一个神经网络架构，该架构通过对合成图的监督训练来学习从观察和干预数据到图结构的映射。学习的模型可以推广到新的合成图，对训练测试分布变化具有鲁棒性，并在自然图上实现了最先进的性能，从而降低了样本复杂度。
2022-10-07 cs.LG stat.ML
C-DARL: Contrastive diffusion adversarial representation learning for label-free blood vessel segmentation
National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）；Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）
本文提出自监督血管分割模型C-DARL，通过扩散与生成模块学习多域血管数据分布，并采用基于掩膜的对比损失学习真实血管表示，在多数据集上超越基线方法且具备噪声鲁棒性。
2023-07-31 cs.CV cs.LG eess.IV
On Target Shift in Adversarial Domain Adaptation
Duke University（杜克大学）
训练域和测试域之间的不一致性是机器学习技术推广中的一个基本问题。最近，已经提出了几种方法来通过对抗性深度学习来学习域不变特征表示。然而，标签转移，其中每个类别中的数据的百分比是不同的域之间，受到较少的关注。标签转换在许多情况下自然会出现，特别是在行为研究中，行为是自由选择的。在这项工作中，我们提出了一种名为Domain Adversarial nets for Target Shift（DATS）的方法，用于在学习域不变表示的同时解决标签移位问题。这是通过使用分布匹配来估计盲测试集中的标签比例来实现的。我们扩展这个框架来处理多个域，通过开发一个计划来增加源域最相似的目标域。实验结果表明，该框架在大的标签移位下表现良好，具有一定的实用价值。
2019-03-15 cs.LG stat.ML
Stable Adversarial Learning under Distributional Shifts
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
具有经验风险最小化的机器学习算法由于贪婪地采用在训练数据中发现的所有相关性而在分布移位下是脆弱的。最近，有鲁棒的学习方法，针对这个问题，通过最小化最坏情况下的不确定性集的风险。然而，它们在构建决策集时对所有协变量一视同仁，而不考虑其与目标的相关性的稳定性，导致决策集过于庞大，学习者的置信度较低。本文提出了稳定对抗学习（SAL）算法，该算法利用异构数据源构建更实用的不确定性集，并进行差异化鲁棒性优化，其中根据协变量与目标的相关性的稳定性来区分协变量。我们从理论上表明，我们的方法是易于处理的随机梯度为基础的优化，并提供我们的方法的性能保证。仿真和真实数据集的实证研究验证了我们的方法在未知分布变化方面的一致良好性能的有效性。
2021-05-11 cs.LG stat.ML
Extended Wasserstein-GAN Approach to Causal Distribution Learning: Density-Free Estimation and Minimax Optimality
The University of Tokyo（东京大学）；Japan Institute for Health Security（日本健康安全研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进情报项目）；Kyoto University（京都大学）
本文提出GANICE方法，通过扩展Wasserstein距离和极小极大最优性理论，解决因果分布估计中的无密度估计和最优性问题，实验表明其优于现有方法。
2026-05-11 cs.LG math.ST stat.ML
Adversarial Causal Tuning for Realistic Time-series Generation
University of Crete & FORTH（希腊克里特大学及希腊国家科研院）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
本文提出对抗性因果调优方法，通过优化因果模型和评估拟合质量，生成真实时间序列数据，展示其在不同数据集上的有效性与改进潜力。
2026-05-12 cs.LG stat.ML
Conformal Counterfactual Inference under Hidden Confounding
University College London（伦敦大学学院）；ByteDance Research（字节跳动研究院）
针对隐藏混杂下反事实结果置信区间构建的难题，提出基于转导加权共形预测的wTCP-DR方法，借助少量干预数据应对协变量偏移，在覆盖率与效率上优于现有基线。
2024-05-20 cs.LG
Provable Guarantees on the Robustness of Decision Rules to Causal Interventions
University of Oxford（牛津大学）
决策规则对数据生成过程中的变化的鲁棒性对于决策系统的成功部署至关重要。这种转变可以被视为对因果图的干预，它捕捉了数据生成过程中的变化（可能是假设的），无论是由于自然原因还是对手的行动。我们认为因果贝叶斯网络和正式定义的干预鲁棒性问题，一种新的基于模型的决策函数的鲁棒性的概念，衡量最坏情况下的性能相对于一组干预措施，表示变化的参数和/或因果关系的影响。通过依赖于一个易于处理的表示贝叶斯网络的算术电路，我们提供了有效的算法，用于计算保证的上限和下限的干预鲁棒性概率。实验结果表明，该方法产生有用的和可解释的范围内的实际网络，铺平了道路，可证明因果关系的强大的决策系统。
2021-05-19 cs.AI cs.LG
Transferable Positive/Negative Speech Emotion Recognition via Class-wise Adversarial Domain Adaptation
The University of Manchester（曼彻斯特大学）
语音情感识别在构建更智能、更人性化的智能体方面发挥着重要作用。由于语音情感数据采集的困难性，一种越来越流行的解决方案是利用相关且丰富的源语料库来帮助处理目标语料库。然而，语料库之间的域转移提出了一个严峻的挑战，使域转移适应难以发挥作用，即使是对积极/消极情绪的识别。在这项工作中，我们提出了类明智的对抗性领域自适应，以解决这一挑战，减少不同语料库之间的所有类的转变。在著名的EMODB和Aibo语料库上的实验表明，即使只提供非常有限数量的目标标记示例，我们的方法也是有效的。
2019-02-14 cs.LG stat.ML
Towards Calibrated Losses for Adversarial Robust Reject Option Classification
IIIT Hyderabad（印度国际信息技术研究院（海得拉巴））
本文研究对抗扰动且允许弃权（不执行）预测场景下的分类问题，提出对抗鲁棒拒绝选项损失，给出替代损失的校准表征，并证明 Shifted DRL 和 DSL 满足校准条件且具有鲁棒性。
2024-10-14 cs.LG stat.ML
Shift Invariance Can Reduce Adversarial Robustness
Univeristy of Maryland（马里兰大学）；Weizmann Institute of Science（魏茨曼科学研究所）
移位不变性是CNN的一个关键属性，可以提高分类性能。然而，我们发现，循环移位的不变性也会导致对对抗攻击更敏感。我们首先描述了当使用平移不变线性分类器时类之间的间隔。我们表明，裕度只能依赖于信号的直流分量。然后，使用无限宽网络的结果，我们表明，在一些简单的情况下，完全连接和移位不变的神经网络产生线性决策边界。利用这一点，我们证明了神经网络中的移位不变性产生了两个类的简单情况下的对抗性例子，每个类由一个图像组成，在灰色背景上有一个黑色或白色的点。这不仅仅是一种好奇心;我们通过经验证明，对于真实的数据集和现实的架构，移位不变性会降低对抗的鲁棒性。最后，我们描述了使用合成数据来探测这种连接的来源的初始实验。
2021-11-22 cs.LG
I-SPEC: An End-to-End Framework for Learning Transportable, Shift-Stable Models
Johns Hopkins University（约翰斯·霍普金斯大学）
开发和部署之间的环境变化导致经典的监督学习产生的模型不能很好地推广到新的目标分布。最近，已经开发了许多找到不变预测分布的解决方案。其中，基于图的方法不需要来自目标环境的数据，并且可以捕获比找到稳定特征集的替代方法更稳定的信息。然而，这些方法假设数据生成过程以完整因果图的形式已知，这通常不是情况。在本文中，我们提出了I-SPEC，一个端到端的框架，通过使用数据来学习部分祖先图（PAG）来解决这个缺点。使用PAG，我们开发了一种算法，该算法确定了对声明的偏移稳定的介入分布;这包含了找到不太准确的稳定特征集的现有方法。我们将I-SPEC应用于死亡率预测问题，以证明它可以学习一个对变化具有鲁棒性的模型，而无需预先了解完整的因果DAG。
2020-02-20 cs.AI cs.LG stat.ML
Towards an Adversarially Robust Normalization Approach
Kyung-He University（庆熙大学）；Information Technology University（信息技术大学）
批量归一化（BatchNorm）对于提高深度神经网络的性能和加速训练是有效的。然而，它也被证明是对抗脆弱性的一个原因，即，没有它的网络对对抗攻击更健壮。在本文中，我们研究了BatchNorm如何导致这种漏洞，并提出了新的规范化，对对抗攻击具有鲁棒性。我们首先观察到对抗图像倾向于改变BatchNorm输入的分布，这种改变使得训练时估计的人口统计数据不准确。我们假设这些不准确的统计数据使BatchNorm模型更容易受到对抗攻击。我们证明了我们的假设，取代训练时间估计的统计数据与统计计算的推断时间批次。我们发现，如果我们使用这些统计数据，BatchNorm的对抗性脆弱性就会消失。但是，如果没有估计的批次统计数据，我们就不能在实践中使用BatchNorm。为了减轻这种情况，我们提出了鲁棒归一化（RobustNorm）; BatchNorm的一个对抗性鲁棒版本。我们的实验表明，使用RobustNorm训练的模型在对抗环境中表现更好，同时保留了BatchNorm的所有优点。代码可在\url{https://github.com/awaisrauf/RobustNorm}上获得。
2020-06-19 cs.LG stat.ML
Blessings and Curses of Covariate Shifts: Adversarial Learning Dynamics, Directional Convergence, and Equilibria
Booth School of Business（布斯商学院）；University of Chicago（芝加哥大学）
该研究在无穷维框架下刻画对抗协变量偏移的外推区域，揭示其对回归和分类任务均衡学习的相反效应：回归中协变量指数收敛至最优实验设计（福），分类中则次二次收敛至最难设计（祸）。
2024-05-20 cs.LG math.OC math.ST
Addressing target shift in zero-shot learning using grouped adversarial learning
IBM Research（IBM研究院）；IIT Kharagpur（印度理工学院克勒格布尔分校）
零样本学习（Zero-shot learning，缩写为ZRL）算法通常通过利用属性相关性来工作，以便能够在看不见的类中进行预测。然而，在大多数实际设置中，这些相关性在测试时并不保持完整，并且这些相关性的结果变化导致对零样本学习性能的不利影响。在本文中，我们提出了一个新的范式，用于CNOL：（i）利用看不见的类的类属性映射来估计目标分布的变化（目标转移），以及（ii）提出了一种称为分组对抗学习（gAL）的新技术来减少这种转移的负面影响。我们的方法是广泛适用于几个现有的CNOL算法，包括那些隐式属性预测。我们将所提出的技术（$g$ AL）应用于三种流行的ARML算法：ALE，SJE和DEVISE，并在4种流行的ARML数据集：AwA 2，aPY，CUB和SUN上显示性能改进。我们在SUN和aPY数据集上获得了SOTA结果，并在AwA 2上获得了可比的结果。
2020-06-16 cs.CV cs.LG stat.ML
Shift-Robust Node Classification via Graph Adversarial Clustering
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；KAIST（韩国科学技术院）；Emory University（埃默里大学）
图神经网络（GNN）是图结构数据中的节点分类模型。然而，在测试时间期间，这些算法假设没有数据移位，即，$\Pr_\text{train}(X,Y) = \Pr_\text{test}(X,Y)$。域自适应方法可以用于数据转移，但它们中的大多数被设计为仅鼓励源数据和目标数据之间的相似特征分布。类上的条件转移仍然会影响这种适应。幸运的是，图在不同的数据分布中产生图同构。作为回应，我们提出了移位鲁棒节点分类（SRNC），以解决这些限制。我们在目标图上引入一个无监督的聚类GNN，根据图的同质性对相似的节点进行分组。在聚类目标上使用了带有源图标签信息的对抗损失。然后在聚类GNN生成的训练图和目标图上的对抗样本上分别优化了一个具有平移鲁棒性的分类器。我们分别对开集移位和表示移位进行了实验，实验结果证明了SRNC在推广到具有数据移位的测试图上的优越精度。SRNC始终优于先前的图上的SoTA域自适应算法，该算法逐步使用目标图上的模型预测进行训练。
2022-03-07 cs.LG
Adversarial Training Improves Generalization Under Distribution Shifts in Bird Sound Classification
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所）；Intelligent Embedded Systems (IES)（智能嵌入式系统）
本文针对鸟类声音分类任务，探究对抗训练对分布偏移下泛化能力的影响，发现基于输出空间攻击的对抗训练可提升泛化性能与对抗鲁棒性，该方法或可推广至其他音频分类场景。
2026-08-25 cs.LG
Preventing Failures Due to Dataset Shift: Learning Predictive Models That Transport
Johns Hopkins University（约翰斯·霍普金斯大学）
当训练和目标分布不同时，经典的监督学习会产生不可靠的模型，大多数现有的解决方案需要来自目标域的样本。我们提出了一种积极主动的方法，学习的关系，在训练域，将概括到目标域，通过将先验知识的数据生成过程中，预计会有所不同，在因果选择图中表示。具体来说，我们从联合分解中删除了不稳定机制产生的变量，以产生手术估计-一种对环境差异不变的介入分布。我们证明了手术估计发现稳定的关系，严格的情况下比以前的方法，只考虑条件关系，并证明了这一点在模拟实验。我们还评估真实世界的数据，其中真正的因果关系图是未知的，执行竞争对手完全数据驱动的方法。
2019-02-28 cs.AI cs.LG stat.ML
On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization
Peking University（北京大学）；New York University（纽约大学）
尽管在许多任务中取得了令人印象深刻的成功，但深度学习模型被证明依赖于虚假特征，当推广到分布外（OOD）数据时，这些特征将灾难性地失败。不变风险最小化算法（Invariant Risk Minimization，简称RISK）通过提取面向对象的领域不变特征来解决这一问题。然而，最近的工作表明，双折射仅对特定类型的分布偏移有效（例如，相关偏移）而对于其它情况则失败（例如，多样性转移）。与此同时，另一种方法，对抗训练（AT），表现出更好的域转移性能，这表明它有潜力成为提取域不变特征的有效候选者。本文探讨了这种可能性，通过探索的相似性之间的竞争和AT目标。受这种联系的启发，我们提出了域对抗训练（DAT），这是一种AT启发的方法，用于减轻特定于域的扰动引起的分布偏移。大量的实验表明，我们提出的DAT可以有效地去除领域变化的功能和提高OOD的泛化相关性和多样性的变化。
2022-12-18 cs.LG
Adversarial Learning for Feature Shift Detection and Correction
Stanford University（斯坦福大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of California, Berkeley（加州大学伯克利分校）；Amazon（亚马逊）
提出一种基于对抗学习的特征偏移定位与校正框架，利用多种判别器和迭代启发式方法识别并修复受损特征，性能优于现有统计与神经网络方法。
2023-12-07 cs.AI cs.LG stat.AP
DSRM: Boost Textual Adversarial Training with Distribution Shift Risk Minimization
Fudan University（复旦大学）；Tencent PCG（腾讯平台与内容事业群）
本文提出DSRM方法，通过扰动输入数据的概率分布而非嵌入来估计对抗损失，仅需干净数据即可进行对抗训练，在减少70%时间消耗的同时显著提升了BERT对文本对抗攻击的鲁棒性。
2023-06-27 cs.CL cs.LG
Improving Robustness against Real-World and Worst-Case Distribution Shifts through Decision Region Quantification
University of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Hausdorff Center for Mathematics, University of Bonn（波恩大学豪斯多夫数学中心）；McGill University（麦吉尔大学）；Google Deepmind（谷歌DeepMind）
神经网络的可靠性对于它们在安全关键应用中的使用是至关重要的。现有方法通常旨在提高神经网络对真实世界分布偏移（例如，常见的破坏和扰动、空间变换和自然对抗示例）或最坏情况的分布偏移（例如，优化的对抗性示例）。在这项工作中，我们提出了决策区域量化（DRQ）算法，以提高任何可微的预训练模型对真实世界和最坏情况下的数据分布偏移的鲁棒性。DRQ分析给定数据点附近的局部决策区域的鲁棒性，以做出更可靠的预测。我们从理论上激励DRQ算法，它有效地平滑虚假的决策表面的局部极值。此外，我们提出了一个实现使用有针对性和无针对性的对抗攻击。一项广泛的实证评估表明，DRQ提高了对抗性和非对抗性训练模型对几个计算机视觉基准数据集上真实世界和最坏情况分布偏移的鲁棒性。
2022-05-19 cs.LG
Seasoning Model Soups for Robustness to Adversarial and Natural Distribution Shifts
University of Tübingen（图宾根大学）；DeepMind（深度思维）
对抗性训练被广泛用于使分类器对特定威胁或对手鲁棒，例如给定$p$范数的$\ell_p$范数有界扰动。然而，用于训练对多种威胁鲁棒的分类器的现有方法需要在训练期间了解所有攻击，并且仍然容易受到看不见的分布偏移的影响。在这项工作中，我们描述了如何获得对抗鲁棒的模型汤（即，参数的线性组合），其平滑地权衡对不同$\ell_p$范数有界对手的鲁棒性。我们证明，这种汤允许我们控制鲁棒性的类型和水平，并且可以实现对所有威胁的鲁棒性，而无需对所有威胁进行联合训练。在某些情况下，所得到的模型汤对于给定的$\ell_p$ -范数攻击者比专门针对相同攻击者的组成模型更鲁棒。最后，我们表明，对抗性强的模型汤可以是一个可行的工具，以适应分布偏移从几个例子。
2023-02-20 cs.CV cs.LG
A Few Large Shifts: Layer-Inconsistency Based Minimal Overhead Adversarial Example Detection
United States Military Academy, West Point（美国西点军事学院）
针对深度神经网络易受对抗样本攻击的问题，提出基于层不一致性的轻量即插即用检测器RLT，融合恢复测试与对数几率层测试指标，仅需良性数据拟合，在多数据集上检测性能优异且开销更低。
2026-09-01 cs.LG
OODRobustBench: a Benchmark and Large-Scale Analysis of Adversarial Robustness under Distribution Shift
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）；University of Luxembourg（卢森堡大学）
提出OODRobustBench基准，通过23种数据集偏移和6种威胁偏移对706个模型进行60.7K次评估，发现对抗鲁棒性存在严重OOD泛化问题且与ID鲁棒性正线性相关，并指出需新方法突破现有预测。
2024-06-04 cs.CV cs.LG
Learning Representations Robust to Group Shifts and Adversarial Examples
University of Southern California（南加州大学）；Information Science Institute（信息科学研究所）
尽管深度神经网络在各种任务上实现了高性能，但广泛的研究表明，输入中的小调整可能会使模型预测失败。深度神经网络的这个问题已经导致了许多方法来提高模型的鲁棒性，包括对抗训练和分布式鲁棒优化。虽然这两种方法都是为了学习鲁棒模型，但它们有着本质上不同的动机：对抗训练试图针对扰动来训练深度神经网络，而分布式鲁棒优化旨在提高最困难的“不确定分布”上的模型性能。在这项工作中，我们提出了一个算法，结合对抗训练和组分布鲁棒优化，以提高鲁棒表示学习。在三个图像基准数据集上的实验表明，该方法在不牺牲标准度量的情况下，在鲁棒性度量上取得了优异的结果。
2022-02-18 cs.CV cs.LG
Encoding Robustness to Image Style via Adversarial Feature Perturbations
University of Maryland, College Park（马里兰大学帕克分校）；Fudan University（复旦大学）；New York University（纽约大学）
对抗性训练是产生对小对抗性扰动具有鲁棒性的模型的行业标准。然而，机器学习从业者需要对自然发生的其他类型的变化（例如输入图像的风格或照明的变化）具有鲁棒性的模型。输入分布的这种变化已经被有效地建模为深度图像特征的均值和方差的偏移。我们通过直接扰动特征统计而不是图像像素来适应对抗训练，以产生对各种看不见的分布变化具有鲁棒性的模型。我们通过可视化对抗特征来探索这些扰动和分布变化之间的关系。我们提出的方法，对抗性批量归一化（AdvBN），是一个单一的网络层，在训练过程中产生最坏情况的特征扰动。通过对神经网络的对抗性特征分布进行微调，我们观察到网络对各种看不见的分布变化（包括风格变化和图像损坏）的鲁棒性有所提高。此外，我们表明，我们提出的对抗性特征扰动可以补充现有的图像空间数据增强方法，从而提高性能。源代码和预训练模型在\url{https://github.com/azshue/AdvBN}上发布。
2021-10-31 cs.CV cs.LG
Improving the Generalization of Meta-learning on Unseen Domains via Adversarial Shift
Nanjing University（南京大学）
元学习为学习者提供了一种有效的学习方式，并在许多应用中取得了巨大的成功。然而，大多数元学习文献都集中在处理来自同一领域的任务，这使得它很难推广到其他未知领域的任务。在这项工作中，我们解决这个问题，模拟任务从其他看不见的领域，以提高元学习方法的泛化和鲁棒性。具体来说，我们提出了一个与模型无关的转换层来学习如何模拟领域转换并生成伪任务，并开发了一种新的对抗性学习机制来训练它，基于伪任务，元学习模型可以学习跨领域的元知识，可以很好地推广到未知领域。我们进行了广泛的实验下的领域泛化设置。实验结果表明，该方法适用于各种元学习框架。此外，我们的方法也导致国家的最先进的性能在不同的跨域Few-Shot分类基准，并产生良好的结果跨域Few-Shot回归。
2021-07-23 cs.CV cs.LG
Causal Discovery in Heterogeneous Environments Under the Sparse Mechanism Shift Hypothesis
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
机器学习方法通常依赖于独立同分布（i.i.d.）数据然而，实际上，由于环境之间的分布偏移，几乎总是违反这一假设。虽然有价值的学习信号可以由来自变化的分布的异构数据提供，但也知道在任意（对抗性）变化下的学习是不可能的。因果关系为分布偏移建模提供了一个有用的框架，因为因果模型对观察分布和干预分布都进行了编码。在这项工作中，我们探讨了稀疏机制转移假设，假设分布偏移发生由于少量的变化的因果条件。受此启发，我们将其应用于从异构环境中学习因果结构，其中i.i.d.数据仅允许学习图的等价类而没有限制性假设。我们提出了机制转移分数（MSS），一个基于分数的方法，适合各种经验估计，可证明识别整个因果结构的概率高，如果稀疏的机制转移假设成立。从经验上讲，我们验证了理论预测的行为，并比较了多个估计量和评分函数，以确定实践中的最佳方法。与其他方法相比，我们展示了MSS如何通过非参数以及明确利用稀疏变化来弥合差距。
2022-10-15 cs.AI cs.LG stat.ME
Certifying Model Accuracy under Distribution Shifts
University of Maryland（马里兰大学）
本文提出在有界 Wasserstein 分布偏移下认证模型准确率的随机化框架，支持逐样本变化的扰动预算，并用于自然图像变换、对抗分布偏移及不可学习投毒数据集的性能下界证明。
2023-07-16 cs.LG
Adversarial Unsupervised Domain Adaptation with Conditional and Label Shift: Infer, Align and Iterate
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Southern California（南加州大学）
在这项工作中，我们提出了一个对抗性的无监督领域自适应（UDA）方法与固有的条件和标签偏移，我们的目标是对齐的分布w.r.t. $p(x|y)$和$p(y)$。由于标签在目标域中不可访问，因此常规对抗性UDA假设$p(y)$跨域不变，并且依赖于比对$p(x)$作为$p(x|y)$比对的替代。为了解决这个问题，我们提供了一个彻底的理论和经验分析的传统对抗UDA方法下的条件和标签偏移，并提出了一个新的和实用的替代优化方案对抗UDA。具体来说，我们推断边缘$p(y)$和对齐$p(x|y)$迭代训练，并精确对齐后$p(y|x)$在测试中。我们的实验结果表明，它的有效性分类和分割UDA，部分UDA。
2021-08-02 cs.AI cs.CV cs.LG
Recent Advances in Reliable Deep Graph Learning: Inherent Noise, Distribution Shift, and Adversarial Attack
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本综述全面回顾了深度图学习在应对固有噪声、分布偏移和对抗攻击方面的可靠性提升方法，并探讨了这些威胁间的关联及未来研究方向。
2023-05-08 cs.CR cs.IR cs.LG
Managing dataset shift by adversarial validation for credit scoring
Beihang University（北京航空航天大学）；HuaRong RongTong (Beijing) Technology Co., Ltd（华融融通（北京）科技有限公司）
数据集移位在信用评分场景中很常见，训练数据的分布与实际需要预测的数据不一致，很可能导致模型性能不佳。然而，目前的大多数研究都没有考虑到这一点，它们在训练模型时直接混合了不同时间段的数据。这带来两个问题。首先，存在数据泄露的风险，即，用未来的数据来预测过去这可能会导致离线验证的结果膨胀，但在实际应用中的结果并不令人满意。其次，不同时间段的宏观经济环境和风险控制策略可能不同，借款人的行为模式也可能发生变化。用过去的数据训练的模型可能不适用于最近的阶段。因此，我们提出了一种基于对抗验证的方法来缓解信用评分场景中的数据集转移问题。在该方法中，选择与预测数据分布最接近的部分训练集样本进行对抗验证，以确保训练模型对预测样本的泛化性能。此外，通过简单的拼接方法，将训练数据中与测试数据分布不一致的样本也参与到交叉验证的训练过程中，充分利用了所有数据，进一步提高了模型性能。为了验证该方法的有效性，与其他几种数据分裂方法进行了对比实验与Lending Club提供的数据。实验结果证明了数据集移位在信用评分领域的重要性和所提方法的优越性。
2021-12-19 cs.LG
Invariant Graph Representations for Continuous-Time Dynamic Graphs Under Distribution Shifts
Beijing Institue of Technology（北京理工大学）；Southeast University（东南大学）；Wuhan University（武汉大学）
针对连续时间动态图在分布外场景下鲁棒性不足的问题，提出基于结构因果模型ICCM的框架CIR，利用归一化加权几何平均近似干预预测，通过子图提取器和环境记忆库捕获不变模式，实验表明其优于现有方法。
2026-06-24 cs.AI cs.LG
MIRANDA: MId-feature RANk-adversarial Domain Adaptation toward climate change-robust ecological forecasting with deep learning
DM 3 L, UZH, Zurich, Switzerland（苏黎世大学DM3L实验室，瑞士苏黎世）
本文提出MIRANDA方法，通过中间特征排名对抗策略提升深度学习在气候变化下的域适应鲁棒性，缩小与机制模型的性能差距。
2026-04-01 cs.LG
Out-of-Distribution Generalized Dynamic Graph Neural Network with Disentangled Intervention and Invariance Promotion
Tsinghua University（清华大学）
针对动态图中存在的时空分布偏移导致现有DyGNNs泛化性差的问题，提出I-DIDA模型，通过解耦时空注意力、干预机制和不变性提升挖掘稳定不变模式，在分布偏移场景下性能优于现有基线，为首篇相关研究。
2024-03-08 cs.LG
VISAT: Benchmarking Adversarial and Distribution Shift Robustness in Traffic Sign Recognition with Visual Attributes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Brown University（布朗大学）；William & Mary（威廉与玛丽学院）
本文提出VISAT数据集与基准测试套件，基于MTSD构建对抗攻击与分布偏移基准，利用PGD和ImageNet-C评估ResNet-152与ViT-B/32等基础及多任务模型鲁棒性，揭示MTL任务间虚假相关性，促进自动驾驶鲁棒模型开发。
2025-10-29 cs.AI cs.CR cs.LG
Non-adversarial Robustness of Deep Learning Methods for Computer Vision
The Institute of Artificial Intelligence Research and Development of Serbia（塞尔维亚人工智能研发研究所）；Faculty of Technical Sciences, University of Novi Sad（诺维萨德大学技术科学学院）
本文综述了提升计算机视觉深度学习模型非对抗性鲁棒性的最新技术，总结了常用基准数据集，并分析了各方法的优势、局限及总体趋势。
2023-05-24 cs.CV cs.LG
Adversarial Monte Carlo Meta-Learning of Optimal Prediction Procedures
University of Washington（华盛顿大学）；Kaiser Permanente Division of Research（凯撒永久医疗研究部）
我们将预测过程的元学习定义为在两人游戏中寻找最优策略。在这个游戏中，自然选择一个先验分布，生成由特征和相关结果组成的标记数据，预测器观察从这个先验分布中抽取的数据。预测器的目标是学习一个函数，该函数将新特征映射到相关结果的估计值。我们建立，在合理的条件下，预测有一个最佳的策略，是等变的结果的移位和重新缩放，是不变的观察和移位，重新缩放，和排列的功能。我们引入一个神经网络架构，满足这些属性。该策略在参数和非参数实验中的表现优于标准实践。
2020-09-25 cs.LG stat.CO stat.ML
