DSRM: Boost Textual Adversarial Training with Distribution Shift Risk Minimization
Fudan University（复旦大学）；Tencent PCG（腾讯平台与内容事业群）
本文提出DSRM方法，通过扰动输入数据的概率分布而非嵌入来估计对抗损失，仅需干净数据即可进行对抗训练，在减少70%时间消耗的同时显著提升了BERT对文本对抗攻击的鲁棒性。
2023-06-27 cs.CL cs.LG
Adversarial Attack Based on Prediction-Correction
Sun Yat-sen University（中山大学）
本文揭示基于梯度的对抗攻击与 ODE 数值解法的联系，提出可嵌入现有梯度攻击的预测-校正框架，提升攻击成功率与跨模型可迁移性。
2023-06-02 cs.AI cs.CR cs.CV
Seasoning Model Soups for Robustness to Adversarial and Natural Distribution Shifts
University of Tübingen（图宾根大学）；DeepMind（深度思维）
对抗性训练被广泛用于使分类器对特定威胁或对手鲁棒，例如给定$p$范数的$\ell_p$范数有界扰动。然而，用于训练对多种威胁鲁棒的分类器的现有方法需要在训练期间了解所有攻击，并且仍然容易受到看不见的分布偏移的影响。在这项工作中，我们描述了如何获得对抗鲁棒的模型汤（即，参数的线性组合），其平滑地权衡对不同$\ell_p$范数有界对手的鲁棒性。我们证明，这种汤允许我们控制鲁棒性的类型和水平，并且可以实现对所有威胁的鲁棒性，而无需对所有威胁进行联合训练。在某些情况下，所得到的模型汤对于给定的$\ell_p$ -范数攻击者比专门针对相同攻击者的组成模型更鲁棒。最后，我们表明，对抗性强的模型汤可以是一个可行的工具，以适应分布偏移从几个例子。
2023-02-20 cs.CV cs.LG
OODRobustBench: a Benchmark and Large-Scale Analysis of Adversarial Robustness under Distribution Shift
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）；University of Luxembourg（卢森堡大学）
提出OODRobustBench基准，通过23种数据集偏移和6种威胁偏移对706个模型进行60.7K次评估，发现对抗鲁棒性存在严重OOD泛化问题且与ID鲁棒性正线性相关，并指出需新方法突破现有预测。
2024-06-04 cs.CV cs.LG
CMR motion artifact correction using generative adversarial nets
Research Institute of Information Technology.Tsinghua University（清华大学信息技术研究院）；Automation School.Beijing University of Posts and Telecommunications（北京邮电大学自动化学院）；MRI Center.Fuwai Hospital.Chinese Academy of Medical Science（中国医学科学院阜外医院MRI中心）
心血管磁共振（Cardiovascular Magnetic Resonance，CMR）在心血管疾病的诊断和治疗中发挥着重要作用，而CMR扫描过程中形成的运动伪影严重影响医生对病灶的准确定位。目前的校正方法主要集中在K空间，这是一个网格的原始数据直接从MR信号，然后转移到CMR图像通过逆傅立叶变换。它们既不有效也不高效，不能用于临床。在本文中，我们提出了一种使用深度学习进行CMR运动伪影校正的新方法。特别地，我们使用深度残差网络（ResNet）作为网络框架，并以对抗的方式对我们的模型进行训练。我们的方法的动机是图像运动模糊和CMR运动伪影之间的联系，因此我们可以将深度学习已经取得很大进展的运动去模糊方法成功地转移到CMR运动校正。为了评估运动伪影校正方法，我们提出了一种新的算法，如何通过去模糊算法改善边缘检测结果。在深度学习和对抗训练算法的推动下，我们的模型可以端到端的方式训练，可以实时测试，并实现CMR校正的最新结果。
2019-02-21 cs.CV cs.LG
VISAT: Benchmarking Adversarial and Distribution Shift Robustness in Traffic Sign Recognition with Visual Attributes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Brown University（布朗大学）；William & Mary（威廉与玛丽学院）
本文提出VISAT数据集与基准测试套件，基于MTSD构建对抗攻击与分布偏移基准，利用PGD和ImageNet-C评估ResNet-152与ViT-B/32等基础及多任务模型鲁棒性，揭示MTL任务间虚假相关性，促进自动驾驶鲁棒模型开发。
2025-10-29 cs.AI cs.CR cs.LG
On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization
Peking University（北京大学）；New York University（纽约大学）
尽管在许多任务中取得了令人印象深刻的成功，但深度学习模型被证明依赖于虚假特征，当推广到分布外（OOD）数据时，这些特征将灾难性地失败。不变风险最小化算法（Invariant Risk Minimization，简称RISK）通过提取面向对象的领域不变特征来解决这一问题。然而，最近的工作表明，双折射仅对特定类型的分布偏移有效（例如，相关偏移）而对于其它情况则失败（例如，多样性转移）。与此同时，另一种方法，对抗训练（AT），表现出更好的域转移性能，这表明它有潜力成为提取域不变特征的有效候选者。本文探讨了这种可能性，通过探索的相似性之间的竞争和AT目标。受这种联系的启发，我们提出了域对抗训练（DAT），这是一种AT启发的方法，用于减轻特定于域的扰动引起的分布偏移。大量的实验表明，我们提出的DAT可以有效地去除领域变化的功能和提高OOD的泛化相关性和多样性的变化。
2022-12-18 cs.LG
Encoding Robustness to Image Style via Adversarial Feature Perturbations
University of Maryland, College Park（马里兰大学帕克分校）；Fudan University（复旦大学）；New York University（纽约大学）
对抗性训练是产生对小对抗性扰动具有鲁棒性的模型的行业标准。然而，机器学习从业者需要对自然发生的其他类型的变化（例如输入图像的风格或照明的变化）具有鲁棒性的模型。输入分布的这种变化已经被有效地建模为深度图像特征的均值和方差的偏移。我们通过直接扰动特征统计而不是图像像素来适应对抗训练，以产生对各种看不见的分布变化具有鲁棒性的模型。我们通过可视化对抗特征来探索这些扰动和分布变化之间的关系。我们提出的方法，对抗性批量归一化（AdvBN），是一个单一的网络层，在训练过程中产生最坏情况的特征扰动。通过对神经网络的对抗性特征分布进行微调，我们观察到网络对各种看不见的分布变化（包括风格变化和图像损坏）的鲁棒性有所提高。此外，我们表明，我们提出的对抗性特征扰动可以补充现有的图像空间数据增强方法，从而提高性能。源代码和预训练模型在\url{https://github.com/azshue/AdvBN}上发布。
2021-10-31 cs.CV cs.LG
Recent Advances in Reliable Deep Graph Learning: Inherent Noise, Distribution Shift, and Adversarial Attack
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本综述全面回顾了深度图学习在应对固有噪声、分布偏移和对抗攻击方面的可靠性提升方法，并探讨了这些威胁间的关联及未来研究方向。
2023-05-08 cs.CR cs.IR cs.LG
Can We Leverage Predictive Uncertainty to Detect Dataset Shift and Adversarial Examples in Android Malware Detection?
检测恶意软件（malware）的深度学习方法很有前途，但尚未解决数据集偏移的问题，即与测试集相关联的示例及其标签的联合分布与训练集的不同。这个问题会导致深度学习模型在用户未察觉的情况下退化。为了缓解这个问题，一种方法是让分类器不仅预测给定示例上的标签，而且还在预测的标签上呈现其不确定性（或置信度），从而防御者可以决定是否使用预测的标签。虽然直观和明显的重要性，这种方法的能力和局限性还没有得到很好的理解。在本文中，我们进行了实证研究，以评估恶意软件检测器的预测不确定性的质量。具体来说，我们重新设计和构建了24个Android恶意软件检测器（通过使用6种校准方法改造4个现成的检测器），并使用9个指标量化其不确定性，其中包括3个处理数据不平衡的指标。我们的主要发现是：（i）预测不确定性确实有助于在存在数据集移位的情况下实现可靠的恶意软件检测，但不能应对对抗性逃避攻击;（ii）近似贝叶斯方法有望校准和推广恶意软件检测器以应对数据集移位，但不能应对对抗性逃避攻击;（iii）对抗性规避攻击可以使校准方法无用，并且量化与对抗性示例的预测标签相关联的不确定性是一个开放的问题（即，使用预测不确定性来检测对抗性示例是无效的）。
2021-10-20 cs.CR stat.ML
Generalizability of Adversarial Robustness Under Distribution Shifts
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
该研究探究分布偏移下经验与认证对抗鲁棒性的泛化性，发现两类鲁棒性可泛化到未见领域且泛化水平与领域视觉相似度相关性弱，还验证了对抗增强在医疗场景中提升鲁棒泛化的效果。
2023-11-07 cs.AI cs.CV cs.LG
Improving Robustness against Real-World and Worst-Case Distribution Shifts through Decision Region Quantification
University of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Hausdorff Center for Mathematics, University of Bonn（波恩大学豪斯多夫数学中心）；McGill University（麦吉尔大学）；Google Deepmind（谷歌DeepMind）
神经网络的可靠性对于它们在安全关键应用中的使用是至关重要的。现有方法通常旨在提高神经网络对真实世界分布偏移（例如，常见的破坏和扰动、空间变换和自然对抗示例）或最坏情况的分布偏移（例如，优化的对抗性示例）。在这项工作中，我们提出了决策区域量化（DRQ）算法，以提高任何可微的预训练模型对真实世界和最坏情况下的数据分布偏移的鲁棒性。DRQ分析给定数据点附近的局部决策区域的鲁棒性，以做出更可靠的预测。我们从理论上激励DRQ算法，它有效地平滑虚假的决策表面的局部极值。此外，我们提出了一个实现使用有针对性和无针对性的对抗攻击。一项广泛的实证评估表明，DRQ提高了对抗性和非对抗性训练模型对几个计算机视觉基准数据集上真实世界和最坏情况分布偏移的鲁棒性。
2022-05-19 cs.LG
Towards Calibrated Losses for Adversarial Robust Reject Option Classification
IIIT Hyderabad（印度国际信息技术研究院（海得拉巴））
本文研究对抗扰动且允许弃权（不执行）预测场景下的分类问题，提出对抗鲁棒拒绝选项损失，给出替代损失的校准表征，并证明 Shifted DRL 和 DSL 满足校准条件且具有鲁棒性。
2024-10-14 cs.LG stat.ML
Imperceptible Adversarial Examples by Spatial Chroma-Shift
Middle East Technical University（中东技术大学）
深度神经网络已被证明容易受到各种对抗性扰动的影响。除了广泛研究的基于加性噪声的扰动之外，还可以通过在输入图像上应用每个像素的空间漂移来创建对抗性示例。虽然基于空间变换的对抗性示例由于没有加性噪声而对人类观察者来说看起来更自然，但它们仍然具有由空间变换引起的可见失真。由于人类的视觉是更敏感的失真亮度相比，在色度通道，这是背后的有损视觉多媒体压缩标准的主要思想之一，我们提出了一个基于空间变换的扰动方法创建对抗的例子，只修改输入图像的颜色分量。虽然在CIFAR-10和NIPS 2017对抗学习挑战数据集上具有有竞争力的欺骗率，但使用所提出的方法创建的示例在各种感知质量指标方面具有更好的分数。人类视觉感知研究证实，这些例子看起来更自然，通常与原始的对应物无法区分。
2021-09-02 cs.AI cs.CV
TADA: Temporal Adversarial Data Augmentation for Time Series Data
Medical AI Co. Ltd.（医疗人工智能有限公司）
针对时间序列数据中传统对抗数据增强无法处理时间特征分布偏移的问题，提出TADA方法，利用频域相移与时域时间移位的对偶性将时间规整引入ADA使其可微，实验证明其优于现有方法并能有效模拟真实分布偏移。
2024-10-15 cs.AI cs.LG eess.SP
Adversarially Trained Object Detector for Unsupervised Domain Adaptation
Chiba University（千叶大学）
本文提出将源域对抗训练用于目标检测的无监督域适应，并结合特征对齐，在大幅真实到艺术域偏移的四个基准上显著提升mAP。
2021-11-25 cs.AI cs.CV cs.LG
A Few Large Shifts: Layer-Inconsistency Based Minimal Overhead Adversarial Example Detection
United States Military Academy, West Point（美国西点军事学院）
针对深度神经网络易受对抗样本攻击的问题，提出基于层不一致性的轻量即插即用检测器RLT，融合恢复测试与对数几率层测试指标，仅需良性数据拟合，在多数据集上检测性能优异且开销更低。
2026-09-01 cs.LG
Enhancing Quantum Adversarial Robustness by Randomized Encodings
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
量子物理学和机器学习之间的相互作用产生了量子机器学习的新兴前沿，先进的量子学习模型在解决某些具有挑战性的问题时可能优于经典模型。然而，量子学习系统容易受到对抗性攻击：在合法输入样本上添加精心制作的微小扰动可能会导致错误分类。为了解决这个问题，我们提出了一个通用的方案来保护量子学习系统免受对抗性攻击，通过酉或量子纠错编码器随机编码合法的数据样本。特别是，我们严格证明了全球和本地随机酉编码器导致指数消失的梯度（即贫瘠的高原）的任何变分量子线路，旨在增加对抗扰动，独立于输入数据和内部结构的对抗电路和量子分类器。此外，我们证明了量子分类器在局部酉对抗攻击下的脆弱性的严格界限。我们表明，随机黑盒量子纠错编码器可以保护量子分类器免受本地对抗性噪声和他们的鲁棒性增加，因为我们级联纠错码。为了量化鲁棒性增强，我们采用量子差分隐私作为量子分类器预测稳定性的度量。我们的研究结果为量子分类器建立了对抗性扰动的通用防御策略，为提高近期和未来量子学习技术的可靠性和安全性提供了有价值的指导。
2022-12-05 cond-mat.dis-nn cs.AI cs.LG
Towards an Adversarially Robust Normalization Approach
Kyung-He University（庆熙大学）；Information Technology University（信息技术大学）
批量归一化（BatchNorm）对于提高深度神经网络的性能和加速训练是有效的。然而，它也被证明是对抗脆弱性的一个原因，即，没有它的网络对对抗攻击更健壮。在本文中，我们研究了BatchNorm如何导致这种漏洞，并提出了新的规范化，对对抗攻击具有鲁棒性。我们首先观察到对抗图像倾向于改变BatchNorm输入的分布，这种改变使得训练时估计的人口统计数据不准确。我们假设这些不准确的统计数据使BatchNorm模型更容易受到对抗攻击。我们证明了我们的假设，取代训练时间估计的统计数据与统计计算的推断时间批次。我们发现，如果我们使用这些统计数据，BatchNorm的对抗性脆弱性就会消失。但是，如果没有估计的批次统计数据，我们就不能在实践中使用BatchNorm。为了减轻这种情况，我们提出了鲁棒归一化（RobustNorm）; BatchNorm的一个对抗性鲁棒版本。我们的实验表明，使用RobustNorm训练的模型在对抗环境中表现更好，同时保留了BatchNorm的所有优点。代码可在\url{https://github.com/awaisrauf/RobustNorm}上获得。
2020-06-19 cs.LG stat.ML
A Three-Axis Stress Test of LLM vs Classical ML for Network Intrusion Detection under Distribution Shift and Adversarial Evasion
本研究通过同数据集、跨数据集和对抗性规避三轴测试，发现XGBoost与RoBERTa-LoRA在网络入侵检测中各有胜负，强调需多轴多指标评估模型。
2026-09-15 cs.AI cs.CR cs.LG
Certifying Model Accuracy under Distribution Shifts
University of Maryland（马里兰大学）
本文提出在有界 Wasserstein 分布偏移下认证模型准确率的随机化框架，支持逐样本变化的扰动预算，并用于自然图像变换、对抗分布偏移及不可学习投毒数据集的性能下界证明。
2023-07-16 cs.LG
Annealing Self-Distillation Rectification Improves Adversarial Training
National Taiwan University（台湾大学）
针对标准对抗训练中因忽略扰动分布偏移导致的鲁棒过拟合问题，提出退火自蒸馏校正方法，用软标签引导训练以提升鲁棒性，可即插即用且无需额外预训练和大量计算，经多数据集实验验证有效。
2024-04-13 cs.AI cs.LG
Non-adversarial Robustness of Deep Learning Methods for Computer Vision
The Institute of Artificial Intelligence Research and Development of Serbia（塞尔维亚人工智能研发研究所）；Faculty of Technical Sciences, University of Novi Sad（诺维萨德大学技术科学学院）
本文综述了提升计算机视觉深度学习模型非对抗性鲁棒性的最新技术，总结了常用基准数据集，并分析了各方法的优势、局限及总体趋势。
2023-05-24 cs.CV cs.LG
ECG-ATK-GAN: Robustness against Adversarial Attacks on ECGs using Conditional Generative Adversarial Networks
University of Nevada, Reno（内华达大学里诺分校）；Fudan University（复旦大学）
从ECG自动检测心律失常需要一个强大且可靠的系统，该系统在电气干扰下保持高精度。许多机器学习方法在分类ECG心律失常方面已经达到了人类水平的性能。然而，这些架构容易受到对抗性攻击，这可能会通过降低模型的准确性来错误分类ECG信号。对抗性攻击是在原始数据中注入的精心制作的小扰动，它表现出信号中的分布偏移，从而对正确的类进行错误分类。因此，出现了安全问题的虚假住院和保险欺诈滥用这些扰动。为了解决这个问题，我们引入了第一个新的条件生成对抗网络（GAN），对对抗攻击的ECG信号具有鲁棒性，并保持高精度。我们的架构集成了一个新的类加权目标函数，用于对抗性扰动识别和新的块，用于识别和组合学习过程中信号的分布偏移，以准确分类各种心律失常类型。此外，我们基准我们的架构上六个不同的白盒和黑盒攻击，并将它们与其他最近提出的心律失常分类模型在两个公开的ECG心律失常数据集。实验证实，我们的模型是更强大的对抗这种对抗性攻击分类心律失常的准确性高。
2022-08-25 cs.AI cs.LG eess.SP
Dual Adversarial Alignment for Realistic Support-Query Shift Few-shot Learning
Huizhou University（惠州学院）；National Taiwan University（台湾大学）
针对现实支持-查询偏移小样本学习，提出双对抗对齐框架（DuaL），通过域间偏差修复和域内方差生成对抗样本，显著提升基准性能。
2023-09-05 cs.AI cs.CV
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick（利默里克大学）；Computer Science and Information Systems（计算机科学与信息系统）
针对对抗训练存在的干净样本泛化差、类别性能失衡问题，研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性，同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
Gender Bias and Universal Substitution Adversarial Attacks on Grammatical Error Correction Systems for Automated Assessment
University of Cambridge（剑桥大学）
语法错误纠正（GEC）系统执行序列到序列任务，其中包含语法错误的输入词序列由GEC系统纠正这些错误，以输出语法正确的词序列。随着深度学习方法的出现，自动化GEC系统变得越来越流行。例如，GEC系统通常用于英语学习者的语音翻译，作为评估和反馈的一种形式-这些功能强大的GEC系统可以用于自动测量候选人流利程度的一个方面。从候选人的输入句子（或文章）到GEC系统的语法校正的输出句子的\textit{edits}的计数指示候选人的语言能力，其中较少的编辑表明更好的流利性。因此，编辑的计数可以被视为\textit{fluency score}，其中零表示完美的流畅性。然而，尽管基于深度学习的GEC系统非常强大和准确，但它们容易受到对抗攻击的影响：对手可以在系统的输入处引入小的特定变化，从而在输出处引起大的不期望的变化。当考虑将GEC系统应用于自动语言评估时，对手的目的可能是通过对语法不正确的输入句子进行小的更改来欺骗，从而隐藏GEC系统的错误，这样就不会发现编辑，并且候选人被不公正地授予完美的流利度分数。这项工作研究了一个简单的通用替代对抗攻击，非英语母语的人可以实际上采用欺骗GEC系统用于评估。
2022-08-19 cs.CL cs.CY cs.LG
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
批量归一化（BN）由于改进了收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN提高了模型的准确性，同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说，准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提出了实证证据，支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变，我们提出了一个框架，用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解，例如DNN首先主要学习RF，然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Universal Pyramid Adversarial Training for Improved ViT Performance
University of Maryland - College Park（马里兰大学帕克分校）；Meta AI
提出通用金字塔对抗训练，通过共享单一对抗模式降低计算成本达70%，同时保留ViT的干净准确率和分布偏移鲁棒性，并首次发现其可提升干净模型性能。
2023-12-26 cs.CV cs.LG
Out-of-Distribution Data: An Acquaintance of Adversarial Examples -- A Survey
The University of Sydney（悉尼大学）；The University of New South Wales（新南威尔士大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文综述 OOD 数据与对抗样本的交叉研究，提出基于分布偏移的分类体系，梳理鲁棒 OOD 检测与统一鲁棒性方法，并指出局限与未来方向。
2024-04-08 cs.LG
ALIGN: Adversarial Learning for Generalizable Speech Neuroprosthesis
本文提出ALIGN框架，通过多域对抗神经网络实现跨会话适应，提升脑机接口在新会话中的语音解码性能。
2026-03-18 cs.LG cs.NE cs.SD
Learning Under Adversarial and Interventional Shifts
New York University（纽约大学）；Harvard University（哈佛大学）
机器学习模型通常在来自一个分布的数据上进行训练，并部署在其他分布上。因此，设计对分布偏移具有鲁棒性的模型变得非常重要。大多数现有的工作集中在优化对抗性转变或干预性转变。对抗性方法在表示合理的变化时缺乏表现力，因为它们考虑了数据中联合分布的变化。干预方法允许更多的表达，但提供了鲁棒性无限的变化，导致过于保守的模型。在这项工作中，我们结合了这两种方法的互补优势，并提出了一个新的配方，RISe，设计强大的模型对一组分布偏移，在交叉的对抗和干预的转变。我们采用分布式鲁棒优化框架来优化监督和强化学习设置中的最终目标。对来自医疗保健的合成和真实世界数据集的广泛实验证明了所提出的方法的有效性。
2021-03-29 cs.LG stat.ML
AdCorDA: Classifier Refinement via Adversarial Correction and Domain Adaptation
McGill University（麦吉尔大学）
本文提出AdCorDA分类器精炼方法，通过对抗校正修正训练集错分类样本、再经域适应还原，在CIFAR-100上准确率提升超5%，还可提升量化网络性能与模型对抗鲁棒性。
2024-01-24 cs.AI cs.CV cs.LG
On Target Shift in Adversarial Domain Adaptation
Duke University（杜克大学）
训练域和测试域之间的不一致性是机器学习技术推广中的一个基本问题。最近，已经提出了几种方法来通过对抗性深度学习来学习域不变特征表示。然而，标签转移，其中每个类别中的数据的百分比是不同的域之间，受到较少的关注。标签转换在许多情况下自然会出现，特别是在行为研究中，行为是自由选择的。在这项工作中，我们提出了一种名为Domain Adversarial nets for Target Shift（DATS）的方法，用于在学习域不变表示的同时解决标签移位问题。这是通过使用分布匹配来估计盲测试集中的标签比例来实现的。我们扩展这个框架来处理多个域，通过开发一个计划来增加源域最相似的目标域。实验结果表明，该框架在大的标签移位下表现良好，具有一定的实用价值。
2019-03-15 cs.LG stat.ML
Adversarial Grammatical Error Correction
Grammarly（Grammarly（ Grammarly公司））
最近的语法纠错（GEC）工作利用了神经机器翻译（NMT）的进展，从语法错误和纠正的句子的并行语料库中学习重写，实现了最先进的结果。与此同时，生成对抗网络（GANs）通过学习直接最小化人类生成文本和合成文本之间的差异，成功地在许多不同的任务中生成了逼真的文本。在这项工作中，我们提出了一个对抗性的学习方法，GEC，使用生成器的框架。生成器是一个Transformer模型，经过训练可以生成语法正确的句子。该模型是一个双对分类模型，用于根据语法纠正的质量来判断给定的一对语法错误-正确的句子。我们在并行文本上对生成器和生成器进行预训练，然后使用策略梯度方法进一步微调它们，该方法为可能是语法错误文本的真正纠正的句子分配高奖励。在FCE、CoNLL-14和EEE-19数据集上的实验结果表明，与基于NMT的基线相比，Adversarial-GEC可以实现具有竞争力的GEC质量。
2020-10-06 cs.AI cs.CL cs.LG
Continual Reinforcement Learning with Diversity Exploration and Adversarial Self-Correction
Monash University（莫纳什大学）；South China University of Technology（华南理工大学）
深度强化学习在物理控制、自动驾驶等连续控制领域取得了重大进展。然而，由于灾难性遗忘，对于强化模型来说，顺序地为每个任务学习策略是具有挑战性的。具体来说，模型在接受新任务训练时会忘记过去学到的知识。我们从两个角度考虑这一挑战：i）由于任务信息和奖励不高度相关，因此获取特定任务的技能是困难的; ii）在连续控制域中，从以前的经验中学习知识是困难的。在本文中，我们介绍了一个端到端的框架，即连续多样性对抗网络（CDAN）。我们首先开发了一种无监督的多样性探索方法，使用无监督的目标来学习特定于任务的技能。然后，我们提出了一种对抗性的自我纠正机制，通过利用过去的经验来学习知识。这两个学习过程大概是相互的。为了评估所提出的方法，我们提出了一个新的连续强化学习环境命名为连续蚂蚁迷宫（CAM）和一个新的度量标准，称为归一化最短距离（NSD）。实验结果证实了多样性探索和自校正的有效性。值得注意的是，我们的最终结果在NSD方面比基线高出18.35%，在平均奖励方面高出0.61。
2019-06-21 cs.AI cs.LG cs.RO
Adversarial Imitation Learning with Trajectorial Augmentation and Correction
Imperial College London（伦敦帝国学院）
深度模仿学习需要大量的专家演示，这些演示并不总是容易获得的，尤其是对于复杂的任务。克服这种标签短缺的一种方法是通过数据增强。然而，由于问题的连续性，这不能容易地应用于控制任务。在这项工作中，我们引入了一种新的增强方法，它保留了增强轨迹的成功。为了实现这一点，我们引入了一个半监督校正网络，旨在纠正扭曲的专家行动。为了充分测试校正网络的能力，我们开发了一个对抗性的数据增强仿真架构，使用合成专家训练模仿代理。此外，我们引入了一个度量来衡量轨迹数据集的多样性。实验结果表明，我们的数据增强策略可以提高对抗性模仿的精度和收敛时间，同时保持生成的轨迹和真实轨迹之间的多样性。
2021-03-26 cs.LG
Adversarial Detection and Correction by Matching Prediction Distributions
Seldon Technologies Ltd（塞尔登科技有限公司）
提出了一种新的机器学习分类器的对抗性检测和校正方法，该检测器由一个自动编码器组成，该编码器使用基于原始和重建实例上分类器预测之间的Kullback-Leibler偏差的自定义损失函数进行训练，该方法是无监督的，易于训练，并且不需要任何关于潜在攻击的知识.该检测器几乎完全中和了MNIST和Fashion-MNIST上的Carlini-Wagner或SLIDE等强大攻击，并且当攻击被授予完全访问分类模型而不是防御时，对CIFAR-10仍然非常有效。我们表明，我们的方法仍然能够检测对抗性的例子，在白盒攻击的情况下，攻击者有充分的知识的模型和防御，并调查攻击的鲁棒性。该方法是非常灵活的，也可以用来检测常见的数据损坏和扰动的负面影响模型的性能。我们在CIFAR-10-C数据集上说明了这种能力。
2020-02-21 cs.LG stat.ML
Adversarial Unsupervised Domain Adaptation with Conditional and Label Shift: Infer, Align and Iterate
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Southern California（南加州大学）
在这项工作中，我们提出了一个对抗性的无监督领域自适应（UDA）方法与固有的条件和标签偏移，我们的目标是对齐的分布w.r.t. $p(x|y)$和$p(y)$。由于标签在目标域中不可访问，因此常规对抗性UDA假设$p(y)$跨域不变，并且依赖于比对$p(x)$作为$p(x|y)$比对的替代。为了解决这个问题，我们提供了一个彻底的理论和经验分析的传统对抗UDA方法下的条件和标签偏移，并提出了一个新的和实用的替代优化方案对抗UDA。具体来说，我们推断边缘$p(y)$和对齐$p(x|y)$迭代训练，并精确对齐后$p(y|x)$在测试中。我们的实验结果表明，它的有效性分类和分割UDA，部分UDA。
2021-08-02 cs.AI cs.CV cs.LG
Shift-Robust Node Classification via Graph Adversarial Clustering
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；KAIST（韩国科学技术院）；Emory University（埃默里大学）
图神经网络（GNN）是图结构数据中的节点分类模型。然而，在测试时间期间，这些算法假设没有数据移位，即，$\Pr_\text{train}(X,Y) = \Pr_\text{test}(X,Y)$。域自适应方法可以用于数据转移，但它们中的大多数被设计为仅鼓励源数据和目标数据之间的相似特征分布。类上的条件转移仍然会影响这种适应。幸运的是，图在不同的数据分布中产生图同构。作为回应，我们提出了移位鲁棒节点分类（SRNC），以解决这些限制。我们在目标图上引入一个无监督的聚类GNN，根据图的同质性对相似的节点进行分组。在聚类目标上使用了带有源图标签信息的对抗损失。然后在聚类GNN生成的训练图和目标图上的对抗样本上分别优化了一个具有平移鲁棒性的分类器。我们分别对开集移位和表示移位进行了实验，实验结果证明了SRNC在推广到具有数据移位的测试图上的优越精度。SRNC始终优于先前的图上的SoTA域自适应算法，该算法逐步使用目标图上的模型预测进行训练。
2022-03-07 cs.LG
Addressing target shift in zero-shot learning using grouped adversarial learning
IBM Research（IBM研究院）；IIT Kharagpur（印度理工学院克勒格布尔分校）
零样本学习（Zero-shot learning，缩写为ZRL）算法通常通过利用属性相关性来工作，以便能够在看不见的类中进行预测。然而，在大多数实际设置中，这些相关性在测试时并不保持完整，并且这些相关性的结果变化导致对零样本学习性能的不利影响。在本文中，我们提出了一个新的范式，用于CNOL：（i）利用看不见的类的类属性映射来估计目标分布的变化（目标转移），以及（ii）提出了一种称为分组对抗学习（gAL）的新技术来减少这种转移的负面影响。我们的方法是广泛适用于几个现有的CNOL算法，包括那些隐式属性预测。我们将所提出的技术（$g$ AL）应用于三种流行的ARML算法：ALE，SJE和DEVISE，并在4种流行的ARML数据集：AwA 2，aPY，CUB和SUN上显示性能改进。我们在SUN和aPY数据集上获得了SOTA结果，并在AwA 2上获得了可比的结果。
2020-06-16 cs.CV cs.LG stat.ML
Transferable Positive/Negative Speech Emotion Recognition via Class-wise Adversarial Domain Adaptation
The University of Manchester（曼彻斯特大学）
语音情感识别在构建更智能、更人性化的智能体方面发挥着重要作用。由于语音情感数据采集的困难性，一种越来越流行的解决方案是利用相关且丰富的源语料库来帮助处理目标语料库。然而，语料库之间的域转移提出了一个严峻的挑战，使域转移适应难以发挥作用，即使是对积极/消极情绪的识别。在这项工作中，我们提出了类明智的对抗性领域自适应，以解决这一挑战，减少不同语料库之间的所有类的转变。在著名的EMODB和Aibo语料库上的实验表明，即使只提供非常有限数量的目标标记示例，我们的方法也是有效的。
2019-02-14 cs.LG stat.ML
Learning Representations Robust to Group Shifts and Adversarial Examples
University of Southern California（南加州大学）；Information Science Institute（信息科学研究所）
尽管深度神经网络在各种任务上实现了高性能，但广泛的研究表明，输入中的小调整可能会使模型预测失败。深度神经网络的这个问题已经导致了许多方法来提高模型的鲁棒性，包括对抗训练和分布式鲁棒优化。虽然这两种方法都是为了学习鲁棒模型，但它们有着本质上不同的动机：对抗训练试图针对扰动来训练深度神经网络，而分布式鲁棒优化旨在提高最困难的“不确定分布”上的模型性能。在这项工作中，我们提出了一个算法，结合对抗训练和组分布鲁棒优化，以提高鲁棒表示学习。在三个图像基准数据集上的实验表明，该方法在不牺牲标准度量的情况下，在鲁棒性度量上取得了优异的结果。
2022-02-18 cs.CV cs.LG
Adapt under Attack and Domain Shift: Unified Adversarial Meta-Learning and Domain Adaptation for Robust Automatic Modulation Classification
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
针对自动调制分类（AMC）中对抗攻击与数据分布偏移问题，提出一种结合元学习与领域自适应的统一两阶段框架，显著提升了模型在组合威胁下的分类准确率与鲁棒性。
2025-11-03 cs.AI cs.LG eess.SP
Improving the Generalization of Meta-learning on Unseen Domains via Adversarial Shift
Nanjing University（南京大学）
元学习为学习者提供了一种有效的学习方式，并在许多应用中取得了巨大的成功。然而，大多数元学习文献都集中在处理来自同一领域的任务，这使得它很难推广到其他未知领域的任务。在这项工作中，我们解决这个问题，模拟任务从其他看不见的领域，以提高元学习方法的泛化和鲁棒性。具体来说，我们提出了一个与模型无关的转换层来学习如何模拟领域转换并生成伪任务，并开发了一种新的对抗性学习机制来训练它，基于伪任务，元学习模型可以学习跨领域的元知识，可以很好地推广到未知领域。我们进行了广泛的实验下的领域泛化设置。实验结果表明，该方法适用于各种元学习框架。此外，我们的方法也导致国家的最先进的性能在不同的跨域Few-Shot分类基准，并产生良好的结果跨域Few-Shot回归。
2021-07-23 cs.CV cs.LG
An In-Depth Analysis of Adversarial Discriminative Domain Adaptation for Digit Classification
Princeton University（普林斯顿大学）
本文复现并扩展 ADDA 数字分类实验，分析其在多种域偏移下的适应效果，证明其可显著提升部分跨域准确率且几乎不损害域内性能。
2025-01-07 cs.AI cs.CV cs.LG
When is Importance Weighting Correction Needed for Covariate Shift Adaptation?
EURECOM（欧洲通信学院）
本文研究了何时需要重要性加权（IW）校正来解决协变量偏移，这是监督学习中的一种常见情况，其中训练和测试数据的输入分布不同。经典的结果表明，当模型是参数化的和错误指定时，需要IW校正。相反，最近的研究结果表明，IW校正可能是不必要的，当模型是非参数和良好指定的。我们研究了文献中模型是非参数和错误指定的缺失情况，并表明需要IW校正以获得测试分布的真实未知函数的最佳近似。我们这样做，通过分析IW-corrected内核岭回归，涵盖了各种设置，包括参数和非参数模型，指定和错误的设置，以及任意的加权函数。
2023-03-07 cs.LG stat.ML
Managing dataset shift by adversarial validation for credit scoring
Beihang University（北京航空航天大学）；HuaRong RongTong (Beijing) Technology Co., Ltd（华融融通（北京）科技有限公司）
数据集移位在信用评分场景中很常见，训练数据的分布与实际需要预测的数据不一致，很可能导致模型性能不佳。然而，目前的大多数研究都没有考虑到这一点，它们在训练模型时直接混合了不同时间段的数据。这带来两个问题。首先，存在数据泄露的风险，即，用未来的数据来预测过去这可能会导致离线验证的结果膨胀，但在实际应用中的结果并不令人满意。其次，不同时间段的宏观经济环境和风险控制策略可能不同，借款人的行为模式也可能发生变化。用过去的数据训练的模型可能不适用于最近的阶段。因此，我们提出了一种基于对抗验证的方法来缓解信用评分场景中的数据集转移问题。在该方法中，选择与预测数据分布最接近的部分训练集样本进行对抗验证，以确保训练模型对预测样本的泛化性能。此外，通过简单的拼接方法，将训练数据中与测试数据分布不一致的样本也参与到交叉验证的训练过程中，充分利用了所有数据，进一步提高了模型性能。为了验证该方法的有效性，与其他几种数据分裂方法进行了对比实验与Lending Club提供的数据。实验结果证明了数据集移位在信用评分领域的重要性和所提方法的优越性。
2021-12-19 cs.LG
Anytime-Valid Confirmation of Label-Shift Corrections
Seungjin Choi
针对标签稀缺时预指定偏移修正的确认问题，提出基于条件e值的任意有效序贯检验方法，利用似然比乘积构造非负鞅，将常规模型监测转化为正式检验。
2026-06-15 cs.LG stat.ML
A Feedback Shift Correction in Predicting Conversion Rates under Delayed Feedback
Cyberagent, Inc.（赛博艾金特公司）
在显示广告中，预测转化率，即用户在广告商的网站上采取预定义动作（诸如购买商品）的概率，是估计显示广告的价值的基础。然而，在点击和其结果转换之间存在相对较长的时间延迟。由于延迟反馈，训练周期中的一些肯定实例被标记为否定，因为当收集训练数据时，一些转换尚未发生。结果，条件标签分布在训练数据和生产环境之间不同。这种情况被称为反馈移位。我们解决这个问题，通过使用一个重要的权重方法通常用于协变量偏移校正。我们证明了它的一致性的反馈移位。离线和在线实验结果表明，我们提出的方法优于现有的方法。
2020-02-06 cs.LG stat.ML
HURRI-GAN: A Novel Approach for Hurricane Bias-Correction Beyond Gauge Stations using Generative Adversarial Networks
Center of Computation and Technology, Louisiana State University（路易斯安那州立大学计算与技术中心）；Saint-Joseph University of Beirut（贝鲁特圣约瑟夫大学）；Department of Physics, Aristotle University of Thessaloniki（塞萨洛尼基阿列克斯大学物理系）；Center for Interdisciplinary Research and Innovation, Aristotle University of Thessaloniki（塞萨洛尼基阿列克斯大学跨学科研究中心）；Department of Computer Science, Louisiana State University（路易斯安那州立大学计算机科学系）；Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究院）
HURRI-GAN通过生成对抗网络校正飓风偏差，提升风暴潮预测精度，超越传统测站范围。
2026-02-27 cs.AI cs.LG
Implicit Target Shift in Online Learning: Characterization and Correction
Department of Physics（物理系）；Washington University in St. Louis（圣路易斯华盛顿大学）；Department of Neuroscience（神经科学系）
本文研究了在线学习中目标偏移的本质，提出通过目标修正使在线核学习与离线学习等效，并在图像分类任务中验证了其有效性。
2026-10-06 cs.LG stat.ML
Semi-Supervised Adversarial Discriminative Domain Adaptation
University of Science, Ho Chi Minh City（胡志明市科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Liverpool（利物浦大学）；University of Information Technology（信息技术大学）
领域自适应是训练强大的深度神经网络的一种潜在方法，它可以处理没有标记数据的情况。更准确地说，领域自适应解决了当训练数据集和测试数据集非常不同时被称为数据集偏差或域偏移的限制。对抗性自适应方法在其他领域自适应方法中越来越流行。对抗性领域自适应基于GAN的思想，试图根据对抗对象的不同，使训练数据集和测试数据集之间的分布最小化。然而，一些传统的对抗性领域自适应方法不能处理两个数据集之间的大的域移位，或者这些方法的泛化能力是低效的。本文提出了一种改进的对抗性领域自适应方法--半监督对抗性判别领域自适应（SADDA），它可以克服其他领域自适应方法的局限性。我们还表明，SADDA具有更好的性能比其他对抗性的适应方法，并说明我们的方法在数字分类和情感识别问题的承诺。
2022-10-19 cs.CV cs.LG
MIRANDA: MId-feature RANk-adversarial Domain Adaptation toward climate change-robust ecological forecasting with deep learning
DM 3 L, UZH, Zurich, Switzerland（苏黎世大学DM3L实验室，瑞士苏黎世）
本文提出MIRANDA方法，通过中间特征排名对抗策略提升深度学习在气候变化下的域适应鲁棒性，缩小与机制模型的性能差距。
2026-04-01 cs.LG
