Distilling Robustness into Natural Language Inference Models with Domain-Targeted Augmentation
Imperial College London（伦敦帝国学院）
研究通过生成无标签样本增强蒸馏和对相似数据点上采样两种互补方法，提升自然语言推理学生模型在分布外领域的鲁棒性，实验证明其优于现有方案且泛化超越目标域。
2024-07-24 cs.CL cs.LG
Guess First to Enable Better Compression and Adversarial Robustness
University of Virginia（弗吉尼亚大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；University of Electronic Science and Technology of China（电子科技大学）
机器学习模型通常容易受到对抗性示例的影响，这与人类的鲁棒性形成对比。在本文中，我们试图利用人类识别的机制之一，并提出了一个生物启发的分类框架，其中模型推理是以标签假设为条件。我们为这个框架提供了一类训练目标和一个信息瓶颈正则化器，它利用了标签信息可以在推理过程中被丢弃的优点。该框架能够更好地压缩输入和潜在表示之间的互信息，而不损失学习能力，以易于处理的推理复杂度为代价。更好的压缩和标签信息的消除进一步带来了更好的对抗鲁棒性，而不会损失自然的准确性，这在实验中得到了证明。
2020-01-10 cs.LG stat.ML
Steering Safely or Off a Cliff? Rethinking Specificity and Robustness in Inference-Time Interventions
University of Maryland College Park（马里兰大学学院市）
本文提出模型转向中特异性和鲁棒性的评估框架，揭示转向方法在提升效率的同时可能牺牲安全性。
2026-02-05 cs.AI cs.CL cs.LG
Dropout Robustness and Cognitive Profiling of Transformer Models via Stochastic Inference
Lyle School of Engineering, Southern Methodist University, Dallas, TX, USA（莱尔工程学院，南方 Methodist 大学，德克萨斯州达拉斯）
本文通过随机推断分析19种变换器模型的丢弃鲁棒性，揭示其在不确定性应用中的可靠性差异，提出认知分解框架以指导模型选择。
2026-03-18 cs.AI cs.LG
CARE: Certifiably Robust Learning with Reasoning via Variational Inference
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ETH Zürich（苏黎世联邦理工学院）
尽管深度神经网络（DNN）最近取得了巨大的进步，但它们往往容易受到对抗攻击的攻击。人们已经进行了大量的研究来提高DNN的鲁棒性;然而，大多数经验防御可以被自适应地再次攻击，并且理论上证明的鲁棒性是有限的，特别是在大规模数据集上。DNN存在此类漏洞的一个潜在根本原因是，尽管它们表现出了强大的表达能力，但它们缺乏做出强大可靠预测的推理能力。在本文中，我们的目标是整合领域知识，使强大的学习与推理范式。特别是，我们提出了一个可证明的鲁棒学习与推理管道（CARE），它由一个学习组件和一个推理组件。具体来说，我们使用一组标准DNN作为学习组件来进行语义预测，并利用概率图形模型（如马尔可夫逻辑网络（MLN））作为推理组件来实现知识/逻辑推理。然而，众所周知，MLN（推理）的精确推理是#P-完全的，这限制了流水线的可扩展性。为此，我们建议近似MLN推理通过变分推理的基础上，一个有效的期望最大化算法。特别地，我们利用图卷积网络（GCN）在变分推理过程中编码后验分布，并迭代地更新GCN的参数（E-step）和MLN中知识规则的权重（M-step）。我们在不同的数据集上进行了广泛的实验，结果表明，与最先进的基线相比，CARE实现了更高的认证鲁棒性。我们还进行了不同的消融研究，以证明CARE的经验稳健性和不同知识整合的有效性。
2022-12-30 cs.LG
Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们考虑在马尔可夫链蒙特卡罗（MCMC）和贝叶斯暗知识（BDK）推理近似下评估深度神经网络模型的对抗鲁棒性的问题。我们描述了每种方法对两种类型的对抗攻击的鲁棒性：快速梯度符号法（FGSM）和投影梯度下降（PGD）。我们证明了完全基于MCMC的推理具有出色的鲁棒性，显著优于基于标准点估计的学习。另一方面，BDK提供了边际改进。作为一个额外的贡献，我们提出了一个存储高效的方法来计算对抗的例子，大型Monte Carlo合奏使用FGSM和PGD攻击。
2020-02-07 cs.LG stat.ML
Exploiting the Potential of Datasets: A Data-Centric Approach for Model Robustness
Harbin Institute of Technology（哈尔滨工业大学）
深度神经网络（DNN）对恶意扰动的鲁棒性是可信人工智能领域的一个热点问题。现有技术通过修改模型结构或优化推理或训练过程来获得给定固定数据集的鲁棒模型。虽然已经取得了显着的改进，构建一个高质量的数据集模型的鲁棒性的可能性仍然没有探索。遵循Andrew Ng发起的以数据为中心的AI运动，我们提出了一种新的数据集增强算法，该算法适用于许多现有的DNN模型，以提高鲁棒性。在我们优化的数据集中包含了可转移的对抗性示例和14种常见的腐败。在阿里巴巴集团和清华大学主办的以数据为中心的鲁棒学习竞赛中，我们的算法在第一阶段的3000多名参赛者中获得第三名，而我们在第二阶段获得第四名。我们的代码可在\url{https://github.com/hncszyq/tianchi_challenge}上获得。
2022-03-10 cs.LG
On the Adversarial Robustness of Multivariate Robust Estimation
University of Michigan（密歇根大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
本文研究了多元$M$ -估计量的对抗鲁棒性。在所考虑的模型中，在观察整个数据集之后，对手可以修改所有数据点，以最大化推理错误。我们使用对抗影响函数（AIF）来衡量对手可以改变推理结果的渐近速率。我们首先描述对手的最佳修改策略和相应的AIF。从防御者的角度来看，我们希望设计一个具有小AIF的估计器。对于联合位置和规模估计问题的情况下，我们刻画了最佳的$M$估计，具有最小的AIF。我们进一步确定了对抗性修改的鲁棒性和对离群值的鲁棒性之间的权衡，并推导出最佳的$M$估计，实现最佳的权衡。
2019-03-27 cs.IT cs.LG math.IT
Efficiency Robustness of Dynamic Deep Learning Systems
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文首次系统研究动态深度学习系统的效率鲁棒性，按三类动态行为构建效率对抗攻击的分类体系，分析攻击策略与安全挑战，指出现有防御机制的局限及研发新型缓解策略的必要性。
2025-06-12 cs.AI cs.LG
Is Adversarial Training with Compressed Datasets Effective?
Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学）
本研究探讨压缩数据集在对抗训练中的有效性，发现现有数据集压缩方法无法有效传递对抗鲁棒性，并提出基于最小有限覆盖的鲁棒性感知压缩方法，可同时提升压缩效率和鲁棒性。
2025-09-12 cs.LG
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里，我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作，但这些工作中的大部分都假设了一个非对抗性的设置，在这个设置中，除了偶尔的统计故障之外，各个节点都按照算法框架的预期运行。然而，近年来，来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此，我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性，以及在不同的对抗性威胁模型下的学习。然而，部分由于世界对数据驱动决策的需求日益增长，保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中，我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
Mixup Inference: Better Exploiting Mixup to Defend Adversarial Attacks
Tsinghua University（清华大学）；RealAI（瑞莱智慧）
人们已经广泛认识到，对抗性示例可以很容易地欺骗深度网络，这主要源于输入示例附近的局部非线性行为。在训练过程中引入mixup，引入了训练样本之间的全局线性行为，为提高模型的泛化性能和对抗性扰动的鲁棒性提供了一种有效的机制。然而，在以前的工作中，混合训练的模型只是被动地防御对抗攻击的直接分类的输入，其中诱导的全局线性没有得到很好的利用。也就是说，由于对抗性扰动的局部性，通过模型预测的全局性主动打破局部性会更有效。受简单几何直觉的启发，我们为混合训练模型开发了一个推理原理，称为混合推理（MI）。MI将输入与其他随机干净样本混合，如果输入是对抗性的，则可以收缩和转移等效扰动。我们在CIFAR-10和CIFAR-100上的实验表明，MI可以进一步提高由mixup及其变体训练的模型的对抗鲁棒性。
2020-02-20 cs.CV cs.LG stat.ML
Quality Not Quantity: On the Interaction between Dataset Design and Robustness of CLIP
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
Web抓取数据集在最近的图像-文本模型中具有显着的泛化能力，例如CLIP（对比图像预训练）或Flamingo，但对数据集创建过程知之甚少。在这项工作中，我们引入了六个公开可用的数据源- YFCC，LAION，Conceptual Captions，WIT，RedCaps，Shutterstock -来研究预训练分布如何在CLIP中诱导鲁棒性。我们发现，预训练数据的性能在分布偏移中变化很大，没有单一数据源占主导地位。此外，我们系统地研究了这些数据源之间的相互作用，发现组合多个数据源并不一定会产生更好的模型，而是削弱了最佳单个数据源的鲁棒性。我们从一个简单的设置，结合训练数据也会导致稀释的鲁棒性的理论见解补充我们的实证研究结果。此外，我们的理论模型为最近在LAION数据集中采用的基于CLIP的数据过滤技术的成功提供了一个候选解释。总的来说，我们的研究结果表明，简单地从网络上收集大量数据并不是构建用于鲁棒泛化的预训练数据集的最有效方法，需要进一步研究数据集设计。代码可在https://github.com/mlfoundations/clip_quality_not_quantity上获得。
2023-02-01 cs.CV cs.LG
Bayesian Inference of Training Dataset Membership
本文提出一种基于贝叶斯推断的高效可解释成员推断方法，利用预测误差、置信度、扰动幅度和数据集统计等事后指标计算成员后验概率，无需访问模型内部或训练影子模型，并能检测分布偏移。
2025-05-31 cs.AI cs.LG
Attacking Bayes: On the Adversarial Robustness of Bayesian Neural Networks
New York University（纽约大学）
本文通过三类任务上的攻击实验，证明贝叶斯神经网络及其不确定性预测流程并不天然具备对抗鲁棒性，并纠正了先前工作中的概念与实验错误。
2024-04-27 cs.AI cs.CV cs.LG
Adversarial Robustness for Code
ETH Zürich（苏黎世联邦理工学院）
机器学习和深度学习最近已经被用于成功地解决代码领域中的许多任务，例如查找和修复错误、代码完成、反编译、类型推断和许多其他任务。然而，代码模型的对抗鲁棒性问题在很大程度上被忽视了。在这项工作中，我们通过以下方式探索这个问题：（i）为代码（具有离散和高度结构化输入的域）实例化对抗攻击，（ii）表明，与其他域类似，代码的神经模型容易受到对抗攻击，以及（iii）结合现有和新颖的技术来提高鲁棒性，同时保持高准确性。
2020-08-15 cs.LG cs.PL cs.SE
Provable Robustness against Backdoor Attacks via the Primal-Dual Perspective on Differential Privacy
Department of Computer Science, Technical University of Munich（慕尼黑技术大学计算机科学系）；Munich Data Science Institute（慕尼黑数据科学研究所）；MCML；Machine Learning Research, Morgan Stanley（摩根大通机器学习研究）
本文提出一种基于对偶视角的微分隐私框架，用于证明对抗性扰动下的鲁棒性，通过整合随机平滑与隐私配置文件，提供对训练时间和推理时间攻击的联合鲁棒性保证。
2026-05-20 cs.CR cs.LG
Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference
Texas A&M University（得克萨斯农工大学）
最近有人建议深度网络要面对准确性（在干净的自然图像上）和鲁棒性（在受到不利干扰的图像上）之间的差异（Tsipras等人，2019年）。这种困境被证明是植根于固有的较高的样本复杂性（Schmidt等人，2018）和/或模型容量（Nakkiran，2019），用于学习高精度和鲁棒的分类器。有鉴于此，给定一个分类任务，增加模型容量似乎有助于在准确性和鲁棒性之间取得双赢，但以牺牲模型大小和延迟为代价，因此对资源受限的应用程序提出了挑战。是否有可能共同设计模型的准确性，鲁棒性和效率，以实现三赢？本文研究了与输入自适应有效推理相关的多出口网络，显示了它们在协同优化模型准确性、鲁棒性和效率方面实现“甜蜜点”的强大前景。我们提出的解决方案被称为鲁棒动态推理网络（RDI-Nets），允许每个输入（无论是干净的还是对抗的）自适应地选择多个输出层（早期分支或最终分支）中的一个来输出其预测。这种多损失适应性为对抗攻击和防御增加了新的变化和灵活性，对此我们进行了系统的研究。我们的实验表明，通过为现有的骨干配备这种强大的自适应推理，所得到的RDI网络可以实现更好的准确性和鲁棒性，但与防御的原始模型相比，节省了30%以上的计算。
2020-02-25 cs.CV cs.LG
Robustness Guarantees for Bayesian Inference with Gaussian Processes
University of Oxford（牛津大学）；Microsoft Research Cambridge（微软剑桥研究院）
贝叶斯推理和高斯过程被广泛用于从机器人和控制到生物系统的应用中。这些应用中有许多是安全关键的，需要与学习模型相关的不确定性的表征及其预测的正式保证。在本文中，我们定义了一个鲁棒性措施贝叶斯推理对输入扰动，给出的概率，测试点和一个紧凑的集在输入空间包含测试点，学习模型的预测将保持$δ-$接近所有的点在集合中，对于$δ>0.$这样的措施可以用来提供正式的保证，没有对抗性的例子。通过采用高斯过程的理论，我们推导出严格的上界所产生的鲁棒性，利用Borell-TIS不等式，并提出算法计算。我们在两个例子上评估了我们的技术，一个GP回归问题和一个完全连接的深度神经网络，在那里我们依赖于对GP的弱收敛来研究MNIST数据集上的对抗性例子。
2018-10-24 cs.LG stat.ML
Robust Privacy: Inference-Stage Privacy through Certified Robustness
University of Science and Technology of China（中国科学技术大学）
提出鲁棒隐私(RP)概念，基于认证鲁棒性确保预测在输入邻域内不变，从而限制推理阶段隐私泄露；实验表明RP在属性推断和模型反演攻击中有效提升隐私-效用权衡。
2026-08-18 cs.AI cs.CR cs.LG
Tetrad: Actively Secure 4PC for Secure Training and Inference
Indian Institute of Science（印度科学研究所）；Aarhus University（奥胡斯大学）
混合算术和布尔电路来执行隐私保护机器学习已经变得越来越流行。为此，我们提出了一个框架的情况下，最多有一个活跃的腐败称为Tetrad的四个政党。Tetrad在环上工作，支持两个级别的安全性，公平性和鲁棒性。公平乘法协议花费5个环元素，比最先进的Trident（Chaudhari等人，NDSS'20）有所改进。Tetrad的一个关键特性是健壮性是免费的，而不是公平的协议。这两种变体的其他亮点包括（a）无开销的概率截断，（b）多输入乘法协议，以及（c）在计算域之间切换的转换协议，以及定制的乱码电路方法。用于训练和推理的Tetrad基准测试是在深度神经网络（如LeNet和VGG 16）上进行的。我们发现Tetrad在ML训练中快了4倍，在ML推理中快了5倍。Tetrad在部署成本方面也是轻量级的，成本比Trident低6倍。
2022-02-15 cs.CR cs.LG
Detecting Backdoors During the Inference Stage Based on Corruption Robustness Consistency
Huazhong University of Science and Technology（华中科技大学）；National Engineering Research Center for Big Data Technology and System（大数据技术与系统国家工程研究中心）；Wuhan University（武汉大学）
提出测试时破坏鲁棒性一致性评估方法 TeCo，仅依赖受害模型硬标签输出即可检测后门触发样本，无需额外信息，在多攻击、数据集和架构上优于现有方法，AUROC 高 10% 且稳定性提升 5 倍。
2023-03-27 cs.AI cs.CR cs.LG
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo（东京大学）
本文提出一种无模型的非参数回归去偏方法，通过加入估计条件期望残差的校正项，使估计量在温和条件下具备风险收敛与渐近正态性，从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Does Unsupervised Domain Adaptation Improve the Robustness of Amortized Bayesian Inference? A Systematic Evaluation
Heidelberg University（海德堡大学）；Zuse School ELIZA；TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
该研究系统评估了无监督域适应（UDA）对摊销贝叶斯推理（ABI）鲁棒性的提升效果，发现UDA对齐摘要空间可缓解噪声或未建模现象影响，但在先验误设下会失效，提示使用时需考虑误设类型。
2025-05-20 cs.LG stat.ME stat.ML
A Theory of Statistical Inference for Ensuring the Robustness of Scientific Results
Harvard University（哈佛大学）；Duke University（杜克大学）
推理是利用我们已知的事实来了解我们不知道的事实的过程。推理理论给出了从前者到后者所必需的假设，以及由此产生的不确定性的定义和总结。任何一种推理理论都没有对错之分，而仅仅是一个可能有用也可能无用的公理。许多不同的推理理论中的每一种都对某些应用有价值。然而，没有现有的推理理论解决的倾向，选择的范围内合理的数据分析规范与先前的证据一致，那些无意中有利于自己的假设。由于这些选择的偏见是一个越来越多的关注跨科学领域，在某种意义上的原因，科学界被发明摆在首位，我们介绍了一个新的推理理论，旨在解决这个关键问题。我们引入黑客间隔，这是一个汇总统计的范围内，可以得到一类可能的内源性操作的数据。黑客间隔不需要诉诸从想象的超种群中提取的假设数据集。一个小的黑客间隔的科学结果是更强大的研究人员操纵比一个更大的间隔，往往比经典的置信区间更容易解释。一些版本的黑客区间被证明是等同于经典的置信区间，这意味着他们也可以提供一个更直观的和潜在的更有用的解释经典的置信区间。
2020-10-13 cs.LG stat.ML
Private and Reliable Neural Network Inference
ETH Zurich（苏黎世联邦理工学院）
可靠的神经网络（NN）提供了重要的推理时间可靠性保证，如公平性和鲁棒性。作为补充，隐私保护NN推理保护客户端数据的隐私。到目前为止，这两个新兴领域在很大程度上是脱节的，但它们的结合将越来越重要。在这项工作中，我们提出了第一个系统，使隐私保护推理可靠的神经网络。我们的主要思想是设计有效的全同态加密（FHE）的随机平滑，一个国家的最先进的技术，以获得可靠的模型的核心算法构建块的副本。FHE中缺乏所需的控制流使得这是一项艰巨的任务，因为幼稚的解决方案会导致不可接受的运行时间。我们采用这些构建块，使隐私保护NN推理的鲁棒性和公平性保证在一个系统中称为凤凰。在实验中，我们证明凤凰实现其目标，而不会招致令人望而却步的放纵。据我们所知，这是第一个桥接NN的客户端数据隐私和可靠性保证领域的工作。
2022-10-27 cs.AI cs.CR cs.LG
The Remarkable Robustness of LLMs: Stages of Inference?
MIT（麻省理工学院）；Stanford University（斯坦福大学）；University College London（伦敦大学学院）
该研究通过删除、交换推理阶段的相邻层发现LLMs鲁棒性显著，中间层删除对性能影响小，进而提出推理四阶段假设，为解读LLM的深度依赖计算提供了框架。
2025-06-16 cs.AI cs.CL cs.LG
Improving Group Robustness on Spurious Correlation Requires Preciser Group Inference
The University of Hong Kong（香港大学）
针对ERM模型因虚假相关性导致最差群体准确率低的问题，提出GIC方法，利用虚假相关性的高相关性与可变性精确推断群体标签，结合下游不变学习显著提升群体鲁棒性，并发现语义一致性现象以缓解虚假相关性。
2024-06-04 cs.LG
Testing and Improving the Robustness of Amortized Bayesian Inference for Cognitive Models
University of Leuven（鲁汶大学）；Rensselaer Polytechnic Institute（拉特格斯理工学院）
针对认知模型参数估计受污染观测值和异常值影响的问题，本研究测试并改进了摊销贝叶斯推理（ABI）的鲁棒性，通过引入柯西分布污染的训练方法提升了神经密度估计器的鲁棒性。
2025-11-11 cs.LG stat.AP stat.ME
Knowledge Enhanced Attention for Robust Natural Language Inference
Alexa AI, Amazon（亚马逊Alexa AI）
神经网络模型在自然语言推理（NLI）任务上已经非常成功地实现了高精度。然而，正如最近的文献所证明的那样，当在一些简单的对抗性示例上进行测试时，大多数模型的性能都会显着下降。这引起了对NLI模型稳健性的关注。在本文中，我们提出了将外部知识的注意力机制使用一个简单的转换，使NLI模型的鲁棒性。我们将新的注意力应用于两种流行的NLI模型：一种是Transformer编码器，另一种是可分解模型，并表明我们的方法可以显着提高其鲁棒性。此外，当与BERT预训练相结合时，我们的方法在对抗性SNLI数据集上实现了人类水平的性能。
2019-08-31 cs.CL cs.CR cs.LG
SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for Improving DNN Generalization and Robustness
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montreal（蒙特利尔综合理工学院）
节能的深度神经网络（DNN）加速器容易出现非理想性，从而在推理时降低DNN性能。为了减轻这种退化，现有方法通常在训练期间向DNN权重添加扰动，以模拟噪声硬件上的推理。然而，这通常需要了解目标硬件，并导致DNN性能和鲁棒性之间的权衡，降低前者以提高后者。在这项工作中，我们证明了通过优化损失值和损失锐度来应用锐度感知训练，可以显着提高推理时对噪声硬件的鲁棒性，而无需依赖于对目标硬件的任何假设。特别是，我们提出了一种新的自适应锐度感知方法，条件的最坏情况下的扰动，一个给定的权重不仅在其幅度，但也对范围的重量分布。这是通过执行由离群值最小化缩放的锐度感知最小化（SAMSON）来实现的。我们的方法在无噪声机制的模型泛化性能和噪声环境中的鲁棒性方面都优于现有的锐度感知训练方法，如在几种架构和数据集上测量的那样。
2023-03-21 cs.AI cs.LG
Minimum Specification Perturbation: Robustness as Distance-to-Falsification in Causal Inference
RMIT University（拉筹伯大学）；Florida Atlantic University（佛罗里达 Atlantic 大学）
本文提出最小规范扰动（MSP）方法，用于衡量因果推断中规范变化到 falsification 的距离，改进传统鲁棒性工具，降低假阳性率，展示其在 LaLonde 数据集上的应用。
2026-09-30 cs.LG stat.ME
Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems
Nanyang Technological University（南洋理工大学）；Pengcheng Laboratory（鹏城实验室）；Peking University（北京大学）
本文针对协同推理中中间特征隐私泄露问题，理论证明了输入条件熵为模型反演攻击下的重构误差提供下界，并提出条件熵最大化（CEM）算法，显著提升了基于混淆的防御机制的反演鲁棒性。
2025-04-03 cs.AI cs.LG stat.ML
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
虽然深度学习方法在广泛的应用领域中继续提高预测准确性，但其性能的其他方面仍然存在重大问题，包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺，但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中，我们描述了URSABench（不确定性，鲁棒性，可扩展性和准确性基准测试）的开发工作，这是一个开源的基准测试工具套件，用于全面评估近似贝叶斯推理方法，重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
ImageNet-Patch: A Dataset for Benchmarking Machine Learning Robustness against Adversarial Patches
University of Cagliari（卡利亚里大学）；University of Genova（热那亚大学）；Pluribus One（普里布斯一号公司）
针对对抗补丁优化成本高、鲁棒性评估易不理想的问题，提出可跨模型泛化的ImageNet-Patch数据集，经仿射变换后可快速评估鲁棒性，已在127个模型上验证有效性并开源。
2025-01-15 cs.CR cs.CV cs.LG
BERT Loses Patience: Fast and Robust Inference with Early Exit
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
在本文中，我们提出了基于耐心的早期退出，一个简单而有效的推理方法，可用作即插即用技术，同时提高预训练语言模型（PLM）的效率和鲁棒性。为了实现这一目标，我们的方法将内部分类器与PLM的每一层耦合，并在内部分类器的中间预测在预定义的步骤数内保持不变时动态停止推理。我们的方法提高了推理效率，因为它允许模型用更少的层进行预测。与此同时，ALBERT模型的实验结果表明，我们的方法可以通过防止过度思考和利用多个分类器进行预测来提高模型的准确性和鲁棒性，与现有的早期退出方法相比，可以获得更好的准确性和速度权衡。
2020-10-22 cs.CL cs.LG
UnbiasedNets: A Dataset Diversification Framework for Robustness Bias Alleviation in Neural Networks
Technische Universität Wien (TU Wien)（维也纳工业大学）；National University of Sciences & Technology (NUST)（国立科技大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
经过训练的神经网络（NN）模型在测试精度方面的性能在过去几年中有了显著提高，特别是随着深度学习的出现。然而，由于可用训练数据集的固有偏差，即使是最准确的NN也可能偏向于特定的输出分类，这可能会传播到现实世界的实现中。本文讨论了鲁棒性偏差，即，与其余输出类相比，训练的NN通过对某个输出类的噪声具有显著大的鲁棒性而表现出的偏差。偏差被证明是由不平衡的数据集，即，所有输出类都不相等表示的数据集。为此，我们提出了UnbiasedNets框架，该框架利用K-means聚类和NN的噪声容忍度来使给定的训练数据集多样化，即使是相对较小的数据集。这会生成平衡的数据集，并减少数据集本身的偏差。据我们所知，这是第一个框架，迎合了神经网络的鲁棒性偏差问题。我们使用真实世界的数据集来证明UnbiasedNets在二进制和多标签分类器的情况下对数据多样化的有效性。将结果与旨在生成平衡数据集的知名工具进行比较，并说明现有作品在解决鲁棒性偏差的同时成功有限。相比之下，UnbiasedNets提供了对现有作品的显着改进，同时在某些情况下甚至显着降低了鲁棒性偏差，正如通过比较在多样化和原始数据集上训练的NN所观察到的。
2023-03-13 cs.LG
Hierarchical Fallback Architecture for High Risk Online Machine Learning Inference
Trustly（特拉斯利公司）
本文提出一种分层回退架构，通过定义在线推理中的通用故障场景并详细说明应用方法，提升了金融领域高风险机器学习应用在极端压力下的鲁棒性，并给出工业界近实时交易欺诈风险评估的实际应用案例。
2025-01-29 cs.CE cs.LG cs.SE
Minimum Distance Summaries for Robust Neural Posterior Estimation
University of Cambridge（剑桥大学）
提出最小距离摘要方法，通过最大均值差异（MMD）在测试时自适应调整摘要统计量，在不修改预训练神经后验估计器的情况下实现鲁棒推断，理论保证鲁棒性并实验验证。
2026-06-15 cs.LG stat.ML
Certifying Data-Bias Robustness in Linear Regression
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
由于人为错误和社会偏见，数据集通常包含不准确性，这些不准确性可能会影响在此类数据集上训练的模型的结果。我们提出了一种技术，用于证明线性回归模型是否对训练数据集中的标签偏差具有逐点鲁棒性，即，对训练数据集标签的有界扰动是否会导致模型改变测试点的预测。我们展示了如何解决这个问题，正是为个别测试点，并提供了一个近似的，但更可扩展的方法，不需要预先知道的测试点。我们广泛地评估了这两种技术，发现线性模型-回归和分类-通常显示出高水平的偏差鲁棒性。然而，我们也发现了偏差鲁棒性方面的差距，例如某些数据集上某些偏差假设的高水平非鲁棒性。总的来说，我们的方法可以作为何时信任或质疑模型输出的指南。
2022-06-07 cs.LG
Improving Robustness via Tilted Exponential Layer: A Communication-Theoretic Perspective
University of California Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Google Research（谷歌研究院）
本文受通信理论启发提出TEXP层，通过神经元竞争、倾斜指数目标和倾斜softmax推理提升网络对噪声与常见损坏的鲁棒性，并可与数据增强结合获得累积增益。
2024-03-03 cs.IT cs.LG eess.SP
Vision Paper: Causal Inference for Interpretable and Robust Machine Learning in Mobility Analysis
ETH Zürich（苏黎世联邦理工学院）；Prescient Design, Genentech | Roche（罗氏旗下基因泰克Prescient Design）；Swiss Data Science Center（瑞士数据科学中心）
人工智能（AI）正在彻底改变我们生活的许多领域，引领技术进步的新时代。特别是，交通部门将受益于人工智能的进步，并推动智能交通系统的发展。构建智能交通系统需要人工智能和移动性分析的复杂组合。在过去的几年里，使用先进的深度神经网络的交通应用得到了快速发展。然而，这种深度神经网络很难解释并且缺乏鲁棒性，这减缓了这些人工智能算法在实践中的部署。为了提高它们的可用性，越来越多的研究工作致力于开发可解释和鲁棒的机器学习方法，其中因果推理方法最近获得了牵引力，因为它提供了可解释和可操作的信息。此外，这些方法中的大多数是针对图像或序列数据开发的，这些数据不满足移动性数据分析的特定要求。这篇愿景论文强调了基于深度学习的移动性分析中需要可解释性和鲁棒性的研究挑战，总结了使用因果推理提高机器学习方法的可解释性和鲁棒性的最新进展，并强调了开发面向移动性分析的因果启用机器学习模型的机会。这一研究方向将使人工智能在交通领域的应用更具可解释性和可靠性，从而为更安全、更高效、更可持续的未来交通系统做出贡献。
2022-10-18 cs.AI cs.LG
When Dynamics Shift, Robust Task Inference Wins: Offline Imitation Learning with Behavior Foundation Models Revisited
University of Southern California（南加州大学）
本文提出了一种基于行为基础模型（BFM）的框架，通过将任务推断建模为鲁棒最小最大优化问题，以应对动态变化，从而在不修改预训练的情况下实现对最坏动态扰动的适应。该方法在动态变化下显著优于标准BFM和鲁棒离线模仿学习基线。
2026-05-16 cs.AI cs.LG
Post-Hoc Robustness Enhancement in Graph Neural Networks with Conditional Random Fields
École Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；KTH（瑞典皇家理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）
针对GNN推理阶段鲁棒性不足的问题，提出模型无关的事后方法RobustCRF，基于条件随机场增强鲁棒性，并在基准数据集上验证有效性。
2024-11-08 cs.LG cs.SI stat.AP
A Training Rate and Survival Heuristic for Inference and Robustness Evaluation (TRASHFIRE)
Umeå University（于默奥大学）；Elastisys AB（伊拉斯蒂斯公司）
本研究提出结合生存模型、最坏情况样本与成本感知分析的TRASHFIRE方法，可在训练中评估模型对抗鲁棒性，发现深度模型的生存时间提升主要源于推理时间而非固有鲁棒性，且ResNet对简单白盒攻击完全不安全。
2024-09-11 cs.AI cs.CV cs.LG
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT（罗切斯特理工学院成像科学中心）；University of Aberdeen（阿伯丁大学）；NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所）；Biomedical Engineering, RIT（罗切斯特理工学院生物医学工程系）
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响，发现DermNet数据集最具挑战性但更鲁棒，并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
Low-Latency Asynchronous Logic Design for Inference at the Edge
Newcastle University（纽卡斯尔大学）
现代物联网（IoT）设备利用设备上的感测数据进行机器学习推理，而不是将它们卸载到云端。通常称为边缘推理，这为用户带来了许多好处，包括个性化和安全性。然而，这样的应用需要高能量效率和鲁棒性。在本文中，我们提出了一种方法，减少面积和功耗开销的自定时早传播异步推理电路，设计使用的原则，学习自动机。由于对时序和逻辑基础的自然弹性，这些电路能够承受环境和电源电压的变化，同时实现尽可能低的延迟。我们的方法是通过低功耗机器学习应用程序的推理数据路径来举例说明的。该电路建立在Tsetlin机器算法的基础上，进一步提高了其能效。与同步实现相比，所提出的电路的平均延迟减少了10倍，同时保持类似的面积。在0.25 V至1.2 V电源电压下，通过合成后仿真证明了该电路的鲁棒性。保持功能正确性，并且延迟随着电压降低而与栅极延迟成比例。
2020-12-07 cs.AR cs.LG eess.SP
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University（杜克大学）
自监督学习显著提高了许多NLP任务的性能。然而，自监督学习如何发现有用的表示，以及为什么它比概率模型等传统方法更好，在很大程度上仍然是未知的。在本文中，我们专注于主题建模的背景下，并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时，自监督学习可以忽略特定的模型，因此不太容易受到模型误指定。特别是，我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲，我们表明，相同的目标可以执行与后验推理使用正确的模型，而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Can Large Language Models Improve the Adversarial Robustness of Graph Neural Networks?
Beijing University of Posts and Telecommunications（北京邮电大学）；Beihang University（北京航空航天大学）；Imperial College London（伦敦帝国学院）；China Telecom Bestpay（中国电信翼支付）
本文提出基于LLM的鲁棒图结构推理框架LLM4RGNN，通过蒸馏GPT-4能力识别恶意边并预测缺失边以恢复图结构，显著提升了GNNs面对拓扑对抗攻击的鲁棒性。
2024-12-24 cs.AI cs.CY cs.LG
Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation
UCLA（加州大学洛杉矶分校）
稳健性和反事实偏差通常在测试数据集上进行评估。然而，这些评价是否可靠？如果测试数据集受到轻微扰动，评估结果是否保持不变？在本文中，我们提出了一个“双扰动”框架，以发现模型的弱点超出了测试数据集。该框架首先对测试数据集进行扰动，构造出大量与测试数据相似的自然句子，然后对单个词替换的预测变化进行诊断。我们应用这个框架来研究两种基于扰动的方法，用于分析模型的鲁棒性和反事实偏见的英语。(1)为了鲁棒性，我们专注于同义词替换，并确定易受攻击的例子，预测可以改变。我们提出的攻击在原始和经过鲁棒训练的CNN和Transformers上找到易受攻击的例子时，成功率很高（96.0%-99.8%）。(2)对于反事实偏见，我们专注于替换人口统计标记（例如，性别，种族），并测量预期预测在构建的句子中的偏移。我们的方法能够揭示隐藏的模型偏差，而不是直接显示在测试数据集中。我们的代码可在https://github.com/chong-z/nlp-second-order-attack上获得。
2021-04-12 cs.CL cs.CY cs.LG
SI-Score: An image dataset for fine-grained analysis of robustness to object location, rotation and size
Google Research, Brain Team（谷歌研究院，大脑团队）
在部署机器学习模型之前，评估其鲁棒性至关重要。在用于图像理解的深度神经网络的上下文中，改变对象位置、旋转和大小可能以非平凡的方式影响预测。在这项工作中，我们执行一个细粒度的分析，这些因素的变化使用SI分数，一个合成数据集的鲁棒性。特别是，我们研究了ResNets，视觉Transformer和CLIP，并确定了它们之间有趣的定性差异。
2021-04-09 cs.AI cs.CV cs.LG
Federated Generalised Variational Inference: A Robust Probabilistic Federated Learning Framework
University of Warwick, Department of Computer Science, Coventry, United Kingdom（沃里克大学计算机科学系）；University of Warwick, Department of Statistics, Coventry, United Kingdom（沃里克大学统计系）
本文提出概率联邦学习框架 FedGVI，以鲁棒共轭更新推广 Partitioned Variational Inference，并提供收敛性、最优性与鲁棒性理论保证及多数据集实证验证。
2025-06-10 cs.LG stat.ML
A Comprehensive Study on Dataset Distillation: Performance, Privacy, Robustness and Fairness
Fraunhofer FOKUS（弗劳恩霍夫开放通信系统研究所）；University of Stavanger（斯塔万格大学）；Technische Universität München（慕尼黑工业大学）
本文从安全视角系统评估数据集蒸馏方法，发现其仍存在隐私泄露风险，并会削弱模型鲁棒性、加剧类别间不公平性，同时提出大规模评测基准框架。
2023-05-27 cs.AI cs.LG
Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization
Michigan State University（密歇根州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习（FL）为多个参与者提供了一个分布式的学习框架，使他们可以在不共享原始数据的情况下进行协作学习。在许多实际FL场景中，由于硬件和推理动态的差异，参与者具有异构资源，需要快速加载不同大小和鲁棒性级别的模型。异质性和动态性共同对现有的FL方法提出了重大挑战，从而极大地限制了FL的适用性。在本文中，我们提出了一种新的分裂混合FL策略的异构参与者，一旦训练完成，提供原位定制的模型大小和鲁棒性。具体来说，我们通过学习一组不同大小和鲁棒性水平的基础子网络来实现定制，然后根据推理要求按需聚合这些子网络。这种拆分混合策略实现了定制，在通信，存储和推理方面具有高效率。大量的实验表明，我们的方法提供了更好的原位定制比现有的异构架构FL方法。代码和预训练模型可在https://github.com/illidanlab/SplitMix上找到。
2022-03-18 cs.DC cs.LG
