Beyond Confidence Regions: Tight Bayesian Ambiguity Sets for Robust MDPs
Department of Computer Science（计算机科学系）；University of New Hampshire（新罕布什尔大学）
在强化学习中，鲁棒MDP（RMDP）可用于计算具有可证明的最坏情况保证的策略。RMDP解决方案的质量和鲁棒性由模糊集-合理转移概率集-决定，模糊集通常构造为多维置信区域。现有的方法构造模糊集的置信区域使用浓度不等式，导致过于保守的解决方案。本文提出了一种新的范例，可以实现更好的解决方案，具有相同的鲁棒性保证，而不使用置信区域作为模糊集。为了结合先验知识，我们的算法使用贝叶斯推理优化歧义集的大小和位置。我们的理论分析表明，所提出的方法的安全性，和实证结果表明其实际的承诺。
2019-02-20 cs.LG stat.ML
Robustness Auditing for Linear Regression: To Singularity and Beyond
MIT（麻省理工学院）；EECS（电气工程与计算机科学学院）；CSAIL（计算机科学与人工智能实验室）
针对OLS回归结论易受少量样本移除影响的问题，提出高效算法证明线性回归对样本移除的鲁棒性，并在高维大规模数据集上首次给出非平凡证明且理论界限紧致。
2024-10-10 cs.LG
Beyond Robustness: Resilience Verification of Tree-Based Classifiers
Ca’ Foscari University of Venice（威尼斯大学）
在本文中，我们批评传统上用于评估部署在对抗环境中的机器学习模型的性能的鲁棒性度量。为了减轻鲁棒性的局限性，我们引入了一个新的措施，称为弹性，我们专注于它的验证。特别是，我们讨论了如何通过将传统的鲁棒性验证技术与数据独立的稳定性分析相结合来验证弹性，该分析识别了特征空间的一个子集，在该子集中，尽管存在对抗性操作，模型也不会改变其预测。然后，我们引入了一个正式的健全的数据独立的稳定性分析决策树和决策树合奏，我们实验评估公共数据集，我们利用弹性验证。我们的研究结果表明，弹性验证在实践中是有用的和可行的，产生一个更可靠的安全评估标准和鲁棒的决策树模型。
2021-12-05 cs.CR cs.LG
Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression
Microsoft Research Asia（微软亚洲研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Stanford University（斯坦福大学）；Beihang University（北京航空航天大学）
关于预训练语言模型压缩的最新研究（例如，BERT）通常使用保留的准确度作为评估的度量。在本文中，我们提出了两个新的度量标准，标签忠诚度和概率忠诚度，衡量压缩模型（即，学生）模仿原始模型（即，教师）。我们还探讨了在对抗攻击下压缩对鲁棒性的影响。我们对量化、剪枝、知识蒸馏和渐进模块替换进行了基准测试，测试了它们的忠诚度和鲁棒性。通过结合多种压缩技术，我们提供了一种实用的策略，以实现更好的准确性，忠诚度和鲁棒性。
2021-10-04 cs.AI cs.CL cs.LG
Beyond In-Distribution Performance: A Cross-Dataset Study of Trajectory Prediction Robustness
Continental Automotive GmbH（大陆汽车集团）；Dahlem Center for Machine Learning and Robotics, Freie Universitaet Berlin（柏林自由大学达勒姆机器学习与机器人学中心）
本文跨数据集研究了三种轨迹预测模型的分布外泛化能力，发现具有最高归纳偏置的最小模型在分布外测试中泛化能力最佳，并探讨了模型设计与基准测试的启示。
2025-01-27 cs.AI cs.LG stat.ML
Robustness Cannot be Reduced to Regularization: Studying Adversarial Training Beyond the Linear Case
Université Paris Dauphine PSL Research University（巴黎多芬纳大学PSL研究大学）；Sorbonne Université LPSM, UMR 8001（索邦大学LPSM, UMR 8001）
本文证明两层网络中对抗风险无法等价于任何简单正则化风险，并通过实验表明深层架构中同样存在这种不可简化性。
2026-06-23 cs.LG
Beyond Application End-Point Results: Quantifying Statistical Robustness of MCMC Accelerators
Duke University（杜克大学）
统计机器学习通常使用概率算法，如马尔可夫链蒙特卡罗（MCMC），来解决各种问题。概率计算通常被认为在传统处理器上太慢，可以通过利用并行性和使用各种近似技术优化设计来使用专用硬件加速。目前用于评估概率加速器的正确性的方法通常是不完整的，大多只关注终点结果质量（“准确性”）。对于硬件设计人员和领域专家来说，重要的是要超越端点“准确性”，并意识到硬件优化对其他统计属性的影响。这项工作的第一步，定义指标和方法，定量评估的正确性概率加速器超出端点结果质量。我们提出了统计鲁棒性的三个支柱：1）采样质量，2）收敛诊断，3）拟合优度。我们将我们的框架应用于一个代表性的MCMC加速器和表面设计问题，这些问题不能仅使用应用程序端点结果质量来暴露。应用该框架来指导设计空间探索表明，可以通过稍微增加位表示来实现与浮点软件相当的统计鲁棒性，而无需浮点硬件要求。
2020-03-05 cs.LG eess.SP
Robustness Reprogramming for Representation Learning
North Carolina State University（北卡罗来纳州立大学）；Amazon Web Services（亚马逊云科技）
该研究针对表示学习中不修改模型参数提升抗扰动鲁棒性的挑战，提出非线性鲁棒模式匹配技术与三种重编程范式，经多类模型实验验证有效，为对抗防御与韧性AI设计提供了新方向。
2024-10-06 cs.LG stat.ML
Beyond Empirical Support: Structured Outlier Generation via Sinkhorn Optimal Transport
针对现有离群点合成方法依赖启发式且不稳定，本文提出Sinkhorn边界离群点生成（SBOG）框架，结合最优输运几何与分布鲁棒边界建模，生成语义受控的离群点，提升跨模态鲁棒性评估。
2026-11-10 cs.LG math.OC stat.ML
Beyond topography: Topographic regularization improves robustness and reshapes representations in convolutional neural networks
Center for Mind/Brain Sciences (CIMeC), University of Trento（心智/大脑科学中心（CIMeC），特伦托大学）
本研究通过地形正则化方法提升卷积神经网络的鲁棒性并重塑表示结构，验证了不同正则化策略对模型性能的影响。
2026-01-12 cs.LG
Beyond Interpretability: The Gains of Feature Monosemanticity on Model Robustness
MIT（麻省理工学院）；Peking University（北京大学）；New York University（纽约大学）；TUM（慕尼黑工业大学）；MIT EECS, CSAIL（麻省理工学院电气工程与计算机科学系、计算机科学与人工智能实验室）
本研究挑战准确率-可解释性权衡的普遍认知，证明单语义特征不仅增强可解释性，还在多种鲁棒学习场景中提升模型性能，并从实证与理论层面阐释其鲁棒性增益机制，为可解释性与鲁棒性关联的假说提供支持。
2024-10-27 cs.AI cs.LG
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University（西北大学）；Peking University（北京大学）
众所周知，深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性，其中对抗训练方法是最有效的。然而，这些方法大多独立地处理训练样本，并且需要大量的样本来训练鲁棒网络，而忽略了这些样本之间的潜在结构信息。在这项工作中，我们提出了一种新的局部结构保持（LSP）正则化，其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式，可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据，无论是否有对抗训练，与基线和一些最先进的方法相比，我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能，从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
Beyond the Bidirectional Promise: Re-evaluating the Robustness of Diffusion Language Models
Microsoft（微软公司）
该研究评估了扩散语言模型的鲁棒性，发现其虽能抵御部分对抗攻击但易受自然噪声影响，存在过度自信问题，脆弱性源于解码器路由故障，需将鲁棒性整合入迭代解码循环。
2026-07-31 cs.AI cs.LG
Beyond ImageNet: Understanding Cross-Dataset Robustness of Lightweight Vision Models
本文研究了轻量视觉模型在跨数据集的鲁棒性，提出xScore度量标准，揭示了架构组件对泛化能力的影响。
2025-11-01 cs.CV cs.LG
Beyond Trade-offs: A Unified Framework for Privacy, Robustness, and Communication Efficiency in Federated Learning
School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学）；Electrical Engineering and Computer Science Department, Technische Universität Berlin（电气工程与计算机科学系，柏林技术大学）
本文提出RobAJoL框架，结合JL压缩与鲁棒平均，实现联邦学习中隐私、鲁棒性和通信效率的统一，实验验证其在拜占庭攻击下的优越性能。
2025-12-25 cs.DC cs.IT cs.LG
Optimization for Robustness Evaluation beyond $\ell_p$ Metrics
University of Minnesota（明尼苏达大学）；Queens College of the City University of New York（纽约城市大学皇后学院）
针对对抗攻击的深度学习模型的经验评估需要解决非平凡的约束优化问题。解决这些约束问题的流行算法依赖于投影梯度下降（PGD），并需要仔细调整多个超参数。此外，由于使用分析投影仪，PGD只能处理$\ell_1$、$\ell_2$和$\ell_\infty$攻击模型。在本文中，我们介绍了一种新的算法框架，融合了通用的约束优化求解器PyGRANSO，约束折叠（PWCF），增加可靠性和通用性的鲁棒性评估。PWCF 1）找到高质量的解决方案，而不需要精细的超参数调整，2）可以处理一般的攻击模型，例如，一般的$\ell_p$（$p \geq 0$）和感知攻击，这是基于PGD的算法无法实现的。
2022-11-14 cs.CV cs.LG eess.SP
Beyond Accuracy: Evaluating Efficiency, Robustness and Explainability in Deep Learning for Malaria Diagnosis
African Institute for Mathematical Sciences（非洲数学科学研究所）；Hertie Institute for AI in Brain Health（脑健康人工智能研究所）
本研究在NLM-Malaria数据集上基准测试四种深度学习模型，联合评估预测性能、鲁棒性和事后可解释性，发现轻量级模型在性能上与重型模型相当，但可解释性在图像损坏下脆弱。
2026-05-29 cs.CV cs.LG
On the Certified Robustness for Ensemble Models and Beyond
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Peking University（北京大学）
最近的研究表明，深度神经网络（DNN）容易受到对抗性示例的影响，这些示例旨在通过添加小幅度的扰动来误导DNN。为了防御此类攻击，针对单个ML模型，已经广泛研究了经验和理论防御方法。在这项工作中，我们的目标是分析和提供集成ML模型的认证鲁棒性，以及不同集成协议的鲁棒性的充分和必要条件。虽然集成模型比单一模型更强大的经验，令人惊讶的是，我们发现，在认证的鲁棒性方面的标准集成模型相比，一个单一的模型只实现边际改善。因此，为了探索保证提供可证明的鲁棒集成ML模型的条件，我们首先证明了在模型平滑假设下，多样化的梯度和大的置信度是可证明的鲁棒集成模型的充分必要条件。然后，我们提供了有界模型平滑分析的基础上提出的合奏前平滑策略。我们还证明了在温和的条件下，集成模型总是可以达到比单基模型更高的认证鲁棒性。受理论研究结果的启发，我们提出了轻量级的多样性正则化训练（DRT）来训练可证明鲁棒的集成ML模型。大量的实验表明，我们的DRT增强集成可以始终实现比现有的单个和集成ML模型更高的认证鲁棒性，在MNIST，CIFAR-10和ImageNet数据集上展示了最先进的认证L2鲁棒性。
2022-04-21 cs.AI cs.CR cs.CV
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University（普渡大学）
我们介绍了一种基于噪声的先验学习（NoL）方法，用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现，隐式生成建模的随机噪声与相同的损失函数在后验最大化，提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性，并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明，一般来说，对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明，用我们的方法学习的模型在各种攻击中表现得非常好。此外，将NoL与最先进的对抗训练相结合，可以扩展模型的鲁棒性，甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
$\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training
The University of Melbourne（墨尔本大学）
神经网络很容易受到对抗攻击的攻击：在输入中添加精心设计的、难以察觉的扰动可以修改其输出。对抗性训练是训练鲁棒模型抵御此类攻击的最有效方法之一。然而，它比神经网络的普通训练慢得多，因为它需要在每次迭代时为整个训练数据构建对抗性示例，这阻碍了它的有效性。最近，提出了快速对抗训练（FAT），可以有效地获得鲁棒模型。然而，其成功背后的原因还没有完全了解，更重要的是，它只能训练强大的模型，为$\ell_\infty$有界的攻击，因为它在训练过程中使用FGSM。在本文中，通过利用核心集选择理论，我们展示了如何选择一个小的训练数据子集提供了一个通用的，更有原则的方法，以减少鲁棒训练的时间复杂度。与现有方法不同，我们的方法可以适应各种各样的训练目标，包括TRADES，$\ell_p$ -PGD和感知对抗训练（PAT）。我们的实验结果表明，我们的方法将对抗训练速度提高了2-3倍，同时在干净和鲁棒的准确性方面略有下降。
2022-07-19 cs.CV cs.LG
Rethinking Semi-supervised Segmentation Beyond Accuracy: Reliability and Robustness
Institute of Photogrammetry and Remote Sensing (IPF)（摄影测量与遥感研究所）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
针对半监督分割只评估准确率的问题，提出融合准确率、校准与不确定性质量的 RSS 指标，并通过 UniMatchV2 评估揭示其可靠性短板。
2025-06-06 cs.AI cs.CV cs.LG
Beyond Gradient-Based Attacks: Adversarial Robustness and Explainability Stability in Cybersecurity Classifiers
Palo Alto Networks（帕洛阿尔托网络公司）；Quicken Inc.（Quicken公司）
研究对抗攻击对网络安全分类器预测和SHAP解释稳定性的双重威胁，提出可解释性稳定性指数（ESI），并揭示梯度攻击对XGBoost的退化现象，强调预测鲁棒性与解释稳定性需联合评估。
2026-07-03 cs.AI cs.CR cs.LG
Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Imperial College London（伦敦帝国学院）
本文研究了EEG基础模型的鲁棒性、可解释性和表达性，通过在八个数据集上对六个EEG-FMs和一个基线深度学习模型进行基准测试，揭示了模型在不同扰动下的表现，以及其在可解释性和表达性方面的特性。
2026-10-09 cs.AI cs.HC cs.LG
Beyond Gradient Averaging in Parallel Optimization: Improved Robustness through Gradient Agreement Filtering
Stanford University（斯坦福大学）
本文提出梯度一致性过滤（GAF），通过在梯度平均前计算微梯度余弦距离并过滤冲突更新，降低梯度方差，从而以更小微批次提升验证准确率、减少噪声标签记忆，并在CIFAR基准上实现最高18.2%的准确率提升和近一个数量级的计算量下降。
2024-12-29 cs.AI cs.LG
ConvNets and ImageNet Beyond Accuracy: Understanding Mistakes and Uncovering Biases
Facebook AI Research（脸书人工智能研究院）
ConvNets和Imagenet最近推动了深度学习在图像分类方面的成功。然而，性能改进的显着放缓，加上神经网络对对抗性示例缺乏鲁棒性，以及它们倾向于表现出不期望的偏差，这些方法的可靠性受到质疑。这项工作调查这些问题从最终用户的角度来看，通过使用人类的主题研究和解释。这项研究的贡献有三个方面。我们首先通过实验证明，在Imagenet上测量的ConvNets的准确性和鲁棒性被大大低估了。接下来，我们证明了解释可以从最终用户的角度减轻错误分类的对抗性示例的影响。最后，我们介绍了一种新的工具，用于发现模型学习到的不良偏差。这些贡献也表明，解释是一个有价值的工具，既可以提高我们对ConvNets预测的理解，也可以设计更可靠的模型。
2018-07-20 cs.AI cs.CV cs.CY
Beyond Differences: Doubly Robust Meta-Learners for Ratio-Based Treatment Effects
Actuarial Department（精算部）
针对比率型条件平均处理效应（CATE）估计，提出Q-Learner将比率分解为两个优势比的乘积，并推导双重稳健增强版本，在低转化率场景和混杂观测数据中表现优异。
2026-05-25 cs.LG stat.ME stat.ML
Beyond Discriminant Patterns: On the Robustness of Decision Rule Ensembles
School of Computing；Information Technology Great Bay University Dongguan, China；School of Informatics University of Edinburgh Edinburgh, UK；DAI Cluster Eindhoven University of Technology Eindhoven, Netherlands；Department of Computer Science Mohamed bin Zayed University of Artificial Intelligence Abu Dhabi, UAE；Department of Mathematics；Computer Science Eindhoven University of Technology Eindhoven, Netherlands
针对局部决策规则集成未充分考虑分布偏移鲁棒性的问题，提出一种基于因果知识（将分布偏移视为系统干预）、含两个正则化项的方法，实验证明其在训练和部署环境中均有效且稳健。
2025-08-26 cs.AI cs.LG
Beyond Suffixes: Token Position in GCG Adversarial Attacks on Large Language Models
University of Cagliari（卡利里大学）；Sapienza University of Rome（罗马大学）；Huawei Technologies Finland Research Center（芬兰华为技术研究中心）
研究探讨了在大语言模型对抗攻击中，标记位置对攻击成功率的影响，指出在Greedy Coordinate Gradient攻击中，优化攻击生成前缀而非后缀以及调整对抗标记位置对攻击效果有显著影响。
2026-04-30 cs.LG
Safety Beyond the Training Data: Robust Out-of-Distribution MPC via Conformalized System Level Synthesis
Georgia Institute of Technology（佐治亚理工学院）；ETH Zurich（苏黎世联邦理工学院）
本文提出一种基于符合预测和系统级合成的方法，用于在分布外情况下实现稳健的非线性模型预测控制，提升系统安全性和鲁棒性。
2026-02-12 cs.LG cs.RO cs.SY
Beyond single-model XAI: aggregating multi-model explanations for enhanced trustworthiness
Department of Mathematics, Informatics and Geosciences, University of Trieste, Trieste, Italy（数学、信息学与地球科学系，特里埃斯特大学，特里埃斯特，意大利）；The Abdus Salam International Center for Theoretical Physics, Trieste, Italy（阿布杜斯·萨拉姆国际理论物理中心，特里埃斯特，意大利）
本文提出通过聚合多个模型的解释来提升AI系统的可信度，探索鲁棒性在增强系统可信度中的作用。
2025-10-13 cs.LG
Bitrate-Constrained DRO: Beyond Worst Case Robustness To Unknown Group Shifts
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
针对现有鲁棒训练算法需群体标注或过于保守的问题，提出比特率约束DRO（BR-DRO），假设群体偏移沿低比特率特征发生，无需群体标注即可匹配Group DRO和CVaR DRO性能，且理论上更高效、更不保守。
2023-10-12 cs.LG
C-Score: Beyond Accuracy for Robustness Assessment in Semi-Supervised Learning under Open-World Unlabeled Contamination
本文针对开放世界未标记污染下半监督学习的鲁棒性评估问题，提出C-Score框架，通过多维度指标揭示干净准确率无法检测的隐藏退化，验证了内部诊断信号的必要性。
2026-08-24 cs.AI cs.LG
Beyond Black-Box Advice: Learning-Augmented Algorithms for MDPs with Q-Value Predictions
CUHK-SZ（香港中文大学（深圳））；Caltech（加州理工学院）；UC Riverside（加州大学河滨分校）
针对带不可信机器学习建议的单轨迹时变MDP，该研究提出利用Q值建议动态选择最优方案的学习增强算法，证明其一致性与鲁棒性权衡结果优于仅用黑箱建议的方法。
2026-08-03 cs.LG cs.PF
Beyond Robustness: A Taxonomy of Approaches towards Resilient Multi-Robot Systems
University of Cambridge（剑桥大学）；University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加利福尼亚大学）；Amazon（亚马逊）；Army Research Laboratory（陆军研究实验室）
鲁棒性是工程、自动化和整个科学的关键。然而，鲁棒性的属性通常是由昂贵的需求支撑的，例如过度配置，已知的不确定性和预测模型以及已知的对手。这些条件都是理想化的，而且往往是不能满足的。另一方面，弹性是承受意外中断的能力，从负面事件中迅速恢复并恢复正常。在这篇调查文章中，我们分析了如何实现弹性网络的代理和多机器人系统，能够克服逆境，利用系统范围内的互补性，多样性和冗余-通常涉及机器人功能的重新配置，以提供一些关键的能力，是不存在于系统的先验。随着社会越来越依赖于连接的自动化系统来提供关键的基础设施服务（例如，物流、运输和精准农业），提供实现弹性多机器人系统的手段至关重要。通过列举一个系统，是没有弹性（脆弱）的后果，我们认为，弹性必须成为一个中心的工程设计考虑。为了实现这一目标，社区需要明确如何定义、度量和维护它。我们在基础机器人领域解决这些问题，涵盖感知，控制，规划和学习。我们的主要贡献之一是方法的正式分类，这也有助于我们讨论弹性系统的定义因素和压力源。最后，这篇调查文章提供了如何实现弹性的见解。重要的是，我们强调了仍有待解决的开放性问题，以获得弹性机器人系统的好处。
2021-09-25 cs.LG cs.MA cs.RO
On Adversarial Bias and the Robustness of Fair Machine Learning
National University of Singapore（新加坡国立大学）；Google（谷歌）
优化预测准确性可能会以牺牲公平性为代价。为了最大限度地减少对群体的歧视，公平机器学习算法通过对模型施加公平约束，努力使模型在不同群体中的行为相等。然而，我们表明，给予不同大小和分布的组相同的重要性，以抵消训练数据中的偏差的影响，可能与鲁棒性相冲突。我们分析了基于组的公平机器学习的数据中毒攻击，重点是均衡的赔率。一个可以控制一小部分训练数据的采样或标记的对手，可以大大降低测试精度，超过他在无约束模型上所能达到的精度。对抗性采样和对抗性标记攻击也会恶化模型在测试数据上的公平性差距，即使模型在训练数据上满足公平性约束。我们通过对多个算法和基准数据集的攻击的经验评估来分析公平机器学习的鲁棒性。
2020-06-15 cs.CR cs.CY cs.LG
Bridging Multicalibration and Out-of-distribution Generalization Beyond Covariate Shift
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
本文通过扩展多校准以联合考虑协变量和标签，建立了其与不变性的等价关系，提出了统一鲁棒学习框架及后处理算法MC-Pseudolabel，在协变量和概念偏移下实现了分布外泛化。
2024-06-02 cs.AI cs.LG
Heavy-tailed Linear Bandits: Adversarial Robustness, Best-of-both-worlds, and Beyond
Shanghai Jiao Tong University（上海交通大学）；The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所）
本文提出对抗性重尾赌博机通用框架，设计首个无需截断非负性假设的FTRL型BOBW算法，并扩展至线性情形，结合HT-SPM学习率首次实现重尾线性赌博机的双世界最优遗憾界。
2025-08-19 cs.LG
Beyond Hallucinations: A Composite Score for Measuring Reliability in Open-Source Large Language Models
本文提出综合可靠性评分（CRS）用于评估开源大语言模型的可靠性，通过实验发现最可靠的系统在准确率、鲁棒性和校准不确定性间取得平衡。
2025-12-30 cs.AI cs.CL cs.LG
Beyond Correctness: Learning Robust Reasoning via Transfer
Microsoft Research（微软研究院）
通过迁移奖励的强化学习方法，提升大语言模型推理的鲁棒性和效率，实现更稳定和可推广的推理过程。
2026-02-09 cs.CL cs.LG
Beyond Weighted Summation: Learnable Nonlinear Aggregation Functions for Robust Artificial Neurons
Independent Researcher（独立研究者）
本文提出可学习非线性聚合机制，通过F-Mean神经元和高斯支持神经元提升神经网络鲁棒性，在噪声环境下表现更优。
2026-03-19 cs.AI cs.LG
Thinking Beyond Distributions in Testing Machine Learned Models
Google Research（谷歌研究院）
机器学习（ML）社区中的测试实践集中在评估学习模型的预测性能，这些性能是针对测试数据集测量的，通常来自与训练数据集相同的分布。虽然最近ML社区中关于鲁棒性和公平性测试的工作已经指出了针对分布变化进行测试的重要性，但这些工作也集中在估计模型对参考数据集/分布犯错误的可能性上。我们认为，这种观点的测试积极劝阻研究人员和开发人员寻找其他来源的鲁棒性故障，例如角落的情况下，可能会有严重的不良影响。我们与软件工程测试中数十年的工作进行了比较，这些工作专注于评估软件系统在各种压力条件下的表现，包括极端情况，而不是仅仅关注平均情况下的行为。最后，我们提出了一系列建议，以扩大机器学习测试的视野，以严格的实践。
2021-12-06 cs.AI cs.LG cs.SE
Robustness Implies Generalization via Data-Dependent Generalization Bounds
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；New York University（纽约大学）
本文证明了鲁棒性意味着通过数据依赖的泛化界的泛化。其结果是，鲁棒性和泛化被证明是紧密相连的数据依赖的方式。我们的边界在两个方向上改进了以前的边界，以解决自2010年以来几乎没有发展的开放问题。一是减少对覆盖数的依赖。二是去除对假设空间的依赖。我们给出了几个例子，包括lasso和深度学习的例子，在这些例子中，我们的界限是可以证明的。对真实世界数据和理论模型的实验表明，在各种情况下，近指数的改善。为了实现这些改进，我们不需要对未知分布进行额外的假设;相反，我们只包含训练样本的可观察和可计算属性。一个关键的技术创新是一个改进的浓度范围的多项式随机变量，是独立的利益超出了鲁棒性和推广。
2022-08-03 cs.AI cs.CV cs.LG
Data Determines Distributional Robustness in Contrastive Language Image Pre-training (CLIP)
University of Washington（华盛顿大学）；Amazon（亚马逊）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
对比训练的语言图像模型，如CLIP，ALIGN和BASIC，已经证明了对多种具有挑战性的自然分布偏移的前所未有的鲁棒性。由于这些语言图像模型在几个方面与以前的训练方法不同，一个重要的问题是什么导致了大的鲁棒性增益。我们通过系统的实验研究回答了这个问题。具体而言，我们研究了五种不同的可能原因的鲁棒性增益：（i）训练集的大小，（ii）训练分布，（iii）在训练时的语言监督，（iv）在测试时的语言监督，和（v）对比损失函数。我们的实验表明，更多样化的训练分布是鲁棒性增益的主要原因，其他因素几乎没有鲁棒性。除了我们的实验结果之外，我们还引入了ImageNet-Captions，这是ImageNet的一个版本，带有Flickr的原始文本注释，以实现语言图像训练的进一步受控实验。
2022-08-22 cs.CL cs.CV cs.LG
Distilling Robustness into Natural Language Inference Models with Domain-Targeted Augmentation
Imperial College London（伦敦帝国学院）
研究通过生成无标签样本增强蒸馏和对相似数据点上采样两种互补方法，提升自然语言推理学生模型在分布外领域的鲁棒性，实验证明其优于现有方案且泛化超越目标域。
2024-07-24 cs.CL cs.LG
Near-Optimal Algorithms for Group Distributionally Robust Optimization and Beyond
Institute of Statistical Mathematics（统计数学研究所）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文针对群体DRO、子群体公平性及经验CVaR优化等分布鲁棒优化问题设计了随机算法，实现了比现有算法更快的收敛速度，提出了信息论下界证明其近最优性，并在实验中优于已知方法。
2025-01-31 cs.LG math.OC
Beyond Accuracy: What Matters in Designing Well-Behaved Image Classification Models?
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
本文研究了图像分类模型在鲁棒性、校准和公平性等质量维度上的表现，提出QUBA指标以评估和推荐模型。
2026-03-04 cs.CV cs.LG
Beyond Images: Adaptive Fusion of Visual and Textual Data for Food Classification
Motilal Nehru National Institute of Technology Allahabad, India（Motilal Nehru国立技术学院Allahabad分校）；Indian Institute of Technology Ropar, India（印度理工学院Ropar分校）
本文提出一种动态多模态融合框架，结合视觉与文本特征进行食品分类，在UPMC Food-101上融合准确率达97.84%，优于现有方法。
2025-08-05 cs.AI cs.CV cs.CY
Boosting Fairness and Robustness in Over-the-Air Federated Learning
Technische Universität Berlin（柏林工业大学）；Exzellenzcluster Science of Intelligence（科学智能卓越集群）
针对超5G场景下空中联邦学习的效率与公平鲁棒性需求，提出基于极小极大优化的算法，借上境图形式证明收敛性，无需复杂编解码重建信道系数，兼顾效率、隐私、公平性与鲁棒性。
2024-03-07 cs.CY cs.LG
CrossFuse: Learning Infrared and Visible Image Fusion by Cross-Sensor Top-K Vision Alignment and Beyond
School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院）；CRRC Academy Co., Ltd.（中车研究院有限公司）；School of Computer Science, Sun Yat-sen University（中山大学计算机学院）
针对红外与可见光图像融合模型在真实分布外场景下性能下降的问题，提出基于多视图增强的CrossFuse框架，通过外部Top-k选择性视觉对齐和内部弱-强自监督增强提升鲁棒性与泛化性，实验验证其在多场景下的优异表现。
2025-02-20 cs.CV cs.LG
Safety Verification and Robustness Analysis of Neural Networks via Quadratic Constraints and Semidefinite Programming
University of Pennsylvania（宾夕法尼亚大学）
证明神经网络对输入不确定性和对抗性攻击的安全性或鲁棒性是安全机器学习和控制领域的一个新兴挑战。为了提供这样的保证，当神经网络的输入在有界集内变化时，必须能够限制神经网络的输出。在本文中，我们提出了一个半定规划（SDP）框架来解决这个问题的前馈神经网络与一般的激活函数和输入不确定性集。我们的主要思想是抽象激活函数的各种属性（例如，单调性、有界斜率、有界值和跨层重复）与二次约束的形式主义。然后，我们分析了抽象网络的安全性通过S-过程和半定规划。我们的框架跨越保守性和计算效率之间的权衡，并适用于安全验证以外的问题。我们通过各种大小的数值问题实例来评估我们的方法的性能。
2021-09-15 cs.LG math.OC
Exploring Explanations Improves the Robustness of In-Context Learning
CyberAgent；Keio University（庆应大学）
本文提出X$^2$-ICL框架，通过系统探索所有可能标签的解释来增强上下文学习的鲁棒性，并在多个自然语言理解数据集上验证其对分布外数据的显著改进。
2025-06-03 cs.AI cs.CL cs.LG
Memory Classifiers: Two-stage Classification for Robustness in Machine Learning
University of Pennsylvania（宾夕法尼亚大学）；Perelman School of Medicine（佩雷尔曼医学院）；Wharton School of Business（沃顿商学院）
机器学习模型的性能在数据的分布偏移下会显著降低。我们提出了一种新的分类方法，它可以提高鲁棒性分布偏移，通过结合专家知识的“高层次”的数据结构与标准分类。具体来说，我们引入两阶段分类器称为记忆分类器。首先，它们识别原型数据点--内存--以聚类训练数据。该步骤基于在专家指导下设计的特征;例如，对于图像数据，可以使用数字图像处理算法来提取特征。然后，在每个聚类中，我们通过深度神经网络等标准模型，基于更精细的区分特征学习局部分类器。我们建立了记忆分类器的泛化界。实验结果表明，该方法可以提高图像数据集的泛化能力，并对图像数据集的分布偏移具有较好的鲁棒性.我们展示了超越标准数据增强技术的改进。
2022-08-29 cs.AI cs.CV cs.LG
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department（多特尔研究与创新中心，人工智能部门）；TRAIL – Trusted AI Labs（TRAIL——可信AI实验室）
研究安全关键应用中分类器的稳健性与可靠性，通过选择性分类视角探讨差距，引入统一基准，提出证据对抗训练方法，提升稳健性与不确定性权衡，优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
Quantifying and Improving the Robustness of Retrieval-Augmented Language Models Against Spurious Features in Grounding Data
Simon Fraser University（西蒙弗雷泽大学）；Microsoft（微软）；Atlassian；Tongji University（同济大学）；The University of Hong Kong（香港大学）；Canada-CIFAR AI Chair, Amii（加拿大-CIFAR人工智能主席，Amii）
本文研究检索增强语言模型对基础数据中虚假特征的鲁棒性问题，提出SURE框架用于量化和提升鲁棒性，分析虚假特征在RAG领域的广泛性与挑战性。
2026-04-25 cs.AI cs.CL cs.LG
