Review of Metrics to Measure the Stability, Robustness and Resilience of Reinforcement Learning
Oak Ridge National Laboratory（橡树岭国家实验室）
近年来，强化学习受到了极大的关注，这主要是由于深度强化学习在解决许多具有挑战性的任务（如下棋、围棋和在线计算机游戏）方面的成功。然而，随着对强化学习的关注越来越多，游戏和模拟环境之外的应用需要了解强化学习方法的鲁棒性，稳定性和弹性。为此，我们进行了全面的文献综述，以描述这三种行为的可用文献，因为它们与强化学习有关。我们对用于指示或测量鲁棒性、稳定性和弹性行为的定量和理论方法进行了分类。此外，我们确定了定量方法试图保持稳定、稳健或弹性的行动或事件。最后，我们提供了一个决策树有用的选择指标来量化的行为。我们认为，这是第一次针对强化学习的稳定性、鲁棒性和弹性进行全面审查。
2022-03-22 cs.AI cs.LG
AEGIS: Adversarial Target-Guided Retention-Data-Free Robust Concept Erasure from Diffusion Models
State Key Laboratory of Internet of Things and Smart City, University of Macau（物联网与智能城市国家重点实验室，澳门大学）；TMLR Group, Department of Computer Science, Hong Kong Baptist University（TMLR集团，香港 Baptist大学计算机科学系）；Imperfect Information Learning Team, RIKEN Center for Advanced Intelligence Project（不完美信息学习团队，日本RIKEN先进人工智能项目中心）；PRADA Lab, King Abdullah University of Science and Technology（PRADA实验室，卡塔尔国王科技大学）
AEGIS提出了一种无数据保留的框架，同时提升扩散模型的鲁棒性和保留性，以更有效地实现概念擦除。
2026-02-13 cs.AI cs.CR cs.LG
Classification Uncertainty of Deep Neural Networks Based on Gradient Information
Technische Universität Dortmund（多特蒙德工业大学）；Bergische Universität Wuppertal（伍珀塔尔大学）
研究了基于梯度度量的卷积神经网络不确定性量化问题。与经典的softmax熵不同，这种度量从CNN的所有层收集信息。我们表明，对于EMNIST数字数据集，对于几个这样的指标，我们实现了相同的Meta分类精度-即在不知道实际标签的情况下将预测分类为正确或不正确的任务-作为熵阈值。我们将Meta分类应用于未知概念（分布样本）- EMNIST/Omniglot字母，CIFAR 10和噪声-并证明当使用熵与几个基于梯度的度量作为Meta分类器的输入量时，未知概念的Meta分类率可以增加。Meta分类器仅在已知概念的不确定性度量上训练，即EMNIST数字，通常对于所有未知概念都表现得不一样好。然而，如果我们允许Meta分类器在一些分布外样本的不确定性度量上进行训练，则远离EMNIST数字（然后称为已知未知数）的概念的Meta分类可以得到相当大的改进。
2018-07-26 cs.AI cs.CV cs.LG
Robustness and Generalization for Metric Learning
University of Southern California（南加州大学）；Laboratoire Hubert Curien UMR CNRS 5516（于贝尔·居里安实验室（法国国家科学研究中心联合实验室 5516））；Université Jean Monnet（让·莫奈大学）
度量学习在过去的十年里引起了人们的极大兴趣，但是这种方法的泛化能力还没有得到深入的研究。在本文中，我们介绍了算法鲁棒性的概念（以前由徐和Mannor介绍），可用于推导度量学习的泛化界。我们进一步表明，一个弱的鲁棒性的概念实际上是一个度量学习算法推广的充分必要条件。为了说明所提出的框架的适用性，我们推导出一个大的家庭现有的度量学习算法，包括一些稀疏的配方，不包括以前的结果的泛化结果。
2014-09-29 cs.AI cs.LG stat.ML
Provably Robust Metric Learning
Nanjing University（南京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
度量学习是分类和相似性搜索的一个重要算法家族，但学习的度量对小的对抗性扰动的鲁棒性研究较少。在本文中，我们表明，现有的度量学习算法，专注于提高清洁的准确性，可以导致的指标，是不太强大的比欧几里德距离。为了克服这个问题，我们提出了一种新的度量学习算法，以找到一个Mahalanobis距离，对抗性扰动是强大的，所得到的模型的鲁棒性是可证明的。实验结果表明，学习算法不仅提高了认证鲁棒误差，而且提高了经验鲁棒误差（对抗攻击下的误差）.此外，不像神经网络防御，通常会遇到清洁和强大的错误之间的权衡，我们的方法不会牺牲清洁错误相比，以前的度量学习方法。我们的代码可在https://github.com/wangwllu/provably_robust_metric_learning上获得。
2020-12-19 cs.LG stat.ML
CURE: Controlled Unlearning for Robust Embeddings -- Mitigating Conceptual Shortcuts in Pre-Trained Language Models
Technical University of Munich（慕尼黑技术大学）
CURE通过解耦并抑制概念捷径，在保留内容信息的同时，利用对比学习可控去偏，在IMDB和Yelp上分别提升F1分数10和2个百分点，实现鲁棒且公平的语言理解。
2025-09-10 cs.AI cs.CL cs.LG
Unlearning or Concealment? A Critical Analysis and Evaluation Metrics for Unlearning in Diffusion Models
RespAI Lab（RespAI实验室）；SagepilotAI（SagepilotAI公司）；University of South Florida（南佛罗里达大学）
该研究指出现有扩散模型遗忘方法仅实现概念隐藏而非真正遗忘，提出基于对抗攻击的CRS和CCS两种评估指标，验证了五种主流方法的遗忘能力存在明显缺陷。
2024-12-12 cs.LG
Robust Semantic Interpretability: Revisiting Concept Activation Vectors
UCSF（加州大学旧金山分校）；SFVAMC（旧金山退伍军人事务医疗中心）；UC Berkeley（加州大学伯克利分校）；Helen Diller Family Comprehensive Cancer Center, UCSF（加州大学旧金山分校海伦·迪勒家族综合癌症中心）；Bakar Computational Health Sciences Institute, UCSF（加州大学旧金山分校巴卡尔计算健康科学研究所）
用于图像分类的可解释性方法通过尝试暴露模型是否系统地有偏见或与人类相同的线索来评估模型的可信度。显著性方法的特征属性占主导地位的可解释性文献，但这些方法不解决语义概念，如纹理，颜色，或性别的图像中的对象。我们提出的鲁棒概念激活向量（RCAV）量化了语义概念对个体模型预测和整体模型行为的影响。RCAV计算概念梯度，并采取梯度上升步骤来评估模型对给定概念的敏感性。通过概括以前的工作概念激活向量占模型的非线性，并通过引入更严格的假设检验，我们表明，RCAV产生的解释都更准确的图像水平和强大的数据集水平。RCAV和显着性方法一样，支持对个体预测的解释。为了评估可解释性方法作为调试工具的实际使用，以及可解释性方法用于识别归纳偏差（例如纹理超过形状）的科学使用，我们构建了两个数据集和相应的度量标准，用于语义可解释性方法的现实基准测试。我们的基准揭示了反事实增强和负控制的重要性，以量化可解释性方法的实际可用性。
2021-04-06 cs.AI cs.CV cs.LG
Robust Unsupervised Flexible Auto-weighted Local-Coordinate Concept Factorization for Image Clustering
Soochow University（苏州大学）；Hefei University of Technology（合肥工业大学）；Adobe Research（奥多比研究院）；Nanjing University of Information Science and Technology（南京信息工程大学）；National University of Singapore（新加坡国立大学）
我们研究了高维数据聚类问题，提出了一种新的和无监督的表示学习模型称为鲁棒灵活的自动加权局部坐标概念分解（RFA-LCF）。RFA-LCF将鲁棒的灵活CF、鲁棒的稀疏局部坐标编码和自适应重构加权学习集成到一个统一的模型中。自适应加权是通过在恢复的干净数据、基础概念和新表示上包括联合流形保持约束来驱动的。具体而言，我们的RFA-LCF使用基于L2，1-范数的灵活残差来编码干净数据及其重建之间的失配，并且还应用鲁棒的自适应稀疏局部坐标编码来使用几个附近的基概念来表示数据，这可以使因子分解更准确和对噪声更鲁棒。在恢复的干净数据空间中进行鲁棒灵活因子分解，以增强表示。RFA-LCF还考虑了以自适应的方式联合保持干净数据空间、基概念空间和新坐标空间的局部流形结构。广泛的比较表明，RFA-LCF可以提供增强的聚类结果。
2019-05-25 cs.CV cs.LG
Adversarial Concept Drift Detection under Poisoning Attacks for Robust Data Stream Mining
Virginia Commonwealth University（弗吉尼亚联邦大学）
从流数据中进行连续学习是当代机器学习中最具挑战性的课题之一。在这一领域，学习算法不仅要能够处理大量快速到达的数据，而且要使自己适应潜在的新兴变化。数据流的演化性质的现象被称为概念漂移。虽然有大量的方法用于检测其发生，但所有这些方法都假设漂移与数据源的潜在变化有关。但是，必须考虑恶意注入虚假数据以模拟概念漂移的可能性。这种对抗性的设置假设可能进行中毒攻击，以便通过强制适应错误数据来破坏底层的分类系统。现有的漂移检测器不能区分真实的和敌对的概念漂移。在本文中，我们提出了一个强大的概念漂移检测框架中存在的对抗性和中毒攻击。我们介绍了两种类型的对抗性概念漂移的分类，以及一个强大的可训练漂移检测器。它是基于增强的限制玻尔兹曼机与改进的梯度计算和能量函数。我们还介绍了鲁棒性的相对损失-一种新的措施，用于评估中毒攻击下的概念漂移检测器的性能。大量的计算实验，进行充分和稀疏标记的数据流，证明了高鲁棒性和效率的漂移检测框架在对抗性的情况下。
2020-09-20 cs.LG stat.ML
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University（波士顿大学）
当协变量和响应/标签都可能被离群值污染时，我们为多元线性回归（MLR）和多类逻辑斯谛回归（MLG）开发了分布鲁棒优化（DRO）公式。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。实验结果表明，我们的方法将MLR的预测误差提高了7% - 37%，将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
To Erase, or Not to Erase: Robust Training-Free Concept Erasure with Preservation aware Adaptive Ranked Subspace Expansion
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
研究针对文本到图像扩散模型的概念擦除技术面临的鲁棒性与效用权衡问题，提出无训练框架PARSE，通过自适应发现擦除与保留概念、编辑交叉注意力值空间及迭代搜索触发因素来实现鲁棒概念擦除，引入BEUS评估，实验证明其有效性。
2026-09-07 cs.CV cs.LG
A Formally Robust Time Series Distance Metric
Know-Center GmbH（Know-Center 有限公司）；Graz University of Technology（格拉茨技术大学）
基于距离的分类是时间序列数据分类中最具竞争力的方法之一。基于距离的分类最关键的组成部分是所选择的距离函数。过去的研究已经提出了各种不同的距离度量或措施，致力于现实世界的时间序列数据的特定方面，但有一个重要的方面，尚未考虑到目前为止：对任意数据污染的鲁棒性。在这项工作中，我们提出了一种新的距离度量，对任意“坏”的污染是强大的，并具有最坏情况下的计算复杂性为$\mathcal{O}(n\log n)$。我们正式论证了为什么我们提出的度量是强大的，并在实证评估中证明，该度量在应用于k-最近邻时间序列分类时会产生有竞争力的分类精度。
2020-08-18 cs.LG stat.ML
Adversarially Robust CLIP Models Can Induce Better (Robust) Perceptual Metrics
EPFL（洛桑联邦理工学院）；Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
本文提出通过无监督对抗微调得到 R-CLIP_F，以诱导兼具零样本高性能、对抗鲁棒性和可解释性的感知度量，并验证其在 NSFW 检测与图像检索中的优势。
2025-02-17 cs.CV cs.LG
Improved Multi-label Classification under Temporal Concept Drift: Rethinking Group-Robust Algorithms in a Label-Wise Setting
University of Copenhagen（哥本哈根大学）
在文档分类中，例如，法律和生物医学文本，我们经常处理数百个类，包括非常罕见的类，以及由现实世界事件的影响引起的时间概念漂移，例如，政策变化、冲突或流行病。类不平衡和漂移有时可以通过重新分配训练数据来模拟（或补偿）已知的目标分布来减轻，但是如果目标分布是由未知的未来事件决定的呢？而不是简单地重新部署统一对冲我们的赌注，我们专注于底层的优化算法用于训练这样的文档分类器和评估几组强大的优化算法，最初提出，以减轻组级的差异。将组鲁棒算法重新定义为概念漂移下的自适应算法，我们发现不变风险最小化和谱解耦在类不平衡和概念漂移方面优于基于采样的方法，并且在少数类上具有更好的性能。标签集越大，效果越明显。
2022-03-15 cs.CL cs.LG
MENLI: Robust Evaluation Metrics from Natural Language Inference
Technische Universität Darmstadt（达姆施塔特工业大学）；Universität Bielefeld（比勒费尔德大学）
本文提出基于自然语言推理的评估指标MENLI，以增强文本生成评估的对抗稳健性，结合现有指标可提升15%-30%的稳健性及5%-30%的质量。
2023-12-26 cs.CL cs.CR cs.LG
Flexible Auto-weighted Local-coordinate Concept Factorization: A Robust Framework for Unsupervised Clustering
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Department of Computer Science, University of Georgia（佐治亚大学计算机科学系）
由于概念因子分解（CF）及其变体对噪声的敏感性、对重构误差的严格约束以及预先获得的近似相似性，可能会产生不准确的表示和聚类结果。为了提高表示能力，提出了一种新的无监督鲁棒灵活自动加权局部坐标概念因子分解（RFA-LCF）框架，用于聚类高维数据。RFA-LCF通过干净数据空间恢复、鲁棒稀疏局部坐标编码和自适应加权将鲁棒灵活CF集成到统一模型中。RFA-LCF通过增强CF对噪声和误差的鲁棒性、对重建误差提供灵活的约束以及联合优化局部性来改进表示。对于鲁棒学习，RFA-LCF清楚地学习稀疏投影以恢复底层的干净数据空间，然后在投影的特征空间中执行灵活的CF。RFA-LCF还使用基于L2，1-范数的灵活残差来编码恢复数据与其重建之间的失配，并使用鲁棒的稀疏局部坐标编码来使用几个邻近基概念来表示数据。对于自动加权，RFA-LCF通过最小化干净数据、锚点和坐标上的重建误差，以自适应的方式联合保留基础概念空间和新坐标空间中的流形结构。通过交替地更新局部坐标保持数据、基概念和新坐标，可以潜在地提高表示能力。在公共数据库上的大量实验结果表明，与其他相关方法相比，RFA-LCF提供了最先进的聚类结果。
2019-09-02 cs.CV cs.LG stat.ML
Understanding Adversarial Behavior of DNNs by Disentangling Non-Robust and Robust Components in Performance Metric
Nankai University（南开大学）；Tencent（腾讯）；National University of Singapore（新加坡国立大学）
对轻微输入扰动的脆弱性是深度神经网络（DNN）的一个令人担忧但又有趣的特性。尽管以前有许多研究这种对抗行为背后的原因，但DNN的泛化性能和对抗行为之间的关系仍然知之甚少。在这项工作中，我们通过引入一个表征DNN泛化性能的度量来揭示这种关系。该指标可以分解为信息理论的非鲁棒组件，负责对抗行为，和鲁棒组件。然后，我们通过实验表明，目前的DNN在很大程度上依赖于优化非鲁棒组件来实现良好的性能。我们还证明，目前最先进的对抗训练算法确实试图通过防止DNN使用非鲁棒组件来区分不同类别的样本来增强DNN的鲁棒性。此外，根据我们的研究结果，我们向前迈出了一步，并指出了同时实现体面的标准性能和对抗鲁棒性的可能方向。我们相信，我们的理论可以进一步激发社区对深度学习模型的标准泛化和对抗泛化之间的关系做出更有趣的发现。
2019-06-06 cs.LG stat.ML
Distributionally Robust Optimization: A Review
Northwestern University（西北大学）
风险规避、机会约束优化和鲁棒优化的概念在过去十年中得到了显著的发展。统计学习共同体也见证了依靠这些概念的理论和应用的快速增长。一种称为分布式鲁棒优化（DRO）的建模框架最近在运筹学和统计学习界受到了广泛关注。本文综述了DRO的主要概念和贡献，以及它与鲁棒优化、风险规避、机会约束优化和函数正则化的关系。
2019-08-13 cs.LG math.OC stat.ML
Metric Learning for Adversarial Robustness
Columbia University（哥伦比亚大学）
众所周知，深度网络对于对抗攻击是脆弱的。我们对最先进的攻击方法PGD下的深层表示进行了实证分析，发现攻击导致内部表示向“假”类靠拢。出于这一观察结果，我们建议使用度量学习来正则化受到攻击的表示空间，以产生更鲁棒的分类器。通过仔细采样用于度量学习的示例，我们学习的表示不仅提高了鲁棒性，而且还检测了以前未见过的对抗样本。定量实验表明，鲁棒性的准确性提高了4%，检测效率提高了6%，根据曲线下面积得分比以前的工作。我们的工作代码可在https://github.com/columbia/Metric_Learning_Adversarial_Robustness上获得。
2019-10-28 cs.CR cs.CV cs.IR
Evaluating Sparse Autoencoders on Targeted Concept Erasure Tasks
Anthropic
针对稀疏自编码器（SAEs）缺乏高质量性能指标的问题，提出基于SHIFT的自动化评估方法（用LLM替代人类标注者）和目标探针扰动（TPP）指标，应用于开源模型后可有效区分SAE训练超参数与架构。
2024-11-28 cs.CL cs.LG
Robust Metric Learning based on the Rescaled Hinge Loss
Ministry of Higher Education and Scientific Research（高等教育与科学研究部）；Sabzevar University of New Technology（萨布瓦尔新技术大学）；Birjand University of Technology（比尔詹德理工大学）
距离/相似性学习是机器学习中的一个基本问题。例如，kNN分类器或聚类方法基于距离/相似性度量。度量学习算法通过从数据中学习最佳距离函数来提高这些方法的效率。大多数度量学习方法需要成对或三元组形式的训练信息。如今，这种培训信息往往是通过众包方法从互联网上获得的。因此，该信息可能包含标签噪声或离群值，导致学习度量的性能较差。甚至有可能学习的度量函数比一般度量（如欧几里得距离）执行得更差。为了解决这一问题，本文提出了一种新的鲁棒性度量学习方法的基础上重新缩放铰链损失。这种损失函数是流行的铰链损失的一般情况，最初在（Xu et al. 2017）中引入，以开发一种新的鲁棒SVM算法。在本文中，我们制定了度量学习问题使用重新缩放铰链损失函数，然后开发了一个有效的算法的基础上HQ（半二次）来解决这个问题。在各种真实和合成数据集上的实验结果证实，在存在标签噪声和离群值的情况下，我们新的鲁棒算法的性能大大优于最先进的度量学习方法。
2020-01-22 cs.LG stat.ML
Adaptively Weighted Data Augmentation Consistency Regularization for Robust Optimization under Concept Shift
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Snap Inc.（Snap公司）
概念转移是医学图像分割等自然任务中普遍存在的问题，其中样本通常来自不同的子群体，特征和标签之间具有不同的相关性。医学图像分割中的一种常见的概念转移类型是具有很少（如果有的话）分割标签的标签稀疏样本和具有大量标记像素的标签密集样本之间的“信息不平衡”。现有的分布式鲁棒算法集中于自适应地截断/降低“较少信息”（即，在我们的上下文中是标签稀疏的）样本。为了更有效地利用标签稀疏样本的数据特征，我们提出了一种自适应加权在线优化算法- AdaWAC -将数据增强一致性正则化的样本重新加权。我们的方法引入了一组可训练的权重来分别平衡每个样本的监督损失和无监督一致性正则化。在底层目标的鞍点处，权重将标签密集样本分配给监督损失，将标签稀疏样本分配给无监督一致性正则化。我们提供了一个收敛保证，通过重铸的优化作为在线镜像下降的鞍点问题。我们的实验结果表明，AdaWAC不仅提高了分割性能和样本效率，但也提高了鲁棒性的概念转移的各种医学图像分割任务与不同的UNet风格的骨干。
2023-01-31 cs.CV cs.LG
Robust Outlier Detection and Low-Latency Concept Drift Adaptation for Data Stream Regression: A Dual-Channel Architecture
School of Mathematical Sciences（数学科学学院）；School of Future Science and Engineering（未来科学与工程学院）
本文提出了一种双通道架构，用于数据流回归中的鲁棒异常检测和低延迟概念漂移适应，通过EWMAD-DT检测器实现对突发和渐进漂移的区分。
2025-12-13 cs.LG stat.ME
Adversarial TCAV -- Robust and Effective Interpretation of Intermediate Layers in Neural Networks
National University of Singapore（新加坡国立大学）；Untangle AI（Untangle人工智能公司）
由于不透明的内部状态和共享的非线性交互，解释神经网络决策和在中间层学习的信息仍然是一个挑战。虽然（Kim et al，2017）提出通过量化其区分用户定义概念（与随机示例）的能力来解释中间层，但鲁棒性（针对随机示例选择的变化）和有效性（概念图像的检索率）的问题仍然存在。我们调查这两个属性，并提出改进，使概念激活可靠的实际使用。有效性：如果中间层已经有效地学习了用户定义的概念，那么它应该能够在测试步骤中回忆起包含所提出的概念的大多数图像。例如，我们观察到，在VGG 16中，使用“鳍”作为用户定义概念的ImageNet数据集中，虎鲨和大白鲨的召回率仅为18.35%。为了提高概念学习的有效性，我们提出了A-CAV --对抗性概念激活向量--这导致用户概念和（负）随机示例之间的更大裕度。该方法将VGG 16的上述召回率提高到76.83%。对于鲁棒性，我们将其定义为中间层对于不同随机种子的召回率（有效性）一致的能力。我们观察到，TCAV在不同的随机种子中回忆一个概念时有很大的差异。例如，猫图像的召回率（来自学习尾巴概念的层）从18%到86%不等，VGG 16的标准差为20.85%。我们提出了一个简单的和可扩展的修改，采用Gram-Schmidt过程从概念中采样随机噪声，并学习一个平均的“概念分类器”。该方法将上述标准偏差从20.85%改善到6.4%。
2020-02-26 cs.CV cs.LG stat.ML
Attack logics, not outputs: Towards efficient robustification of deep neural networks by falsifying concept-based properties
University of Lübeck（吕贝克大学）
针对深度神经网络易受对抗攻击的问题，提出通过证伪涉及可解释概念的基于概念的属性来攻击逻辑而非输出的方法，理论上其搜索空间更小、更贴合鲁棒性目标，有望同时提升逻辑合规性与鲁棒性。
2025-10-01 cs.CR cs.LG
Adversarial Examples and Metrics
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
对抗性示例是对机器学习（ML）系统的一种攻击，它会导致输入的错误分类。实现对抗性示例的鲁棒性对于在现实世界中应用ML至关重要。虽然大多数关于对抗性示例的先前工作都是经验性的，但最近的一系列工作建立了基于加密硬度的鲁棒分类的基本限制。然而，在这一领域的大多数积极和消极的结果假设有一个固定的目标度量约束对手，我们认为，这往往是一个不切实际的假设。在这项工作中，我们研究了鲁棒分类的局限性，如果目标度量是不确定的。具体地说，我们构建了一个分类问题，它承认强大的分类由一个小分类器，如果目标度量是已知的模型训练的时候，但强大的分类是不可能的小分类器，如果目标度量是事后选择。在这个过程中，我们探索了一个新的连接的硬度的鲁棒分类和有界存储模型密码学。
2020-07-15 cs.CR cs.LG
Robust Geometric Metric Learning
CentraleSupélec（巴黎中央理工-高等电力学院）；University Paris Saclay（巴黎萨克雷大学）；University Paris Nanterre（巴黎楠泰尔大学）；University Savoie Mont-Blanc（萨瓦大学）；ONERA（法国航空航天研究院）
本文提出了度量学习问题的新算法。我们首先注意到，从文献中的几个经典的度量学习公式可以被视为修改后的协方差阵估计问题。利用这一观点，一般的方法，称为鲁棒几何度量学习（RGML），然后研究。该方法的目的是同时估计的协方差阵的每一类，而收缩他们的（未知的）重心。我们专注于两个特定的成本函数：一个与高斯似然（RGML高斯），一个与泰勒的M -估计（RGML泰勒）。在这两种方法中，重心都是用黎曼距离定义的，黎曼距离具有良好的测地凸性和仿射不变性。利用对称正定矩阵及其单位行列式子流形的黎曼几何进行优化。最后，RGML的性能断言在真实的数据集。表现出强大的性能，同时对错误标记的数据具有鲁棒性。
2022-11-22 cs.LG stat.ML
A general framework for defining and optimizing robustness
Aalborg University（奥尔堡大学）
神经网络的鲁棒性问题近年来引起了人们的极大兴趣。这一领域的许多研究缺乏一个精确的鲁棒性概念的共同基础。因此，在本文中，我们提出了一个严格和灵活的框架，定义不同类型的鲁棒性属性的分类。我们的鲁棒性概念是基于这样的假设，即分类器的鲁棒性应该被认为是一个独立于准确性的属性，并且它应该在纯粹的数学术语中定义，而不依赖于其测量的算法程序。我们开发了一个非常通用的鲁棒性框架，适用于任何类型的分类模型，并包括相关的鲁棒性概念的调查范围从安全性对对抗攻击的模型转移到新的领域。对于两个典型的，不同的鲁棒性目标，然后我们提出了新的学习方法的基础上神经网络共同训练策略，以获得图像分类优化这些各自的目标。
2021-05-29 cs.LG stat.ML
Testing Stationarity Concepts for ReLU Networks: Hardness, Regularity, and Robust Algorithms
The Chinese University of Hong Kong（香港中文大学）
我们研究了具有ReLU激活函数的神经网络的经验损失的平稳性测试的计算问题。我们的贡献是：硬度：我们发现，检查一定的一阶近似平稳概念的分段线性函数是co-NP-hard。这意味着测试现代非光滑神经网络的某种平稳性概念通常在计算上是困难的。作为推论，我们证明了测试abs-正规形式的函数的所谓一阶极小性是co-NP-完全的，这是由Griewank和Walther（2019，SIAM J. Optim.，第29卷，第284页）。规律性：我们建立了一个充要条件的有效性的等式型次微分链式法则的Clarke，Fréchet，和限制次微分的经验损失的双层ReLU网络。这个新的条件是简单和有效的检查。鲁棒算法：我们引入了一种算法方案来测试Clarke和Fréchet次微分的近似平稳性。当测试点足够接近平稳点且满足一定条件时，我们的方案不会产生假阳性或假阴性误差。这是针对双层ReLU网络的第一个实用且强大的平稳性测试方法。
2023-02-23 cs.LG math.OC
Robust performance metrics for imbalanced classification problems
Philipps-Universität Marburg（马尔堡菲利普斯大学）；Karlsruher Institut für Technologie (KIT)（卡尔斯鲁厄理工学院）；Fachbereich Mathematik und Informatik（数学与信息学系）；Institut für Stochastik（统计研究所）
本文针对不平衡分类问题中现有性能度量对少数类不鲁棒的缺陷，提出了带调优参数的鲁棒改进度量，通过理论和实验验证其有效性并给出使用建议。
2026-10-30 cs.LG stat.ME stat.ML
Metrics and methods for robustness evaluation of neural networks with generative models
ITMO University（圣彼得堡国立信息技术机械与光学大学）；Aalto University（阿尔托大学）；Northeastern University（东北大学）
最近的研究表明，现代深度神经网络分类器很容易被愚弄，假设对手能够稍微修改它们的输入。许多论文已经提出了对抗攻击、防御和方法来测量对这种对抗扰动的鲁棒性。然而，大多数通常认为的对抗性示例都是基于神经网络的输入空间中的$\ell_p$有界扰动，这不太可能自然出现。近年来，特别是在计算机视觉中，研究人员发现了“自然”或“语义”扰动，例如旋转、亮度变化或更高级别的变化，但这些扰动尚未被系统地用于测量分类器的性能。在本文中，我们提出了几个度量分类器的鲁棒性自然对抗的例子，和方法来评估他们。这些指标称为潜在空间性能指标，基于生成模型捕获概率分布的能力，并在其潜在空间中定义。在三个图像分类的案例研究中，我们评估了几个分类器，包括传统的和强大的方式训练的建议指标。我们发现，对抗鲁棒性的潜在对应物与分类器的准确性相关，而不是其传统的对抗鲁棒性，但后者仍然反映在发现的潜在扰动的属性上。此外，我们发现潜在对抗性扰动的新方法表明，这些扰动通常在感知上很小。
2020-03-15 cs.CV cs.LG stat.ML
