Identifying Spurious Correlations for Robust Text Classification
Illinois Institute of Technology（伊利诺伊理工学院）；Tulane University（杜兰大学）
文本分类器的预测通常是由虚假的相关性驱动的，例如，术语“斯皮尔伯格”与正面评论的电影相关，即使该术语本身在语义上并不传达正面的情感。在本文中，我们提出了一种方法来区分虚假和真正的相关性在文本分类。我们将其视为一个监督分类问题，使用来自治疗效果估计的特征来区分虚假的相关性与“真正的”相关性。由于这些功能的通用性和它们的小维度，我们发现，即使有限的训练样本的方法工作得很好，它是可能的运输词分类到新的领域。在四个数据集（情感分类和毒性检测）上的实验表明，使用这种方法来通知特征选择也会导致更鲁棒的分类，这是通过改善受虚假相关影响的样本的最坏情况准确性来衡量的。
2020-10-06 cs.CL cs.IR cs.LG
A Robust Classification Framework for Byzantine-Resilient Stochastic Gradient Descent
International Institute of Information Technology Bangalore（班加罗尔国际信息技术学院）
本文提出了一个鲁棒梯度分类框架（RGCF）拜占庭容错分布式随机梯度下降。该框架由一个模式识别过滤器，我们训练能够单独使用它们的方向分类个别梯度拜占庭。该过滤器对于凸优化设置和非凸优化设置的任意数量的拜占庭工人是鲁棒的，这是对先前工作的显著改进，该先前工作仅当高达50%的工人是拜占庭时才对拜占庭故障是鲁棒的。该解决方案不需要估计拜占庭工人的数量;其运行时间不依赖于工人的数量，并且可以扩展到具有大量工人的训练实例，而不会损失性能。我们通过在拜占庭工人存在的情况下在MNIST数据集上训练卷积神经网络来验证我们的解决方案。
2023-01-16 cs.AI cs.DC cs.LG
Advanced machine learning informatics modeling using clinical and radiological imaging metrics for characterizing breast tumor characteristics with the OncotypeDX gene array
The Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
目的-最佳使用已建立的成像方法，如多参数磁共振成像（mpMRI），可同时识别关键功能参数并提供乳腺癌的独特成像表型。因此，我们开发并实施了一种新的机器学习信息系统，该系统整合了来自成像和临床健康记录的临床变量，以与21基因阵列检测OncotypeDX进行比较。材料和方法-我们在一组ER+患者（n=81）中测试了我们的信息学模型，这些患者接受了OncotypeDX基因表达和乳腺mpMRI检测。机器学习信息学方法被称为集成放射组学信息系统-IRIS，应用于mpMRI、临床和病理描述符以及基因阵列分析。IRIS方法使用先进的图论模型和定量指标。获得定量成像参数的汇总统计量（平均值和标准差）。计算患者分类的灵敏度和特异性以及曲线下面积。结果：IRIS模型对OncotypeDX分类的敏感性为95%，特异性为89%，AUC为0.92。高风险组的乳腺病变尺寸较大，低风险组和中等风险组的乳腺病变尺寸较低。各组PK-DCE和ADC图值差异有统计学意义。高、中危组的ADC图值显著低于低危组。结论-这些初步研究提供了对影像学特征和分子基因阵列OncotypeDX评分的更深入的理解。这一见解为将这些成像特征与治疗反应评估联系起来以改善个性化医疗提供了基础。
2018-11-08 cs.AI cs.CV cs.LG
Robust Classification using Robust Feature Augmentation
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Georgia Institute of Technology（佐治亚理工学院）；Stony Brook University（石溪大学）
现有的深度神经网络，比如用于图像分类的深度神经网络，已经被证明容易受到对抗性图像的攻击，这些图像可能会导致DNN错误分类，而不会对图像产生任何可感知的变化。在这项工作中，我们提出了冲击吸收鲁棒特征，如二值化，例如，舍入和组提取，例如，颜色或形状，以增强分类管道，从而产生更强大的分类器。实验表明，使用这些技术增强ML模型可以提高对抗性输入的整体鲁棒性，并显着改善训练时间。在MNIST数据集上，我们实现了14倍的训练时间加速，获得了90%的对抗准确率，与Madry等人的最先进的对抗训练方法相比，并在更广泛的攻击范围内保持更高的对抗准确性。我们还发现鲁棒性改进交通标志分类使用强大的功能增强。最后，我们给出了理论上的见解，为什么人们可以期望鲁棒的特征增强来减少对抗性输入空间
2019-09-18 cs.LG stat.ML
Sparse Robust Classification via the Kernel Mean
Decisions 360；Google Research, NY（谷歌研究纽约分部）；University of Tübingen（图宾根大学）
本文提出让核评估的权重相等以简化分类规则，探讨了该核均值分类规则的一致性、鲁棒性和稀疏化。
2025-10-13 cs.LG stat.ML
Computational Limitations in Robust Classification and Win-Win Results
我们继续研究学习鲁棒分类器中的统计/计算权衡，遵循Bubeck，Lee，Price和Razenshteyn最近的工作，他们展示了分类任务的例子，其中（a）在小扰动状态下存在有效的鲁棒分类器;（b）可以有效地学习非鲁棒分类器;但是（c）在计算上很难学习鲁棒的分类器，假设很难分解大的数字。是否存在一个强大的分类器，他们的任务在大扰动制度的问题似乎与重要的开放问题，在计算数论。在这项工作中，我们在三个方向上扩展了他们的工作。首先，我们展示了计算高效的鲁棒分类是不可能的分类任务，即使存在计算无界的鲁棒分类器。为此，我们依赖于平均情况硬函数的存在性。其次，我们展示了在大扰动状态下难以鲁棒学习的分类任务。也就是说，我们表明，即使存在一个有效的分类器，是强大的大扰动，它是很难计算学习任何非平凡的强大的分类器。我们的第一个构造依赖于单向函数的存在，第二个构造依赖于学习奇偶性与噪声问题的难度。在后一种设置中，不仅存在非鲁棒分类器，而且存在一种有效的算法，该算法在获得多项式多个训练样本的情况下生成新鲜的新标记样本（被Kearns et.（1994））。第三，我们表明，任何这样的反例意味着存在的密码原语，如单向函数。这将我们引向一个双赢的场景：要么我们可以学习一个高效的鲁棒分类器，要么我们可以构建新的加密原语实例。
2019-06-05 cs.LG stat.ML
Robust Bayesian Classification Using an Optimistic Score Ratio
Stanford University（斯坦福大学）
我们建立了一个贝叶斯上下文分类模型，使用一个乐观的分数比强大的二进制分类时，有有限的信息类条件，或上下文，分布。乐观分数在属于上下文歧义集的所有分布中搜索最合理的分布，以解释测试样本中观察到的结果，上下文歧义集是使用对潜在上下文分布的均值向量和协方差矩阵的有限结构约束规定的。我们表明，贝叶斯分类器使用乐观的分数比在概念上是有吸引力的，提供坚实的统计保证，是计算上容易处理的。我们展示了所提出的乐观分数比分类器的合成和经验数据的力量。
2020-07-08 cs.LG stat.ML
EmbraceNet: A robust deep learning architecture for multimodal classification
Yonsei University（延世大学）
使用多模态数据的分类出现在许多机器学习应用中。这不仅是至关重要的模型跨模态的关系，有效地，而且要确保鲁棒性，防止丢失的部分数据或模态。在本文中，我们提出了一种新的基于深度学习的多模态融合架构的分类任务，它保证与任何类型的学习模型的兼容性，仔细处理跨模态信息，并防止由于部分数据缺失而导致的性能下降。我们使用两个数据集进行多模态分类任务，基于我们的架构和其他最先进的模型构建模型，并分析它们在各种情况下的性能。实验结果表明，当部分数据不可用时，我们的架构优于其他多模态融合架构。
2019-04-19 cs.LG stat.ML
A Formally Robust Time Series Distance Metric
Know-Center GmbH（Know-Center 有限公司）；Graz University of Technology（格拉茨技术大学）
基于距离的分类是时间序列数据分类中最具竞争力的方法之一。基于距离的分类最关键的组成部分是所选择的距离函数。过去的研究已经提出了各种不同的距离度量或措施，致力于现实世界的时间序列数据的特定方面，但有一个重要的方面，尚未考虑到目前为止：对任意数据污染的鲁棒性。在这项工作中，我们提出了一种新的距离度量，对任意“坏”的污染是强大的，并具有最坏情况下的计算复杂性为$\mathcal{O}(n\log n)$。我们正式论证了为什么我们提出的度量是强大的，并在实证评估中证明，该度量在应用于k-最近邻时间序列分类时会产生有竞争力的分类精度。
2020-08-18 cs.LG stat.ML
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University（波士顿大学）
当协变量和响应/标签都可能被离群值污染时，我们为多元线性回归（MLR）和多类逻辑斯谛回归（MLG）开发了分布鲁棒优化（DRO）公式。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。实验结果表明，我们的方法将MLR的预测误差提高了7% - 37%，将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
Robust Deep Graph Based Learning for Binary Classification
University of Strathclyde（思克莱德大学）；York University（约克大学）
基于卷积神经网络（CNN）的特征学习已经成为最先进的技术，因为给定足够的训练数据，CNN可以显著优于用于各种分类任务的传统方法。然而，如果一些训练标签是嘈杂的，则特征学习变得更加困难。使用传统的正则化技术，CNN经常过度拟合噪声训练标签，导致分类性能低于标准。在本文中，我们提出了一种基于CNN的鲁棒二元分类器，用于学习深度度量函数，然后将其用于构建最佳底层图结构，用于通过图拉普拉斯正则化（GLR）来清除噪声标签。GLR是一个凸最大后验概率（MAP）问题，通过凸二次规划（QP）解决。为了惩罚决策边界周围的样本，我们提出了两个正则化的损失函数的半监督学习。在三个数据集上进行的二进制分类实验表明，在有噪声的训练数据集上，我们提出的网络优于几种最先进的分类器，包括标签噪声鲁棒支持向量机，具有三种不同鲁棒损失函数的CNN，基于模型的GLR和动态图CNN分类器。
2019-12-06 cs.LG stat.ML
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification
Carnegie Mellon University（卡内基梅隆大学）
对抗鲁棒性已经成为现代机器学习应用中的基本要求。然而，迄今为止，令人惊讶的是，统计学上的理解很少。本文在\cite{schmidt2018adversarially}提出的高斯混合模型下，给出了对抗鲁棒分类系统超额风险的最优Minimax保证的第一个结果.结果以对抗信噪比（AdvSNR）表示，它将标准线性分类的类似概念推广到对抗环境。对于AdvSNR值为$r$的高斯混合，我们建立了$Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$阶的超额风险下界，并设计了一个计算效率高的估计器，以实现此最佳速率。我们的结果建立在最小的假设集，同时涵盖了广泛的对抗性扰动，包括任何$p \ge 1$的$\ell_p$球。
2020-06-29 cs.LG stat.ML
Robust Classification Under $\ell_0$ Attack for the Gaussian Mixture Model
University of Pennsylvania（宾夕法尼亚大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
众所周知，机器学习模型容易受到小但巧妙设计的对抗性扰动的影响，这些扰动可能导致错误分类。虽然在设计各种对抗性环境的攻击和防御方面取得了重大进展，但许多基本和理论问题尚未解决。在本文中，我们考虑的分类存在$\ell_0$ -有界对抗扰动，又名。稀疏的攻击。该设置与其他$\ell_p$ -对抗设置（使用$p\geq 1$）显著不同，因为$\ell_0$ -球是非凸的且高度不平滑。假设数据是根据高斯混合模型分布的，我们的目标是表征最佳的鲁棒分类器和相应的鲁棒分类错误，以及各种鲁棒性，准确性和对手的预算之间的权衡。为此，我们开发了一种名为FilTrun的新型分类算法，它有两个主要模块：过滤和截断。我们的方法的关键思想是首先过滤掉输入的非鲁棒坐标，然后应用精心设计的截断内积进行分类。通过分析FilTrun的性能，我们推导出最优鲁棒分类误差的上界。我们还通过设计一个特定的对抗策略找到了一个下界，该策略使我们能够导出相应的鲁棒分类器及其实现的错误。对于高斯混合的协方差矩阵是对角的情况下，我们表明，随着输入的维数变大，上界和下界收敛，即我们表征的渐近最优的鲁棒分类。在整个过程中，我们讨论了几个例子，说明有趣的行为，如存在一个相变对手的预算确定是否可以完全抵消对抗扰动的影响。
2021-04-05 cs.LG stat.ML
Proper Network Interpretability Helps Adversarial Robustness in Classification
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
最近的工作经验表明，存在对抗性的例子，可以隐藏神经网络的可解释性（即，使网络解释图在视觉上相似），或可解释性本身容易受到对抗攻击。在本文中，我们从理论上证明，通过适当的解释测量，实际上很难防止预测规避对抗攻击引起解释差异，正如MNIST、CIFAR-10和Restricted ImageNet上的实验所证实的那样。在此基础上，我们开发了一个可解释性感知的防御方案，该方案仅建立在促进鲁棒解释的基础上（而不需要诉诸对抗性损失最小化）。我们表明，我们的防御实现了鲁棒的分类和鲁棒的解释，特别是针对大扰动攻击的最先进的对抗性训练方法。
2020-10-21 cs.LG stat.ML
Provable tradeoffs in adversarially robust classification
University of Pennsylvania（宾夕法尼亚大学）
针对机器学习的对抗脆弱性问题，推导了类别不平衡的二/三分类高斯问题下ℓ₂、ℓ∞攻击的贝叶斯最优鲁棒分类器，揭示了标准与鲁棒准确率的权衡及数据不平衡的影响，还给出凸损失校准与鲁棒风险有限样本速率等结果。
2022-01-30 cs.LG stat.ML
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory（美国海军研究实验室）
我们提出了一种新的变化的在线内核机，其中我们利用基于共识的优化机制，以指导决策函数的演变从再生核希尔伯特空间，有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
Adversarial Classification via Distributional Robustness with Wasserstein Ambiguity
The University of Sydney（悉尼大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们研究了一个基于分布鲁棒机会约束的对抗分类模型。我们表明，在Wasserstein歧义下，该模型的目标是最小化错误分类距离的条件风险值，我们探索了与早期提出的对抗性分类模型和最大边缘分类器的联系。我们还提供了一个重新制定的分布鲁棒模型的线性分类，并表明它是等价于最小化正则化斜坡损失的目标。数值实验表明，尽管这个公式的非凸性，标准下降方法似乎收敛到这个问题的全局极小值。受此观察的启发，我们表明，对于某一类分布，正则化斜坡损失最小化问题的唯一稳定点是全局最小值。
2021-11-04 cs.LG math.OC stat.ML
Doubly Robust Counterfactual Classification
Harvard Medical School（哈佛医学院）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）
我们研究反事实分类作为一种新的工具，在假设（与事实相反）的情况下进行决策。我们提出了一个双重鲁棒的非参数估计一般的反事实分类器，在那里我们可以通过铸造的分类问题作为一个非线性的数学规划，涉及反事实，将灵活的约束。我们继续分析估计的收敛速度，并提供了一个封闭形式的表达其渐近分布。我们的分析表明，所提出的估计是强大的滋扰模型误指定，并可以达到快速的$\sqrt{n}$率与易处理的推理，即使使用非参数机器学习方法。我们通过模拟研究我们的方法的实证性能，并将其应用于累犯风险预测。
2023-01-15 cs.LG stat.ME stat.ML
Disentangled Deep Autoencoding Regularization for Robust Image Classification
Shanghai Jiao Tong University（上海交通大学）；NEC Labs America - Princeton（美国电气通信技术公司美国研究院 - 普林斯顿）；Princeton University（普林斯顿大学）
尽管在机器学习方面取得了革命性的成功，但最近发现深度卷积神经网络容易受到对抗攻击的攻击，并且难以推广到具有相当大的几何变换的新测试图像。受最近神经科学发现的启发，揭示了灵长类动物的大脑使用解纠缠的形状和外观表示进行对象识别，我们提出了一个通用的解纠缠的深度自编码正则化框架，可以很容易地应用于任何基于深度嵌入的分类模型，以提高深度神经网络的鲁棒性。我们的框架有效地学习了解纠缠的外观代码和几何代码，用于鲁棒的图像分类，这是第一个基于解纠缠的方法防御对抗攻击，并补充标准的防御方法。在几个基准数据集上的大量实验表明，我们提出的正则化框架利用解纠缠嵌入显著优于传统的非正则化卷积神经网络用于图像分类，对对抗攻击和推广到新的测试数据的鲁棒性。
2019-02-27 cs.CV cs.LG stat.ML
Robust classification with flexible discriminant analysis in heterogeneous data
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；Laboratoire des signaux et systèmes（信号与系统实验室）；University of Cambridge（剑桥大学）
线性和二次判别分析是众所周知的经典方法，但可能严重受到非高斯分布和/或污染数据集的影响，主要是因为潜在的高斯假设不稳健。为了填补这一空白，本文提出了一种新的鲁棒判别分析，其中每个数据点都由其自己的任意椭圆对称（ES）分布和任意尺度参数绘制。这样的模型允许可能非常异质的、独立的但非相同分布的样本。推导出一个新的决策规则后，它表明，最大似然参数估计和分类是非常简单，快速和强大的国家的最先进的方法相比。
2022-01-09 cs.LG stat.AP stat.ML
Provable Robust Classification via Learned Smoothed Densities
NNAISENSE, Inc.（NNAISENSE公司）；Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校雷德伍德理论神经科学中心）
平滑分类器和高斯核的概率密度函数似乎无关，但在这项工作中，它们统一的鲁棒分类问题。关键的构建块是近似的随机变量$Y=X+N(0,σ^2 I_d)$的$\textit{energy function}$与神经网络，我们使用它来制定的问题，强大的分类方面的$\widehat{x}(Y)$，$\textit{Bayes estimator}$的$X$给定的噪声测量$Y$。我们在$\textit{randomized smoothing}$的框架内引入了$\textit{empirical Bayes smoothed classifiers}$，并从理论上研究了两类线性分类器，其中我们表明可以提高其鲁棒性以上$\textit{the margin}$。我们测试MNIST的理论，我们表明，与学习平滑的能量函数和线性分类器，我们可以实现可证明的$\ell_2$强大的准确性，是有竞争力的经验防御。这种设置可以通过$\textit{learning}$经验贝叶斯平滑分类器进行对抗训练来显着改进，并且在MNIST上，我们表明我们可以在一定半径范围内实现比最先进的经验防御更高的可证明的鲁棒精度。我们讨论了一些基本的挑战，随机平滑的几何解释的基础上，由于浓度的高斯在高维，我们完成了一个建议，使用步行跳跃采样，本身基于学习平滑密度，强大的分类文件。
2020-05-09 cs.LG math.OC stat.ML
Strategies for Robust Image Classification
Colorado State University（科罗拉多州立大学）
在这项工作中，我们评估的影响，数字化改变的图像上的人工神经网络的性能。我们探讨了负面影响图像分类模型产生一致和准确结果的能力的因素。由于数字异常或物理环境的变化而导致的图像更改会对模型的分类能力产生负面影响。本文的重点是发现和复制修改图像外观的场景，并在最先进的机器学习模型上对其进行评估。我们的贡献提出了各种训练技术，增强了模型的泛化能力，并提高了对这些变化的鲁棒性。
2020-08-13 cs.CV cs.LG stat.ML
Robust Active Learning for Electrocardiographic Signal Classification
SAS Inc（SAS公司）
心电信号的分类是医疗保健行业面临的一个具有挑战性的问题。传统的监督学习方法需要大量的标记数据，这通常是昂贵的，难以获得的心电信号。主动学习非常适合ECG信号分类，因为它的目的是选择最佳的标记数据集，以最大限度地提高分类性能。由于ECG数据在不同类别之间通常严重不平衡，并且类别标签由于手动标记而具有噪声，因此本文提出了一种基于鲁棒主动学习的新解决方案来解决这些挑战。其核心思想是首先在低维嵌入空间中对数据进行聚类，然后在局部聚类中选择信息最多的实例。通过选择依赖于局部平均最小距离的信息量最大的实例，该算法倾向于以更多样化的方式选择用于标记的数据。最后，通过在选择标记数据后加入一种新的噪声标记减少方案，进一步增强了模型的鲁棒性。对MIT-BIH心律失常数据库中的ECG信号进行分类的实验表明了该算法的有效性。
2018-11-21 cs.LG eess.SP stat.ML
Fast discovery of multidimensional subsequences for robust trajectory classification
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
随着每天生成大量移动数据，并通过新的信息源（如社交网络和物联网传感器）进行丰富，轨迹分类任务变得更加复杂。快速分类算法对于在实际应用中发现轨迹数据中的知识是必不可少的。在这项工作中，我们提出了一种方法，用于快速发现的子轨迹减少的搜索空间和优化的MASTERFovelets方法，这已被证明是有效的发现可解释的模式分类问题。
2021-02-09 cs.LG
Robust-GBDT: GBDT with Nonconvex Loss for Tabular Classification in the Presence of Label Noise and Class Imbalance
Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）
Robust-GBDT将梯度提升决策树与非凸损失函数结合，并引入鲁棒焦点损失，以应对表格分类中的标签噪声和类别不平衡，显著提升泛化能力并确立新标准。
2024-03-16 cs.LG
Robust Adversarial Classification via Abstaining
University of California, Riverside（加州大学河滨分校）；Indian Institute of Science（印度科学研究所）
在这项工作中，我们考虑了一个二元分类问题，并将其转换为一个二元假设检验框架，其中的观测可以被对手干扰。为了提高分类器的对抗鲁棒性，我们包含了一个弃权选项，当分类器对预测的置信度较低时，它会放弃做出决定。我们提出的指标，量化的标称性能的分类与弃权选项和对抗性扰动的鲁棒性。我们发现，无论使用什么方法来选择弃权区域，这两个指标之间存在一个权衡。我们的研究结果意味着，一个有弃权选项的分类器的鲁棒性只能以牺牲其标称性能为代价来提高。此外，我们提供了必要的条件，设计弃权区域的一维二元分类问题。我们验证了我们的理论结果的MNIST数据集，在那里我们数值表明，性能和鲁棒性之间的权衡也存在一般的多类分类问题。
2021-09-30 cs.LG cs.SY eess.SY
Bioinspired random projections for robust, sparse classification
ETH Zurich（苏黎世联邦理工学院）；Imperial College London（帝国理工学院）
受生物传感系统中随机投影的启发，我们提出了一种新的分类问题数据处理算法。这是基于对人类大脑和果蝇嗅觉系统的观察，并涉及在应用帽操作以截断较小条目之前将数据随机投影到大大增加维度的空间中。这导致了一个简单的算法，这是非常有效的计算，并可以用于要么给出一个稀疏表示与最小的损失在分类精度或提供改进的鲁棒性，在这个意义上，分类精度提高时，噪声被添加到数据。这是证明与数值实验，补充理论结果表明，所得到的信号变换是连续的和可逆的，在适当的意义上。
2022-07-27 cs.LG eess.SP q-bio.NC
Robust Classification of High-Dimensional Spectroscopy Data Using Deep Learning and Data Synthesis
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）
本文提出了一种新的方法来分类的高维光谱数据，并证明它优于其他目前的最先进的方法。我们考虑的具体任务是根据拉曼光谱确定样品是否含有氯化溶剂。我们还研究了对训练集中未表示的离群值样本（负离群值）进行分类的鲁棒性。提出了一种新的应用程序的本地连接的神经网络（NN）的光谱数据的二进制分类，并证明了传统流行的算法产生更高的精度。此外，我们提出了通过使用合成训练光谱进一步提高局部连接NN算法的准确性的能力，我们研究了基于自动编码器的一类分类器和离群值检测器的使用。最后，一个两步的分类过程中提出的二进制和一类分类范式的替代。这个过程结合了本地连接的NN分类器，使用合成的训练数据，和基于自动编码器的离群值检测器，以产生一个模型，该模型被示出既产生高的分类精度，并且对负离群值的存在是鲁棒的。
2020-03-26 cs.CV cs.LG cs.NE
Optimal Provable Robustness of Quantum Classification via Quantum Hypothesis Testing
ETH Zürich（苏黎世联邦理工学院）；Shanghai Jiao Tong University（上海交通大学）；University of Michigan-Shanghai Jiao Tong University Joint Institute（上海交通大学密歇根学院）；University of Illinois（伊利诺伊大学）
与经典模型相比，量子机器学习模型有可能提供加速和更好的预测准确性。然而，这些量子算法，像他们的经典同行，已被证明也容易受到输入扰动，特别是分类问题。这些可能来自噪声实现，或者作为最坏情况的噪声类型，对抗性攻击。为了开发防御机制并更好地了解这些算法的可靠性，了解它们在自然噪声源或对抗性操纵存在下的鲁棒性至关重要。从量子分类算法中涉及的测量自然是概率的观察，我们发现并形式化了二进制量子假设检验和可证明的鲁棒量子分类之间的基本联系。这种联系导致了一个严格的鲁棒性条件，它对分类器可以容忍的噪声量进行了限制，而与噪声源是自然的还是对抗性的无关。基于这一结果，我们开发了实用的协议，以最佳地证明鲁棒性。最后，由于这是针对最坏情况类型的噪声的鲁棒性条件，因此我们的结果自然扩展到噪声源已知的场景。因此，我们还提供了一个框架来研究量子分类协议的可靠性，超越了对抗性，最坏情况的噪声场景。
2021-05-26 cs.CR cs.LG quant-ph
Searching for Robustness: Loss Learning for Noisy Classification Tasks
University of Edinburgh（爱丁堡大学）；Samsung AI Centre Cambridge（三星剑桥人工智能中心）
我们提出了一个“学习学习”的方法，自动构建白盒分类损失函数，是强大的标签噪声的训练数据。我们使用泰勒多项式参数化一个灵活的损失函数族，并应用进化策略在这个空间中搜索噪声鲁棒损失。为了学习可应用于新任务的可重用损失函数，我们的适应度函数在一系列训练数据集和架构组合中对其性能进行了综合评分。由此产生的白盒损失提供了一个简单而快速的“即插即用”模块，该模块能够在不同的下游任务中进行有效的噪声鲁棒学习，而不需要特殊的训练过程或网络架构。我们的方法的有效性证明了各种数据集与合成和真实的标签噪声，我们比较有利，以前的工作。
2021-02-27 cs.LG
Robust Augmentation for Multivariate Time Series Classification
University of YYY（YYY大学）；Department of XXX, University of YYY（YYY大学XXX系）
神经网络能够学习强大的数据表示，但由于参数的数量，它们容易过拟合。这在时间序列分类领域尤其具有挑战性，其中数据集可能包含少于100个训练样本。在本文中，我们展示了剪切，剪切混合，混合和窗口扭曲的简单方法，以统计上显著的方式提高了时间序列分类的卷积，递归和基于自注意力的架构的鲁棒性和整体性能。我们在东安格利亚大学多变量时间序列分类（UEA MTSC）档案的26个数据集上评估了这些方法，并分析了这些方法在不同类型的时间序列数据上的表现。我们发现，与没有增强的情况相比，增强的InceptionTime网络在18个不同的数据集中将准确率提高了1%至45%。我们还表明，增强提高了经常性和自注意力为基础的架构的准确性。
2022-01-27 cs.LG
QGB-W$k$NN: Quantum Granular-Ball Learning for Robust Classification
Chongqing University of Posts and Telecommunications（重庆邮电大学）；University of Otago（奥塔哥大学）
针对最近邻分类效率低和噪声鲁棒性差的问题，提出基于量子粒球的加权K近邻框架QGB-W$k$NN，通过量子核粒球表示和纯度引导的HNSW优化及加权投票机制，实现高效鲁棒分类。
2026-09-09 cs.LG
Generative Robust Classification
University of Virginia（弗吉尼亚大学）
训练对抗性强的判别（即，softmax）分类器已经成为鲁棒分类的主要方法。基于最近在基于对抗训练（AT）的生成模型方面的工作，我们研究了使用AT来学习非规范化的类条件密度模型，然后执行生成鲁棒分类。结果表明，在模型容量相近的情况下，当测试数据干净或测试扰动大小有限时，生成式鲁棒分类器的性能与基线softmax鲁棒分类器相当，而当测试扰动大小超过训练扰动大小时，生成式鲁棒分类器的性能要优于基线softmax鲁棒分类器.生成分类器还能够生成更接近于训练数据的样本或反事实，这表明生成分类器可以更好地捕获类条件分布。与标准的判别对抗训练相比，高级数据增强技术只有在与权重平均相结合时才有效，我们发现应用高级数据增强来实现更好的鲁棒性是很简单的。我们的研究结果表明，生成分类器是一个有竞争力的替代强大的分类，特别是对有限数量的类的问题。
2022-12-14 cs.CV cs.LG
Robust Object Classification Approach using Spherical Harmonics
RMIT University（皇家墨尔本理工大学）；University College London（伦敦大学学院）
在本文中，我们提出了一个强大的球谐函数的点云为基础的对象的分类方法。球谐函数多年来一直用于分类，文献中存在几个框架。这些方法使用各种基于球谐函数的描述符来对对象进行分类。我们首先研究了这些框架对数据增强的鲁棒性，如离群值和噪声，因为以前没有研究过。然后，我们提出了一个球形卷积神经网络框架的鲁棒目标分类。该框架使用同心球的体素网格来学习单位球上的特征。由于所选择的采样策略和设计的卷积操作，我们提出的模型学习对数据增强不太敏感的特征。我们测试了我们提出的模型对几种类型的数据增强，如噪声和离群值。我们的研究结果表明，该模型优于最先进的网络在鲁棒性方面的数据增强。
2020-09-02 cs.CV cs.LG
A Robust Signal Classification Scheme for Cognitive Radio
本文提出了一种鲁棒的信号分类方案，实现多个共存的无线系统的综合频谱感知。它是建立在一组基于特征的信号检测算法增强的建议尺寸消除（DIC）的方法，以减轻噪声的不确定性问题。我们的测试平台上实现的分类方案，包括现实世界的无线设备。仿真结果与实验结果吻合较好，表明了该方案的有效性和鲁棒性。
2012-07-23 cs.IT cs.LG cs.NI
Robust Classification using Hidden Markov Models and Mixtures of Normalizing Flows
KTH Royal Institute of Technology（KTH皇家理工学院）
我们测试的鲁棒性的最大似然（ML）为基础的分类，连续的数据作为观察被噪声破坏。假设是，生成模型，结合隐马尔可夫模型（HMM）的状态转换和神经网络的隐状态的概率分布的HMM，可以提供一个强大的分类性能。该模型被称为基于归一化流混合模型的隐马尔可夫模型（NMM-HMM）。它可以使用期望最大化（EM）和反向传播的组合进行训练。我们在语音识别的应用中验证了改进的NMM-HMM分类器的鲁棒性。
2021-02-15 cs.LG eess.SP
Distributional Loss for Robust Classification
Institute for Neuro- and Bioinformatics（神经与生物信息学研究所）
提出一种基于双峰高斯分布的分布损失概念，通过软化目标隐式捕捉类别模糊性，缓解过拟合，提升决策边界鲁棒性，尤其在低数据场景下效果显著。
2026-06-12 cs.CV cs.LG
Non-Robust Features are Not Always Useful in One-Class Classification
Georgia Tech（佐治亚理工学院）；Technology Innovation Institute（技术创新研究院）
该研究针对单类分类实际应用中轻量级模型的对抗样本威胁展开，发现轻量级单类分类器在强攻击下学习的非鲁棒特征并非始终对任务有用，这类特征是训练的不良副产品。
2024-07-08 cs.CV cs.LG
An Empirical Evaluation of Four Algorithms for Multi-Class Classification: Mart, ABC-Mart, Robust LogitBoost, and ABC-LogitBoost
Cornell University（康奈尔大学）
本实证研究主要致力于比较四种基于树的boosting算法：mart，abc-mart，robust logitboost和abc-logitboost，在各种公开数据集上进行多类分类。其中一些数据集已经在之前的研究中使用广泛的分类算法进行了彻底的测试，包括SVM，神经网络和深度学习。在经验分类误差方面，我们的实验结果表明：1。abc-马特大大提高马特。2. abc-logitboost大大提高了（鲁棒）logitboost。3. robust）logitboost}大大提高了大多数数据集上的mart。4. abc-logitboost在大多数数据集上大大改进了abc-mart。5.这四种boosting算法（特别是abc-logitboost）在许多数据集上的性能优于SVM。6.与最好的深度学习方法相比，这四种boosting算法（尤其是abc-logitboost）具有竞争力。
2010-01-07 cs.AI cs.CV cs.LG
MultiGuard: Provably Robust Multi-label Classification against Adversarial Examples
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Huazhong University of Science and Technology（华中科技大学）；Duke University（杜克大学）
多标签分类，它预测一组标签的输入，有许多应用。然而，最近的多项研究表明，多标签分类容易受到对抗性样本的影响。特别是，攻击者可以通过添加精心制作的，人类无法感知的扰动来操纵多标签分类器预测的标签。现有的可证明防御多类分类实现次优可证明的鲁棒性保证时，推广到多标签分类。在这项工作中，我们提出了MultiGuard，这是第一个针对多标签分类对抗性示例的可证明鲁棒防御。我们的MultiGuard利用随机平滑，这是最先进的技术来构建可证明的鲁棒分类器。具体来说，给定任意多标签分类器，我们的MultiGuard通过向输入添加随机噪声来构建平滑的多标签分类器。在这项工作中，我们考虑各向同性高斯噪声。我们的主要理论贡献是，我们证明了一定数量的地面真值标签的输入是可证明的标签集由我们的MultiGuard预测时，加入到输入的对抗扰动的$\ell_2$ -范数是有界的。此外，我们设计了一个算法来计算我们的可证明的鲁棒性保证。经验上，我们评估我们的MultiGuard VOC 2007年，MS-COCO和NUS-WIDE基准数据集。我们的代码可从以下网址获得：\url{https://github.com/quwenjie/MultiGuard}
2022-10-03 cs.CR cs.LG
A Robust Twin Parametric Margin Support Vector Machine for Multiclass Classification
School of Science and Technology, University of Camerino（科学与技术学院，坎皮诺大学）；Department of Management, Information and Production Engineering, University of Bergamo（管理、信息与生产工程系，贝拉姆多大学）
本文提出一种稳健的双参数边际支持向量机模型，用于在特征不确定性下处理多类分类任务，通过鲁棒优化技术构建规范不确定性集，并探索线性和核诱导分类器以提高模型灵活性。
2025-06-24 cs.LG math.OC
Robust and Efficient Noisy-Label Time-Series Classification via Dynamic Time Warping Based Granular Ball Computing
Nagoya Institute of Technology（名古屋工业大学）
针对含噪标签时间序列分类问题，提出DTW-GBC方法，通过构建粒球减少比较次数，在缓解标签噪声影响的同时提升推理效率，取得鲁棒性与效率的平衡。
2026-10-09 cs.AI cs.LG
Understanding Robustness of Transformers for Image Classification
Google Research（谷歌研究院）
深度卷积神经网络（CNN）长期以来一直是计算机视觉任务的首选架构。最近，像视觉Transformer（ViT）这样基于Transformer的架构已经在图像分类方面与ResNets相匹配，甚至超过了ResNets。然而，Transformer体系结构的细节--比如使用非重叠补丁--让人怀疑这些网络是否同样健壮。在本文中，我们对ViT模型鲁棒性的各种不同度量进行了广泛的研究，并将研究结果与ResNet基线进行了比较。我们调查的鲁棒性输入扰动以及模型扰动的鲁棒性。我们发现，当用足够多的数据进行预训练时，ViT模型在广泛的扰动下至少与ResNet模型一样鲁棒。我们还发现，Transformers是强大的删除几乎任何单一的层，虽然从后面的层激活是高度相关的彼此，他们仍然发挥了重要作用的分类。
2021-10-08 cs.AI cs.CV cs.LG
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department（多特尔研究与创新中心，人工智能部门）；TRAIL – Trusted AI Labs（TRAIL——可信AI实验室）
研究安全关键应用中分类器的稳健性与可靠性，通过选择性分类视角探讨差距，引入统一基准，提出证据对抗训练方法，提升稳健性与不确定性权衡，优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
Right for the Right Reason: Making Image Classification Robust
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
卷积神经网络（CNN）在图像数据分类中的有效性已得到充分证明。为了向人类解释分类，近年来已经开发了用于可视化分类证据的方法。这些解释表明，有时图像被正确分类，但由于错误的原因，即，基于偶然的证据当然，期望图像由于正确的原因而被正确地分类，即，基于实际证据。为此，我们提出了一个新的解释质量度量来衡量对象对齐的解释在图像分类，我们称之为ObAlExmetric。使用目标检测方法，解释方法和ObAlEx，我们量化了CNN对实际证据的关注。此外，我们还证明了CNN的额外训练可以提高CNN的焦点，而不会降低其准确性。
2021-01-12 cs.CV cs.LG
Robustly Leveraging Prior Knowledge in Text Classification
Tsinghua University（清华大学）
先验知识已经被证明是非常有用的，以解决许多自然语言处理任务。已经提出了许多方法来形式化各种知识，然而，所提出的方法是否是强大的或敏感的知识提供给模型很少讨论。在本文中，我们提出了三个正则化项上的广义期望标准，并进行了广泛的实验，以证明所提出的方法的鲁棒性。实验结果表明，我们提出的方法取得了显着的改善，比基线更强大。
2015-03-03 cs.AI cs.CL cs.IR
Robust-by-Design Classification via Unitary-Gradient Neural Networks
Scuola Superiore Sant’Anna（圣安娜高等研究院）
由于存在对抗攻击，在安全关键系统中使用神经网络需要安全和鲁棒的模型。知道任何输入x的最小对抗扰动，或者等价地，知道x与分类边界的距离，允许评估分类鲁棒性，提供可验证的预测。不幸的是，用于计算这种距离的现有技术在计算上是昂贵的，因此不适合在线应用。这项工作提出了一种新的分类器家族，即符号距离分类器（SDC），从理论角度来看，直接输出x与分类边界的精确距离，而不是概率得分（例如，SoftMax）。SDC代表了一系列鲁棒设计分类器。为了实际解决SDC的理论要求，提出了一种新的网络结构，称为酉梯度神经网络。实验结果表明，所提出的架构近似于一个有符号的距离分类器，因此允许一个在线的可证明的分类x的成本一个单一的推理。
2022-09-09 cs.AI cs.LG math.DG
Discriminative Robust Deep Dictionary Learning for Hyperspectral Image Classification
Indraprastha Institute of Information Technology, Delhi（因德拉普拉斯信息技术学院（德里））
这项工作提出了一个新的深度学习框架，特别适合高光谱图像分类。我们以一种健壮的方式学习多级字典。最后一层是判别式的，它学习线性分类器。训练过程是渐进式的，每次只学习一级字典，而系数用于训练下一级。最后一级的系数用于分类。鲁棒性通过最小化绝对偏差而不是更流行的欧几里德范数来实现。内置的鲁棒性有助于对抗高光谱图像中存在的混合噪声（高斯和稀疏）。结果表明，我们提出的技术优于所有其他深度学习方法深度信念网络（DBN），堆叠自动编码器（SAE）和卷积神经网络（CNN）。在基准高光谱成像数据集上进行了实验。
2019-12-11 cs.CV cs.LG eess.IV
On Adversarial Robustness of 3D Point Cloud Classification under Adaptive Attacks
University of Michigan（密歇根大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
3D点云在各种安全关键型应用中发挥着关键作用，例如自动驾驶，这需要底层的深层神经网络对对抗性扰动具有鲁棒性。虽然已经提出了一些对抗性点云分类的防御措施，但它们是否对自适应攻击具有真正的鲁棒性仍然是未知的。为此，我们进行了第一次安全分析的国家的最先进的防御和设计自适应评估。我们100%的自适应攻击成功率表明，目前的对策仍然很脆弱。由于对抗训练（AT）被认为是最强大的防御，我们提出了第一个深入的研究，显示AT在点云分类中的行为，并确定所需的对称函数（池化操作）对AT下3D模型的鲁棒性至关重要。通过我们的系统分析，我们发现默认使用的固定池（例如，MAX池化）通常会削弱AT在点云分类中的有效性。有趣的是，我们进一步发现，基于排序的参数池可以显着提高模型的鲁棒性。基于上述见解，我们提出了DeepSym，一种深度对称池化操作，在不牺牲标称精度的情况下，在AT下从架构上将鲁棒性提高到47.0%，在PointNet中分别比原始设计和强基线高出28.5%（$\sim 2.6 \times$）和6.5%。
2021-04-06 cs.AI cs.CR cs.LG
LLM-Based Robust Product Classification in Commerce and Compliance
Thomson Reuters（汤森路透）
本研究针对国际贸易中产品分类面临的不完整描述等现实挑战，提出数据扰动模拟方法，并采用基于LLM的分类提升鲁棒性，实验证明LLMs在干净数据和数据攻击场景下均优于监督学习方法。
2024-10-15 cs.AI cs.CL cs.LG
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of California, Davis（加利福尼亚大学戴维斯分校）
Few-Shot图像分类的目标是推广到具有有限标记数据的任务，多年来已经取得了很大的进展。然而，分类器容易受到对抗性样本的影响，这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合，以提高Few-Shot分类器的鲁棒性。我们表明，一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明，在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器，在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的，易于扩展，并与很少的努力，可以导致强大的Few-Shot分类器。代码可在这里：\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
Robust Collective Classification against Structural Attacks
Washington University in St. Louis（圣路易斯华盛顿大学）
集体学习方法利用数据点之间的关系来提高分类性能。然而，这种关系，在底层图形模型中表示为边，暴露了一个额外的攻击面的对手。我们研究了一类重要的这种图形模型，关联马尔可夫网络（AMN），结构攻击，攻击者可以在测试时修改图结构的对抗鲁棒性。我们制定的任务学习一个强大的AMN分类器作为一个双层程序，其中内部的问题是一个具有挑战性的非线性整数规划，计算最佳的结构变化的AMN。为了解决这一技术挑战，我们首先放松攻击者问题，然后使用对偶来获得鲁棒AMN问题的凸二次上界。然后，我们证明了所得到的近似最优解的质量上的约束，并通过实验证明了我们的方法的有效性。最后，我们将我们的方法应用于转导学习环境中，并表明鲁棒AMN比最先进的深度学习方法更鲁棒，同时在非对抗性数据上牺牲的准确性很小。
2020-07-26 cs.AI cs.CR cs.LG
Toward Robust Image Classification
Taibah University（泰巴大学）；University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
神经网络经常用于图像分类，但容易受到由对抗性图像引起的误分类的影响。使神经网络图像分类更鲁棒的尝试包括预处理（裁剪，应用噪声，模糊），对抗训练和丢弃随机化的变化。在本文中，我们实现了一个模型的对抗检测的基础上结合了这两种技术：辍学随机化与预处理应用于图像在给定的贝叶斯不确定性。我们在MNIST数据集上评估了我们的模型，使用快速梯度符号方法（FGSM），基于雅可比的显着图攻击（JSMA）和基本迭代法（BIM）攻击生成的对抗图像。我们的模型实现了97%的平均敌对图像检测准确率，在丢弃标记为敌对的图像后，平均图像分类准确率为99%。我们的平均检测精度超过了最近使用类似技术的论文。
2019-09-19 cs.CV cs.LG eess.IV
Robust Training with Data Augmentation for Medical Imaging Classification
University of Connecticut（康涅狄格大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本研究提出带数据增强的鲁棒训练算法（RTDA），在医学影像分类中提升对对抗攻击和分布偏移的鲁棒性，同时保持高准确率。
2025-06-20 cs.AI cs.CV cs.LG
