Nonparametric Unsupervised Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
无监督分类方法从未标记的数据中学习判别分类器，这已被证明是同时聚类数据和从数据中训练分类器的有效方法。各种无监督分类方法通过以无监督方式学习的分类器获得吸引人的结果。然而，现有的方法没有考虑非监督分类器（非监督SVM除外）的误分类错误，因此没有充分评估非监督分类器的性能。在这项工作中，我们研究了两个流行的分类器，即最近邻分类器（NN）和插件分类器，在无监督分类的设置下的误分类错误。
2013-05-20 cs.LG stat.ML
Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers
McGovern Institute（麦戈文研究所）；Massachusetts Institute of Technology（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文基于类特征变异坍缩现象，证明预训练分类器特征图在新类别上的少样本误差界，为基础模型少样本迁移能力提供首个非空泛理论保证。
2023-07-16 cs.LG
Learning to Benchmark: Determining Best Achievable Misclassification Error from Training Data
University of Michigan（密歇根大学）
我们解决的问题，学习基准的最佳实现分类器的性能。在这个问题中，目标是建立统计上相合估计的贝叶斯误分类错误率，而不必学习贝叶斯最优分类器。我们的学习基准框架改进了以前学习贝叶斯误分类率界限的工作，因为它学习{ \it exact}贝叶斯错误率而不是错误率界限。我们提出了一个基准学习的基础上合奏的$ε$球估计和切比雪夫近似。在类密度的平滑假设下，我们证明了我们的估计达到了最佳（参数）均方误差（MSE）率为$O(N^{-1})$，其中$N$是样本数。在模拟和真实数据集上的实验表明，我们提出的基准学习算法产生的贝叶斯误差估计比以前的贝叶斯误差概率学习方法更准确。
2019-09-16 cs.LG stat.ML
A Meta-heuristic Approach to Estimate and Explain Classifier Uncertainty
Loughborough University（拉夫堡大学）；Defence Medical Rehabilitation Centre（国防医疗康复中心）
针对分类器不确定性解释缺乏模型无关且易理解方法的问题，提出类别无关的元启发式复杂度度量，并通过元学习框架估计误分类风险，效果优于预测概率。
2023-04-20 cs.AI cs.LG
Detecting Misclassification Errors in Neural Networks with a Gaussian Process Model
Cognizant AI Labs（Cognizant AI 实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着神经网络分类器在实际应用中的部署，可靠地检测其故障至关重要。一个实际的解决方案是为每个预测分配置信度分数，然后使用这些分数过滤掉可能的错误分类。然而，现有的置信度度量对于该角色还不够可靠。本文提出了一个新的框架，产生一个定量的度量检测误分类错误。这个框架RED在基本分类器之上构建了一个错误检测器，并使用高斯过程估计检测分数的不确定性。在125个UCI数据集上与其他错误检测方法进行了实验比较，结果表明该方法是有效的。在视觉任务中的两个概率基分类器和两个大型深度学习架构上的进一步实现进一步证实了该方法的鲁棒性和可扩展性。第三，对分布外样本和对抗样本的RED的实证分析表明，该方法不仅可以用来检测错误，还可以用来理解错误的来源。因此，RED可以在未来更广泛地用于提高神经网络分类器的可信度。
2022-01-02 cs.AI cs.LG
Analysis of convolutional neural network image classifiers in a rotationally symmetric model
Technische Universität Darmstadt（达姆施塔特工业大学）
定义了卷积神经网络图像分类器，并分析了估计的误分类风险向最优误分类风险的收敛速度。在这里，我们认为图像作为随机变量的值在一些功能空间，我们只观察离散样本作为函数值在一些有限的网格。根据适当的结构和平滑假设的功能后验概率，其中包括某种对称性对旋转的输入图像的子部分，它表明，最小二乘插件分类基于卷积神经网络是能够规避灾难的维数在二进制图像分类，如果我们忽略了分辨率相关的误差项。有限的样本量的分类器的行为进行了分析，通过将其应用到模拟和真实的数据。
2022-05-11 cs.LG stat.ML
On the rate of convergence of a classifier based on a Transformer encoder
Technical University of Darmstadt（达姆施塔特工业大学）
基于高维预测的模式识别被认为是。定义了一个基于Transformer编码器的分类器。分析了分类器的误分类概率向最优误分类概率的收敛速度收敛速率。结果表明，该分类器是能够规避灾难的维数提供的后验概率满足一个合适的层次组成模型。并结合自然语言处理中的分类问题，说明了本文理论分析的Transformer分类器与实际使用的Transformer分类器的区别。
2021-11-29 cs.LG math.ST stat.TH
Adversarial Vulnerability Bounds for Gaussian Process Classification
University of Sheffield（谢菲尔德大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
机器学习（ML）分类越来越多地用于安全关键系统。保护ML分类器免受对抗性示例的影响至关重要。我们建议，主要的威胁是，攻击者扰动一个自信的分类输入，产生一个自信的错误分类。为了防止这种情况，我们为高斯过程分类器设计了一个对抗边界（AB），它适用于整个输入域，限制了未来任何对抗方法导致这种错误分类的可能性。这是鲁棒性的正式保证，而不仅仅是经验得出的结果。我们研究如何配置分类器，以最大限度地提高界限，包括使用稀疏近似，导致产生一个实用的，有用的和可证明的强大的分类器，我们使用各种数据集进行测试的方法。
2019-09-19 cs.CR cs.LG stat.ML
Discrete Rényi Classifiers
Stanford University（斯坦福大学）
考虑从离散特征向量$X = (X_1,...,X_d)$预测目标变量$Y$的二元分类问题。当概率分布$\mathbb{P}(X,Y)$已知时，通过最大后验概率决策规则给出导致最小误分类率的最优分类器。然而，对于$d$的大值，估计完整联合分布$\mathbb{P}(X,Y)$在计算和统计上是不可能的。另一种方法是首先估计$\mathbb{P}(X,Y)$的一些低阶边缘，然后基于估计的低阶边缘设计分类器。当由于隐私问题而无法获得完整的训练数据实例时，这种方法也很有帮助。在这项工作中，我们考虑的问题，找到最佳的分类器的基础上估计的低阶边缘的$(X,Y)$。我们证明了，对于一个给定的边缘集，最小的Hirschal-Gebelein-Renyi（HGR）相关原理在[1]中介绍导致一个随机化的分类规则，它被证明有一个错误分类率不大于两倍的最佳分类器的错误分类率。然后，在可分性条件下，我们证明了所提出的算法是等价的随机线性回归方法。此外，该方法自然地导致选择具有与目标变量的最大最差情况HGR相关性的特征子集的鲁棒特征选择方法。我们的理论上限类似于最近的离散切比雪夫分类器（DCC）方法[2]，而所提出的算法具有显着的计算优势，因为它只需要解决最小二乘优化问题。最后，我们数值比较我们提出的算法与DCC分类器，并表明该算法的结果在各种数据集更好的误分类率。
2015-11-05 cs.LG
Misclassification in Automated Content Analysis Causes Bias in Regression. Can We Fix It? Yes We Can!
University of Michigan（密歇根大学）；Northwestern University（西北大学）；LMU Munich（慕尼黑大学）；GESIS - Leibniz-Institut für Sozialwissenschaften（莱布尼茨社会科学研究所（GESIS））
针对传播研究中自动化分类器错误分类导致回归偏差却被普遍忽视的问题，研究提出并在R包中实现了新的纠错方法，经蒙特卡洛模拟验证其通用性和高效性，证明合适的纠错可让低精度分类器用于测量。
2023-12-10 cs.AI cs.CL cs.CY
Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
自动化数据驱动的决策系统越来越多地被用来帮助，甚至在许多情况下取代人类。这些系统通过从历史决策中学习来发挥作用，这些决策通常是由人类做出的。为了最大化这些系统（或分类器）的效用，它们的训练涉及最小化给定历史数据的错误（或误分类）。然而，很有可能的是，最佳训练的分类器对属于具有不同误分类率的不同社会群体的人做出决策（例如，女性的错误分类率高于男性），从而使这些群体处于不公平的不利地位。为了解释和避免这种不公平，在本文中，我们引入了一个新的不公平的概念，不同的虐待，这是定义在误分类率。然后，我们提出了直观的措施，不同的虐待决策边界为基础的分类器，这可以很容易地纳入其制定的凹凸约束。在合成数据集和真实世界数据集上的实验表明，我们的方法可以有效地避免不同的误处理，通常在准确性方面的成本很小。
2017-03-08 cs.LG stat.ML
Revealing Perceptible Backdoors, without the Training Set, via the Maximum Achievable Misclassification Fraction Statistic
The Pennsylvania State University（宾夕法尼亚州立大学）
针对防御者缺少投毒训练集的 DNN 图像分类器场景，论文利用可感知后门的空间不变性与鲁棒性，提出基于 MAMF 统计量的训练后检测器，可识别攻击并推断源、目标类别。
2020-04-06 cs.LG stat.ML
Adaptive Cost-Sensitive Learning in Neural Networks for Misclassification Cost Problems
Bar-Ilan University（巴伊兰大学）
我们设计了一个新的自适应学习算法的误分类成本问题，试图减少成本的误分类实例的各种错误的后果。我们的算法（自适应成本敏感学习- AdaCSL）自适应地调整损失函数，使得分类器桥接训练和测试数据集中具有相似预测概率的样本的子组之间的类分布之间的差异（即，局部训练-测试类分布不匹配）。我们提供了一些理论上的性能保证所提出的算法，并提出经验证据表明，一个深神经网络与建议的AdaCSL算法产生更好的成本结果的几个二进制分类数据集，类不平衡和类平衡的分布相比，其他替代方法。
2021-11-14 cs.LG stat.ML
Weight Vector Tuning and Asymptotic Analysis of Binary Linear Classifiers
Electrical and Computer Engineering Program, King Abdullah University of Science and Technology（计算机与电气工程系，沙特国王阿卜杜拉科技大学）；Center of Excellence for NEOM Research at KAUST, King Abdullah University of Science and Technology（沙特国王阿卜杜拉科技大学NEOM研究卓越中心）
与其截距不同，线性分类器的权重向量不能通过简单的网格搜索来调整。因此，本文提出了一个通用的二元线性分类器的权重向量调整，通过参数化的分解的判别由标量控制之间的权衡冲突的信息和嘈杂的条款。通过改变该参数，以有意义的方式修改原始权重向量。将该方法应用于各种数据维度和样本量设置下的多个线性分类器，揭示了由于非最佳原生超参数而导致的分类性能损失可以通过权重向量调整来补偿。这产生了计算节省，因为与调整原生超参数相比，所提出的调整方法减少到调整标量，这可能涉及重复的权重向量生成以及其优化、降维等负担。这取决于分类器。研究还发现，权向量的调整显着提高了性能的线性判别分析（LDA）在高估计噪声。从这第二个发现出发，在增长制度的数据维数和样本量是可比的参数化LDA分类器的误分类概率的渐近研究进行。使用随机矩阵理论，误分类概率收敛到一个数量，这是一个函数的数据的真实统计。此外，估计的误分类概率。最后，计算效率调整的参数，使用此估计证明对真实数据。
2021-10-01 cs.LG eess.SP stat.ML
Facility Locations Utility for Uncovering Classifier Overconfidence
Miami University（迈阿密大学）；Air Force Research Lab（空军研究实验室）
在没有标记的测试数据集的情况下，评估黑盒分类器的预测准确性是具有挑战性的。在这些情况下，我们可能需要依赖人类预言来评估各个预测;这就提出了创建查询算法来指导搜索提供有关分类器预测特征的最多信息的点的挑战。以前的工作都集中在开发实用程序模型和查询算法，发现未知的未知数--错误分类的预测信心高于一些任意阈值。然而，如果错误分类的发生率由置信度值所反映，那么这些搜索方法只不过揭示了预测确定性的适当评估。当模型的预测置信度超过实际模型准确度时，我们无法适当降低与模型缺陷相关的风险。我们提出了一个设施的位置效用模型和相应的贪婪查询算法，而不是搜索过度自信的未知未知数。通过强大的实证实验，我们证明了贪婪的查询算法与设施的位置效用模型一致的结果在Oracle查询具有优越的性能，发现过度自信的未知的未知数比以前的方法。
2018-10-12 cs.LG stat.ML
The Entire Quantile Path of a Risk-Agnostic SVM Classifier
Canberra Research Laboratory, NICTA（堪培拉研究实验室，NICTA）；Australian National University（澳大利亚国立大学）
分位数二元分类器使用以下规则：如果P（Y = 1），则将x分类为+1| X = x）>= t，否则为-1，对于固定分位数参数t {[0，1]。已经证明，支持向量机（SVM）在极限下是t = 1/2的分位数分类器。在本文中，我们表明，通过使用不对称的错误分类成本支持向量机可以适当地扩展到恢复，在限制下，分位数二进制分类器的任何t。然后，我们提出了一个原则性的算法来解决扩展的SVM分类器的所有值的t同时。这有两个含义：第一，可以恢复整个条件分布P（Y = 1| X = X）= t，对于t {[0，1]。其次，我们可以建立一个风险不可知的SVM分类器，其中的错误分类成本不需要先验已知。初步的数值实验表明了该算法的有效性。
2012-05-09 cs.LG
Mitigation of Adversarial Examples in RF Deep Classifiers Utilizing AutoEncoder Pre-training
Perspecta Labs Inc.
图像机器学习中的对抗性示例被广泛宣传和探索。由轻微扰动的输入引起的错误分类的示例是丰富的并且是众所周知的（例如，一张熊猫的照片被不知不觉地扰乱，以欺骗分类器将其错误地标记为熊猫）。对射频（RF）信号深度学习（DL）的类似攻击及其缓解策略在已发表的工作中几乎没有涉及。然而，具有最小波形扰动的RF对抗性示例（AdEx）可能导致严重的、有针对性的误分类结果，特别是针对频谱感测/调查应用（例如，BPSK被误认为8-PSK）。我们对深度学习AdEx和拟议防御机制的研究是以RF为中心的，并结合了物理世界，空中（OTA）效应。我们在这里提出的防御机制的基础上预训练的目标分类器使用自动编码器。我们的研究结果验证了这种方法是一种可行的缓解方法，可以颠覆针对基于深度学习的通信和雷达传感系统的对抗性攻击。
2019-02-16 cs.LG eess.SP stat.ML
Finite-sample Analysis of Interpolating Linear Classifiers in the Overparameterized Regime
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们证明了两类线性分类的最大间隔算法的人口风险的界。对于线性可分离的训练数据，最大间隔算法在以前的工作中已经被证明相当于使用梯度下降的逻辑损失的训练极限，因为训练误差被驱动到零。我们分析了该算法适用于随机数据，包括误分类噪声。我们对干净数据的假设包括类条件分布是标准正态分布的情况。错误分类噪声可以由对手选择，受到损坏标签的分数的限制。我们的界限表明，有足够的过参数化，最大利润率算法训练的噪声数据可以实现近最优的人口风险。
2021-06-01 cs.LG math.ST stat.ML
Defuse: Harnessing Unrestricted Adversarial Examples for Debugging Models Beyond Test Accuracy
Amazon AWS AI（亚马逊AWS人工智能）；University of California, Irvine（加州大学尔湾分校）
我们通常会对保留的测试数据进行汇总统计，以评估机器学习模型的泛化能力。然而，测试数据的统计数据往往夸大了模型的泛化能力，因此，部署的机器学习模型的性能可能是可变的和不可信的。出于这些担忧，我们开发了自动发现和纠正数据中可用模型错误的方法。我们提出了Defuse，一种生成新的模型错误分类的方法，将这些错误归类为高级模型错误，并有效地标记和微调错误以纠正它们。为了生成错误分类的数据，我们提出了一种受对抗性机器学习技术启发的算法，该算法使用生成模型来查找模型错误分类的自然发生的实例。此外，我们观察到生成模型在其潜在空间中具有错误分类浓度较高的区域。我们称这些区域为误分类区域，并发现它们有几个有用的属性。每个区域都包含特定类型的模型错误;例如，MNIST分类器的错误分类区域包含skinny 6的样式，模型将其误认为1。我们还可以为每个区域分配一个标签，以促进低成本标签。我们提出了一种学习错误分类区域的方法，并使用这种洞察力对错误进行分类和纠正。在实践中，Defuse发现并纠正分类器中的新错误。例如，Defuse表明，一个高性能的交通标志分类器将某些50 km/h的标志误认为80 km/h。Defuse在微调后纠正错误，同时保持测试集上的泛化。
2021-02-11 cs.LG
Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
该研究针对带全局平均池化层的过参数化卷积神经网络图像分类场景，分析梯度下降训练下的收敛特性，推导了其误分类风险与最优值差值的收敛速率界。
2024-05-13 cs.LG stat.ML
Performance measures for classification systems with rejection
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等理工学院）；Carnegie Mellon University（卡内基梅隆大学）
具有拒绝功能的分类器在错误分类及其影响至关重要的现实应用中至关重要。然而，如果没有问题特定的成本函数的定义，有没有既定的措施来评估这种分类器的性能。我们引入了一组期望的性能指标的分类器拒绝，基于此，我们提出了一组三个性能指标的分类器的性能评估与拒绝，满足期望的属性。非拒绝准确性衡量分类器准确分类非拒绝样本的能力;分类质量衡量分类器与拒绝器的正确决策;拒绝质量衡量将所有错误分类的样本集中到拒绝样本集的能力。从措施，我们得出的相对最优性的概念，使我们能够连接的措施，考虑到拒绝和误分类之间的权衡的成本函数的家庭。我们说明了使用建议的性能指标与拒绝适用于合成和真实世界的数据分类。
2016-01-27 cs.CV cs.LG
Using SVM to pre-classify government purchases
Conselho Administrativo de Defesa Econômica（巴西经济保护行政委员会）
巴西政府经常对购买的商品进行错误分类。这使得审计政府支出变得困难。如果一支圆珠笔（代码#7510）被错误地归类为技术绘图笔（代码#6675）或任何其他商品，我们无法知道该笔的价格是否合理。本文展示了我们如何使用机器学习来减少错误分类。我训练了一个支持向量机（SVM）分类器，它以产品描述为输入，并返回最可能的类别代码作为输出。我使用巴西政府在1999-04-01和2015-04-02之间购买的2000万种商品来训练分类器。在83.3%的情况下，正确的类别代码是由分类器识别的三个最有可能的类别代码之一。我使用经过训练的分类器开发了一个网络应用程序，可以帮助政府减少错误分类。我在GitHub上开源了代码;任何人都可以使用和修改它。
2015-12-07 cs.LG
WisdomNet: trustable machine learning toward error-free classification
The University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）
WisdomNet是一种新型神经网络架构，通过引入共轭神经元实现零分类错误，可应用于多种网络架构，在不同数据集上能将分类错误率降至0%，且“拒绝”分类的比例约10%。
2026-10-14 cs.AI cs.LG
Exposing Vulnerabilities in Explanation for Time Series Classifiers via Dual-Target Attacks
University of Science and Technology of China（中国科学技术大学）
提出TSEF双目标攻击方法，通过联合操纵分类器和解释器输出，实现目标性误分类同时保持解释与参考一致，揭示解释稳定性不能作为决策鲁棒性的可靠指标。
2026-05-30 cs.LG
Optimized Instance Alteration for Explaining and Assessing Robustness of Classifiers
The Pennsylvania State University（宾夕法尼亚州立大学）
提出统一方法诊断黑盒分类器错误分类与评估鲁棒性，核心是含XA - \(L_0\)惩罚和分类器损失目标的优化框架，还引入TOR - 混淆矩阵量化鲁棒性，在多数据集验证，可兼顾可解释性与鲁棒性评估。
2026-07-09 cs.LG stat.ME
The Art of Misclassification: Too Many Classes, Not Enough Points
Universidad Simón Bolívar（simón bolívar大学）；Grupo de Investigación en Ecología y Biogeografía. Universidad de Pamplona（生态与生物地理学研究组，帕尔米拉大学）
本文提出基于熵的分类可行性度量，用于量化分类任务的固有难度，并揭示分类性能的理论极限。
2025-02-12 cs.IT cs.LG math.IT
Understanding Square Loss in Training Overparametrized Neural Network Classifiers
HKUST（香港科技大学）
深度学习在现代分类任务中取得了许多突破。已经为不同的数据结构提出了许多架构，但是当涉及到损失函数时，交叉熵损失是主要的选择。最近，几种替代损失已经重新引起了深度分类器的兴趣。特别是，经验证据似乎促进平方损失，但仍然缺乏理论依据。在这项工作中，我们有助于平方损失的理论理解，在分类系统地研究它是如何执行过参数化的神经网络的神经正切核（NTK）制度。关于泛化误差，鲁棒性和校准误差的有趣的属性被揭示。我们考虑两种情况，根据类是否是可分的。在一般不可分的情况下，快速收敛速度建立的误分类率和校准误差。当类是可分离的，误分类率提高到指数级。此外，由此产生的利润率被证明是下界远离零，提供理论保证的鲁棒性。我们希望我们的研究结果能够超越NTK制度，并转化为实际环境。为此，我们进行了广泛的实证研究，实际神经网络，证明平方损失的有效性，在合成的低维数据和真实的图像数据。与交叉熵相比，平方损失的泛化误差相当，但在鲁棒性和模型校正方面具有明显的优势。
2021-12-07 cs.LG stat.ML
Unique properties of adversarially trained linear classifiers on Gaussian data
University College London（伦敦大学学院）
机器学习模型容易受到对抗性扰动的影响，当添加到输入时，可能会导致高置信度的错误分类。对抗性学习研究社区在理解对抗性扰动的根本原因方面取得了显着进展。然而，对于安全关键任务中的机器学习的部署，人们可能认为重要的是要解决的大多数问题涉及难以表征和研究的高维复杂流形。在简单问题上发展对抗性强的学习理论是很常见的，希望这些见解能转移到“现实世界的知识库”。在这项工作中，我们讨论了这种方法失败的设置。特别是，我们用线性分类器证明，在训练过程中，在任意对抗性腐败水平下，总是可以解决高斯数据的二进制分类问题，并且在CIFAR-10数据集上的非线性分类器中没有观察到这种特性。
2020-06-06 cs.CR cs.LG stat.ML
Projecting Trouble: Light Based Adversarial Attacks on Deep Learning Classifiers
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Western Washington University（西华盛顿大学）
这项工作演示了使用投影光到物理场景上对深度学习图像分类系统的物理攻击。先前的工作主要是创建对抗性示例的技术，这些示例直接操纵分类器的数字输入。这种攻击仅限于对手可以直接更新分类器输入的场景。这可以通过拦截和修改在线API（如Clarifai或Cloud Vision）的输入来实现。这种限制导致了围绕物理攻击的研究，其中对象被构造为固有的对抗性或对抗性修改被添加以导致错误分类。我们的工作与其他物理攻击的不同之处在于，我们可以动态地造成错误分类，而不会永久地改变物理对象。我们构建了一个实验装置，其中包括一个光投影源，一个对象的分类，和一个摄像机捕捉场景。针对CIFAR-10的2D和3D对象进行实验。初步测试表明，通过差分进化选择的投影光模式可以分别将2D和3D目标的分类概率从98%降低到22%和89%到43%。随后的实验探讨了对物理设置的敏感性，并比较了所有10个CIFAR类别的两个额外的基线条件。有些物理目标更容易受到干扰。简单的攻击显示出几乎相同的成功率，10个类中有6个被光干扰。
2018-10-16 cs.CV cs.LG stat.ML
Malware Evasion Attack and Defense
McAfee（迈克菲）
机器学习（ML）分类器容易受到对抗性样本的影响。一个对抗性的例子是一个输入样本，它被稍微修改以在ML分类器中引起错误分类。在这项工作中，我们调查白盒和灰盒规避攻击ML为基础的恶意软件检测器，并在现实世界中进行性能评估。我们比较了防御方法在减轻攻击。我们提出了一个框架，部署灰盒和黑盒攻击的恶意软件检测系统。
2019-04-16 cs.CR cs.LG stat.ML
DANCin SEQ2SEQ: Fooling Text Classifiers with Adversarial Text Example Generation
Stanford University（斯坦福大学）
机器学习模型功能强大，但也容易出错。生成对抗性示例-故意制作的输入，以导致模型错误分类或其他错误-可以对模型假设和漏洞产生重要的洞察力。尽管最近针对图像分类器的对抗性示例生成的工作很重要，但探索文本分类器的对抗性示例生成的工作相对较少;此外，许多现有的对抗性示例生成算法需要完全访问目标模型参数，这使得它们对于许多现实世界的攻击来说不切实际。在这项工作中，我们引入了DANC in SEQ 2SEQ，这是一种受GAN启发的算法，用于生成对抗性文本示例，主要针对黑盒文本分类器。我们将对抗性文本示例生成重新定义为一个强化学习问题，并证明我们的算法为在真实攻击场景中生成语义上有意义的对抗性文本示例提供了初步但有希望的步骤。
2017-12-14 cs.CR cs.LG
From Misclassifications to Outliers: Joint Reliability Assessment in Classification
Intellindust AI Lab（智联工业人工智能实验室）；Samsung AI Center（三星人工智能中心）
本文提出联合评估框架和双评分函数，提升分类器可靠性，适用于不同场景的稳健模型部署。
2026-03-04 cs.CV cs.LG
Performance Evaluation of Machine Learning Classifiers in Sentiment Mining
Annamalai University（安纳马莱大学）
近年来，机器学习分类器的使用在解决文本分类中的各种问题方面具有重要价值。情感挖掘是一种文本分类方法，根据情感倾向（如积极或消极）对消息进行分类。本文扩展了评估各种分类器性能的思想，以显示其在在线产品评论情感挖掘中的有效性。产品评论来自亚马逊评论。为了评估分类器的性能，使用了各种评估方法，如随机抽样，线性抽样和自助抽样。结果表明，采用自举抽样方法的支持向量机在误分类率方面优于其他分类器和抽样方法。
2014-02-17 cs.CL cs.IR cs.LG
Adequacy of the Gradient-Descent Method for Classifier Evasion Attacks
University of Melbourne（墨尔本大学）
尽管机器学习在包括计算机安全在内的对抗性环境中得到了广泛应用，但最近的研究表明，规避攻击存在漏洞-精心制作的对抗性样本与合法实例非常相似，但会导致错误分类。在本文中，我们研究了产生对抗样本的主要方法-梯度下降方法的充分性。特别是（1）我们在MNIST、USPS和Spambase三个数据集上进行了大量的实验，以分析梯度下降方法对非线性支持向量机的有效性，并得出结论，仔细降低核平滑度可以显着提高对攻击的鲁棒性;（2）我们证明了分离的类间支持向量导致更安全的模型，并提出了一个类似于裕度的量，可以在攻击发起之前有效地预测对梯度下降攻击的潜在易感性;（3）设计了一种新的基于类决策函数乘性比优化的对抗样本构造算法。
2017-05-25 cs.CR cs.LG stat.ML
Sparsity-driven weighted ensemble classifier
Jacobs University（雅各布斯大学）；Konya Food and Agriculture University（科尼亚食品农业大学）
在这项研究中，提出了一种新的稀疏驱动的加权集成分类器（SDWEC），提高分类精度和最小化的分类器的数量。使用预先训练的分类器，形成其中基础分类器根据分配的权重进行投票的总体。这些分配的权重直接影响分类器的准确性。在所提出的方法中，集成权重发现问题建模为成本函数与以下条款：（a）的数据保真度项，旨在降低误分类率，（b）稀疏项，旨在减少分类器的数量，和（c）的分类器的权重的非负约束。由于所提出的成本函数是非凸的，因此很难解决，凸松弛技术和新的近似，以获得一个数值有效的解决方案。代价函数的稀疏项允许在需要时在精度和测试时间之间进行权衡。在11个数据集上测试了SDWEC的效率，并与最先进的分类器集成方法进行了比较。结果表明，SDWEC提供了更好的或类似的精度水平，使用更少的分类器，并减少了测试时间的集成。
2019-06-21 cs.LG stat.ML
Bayes classifier cannot be learned from noisy responses with unknown noise rates
University of Michigan（密歇根大学）
本文证明在噪声率未知时大多数分类问题中贝叶斯决策规则不可识别，因此无法普遍绕过对噪声分布的要求，并在可识别情形下给出无需噪声分布知识的简单学习算法。
2023-04-13 cs.LG stat.ML
Adaptive Learned Bloom Filter (Ada-BF): Efficient Utilization of the Classifier
Rice University（莱斯大学）
最近的工作建议通过将机器学习模型作为二元分类器来提高布隆过滤器的性能。然而，这种学习的布隆过滤器没有充分利用预测的概率得分。我们提出了新的算法，通过使用分数区域的完整谱来推广学习的布隆过滤器。我们证明，与现有的学习Bloom过滤器方法相比，我们的算法具有更低的误报率（FPR）和内存使用量。我们还展示了我们的算法在真实世界数据集上的改进性能。
2019-10-21 cs.DS cs.LG
On the Choice of General Purpose Classifiers in Learned Bloom Filters: An Initial Analysis Within Basic Filters
Università degli Studi di Milano（米兰大学）；Università di Palermo（巴勒莫大学）；CINI National Laboratory in Artificial Intelligence and Intelligent Systems (AIIS), Università di Roma（罗马大学 CINI 人工智能与智能系统国家实验室）
布隆过滤器是一种基本的、普遍的数据结构。在不断增长的学习数据结构领域中，已经考虑了布隆过滤器的几个学习版本，产生了优于经典过滤器的优点。它们中的每一个都使用分类器，分类器是数据结构的已学习部分。虽然它在这些新的过滤器中具有核心作用，并且其空间占用以及分类时间可能会影响学习过滤器的性能，但是没有系统地研究在何种情况下使用哪种特定的分类器。我们在这里报告在这方面的进展，也提供了初步的指导方针，其中分类器选择五个经典的分类范式。
2021-12-13 cs.LG cs.NE
A Modified Construction for a Support Vector Classifier to Accommodate Class Imbalances
给定一个具有二进制分类的训练集，支持向量机识别使两类训练数据之间的间隔最大化的超平面。这个一般公式是有用的，因为它可以被应用而不考虑类之间的方差差异。然而，忽略这些差异并不是最佳的，因为一般的SVM会给具有较低方差的类一个无法避免的距离。这增加了其他类别的错误分类的机会，并导致预测性能的整体损失。提出了一种替代构造，其中分离超平面的边缘对于每个类是不同的，每个边缘与其类沿垂直于超平面的方向的标准差成比例。在类方差相等的情况下，该构造与SVM一致。然后，本文将研究修改后的约束方程的对偶表示的影响。
2017-02-10 cs.LG stat.ML
AutoGAN: Robust Classifier Against Adversarial Attacks
Rutgers University（罗格斯大学）；Perspecta Labs（Perspecta实验室）
分类器不能正确地分类输入图像，这些图像已经被有目的地和不可察觉地扰动以引起误分类。这种可解释性已被证明是一致的分类器，无论其类型，架构或参数。针对对抗攻击的常见防御通过对以各种方式创建的额外对抗示例进行训练来修改分类器边界。在本文中，我们介绍了AutoGAN，它通过增强由训练数据定义的低维流形并将扰动数据点投影到其上来对抗对抗攻击。AutoGAN减少了对攻击类型和大小的了解以及对攻击的对抗样本的需求。我们的方法使用了一个生成对抗网络（GAN），它具有一个自动编码器生成器和一个也用作分类器的编码器。我们测试了AutoGAN与最先进的快速梯度符号方法（FGSM）生成的对抗样本以及随机高斯噪声生成的样本，两者都使用MNIST数据集。对于训练和测试中不同程度的扰动，AutoGAN可以在使用FGSM扰动的样本上超过FGSM方法的精度高达25个点。在没有增强训练数据集的情况下，AutoGAN在FGSM测试对抗样本上的准确率为89%，而FGSM方法仅为1%。
2018-12-08 cs.CR cs.CV cs.LG
Two Shifts for Crop Mapping: Leveraging Aggregate Crop Statistics to Improve Satellite-based Maps in New Regions
Stanford University（斯坦福大学）
田间作物类型制图对于农业监测的各种应用至关重要，卫星图像正成为制作作物类型图的日益丰富和有用的原始投入。尽管如此，在许多地区，利用卫星数据绘制作物类型图仍然受到缺乏用于训练监督分类模型的田间作物标签的限制。当训练数据在一个区域中不可用时，可以转移在相似区域中训练的分类器，但是作物类型分布的变化以及区域之间特征的变换导致分类精度降低。我们提出了一种方法，使用聚合水平的作物统计数据，以纠正分类占这两种类型的转变。为了调整作物类型组成的变化，我们提出了一个方案，用于适当地重新加权分类器输出的每个类的后验概率。为了调整特征的偏移，我们提出了一种方法来估计和去除平均特征向量中的线性偏移。我们证明，这种方法导致整体分类精度大幅提高时，使用线性判别分析（LDA）映射在Occitanie，法国和肯尼亚西部省的作物类型。当使用LDA作为我们的基础分类器时，我们发现，在法国，我们的方法导致11个不同培训部门的错误分类减少了2.8%至42.2%（平均值= 21.9%），在肯尼亚，三个培训地区的错误分类减少了6.6%，28.4%和42.7%。虽然我们的方法是由LDA分类器统计动机，它可以应用于任何类型的分类器。作为一个例子，我们展示了它的成功应用，以改善随机森林分类器。
2021-09-02 cs.CV cs.LG stat.AP
Adversarially Learned Abnormal Trajectory Classifier
Polytechnique Montréal（蒙特利尔高等理工学院）
我们解决的问题异常事件检测轨迹数据。在本文中，提出了一种新的对抗性方法，用于构建一个深度神经网络二元分类器，以无监督的方式训练，可以区分正常和异常的基于概率的事件，而无需设置手动检测阈值。受生成对抗网络（GAN）框架的启发，我们的GAN版本是一个有区别的版本，其中训练了神经网络来区分由深度自动编码器给出的正常和异常轨迹重建错误。与城市交通视频及其相关的轨迹，我们提出的方法给出了最好的准确性异常轨迹检测。此外，我们的模型可以很容易地推广到基于异常概率的事件检测，并且仍然可以产生最好的行为检测结果，如CAVIAR数据集所示。
2019-04-03 cs.LG stat.ML
Explainable Adversarial Attacks on Coarse-to-Fine Classifiers
University of Central Florida（中佛罗里达大学）；Pontifícia Universidade Católica do Rio Grande do Sul（南里奥格兰德天主教大学）
针对多阶段粗到细分类器的对抗攻击缺乏可解释性与研究的问题，本文利用逐层相关性传播（LRP）识别关键特征，提出可解释的基于实例的对抗攻击方法，能引发误分类并增强模型行为的可解释性。
2025-01-19 cs.CR cs.CV cs.LG
Certified Robustness of Quantum Classifiers against Adversarial Examples through Quantum Noise
National Taiwan University（国立台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
针对量子分类器易受对抗攻击的问题，本文首次从理论上证明添加量子随机旋转噪声可提升其鲁棒性，关联差分隐私定义并推导可认证鲁棒性界，经IBM 7量子比特设备噪声模拟实验验证有效。
2023-04-28 cs.LG cs.NE eess.SP
On the reversibility of adversarial attacks
Queen Mary University of London（伦敦玛丽女王大学）
对抗攻击通过扰动来修改图像，从而改变分类器的预测。这些修改后的图像被称为对抗性示例，暴露了深度神经网络分类器的漏洞。在本文中，我们研究了原始图像预测的类与其相应的对抗性示例之间的映射的可预测性。这种可预测性与恢复原始预测的可能性有关，从而扭转了诱导的错误分类。我们将此属性称为对抗攻击的可逆性，并将可逆性量化为检索对抗示例的原始类或真实类的准确性。我们提出了一种方法，逆转的对抗攻击的分类器上使用的分类结果的先验集的效果。我们分析了最先进的对抗攻击对基准分类器的可逆性，并讨论了影响可逆性的因素。
2022-06-01 cs.AI cs.CR cs.LG
Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems
Hologic（豪洛捷）
据报道，深度学习系统在许多应用中实现了最先进的性能，关键是在基准数据集上存在经过良好训练的分类器。作为一种主流的损失函数，交叉熵可以很容易地引导我们找到表现出严重过拟合行为的模型。在本文中，我们表明，现有的交叉熵损失最小化问题本质上是学习数据集的底层数据分布的标签条件熵（CE）。然而，以这种方式学习的CE不能很好地表征由标签和输入共享的信息。在本文中，我们提出了一个互信息学习框架，通过学习标签和输入之间的互信息来训练深度神经网络分类器。从理论上给出了基于互信息的种群分类误差下界。此外，我们推导出$\mathbb{R}^n$中具体的二进制分类数据模型的互信息下限和上限，以及在这种情况下的错误概率下限。从经验上讲，我们在几个基准数据集上进行了大量的实验来支持我们的理论。互信息学习分类器（MILC）比条件熵学习分类器（CELC）具有更好的泛化性能，其测试精度可提高10%以上.
2022-09-21 cs.CV cs.IT cs.LG
Random Spiking and Systematic Evaluation of Defenses Against Adversarial Examples
Purdue University（普渡大学）
图像分类器经常遭受对抗性的例子，这些例子是通过策略性地向输入图像添加少量噪声来欺骗分类器进行错误分类而生成的。多年来，人们提出了许多防御机制，不同的研究人员对它们的有效性提出了看似矛盾的说法。我们提出了一个可能的对抗模型的分析，并提出了一个评估框架，比较不同的防御机制。作为框架的一部分，我们引入了一个更强大和现实的对手战略。此外，我们提出了一种新的防御机制，称为随机尖峰（RS），它概括了辍学，并在训练过程中以受控的方式引入随机噪声。在我们提出的框架下进行的评估表明，RS比许多现有的方案提供了更好的对抗性示例的保护。
2020-01-20 cs.AI cs.CR cs.LG
A Critical Analysis of Classifier Selection in Learned Bloom Filters
University of Milan（米兰大学）；University of Palermo（巴勒莫大学）
学习布隆过滤器，即，通过机器学习技术从数据导出的模型和解决近似集合成员问题，最近已经被引入，目的是增强标准布隆过滤器的性能，特别关注空间占用。与经典情况不同，用于构建过滤器的数据的“复杂性”可能会严重影响其性能。因此，在这里，我们提出了第一个深入的分析，尽我们所知，对于给定的学习布隆过滤器的性能评估，结合给定的分类器，在给定的分类复杂度的数据集上。事实上，我们提出了一种新的方法，支持软件，用于设计，分析和实施学习布隆过滤器的功能，其多标准的性质（即，涉及空间效率，误报率和拒绝时间的限制）的特定约束。我们的实验表明，所提出的方法和支持软件是有效的和有用的：我们发现，只有两个分类器具有理想的属性与不同的数据复杂性的问题，有趣的是，他们都没有被认为是迄今为止在文献中。我们还通过实验表明，三明治变体的学习布隆过滤器是最强大的数据复杂性和分类器性能的变化，以及那些通常具有较小的拒绝时间。该软件可以很容易地用来测试新的学习布隆过滤器的建议，可以与这里确定的最好的比较。
2022-11-28 cs.AI cs.LG
You Only Query Once: Effective Black Box Adversarial Attacks with Minimal Repeated Queries
Bosch Center for AI（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）；Carnegie Mellon University（卡内基梅隆大学）
研究人员一再表明，对深度分类器进行对抗攻击（显著改变类别标签的小扰动）是可能的，即使是在“黑盒”设置中，也只能查询分类器。然而，黑盒设置中的所有先前工作都通过重复查询同一图像并进行微小修改来攻击分类器，通常是数千次或更多，这使得防御者很容易检测到随后的攻击。在这项工作中，我们证明了在黑盒设置中通过只查询一次不同图像的序列来制作（通用）对抗性扰动是可能的。这种攻击会阻止从大量相似查询中检测到数据，并产生一种扰动，当应用于分类器的任何输入时，这种扰动会导致错误分类。在实验中，我们证明了遵守这一限制的攻击可以产生非目标性的对抗性扰动，这些扰动可以欺骗绝大多数MNIST和CIFAR-10分类器输入，以及ImageNet分类器上超过$60-70\%$的输入。在有针对性的设置中，我们展示了针对ImageNet分类器的黑盒通用攻击，当每个图像只允许一个查询时，成功率高于$20\%$，当每个图像允许两个查询时，成功率高于$66\%$。
2021-01-29 cs.CR cs.LG
Securing Transfer-Learned Networks with Reverse Homomorphic Encryption
School of Mathematics University of Bristol（数学系 布里斯托大学）
针对小样本迁移学习图像分类器易受训练数据重建攻击、DP-SGD防御需牺牲效用的问题，提出反向同态加密方案，通过加密迁移学习权重而非输入数据，在不降低准确率的前提下抵御各类重建攻击。
2025-10-27 cs.CR cs.LG
Adversarial Patterns: Building Robust Android Malware Classifiers
Rochester Institute of Technology（罗切斯特理工学院）
该综述针对全球应用最广的Android系统的恶意软件分类器易受对抗攻击的问题，全面梳理相关背景、攻防最新进展，给出鲁棒分类器设计指南与未来研究方向。
2024-04-12 cs.CR cs.LG
Population structure-learned classifier for high-dimension low-sample-size class-imbalanced problem
Dalian Maritime University（大连海事大学）
高维低样本数据的分类是一个具有挑战性的问题，在许多应用领域中，类别不平衡数据是普遍存在的。我们称之为不平衡HDLSS（IHDLSS）。最近的理论研究表明，分类标准和容忍相似度是关键的HDLSS，它强调类内方差的最大化的前提下，类可分性。基于这一思想，提出了一种新的线性二元分类器，称为群体结构学习分类器（PSC）。该方法在保证类可分性的前提下，通过最大化类间散布矩阵和类内散布矩阵之和，并对多数类和少数类分配不同的截距值，使PSC在IHDLSS上具有更好的泛化性能。该方法的显著特点是：（1）在IHDLSS上工作良好;（2）高维矩阵的逆可以在低维空间求解;（3）对每类的截距项的确定具有自适应性;（4）具有与SVM相同的计算复杂性。在IHDLSS上对一个模拟数据集和八个真实世界的基准数据集进行了一系列的基因分析评估。实验结果表明，PSC是优于国家的最先进的方法在IHDLSS。
2020-09-10 cs.LG math.OC stat.ML
Defense-GAN: Protecting Classifiers Against Adversarial Attacks Using Generative Models
University of Maryland, College Park（马里兰大学帕克分校）；University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）
近年来，深度神经网络方法已被广泛用于机器学习任务，包括分类。然而，它们被证明容易受到对抗性扰动的影响：精心制作的小扰动可能会导致合法图像的错误分类。我们提出了Defense-GAN，这是一个利用生成模型的表达能力来保护深度神经网络免受此类攻击的新框架。Defense-GAN被训练来模拟未受干扰图像的分布。在推理时，它会找到一个与给定图像接近的输出，该输出不包含对抗性变化。然后将该输出馈送到分类器。我们提出的方法可以用于任何分类模型，不修改分类器结构或训练过程。它也可以用来防御任何攻击，因为它不假设生成对抗性示例的过程的知识。我们的经验表明，Defense-GAN对不同的攻击方法始终有效，并改进了现有的防御策略。我们的代码已在https://github.com/kabkabm/defensegan上公开发布
2018-05-18 cs.CV cs.LG stat.ML
Adaptive Covariate Acquisition for Minimizing Total Cost of Classification
Central Research Laboratories, NEC（NEC中央研究实验室）
在某些应用中，获取协变量的成本不可忽略。例如，在医疗领域中，为了对患者是否患有糖尿病进行分类，测量葡萄糖耐量可能是昂贵的。假设每个协变量的成本和误分类的成本可以由用户指定，我们的目标是最小化（预期）总分类成本，即误分类成本加上所获取的协变量的成本。我们正式这个优化目标使用（条件）贝叶斯风险和描述的最佳解决方案，使用递归过程。由于该过程在计算上是不可行的，因此我们引入了两个假设：（1）最佳分类器可以由广义可加模型表示，（2）最佳协变量集被限制为一个序列的集合的大小增加。我们表明，在这两个假设下，存在一个计算有效的解决方案。此外，在几个医疗数据集上，我们表明，与以前的各种方法相比，该方法在大多数情况下实现了最低的总成本。最后，我们削弱了对用户的要求，指定所有的错误分类成本，允许用户指定最低限度的可接受的召回（目标召回）。我们的实验证实，该方法实现了目标召回率，同时最大限度地减少了错误发现率和协变量获取成本优于以往的方法。
2020-02-21 cs.LG stat.AP stat.ML
