Benchmarking Neural Network Robustness to Common Corruptions and Perturbations
University of California, Berkeley（加州大学伯克利分校）；Oregon State University（俄勒冈州立大学）
在本文中，我们建立了严格的基准图像分类器的鲁棒性。我们的第一个基准测试，ImageNet-C，验证并扩展了腐败鲁棒性主题，同时显示哪些分类器在安全关键型应用程序中更可取。然后，我们提出了一个新的数据集称为ImageNet-P，使研究人员能够基准分类器的鲁棒性常见的扰动。与最近的鲁棒性研究不同，这个基准测试评估了常见的腐败和扰动的性能，而不是最坏情况下的对抗性扰动。我们发现，从AlexNet分类器到ResNet分类器，相对腐败鲁棒性的变化可以忽略不计。之后，我们发现如何提高腐败和扰动鲁棒性。我们甚至发现，绕过对抗防御提供了大量的共同扰动鲁棒性。我们的基准可以帮助未来的工作对网络的强大概括。
2019-03-28 cs.CV cs.LG stat.ML
KAC: Kolmogorov-Arnold Classifier for Continual Learning
Nankai University（南开大学）；NKIARI（南开大学人工智能研究院）
本文提出基于Kolmogorov-Arnold网络的KAC分类器，替换线性分类器用于持续学习，引入RBF函数提升稳定性，在多个基准上验证了性能提升。
2025-03-27 cs.CV cs.LG
Generalized Knowledge Distillation via Relationship Matching
Nanjing University（南京大学）
经过良好训练的深度神经网络（也称为“教师”）对于学习类似的任务是有价值的。知识蒸馏从教师那里提取知识，并将其与目标模型（即“学生”），这扩大了学生的知识，提高了学习效率。我们不是强迫老师和学生做同样的任务，而是从一个从一般标签空间训练出来的老师那里借用知识--在这个“广义知识蒸馏（GKD）"中，老师和学生的类可能是相同的，完全不同的，或者部分重叠的。我们声称，实例之间的比较能力作为一个必要的因素线程的知识跨任务，并提出了关系Facilitated本地classifiEr蒸馏（REFILLED）的方法，它简化了GKD流程的嵌入和顶层分类器。特别是，与协调模型之间的实例标签置信度不同，REFILLED要求教师重新加权学生推送的硬元组，然后匹配实例之间的相似性比较水平。基于教师模型的嵌入诱导分类器监督学生的分类信心，并自适应地强调教师最相关的监督。REFILLED在教师的类从相同到完全不重叠的集合w.r.t.那个学生它还在标准知识蒸馏、一步增量学习和少样本学习任务上实现了最先进的性能。
2022-05-04 cs.CV cs.LG
Representation Geometry and Inductive Biases in Quantum Classifiers across Classical Visual Benchmarks
Center for Quantum Information and Quantum Biology, The University of Osaka（大阪大学量子信息与量子生物学中心）；SANKEN, The University of Osaka（大阪大学工业安全研究中心）；Graduate School of Engineering Science, The University of Osaka（大阪大学工程科学研究生院）
本研究分析量子分类器在经典视觉基准上的表示几何与归纳偏置，发现其有效性依赖输入表示几何，核对齐可识别兼容量子特征空间的表示，为经典模型转量子算法提供见解。
2026-10-14 cs.LG quant-ph
Classification Using Global and Local Mahalanobis Distances
本文提出基于全局和局部马氏距离的广义可加模型分类器，在椭圆分布下优于传统非参数方法，并能有效处理非椭圆、多峰及高维低样本量数据。
2024-10-24 stat.ME stat.ML
Classifier Pool Generation based on a Two-level Diversity Approach
Pontifícia Universidade Católica do Paraná (PUCPR)（天主教大学联邦大学（PUCPR））；State University of Ponta Grossa (UEPG)（蓬塔格罗萨州立大学（UEPG））；Federal University of Paraná (UFPR)（联邦大学（UFPR））；École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院（ÉTS））；Université du Québec（魁北克大学（Université du Québec））；PPGIa（PPGIa（需保留原文））
本文描述了一种基于数据复杂度和分类器决策的多样性估计指导下的分类器池生成方法。首先，通过考虑数据集的几个子样本来评估复杂性度量的行为。选择具有高变异性的子样本的复杂性措施后验池适应，其中的进化算法优化的多样性在复杂性和决策空间。一个强大的实验协议，28个数据集和20个重复用于评估所提出的方法。结果表明，在69.4%的实验中，动态分类器选择和动态包围圈选择方法的应用显着的准确性提高。
2020-11-03 cs.CV cs.LG
Generalized Global Ranking-Aware Neural Architecture Ranker for Efficient Image Classifier Search
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Fuxi AI Lab, NetEase Games（网易游戏伏羲人工智能实验室）
神经结构搜索（NAS）是一个强大的工具，自动化有效的图像处理DNN的设计。该排序方法被用来设计一个有效的NAS性能预测器。前面的对比方法通过比较体系结构对并预测它们的相对性能来解决排名问题。然而，它只关注两个相关架构之间的排名，而忽略了搜索空间的整体质量分布，这可能会遇到泛化问题。提出了一种基于神经网络结构排序器（NAR）的预测器，该预测器集中于特定结构的全局质量层，以解决局部视角引起的问题。NAR在全局范围内探索搜索空间的质量层，并根据其全局排名将每个人分类到他们所属的层。因此，预测器获得搜索空间的性能分布的知识，这有助于更容易地将其排名能力推广到数据集。同时，全局质量分布通过根据质量等级的统计直接对候选者进行采样来促进搜索阶段，这无需训练搜索算法，例如，强化学习（RL）或进化算法（EA），因此它简化了NAS管道并节省了计算开销。建议的NAR实现更好的性能比国家的最先进的方法在两个广泛使用的数据集NAS研究。在NAS-Bench-101的巨大搜索空间上，NAR仅通过采样就可以轻松找到具有最高0.01 $\unicode{x2030}$性能的架构。它也很好地推广到NAS-Bench-201的不同图像数据集，即，CIFAR-10，CIFAR-100和ImageNet-16-120，通过识别每个架构的最佳架构。
2022-07-12 cs.CV
Classifier and Exemplar Synthesis for Zero-Shot Learning
Tencent AI Lab（腾讯人工智能实验室）；University of Southern California（南加州大学）；Google AI（谷歌人工智能）；Cornell University（康奈尔大学）
零样本学习（Zero-shot learning，缩写为ZRL）可以解决一个任务，而不需要看到它的例子。在本文中，我们提出了两个学习合成新的看不见的类的参数的MATL框架。首先，我们建议铸造的问题，学习流形嵌入从图形组成的对象类，导致一个灵活的方法，合成“分类器”的看不见的类。然后，我们定义了一个辅助任务，合成“样本”的看不见的类被用作自动去噪机制，任何现有的CNOL方法或作为一个有效的CNOL模型本身。在五个视觉识别基准数据集上，我们展示了我们所提出的框架在传统和广义CNOL的各种场景中的优越性能。最后，我们通过一系列的实证分析提供了有价值的见解，其中包括完整ImageNet基准测试的语义表示比较以及广义ImageNet中使用的指标比较。我们的代码和数据可在https://github.com/pujols/Zero-shot-learning-journal上公开获取
2019-07-18 cs.CV
The Unseen Adversaries: Robust and Generalized Defense Against Adversarial Patches
Trustworthy BiometraVision Lab, Indian Institute of Science Education and Research Bhopal, India（可信生物特征视觉实验室，印度科学教育与研究学院博帕尔分校）
本文提出一种新型数据集，结合对抗性补丁和自然噪声，通过多种卷积神经网络特征进行基准测试，发现传统机器学习分类器在应对复杂攻击时效果显著，但独立防御策略效率低下。
2026-04-29 cs.CV
Fourier Analysis of Parametrized Interactive Quantum Classifiers
Federal Rural University of Pernambuco（伯南布哥联邦农村大学）；Federal University of Pernambuco（伯南布哥联邦大学）
本文推导了参数化交互式量子分类器的闭式信道表达式，揭示哈密顿量参数对输出的傅里叶控制，提出广义矩阵编码，并在基准上提升非线性分类性能。
2026-09-17 cs.LG quant-ph
Exploring the Generalization of Cancer Clinical Trial Eligibility Classifiers Across Diseases
The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心）
本研究评估了基于癌症试验训练的临床试验资格分类器跨疾病泛化能力，发现其在非癌症试验常见标准上表现良好，但在癌症特有标准上表现不佳，few-shot learning可部分弥补此差距，并发布了新数据集。
2024-03-25 cs.CL cs.LG q-bio.QM
CLUES: A Benchmark for Learning Classifiers using Natural Language Explanations
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
传统上，监督学习通过观察任务的标记示例来关注归纳学习。相比之下，人类有能力从语言中学习新概念。在这里，我们探索纯粹从语言中训练结构化数据的zero-shot分类器。为此，我们介绍了CLUES，一个使用自然语言解释的分类器学习基准，包括一系列结构化数据的分类任务以及解释形式的自然语言监督。CLUES由36个真实世界和144个合成分类任务组成。它包含众包解释，描述来自多个教师的真实任务，以及为合成任务编程生成的解释。为了对解释在分类示例中的影响进行建模，我们开发了ExEnt，这是一种基于蕴涵的模型，可以使用解释来学习分类器。ExEnt在新任务上的泛化能力（相对）比不使用解释的基线高出18%。我们从解释中描述了自动学习的关键挑战，解决这些挑战可以在未来推动CLUES的发展。代码和数据集可在https://clues-benchmark.github.io上获得。
2022-04-14 cs.AI cs.CL cs.LG
Landmark-based consonant voicing detection on multilingual corpora
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；Research Laboratory of Electronics, MIT（麻省理工学院电子学研究实验室）
本文测试的假设，不同的特征分类锚定在语音地标可以跨语言转移而不损失的准确性。开发了三种辅音发声分类器：（1）手动选择的锚定在语音界标处的声学特征，（2）MFCC（跨段平均或锚定在界标处），以及（3）使用卷积神经网络（CNN）计算的声学特征。所有检测器都在英语数据（TIMIT）上进行训练，并在英语，土耳其语和西班牙语上进行测试（使用F1和准确性测量性能）。实验表明，手动功能优于所有MFCC分类器，而CNN功能优于两者。基于MFCC的分类器从英语推广到其他语言时，F1绝对值减少了16%。手动特征仅遭受5%的F1减少，并且CNN特征实际上在土耳其语和西班牙语中比在训练语言中表现得更好，这表明能够表示长期频谱动态的特征（CNN和基于地标的特征）能够跨语言地概括，而几乎没有或没有准确性损失
2016-11-10 cs.CL cs.SD
Do ImageNet Classifiers Generalize to ImageNet?
UC Berkeley（加州大学伯克利分校）
我们为CIFAR-10和ImageNet数据集构建了新的测试集。近十年来，这两个基准一直是密集研究的焦点，增加了过度拟合过度重用测试集的危险。通过密切关注原始数据集的创建过程，我们测试了当前的分类模型在多大程度上适用于新数据。我们评估了广泛的模型，发现CIFAR-10的准确率下降了3% - 15%，ImageNet的准确率下降了11% - 14%。然而，原始测试集上的准确性增益转化为新测试集上的更大增益。我们的研究结果表明，准确率下降不是由自适应性引起的，而是由于模型无法推广到比原始测试集中发现的图像稍微“更难”的图像。
2019-06-12 cs.CV cs.LG stat.ML
Do Neural Networks Generalize from Self-Averaging Sub-classifiers in the Same Way As Adaptive Boosting?
Stanford University（斯坦福大学）
近年来，神经网络（NN）在许多领域都取得了巨大的飞跃。NN通常被称为黑箱算法，因为我们无法解释它们的经验成功。我们的基础研究试图解释为什么神经网络泛化。最近的一项进展导出了一种互信息度量，用于通过一系列日益复杂的函数来解释深度NN的性能。我们展示了深度NN学习一系列提升分类器，其泛化通常归因于越来越多的插值子分类器的自平均。据我们所知，我们是第一个建立提升分类器中的泛化和深度NN中的泛化之间联系的作者。我们的实验证据和理论分析表明，使用dropout训练的NN在插值子分类器上表现出类似的自平均行为，正如在boosting中对插值后泛化现象的流行解释中所引用的那样。
2023-02-14 cs.LG
Do CIFAR-10 Classifiers Generalize to CIFAR-10?
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
机器学习目前主要是实验性的工作，专注于改进一些关键任务。然而，性能最好的模型令人印象深刻的准确性数字是值得怀疑的，因为多年来一直使用相同的测试集来选择这些模型。为了了解过度拟合的危险，我们通过创建一个新的测试集来测量CIFAR-10分类器的准确性。尽管我们确保新的测试集尽可能接近原始数据分布，但我们发现，对于广泛的深度学习模型，准确率大幅下降（4%至10%）。然而，具有更高原始精度的最新模型显示出较小的下降和更好的整体性能，这表明这种下降可能不是由于基于自适应的过拟合。相反，我们认为我们的研究结果证明，目前的准确性数字是脆弱的，甚至容易受到数据分布中微小的自然变化的影响。
2018-06-01 cs.LG stat.ML
A Privacy-Aware Bayesian Approach for Combining Classifier and Cluster Ensembles
University of Texas (UT) at Austin（德克萨斯大学奥斯汀分校）；University of Sao Paulo (USP)（圣保罗大学）
本文介绍了一种隐私感知贝叶斯方法，它结合了分类器和聚类器的集成来执行半监督和直推学习。我们考虑的情况下，实例及其分类/聚类结果分布在不同的数据站点，并有共享限制。作为一种特殊情况，当目标数据的实例分布在不同的数据站点时，模型的隐私感知计算也进行了讨论。实验结果表明，该方法可以提供良好的分类精度，同时坚持数据/模型共享的限制。
2012-04-20 cs.CV cs.LG stat.ML
Trained Transformer Classifiers Generalize and Exhibit Benign Overfitting In-Context
UC Davis（加州大学戴维斯分校）；Weizmann Institute of Science（魏茨曼科学研究院）
该研究针对随机线性分类任务下训练的线性Transformer，通过分析梯度下降隐式正则化明确其泛化的条件，并证实其存在上下文内良性过拟合现象，即记忆带噪样本仍能对干净样本近最优泛化。
2024-12-13 cs.LG stat.ML
Protocols for Learning Classifiers on Distributed Data
University of Maryland（马里兰大学）；University of Utah（犹他大学）
我们考虑的问题，学习分类器的标记数据，已分布在几个节点。我们的目标是找到一个单一的分类器，具有较小的近似误差，在所有的数据集，同时最大限度地减少节点之间的通信。这种设置模拟了处理大量分布式数据集时的真实通信瓶颈。我们提出了几个非常一般的基于采样的解决方案，以及一些双向协议，具有可证明的指数加速任何单向协议。我们专注于无噪声数据分布在两个或多个节点的核心问题。我们介绍的技术让人想起主动学习，但不是主动探测标签，而是节点主动相互通信，每个节点同时从另一个节点学习重要数据。
2012-02-27 cs.LG stat.ML
Robust Inference via Generative Classifiers for Handling Noisy Labels
KAIST（韩国科学技术院）；Google Brain（谷歌大脑）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；AItrics
大规模数据集可能包含相当大比例的噪声（不正确）类标签，并且众所周知，现代深度神经网络（DNN）很难从这种噪声训练数据集进行泛化。为了缓解这个问题，我们提出了一种新的推理方法，称为鲁棒生成分类器（RoG），适用于任何有区别的（例如，softmax）在噪声数据集上预训练的神经分类器。特别是，我们在预训练的DNN的隐藏特征空间之上引入了一个生成分类器，以获得更鲁棒的决策边界。通过使用最小协方差行列式估计器估计生成式分类器的参数，我们显着提高了分类精度，而无需重新训练深度模型，也无需改变其架构。假设特征为高斯分布，我们证明了RoG在噪声标签下比基线更好地推广。最后，我们提出了RoG的集成版本，通过研究DNN的逐层特性来提高其性能。我们广泛的实验结果证明了RoG的优越性，给出了通过多种训练技术优化的不同学习模型，以处理不同的噪声标签场景。
2019-05-13 cs.LG stat.ML
Improving dermatology classifiers across populations using images generated by large diffusion models
Harvard Medical School（哈佛医学院）；UT Austin Dell Medical School（德克萨斯大学奥斯汀分校戴尔医学院）
在没有足够多样化的训练数据的情况下开发的皮肤病学分类算法可能在人群中概括性较差。虽然有意的数据收集和注释提供了改善代表性的最佳手段，但用于生成训练数据的新计算方法也可能有助于减轻采样偏差的影响。在本文中，我们表明，DALL $\cdot$ E 2，一个大规模的文本到图像的扩散模型，可以产生逼真的图像的皮肤疾病的皮肤类型。使用Fitzpatrick 17k数据集作为基准，我们证明了用DALL $\cdot$ E 2生成的合成图像增强训练数据可以提高皮肤病的整体分类，特别是对于代表性不足的群体。
2022-11-23 cs.CV cs.LG eess.IV
PAC-Learning for Strategic Classification
Khoury College of Computer Science, Northeastern University（东北大学库利计算机学院）；University of Virginia（弗吉尼亚大学）；Biocomplexity Institute and Initiative, University of Virginia（弗吉尼亚大学生物复杂性研究所）
最近，对测试数据进行策略性或对抗性操作以欺骗分类器的研究引起了人们的广泛关注。大多数以前的作品都集中在两种极端情况下，任何测试数据点要么是完全敌对的，要么总是同样喜欢积极的标签。在本文中，我们通过一个统一的战略分类框架来概括这两个概念，并引入战略VC维度（SVC）的概念来捕捉我们的一般战略设置中的PAC学习能力。SVC可证明地推广了最近由Cullina等人arXiv：1806.01471引入的对抗VC维度（AVC）的概念。我们实例化我们的基本战略线性分类问题的框架。我们充分描述：（1）线性分类器的统计可学习性，通过固定其SVC;（2）其计算易处理性，通过固定经验风险最小化问题的复杂性。有趣的是，线性分类器的SVC总是由其标准VC维上界。该特征也严格地概括了arXiv：1806.01471中线性分类器的AVC界限。
2021-06-11 cs.LG stat.ML
Explaining image classifiers by removing input features using generative models
Auburn University（奥本大学）
基于扰动的解释方法通常通过经由例如模糊、添加噪声或变灰（其通常产生不切实际的样本外）来消除输入特征来测量输入特征对图像分类器的输出的贡献。相反，我们建议将生成inpainter集成到三个有代表性的归因方法中，以删除输入功能。我们提出的变化改进了所有三种方法：（1）在真实数据分布下生成更合理的反事实样本;（2）根据三个指标更准确：对象定位，删除和显着性指标;（3）对超参数变化更具鲁棒性。我们的研究结果在ImageNet和Places 365数据集以及两对不同的分类器和inpainter中是一致的。
2020-10-06 cs.CV cs.LG stat.ML
A Novel Approach to Regularising 1NN classifier for Improved Generalization
BITS Pilani KK Birla Goa Campus（BITS Pilani KK Birla Goa 果阿校区）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）
本文提出Watershed Classifiers，通过贪心策略正则化1NN分类器，在保持任意边界拟合能力的同时大幅降低VC维以提升泛化，并设计损失函数超越NCA基线。
2024-02-13 cs.LG
Wide Two-Layer Networks can Learn from Adversarial Perturbations
The University of Tokyo（东京大学）；Chiba University（千叶大学）；Zuse Institute Berlin（柏林泽斯研究所）
本研究从理论上证明，在宽两层网络假设下，对抗扰动包含足够的类别特定特征，使得仅用错误标签的对抗样本训练的分类器能够泛化，且其预测与干净样本训练的分类器一致。
2025-01-17 cs.CV cs.LG stat.ML
SPOCC: Scalable POssibilistic Classifier Combination -- toward robust aggregation of classifiers
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔信息信号与自动化研究中心）
我们研究一个问题，其中一组学习者的每个成员分别训练解决相同的分类任务。每个学习者都可以访问训练数据集（可能在学习者之间有重叠），但每个训练过的分类器都可以在验证数据集上进行评估。我们提出了一种新的方法来聚合的可能性理论框架中的学习者预测。对于每个分类器的预测，我们建立一个可能性分布评估如何可能的分类器预测是正确的使用频率论概率估计的验证集。使用自适应t范数聚合可能性分布，该自适应t范数可以适应分类器预测的依赖性和差的准确性。我们证明了所提出的方法具有一些理想的分类器组合的鲁棒性。
2020-02-20 cs.LG stat.ML
I Am Going MAD: Maximum Discrepancy Competition for Comparing Classifiers Adaptively
Texas A&M University（得克萨斯农工大学）；City University of Hong Kong（香港城市大学）；Department of Computer Science and Engineering（计算机科学与工程系）；Department of Computer Science（计算机科学系）
用于图像分类的分层表示的学习已经经历了一系列令人印象深刻的成功，部分原因是大规模标记数据的可用性。另一方面，训练的分类器传统上是在小的和固定的测试图像集上进行评估的，这些测试图像被认为在所有自然图像的空间中分布非常稀疏。因此，值得怀疑的是，最近对过度重用的测试集的性能改进是否适用于具有更丰富内容变化的真实世界自然图像。在心理物理和生理研究中测试感知模型的有效刺激选择的启发下，我们提出了一个替代框架来比较图像分类器，我们称之为最大离散度（MAD）的竞争。而不是使用固定的测试图像比较图像分类器，我们自适应地采样一个小的测试集，从任意大的语料库的未标记的图像，以最大限度地提高分类器之间的差异，测量的距离超过WordNet层次结构。在所得到的依赖于模型的图像集上的人类标记揭示了竞争分类器的相对性能，并提供了关于改进它们的潜在方法的有用见解。我们报告了11个ImageNet分类器的MAD竞赛结果，同时指出该框架易于扩展，并且具有成本效益，可以将未来的分类器添加到竞赛中。代码可以在https://github.com/TAMU-VITA/MAD上找到。
2020-02-25 cs.CV cs.LG stat.ML
Geodesic Properties of a Generalized Wasserstein Embedding for Time Series Analysis
基于传输的度量和相关的嵌入（变换）最近已被用来模拟信号类，其中存在非线性结构或变化。本文研究了具有广义Wasserstein度量的时间序列数据的测地线性质及其符号累积分布变换在嵌入空间中的几何关系。此外，我们展示了如何理解这样的几何特征可以提供额外的解释某些时间序列分类器，并为更强大的分类器的灵感。
2022-06-12 cs.LG eess.SP math.GT
Learning Stable Classifiers by Transferring Unstable Features
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Santa Barbara（加州大学圣巴巴拉分校）
虽然无偏见的机器学习模型对于许多应用程序都是必不可少的，但偏见是一个人类定义的概念，可能会因任务而异。仅给定输入标签对，算法可能缺乏足够的信息来区分稳定（因果）特征和不稳定（虚假）特征。然而，相关的任务通常具有相似的偏差-我们可以利用这一观察结果来开发迁移设置中的稳定分类器。在这项工作中，我们明确地告知目标分类器源任务中的不稳定特征。具体来说，我们推导出一种表示，通过对比源任务中不同的数据环境来编码不稳定的功能。我们通过根据这种表示对目标任务的数据进行聚类并最小化这些聚类中的最坏情况风险来实现鲁棒性。我们评估我们的方法对文本和图像分类。实验结果表明，我们的算法是能够保持对目标任务的鲁棒性合成生成的环境和现实世界的环境。我们的代码可在https://github.com/YujiaBao/Tofu上获得。
2022-06-27 cs.AI cs.CL cs.CV
Conditional Diffusion Models are Medical Image Classifiers that Provide Explainability and Uncertainty for Free
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）
首次探索类别条件扩散模型在二维医学图像分类中的应用，提出多数投票方案提升性能，在CheXpert和ISIC数据集上无需显式监督即可媲美SOTA判别式分类器，且本质可解释并能量化预测不确定性。
2025-08-08 cs.CV cs.LG
Distilling Image Classifiers in Object Detectors
EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）
知识蒸馏是一种简单而有效的方法，通过利用更强大的教师的知识来提高紧凑的学生网络的性能。然而，知识蒸馏文献仍然局限于学生和教师处理相同任务的场景。在这里，我们调查的问题，不仅跨架构，而且跨任务的知识转移。为此，我们研究了目标检测的情况下，而不是按照标准的检测器到检测器蒸馏方法，引入一个分类器到检测器的知识转移框架。特别是，我们提出的策略，利用分类教师，以提高检测器的识别精度和定位性能。我们在几个具有不同骨架的检测器上的实验证明了我们方法的有效性，使我们能够胜过最先进的检测器到检测器蒸馏方法。
2022-02-10 cs.AI cs.CV cs.LG
Classifier-Dependent Benefits of Pseudo-Labeling for Semi-Supervised Android Malware Attribution
North South University（南北大学）
本研究系统评估了六种分类器在CICMalDroid 2020数据集上的伪标签半监督学习效果，发现收益强依赖分类器类型，SVM增益最大，随机森林在低标注比例下受损，并指出约10%标注样本即可达到近最优性能。
2026-09-25 cs.LG
Cost-Sensitive Tree of Classifiers
Washington University（华盛顿大学）
最近，机器学习算法已经成功地进入大规模的现实世界的工业应用（例如，搜索引擎和电子邮件垃圾邮件过滤器）。在这里，必须对测试期间的CPU成本进行预算和说明。在本文中，我们解决的挑战，平衡测试时间成本和分类器的准确性原则的方式。分类器的测试时间成本通常由特征提取所需的计算所决定，这在不同的性质中可能会有很大的差异。我们通过构建一棵分类器树来减少提取时间，通过该树，测试输入沿着各个路径遍历。每条路径提取不同的特征，并针对输入空间的特定子分区进行优化。通过仅计算最受益于它们的输入的特征，我们的分类器的成本敏感树可以以计算成本的一小部分匹配当前最先进的高精度。
2013-04-22 cs.LG stat.ML
Deep Neural Network Models Trained With A Fixed Random Classifier Transfer Better Across Domains
Samsung Research UK（三星英国研究院）；Samsung Research Korea（三星韩国研究院）
本文受神经崩溃启发，将 DNN 最后一层权重固定为 ETF 分类器以消除类协方差并实现隐式正则化，在细粒度图像分类迁移任务上显著优于基线和显式协方差白化方法。
2024-02-28 cs.CV cs.LG cs.NE
Principal Eigenvalue Regularization for Improved Worst-Class Certified Robustness of Smoothed Classifiers
University of Exeter（埃克塞特大学）；University of Liverpool（利物浦大学）
针对深度神经网络鲁棒公平性中平滑分类器最差类别认证鲁棒性研究空白，提出基于平滑混淆矩阵最大特征值优化的正则化方法，经多数据集与架构实验验证可有效提升对应性能。
2025-03-21 cs.LG
Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们提出了预测然后插值（PI），这是一种简单的算法，用于学习在不同环境中稳定的相关性。该算法遵循的直觉是，当使用在一个环境中训练的分类器对另一个环境中的示例进行预测时，它的错误可以提供关于哪些相关性不稳定的信息。在这项工作中，我们证明，通过插值的分布正确的预测和错误的预测，我们可以发现一个预言分布的不稳定的相关性消失。由于Oracle插值系数不可访问，因此我们使用组分布鲁棒优化来最小化所有此类插值的最坏情况风险。我们评估我们的方法在文本分类和图像分类。实验结果表明，我们的算法能够学习鲁棒的分类器（在合成环境中的性能优于传统的23.85%，在自然环境中的性能优于传统的12.41%）。我们的代码和数据可在https://github.com/YujiaBao/Predict-then-Interpolate上获得。
2021-05-26 cs.AI cs.CL cs.CV
Do highly over-parameterized neural networks generalize since bad solutions are rare?
Technical University Berlin（柏林工业大学）；University of Lübeck（吕贝克大学）
本文从理论上证明过参数化分类器中坏全局最小值比例随训练样本数指数衰减，揭示其良好泛化能力的原因，并通过合成数据、MNIST 及 Caltech101 实验验证。
2023-12-03 cs.LG
Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming
Anthropic；Haize Labs（海兹实验室）
本文提出Constitutional Classifiers，通过基于自然语言规则生成的合成数据训练分类器来防御LLM通用越狱攻击，在3000多小时红队测试中有效抵御攻击，且仅增加0.38%拒绝率和23.7%推理开销，保持了部署可行性。
2025-01-31 cs.AI cs.CL cs.CR
QuantProb: Generalizing Probabilities along with Predictions for a Pre-trained Classifier
Birla Institute of Technology and Science（贝拉理工科学技术学院）；Wadhwani AI（瓦德瓦尼人工智能研究院）
本文提出QuantProb方法，通过分位数与概率的对偶性质从预训练分类器中解耦获取分位数概率，使校准误差在分布失真下保持稳定，解决了深度网络概率泛化不可靠的问题。
2024-05-05 cs.LG
Detecting Concept Drift in Evolving Malware Families Using Rule-Based Classifier Representations
Faculty of Information Technology Czech Technical University（捷克技术大学信息科技学院）；Department of Computer Science, San Jose State University（圣何塞州立大学计算机科学系）
本文提出利用决策树规则集检测恶意软件分类中的概念漂移，通过时间窗口和特征重要性等指标评估，发现固定两个月窗口和特征皮尔逊相关性是最可靠配置，所有家族对均产生正漂移-准确率相关性。
2026-04-24 cs.CR cs.LG
Toward Better Generalization in Few-Shot Learning through the Meta-Component Combination
Qiuhao Zeng
针对基于度量的元学习在少样本学习中易过拟合已见类、泛化性差的问题，提出通过正交正则化器解耦并学习多样化元组件组合成分类器的方法，在基准任务上实现更优性能。
2025-11-07 cs.AI cs.LG
On fine-tuning of Autoencoders for Fuzzy rule classifiers
深度神经网络的最新发现使研究人员能够解决一些非常复杂的问题，例如图像分类和音频分类，并改进了理论和经验证明。本文提出了一种新的计划，将使用自动编码器的模糊规则分类器（FRC）。自动编码器在堆叠时可以学习数据之间复杂的非线性关系，并且针对FRC构建的拟议框架可以允许用户向系统输入专家知识。本文进一步介绍了四种新的自动编码器的微调策略，以提高FRC的分类和规则约简性能。该框架已经在五个真实世界的基准数据集上进行了测试。与超过15个先前研究的详细比较，以及跨10倍交叉验证性能，表明所提出的方法能够构建可以提供最先进精度的FRC。
2021-06-21 cs.AI cs.LG
DNN or k-NN: That is the Generalize vs. Memorize Question
Tel Aviv University（特拉维夫大学）；Duke University（杜克大学）
本文研究了深度神经网络（DNN）执行的分类与网络各层的各种经典分类器（即k-最近邻（k-NN），支持向量机（SVM）和逻辑回归（LR））的决策之间的关系。这种比较为我们提供了关于神经网络同时记忆训练数据和推广到新数据的能力的新见解，其中k-NN作为完美记忆数据的理想估计器。我们发现，记忆的非泛化网络只发生在最后一层。此外，与线性分类器SVM和LR相比，DNN的行为在训练和测试数据上是完全相同的，无论网络是否泛化。另一方面，与k-NN的相似性仅在不存在过拟合的情况下成立。我们的研究结果表明，网络在新数据上的k-NN行为是泛化的标志。此外，它表明，记忆和概括，这是传统上被认为是相互矛盾的，是兼容和互补的。
2019-02-10 cs.AI cs.LG stat.ML
MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series
Seoul National University（首尔大学）
针对自然不规则时间序列，提出掩码感知状态空间分类器MASCIT，通过观测掩码和门控聚合排除无效步骤，在34个数据集上取得最优结果，验证了选择性状态空间模型的有效性。
2026-10-05 cs.AI cs.LG
Exploring Hierarchical Classification Performance for Time Series Data: Dissimilarity Measures and Classifier Comparisons
本研究比较层次与平面分类在时间序列数据上的性能，发现使用TSD相异度与MINIROCKET时层次分类显著更优，而其他分类器下平面分类占优，强调了相异度度量选择的重要性。
2024-02-07 cs.LG
The Universal Classifier for Graph Learning
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出通用分类器（UC），通过将异构特征和标签提升为3D潜在张量并统一基于相似性的分类目标，实现跨节点、边和图级任务的零样本迁移，支持任意特征和类别基数。
2026-09-30 cs.LG
Condition-Stratified Robustness Analysis of Post-Hoc Calibration Methods for Probabilistic Classifiers
Fergana State Technical University（费尔干纳国立技术大学）
研究针对概率分类器事后校准方法，通过条件分层稳健性分析，比较TEMP和ISO在四个条件下的表现，评估四个假设组，发现数据集中稳健性因条件和指标而异，未提及外部可迁移性。
2026-07-14 cs.LG
Decentralized Federated Learning of Probabilistic Generative Classifiers
Basque Center for Applied Mathematics（巴斯克应用数学中心）；Public University of Navarre（纳瓦拉公共大学）
针对无中央服务器的去中心化联邦学习场景，提出通过邻居间共享与聚合本地统计信息来协作训练参数化概率生成式分类器，并验证其在多种网络和极端非 i.i.d. 条件下稳定收敛。
2025-07-23 cs.LG
A Probabilistic Method to Predict Classifier Accuracy on Larger Datasets given Small Pilot Data
Tufts University（塔夫茨大学）；Kaiser Permanente Southern California（南加州凯泽永久医疗集团）；Tufts Medical Center（塔夫茨医疗中心）
本文提出一种高斯过程模型，基于小规模试点数据对分类器准确率随数据集规模增长的变化进行概率外推，并在六个数据集上验证了其误差、似然和覆盖率表现。
2023-11-29 cs.LG
J-Miner: Recovering the Decision Logic of Fine-Tuned LLM Classifiers as Compact Rules
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海智能自主系统研究院）；Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机与人工智能学院上海市数据科学重点实验室）；Meituan（美团）；College of Design and Innovation, Tongji University（同济大学设计创意学院）
J-Miner可从微调后的语言模型分类器中挖掘隐含的决策知识，生成可执行规则，规则复现源分类器决策精度高、保真度优，还能迁移至轻量级模型并保留高准确率。
2026-09-29 cs.CL cs.LG
Latenrgy: Model Agnostic Latency and Energy Consumption Prediction for Binary Classifiers
University of Maryland Global Campus（马里兰大学全球校区）
本文提出一个模型无关的理论框架，综合分类器特征、数据集属性与负责任AI护栏，通过两个预测方程预测二元分类器推理时的延迟和能耗，为高效且负责任的机器学习系统设计提供理论基础。
2024-12-26 cs.AI cs.LG
I Can't Believe It's Not Robust: Catastrophic Collapse of Safety Classifiers under Embedding Drift
Independent（独立研究者）；Meta AI；AWS Generative AI Innovation Center, Amazon Web Services（AWS生成式AI创新中心，亚马逊网络服务）；Northeastern University, Seattle, WA, USA（东北大学，西雅图，华盛顿州，美国）；Stanford University（斯坦福大学）
研究发现嵌入漂移导致安全分类器性能大幅下降，揭示了生产AI安全架构的脆弱性并挑战了安全机制的转移假设。
2026-03-01 cs.CL cs.LG
Full-range Binary Classifier Calibration for Stable Model Updates in Production
Cisco AI Defense（思科人工智能防御）
针对对抗环境中检测模型面临的问题，引入基于现有校准原语的方法，使模型输出分数有一致FPR含义，降低FPR误差，且交付工件小，为生产中模型稳定更新提供了有效解决方案。
2026-07-08 cs.AI cs.CR cs.LG
A Comparison of SSL-Based Feature Extractors and Back-End Classifiers for Spoofing Detection: A Multi-Corpus Training and Cross-Linguistic Analysis
Avignon Universite（阿维尼翁大学）；EURECOM
本研究通过多语料库训练和跨语言分析，比较了四种自监督学习特征提取器与四种后端分类器在欺骗检测中的性能，揭示了ASVspoof 5数据集中的领域偏差，并发现仅用8小时目标语言数据微调即可提升检测鲁棒性。
2026-06-07 cs.LG cs.SD
