Understanding Classifier Mistakes with Generative Models
Stanford University（斯坦福大学）
虽然深度神经网络在监督学习任务上是有效的，但它们被证明是脆弱的。它们容易在训练分布上过度拟合，并且很容易被小的对抗性扰动所欺骗。在本文中，我们利用生成模型来识别和表征分类器无法泛化的实例。我们提出了一个生成模型的特征提取的分类器，并显示使用严格的假设检验，错误往往会发生时，我们的模型分配的特征的概率低。从这个观察，我们开发了一个检测标准的样本上的分类器可能会失败，在测试时。特别是，我们针对三种不同的分类失败来源进行了测试：由于模型泛化能力差而在测试集上犯下的错误，对抗性样本和分布外样本。我们的方法对训练集中的类标签是不可知的，这使得它适用于以半监督方式训练的模型。
2020-10-05 cs.LG
Robust Combining of Disparate Classifiers through Order Statistics
通过组合器或元学习器集成多个分类器的输出已经导致了几个困难的模式识别问题的实质性改进。在迄今为止研究的典型设置中，每个分类器都是在从公共数据集或（几乎）随机选择的子集中获取或重新采样的数据上训练的，因此经历了类似质量的训练数据。然而，在某些情况下，在几个地理上分布的位置获取和分析数据的在线，数据的质量可能会有很大的不同，导致个别分类器的性能差异很大。在这篇文章中，我们介绍和调查的顺序统计的基础上，强大的处理这种情况下，一个家庭的分类。基于一个数学模型的决策边界如何受到顺序统计组合，我们推导出表达式的减少错误时，预期使用这样的组合。我们分析表明，中位数的选择，最大值，并在一般情况下，$i^{th}$顺序统计提高分类性能。此外，我们介绍了修剪和扩展组合器，两者都基于有序分类器输出的线性组合，并表明它们在存在离群值或不均匀分类器性能时是非常有益的。几个公共领域的数据集上的实验结果证实了这些发现。
1999-05-20 cs.CV cs.LG cs.NE
Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective
本文从分类器角度研究分类器自由引导，发现其通过推离决策边界实现条件生成，并通过实验验证了分类器在高维数据中的作用。
2025-11-24 cs.AI cs.CV cs.LG
Towards Understanding the Data Dependency of Mixup-style Training
Duke University（杜克大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在Mixup训练范式中，使用数据点及其相关标签的凸组合来训练模型。尽管在训练过程中看到的真实数据点很少，但与标准训练相比，使用Mixup训练的模型似乎仍能最大限度地降低原始经验风险，并在各种任务上表现出更好的泛化能力和鲁棒性。在本文中，我们研究了Mixup训练的这些好处如何依赖于分类背景下的数据属性。为了最小化原始经验风险，我们计算了Mixup最优分类的闭合形式，这允许我们构建一个简单的数据集，在该数据集上，最小化Mixup损失可以证明导致学习一个分类器，该分类器不会最小化数据的经验损失。另一方面，我们也给出了Mixup训练的充分条件，使原始经验风险最小化。为了推广，我们描述了混合分类器的边缘，并使用它来理解为什么与标准训练相比，混合分类器的决策边界可以更好地适应训练数据的完整结构。相比之下，我们还表明，对于一大类线性模型和线性可分数据集，Mixup训练会导致学习与标准训练相同的分类器。
2022-02-19 cs.AI cs.LG
Projective Latent Interventions for Understanding and Fine-tuning Classifiers
Imperial College（帝国理工学院）；Johannes Kepler University Linz（林茨约翰开普勒大学）
由神经网络分类器学习的高维潜在表示是出了名的难以解释。特别是在医疗应用中，模型开发人员和领域专家希望更好地了解这些潜在表示与分类性能的关系。我们提出了投影潜在干预（PLIs），一种通过反向传播手动更改潜在空间的低维嵌入来重新训练分类器的技术。反向传播是基于t分布随机邻域嵌入的参数近似。PLIs允许领域专家以直观的方式控制潜在的决策空间，以便更好地满足他们的期望。例如，可以通过在嵌入中手动分离类集群来增强特定类对的性能。我们评估我们的技术在胎儿超声成像的真实世界的情况。
2020-08-25 cs.LG stat.ML
Towards Understanding the Generative Capability of Adversarially Robust Classifiers
Zhejiang University（浙江大学）
最近，一些工作发现了一个有趣的现象，对抗鲁棒分类器可以生成与生成模型相当的好图像。我们从能量的角度研究这一现象，并提供了一个新的解释。我们重新制定了对抗性示例生成，对抗性训练和图像生成的能量函数。我们发现，对抗性训练有助于获得一个平坦的能量函数，并且在真实数据周围具有较低的能量，这是生成能力的关键。基于我们的新理解，我们进一步提出了一种更好的对抗训练方法，联合能量对抗训练（JEAT），它可以生成高质量的图像，并在广泛的攻击下实现新的最先进的鲁棒性。JEAT生成的图像的初始得分（CIFAR-10）为8.80，远远优于原始的鲁棒分类器（7.50）。
2021-09-14 cs.CV cs.LG
Understanding intermediate layers using linear classifier probes
Mila（米拉研究所）；University of Montreal（蒙特利尔大学）
神经网络模型有黑箱的名声。我们建议监控模型每一层的特征并衡量它们是否适合分类。我们使用线性分类器，我们称之为“探针”，完全独立于模型本身进行训练。这有助于我们更好地理解中间层的作用和动态。我们展示了如何使用它来开发更好的模型直觉和诊断潜在的问题。我们将这种技术应用于流行的模型Inception v3和Resnet-50。除其他外，我们通过实验观察到特征的线性可分性沿着模型的深度单调增加。
2018-11-22 cs.LG stat.ML
Data Value in the Age of Scaling: Understanding LLM Scaling Dynamics Under Real-Synthetic Data Mixtures
Virginia Tech（弗吉尼亚理工大学）；Michigan State University（密歇根州立大学）；University of California, Davis（加州大学戴维斯分校）；Deloitte（德勤）
本文针对真实-合成数据混合带来的分布差异问题，发现LLM的三阶段规模化行为，推导泛化界并提出可扩展的数据估值方法，在四类任务上优于基线且计算成本低。
2025-11-17 cs.AI cs.LG
Active Inference-Based Optimization of Discriminative Neural Network Classifiers
Institute of Signal Processing and System Theory（信号处理与系统理论研究所）；University of Stuttgart（斯图加特大学）
本文提出基于主动推理与广义 Kelly 准则的判别式神经网络优化方法，通过候选标签和期望自由能损失同时处理类别不平衡及参考标签错误。
2023-06-04 cs.AI cs.LG
A Hitchhiker's Guide to Understanding Performances of Two-Class Classifiers
University of Liège（列日大学）；Montefiore Institute（蒙泰菲奥雷研究所）
本文介绍了一种名为 Tile 的二维可视化工具，通过四个用户画像场景展示了如何全面比较二分类分类器的性能，并对 74 个语义分割模型进行了排名分析。
2025-04-04 cs.CV cs.LG cs.PF
Comparing Classifiers: A Case Study Using PyCM
Open Science Laboratory（开放科学实验室）；Department of Computer Science, University of Southern California（计算机科学系，南加州大学）
本文通过PyCM库探讨了多类分类器的评估方法，强调多维评估框架在揭示模型性能细微差异中的重要性。
2026-02-13 cs.AI cs.LG
Towards Understanding Knowledge Distillation
IST Austria (Institute of Science and Technology Austria)（奥地利科学技术研究所）
知识蒸馏，即，根据另一分类器的输出训练一个分类器，这是一种经验上非常成功的分类器之间知识转移技术。甚至已经观察到，如果使用另一个分类器的输出作为软标签进行训练，而不是从地面真实数据进行训练，则分类器学习得更快，更可靠。然而，到目前为止，还没有令人满意的理论解释这一现象。在这项工作中，我们通过研究线性和深度线性分类器的特殊情况，首次深入了解了蒸馏的工作机制。具体来说，我们证明了一个泛化界，建立蒸馏训练的线性分类器的预期风险的快速收敛。从边界及其证明中我们提取出决定蒸馏成功的三个关键因素：* 数据几何--数据分布的几何性质，特别是类分离，对风险的收敛速度有直接影响; * 优化偏差--梯度下降优化找到一个非常有利的蒸馏目标的最小值;* 强单调性-当训练集的大小增加时，学生分类器的预期风险总是降低。
2021-05-27 cs.LG stat.ML
Explaining Reject Options of Learning Vector Quantization Classifiers
Bielefeld University（比勒费尔德大学）
虽然机器学习模型通常被假设总是输出预测，但也存在拒绝选项形式的扩展，允许模型拒绝输入，其中只有具有不可接受的低确定性的预测是可能的。随着可解释人工智能的不断兴起，已经开发了许多解释模型预测的方法。然而，理解为什么一个给定的输入被拒绝，而不是被模型分类，也是有意义的。令人惊讶的是，迄今为止尚未考虑拒绝的解释。我们建议使用反事实的解释解释拒绝和调查如何有效地计算反事实的解释不同的拒绝选项的一类重要的模型，即基于原型的分类器，如学习矢量量化模型。
2022-02-15 cs.AI cs.LG
CriticAL: Critic Automation with Language Models
Stanford University（斯坦福大学）
CriticAL利用大语言模型生成汇总统计量并应用假设检验，自动化科学模型批评，避免幻觉，提升透明度和可操作性，助力LLM科学家改进真实数据上的模型。
2024-11-10 cs.AI cs.CL cs.LG
Towards Understanding the Generalization Bias of Two Layer Convolutional Linear Classifiers with Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）
理解深度学习泛化的一个主要挑战是解释为什么（随机）梯度下降可以利用网络架构找到在使用高容量模型时具有良好泛化性能的解决方案。我们发现简单但现实的例子表明，即使在学习线性分类器时也存在这种现象-在两个具有相同容量的线性网络之间，当数据分布具有某种潜在的空间结构时，具有卷积层的网络可以比另一个网络更好地泛化。我们认为，这种差异是由卷积架构、数据分布和梯度下降的组合造成的，所有这些都是有意义的分析所必需的。我们提供了一个一般的分析的泛化性能作为数据分布和卷积滤波器大小的函数，给定的梯度下降的优化算法，然后解释使用具体的例子的结果。实验结果表明，我们的分析是能够解释发生在我们介绍的例子。
2019-02-10 cs.LG stat.ML
Bridging Human and LLM Judgments: Understanding and Narrowing the Gap
Department of Statistics, University of Michigan（密歇根大学统计学系）；Institute of Foundation Models, MBZUAI（基础模型研究院）
Bridge通过统一统计框架弥合人类与LLM判断差距，改进评分并揭示系统性差异。
2025-12-01 cs.AI cs.CL cs.LG
RuleMatrix: Visualizing and Understanding Classifiers with Rules
Hong Kong University of Science and Technology（香港科技大学）；New York University（纽约大学）
随着越来越多地采用机器学习技术，对使机器学习系统更加透明和可解释的研究兴趣激增。已经开发了各种可视化来帮助模型开发人员理解、诊断和改进机器学习模型。然而，大量潜在但被忽视的用户是对机器学习知之甚少但被期望与机器学习系统一起工作的领域专家。在本文中，我们提出了一种交互式可视化技术，以帮助用户在机器学习的专业知识很少，了解，探索和验证预测模型。通过将模型视为一个黑盒，我们从其输入输出行为中提取出一个标准化的基于规则的知识表示。我们设计了RuleMatrix，一个基于矩阵的可视化规则，以帮助用户导航和验证规则和黑盒模型。我们通过两个用例和可用性研究来评估RuleMatrix的有效性。
2018-07-17 cs.AI cs.HC cs.LG
"Why Should I Trust You?": Explaining the Predictions of Any Classifier
University of Washington（华盛顿大学）
尽管被广泛采用，但机器学习模型仍然主要是黑箱。然而，了解预测背后的原因对于评估信任非常重要，如果一个人计划根据预测采取行动，或者选择是否部署新模型，这是至关重要的。这种理解还提供了对模型的洞察，可以用来将不可信的模型或预测转换为可信的模型或预测。在这项工作中，我们提出了LIME，一种新的解释技术，通过在预测周围局部学习可解释的模型，以可解释和忠实的方式解释任何分类器的预测。我们还提出了一种解释模型的方法，通过以非冗余的方式呈现代表性的个人预测及其解释，将任务框架为子模块优化问题。我们通过解释文本（例如随机森林）和图像分类（例如神经网络）的不同模型来展示这些方法的灵活性。我们通过新的实验，模拟和人类受试者，在各种需要信任的情况下显示解释的效用：决定是否应该信任预测，在模型之间进行选择，改进不值得信任的分类器，并确定为什么分类器不应该被信任。
2016-08-09 cs.AI cs.LG stat.ML
Mimic: An adaptive algorithm for multivariate time series classification
Washington State University（华盛顿州立大学）
时间序列数据是有价值的，但往往是不可理解的。在金融、医疗保健和其他关键应用程序中获得对时间序列分类器的信任可能依赖于创建可解释的模型。研究人员以前被迫在缺乏预测能力的可解释方法和缺乏透明度的深度学习方法之间做出决定。在本文中，我们提出了一种新的模仿算法，保留了最强分类器的预测精度，同时引入可解释性。Mimic反映了现有多变量时间序列分类器的学习方法，同时产生一个视觉表示，增强了用户对学习模型的理解。在26个时间序列数据集上的实验支持了Mimic视觉上和准确地模仿各种时间序列分类器的能力。
2021-11-08 cs.AI cs.LG
Understanding Invariance via Feedforward Inversion of Discriminatively Trained Classifiers
Boston University（波士顿大学）；Google Research（谷歌研究院）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
如果在输出层之前已经丢弃了除类成员之外的关于其输入的所有信息，则有区别地训练的神经网络分类器可以完美地拟合训练数据。令人惊讶的是，过去的研究发现，一些无关的视觉细节仍然存在于logit向量中。这一发现是基于将深度嵌入映射回图像的反演技术。我们进一步探索这种现象，使用一种新的合成方法，产生一个前馈反演模型，产生显着高保真度重建，质量优于过去的努力。当应用于对抗性鲁棒分类器模型时，重建包含足够的局部细节和全局结构，它们可能会与原始图像混淆，并且可以从重建中清楚地收集对象类别。我们的方法基于BigGAN（Brock，2019），对logits而不是one-hot类标签进行调节。我们使用我们的重建模型作为探索表征性质的工具，包括：模型架构和训练目标（特别是鲁棒损失）的影响，网络实现的不变性形式，正确和错误分类图像之间的表征差异，以及操纵logits和图像的影响。我们相信，我们的方法可以激发未来的调查在神经网络中的信息流的性质，并可以提供诊断，以改善判别模型。
2021-07-21 cs.LG
RuleExplorer: A Scalable Matrix Visualization for Understanding Tree Ensemble Classifiers
本文提出RuleExplorer，通过异常偏置的层次化规则组织与矩阵可视化，在不牺牲全面性的前提下解释包含数万条规则的树集成分类器，兼顾常见规则与关键异常规则。
2024-12-31 cs.GR cs.LG
Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding
Leiden University（莱顿大学）
本文提出零样本分类器编辑方法，通过细粒度视频理解提升分类精度，优于视觉-语言基线。
2026-02-18 cs.CV cs.LG
The Alchemy of Thought: Understanding In-Context Learning Through Supervised Classification
Department of Computer Science, University of Arizona（计算机科学系，亚利桑那大学）
本文通过比较LLM与监督分类器的行为，发现ICL在高相关性时更接近kNN，而在低相关性时LLM表现更优，揭示了注意力机制与GD的区别。
2026-01-03 cs.LG
Shortcut Learning in Binary Classifier Black Boxes: Applications to Voice Anti-Spoofing and Biometrics
TCG CREST；Carnegie Mellon University（卡内基梅隆大学）；School of Computing, University of Eastern Finland（东部芬兰大学计算机学院）；University of Eastern Finland（东部芬兰大学）；University of Oulu（奥卢大学）
本文提出了一种分析二分类黑箱分类器的框架，通过实验验证了在语音反伪装和生物识别任务中减少数据偏见的有效性。
2026-01-25 cs.AI cs.LG
On Convergence of Nearest Neighbor Classifiers over Feature Transformations
ETH Zurich（苏黎世联邦理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
k-近邻（kNN）分类器是一种基本的非参数机器学习算法。然而，众所周知，它受到维数灾难的影响，这就是为什么在实践中，人们经常在（预先训练的）特征变换之上应用kNN分类器。从理论的角度来看，大多数，如果不是所有的理论结果，旨在了解kNN分类器的原始特征空间。这导致我们对kNN的理论理解与其实际应用之间出现了差距。在本文中，我们迈出了弥合这一差距的第一步。我们提供了一个新的分析的kNN分类器的收敛速度超过转换功能。这种分析需要深入理解连接变换空间和原始特征空间的属性。更准确地说，我们的收敛范围建立在变换空间的两个关键属性上：（1）安全性-从变换空间中恢复原始后验的程度，以及（2）平滑性-这个恢复函数的复杂程度。基于我们的结果，我们能够解释为什么一些（预先训练的）特征变换比其他特征变换更适合kNN分类器。我们根据经验验证了这两个属性对30个特征转换的kNN收敛有影响，其中6个基准数据集从视觉到文本域。
2020-10-15 cs.LG stat.ML
Understanding and Improving Ensemble Adversarial Defense
The University of Manchester（曼彻斯特大学）
本文建立解释集成对抗防御鲁棒性的误差理论，并据此提出 iGAT，通过全局对抗样本概率分配和弱点正则化，在白盒与黑盒攻击下显著提升现有方法。
2023-11-02 cs.LG
Understanding the Feedforward Artificial Neural Network Model From the Perspective of Network Flow
School of Computer Science, Shanghai Key Laboratory of Data Science, Fudan University（复旦大学计算机科学技术学院，上海市数据科学重点实验室）；School of Automation Science and Engineering, South China University of Technology（华南理工大学自动化科学与工程学院）
近年来，基于人工神经网络（ANN）的深度学习在模式识别方面取得了巨大成功。然而，对这样的神经计算模型没有清楚的理解。本文试图从网络流的角度来揭示人工神经网络模型的“黑箱”结构。具体来说，我们认为前馈神经网络作为一个网络流模型，它由许多方向类路径。每个类路径编码一个类。类的类路径是通过连接从输入到输出的每一层中激活的神经节点来获得的，其中神经节点的激活值（节点值）由训练的ANN分类器中每一层的权重定义。从类路径的角度来看，人工神经网络分类器的训练可以看作是不同类的类路径的形成过程。通过分析训练好的人工神经网络分类器中每两个类路径之间的距离，我们试图回答为什么分类器会这样做的问题。最后，从神经编码的角度出发，通过类路径定义了每个神经节点的重要性，这有助于分类器结构的优化。通过对多层MLP和CNN两种人工神经网络模型的实验，验证了基于类通路的网络流是对人工神经网络模型的合理解释。
2017-04-26 cs.LG
Fundamental Limits of Deep Learning-Based Binary Classifiers Trained with Hinge Loss
École de Technologie Supérieure (ETS)（高等技术学院（École de Technologie Supérieure））；University of Oulu（奥卢大学）
针对深度学习（DL）实证成功的理论基础不明问题，本文推导并验证了基于铰链损失训练的深度ReLU前馈神经网络及结合ReLU与Tanh激活的深度FNN二分类器的渐近测试性能极限。
2025-04-15 cs.AI cs.LG
DiffEx: Explaining a Classifier with Diffusion Models to Identify Microscopic Cellular Variations
ENS（法国高等师范学院）
针对生物图像分类模型的黑箱问题，提出DiffEx方法，利用扩散模型生成视觉可解释属性，解释分类器决策并识别微观细胞变异，在生物与自然图像任务中验证有效，助力疾病研究与药物发现。
2025-02-12 cs.AI cs.CV cs.LG
Do Fairness Interventions Come at the Cost of Privacy: Evaluations for Binary Classifiers
Australian Artificial Intelligence Institute and the School of Computer Science, University of Technology Sydney（澳大利亚人工智能研究所和悉尼技术大学计算机学院）；Data61, CSIRO（Data61和澳大利亚联邦科学与工业研究组织）；City University of Macau（澳门城市大学）
本文通过成员推理攻击和属性推理攻击评估公平性增强二元分类器的隐私风险，发现公平性干预通常能增强抵御能力，但揭露了利用公平与有偏差模型预测差异的新型威胁机制，暴露了重大隐私风险。
2025-03-11 cs.LG
TRUST: Test-time Resource Utilization for Superior Trustworthiness
University of Manchester（曼彻斯特大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）；Deakin University（德金大学）
本文提出测试时优化方法 TRUST，通过建模分类器权重噪声生成更可靠的置信度分数，从而在风险度量、分布偏移检测及 CNN 与 ViT 差异分析上取得优越表现。
2025-06-06 cs.AI cs.CV cs.LG
A hierarchical decomposition for explaining ML performance discrepancies
University of California, San Francisco（加利福尼亚大学旧金山分校）；U.S. Food and Drug Administration（美国食品药品监督管理局）
本文提出一种无需因果图的非参数层次分解框架，从聚合和变量级两个层面解释机器学习算法跨领域性能差异的原因，并给出高效估计与置信区间推断方法。
2024-02-22 cs.LG stat.ML
Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry
University of Trento（特伦托大学）；Caltech（加州理工学院）；Jiangnan University（江南大学）；Cisco Systems（思科系统公司）
本文从黎曼几何视角统一解释了全局协方差池化中矩阵对数与矩阵幂归一化的作用机制，指出其有效性源于隐含的黎曼分类器，并通过细粒度与大规模视觉分类实验验证了该结论。
2025-02-07 cs.CV cs.LG
Understanding Square Loss in Training Overparametrized Neural Network Classifiers
HKUST（香港科技大学）
深度学习在现代分类任务中取得了许多突破。已经为不同的数据结构提出了许多架构，但是当涉及到损失函数时，交叉熵损失是主要的选择。最近，几种替代损失已经重新引起了深度分类器的兴趣。特别是，经验证据似乎促进平方损失，但仍然缺乏理论依据。在这项工作中，我们有助于平方损失的理论理解，在分类系统地研究它是如何执行过参数化的神经网络的神经正切核（NTK）制度。关于泛化误差，鲁棒性和校准误差的有趣的属性被揭示。我们考虑两种情况，根据类是否是可分的。在一般不可分的情况下，快速收敛速度建立的误分类率和校准误差。当类是可分离的，误分类率提高到指数级。此外，由此产生的利润率被证明是下界远离零，提供理论保证的鲁棒性。我们希望我们的研究结果能够超越NTK制度，并转化为实际环境。为此，我们进行了广泛的实证研究，实际神经网络，证明平方损失的有效性，在合成的低维数据和真实的图像数据。与交叉熵相比，平方损失的泛化误差相当，但在鲁棒性和模型校正方面具有明显的优势。
2021-12-07 cs.LG stat.ML
Understanding the robustness of deep neural network classifiers for breast cancer screening
Warsaw University of Technology（华沙理工大学）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）；New York University（纽约大学）；NYU Langone Health（纽约大学朗格尼医学中心）；Courant Institute（库朗研究所）
深度神经网络（DNN）在乳腺癌筛查中显示出前景，但在临床实施之前，必须更好地理解其对输入扰动的鲁棒性。在自然图像的背景下，有大量关于这个主题的文献，可以建立在这些文献的基础上。然而，由于两种图像模式之间的显著差异，不能假设关于鲁棒性的结论将从自然图像转移到乳房X线照片图像。为了确定结论是否会转移，我们测量了放射科医生级别的筛查乳房X线照片图像分类器对自然图像分类器敏感的四种常用输入扰动的敏感性。我们发现，乳房X光图像分类器也对这些扰动敏感，这表明我们可以建立在现有的文献。我们还对低通滤波的效果进行了详细的分析，发现它降低了称为微钙化的临床有意义的特征的可见性。由于低通滤波去除了预测乳腺癌的语义上有意义的信息，我们认为乳房X线照片图像分类器对它不敏感是不可取的。这与自然图像相反，我们不希望DNN对低通滤波敏感，因为它倾向于去除人类无法理解的信息。
2020-03-23 cs.CV cs.LG stat.ML
Understanding and Quantifying Adversarial Examples Existence in Linear Classification
Northeastern University（东北大学）
最先进的深度神经网络（DNN）容易受到对抗性示例的攻击：精心设计的对输入的微小扰动，人类无法察觉，可能会误导DNN。为了了解对抗性示例的根本原因，我们量化了线性分类器的对抗性示例存在的概率。以前的对抗性示例的数学定义只涉及整体扰动量，我们提出了一个更实用的强对抗性示例的相关定义，该定义还单独限制了沿信号方向的扰动。我们表明，线性分类器可以强大的对抗性的例子攻击的情况下，没有对抗性的强大的线性分类器存在之前的定义。通过线性支持向量机（SVM）分类器的数值实验，验证了定量公式的正确性.结果表明，设计一般的强对抗性鲁棒学习系统是可行的，但只有通过结合人类知识的基本分类问题。
2019-10-27 cs.CR cs.LG stat.ML
Supervised Understanding of Word Embeddings
Siemens Medical Solutions USA（美国西门子医疗解决方案公司）
预训练的词嵌入被广泛用于自然语言处理中的迁移学习。嵌入是单词的连续和分布式表示，在紧凑的欧几里得空间中保持它们的相似性。然而，这些空间的尺寸并没有提供任何明确的解释。在这项研究中，我们已经获得了监督投影的形式线性关键字级分类器的词嵌入。我们已经表明，该方法创建原始嵌入尺寸的可解释的投影。经训练的分类器节点的激活对应于词汇表中的单词的子集。因此，它们的行为类似于字典特征，同时具有连续值输出的优点。此外，这样的字典可以通过将得分最高的单词上的专家标签添加到关键字的初始集合来迭代地增长多轮。此外，相同的分类器可以应用于其他语言中的对齐的词嵌入以获得对应的词典。在我们的实验中，我们已经证明，使用这些分类器权重初始化高阶网络可以为下游NLP任务提供更准确的模型。我们进一步证明了监督维度在揭示感兴趣的关键词的多义性质方面的有用性，通过在不同的子空间中使用学习的分类器来投影它的嵌入。
2020-06-23 cs.CL cs.LG
Why I'm not Answering: Understanding Determinants of Classification of an Abstaining Classifier for Cancer Pathology Reports
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Louisiana Tumor Registry（路易斯安那州肿瘤登记处）；Kentucky Cancer Registry（肯塔基州癌症登记处）；Utah Cancer Registry（犹他州癌症登记处）；New Jersey State Cancer Registry（新泽西州癌症登记处）；Oak Ridge National Laboratory（橡树岭国家实验室）；Information Management Services Inc.（信息管理服务公司）；National Cancer Institute（美国国家癌症研究所）
在关键的现实世界应用中安全部署深度学习系统要求模型只在可预测的情况下犯很少的错误。在这项工作中，我们解决这个问题，使用一个弃权分类器，调整到有$>$ 95%的准确性，然后确定使用石灰弃权的决定因素。从本质上讲，我们正在训练我们的模型来学习病理报告的属性，这些属性可能导致不正确的分类，尽管代价是灵敏度降低。我们展示了一个弃权分类器在多任务设置分类癌症病理报告从NCI SEER癌症登记册上的六个任务的兴趣。对于这些任务，我们通过对2--5 - 45%的报告弃权，将分类出错率降低2- 5倍。对于癌症部位分类的具体任务，我们能够识别转移、涉及淋巴结的报告以及对多个癌症部位的讨论，作为许多分类错误的原因，并且观察到错误的程度和类型随癌症部位系统地变化（例如，乳腺、肺和前列腺）。当结合三个任务时，我们的模型对50%的报告进行分类，其中三个任务\edit的准确率大于95%，而保留样本的所有六个任务的准确率大于85%。此外，我们表明，石灰提供了一个更好的决定因素的分类比单独的字出现的措施。通过将深度弃权分类器与使用LIME的特征识别相结合，我们能够在从病理报告中对癌症部位进行分类时识别负责正确性和预防性的概念。LIME相对于关键词搜索的改进在统计上是显著的，大概是因为词是在上下文中评估的，并且被确定为分类的局部决定因素。
2022-04-21 cs.LG
Bayes and Naive Bayes Classifier
Rajiv Gandhi University of Knowledge Technologies（拉吉夫·甘地知识技术大学）
贝叶斯分类代表了一种监督学习方法以及一种用于分类的统计方法。假设一个潜在的概率模型，它允许我们通过确定结果的概率以原则性的方式捕获模型的不确定性。该分类以托马斯·贝叶斯（1702-1761）命名，他提出了贝叶斯定理。贝叶斯分类提供了实用的学习算法，先验知识和观测数据可以结合起来。贝叶斯分类为理解和评估许多学习算法提供了一个有用的视角。它计算假设的显式概率，并且对输入数据中的噪声具有鲁棒性。在统计分类中，贝叶斯分类器使错误分类的概率最小化。这是贝叶斯分类器的一个简单案例的视觉直觉，也称为：1）白痴贝叶斯2）朴素贝叶斯3）简单贝叶斯
2014-04-03 cs.LG
Challenges of Using Text Classifiers for Causal Inference
Johns Hopkins University（约翰斯·霍普金斯大学）
因果理解对于许多类型的决策都是必不可少的，但是从观测数据中进行因果推理通常只应用于结构化的低维数据集。虽然文本分类器产生低维输出，但它们在因果推理中的使用以前没有被研究过。为了促进基于语言数据的因果分析，我们认为文本分类器可以发挥的作用，通过建立建模机制，从缺失的数据和测量误差的因果关系文献的因果推理。我们演示了如何使用文本分类器对模拟数据和Yelp数据进行因果分析，并讨论了在因果推理中使用文本数据的未来工作的机遇和挑战。
2018-10-01 cs.CL cs.LG
Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers
Institute for Biomedical Informatics, University of Pennsylvania（宾夕法尼亚大学生物医学信息学研究所）；AGH University of Science and Technology（AGH科技大学）
了解机器学习（ML）算法的优点和缺点对于确定其应用范围至关重要。在这里，我们介绍了DIverse和GENerative ML Benchmark（DIGEN）-一个综合数据集的集合，用于对二进制结果分类的机器学习算法进行全面，可重复和可解释的基准测试。DIGEN资源由40个数学函数组成，这些函数将连续特征映射到离散端点，以创建合成数据集。这40个函数是使用启发式算法发现的，该算法旨在最大限度地提高多个流行的机器学习算法之间的性能差异，从而为评估和比较新方法提供了有用的测试套件。访问生成函数有助于理解为什么一种方法与其他算法相比表现不佳，从而提供改进的想法。包含大量文档和分析的资源是开源的，可在GitHub上获得。
2021-07-14 cs.AI cs.CV cs.LG
Viewing the process of generating counterfactuals as a source of knowledge: a new approach for explaining classifiers
Orange Innovation（奥兰治创新公司）
该研究提出将反事实解释的特征模拟过程视为可存储复用的知识来源，并在加性模型及朴素贝叶斯分类器中验证了该思路，为分类器解释提供了新方向。
2024-04-12 cs.LG
Analyzing the Robustness of Nearest Neighbors to Adversarial Examples
University of California, San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
受安全关键型应用的启发，通过对抗性示例对分类器进行测试时攻击最近受到了极大的关注。然而，人们普遍缺乏对对抗性示例产生的原因的理解;它们是由于数据的固有属性还是由于缺乏训练样本而产生的仍然不清楚。在这项工作中，我们引入了一个类似于偏差方差理论的理论框架来理解这些影响。我们使用我们的框架来分析规范非参数分类器（k-最近邻居）的鲁棒性。我们的分析表明，它的鲁棒性关键取决于k的值-分类器可能是固有的小k的非鲁棒性，但其鲁棒性的贝叶斯最佳分类器的快速增长的k。提出了一种改进的1-近邻分类器，并保证了其在大样本情况下的鲁棒性。我们的实验表明，即使对于合理的数据集大小，该分类器也可能具有良好的鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Pay attention to your loss: understanding misconceptions about 1-Lipschitz neural networks
IRIT, Université Paul-Sabatier（保罗·萨巴蒂埃大学图卢兹信息学研究所）；IRT Saint-Exupéry（圣埃克苏佩里技术研究所）；IMT, Université Paul-Sabatier（保罗·萨巴蒂埃大学图卢兹数学研究所）
Lipschitz约束网络在深度学习社区中引起了相当大的关注，其用途从Wasserstein距离估计到可证明的鲁棒分类器的训练。然而，它们仍然被普遍认为是不太准确的，它们在学习中的特性仍然没有完全理解。在本文中，我们澄清了这一问题：当涉及到分类1-Lipschitz神经网络享有几个优势，他们的无约束对应。首先，我们证明了这些网络与经典网络一样精确，并且可以拟合任意困难的边界。然后，依靠反映操作需求的鲁棒性度量，我们描述了最鲁棒的分类器：WGAN分类器。接下来，我们证明了1-Lipschitz神经网络在更温和的假设下具有很好的泛化能力。最后，我们表明，超参数的损失是至关重要的控制精度鲁棒性的权衡。我们的结论是，他们表现出有吸引力的属性，铺平了道路，可证明准确的，可证明强大的神经网络。
2022-10-17 cs.AI cs.LG stat.ML
RandomSCM: interpretable ensembles of sparse classifiers tailored for omics data
Université Laval（拉瓦尔大学）；Element AI, a ServiceNow company（ServiceNow旗下Element AI公司）
背景：理解组学和表型之间的关系是精准医学的核心问题。代谢组学数据的高维性对学习算法的可扩展性和泛化能力提出了挑战。大多数学习算法不产生可解释的模型-方法：我们提出了一个集成的学习算法基于合取或析取的决策规则。结果：代谢组学数据的应用表明，它产生的模型具有很高的预测性能。模型的可解释性使得它们对于高维数据中的生物标志物发现和模式发现非常有用。
2022-08-11 cs.LG
Understanding and Improving Training-free Loss-based Diffusion Guidance
Microsoft Research Asia（微软亚洲研究院）；National University of Singapore（新加坡国立大学）
本文深入分析了无需训练的基于损失的扩散引导，从优化角度提供理论支持并指出其易受对抗性梯度影响及收敛慢的缺陷，同时提出多项改进技术，在图像与运动生成实验中验证了其有效性。
2024-05-29 cs.CV cs.LG
Blueprinting the Future: Automatic Item Categorization using Hierarchical Zero-Shot and Few-Shot Classifiers
American Board of Family Medicine（美国家庭医学委员会）；Mayo Clinic Health System（梅奥诊所医疗系统）
本文提出利用零样本与少样本GPT分类器，依据类别的自然语言描述和结构化Python字典实现考试蓝图下的多层级试题自动分类，并在模拟及ABFM真实试题上验证其高效准确。
2023-12-06 cs.CY cs.LG stat.ME
To Trust Or Not To Trust A Classifier
Google Research（谷歌研究院）；Google Brain（谷歌大脑）；Stanford University（斯坦福大学）
了解分类器的预测何时可以信任在许多应用中非常有用，对于安全使用AI至关重要。虽然机器学习研究中的大部分努力都是为了提高分类器的性能，但理解分类器的预测何时应该和不应该被信任的关注要少得多。标准的方法是使用分类器的判别式或置信度得分，然而，我们发现存在一种替代方案，在许多情况下更有效。我们提出了一个新的分数，称为信任分数，它衡量的分类器和修改后的最近邻分类器之间的协议的测试示例。我们的经验表明，高（低）信任分数产生令人惊讶的高精度识别正确（不正确）分类的例子，始终优于分类器的置信度分数以及许多其他基线。此外，在一些温和的分布假设下，我们表明，如果一个例子的信任得分高（低），分类器可能会同意（不同意）贝叶斯最优分类器。我们的保证包括各种非参数设置下的统计一致性的非渐近速率，并建立在拓扑数据分析的最新发展。
2018-10-26 cs.LG stat.ML
Understanding Imbalanced Semantic Segmentation Through Neural Collapse
CUHK（香港中文大学）；JD Explore Academy（京东探索研究院）；HKU（香港大学）；MEGVII Technology（旷视科技）
最近的一项研究表明，在分类训练的最终阶段，类内特征均值和分类器权重向量收敛到一个单纯形等角紧框架的顶点，这一现象称为神经崩溃。本文探讨了语义分割中最后一层特征中心和分类器的对应结构。基于我们的经验和理论分析，我们指出，语义分割自然地带来了上下文相关性和类间分布的不平衡，打破了特征中心和分类器的等角最大分离结构。然而，这种对称结构有利于区分小类。为了保持这些优势，我们在特征中心上引入了正则化器，以鼓励网络在不平衡的语义分割中学习更接近吸引人的结构的特征。实验结果表明，我们的方法可以带来显着的改善，二维和三维语义分割基准。此外，我们的方法在ScanNet200测试排行榜上排名第一，并创造了新的记录（+6.8% mIoU）。代码将在https://github.com/dvlab-research/Imbalanced-Learning上提供。
2023-01-03 cs.CV cs.LG
Natural Language Understanding for Argumentative Dialogue Systems in the Opinion Building Domain
Southeast University（东南大学）；Ulm University（乌尔姆大学）；Mercedes-Benz Research & Development（梅赛德斯-奔驰研发中心）
本文介绍了一个自然语言理解（NLU）框架，在信息寻求和意见建设领域的辩论对话系统。该框架包括两个子模型，即意图分类器和论点相似度。意图分类器模型将BiLSTM与注意力机制堆叠在预训练的BERT模型之上，并微调模型以识别用户意图，而论点相似性模型使用BERT + BiLSTM来识别用户在他或她的自然语言话语中引用的系统论点。我们的模型是在一个争论性的对话系统，从事用户通知他/她自己的一个有争议的话题，通过探索赞成和反对的论点，并建立他/她对这个话题的意见。为了评估所提出的方法，我们收集用户话语的互动与各自的系统标签的意图和参考参数在一个广泛的在线研究。数据汇集包括多个主题和两种不同的用户类型（来自英国的英语母语者和来自中国的非英语母语者）。此外，我们分别在公开的Banking77和STS基准数据集上评估了所提出的意图分类器和参数相似性模型。评估表明，在几个数据集的基线方法，以及对新的主题和不同的语言能力，以及用户的文化背景所提出的方法的鲁棒性所使用的技术的明显优势。此外，结果表明，我们的意图分类器模型在Few-Shot设置中优于DIET、DistillBERT和BERT微调模型（即，每个意图具有10、20或30个标记的示例）和完整的数据设置。
2022-02-19 cs.CL cs.LG
What Does Rotation Prediction Tell Us about Classifier Accuracy under Varying Testing Environments?
Australian National University（澳大利亚国立大学）
在新环境下理解分类器决策是社区的核心，通常的做法是在标记的测试集上评估它。然而，在现实世界的测试中，图像注释是困难和昂贵的获得，特别是当测试环境是不断变化的。一个很自然的问题出现了：给定一个训练好的分类器，我们能在不同的未标记测试集上评估它的准确性吗？在这项工作中，我们训练语义分类和旋转预测在多任务的方式。在一系列数据集上，我们报告了一个有趣的发现，即，语义分类准确率与旋转预测任务的准确率呈现出很强的线性关系（Pearson相关系数r > 0.88）。这一发现使我们能够利用线性回归来估计分类器的性能，从旋转预测的准确性，可以通过自由生成的旋转标签在测试集上获得。
2021-06-10 cs.CV cs.LG
"Why Should I Trust Interactive Learners?" Explaining Interactive Queries of Classifiers to Users
KU Leuven（鲁汶大学）；TU Darmstadt（达姆施塔特工业大学）
虽然交互式学习将用户置于循环中，但学习者对用户来说仍然是一个黑盒子。了解查询和预测背后的原因在评估学习者如何工作以及信任时非常重要。因此，我们提出了新的解释性交互式学习框架：在每一步中，学习者解释其交互式查询的用户，她查询的任何积极的分类可视化解释相应的预测。我们证明，这可以提高预测和解释能力和信任的学习模型，使用文本（例如SVM）和图像分类（例如神经网络）实验以及用户研究。
2018-05-22 cs.LG stat.ML
Fix your classifier: the marginal value of training the last weight layer
Department of Electrical Engineering（电气工程系）；Technion（以色列理工学院）
神经网络通常被用作各种任务的分类模型。通常，学习的仿射变换被放置在这样的模型的末尾，产生用于分类的每个类的值。该分类器可以具有大量的参数，这些参数随着可能的类的数量线性增长，因此需要越来越多的资源。在这项工作中，我们认为，这个分类器可以是固定的，直到一个全球规模常数，很少或没有损失的准确性，为大多数任务，允许内存和计算的好处。此外，我们表明，通过初始化的分类与阿达玛矩阵，我们可以加快推理以及。我们讨论了当前理解的神经网络模型的影响。
2018-03-20 cs.CV cs.LG stat.ML
To SMOTE, or not to SMOTE?
Amazon（亚马逊）；Cornell University（康奈尔大学）
在训练分类器之前平衡数据是解决表格数据中不平衡二进制分类挑战的流行技术。平衡通常通过复制少数样品或通过生成合成少数样品来实现。虽然众所周知，平衡对每个分类器的影响不同，但大多数先前的实证研究并不包括强大的最先进的（SOTA）分类器作为基线。在这项工作中，我们有兴趣了解平衡是否有益，特别是在SOTA分类器的上下文中。因此，我们进行了广泛的实验，考虑三个SOTA分类器沿较弱的学习者在以前的调查。此外，我们仔细辨别适当的指标，一致和不一致的算法和超参数选择方法，并表明这些对预测质量和平衡的有效性有显着的影响。我们的研究结果支持弱分类器平衡的已知效用。然而，我们发现，平衡并没有提高预测性能的强。我们进一步确定了其他几种情况下，平衡是有效的，并观察到以前的研究表明，侧重于这些设置的平衡的效用。
2022-05-11 cs.LG
