Building robust classifiers through generation of confident out of distribution examples
Intuit Inc.（财捷公司）
众所周知，深度学习模型对分布外输入的预测过于自信。已经有几件工作来解决这个问题，包括一些方法来构建贝叶斯神经网络，以及密切相关的工作检测出的分布样本。最近，已经有关于通过添加正则化项来构建对分布外样本鲁棒的分类器的工作，所述正则化项最大化分类器输出在分布外数据上的熵。为了近似分布外的样本（其不是先验已知的），使用GAN来生成训练分布的边缘处的样本。在本文中，我们介绍了一种替代的基于GAN的方法来构建一个强大的分类器，其中的想法是使用GAN显式地生成分类器有信心的分布样本（低熵），并使分类器最大化这些样本的熵。我们展示了我们的方法相对于最先进的手写字符以及各种自然图像数据集的有效性。
2018-12-01 cs.LG stat.ML
Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach
Technion IIT（以色列理工学院）
针对测试时分布偏移问题，提出结合投注鞅检测与在线熵匹配的自训练适应框架，并基于最优传输构建自监督损失，提升偏移场景下准确率且保持无偏移时的校准性能。
2025-01-05 cs.LG stat.ML
Entropy-SGD optimizes the prior of a PAC-Bayes bound: Generalization properties of Entropy-SGD and data-dependent priors
Vector Institute（向量研究所）
我们表明，熵SGD（Chaudhari等人，2017），当被视为一种学习算法时，优化了吉布斯（后验）分类器风险的PAC-Bayes界限，即，一个随机化的分类器获得的风险敏感扰动的权重的学习分类。熵-SGD通过优化边界的先验来工作，违反了PAC-贝叶斯定理的假设，即先验是独立于数据选择的。事实上，Entropy-SGD的可用实现在随机标签上快速获得零训练误差，并与Gibbs后验保持相同。为了得到一个有效的泛化界，我们依赖于一个结果表明，由随机梯度Langevin动力学（SGLD）获得的数据相关先验产生有效的PAC-Bayes界，提供的目标分布的SGLD是ε-差分私有的。我们观察到，MNIST和CIFAR 10的测试误差落在（经验非空）的风险范围内计算的假设下，SGLD达到平稳。特别是，熵-SGLD可以配置为产生相对紧密的泛化界，并且仍然适合真实标签，尽管这些相同的设置无法获得最先进的性能。
2019-04-19 cs.LG stat.ML
Learning Classifiers with Fenchel-Young Losses: Generalized Entropies, Margins, and Algorithms
NTT CS laboratories（NTT计算机科学实验室）；Unbabel（Unbabel公司）；Instituto de Telecomunicações（电信研究所）
本文研究了Fenchel-Young损失，这是一种从正则化函数构造凸损失函数的通用方法。我们深入分析了它们的性质，表明它们统一了许多著名的损失函数，并允许轻松创建有用的新损失函数。从广义熵（包括香农熵和Tsallis熵）构建的Fenchel-Young损失可诱导预测概率分布。我们制定的条件，广义熵产生损失的分离利润，和概率分布稀疏支持。最后，我们推导出有效的算法，使Fenchel-Young损失在理论和实践上都具有吸引力。
2019-02-22 cs.LG stat.ML
Robust training on approximated minimal-entropy set
University of Michigan（密歇根大学）；West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个通用的框架来学习一个强大的大利润率的二元分类器时，损坏的测量，称为异常，传感器故障可能会出现在训练集中。我们的目标是最大限度地减少泛化误差的分类器上的非损坏的测量，同时控制与异常样本相关联的误报率。通过结合基于经验熵估计的非参数正则化器，我们提出了一种几何熵最小化正则化最大熵判别（GEM-MED）方法来学习以联合方式分类和检测异常。我们证明使用模拟数据和一个真正的多模态数据集。我们的GEM-MED方法可以产生比以前的强大的分类方法在分类精度和异常检测率方面的性能提高。
2016-10-21 cs.LG stat.ML
Performance Optimization of a Fuzzy Entropy based Feature Selection and Classification Framework
University of Nottingham（诺丁汉大学）
本文在模糊熵特征选择框架的基础上，实现了不同的方法，并对改进框架的关键部分进行了比较。这些方法包括三个理想向量计算，三个最大相似分类器和三个模糊熵函数的组合。比较了基于模糊熵值的不同特征去除顺序。所提出的方法进行了评估三个公开的生物医学数据集。通过实验得出了理想向量、相似度分类器和模糊熵函数在特征选择中的优化组合。并与其他6种经典的基于滤波器的特征选择方法进行了比较。所提出的方法与相关性和ReliefF方法一起被评为最佳执行者之一。更重要的是，所提出的方法实现了最稳定的性能时，所有三个数据集的特征被逐渐删除。这表明比其他比较方法更好的特征排名性能。
2020-05-21 cs.LG stat.ML
Aligning Multiclass Neural Network Classifier Criterion with Task Performance Metrics
Yale University（耶鲁大学）
针对多类分类器训练损失与评估指标不匹配的问题，提出EAST方法，通过动态阈值、软集混淆矩阵和退火过程，使训练目标紧密对齐混淆矩阵指标，理论证明一致性与收敛性，实验验证优于现有方法。
2025-05-26 cs.LG stat.ML
Analysis of Confident-Classifiers for Out-of-distribution Detection
University of Waterloo（滑铁卢大学）
只有当输入数据来自训练分布（分布内）时，区分训练的神经分类器才是可信的。因此，检测分布外（OOD）样本对于避免分类错误非常重要。在用于图像分类的OOD检测的上下文中，最近的方法之一提出通过最小化分布内样本上的标准交叉熵损失以及最小化分布内的低密度区域中的OOD样本的预测分布与均匀分布之间的KL发散（最大化输出的熵）来训练被称为“置信度分类器”的分类器。因此，如果样本具有低置信度或高熵，则可以将其检测为OOD。在本文中，我们分析了这种设置从理论和实验。我们的结论是，由此产生的置信度分类器仍然产生任意高的置信度OOD样本远离分布。相反，我们建议通过为OOD样本添加一个显式的“拒绝”类来训练分类器。
2019-04-27 cs.CV cs.LG stat.ML
Efficient Decision Trees for Multi-class Support Vector Machines Using Entropy and Generalization Error Estimation
Chulalongkorn University（朱拉隆功大学）；Osaka University（大阪大学）
我们提出了新的方法，支持向量机（SVM）使用树结构的多类分类。在树的每个节点上，利用熵和泛化误差估计选择合适的二元分类器，然后根据所选分类器将样本分为正类和负类，并训练一个新的分类器用于分类阶段。所提出的方法可以在O（log2N）到O（N）之间的时间复杂度内工作，其中N是类的数量。我们使用10倍交叉验证将我们提出的方法的性能与UCI机器学习存储库上的传统技术进行了比较。实验结果表明，我们提出的方法是非常有用的问题，需要快速的分类时间或大量的类的问题，因为所提出的方法运行速度比传统的技术，但仍然提供相当的准确性。
2017-08-28 cs.LG stat.ML
Rethinking Softmax with Cross-Entropy: Neural Network Classifier as Mutual Information Estimator
Australian National University（澳大利亚国立大学）；Pohang University of Science and Technology（浦项科技大学）
互信息被广泛应用于学习观测值的潜在表示，而其在分类神经网络中的含义仍有待更好地解释。我们表明，优化分类神经网络的参数与softmax交叉熵是等价的最大化输入和标签之间的互信息的平衡数据假设。通过在人工数据集和真实数据集上的实验，我们表明softmax交叉熵可以近似地估计互信息。当应用于图像分类时，这种关系有助于近似输入图像和标签之间的逐点互信息，而无需修改网络结构。为此，我们提出了infoCAM，信息类激活图，突出显示区域的输入图像是最相关的一个给定的标签的基础上的差异信息。激活图有助于定位输入图像中的目标对象。通过两个真实世界数据集的半监督对象定位任务的实验，我们评估了我们的信息理论方法的有效性。
2020-09-17 cs.CV cs.LG stat.ML
Cross Entropy in Deep Learning of Classifiers Is Unnecessary -- ISBE Error is All You Need
Warsaw University of Technology（华沙理工大学）
本文提出ISBE误差方法，证明分类器深度学习中交叉熵计算冗余，可直接将误差传回网络，在MNIST上验证多种激活函数下性能不降且节省约3%时间。
2023-11-27 cs.LG
Theoretical Evaluation of Feature Selection Methods based on Mutual Information
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）
特征选择方法通常通过在评估过程中包装特定的分类器和数据集来评估，这通常会导致方法之间的不公平比较。在这项工作中，我们开发了一个理论框架，允许获得基于互信息的二维顺序向前特征选择方法的真实特征排序，该方法独立于熵或互信息估计方法，分类器或数据集，并导致方法的有效比较。此外，理论框架揭示了一些方法固有的问题，否则难以检测，即在用于选择候选特征的目标函数的构造中的不一致性，这是由于各种类型的不确定性和连续随机变量的熵取零值和负值的可能性。
2016-10-07 cs.LG stat.ML
Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
检测测试样品是否来自分销（即，分类器的训练分布）或与其充分不同的分布外（out-of-distribution）在许多现实世界的机器学习应用中出现。然而，已知最先进的深度神经网络在其预测中高度过度自信，即，不区分内部和外部分布。最近，为了处理这个问题，已经提出了几个基于阈值的检测器，给出了预先训练的神经分类器。然而，以前的工作的性能在很大程度上取决于如何训练的分类器，因为他们只专注于改善推理过程。在本文中，我们开发了一种新的分类器的训练方法，使这样的推理算法可以更好地工作。特别是，我们建议在原始损失中添加两个额外条款（例如，交叉熵）。第一个是强制样本从分布外不太相信分类器和第二个是（隐式）生成最有效的训练样本的第一个。从本质上讲，我们的方法联合训练分类和生成神经网络用于分布外。我们使用深度卷积神经网络在各种流行的图像数据集上证明了其有效性。
2018-02-23 cs.LG stat.ML
Policy Entropy for Out-of-Distribution Classification
LMU Munich（慕尼黑大学）
在现实世界中部署强化学习系统的一个关键先决条件是能够可靠地检测代理未接受训练的情况。当错误的预测导致执行有害行为时，此类情况可能会导致潜在的安全风险。在这项工作中，我们提出了PEOC，一种新的基于策略熵的分布外分类器，可以可靠地检测深度强化学习中未遇到的状态。它是基于使用代理的政策作为一个类分类器的分类得分的熵。我们评估我们的方法使用程序环境生成器。结果表明，PEOC是非常有竞争力的国家的最先进的一类分类算法的评估环境。此外，我们提出了一个结构化的过程中基准的分布外分类强化学习。
2020-05-25 cs.AI cs.LG stat.ML
To Reduce Gross NPA and Classify Defaulters Using Shannon Entropy
Vishwakarma Institute of Technology（Vishwakarma 技术学院）；Vellore Institute of Technology（韦洛尔技术学院）
不良资产问题近年来一直受到银行业的高度重视。不良资产给银行造成巨大损失，因此，决定哪些贷款有能力成为不良资产，从而决定哪些贷款可以批准，哪些贷款可以拒绝，这是一个非常关键的步骤。在本文中，我们提出了一种算法，该算法旨在非常细致地处理财务数据，以非常高的准确性预测特定贷款是否会被归类为未来的NPA。而不是传统的不太准确的分类器用来决定哪些贷款可以变成NPA，我们建立自己的分类模型使用熵为基础。我们使用Shannon熵创建了一个基于熵的分类器。分类器模型将我们的数据点分为接受或拒绝两类。我们利用局部熵和全局熵来帮助我们确定输出。熵分类器模型，然后与现有的分类器进行比较，用于预测NPA，从而给我们一个想法的性能。
2020-04-29 cs.IT cs.LG math.IT
The Eigenvalues Entropy as a Classifier Evaluation Measure
Institut de Génétique et de Biologie Moleculaire et Cellulaire CNRS UMR7104, INSERM U964 and Université de Strasbourg 67400 Illkirch, France（法国国家科学研究中心基因与分子生物学与细胞生物学机构（UMR7104）、法国国家医学研究院（U964）和斯特拉斯堡大学）
本文提出将特征值熵作为二分类和多分类问题的评估测度，推导了其与常用测度的关系，并提出估计混淆矩阵以应对类别不平衡问题，实验证明其优于现有标准测度。
2025-10-31 cs.LG
Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks
Google Research, Brain Team（谷歌研究院，Brain团队）
现代神经网络中预测不确定性的准确估计对于实现良好校准的预测和检测分布外（OOD）输入至关重要。最有前途的方法主要集中在改善模型不确定性（例如深度集合和贝叶斯神经网络）和OOD检测的后处理技术（例如ODIN和Mahalanobis距离）。然而，有相对较少的调查如何参数化的概率在判别分类器影响的不确定性估计，和占主导地位的方法，softmax交叉熵，导致误导性的高置信度OOD数据和下协变量偏移。我们研究了使用（1）一对一的公式来捕捉“以上都没有”的概念，以及（2）基于距离的logit表示来将不确定性编码为到训练流形的距离的函数来制定概率的替代方法。我们表明，一对多的公式可以提高图像分类任务的校准，同时匹配softmax的预测性能，而不会产生任何额外的训练或测试时间复杂度。
2020-07-10 cs.LG stat.ML
Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems
Hologic（豪洛捷）
据报道，深度学习系统在许多应用中实现了最先进的性能，关键是在基准数据集上存在经过良好训练的分类器。作为一种主流的损失函数，交叉熵可以很容易地引导我们找到表现出严重过拟合行为的模型。在本文中，我们表明，现有的交叉熵损失最小化问题本质上是学习数据集的底层数据分布的标签条件熵（CE）。然而，以这种方式学习的CE不能很好地表征由标签和输入共享的信息。在本文中，我们提出了一个互信息学习框架，通过学习标签和输入之间的互信息来训练深度神经网络分类器。从理论上给出了基于互信息的种群分类误差下界。此外，我们推导出$\mathbb{R}^n$中具体的二进制分类数据模型的互信息下限和上限，以及在这种情况下的错误概率下限。从经验上讲，我们在几个基准数据集上进行了大量的实验来支持我们的理论。互信息学习分类器（MILC）比条件熵学习分类器（CELC）具有更好的泛化性能，其测试精度可提高10%以上.
2022-09-21 cs.CV cs.IT cs.LG
Bayes-Optimal Entropy Pursuit for Active Choice-Based Preference Learning
Cornell University（康奈尔大学）
我们分析的问题，学习一个单一的用户的喜好在一个积极的学习设置，顺序和自适应查询用户在有限的时间范围内。学习是通过基于选择的查询进行的，用户在提供的备选方案的一小部分中选择她的首选方案。这些查询已被证明是一种强大而有效的方式来了解个人的偏好。我们采取参数化的方法，并通过线性分类器对用户的偏好进行建模，使用贝叶斯先验对我们当前对该分类器的知识进行编码。我们学习的速度取决于每个时间点提供的选择。在某些噪声假设下，我们证明了最大限度地减少该线性分类器的后验分布的熵的贝叶斯最优策略是贪婪策略，并且当可以从连续统中构造替代方案时，该策略实现了线性下界。此外，我们分析了一个不同的度量称为误分类错误，证明了最小化误分类错误的最优策略的性能是有界的微分熵的线性函数以下。最后，我们数值比较贪婪的熵减少政策与知识梯度政策下的一些情况下，检查他们的性能下的微分熵和误分类错误。
2017-02-24 cs.IT cs.LG math.IT
Deep Learning From Crowdsourced Labels: Coupled Cross-entropy Minimization, Identifiability, and Regularization
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Oregon State University（俄勒冈州立大学）
针对含噪众包标签的端到端深度学习，本文证明CCEM在有限样本和不完整标注下的可辨识性，并提出两种正则化变体以提升参数辨识性能。
2023-06-05 cs.LG eess.SP stat.ML
Multiclass Graph-Based Large Margin Classifiers: Unified Approach for Support Vectors and Neural Networks
Graduate Program in Electrical Engineering, Universidade Federal de Minas Gerais（电气工程联合培养项目，巴西米纳斯吉拉斯联邦大学）；Department of Computer and Systems, Universidade Federal de Ouro Preto（计算机与系统系，巴西欧鲁普穆联邦大学）
本文提出了一种基于Gabriel图的多类大边距分类器，通过改进支持向量和神经网络结构，提升分类性能。
2025-12-15 cs.LG stat.ML
CEnt: An Entropy-based Model-agnostic Explainability Framework to Contrast Classifiers' Decisions
American University of Beirut（贝鲁特美国大学）
当前的可解释性方法侧重于通过当前输入特征解释特定模型的决策。这种方法不通知用户改变这些决定的充分条件，当他们不希望。对比解释通过提供“如果特征$X>x$，则输出$Y$将不同”的形式的解释来规避该问题。虽然开发了不同的方法来找到对比，但这些方法并不都处理可变性和可达性约束。在这项工作中，我们提出了一种新的方法来局部对比任何分类器的预测。我们的基于对比熵的解释方法，CEnt，近似一个模型局部的决策树计算熵信息的不同功能分裂。然后构建图G，其中通过一对多最短路径搜索找到对比节点。从最短路径生成对比示例，以反映在保持较低熵的同时改变模型决策的特征分割。我们对变分自动编码器计算的流形式距离进行局部采样，以反映数据密度。CEnt是第一个基于非梯度的对比方法，它生成不同的反事实，这些反事实不一定存在于训练数据中，同时满足不变性（例如，种族）和半不变性（例如，年龄只能在增加的方向上变化）。对四个真实世界数值数据集的实证评估表明，CENT在生成反事实方面的能力，这些反事实比现有方法实现了更好的接近率，而不会影响延迟，可行性和可达性。我们进一步扩展CENT图像数据，以获得视觉吸引力和有用的对比MNIST和时尚MNIST数据集上的类标签。最后，我们展示了如何CEnt可以作为一种工具来检测文本分类器的漏洞。
2023-01-19 cs.AI cs.LG
Contrastive Classification and Representation Learning with Probabilistic Interpretation
Toyota Motor Europe（丰田汽车欧洲公司）；Czech Technical University in Prague（捷克布拉格技术大学）
交叉熵损失已经作为基于分类的任务的主要目标函数。广泛用于学习神经网络分类器，它显示了有效性和概率解释。最近，在自监督对比表示学习方法取得成功之后，已经提出了监督对比方法来学习表示，并且与具有交叉熵损失的单独训练相比，监督对比方法已经显示出优越且更鲁棒的性能。然而，交叉熵损失仍然需要训练最终的分类层。在这项工作中，我们研究学习的表示和分类器使用一个目标函数，结合了对比学习的鲁棒性和交叉熵损失的概率解释的可能性。首先，我们重新审视了以前提出的基于对比度的目标函数，该目标函数近似交叉熵损失，并提出了一个简单的扩展来共同学习分类器。其次，我们提出了一个新版本的监督对比训练，它联合学习分类器和网络骨干的参数。我们的经验表明，我们提出的目标函数在各种具有挑战性的设置中具有更高的训练稳定性和鲁棒性，比标准交叉熵损失有显着改善。
2022-11-07 cs.CV cs.LG
On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data
University of British Columbia（不列颠哥伦比亚大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
各种logit调整参数化的交叉熵（CE）损失已被提出作为替代加权CE的标签不平衡数据远远超过零训练误差制度的训练大型模型。这些设计背后的驱动力是隐式偏差理论，对于线性（化）模型，它解释了为什么它们成功地在优化路径上诱导偏向少数群体的解决方案。为了将这一理论扩展到非线性模型，我们研究了通过不同CE参数化学习的分类器和嵌入的隐式几何。我们的主要结果描述了无约束特征模型的非凸成本敏感SVM分类器的全局最小值，该模型作为深度网络的抽象。我们推导出了分类器和嵌入的角度和范数作为类数、不平衡和少数比率以及损失超参数的函数的封闭形式公式。使用这些，我们表明，logit调整参数化可以适当调整，学习对称的几何形状，而不管不平衡比。我们通过实验和深度网络收敛精度的实证研究来补充我们的分析。
2023-03-14 cs.LG
Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies
Technion（以色列理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
许多最近的数据集包含各种不同的数据模态，例如，在视觉问答（VQA）中的图像、问题和答案数据。当在这些多模态数据集上训练深度网络分类器时，模态在不同的尺度上被利用，即，某些模式比其他模式更容易有助于分类结果。这是次优的，因为分类器固有地偏向于模态的子集。为了克服这一缺点，我们提出了一种新的正则化项的基础上的功能熵。直观地说，这个术语鼓励平衡每个模态对分类结果的贡献。然而，用函数熵正则化是具有挑战性的。为了解决这个问题，我们开发了一种基于log-Sobolev不等式的方法，该方法将函数熵与函数Fisher信息结合起来。直观地说，这最大限度地提高了模态提供的信息量。在两个具有挑战性的多模态数据集VQA-CPv 2和SocialIQ上，我们获得了最先进的结果，同时更均匀地利用了模态。此外，我们证明了我们的方法对有色MNIST的有效性。
2020-10-21 cs.CV cs.LG
Loss Function Entropy Regularization for Diverse Decision Boundaries
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息研究院）
有没有可能训练几个分类器来执行有意义的众包，从而在没有地面实况注释的情况下产生更好的预测标签集？本文将修改对比学习目标，以自动训练一个自我补充的集成，以产生一个国家的最先进的预测CIFAR 10和CIFAR 100 -20的任务。本文将提出一种简单的方法来修改单个无监督分类管道，以自动生成具有不同决策边界的神经网络集成，从而学习更广泛的类特征集。损失函数熵正则化（LFER）是要添加到预训练和对比学习损失函数的正则化项。LFER是一个齿轮，用于修改无监督学习输出空间的熵状态，从而使神经网络的决策边界的潜在表示多样化。在决策边界附近的样本中，使用LFER训练的Entrance具有更高的成功预测精度。LFER是一个足够的齿轮扰动决策边界，并产生了分类器，击败国家的最先进的对比学习阶段。实验表明，LFER可以产生一个合奏的准确性与国家的最先进的，但有不同的潜在决策边界。它使我们能够对决策边界附近的样本进行有意义的验证，鼓励对近边界样本进行正确的分类。通过在训练好的神经网络集合中混合单个样本的正确预测的概率，我们的方法可以通过去噪和确认正确的特征映射来改进单个分类器。
2022-05-23 cs.LG
The Average Relative Entropy and Transpilation Depth determines the noise robustness in Variational Quantum Classifiers
Department of Computer Science University of Helsinki（赫尔辛基大学计算机科学系）
本文提出基于相对熵的指标，研究变分量子分类器在噪声设备上的性能，发现平均相对熵差、编译深度与性能差异强相关，指出电路深度不足以表征浅层电路。
2026-03-22 cs.LG quant-ph
Neural Loss Function Evolution for Large-Scale Image Classifier Convolutional Neural Networks
School of Computer Science, University of Oklahoma（俄克拉荷马大学计算机科学学院）
针对交叉熵损失在分类任务中与准确率评估不一致的问题，提出神经损失函数搜索方法，通过新搜索空间和代理函数，利用正则化进化发现三个新损失函数，在多数实验中平均测试准确率优于交叉熵。
2024-01-30 cs.CV cs.LG
EEG machine learning with Higuchi fractal dimension and Sample Entropy as features for successful detection of depression
University of Belgrade（贝尔格莱德大学）；Amsterdam Health and Technology Institute, HealthInc（阿姆斯特丹健康与技术研究所）；Delaware State University（特拉华州立大学）；Life Activities Advancement Center（生命活动促进中心）；Institute for Experimental Phonetics and Speech Pathology（实验语音学与言语病理学研究所）；Institute for Mental Health（精神卫生研究所）；College of Medicine and Health Sciences, UAE University（阿联酋大学医学与健康科学学院）
抑郁症的可靠诊断对于最佳治疗和预防致命结局至关重要。在这项研究中，我们的目的是阐明两个非线性措施，Higuchi分形维数（HFD）和样本熵（SampEn），在检测抑郁症时，应用于脑电图的有效性。EEG信号的HFD和SampEn被用作七种机器学习算法的特征，包括多层感知器、逻辑斯谛回归、具有线性和多项式核的支持向量机、决策树、随机森林和朴素贝叶斯分类器，区分健康对照受试者和诊断为抑郁症的患者之间的EEG。我们证实了早期的观察，这两个非线性措施可以区分健康对照受试者的患者的EEG信号。结果表明，良好的分类是可能的，即使有少量的主成分。分类器的平均准确率为90.24%~ 97.56%。在这两个指标中，SampEn的表现更好。使用HFD和SampEn以及各种机器学习技术，我们可以准确区分诊断为抑郁症的患者与对照组，这可以作为诊断抑郁症的高度敏感的临床相关标志物。
2018-03-15 cs.LG q-bio.NC stat.ML
The use of entropy to measure structural diversity
Graduate School of Arts and Sciences, Harvard University（哈佛大学文理研究生院）
在本文中，熵为基础的方法进行了比较，并用于测量的21个分类器的集成的结构多样性。这一措施主要应用于生态学，其中物种计数被用来衡量多样性。所用的措施是香农熵，沃森和伯杰帕克多样性指数。随着多样性指数的增加，集合的准确性也随之增加。具有相同结构的分类器占主导地位的集成产生差的准确性。利用信息论中的不确定性规则进一步定义了多样性。采用遗传算法，以多样性指数为代价函数，寻找最优集成。投票的方法被用来汇总决定。
2008-10-20 cs.AI cs.LG q-bio.QM
Learning to classify with possible sensor failures
University of Michigan（密歇根大学）；West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个通用的框架来学习一个强大的大利润率的二元分类器时，损坏的测量，称为异常，传感器故障可能会出现在训练集中。我们的目标是最大限度地减少泛化误差的分类器上的非损坏的测量，同时控制与异常样本相关联的误报率。通过结合基于经验熵估计的非参数正则化器，我们提出了一种几何熵最小化正则化最大熵判别（GEM-MED）方法来学习以联合方式分类和检测异常。我们证明使用模拟数据和一个真正的多模态数据集。我们的GEM-MED方法可以产生比以前的强大的分类方法在分类精度和异常检测率方面的性能提高。
2016-02-22 cs.IT cs.LG math.IT
Classification of Electroencephalograms during Mathematical Calculations Using Deep Learning
Indian Institute Of Information Technology, Lucknow（印度勒克瑙信息技术学院）；Sardar Patel Institute Of Technology（萨达尔·帕特尔技术学院）；Indian Institute Of Technology Patna（印度理工学院巴特那分校）
对脑电图（EEG）信号进行分类有助于理解脑机接口（BCI）。EEG信号对于研究人类大脑如何运作至关重要。在本文中，我们使用了由计算前信号（BCS）和计算期间信号（DCS）组成的算术计算数据集。该数据集由36名参与者组成。为了了解大脑中神经元的功能，我们将BCS与DCS进行了分类。对于这种分类，我们提取了各种特征，如互信息（MI），锁相值（PLV）和熵，即排列熵，谱熵，奇异值分解熵，近似熵，样本熵。这些特征的分类是使用基于RNN的分类器完成的，如LSTM、BLSTM、ConvLSTM和CNN-LSTM。当熵作为特征，ConvLSTM作为分类器时，该模型达到了99.72%的准确率。
2022-08-31 cs.LG q-bio.NC
Reinforcing Medical Image Classifier to Improve Generalization on Small Datasets
Hankuk University of Foreign Studies（韩国外国语大学）
随着深度学习的发展，使用复杂的判别模型改进图像分类已经成为可能。然而，这种复杂性增加的深度模型需要大量的标记样本来泛化训练。由于训练数据有限，这种分类模型在应用于医学图像时很容易过拟合，这是医学图像分析领域的一个常见问题。本文提出并研究了一种增强型分类器，以提高在少量可用训练数据下的泛化能力。部分遵循强化学习的思想，所提出的分类器使用来自训练数据的子集的泛化反馈来更新其参数，而不是仅使用关于训练数据的传统交叉熵损失。我们评估了改进的分类器，通过将其应用于三个不同的分类问题，对标准的深度分类器配备现有的过拟合预防技术。除了分类性能的整体改善，所提出的分类器表现出显着的广义学习的特点，它可以在医学分类任务有很大的潜力。
2019-10-07 cs.CV cs.LG eess.IV
Semi-supervised Multi-sensor Classification via Consensus-based Multi-View Maximum Entropy Discrimination
US Army Research Office（美国陆军研究局）
在本文中，我们考虑多传感器分类时，有大量的未标记的样本。在多视图学习框架下对该问题进行了建模，并提出了一种基于贝叶斯网络的多视图最大熵判别（CMV-MED）算法。通过迭代最大化多个分类器在未标记数据集上的随机一致性，该算法同时学习多个高精度分类器。我们证明，我们提出的方法可以产生改进的性能比以前的多视图学习方法，通过比较三个真实的多传感器数据集的性能。
2015-07-05 cs.AI cs.IT cs.LG
Fast convergence rates of deep neural networks for classification
Seoul National University（首尔国立大学）
我们推导了深度神经网络（DNN）分类器的快速收敛速度，其中使用铰链损失学习了整流线性单元（ReLU）激活函数。我们考虑真实模型的三种情况：（1）光滑决策边界，（2）光滑条件类概率，以及（3）边际条件（即，输入在决策边界附近的概率很小）。我们表明，使用铰链损失学习的DNN分类器在所有三种情况下都实现了快速收敛，前提是架构（即，层数、节点数和稀疏度）。是经过精心挑选的。一个重要的含义是，DNN架构非常灵活，可以在各种情况下使用，无需太多修改。此外，我们考虑了通过最小化交叉熵学习的DNN分类器，并表明DNN分类器在大多数数据的条件类概率足够接近1或0的条件下实现了快速收敛速度。这种假设对于图像识别来说并不罕见，因为人类非常擅长识别大多数图像。为了证实我们的理论解释，我们提出了一个小的数值研究的结果进行比较铰链损失和交叉熵。
2019-06-18 cs.LG math.ST stat.ML
Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems
Hologic Inc（豪洛捷公司）；University of Iowa（爱荷华大学）；National University of Singapore（新加坡国立大学）；University of California at Irvine（加州大学欧文分校）；Stanford University（斯坦福大学）
据报道，深度学习系统在许多应用中具有最先进的性能，实现这一目标的关键之一是在基准数据集上存在经过良好训练的分类器，这些分类器可用作下游任务中的骨干特征提取器。作为训练深度神经网络（DNN）分类器的主流损失函数，交叉熵损失可以很容易地引导我们找到表现出严重过拟合行为的模型，而无需使用其他技术（例如数据增强）来缓解它。在本文中，我们证明了现有的用于训练DNN分类器的交叉熵损失最小化本质上是学习数据集的底层数据分布的条件熵，即，信息或不确定性在显示输入之后保留在标签中。在本文中，我们提出了一个互信息学习框架，我们通过学习标签和输入之间的互信息来训练DNN分类器。在理论上，我们给出了基于互信息的总体错误概率下界。此外，我们推导出$\mbR^n$中具体的二进制分类数据模型的互信息下限和上限，以及在这种情况下的错误概率下限。此外，我们建立了样本复杂度，以准确地学习互信息从经验数据样本从底层数据分布。从经验上讲，我们在几个基准数据集上进行了大量的实验来支持我们的理论。在没有哨声和铃声的情况下，所提出的互信息学习分类器（MILC）比现有的分类器具有更好的泛化性能，在测试准确率上可以提高10%以上.
2022-10-03 cs.IT cs.LG math.IT
A Stationary (and Therefore Compatible) Representation is All You Need
Media Integration and Communication Center (MICC), Dipartimento di Ingegneria dell’Informazione, Università degli Studi di Firenze（佛罗伦萨大学信息工程系媒体集成与通信中心（MICC））
本文证明d-Simplex固定分类器学习的静态表示满足兼容性定义，并通过交叉熵与对比损失的凸组合捕获高阶依赖，实现模型更新时无需重处理的检索服务。
2026-06-12 cs.LG
Graph Entropy Minimization for Semi-supervised Node Classification
University of Electronic Science and Technology of China（电子科技大学）
本文提出图熵最小化（GEM）方法，通过一跳聚合未标记节点同时降低预测误差、训练资源与推理延迟，并支持小批量随机训练和在线知识蒸馏加速，适用于资源受限的工业级半监督节点分类任务。
2023-05-31 cs.LG
Rebooting ACGAN: Auxiliary Classifier GANs with Stable Training
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
条件生成对抗网络（cGAN）通过将类别信息合并到GAN中来生成逼真的图像。虽然最流行的cGAN之一是具有softmax交叉熵损失（AC GAN）的辅助分类器GAN，但众所周知，随着数据集中类的数量增加，训练AC GAN具有挑战性。ACGAN也倾向于生成缺乏多样性的易于分类的样本。在本文中，我们介绍了ACGAN的两种解决方案。首先，我们发现分类器中的梯度爆炸可能会在早期训练中导致不期望的崩溃，将输入向量投影到单位超球体上可以解决这个问题。其次，我们提出了数据到数据的交叉熵损失（D2 D-CE），利用类标记数据集中的关系信息。在此基础上，我们提出了重启辅助分类器生成对抗网络（ReACGAN）。实验结果表明，ReACGAN在CIFAR 10，Tiny-ImageNet，CUB 200和ImageNet数据集上实现了最先进的生成结果。我们还验证了ReACGAN从可区分的增强中受益，并且D2 D-CE与StyleGAN 2架构相协调。模型权重和一个软件包，提供了代表性的cGAN的实现和我们论文中的所有实验，可在https://github.com/POSTECH-CVLab/PyTorch-StudioGAN上获得。
2021-11-01 cs.AI cs.CV cs.LG
Beyond Neural Collapse: Task-Intrinsic Geometry Governs Neural Representations in Modular Arithmetic
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)（上海数学与交叉学科研究院）；Key Laboratory of Systems Health Science of Zhejiang Province, School of Life Science, Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（浙江省系统健康科学重点实验室，中国科学院大学杭州高等研究院生命科学学院）
本文发现模加法任务中网络表示呈现二维循环几何而非神经坍缩的单纯形等角紧框架，通过层间非均匀训练、子空间锁定后的相位对齐动力学和复杂度优势分析解释了这一现象。
2026-06-08 cs.LG
Instance-based entropy fuzzy support vector machine for imbalanced data
Seoul National University（首尔大学）
不平衡分类一直是机器学习的一个主要挑战，因为许多标准分类器主要关注平衡数据集，并且倾向于对大多数类有偏见的结果。本文对熵模糊支持向量机进行了改进，提出了基于实例的熵模糊支持向量机。EFSVM和IEFSVM都使用k-最近邻的熵信息来确定每个样本的模糊隶属度值，从而优先考虑每个样本的重要性。IEFSVM在增加邻域大小k时考虑每个样本熵模式的多样性，而EFSVM对所有样本使用固定邻域大小的单一熵信息。在模糊值隶属度的确定中，通过改变k值，可以反映样本近邻的成分由近到远的变化。在35个公开数据集和12个真实非平衡数据集上进行了数值实验，验证了IEFSVM的有效性，并利用受试者工作特征曲线下面积（AUC）与其他SVM和机器学习方法进行了性能比较。IEFSVM在不平衡率较高的数据集上显示出更高的AUC值，这意味着IEFSVM在处理类不平衡问题上是有效的。
2018-07-11 cs.IT cs.LG math.IT
Learning from aggregated data with a maximum entropy model
Criteo（科韬广告）
聚合数据集，然后注入一些噪声，是一种简单而常见的方法来释放差异隐私数据。然而，聚合数据-即使没有噪声-也不是机器学习分类器的合适输入。在这项工作中，我们展示了一个新的模型，类似于逻辑回归，可以从聚合数据中学习，只通过近似未观察到的特征分布与最大熵假设。由此产生的模型是马尔可夫随机场（MRF），我们详细介绍了如何应用，修改和扩展MRF训练算法到我们的设置。最后，我们在几个公共数据集上提出了经验证据，证明以这种方式学习的模型可以实现与使用完整未聚合数据训练的逻辑模型相当的性能。
2022-10-05 cs.AI cs.LG
Embedding Graph Kernel Entropy (EGKE): Fine-grained Hallucination Detection for LLMs from Embeddings
University of Moratuwa（莫拉图瓦大学）；University of Miami（迈阿密大学）
本文提出EGKE方法，用RBF核替换KLE的NLI衍生语义图，在30种实验设置上验证其在LLM幻觉检测中性能与SOTA相当且计算更高效。
2026-10-14 cs.LG
Confidence Estimation for Error Detection in Text-to-SQL Systems
AIRI；MIPT（莫斯科物理技术学院）；Sber AI；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学与自动化研究所可信人工智能研究中心）
本研究将选择性分类器集成到文本到SQL系统中，利用基于熵的置信度估计和校准技术，分析覆盖率与风险的权衡，发现T5校准优于GPT-4和Llama-3，且选择性分类器更易检测无关问题导致的错误。
2025-01-16 cs.CL cs.LG
Inducing Neural Collapse in Imbalanced Learning: Do We Really Need a Learnable Classifier at the End of Deep Neural Network?
JD Explore Academy（京东探索研究院）；Peking University（北京大学）；Zhejiang University（浙江大学）；Pazhou Laboratory（琶洲实验室）
用于分类的现代深度神经网络通常联合学习用于表示的骨干和线性分类器以输出每个类别的logit。最近的一项研究表明了一种称为神经崩溃的现象，即在平衡数据集上训练的最终阶段，特征和分类器向量的类内均值收敛到单纯形等角紧框架（ETF）的顶点。由于ETF几何结构最大限度地分离了分类器中所有类的成对角度，因此很自然地提出了这样一个问题：当我们知道分类器的最佳几何结构时，为什么我们还要花费精力来学习它？在本文中，我们研究的潜力学习神经网络的分类随机初始化为ETF和固定在训练过程中。我们基于层剥离模型的分析工作表明，即使数据集在类之间不平衡，使用固定ETF分类器的特征学习也会自然导致神经崩溃状态。我们进一步表明，在这种情况下，交叉熵（CE）的损失是不必要的，可以用一个简单的平方损失，共享相同的全局最优性，但享有更好的收敛性。我们的实验结果表明，我们的方法是能够带来显着的改善，在多个不平衡数据集上的收敛速度更快。
2022-10-12 cs.CV cs.LG
Scaling Laws in Jet Classification
Center for Artificial Intelligence Innovation（人工智能创新中心）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文发现对撞机物理中顶夸克与QCD喷注分类的六种分类器随训练集增大呈现幂律标度律，强调应按数据集规模比较分类器而非固定训练集。
2023-12-04 cs.LG hep-ph
Nonparametric Probabilistic Regression with Coarse Learners
Numeristical
概率回归是指以特征为条件预测目标的全概率密度函数。我们提出了一个非参数的方法来解决这个问题，它结合了基础分类器（通常是梯度提升森林）训练的目标值的不同粗化。通过结合这些分类器和平均所得密度，我们能够计算精确的条件密度与密度的形状或形式的最小假设。我们结合这种方法与结构化的交叉熵损失函数，用于正则化和平滑所产生的密度。从这些密度计算出的预测区间在实践中具有很高的保真度。此外，在特定的观测中检查这些密度的性质可以提供有价值的见解。我们在各种数据集上演示了这种方法，并显示出具有竞争力的性能，特别是在较大的数据集上。
2022-10-28 cs.AI cs.LG stat.ME
Binary Classifier Optimization for Large Language Model Alignment
Kakao Corp（Kakao公司）；LBOX
本文提出 BCO，仅利用点赞/点踩等二元反馈训练分类器并以 logit 作为隐式奖励对齐 LLM，通过奖励偏移逼近 DPO 损失，在多模型多数据集上取得稳健且可比的效果。
2025-06-09 cs.AI cs.CL cs.LG
Robust Educational Dialogue Act Classifiers with Low-Resource and Imbalanced Datasets
Monash University（莫纳什大学）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；VinUniversity（Vin大学）；Murdoch Children’s Research Institute（默多克儿童研究所）
针对低资源且类别不平衡的教育对话行为分类问题，本文提出用AUC最大化替代交叉熵损失训练分类器，实验证明该方法能显著提升分类性能并增强在不同不平衡比例下的鲁棒性。
2023-04-15 cs.AI cs.CL cs.HC
