Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
信息瓶颈（IB）目标使用信息论来制定任务性能与鲁棒性的权衡。它已成功地应用于标准判别分类设置。我们提出的问题是否也可以用来训练生成的可能性模型，如正常化流的IB。由于规范化流使用可逆网络架构（INN），因此它们通过构造来保持信息。这似乎与瓶颈的概念相矛盾。在这项工作中，首先，我们开发的理论和方法的IB-INN，一类有条件的规范化流程，INN的训练使用IB目标：引入少量的{ \em控制}的信息损失允许一个渐近精确制定的IB，同时保持INN的生成能力完好无损。其次，我们研究了这些模型的实验性质，特别是作为生成分类器。该模型类提供了诸如改进的不确定性量化和分布外检测的优点，但是传统的生成式分类器解决方案在分类精度方面受到相当大的影响。我们发现IB中的权衡参数控制了接近标准分类器的生成能力和准确性的混合。从经验上讲，我们的不确定性估计在这种混合制度相比，传统的生成和歧视分类。
2021-01-12 cs.LG stat.ML
Improving classification performance by feature space transformations and model selection
INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación（INFOTEC信息与通信技术研究与创新中心）；Universidad Michoacana de San Nicolás de Hidalgo（米却肯州圣尼古拉斯·伊达尔戈大学）；CONACyT Consejo Nacional de Ciencia y Tecnología（国家科学技术委员会）
提高分类器的性能是特征映射，原型选择和核函数转换的领域;这些技术旨在降低复杂性，同时提高模型的准确性。特别是，我们的目标是将它们结合起来，将数据的形状转换为另一种更方便的分布;这样一些简单的算法，如朴素贝叶斯或k-最近邻，就可以产生有竞争力的分类器。在本文中，我们介绍了一个家庭的分类特征映射和核函数的基础上，编排的模型选择方案，在性能上表现出色。我们提供了一个广泛的实验比较，我们的方法与16个流行的分类超过30个基准支持我们的主张。除了他们的竞争力表现，我们的统计测试还发现，我们的方法是不同的，他们之间，支持我们的要求，一个令人信服的家庭的分类。
2019-10-03 cs.LG stat.ML
Classifier Chain Networks for Multi-Label Classification
本研究提出分类器链的泛化形式分类器链网络，可联合估计参数并考量标签预测的前后影响，实验验证其在偏离建模假设场景下仍具竞争力，还提出了标签条件依赖检测的新度量指标。
2024-11-04 cs.LG stat.ML
Extreme Value Theory for Open Set Classification -- GPD and GEV Classifiers
University of Geneva（日内瓦大学）
分类任务通常假设所有可能的类都存在于训练阶段。如果算法被使用了很长时间并且可能遇到来自未知类的样本，则这是限制性的。最近推出的极值机，极值理论的动机分类器，解决了这个问题，并在特定情况下取得了竞争力的表现。我们表明，该算法可能会失败时，已知和未知类的几何形状不同。为了克服这个问题，我们提出了两个新的算法依赖于近似极值理论。我们展示了我们的分类器在模拟和LETTER和MNIST数据集上的有效性。
2019-07-16 cs.LG stat.ML
Context-Specific Refinements of Bayesian Network Classifiers
IE University（IE大学）；University of Valencia（瓦伦西亚大学）
本文提出基于分段树模型的上下文特定贝叶斯网络分类器，扩展TAN等模型，通过数据驱动学习提升分类准确性。
2024-05-28 cs.LG stat.ML
Sparse $\ell_1$ and $\ell_2$ Center Classifiers
Politecnico di Torino（都灵理工大学）
最近质心分类器是一种简单的线性时间分类器，其基于在训练阶段计算数据类的质心，然后将新的数据分配给与其最近质心相对应的类。由于其非常低的计算成本，最近质心分类器仍然被广泛用于机器学习，尽管许多其他更复杂的分类方法的发展。在本文中，我们提出了两个稀疏的最近质心分类器，分别基于$\ell_1$和$\ell_2$距离标准。所提出的稀疏分类器执行同时的分类和特征选择，通过检测的功能，是最相关的分类目的。我们表明，训练所提出的稀疏模型，与两个距离标准，可以准确地执行（即，选择全局最优的特征集）并且以准线性的计算成本。实验结果表明，所提出的方法具有竞争力的准确性与国家的最先进的特征选择技术，同时具有显着降低的计算成本。
2019-11-25 cs.LG stat.ML
Scalable Multi-Output Label Prediction: From Classifier Chains to Classifier Trellises
Aalto University（阿尔托大学）；HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
多输出推理任务，如多标签分类，近年来变得越来越重要。多标签分类的一种流行方法是分类器链，其中各个分类器的预测沿着链级联，从而考虑到标签间的依赖性并提高整体性能。已经引入了几种分类器链方法，其中许多方法在广泛的基准数据集上表现得非常有竞争力。然而，在对完全级联的链进行建模时，可扩展性限制在较大的数据集上变得明显。特别是，发现和建模一个好的链结构的方法的策略构成了一个主要的计算瓶颈。在本文中，我们提出了分类器网格（CT）方法的可扩展的多标签分类。我们将CT与最近提出的几种分类器链方法进行比较，以表明它占据了一个重要的利基：它在标准的多标签问题上具有很强的竞争力，但它也可以扩展到数千甚至数万个标签。
2015-01-20 cs.CV cs.DS cs.LG
Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs
University of Oxford（牛津大学）
分类器和生成器早就分开了。我们打破了这种分离，并展示了传统的神经网络分类器可以生成大量类别的高质量图像，与最先进的生成模型（例如，DDPM和GANs）。我们通过计算分类损失函数相对于输入的偏导数来优化输入以产生图像来实现这一点。由于众所周知，直接优化的输入是类似于有针对性的对抗攻击无法生成人类有意义的图像，我们提出了一个基于掩码的随机重建模块，使梯度语义感知合成似是而非的图像。我们进一步提出了一个渐进的分辨率技术，以保证保真度，产生逼真的图像。此外，我们引入了距离度量损失和非平凡分布损失，以确保分类神经网络可以合成多样化和高保真的图像。使用传统的神经网络分类器，我们可以在ImageNet上生成256 $\times$ 256分辨率的高质量图像。有趣的是，我们的方法也适用于文本到图像生成的图像-文本基础模型作为广义分类器。证明分类器已经学习了数据分布并准备好生成图像具有深远的意义，因为分类器比DDPM和GANs等生成模型更容易训练。我们甚至不需要训练分类模型，因为有大量的公共模型可供下载。此外，这对于分类器的可解释性和鲁棒性具有巨大的潜力。项目页面位于\url{https://classifier-as-generator.github.io/}。
2022-12-08 cs.AI cs.CV cs.LG
Superensemble Classifier for Improving Predictions in Imbalanced Datasets
Indian Statistical Institute（印度统计研究所）
从不平衡的数据集中学习是一个棘手的命题。由于这些数据集偏向于一个类，大多数现有的分类器往往不能很好地执行少数类的例子。传统的分类器通常旨在优化整体精度，而不考虑每个类的相对分布。本文提出了一种超分辨分类器，以解决和改善不平衡分类问题中的预测，将Hellinger距离决策树（HDDT）映射到径向基函数网络（RBFN）框架中。给出了模型普适性的正则性条件和参数优化的思路。建议的分布自由模型可以应用于特征选择暨不平衡分类问题。我们还提供了足够的数值证据，使用各种现实生活中的数据集，以评估所提出的模型的性能。它的有效性和竞争力相对于不同的国家的最先进的模型。
2018-10-25 cs.LG stat.ML
Diagnosing Capability Preservation and Task Sensitivity in Memory Augmented Document Classifiers
University of Cincinnati（辛辛那提大学）
QL-LSTM通过参数共享统一门机制和分层门控递归结构，实现参数高效且稳定的长序列建模。
2026-08-25 cs.AI cs.LG cs.NE
Multi-label Classification using Labels as Hidden Nodes
École Polytechnique（巴黎综合理工学院）；Aalto University（阿尔托大学）
用于多标签分类的竞争方法通常投资于一起学习标签。为了以一种有益的方式做到这一点，标签依赖性的分析通常被视为一个基本步骤，独立于构建分类器之前。一些方法在构建依赖模型方面投入的计算工作量高达训练最终分类器本身的数百倍。我们扩展了最近的一些文献中的讨论，并提供了更深入的分析，即，发展的观点，标签依赖往往是由一个不充分的基础分类器，而不是固有的数据或基本概念，显示如何即使是详尽的分析标签依赖可能不会导致最佳的分类结构。将标签视为额外的特征（输入的转换），我们创建了神经网络启发的新方法，这些方法消除了先前依赖结构的重点。我们的方法对于多标签数据有一个重要的优势：它们利用标签在中间层创建有效的单元，而不是使用基于梯度的方法以无监督的方式从头开始学习这些单元。结果令人鼓舞。我们提出的方法执行竞争力，也有非常重要的质量的可扩展性。
2017-07-18 cs.LG stat.ML
Neural Neighborhood Encoding for Classification
Wichita State University（威奇托州立大学）；IBM Research（IBM研究院）
受果蝇嗅觉回路的启发，Fly Bloom过滤器[Dasgupta等人，2018年]能够有效地总结数据与一个单一的通行证，并已用于新颖性检测。我们提出了一个新的分类器（二进制和多类分类），有效地编码不同的本地社区为每个类与每类Fly Bloom Filter。对测试数据的推断需要有效的{ \tt FlyHash} [Dasgupta等人，2017]操作之后是高维的，但是{ \em sparse}，与每个类的布隆过滤器的点积。学习是平凡的并行化。在理论方面，我们建立的条件下，我们提出的分类器的任何测试示例的预测同意与最近邻分类器的预测具有很高的概率。我们广泛地评估我们提出的计划与不同数据维度的$50$数据集，以证明我们提出的神经科学启发分类器的预测性能是有竞争力的最近邻分类器和其他单通道分类器。
2020-08-19 cs.LG stat.ML
Evaluating Multi-label Classifiers with Noisy Labels
Cornell University（康奈尔大学）
多标签分类（MLC）是标准分类的推广，其中多个标签可以分配给给定的样本。在现实世界中，处理噪声数据集比处理干净数据集更常见，因为现代数据集是由众包平台上的一大群注释者标记的，但很少有人注意评估带有噪声标签的多标签分类器。利用标签相关性现在成为多标签分类器的标准组件，以实现具有竞争力的性能。然而，这个组件使分类器更容易泛化不良-它过度拟合标签以及标签依赖性。我们确定了三个常见的现实世界的标签噪声的情况下，并显示如何以前的方法表现不佳与嘈杂的标签。为了解决这个问题，我们提出了一个基于上下文的多标签分类器（CbMLC），有效地处理嘈杂的标签时，学习标签的依赖关系，而不需要额外的监督。我们比较CbMLC对其他特定领域的国家的最先进的模型在各种数据集上，在干净和嘈杂的设置。我们表明，在大多数情况下，GbMLC比以前的方法有了实质性的改进。
2021-02-16 cs.LG stat.ML
SAFE Quantum Machine Learning with Variational Quantum Classifiers
National University of Singapore（新加坡国立大学）；University of Pavia（帕维亚大学）
本文提出一种基于幅度编码的变分量子分类器，结合归一化幅度嵌入与有界量子可观测量，构建了结构化且平滑的假设空间，通过SAFE-AI指标评估模型可靠性，实验证明其在预测性能和噪声鲁棒性方面优于经典基线。
2026-05-15 cs.LG stat.ML
Computationally lightweight classifiers with frequentist bounds on predictions
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出一种计算高效的分类器，基于Nadaraya-Watson估计器，提供频主义不确定性区间，实验证明其在大数据集上能以O(n)和O(log n)操作实现高准确率并提供实用的不确定性界限。
2026-04-09 cs.LG stat.ML
A new class of generative classifiers based on staged tree models
Università degli Studi di Genova（热那亚大学）；IE University（IE大学）；Universitat de València（瓦伦西亚大学）
分类的生成模型使用类变量和特征的联合概率分布来构造决策规则。在生成模型中，贝叶斯网络和朴素贝叶斯分类器是最常用的，它们为所有变量之间的关系提供了清晰的图形表示。然而，这些都有缺点，高度限制了可能存在的关系的类型，不允许上下文特定的独立性。在这里，我们介绍了一类新的生成分类器，称为分级树分类器，正式占上下文特定的独立性。它们是由一个事件树的顶点的分区，条件独立性可以正式读取。朴素阶段树分类器也被定义，它扩展了经典的朴素贝叶斯分类器，同时保持相同的复杂性。一个广泛的模拟研究表明，分级树分类器的分类精度是有竞争力的国家的最先进的分类器和一个例子展示了他们在实践中的使用。
2022-08-04 cs.AI cs.LG stat.ML
Accurate parameter estimation for Bayesian Network Classifiers using Hierarchical Dirichlet Processes
Monash University（莫纳什大学）
本文介绍了一种新的贝叶斯网络分类器（BNC）的概率表的参数估计方法，使用分层Dirichlet过程（HDPs）。本文的主要结果是表明，改进的参数估计允许BNC优于领先的学习方法，如随机森林的0-1损失和RMSE，尽管只是在分类数据集。随着数据资产变得越来越大，进入被大肆宣传的“大”世界，高效准确的分类需要三个主要元素：（1）具有低偏差的分类器，可以捕获大型数据集的细节;（2）可以从数据中学习而不必将其全部保存在主内存中的非核心学习器;（3）可以非常有效地分类新数据的模型。最新的贝叶斯网络分类器（BNC）满足这些要求。它们的偏差可以通过增加图中节点的父节点的数量来容易地控制。它们的结构可以通过有限的数据传递次数在核心之外学习。然而，由于偏差被降低以准确地建模分类任务，因此其参数估计的准确性也降低，因为每个参数都是从不断减少的数据量中估计的。在本文中，我们介绍了使用分层Dirichlet过程的准确BNC参数估计。我们在68个标准数据集上进行了一系列广泛的实验，并证明了我们得到的分类器在预测方面与随机森林非常有竞争力，同时保持了核心外的能力和优越的分类时间。
2018-05-08 cs.LG stat.ML
Fast classification using sparse decision DAGs
University of Paris-Sud（巴黎第十一大学）；CNRS（法国国家科学研究中心）；Hungarian Academy of Sciences（匈牙利科学院）；University of Szeged（塞格德大学）
在本文中，我们提出了一种算法，建立稀疏决策DAG（有向无环图）从外部学习方法，如AdaBoost提供的基础分类列表。基本思想是将DAG设计任务转换为马尔可夫决策过程。每个实例可以基于正在构建的分类器的当前状态来决定使用或跳过每个基本分类器。结果是稀疏决策DAG，其中以数据依赖的方式选择基本分类器。该方法具有单个超参数，具有控制精度/速度权衡的明确语义。该算法在三个对象检测基准上与最先进的级联检测器具有竞争力，并且当存在少量基础分类器时，它明显优于它们。与级联不同，它也很容易适用于多类分类。使用多类设置，我们在基准网页排名数据集上显示，我们可以显着提高决策速度，而不会损害排名器的性能。
2012-06-27 cs.LG stat.ML
Horospherical Decision Boundaries for Large Margin Classification in Hyperbolic Space
University of Florida（佛罗里达大学）；National Taiwan University（台湾大学）
针对双曲空间大间隔分类中决策边界导致非凸优化的问题，提出基于超球面决策边界的分类器，实现测地凸优化并保证全局最优，实验显示性能与SOTA相当。
2023-09-28 cs.LG stat.ML
High-dimensional Semi-supervised Classification via the Fermat Distance
School of Mathematical Sciences and School of Economics and Management, Tongji University（同济大学数学科学学院和经济管理学院）；Department of Sciences, North China University of Technology（华北理工大学理学院）
本文提出基于费马距离的加权k近邻和多维标度分类器，通过高维数据的流形和聚类假设，实现半监督分类，理论证明其最优性，并在实验中表现优异。
2026-04-26 cs.LG stat.ML
Constrained Classification and Ranking via Quantiles
Google AI Perception（谷歌AI感知）；Department of Mathematics, UCLA（加州大学洛杉矶分校数学系）
在大多数机器学习应用中，分类准确性不是主要的关注指标。面临类别不平衡的二进制分类器通常通过$F_β$分数、精确-召回曲线下的面积、K处的精确度等来评估。这些度量中的许多度量的最大化可以表示为约束优化问题，其中约束是分类器的预测的函数。在本文中，我们提出了一种新的框架，学习的约束，可以表示为一个预测的积极率（或负率）的一个子集的训练数据。我们明确地建模的阈值，在该阈值下，分类器必须操作，以满足约束，产生一个代理损失函数，避免了复杂的约束优化。该方法是模型不可知的，只是稍微比无约束损失的最小化更昂贵。在各种基准测试上的实验显示出相对于现有基线的竞争力。
2018-02-28 cs.LG stat.ML
Multi-Label Classification Using Link Prediction
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Twente（特文特大学）
近年来，用图方法解决分类问题已经非常流行。这是因为数据可以直观地用图形建模，以利用高级特征来帮助解决分类问题。CULP是Classification Using链接预测的缩写，是一种基于图的分类器。该分类器利用了数据的图形表示，并将问题转化为链接预测的问题，我们试图找到一个未标记的节点和适当的类节点之间的链接。CULP被证明是高度准确的分类器，它有能力在接近恒定的时间内预测标签。分类问题的一个变体是多标签分类，它解决了多标签数据的问题，其中一个实例可以有多个标签与之关联。我们提出的扩展传达了CULP的力量和它的直观表示的数据中的多标签域，并在比较一些最先进的多标签分类器，产生竞争力的结果。
2020-11-11 cs.LG stat.ML
RED CoMETS: An ensemble classifier for symbolically represented multivariate time series
University of Bristol（布里斯托尔大学）；Awerian（阿维里安公司）；School of Engineering Mathematics and Technology（工程数学与技术学院）
RED CoMETS是一种基于Co-eye扩展的集成分类器，用于符号表示的多变量时间序列分类，在UCR基准上达到竞争性精度，并在HandMovementDirection数据集上创下最高准确率，同时大幅降低计算时间。
2023-09-16 cs.LG stat.ML
The Relationship Between Agnostic Selective Classification Active Learning and the Disagreement Coefficient
Technion – Israel Institute of Technology（以色列理工学院）
选择性分类器（f，g）包括分类函数f和二元选择函数g，二元选择函数g确定分类器是放弃预测还是使用f来预测。分类器被称为逐点竞争，如果它对每个点的分类与事后的最佳分类器（来自同一类）相同，无论何时它都不弃权。这种分类器的质量通过其拒绝质量来量化，拒绝质量被定义为它拒绝的点的概率质量。如果拒绝质量从上面由O（1/m）界定，则实现“快速”拒绝率，其中m是用于训练分类器的标记示例的数量（并且O隐藏对数因子）。逐点竞争选择（PCS）分类器与基于不一致的主动学习密切相关，并且已知在可实现的情况下，已知PCS算法（称为一致选择策略）的快速拒绝率等价于公知CAL主动算法的指数加速。我们专注于不可知论的设置，其中有一个已知的算法称为LESS，学习PCS分类器，并在强假设下实现快速拒绝率（取决于Hanneke的分歧系数）。我们提出了一种改进的PCS学习算法称为ILESS，我们显示了一个快速的速度（取决于Hanneke的不一致系数），没有任何假设。我们的拒绝界平滑地插入可实现的和不可知的设置。本文的主要结果是以下三个实体之间的等价性：（一）任何PCS学习算法（如ILESS）的快速拒绝率的存在;（二）Hanneke的分歧系数的多对数界;（三）一个新的基于分歧的主动学习者称为ActiveiLESS的指数加速。
2017-03-30 cs.LG
Quantum Low Entropy based Associative Reasoning or QLEAR Learning
ARTORG Center for Biomedical Engineering Research, University of Bern（伯尔尼大学ARTORG生物医学工程研究中心）
在本文中，我们提出了基于学习范式的分类方法，我们将称之为基于量子低熵的联想推理或QLEAR学习。该方法是基于这样的想法，即分类可以被理解为监督聚类，其中在量子概率模型的上下文中的量子熵将被用作数据的“自然结构”的“捕获器”（度量或外部索引）。通过使用量子熵，我们不对要分类的数据的线性可分性做任何假设。其基本思想是找到查询样本的近邻，然后使用量子熵的相对变化作为新到达的样本与感兴趣的代表的相似性的度量。换句话说，该方法是基于计算参考系统的量子熵及其随新到达的样品的加入的相对变化。参考系统由代表各个类的向量组成，这些向量在欧几里得距离意义上与所分析的向量最相似。在这里，我们分析的背景下，测量相似性的类别的原型例子的分类问题。虽然最近邻分类器在这种情况下是自然的，但在有限采样的情况下，它们会遇到高方差（在偏差方差分解中）的问题。或者，可以使用机器学习技术（如支持向量机），但它们涉及耗时的优化。在这里，我们提出了一种混合的最近邻和机器学习技术，自然地处理多类设置，具有合理的计算复杂性，在训练和运行时间，并在实践中产生良好的效果。
2017-05-30 cs.IT cs.LG math.IT
Binary and Multiclass Classifiers based on Multitaper Spectral Features for Epilepsy Detection
Federal University of Technology（联邦理工大学）；University of São Paulo（圣保罗大学）
癫痫是最常见的神经系统疾病之一，可以通过脑电图（EEG）进行诊断，其中可以观察到以下癫痫事件：发作前、发作、发作后和发作间期。在本文中，我们提出了一种新的方法，癫痫检测到两个分化的背景下：二进制和多类分类。对于特征提取，从功率谱、频谱图和双频谱图中提取总共105个测量值。对于分类器构建，使用了八种不同的机器学习算法。我们的方法被应用在一个广泛使用的EEG数据库。因此，随机森林和反向传播的多层感知器算法的基础上达到最高的精度为二进制（98.75%）和多类（96.25%）分类问题，分别。随后，统计测试没有找到一个模型，将实现比其他分类器更好的性能。在基于混淆矩阵的评估中，也不可能识别出与用于EEG分类的其他模型相比突出的分类器。即便如此，我们的结果是有希望的，并与文献中的发现竞争。
2020-04-02 cs.LG eess.SP stat.ML
Robustness for Non-Parametric Classification: A Generic Attack and Defense
University of California, San Diego（加利福尼亚大学圣迭戈分校）
对抗鲁棒的机器学习最近受到了很多关注。然而，以前的攻击和防御非参数分类器已经开发了一个特设或分类器特定的基础上。在这项工作中，我们将全面研究非参数分类器的对抗性示例，包括最近邻居，决策树和随机森林。我们提供了一种通用的防御方法，对抗性修剪，它通过对数据集进行预处理来实现良好的分离。为了测试我们的防御，我们提供了一个新的攻击，适用于广泛的非参数分类器。从理论上讲，我们得到一个最佳的鲁棒分类器，这是类似于贝叶斯最佳。我们表明，对抗修剪可以被视为一个有限的样本近似这个最佳分类。我们的经验表明，我们的防御和攻击是更好的或有竞争力的非参数分类器的先前工作。总的来说，我们的研究结果提供了一个强大的和广泛适用的基线，为未来的工作强大的非参数。代码可在https://github.com/yangarbiter/adversarial-nonparametrics/获得。
2020-02-24 cs.CR cs.DS cs.LG
Optimum Reject Options for Prototype-based Classification
Bielefeld University（比勒费尔德大学）；HONDA Research Institute Europe（本田欧洲研究院）
我们分析最佳拒绝策略的原型为基础的分类器和实值拒绝措施，使用数据点的距离最接近的原型或概率对应。我们比较拒绝计划与全球阈值，和局部阈值的分类器的Voronoi细胞。对于后者，我们开发了一个多项式时间算法来计算最佳阈值的基础上的动态规划计划，我们提出了一个直观的线性时间，内存效率的近似竞争力的准确性。在各种基准的性能评估，我们得出结论，本地拒绝选项是有益的，特别是简单的基于原型的分类器，而先进的模型的改进是不太明显。对于后者，可以达到与具有现有技术拒绝选项的支持向量机分类器相当的准确性拒绝曲线。
2015-03-23 cs.LG
Morphological classifiers
Institute of Science and Technology, Universidade Federal de Itajuba (UNIFEI)（伊塔朱巴联邦大学科学与技术研究所）；Department of Computer Science, Universidade Federal Fluminense（弗鲁米嫩塞联邦大学计算机科学系）；Department of Computer Science, Khalifa University of Science and Technology（哈利法科技大学计算机科学系）
本文提出了一种新的分类器，称为形态分类器（MC）。MC汇总了数学形态学和监督学习的概念。这种聚合的结果是分类器，可以保留类的形状特征，取决于停止标准和结构元素的选择。MC基本上是基于集合论的，它们的分类模型本身可以是一个数学集合。在当前的工作中，提出了两种类型的形态分类器，即形态k-NN（MkNN）和形态扩张分类器（MDC），这表明该方法的可行性。这项工作提供了关于MC优点的证据，例如，非常快的分类时间以及具有竞争力的准确率。使用p维数据集测试了MkNN和MDC的性能。MC在8个数据集中的5个数据集中与14个成熟的分类器并列或优于14个成熟的分类器。在所有情况下，所获得的准确度高于所有分类器获得的平均准确度。此外，所提出的实现利用图形处理单元（GPU）的能力来加速处理。
2021-12-21 cs.CL cs.LG
Score-Based Generative Classifiers
University of Tübingen（蒂宾根大学）；Stanford University（斯坦福大学）；Norwegian University of Science and Technology（挪威科技大学）
近年来生成模型的巨大成功提出了一个问题，即它们是否也可以用于执行分类。生成模型已被用作简单数据集（如MNIST）上的对抗鲁棒分类器，但在更复杂的数据集（如CIFAR-10）上尚未观察到这种鲁棒性。此外，在自然图像数据集上，以前的结果表明数据的可能性和分类精度之间的权衡。在这项工作中，我们研究了基于分数的生成模型作为自然图像的分类器。我们表明，这些模型不仅获得了有竞争力的似然值，但同时实现了CIFAR-10上的生成分类器的最先进的分类精度。然而，我们发现，这些模型只是稍微，如果在所有，更强大的区别性基线模型的基础上常见的图像损坏的分布任务。类似地，与以前的结果相反，我们发现，基于分数的倾向于最坏情况下的分布变化的形式对抗扰动。我们的工作强调，与标准判别模型相比，基于分数的生成模型正在缩小分类准确性的差距。虽然它们还没有实现对抗性和域外鲁棒性的承诺，但它们提供了一种不同的分类方法，值得进一步研究。
2021-12-11 cs.CV cs.LG stat.ML
On the Interconnections of Calibration, Quantification, and Classifier Accuracy Prediction under Dataset Shift
Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche（信息科学与技术研究所，国家研究理事会）
该研究证明了数据集偏移下校准、量化、分类器准确率预测三个问题可通过相互归约实现等价，并基于跨领域方法适配提出新解法，性能可媲美甚至超越专用方法，旨在推动领域交叉融合。
2025-05-16 cs.LG
Context-LSTM: a robust classifier for video detection on UCF101
Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院智能机械研究所）；University of Science and Technology of China（中国科学技术大学）；Intelligent Agriculture Engineering Laboratory of Anhui Province（安徽省智能农业工程实验室）
视频检测和人体动作识别可能在计算上是昂贵的，并且需要很长时间来训练模型。本文旨在减少视频检测的训练时间和GPU内存使用，并达到有竞争力的检测精度。其他研究工作如Two-stream、C3 D、TSN等在UCF 101上也表现出了优异的性能。在这里，我们使用LSTM结构简单地进行视频检测。我们使用了一个简单的结构来对UCF 101的整个验证数据集进行具有竞争力的前1精度。LSTM结构被命名为Context-LSTM，因为它可以处理深层时间特征。Context-LSTM可以模拟人类识别系统。我们在PyTorch中级联了LSTM块，并连接了单元状态流和隐藏输出流。在块的连接处，我们使用了ReLU、批量归一化和MaxPooling函数。Context-LSTM可以减少训练时间和GPU内存使用，同时在UCF 101整个验证数据集上保持最先进的top-1精度，在视频动作检测上表现出强大的性能。
2022-03-13 cs.AI cs.CV cs.LG
Fast Meta-Learning for Adaptive Hierarchical Classifier Design
Econometric Institute, Erasmus University Rotterdam（鹿特丹伊拉斯姆斯大学计量经济研究所）；Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学学院）
我们提出了一个新的分裂标准的元学习方法，多类分类器的设计，自适应地合并到一个树结构层次的日益困难的二进制分类问题的类。分类树是从经验估计的Henze-Penrose界的成对贝叶斯误分类率，排名的二进制子问题的分类难度。建议的经验估计的贝叶斯出错率计算从最小生成树（MST）的样本从每对类。此外，提出了一种元学习技术，用于从整个数据集上的单个MST中量化每个单独类的一对剩余贝叶斯出错率。在基准数据集上的大量模拟表明，所提出的分层方法通常可以比竞争方法更快地学习，同时达到竞争的准确性。
2017-11-09 cs.AI cs.IT cs.LG
Inducing Generalized Multi-Label Rules with Learning Classifier Systems
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；University of Edinburgh（爱丁堡大学）
近年来，多标签分类吸引了大量的研究，其动机是现实生活中的应用，如文本分类和医疗诊断。虽然在这方面的研究很少，学习分类器系统自然非常适合多标签分类问题，其搜索空间通常涉及多个高度特定的小生境。这是我们目前工作背后的动机，它引入了一种通用的多标签规则格式-允许灵活的标签依赖建模，不需要明确的知识来搜索哪些相关性-并将其用作进一步适应通用里根式监督学习分类器系统框架的指南。上述规则格式和框架适应的集成导致了一种新的多标签分类算法，其行为通过一组适当定义的人工问题进行研究。该算法还在一组多标签数据集上进行了全面评估，并发现与其他最先进的多标签分类方法相比具有竞争力。
2015-12-25 cs.LG cs.NE
First Step Towards EXPLAINable DGA Multiclass Classification
RWTH Aachen University（亚琛工业大学）
许多恶意软件家族依赖域生成算法（DGAs）来建立与其命令和控制（C2）服务器的连接。为了对抗DGA，已经提出了几种机器学习分类器，使得能够识别生成特定域名的DGA，从而触发有针对性的补救措施。然而，所提出的最先进的分类器基于深度学习模型。这些问题的黑箱性质使得很难评估它们的推理。由此造成的信心不足使得利用这种模式不切实际。在本文中，我们提出了EXPLAIN，一个基于特征和上下文无关的DGA多类分类器。我们比较评估了我们的方法的特征集和超参数的几种组合，这些组合针对同一真实世界数据的统一设置中的几种最先进的分类器。我们的分类器取得了有竞争力的结果，是实时的能力，其预测更容易追溯到功能比DGA多类分类器在相关工作中提出的预测。
2021-06-23 cs.CR cs.LG
Scheduling to Learn In An Unsupervised Online Streaming Model
TIFR, Mumbai（孟买塔塔基础研究院）；IIT-Bombay（印度理工学院孟买分校）
一个无监督的在线流模型被认为是在$T$插槽的样本到达在线的方式。存在$M$分类器，其混淆矩阵先验未知。在每个槽中，最多一个样本可以由任何分类器标记。样本的准确性是从各种分类器中为其获得的标签集的函数。样本的效用是其精度减去响应时间（离开时隙和到达时隙的差）的标量倍数，其中离开时隙也由算法决定。由于每个分类器每个时隙最多可以标记一个样本，因此在为特定样本获得更大的标签集合以提高其准确性与其响应时间之间存在折衷。最大化所有样本的效用之和的问题被认为是，学习混淆矩阵，样本分类器匹配分配，和样本离开槽决定相互依赖。该算法首先学习混淆矩阵，然后使用贪心算法进行样本分类器匹配。一旦样本的增量效用变为非正，样本就会离开。我们证明了该算法的竞争比是$\frac{1}{2}-{\mathcal O}\left(\frac{\log T}{T}\right)$。
2021-12-02 cs.LG
The Temporal Dictionary Ensemble (TDE) Classifier for Time Series Classification
University of East Anglia（东英吉利大学）
使用词袋表示时间序列是一种流行的时间序列分类方法。这些算法涉及近似和离散窗口在一系列形成的话，然后形成一个计数的话在一个给定的字典。分类器构建在单词计数的直方图上。2017年对一系列时间序列分类器的评估发现，符号傅立叶近似符号（BOSS）集合是基于字典的分类器中最好的。它形成了一个组件的分层投票集体的转换为基础的合奏（HIVE-COTE），这代表了当前的艺术状态。从那时起，已经提出了几个新的字典为基础的算法，更准确或更具可扩展性（或两者兼而有之）比BOSS。我们提出了这些字典为基础的分类器，结合了最好的元素，结合一种新的方法来构建合奏成员的参数空间的自适应高斯过程模型的基础上，这些分类器的进一步扩展。我们证明了时间字典集成（TDE）是更准确的比其他基于字典的方法。此外，与其他分类器不同的是，如果我们用TDE代替HIVE-COTE中的BOSS，HIVE-COTE的准确性明显更高。我们还表明，这个新版本的HIV-COTE比目前最好的深度学习方法、最近提出的混合树集成和最近引入的利用高度随机化卷积核的竞争性分类器更准确。这一进展代表了时间序列分类的一个新的艺术状态。
2021-05-09 cs.LG
Generative Robust Classification
University of Virginia（弗吉尼亚大学）
训练对抗性强的判别（即，softmax）分类器已经成为鲁棒分类的主要方法。基于最近在基于对抗训练（AT）的生成模型方面的工作，我们研究了使用AT来学习非规范化的类条件密度模型，然后执行生成鲁棒分类。结果表明，在模型容量相近的情况下，当测试数据干净或测试扰动大小有限时，生成式鲁棒分类器的性能与基线softmax鲁棒分类器相当，而当测试扰动大小超过训练扰动大小时，生成式鲁棒分类器的性能要优于基线softmax鲁棒分类器.生成分类器还能够生成更接近于训练数据的样本或反事实，这表明生成分类器可以更好地捕获类条件分布。与标准的判别对抗训练相比，高级数据增强技术只有在与权重平均相结合时才有效，我们发现应用高级数据增强来实现更好的鲁棒性是很简单的。我们的研究结果表明，生成分类器是一个有竞争力的替代强大的分类，特别是对有限数量的类的问题。
2022-12-14 cs.CV cs.LG
GAT: Generative Adversarial Training for Adversarial Example Detection and Robust Classification
University of Virginia（弗吉尼亚大学）；HRL Laboratories, LLC.（HRL实验室有限责任公司）
深度神经网络对抗对抗性示例的脆弱性已经成为在敏感领域部署这些模型的重要问题。设计针对此类攻击的明确防御被证明是具有挑战性的，并且依赖于检测对抗性样本的方法仅在攻击者不注意检测机制时才有效。在本文中，我们提出了一个原则性的对抗性的例子检测方法，可以抵御范数约束的白盒攻击。受one-versus-the-rest分类的启发，在K类分类问题中，我们训练K个二元分类器，其中第i个二元分类器用于区分类别i的干净数据和其他类别的反向扰动样本。在测试时，我们首先使用一个训练好的分类器来获得输入的预测标签（比如k），然后使用第k个二元分类器来确定输入是干净的样本（k类）还是被干扰的样本（其他类）。我们进一步设计了一种生成方法来检测/分类对抗性的例子，通过解释每个二元分类器作为类条件数据的非归一化密度模型。我们对上述对抗性示例检测/分类方法进行了全面评估，并展示了它们的竞争性能和引人注目的特性。
2022-10-01 cs.CR cs.LG stat.ML
A-PETE: Adaptive Prototype Explanations of Tree Ensembles
Poznan University of Technology（波兹南理工大学）
针对树集成模型的可解释性需求，提出A-PETE算法，利用专门距离度量和改进k-medoid方法自动选择原型，在保持预测精度的同时为随机森林等分类器提供充分的原型解释。
2024-05-31 cs.LG
Parallel Architecture and Hyperparameter Search via Successive Halving and Classification
Google Brain（谷歌大脑）
我们提出了一个简单而强大的并行黑盒优化算法称为连续减半和分类（SHAC）。该算法在并行函数评估的$K$阶段中操作，并训练级联的二进制分类器以迭代地剔除搜索空间的不期望区域。SHAC易于实现，不需要调整其自身的配置参数，对目标函数的尺度是不变的，并且可以使用任何选择的二元分类器来构建。我们在SHAC中采用基于树的分类器，并在优化合成函数，超参数和架构的几个强大基线上实现了具有竞争力的性能。
2018-05-25 cs.AI cs.CV cs.LG
HyperCam: Low-Power Onboard Computer Vision for IoT Cameras
Stanford University（斯坦福大学）
HyperCam利用超维计算在低功耗微控制器上实现高效图像分类，在多个任务上达到72.79%-93.60%的准确率，同时保持低延迟和小内存占用，优于其他分类器。
2025-01-17 cs.CV cs.LG cs.NE
Boltzmann Classifier: A Thermodynamic-Inspired Approach to Supervised Learning
National Institutes of Health（美国国立卫生研究院）；University of Groningen（格罗宁根大学）
本文提出受Boltzmann分布启发的基于距离的概率分类器，在分子活性、氧化态和乳腺癌任务上达到或超越标准模型，输出概率与物理性质相关，提供可解释的监督学习替代方案。
2025-06-20 cs.LG physics.comp-ph
Conditional Diffusion Models are Medical Image Classifiers that Provide Explainability and Uncertainty for Free
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）
首次探索类别条件扩散模型在二维医学图像分类中的应用，提出多数投票方案提升性能，在CheXpert和ISIC数据集上无需显式监督即可媲美SOTA判别式分类器，且本质可解释并能量化预测不确定性。
2025-08-08 cs.CV cs.LG
Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers
McGovern Institute（麦戈文研究所）；Massachusetts Institute of Technology（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文基于类特征变异坍缩现象，证明预训练分类器特征图在新类别上的少样本误差界，为基础模型少样本迁移能力提供首个非空泛理论保证。
2023-07-16 cs.LG
Linear Classifier: An Often-Forgotten Baseline for Text Classification
National Taiwan University（国立台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文指出直接训练部署BERT等预训练语言模型做文本分类未必最优，提出应搭配基于词袋特征的线性分类器作为简单基准以验证先进模型结果的合理性，并通过实验证实了线性方法的性能优势与该基准的必要性。
2023-06-12 cs.AI cs.CL cs.LG
Classifiers Based on Deep Sparse Coding Architectures are Robust to Deep Learning Transferable Examples
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Swarthmore College（斯沃斯莫尔学院）；Villanova University（维拉诺瓦大学）
尽管深度学习近年来取得了巨大的成功，但研究人员发现了一个关键缺陷，即系统输入中微小的、难以察觉的变化可能会极大地改变输出分类。这些攻击在几乎所有现有的深度学习分类框架中都是可利用的。然而，深度稀疏编码模型对对抗性示例的敏感性尚未得到研究。在这里，我们证明了基于深度稀疏编码模型的分类器，其分类精度与各种深度神经网络模型具有竞争力，对对抗性示例具有鲁棒性，这些示例有效地欺骗了那些相同的深度学习模型。我们定量和定性地证明了深度稀疏编码模型对对抗性示例的鲁棒性来自两个关键属性。首先，由于深度稀疏编码模型学习与整个数据集的生成器相对应的一般特征，而不是用于区分特定类别的高度区分特征，因此所得分类器较少依赖于可能更容易利用的特质特征。其次，由于深度稀疏编码模型利用具有自上而下反馈的固定点吸引子动态，因此更难以找到将所得表示驱动出正确吸引子盆的输入的小变化。
2018-11-20 cs.CR cs.CV cs.LG
Enhancing Low-Resource LLMs Classification with PEFT and Synthetic Data
Amazon（亚马逊）
针对每类仅4个示例的低资源文本分类，提出结合合成数据生成、过滤与PEFT的单LLM流程，在保持零样本效率的同时达到媲美ICL的准确率。
2024-04-03 cs.CL cs.LG
Gradient-Optimized Fuzzy Classifier: A Benchmark Study Against State-of-the-Art Models
University of Cincinnati（辛辛那提大学）
本研究对梯度优化模糊推理系统（GF）分类器与多种最先进模型进行基准测试，在五个UCI数据集上，GF凭借梯度下降实现了高精度、低训练时间和强鲁棒性，展现出作为可解释且高效替代方案的潜力。
2025-04-22 cs.AI cs.LG
Simple data balancing achieves competitive worst-group-accuracy
CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA - PSL（法国国家信息与自动化研究所-巴黎文理研究大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；INRIA（法国国家信息与自动化研究所）
我们研究学习分类器的问题，这些分类器在（已知或未知）数据组中表现良好。在观察到常见的最差组精度数据集存在严重的不平衡之后，我们开始将最先进的方法与通过子采样或重新加权数据来简单平衡类和组的方法进行比较。我们的研究结果表明，这些数据平衡基线达到了最先进的精度，同时训练更快，不需要额外的超参数。此外，我们强调，访问组信息对于模型选择来说是最关键的，而在训练过程中不是那么重要。总而言之，我们的研究结果要求更仔细地检查最坏组精度优化研究的基准和方法。
2022-02-18 cs.AI cs.CR cs.LG
Online Continual Learning in Image Classification: An Empirical Survey
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
图像分类的在线持续学习研究从在线数据流和任务中学习分类图像的问题，其中任务可能包括新的类（类增量）或数据非平稳性（域增量）。持续学习的关键挑战之一是避免灾难性遗忘（CF），即，在最近的任务面前忘记旧的任务。在过去的几年里，许多方法和技巧被引入来解决这个问题，但许多都没有在各种现实和实际的环境下进行公平和系统的比较。为了更好地了解各种方法的相对优势以及它们最有效的设置，本调查旨在（1）比较最先进的方法，如MIR，iCARL和GDumb，并确定哪种方法在不同的实验设置下效果最好;（2）确定最好的类增量方法是否在域增量设置中也具有竞争力;（3）评价“回顾”技巧和最近类均值（NCM）分类器等7种简单但有效的技巧的性能，以评估它们的相对影响。关于（1），我们观察到iCaRL在内存缓冲区较小时仍然具有竞争力; GDumb在中等大小的数据集中优于许多最近提出的方法，而MIR在较大规模的数据集中表现最好。对于（2），我们注意到GDumb的表现相当差，而MIR -已经在（1）中具有竞争力-在这个非常不同但重要的环境中也具有很强的竞争力。总的来说，这使我们可以得出结论，MIR总体上是一种强大而通用的方法，适用于各种环境。对于（3），我们发现所有7个技巧都是有益的，当使用“审查”技巧和NCM分类器时，MIR产生的性能水平使在线持续学习更接近其匹配离线训练的最终目标。
2021-10-04 cs.CV cs.LG
Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers
Department of Electrical and Computer Engineering, University of Waterloo, Waterloo, Canada（滑铁卢大学电气与计算机工程系）；The Edward S. Rogers Sr. Department of Electrical and Computer Engineering, University of Toronto, Toronto, Canada（多伦多大学Edward S. Rogers Sr.电气与计算机工程系）
本文提出归一化条件互信息作为替代交叉熵损失，通过实验表明其在图像识别和全滑片成像任务中显著提升模型性能。
2026-01-18 cs.AI cs.CV cs.IT
