Convex Optimization for Binary Classifier Aggregation in Multiclass Problems
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
多类问题通常被分解为多个二进制问题，这些问题由单独的二进制分类器解决，其结果被集成到最终答案中。各种方法，包括所有对（AP），一对所有（OVA），和纠错输出码（ECOC），已被研究，多类问题分解成二进制问题。然而，很少有研究已经取得了最佳的聚合二进制问题，以确定一个最终的答案，多类问题。在本文中，我们提出了一个凸优化方法的二进制分类器的最佳聚集估计类成员概率在多类问题。我们将类成员资格概率建模为softmax函数，该函数将单个二进制分类器引起的差异的圆锥组合作为输入。在此模型下，我们将正则化极大似然估计转化为凸优化问题，并采用原对偶内点法求解。我们的方法的大利润分类器的连接，显示大利润制定可以被认为是我们的凸制定的一个限制情况。在合成数据集和真实数据集上的数值实验表明，我们的方法在分类精度和类成员概率估计的质量方面优于现有的聚合方法以及直接方法。
2014-01-16 cs.LG
Learning Multiclass Classifier Under Noisy Bandit Feedback
IIIT Hyderabad（海得拉巴国际信息技术学院）
本文讨论了多类分类问题与损坏或嘈杂的强盗反馈。在这种情况下，学习者可能不会收到真正的反馈。相反，它接收到的反馈已经以某种非零概率翻转。我们提出了一种新的方法来处理基于无偏估计技术的噪声强盗反馈。我们还提供了一种方法，可以有效地估计噪声率，从而提供了一个端到端的框架。所提出的算法在高噪声情况下具有$O(\sqrt{T})$阶的错误界，在最坏情况下具有$O(T^{\nicefrac{2}{3}})$阶的错误界。我们展示了我们的方法的有效性，使用广泛的实验在几个基准数据集。
2021-03-03 cs.LG stat.ML
One-Layer Transformer Provably Learns Multiclass One-Nearest Neighbor in Context
James B. Conant High School（詹姆斯·B·柯南特高中）；Illinois Institute of Technology（伊利诺伊理工大学）
该研究将单层Transformer与最近邻分类器的等价性从二分类扩展至多分类，证明带argmax头的单层Transformer等价于多分类单最近邻，填补了前期研究的空白。
2026-09-02 cs.LG stat.ML
Co-Multistage of Multiple Classifiers for Imbalanced Multiclass Learning
在这项工作中，我们提出了两个随机架构模型（CMC和CMC-M），两层分类器适用于一个和多个偏斜类的数据集。当数据集有大量的类时，这种区别变得很重要。因此，我们提出了一种新的解决方案，不平衡的多类学习与几个倾斜的多数类，提高少数类识别。这一事实对于文本分类任务（如事件检测）尤其重要。我们的模型与预处理采样技术相结合，改进了六个知名数据集的分类结果。最后，我们还引入了一个新的度量SG-Mean来克服G-Mean的乘零限制。
2014-01-24 cs.IR cs.LG
Binary and Multiclass Classifiers based on Multitaper Spectral Features for Epilepsy Detection
Federal University of Technology（联邦理工大学）；University of São Paulo（圣保罗大学）
癫痫是最常见的神经系统疾病之一，可以通过脑电图（EEG）进行诊断，其中可以观察到以下癫痫事件：发作前、发作、发作后和发作间期。在本文中，我们提出了一种新的方法，癫痫检测到两个分化的背景下：二进制和多类分类。对于特征提取，从功率谱、频谱图和双频谱图中提取总共105个测量值。对于分类器构建，使用了八种不同的机器学习算法。我们的方法被应用在一个广泛使用的EEG数据库。因此，随机森林和反向传播的多层感知器算法的基础上达到最高的精度为二进制（98.75%）和多类（96.25%）分类问题，分别。随后，统计测试没有找到一个模型，将实现比其他分类器更好的性能。在基于混淆矩阵的评估中，也不可能识别出与用于EEG分类的其他模型相比突出的分类器。即便如此，我们的结果是有希望的，并与文献中的发现竞争。
2020-04-02 cs.LG eess.SP stat.ML
On the existence of solutions to adversarial training in multiclass classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）
本文研究多类分类中对抗训练解的存在性，在不可知分类器设定下证明三个模型均存在Borel可测鲁棒分类器，并建立对抗训练与最优传输及全变差正则化的新联系，同时改进了二分类情形下的存在性结果。
2023-05-29 cs.LG math.OC stat.ML
First Step Towards EXPLAINable DGA Multiclass Classification
RWTH Aachen University（亚琛工业大学）
许多恶意软件家族依赖域生成算法（DGAs）来建立与其命令和控制（C2）服务器的连接。为了对抗DGA，已经提出了几种机器学习分类器，使得能够识别生成特定域名的DGA，从而触发有针对性的补救措施。然而，所提出的最先进的分类器基于深度学习模型。这些问题的黑箱性质使得很难评估它们的推理。由此造成的信心不足使得利用这种模式不切实际。在本文中，我们提出了EXPLAIN，一个基于特征和上下文无关的DGA多类分类器。我们比较评估了我们的方法的特征集和超参数的几种组合，这些组合针对同一真实世界数据的统一设置中的几种最先进的分类器。我们的分类器取得了有竞争力的结果，是实时的能力，其预测更容易追溯到功能比DGA多类分类器在相关工作中提出的预测。
2021-06-23 cs.CR cs.LG
Invocation-driven Neural Approximate Computing with a Multiclass-Classifier and Multiple Approximators
Shanghai Jiao Tong University（上海交通大学）
神经近似计算以可容忍的质量损失为代价获得了巨大的能量效率。神经近似器可以将输入数据映射到输出，而分类器确定输入数据是否可以安全地近似并具有质量保证。然而，现有的作品不能最大限度地调用的近似，导致有限的加速和节能。本文通过对这些目标函数的映射空间的探索，发现了同一逼近器所引起的逼近误差的非均匀分布。因此，我们提出了一种新的近似计算架构与多类分类器和多个近似器（MCMA）。这些逼近器具有相同的网络拓扑结构，因此可以在神经处理单元（NPU）剪辑中共享相同的硬件资源。在运行时，MCMA可以通过仅在一个周期内将突触权重从片上存储器运送到MAC附近的缓冲器来交换所调用的近似器。我们还提出了有效的协同训练方法，这样的MCMA架构。实验结果表明，MCMA调用更实质性的以及能源效率的增益。
2018-10-19 cs.LG stat.ML
Distributionally Robust Multiclass Classification and Applications in Deep Image Classifiers
Amazon SCOT（亚马逊SCOT）；Boston University（波士顿大学）
针对多类逻辑斯谛回归（MLR）问题，提出了一种分布鲁棒优化（DRO）方法。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。我们将所提出的方法应用于渲染基于深度Vision Transformer（ViT）的图像分类器，该分类器对随机和对抗性攻击具有鲁棒性。具体来说，使用MNIST和CIFAR-10数据集，我们证明了通过采用一种新的随机训练方法，与基线方法相比，测试错误率降低了83.5%，损失率降低了91.3%。
2023-03-25 cs.LG stat.ML
Multiclass classification by sparse multinomial logistic regression
Tel Aviv University（特拉维夫大学）；The Open University of Israel（以色列开放大学）
在本文中，我们考虑高维多类分类稀疏多项式逻辑斯谛回归。我们首先提出了一个特征选择过程的基础上惩罚的最大似然模型的大小上的复杂性罚款，并推导出非渐近界的误分类过度风险的分类。我们还建立了相应的极小极大下界推导出他们的紧密性。特别是，我们表明，存在两个政权对应的小和大量的类。在附加的低噪声条件下，可以减小边界。然而，要找到具有复杂性惩罚的惩罚最大似然解，需要在所有可能的模型上进行组合搜索。为了设计一个计算上可行的高维数据的特征选择程序，我们提出了多项式逻辑组Lasso和斜率分类器，并表明它们也实现了极大极小化顺序。
2020-11-19 cs.LG math.ST stat.ME
Aligning Multiclass Neural Network Classifier Criterion with Task Performance Metrics
Yale University（耶鲁大学）
针对多类分类器训练损失与评估指标不匹配的问题，提出EAST方法，通过动态阈值、软集混淆矩阵和退火过程，使训练目标紧密对齐混淆矩阵指标，理论证明一致性与收敛性，实验验证优于现有方法。
2025-05-26 cs.LG stat.ML
Trainable Quantum Neural Network for Multiclass Image Classification with the Power of Pre-trained Tree Tensor Networks
Department of Physics, The University of Tokyo, Tokyo, Japan（东京大学物理系）
本文提出基于森林张量网络的分类器，通过量子神经网络实现多类图像分类，提升性能并保持预训练模型效果。
2025-04-21 cs.AI cs.LG quant-ph
An adaptive multiclass nearest neighbor classifier
Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）
考虑一个多类分类问题，训练样本$S_n = \{(X_i, Y_i)\}_{i=1}^n$由模型$\mathbb P(Y = m | X = x) = η_m(x)$生成，$1 \leq m \leq M$和$η_1(x), \dots, η_M(x)$是未知的$α$ -Holder连续函数，给定一个测试点$X$，我们的目标是预测它的标签.广泛使用的$\mathsf k$ -最近邻分类器构造$η_1(X), \dots, η_M(X)$的估计并使用插件规则进行预测。然而，它需要适当地选择平滑参数$\mathsf k$，这在某些情况下可能变得棘手。在我们的解决方案中，我们固定几个整数$n_1, \dots, n_K$，计算相应的$n_k$ -最近邻估计每个$m$和每个$n_k$，并应用聚合过程。我们研究了一个算法，它构造了这些估计的凸组合，使聚合估计的行为近似以及一个预言机的选择。我们还提供了一个非渐近分析的过程中，证明其适应未知的平滑参数$α$和利润率，并建立温和的假设下的收敛速度。
2019-11-03 cs.LG stat.ML
Beyond temperature scaling: Obtaining well-calibrated multiclass probabilities with Dirichlet calibration
University of Tartu（塔尔图大学）；University of Bristol（布里斯托尔大学）；Universidade Federal da Paraíba（帕拉伊巴联邦大学）；The Alan Turing Institute（艾伦·图灵研究所）
大多数多类分类器预测的类概率是未经校准的，往往倾向于过度自信。使用神经网络，可以通过温度缩放来改进校准，这是一种学习最后softmax层输入的单个校正乘法因子的方法。在非神经模型上，现有方法以成对或一对一的方式应用二进制校准。我们提出了一种适用于任何模型类的分类器的原生多类校准方法，该方法来自Dirichlet分布，并从二进制分类中推广了Beta校准方法。它很容易用神经网络实现，因为它相当于对未校准的概率进行对数变换，然后是一个线性层和softmax。实验表明，改进的概率预测，根据多种措施（置信ECE，classwise-ECE，日志损失，Brier分数）在广泛的数据集和分类。学习的狄利克雷校准图的参数提供了对未校准模型中的偏差的见解。
2019-10-28 cs.LG stat.ML
Distributionally Robust Multiclass Classification and Applications in Deep Image Classifiers
针对多类Logistic回归问题，提出了一种分布鲁棒优化方法。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。我们将所提出的方法应用于渲染基于深度视觉Transformer（ViT）的图像分类器，对随机和对抗攻击具有鲁棒性。具体来说，使用MNIST和CIFAR-10数据集，我们证明了减少测试出错率高达83.5%和损失高达91.3%相比，基线方法，通过采用一种新的随机训练方法。
2023-03-25 cs.CV cs.LG
Multiclass Graph-Based Large Margin Classifiers: Unified Approach for Support Vectors and Neural Networks
Graduate Program in Electrical Engineering, Universidade Federal de Minas Gerais（电气工程联合培养项目，巴西米纳斯吉拉斯联邦大学）；Department of Computer and Systems, Universidade Federal de Ouro Preto（计算机与系统系，巴西欧鲁普穆联邦大学）
本文提出了一种基于Gabriel图的多类大边距分类器，通过改进支持向量和神经网络结构，提升分类性能。
2025-12-15 cs.LG stat.ML
Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）；University of British Columbia（不列颠哥伦比亚大学）
本文研究多类线性分类中的良性过拟合，证明交叉熵ERM、最小二乘ERM与一对多SVM在充分条件下均实现插值且准确率相同，并给出MNI泛化界。
2023-07-11 cs.IT cs.LG math.IT
Rademacher Complexity Bounds for a Penalized Multiclass Semi-Supervised Algorithm
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；University of Washington（华盛顿大学）
我们提出了拉德马赫复杂度界限的两步半监督模型训练的多类分类器。在第一步中，该算法划分部分标记的数据，然后使用标记的训练样本来识别包含$κ$主导类的密集聚类，使得它们的非主导类的比例低于固定阈值。在第二步骤中，通过最小化标记的训练集上的边际经验损失和惩罚项来训练分类器，该惩罚项测量学习者预测所识别的聚类的$κ$主导类的能力。由此产生的数据依赖的泛化误差界涉及的边缘分布的分类，在第一步中使用的聚类技术的稳定性和拉德马赫复杂度项对应于部分标记的训练数据。我们的理论结果表现出的收敛速度，在文献中提出的二进制的情况下，和不同的多类分类问题的实验结果表明，支持理论的经验证据。
2018-01-25 cs.LG stat.ML
Thoughts on a Recursive Classifier Graph: a Multiclass Network for Deep Object Recognition
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个通用的多类视觉识别模型，称为分类器图，其目的是概括和整合的想法，从今天的许多成功的分层识别方法。我们的基于图的模型的优势在于，能够在不同层次的解释和抽象的类之间实现丰富的交互。建议的多类系统是有效地学习使用逐步更新。该结构由简单的逻辑线性层组成，输入来自自动从大型池中选择的特征。每个新学习的分类器都成为一个潜在的新特征。因此，我们的特征池可以由初始手动设计的特征以及从先前步骤（图节点）中学习的分类器组成，每个分类器在不同的尺度和位置复制多次。通过这种方式，我们可以学习和发展一个深度的、复杂的分类器图，以及不同抽象和解释级别的丰富特征池。我们提出的分类器图成为一个具有递归结构的多类系统，适合同时对多个类进行深度检测和识别。
2014-04-02 cs.CV cs.LG cs.NE
A novel multiclassSVM based framework to classify lithology from well logs: a real-world application
IIT Kharagpur（印度理工学院卡拉格普尔分校）
支持向量机（SVMs）已被公认为一个潜在的工具，监督分类分析在不同的研究领域。本质上，SVM是一个二元分类器。因此，在多类问题的情况下，问题被分成一系列的二元问题，这些二元问题由二元分类器来解决，最后分类结果按照一对一或一对所有策略进行组合。在本文中，已尝试分类岩性使用多类支持向量机为基础的框架，使用测井曲线作为预测变量。这里，根据地质专家建议的砂和页岩分数的相对值，将岩性分为四类，例如砂、泥质砂、砂质页岩和页岩。可用的数据集包括测井（伽马射线，中子孔隙度，密度，和P-声波）和类信息从四个紧密间隔的井从陆上油气田分为训练和测试集。我们使用了一个对所有的策略来结合多个二进制分类器的结果。报告的结果建立了多类SVM的优越性相比，其他分类器的分类精度。对核函数和相关参数的选择也进行了研究。可以设想，从本研究中取得的结果，所提出的框架的基础上多类SVM可以进一步用于解决分类问题。在未来的研究工作中，可以在框架中引入地震属性，从地震输入中对整个研究区域的岩性进行分类。
2016-12-02 cs.LG stat.AP stat.ML
Efficient and Noise-Tolerant PAC Learning of Multiclass Linear Classifiers
Augusta University（奥古斯塔大学）
本文研究了在存在恶意噪声的情况下，如何高效学习多类线性分类器，并提出了一种在混合分布和边际条件下的PAC学习算法，该算法在常数噪声率下仅需O(k²·(d log d + log k))个样本。
2026-08-11 cs.LG
On the Calibration of Multiclass Classification with Rejection
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心）
我们调查的问题，多类分类拒绝，其中一个分类器可以选择不作出预测，以避免严重的误分类。首先，我们考虑一种基于同时训练分类器和拒绝器的方法，该方法在二进制情况下实现了最先进的性能。我们分析这种方法的多类的情况下，并推导出校准的贝叶斯最优解，这表明校准是很难实现的一般损失函数不同的二进制情况下的一般条件。接下来，我们考虑另一种基于置信度分数的传统方法，其中现有的工作集中在特定类别的损失上。我们提出了更一般的损失，这种方法的拒绝标准，并保证校准到贝叶斯最优解。最后，我们进行实验，以验证我们的理论研究结果的相关性。
2019-10-30 cs.LG stat.ML
Multiclass feature learning for hyperspectral image classification: sparse and hierarchical solutions
University of Zurich（苏黎世大学）；Université de Nice Sofia Antipolis（尼斯索菲亚安蒂波利斯大学）；Université de Bretagne Sud（南布列塔尼大学）
在本文中，我们解决的问题，发现一组有效的空间滤波器来解决高光谱分类问题。我们不是使用专家知识先验地固定过滤器及其参数，而是让模型在可能的过滤器（可能是无限的）空间中随机抽取它们。我们定义了一个活动集特征学习器，它只在模型中包含改进分类器的特征。为此，我们考虑一个快速和线性分类器，多类逻辑分类，并表明，具有良好的表示（发现的过滤器），这样一个简单的分类器可以达到至少最先进的性能。我们将所提出的主动集学习器应用于四个高光谱图像分类问题，包括不同分辨率的农业和城市分类，以及多模态数据。我们还提出了一个分层设置，它允许生成更复杂的银行的功能，可以更好地描述数据中存在的非线性。
2016-06-23 cs.LG stat.ML
SVM based Multiclass Classifier for Gait phase Classification using Shank IMU Sensor
PSG College of Technology（PSG技术学院）
本研究提出基于SVM多分类的步态相位分类方法，利用小腿IMU传感器数据识别七个步态相位，准确率约90.3%，可应用于外骨骼和假肢等领域。
2023-10-15 cs.LG cs.RO
Maximum Margin Multiclass Nearest Neighbors
我们开发了一个通用的框架，在度量空间的边缘为基础的多类别分类。最基本的工作是最近邻分类器的边缘正则化版本。我们证明了泛化范围，匹配的样本大小$n$的最先进的，并显着提高依赖的类$k$的数量。我们的出发点是独立于$k$的近似贝叶斯最优有限样本风险界。虽然$k$自由，这个界限是非正规化和非自适应的，这促使我们的主要结果：Rademacher和规模敏感的边缘界限与对数依赖于$k$。由于在这种情况下，以前最好的风险估计是$\sqrt k$阶的，所以我们的界是指数更尖锐的。从算法的角度来看，在双倍度量空间中，我们的分类器可以在$O(n^2\log n)$时间内在$n$示例上进行训练，并在$O(\log n)$时间内在新的点上进行评估。
2014-01-30 cs.LG math.ST stat.TH
Large Margin Multiclass Gaussian Classification with Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）
随着越来越多的敏感个人信息被聚集到数据存储库中，开发用于处理数据而不泄露关于个体数据实例的信息的机制变得重要。差分隐私模型为这种机制的发展和理论分析提供了一个框架。在本文中，我们提出了一种算法，用于学习一个判别式训练的多类高斯分类器，满足差分隐私使用一个大的利润损失函数与扰动正则化项。我们提出了一个理论上的上限的扰动引入的分类器的超额风险。
2010-07-28 cs.CR cs.LG stat.ML
Polynomial-Time Robust Multiclass Linear Classification under Gaussian Marginals
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究在高斯分布下多类线性分类器的无偏学习任务，提出了一种多项式时间鲁棒学习算法，解决了多类分类中误差保证的问题，特别是在k≥3的情况下。
2026-05-20 cs.DS cs.LG
Multiclass Learning Approaches: A Theoretical Comparison with Implications
The Hebrew University（希伯来大学）
我们从理论上分析和比较了以下五种流行的多类分类方法：One vs. All，All Pairs，Tree-based classifiers，带有随机生成代码矩阵的纠错输出代码（ECOC）和MulticlassSVM。在前四种方法中，分类是基于二进制分类的简化。我们考虑的情况下，二元分类器来自一类VC维$d$，特别是从类的半空间在$\reals^d$。我们分析了这些方法的估计误差和近似误差。我们的分析揭示了有趣的结论的实际意义，在各种条件下的不同方法的成功。我们的证明技术采用VC理论的工具来分析假设类的\emph{approximation error}。这与大多数（如果不是全部的话）以前使用VC理论形成鲜明对比，这些理论只处理估计误差。
2012-06-01 cs.LG
Scalable Utility-Aware Multiclass Calibration
CMAP, École polytechnique, IP Paris, France（巴黎理工学院计算机科学院）；Inria Paris, France（法国巴黎研究所）；EECS, UC Berkeley, USA（美国伯克利大学电子工程与计算机科学系）
针对现有多类别校准评估方法聚焦特定方面或计算成本高的问题，提出效用校准通用框架，可统一解读现有指标、生成更鲁棒的校准指标，还能评估更丰富下游效用的校准情况，实现多类别校准的可扩展评估。
2025-10-29 cs.AI cs.LG stat.ML
Effective Metaheuristic Based Classifiers for Multiclass Intrusion Detection
University of Lahore（拉合尔大学）；NUCES（巴基斯坦国家计算机与新兴科学大学）
由于计算机网络和应用的指数增长，网络安全已经成为网络安全领域中最大的关注点。入侵检测在信息系统或网络设备的安全中起着重要的作用。入侵检测系统（IDS）的目的是检测恶意活动，然后针对这些活动生成警报。拥有大量的数据是检测攻击的关键问题之一。大多数入侵检测系统利用数据集的所有特征来评估模型，导致检测率低，计算时间长，占用大量计算机资源。为了快速检测攻击，IDS需要轻量级的数据。特征选择方法在选择最佳特征以实现最大精度方面起着关键作用。本研究工作通过考虑两个更新的攻击数据集UNSW-NB 15和CICDDoS 2019进行实验。提出了一种基于包装器的集成分类器遗传算法特征选择方法。遗传算法选择最佳的特征子集，并实现高精度，检测率（DR）和低误报率（FAR）相比，现有的方法。本文的研究重点是多类分类。实现两种集成方法：堆叠和装袋，以检测不同类型的攻击。实验结果表明，遗传算法显著提高了堆叠集成分类器的分类精度.
2022-10-06 cs.CR cs.LG
Blind Multiclass Ensemble Classification
University of Minnesota（明尼苏达大学）
人们对模式识别和数据分析的兴趣日益浓厚，这刺激了创新机器学习算法和工具的发展。然而，由于每个算法都有其优势和局限性，因此人们有动机明智地融合多个算法，以便为给定的数据集找到“最佳”执行算法。包围学习的目标是通过组合多个算法的输出来实现这种高性能的元算法。目前的工作介绍了一个盲计划学习的分类器，使用矩匹配方法，利用联合张量和矩阵分解。Blind是指组合器不知道每个分类器已经训练过的地面真实标签。一个严格的性能分析，并在合成和真实数据集上对所提出的方案进行评估。
2018-07-20 cs.LG eess.SP stat.ML
Multiclass Classification without Labels via Posterior Simplex Geometry
Università degli Studi di Milano（米兰大学）；Istituto Nazionale di Fisica Nucleare（意大利国家核物理研究所）
研究从多个无标签混合物进行多类学习的问题，利用后验单纯形几何结构，提出无先验程序，通过训练标准分类器区分混合物身份并提取潜在类结构，实验证明能恢复潜在类及其比例，缩小弱监督与全监督性能差距。
2026-07-29 astro-ph.GA cs.AI cs.LG
Multiclass Classification via Class-Weighted Nearest Neighbors
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
我们研究的k-近邻算法的多类分类的统计特性，重点是设置类的数量可能是大的和/或类可能是高度不平衡的。特别是，我们考虑一个变种的k-近邻分类器与非均匀类权重，我们推导出上界和最小最大下界的准确性，类加权风险，和均匀误差。此外，我们表明，统一的误差界导致的经验混淆矩阵的数量和他们的人口之间的差异跨越一组权重的界限。因此，我们可以调整类权重以优化分类度量，例如F1得分或Matthew的相关系数，它们通常在实践中使用，特别是在具有不平衡类的设置中。我们还提供了一个简单的例子来实例化我们的边界和数值实验。
2020-05-04 cs.LG math.ST stat.ML
Precise Asymptotic Generalization for Multiclass Classification with Overparameterized Linear Models
UC Berkeley（加州大学伯克利分校）
本文解决了多类分类过参数化线性模型的渐近泛化猜想，提出新的Hanson-Wright不等式变体，证明插值分类器可能次优。
2025-03-26 cs.LG stat.ML
Multiclass Linear Perceptrons with Multiplicative Margins
Luleå University of Technology（吕勒奥理工大学）；Institute of Information Technologies and Systems（信息技术与系统研究所）；La Trobe University（拉筹伯大学）；Örebro University（厄勒布鲁大学）；Research Institutes of Sweden（瑞典研究院）
本文提出带乘性间隔机制的多类线性感知机，推导其损失函数与错误界，实验显示其性能优于标准感知机及经典基线，可用于多种机器学习相关场景。
2026-09-01 cs.LG cs.NE
Class Binarization to NeuroEvolution for Multiclass Classification
Southern University of Science and Technology（南方科技大学）；VU University Amsterdam（阿姆斯特丹自由大学）
针对多类分类任务，本文提出将纠错输出码（ECOC）类别二值化策略与NEAT神经进化算法结合的新方法，经多数据集验证，该方法准确率高、方差低，兼具分类器数量灵活性与强鲁棒性。
2023-08-26 cs.LG cs.NE
Efficient Primal-Dual Algorithms for Large-Scale Multiclass Classification
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们开发了有效的算法来训练$\ell_1$ -正则化线性分类器与大维度$d$的特征空间，类数$k$，和样本量$n$。我们的重点是一类特殊的损失，其中包括，特别是，多类铰链和物流损失。我们的方法结合了几个想法：（i）传递到等价的鞍点问题与准双线性目标;（ii）应用随机镜像下降与适当的选择几何，保证了良好的精度界;（iii）设计非均匀采样计划近似的矩阵产品。特别是，对于多类铰链损失，我们提出了一个\textit{sublinear}算法，在$O(d+n+k)$算术运算中进行迭代。
2019-02-11 cs.LG math.OC stat.ML
Radar-based Feature Design and Multiclass Classification for Road User Recognition
Daimler AG（戴姆勒股份公司）；University of Kassel（卡塞尔大学）
单个交通参与者的分类是一项复杂的任务，特别是对于具有多个道路使用者或恶劣天气条件下的挑战性场景。雷达传感器提供了一种-相对于完善的相机系统-测量这种场景的正交方式。为了获得准确的分类结果，从测量数据中提取了50种不同的特征，并对其性能进行了测试。从这些特征中选择合适的子集并传递到随机森林和长短期记忆（LSTM）分类器以获得雷达输入的类别预测。此外，它示出了为什么数据不平衡是一个固有的问题，在汽车雷达分类时，数据集不够大。为了克服这个问题，分类器二值化被用于其他技术中，以便更好地解释代表性不足的类。提出了一种新的方法来耦合产生的概率，并与其他人相比，取得了巨大的成功。最后的结果表明，与普通的多类分类相比，
2019-05-27 cs.LG cs.RO stat.ML
Revisiting Discriminative vs. Generative Classifiers: Theory and Implications
Gaoling School of AI, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Software, Shandong University（山东大学软件学院）；Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文从理论上证明多分类朴素贝叶斯仅需 $O(\log n)$ 样本即可逼近渐近误差，优于逻辑回归的 $O(n)$，并通过仿真和预训练视觉模型实验验证了其在迁移学习和少样本场景中的快速收敛优势。
2023-05-29 cs.AI cs.LG stat.ML
Multiclass Model for Agriculture development using Multivariate Statistical method
VIT - Vellore（韦洛尔理工大学（韦洛尔校区））；Taibah University（泰巴大学）
马氏田口系统（MTS）是一种多变量统计方法，广泛用于特征选择和二分类问题。MTS中正交表和信噪比的计算使得当分类问题涉及的因素较多时，算法变得复杂。此外，该决定是基于数据集的正常和异常观测的准确性。本文提出了一种基于正态观测和马氏距离的改进马氏田口系统（IMTS）农业发展多类模型。与作物栽培相关的26个输入因子已被确定，并聚类为6个主要因素的模型的发展。多类模型的开发与考虑因素的相对重要性。定义了一个目标函数，用于水稻、甘蔗和花生三种作物的分类。分类结果进行了验证，从农业专家在该领域工作的结果。与其他传统的分类器模型相比，该分类器提供了100%的准确率、召回率、精确率和0%的出错率。
2020-10-07 cs.LG
Heuristic Ternary Error-Correcting Output Codes Via Weight Optimization and Layered Clustering-Based Approach
Tsinghua University（清华大学）
多类分类问题的一个重要分类器集成是纠错输出码（ECOCs）。它通过将多类问题分解为一系列的二值类问题，将多类问题与二值类分类器连接起来。在本文中，我们提出了一个启发式的三元代码，命名为重量优化和分层排序为基础的ECOC（WOLC-ECOC）。它从一个任意有效的ECOC开始，迭代以下两个步骤，直到训练风险收敛。第一步，命名为基于分层聚类的ECOC（LC-ECOC），构造多个强分类器上最混乱的二进制类问题。第二步通过一种新的优化加权（OW）解码算法将新的分类器加入到ECOC中，其中解码的优化问题通过割平面算法来解决。从技术上讲，LC-ECOC使得启发式训练过程不会被一些困难的二元类问题所阻碍。OW译码保证了训练风险的不增加，从而保证了较小的码长。在14个UCI数据集和一个音乐流派分类问题上的实验结果证明了WOLC-ECOC的有效性。
2014-04-23 cs.LG
Delaytron: Efficient Learning of Multiclass Classifiers with Delayed Bandit Feedbacks
IIIT Hyderabad（海得拉巴国际信息技术研究所）
在本文中，我们提出了在线算法称为{ \it Delaytron}学习多类分类器使用延迟强盗反馈。反馈延迟$\{d_t\}_{t=1}^T$的序列对于算法是未知的。在第$t$轮，该算法观察示例$\mathbf{x}_t$并预测标签$\tilde{y}_t$，并且仅在$d_t$轮之后接收强盗反馈$\mathbb{I}[\tilde{y}_t=y_t]$。当$t+d_t>T$时，我们认为第$t$轮的反馈缺失。我们表明，该算法实现了遗憾的$\mathcal{O}\left(\sqrt{\frac{2 K}γ\left[\frac{T}{2}+\left(2+\frac{L^2}{R^2\Vert \W\Vert_F^2}\right)\sum_{t=1}^Td_t\right]}\right)$时，每个丢失的样本的损失是上界$L$。在缺失样本的损失没有上界的情况下，Delaytron实现的遗憾是$\mathcal{O}\left(\sqrt{\frac{2 K}γ\left[\frac{T}{2}+2\sum_{t=1}^Td_t+\vert \mathcal{M}\vert T\right]}\right)$，其中$\mathcal{M}$是$T$轮中缺失样本的集合。这些界限是用恒定的步长实现的，这需要$T$和$\sum_{t=1}^Td_t$的知识。对于$T$和$\sum_{t=1}^…
2022-05-17 cs.AI cs.LG stat.ML
Interpretable multiclass classification by MDL-based rule lists
Leiden University（莱顿大学）
最近，可解释分类器受到了数据采掘界越来越多的关注，因为它们本质上比更复杂的分类器更容易理解和解释。可解释的分类模型的示例包括决策树、规则集和规则列表。学习这样的模型通常涉及优化超参数，这通常需要大量的数据，并可能导致相对较大的模型。在本文中，我们考虑的问题，学习紧凑而准确的概率规则列表的多类分类。具体来说，我们提出了一种新的形式化的基础上概率规则列表和最小描述长度（MDL）的原则。这导致了几乎无参数的模型选择，自然允许权衡模型复杂性与拟合优度，从而有效地避免了过度拟合和超参数调整的需要。最后，我们介绍了Classy算法，该算法根据所提出的标准，greetly发现规则列表。我们的经验表明，Classy选择的小概率规则列表在预测性能和可解释性的结合方面优于最先进的分类器。我们表明，Classy是不敏感的唯一参数，即，候选集，以及训练集上的压缩与分类性能相关，验证了我们基于MDL的选择标准。
2019-10-31 cs.AI cs.LG stat.ML
Detecting Aedes Aegypti Mosquitoes through Audio Classification with Convolutional Neural Networks
Institute of Informatics (INF)（信息学研究所（INF））；Universidade Federal do Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学（UFRGS））
蚊媒疾病的发病率在欠发达地区很高，主要是由于缺乏资源来实施积极的控制措施，防止蚊子繁殖。提高社区对蚊子繁殖的认识的一个潜在战略是使用智能手机应用程序和众包建立蚊子发病率的实时地图。在本文中，我们探讨了使用机器学习技术和从市售智能手机捕获的音频分析来识别埃及伊蚊的可能性。总之，我们对埃及伊蚊的翼拍记录进行了下采样，并使用它们通过监督学习来训练卷积神经网络（CNN）。作为一个功能，我们使用录音频谱图来表示蚊子翅拍频率随时间的变化。我们训练并比较了三种分类器：二进制，多类和二进制分类器的集成。在我们的评估中，二进制和集成模型分别实现了97.65%（$\pm$ 0.55）和94.56%（$\pm$ 0.77）的准确性，而多类的准确性为78.12%（$\pm$ 2.09）。最好的敏感性，观察在集成的方法（96.82% $\pm$ 1.62），其次是多类埃及伊蚊（90.23% $\pm$ 3.83）和二元（88.49% $\pm$ 6.68）的特定情况下。二元分类器和多类分类器在精确度和召回率之间表现出最佳平衡，F1测量接近90%。尽管集成分类器的精度最低，从而损害了其F1测量值（79.95% $\pm$ 2.13），但它是检测我们数据集中埃及伊蚊的最强大分类器。
2020-08-19 cs.LG cs.SD eess.AS
MALADY: Multiclass Active Learning with Auction Dynamics on Graphs
Michigan State University（密歇根州立大学）；Brigham Young University（杨百翰大学）
针对主动学习在半监督场景的优化需求，提出MALADY框架，泛化相似图拍卖动力学算法并引入基于对偶变量的获取函数，实验表明其性能优于对比算法。
2025-04-16 cs.GT cs.LG math.OC
An All-Pair Quantum SVM Approach for Big Data Multiclass Classification
Amity University（爱德大学）；Coventry University（考文垂大学）
在本文中，我们讨论了全对多类分类问题的量子方法。我们已经证明，用于大数据分类的多类支持向量机与量子全对方法可以在量子计算机上以对数运行时复杂度实现。在全对方法中，对于每对类都有一个二进制分类问题，因此对于k类问题有k（k-1）/2个分类器。与可以实现多项式运行时间复杂度的经典多类支持向量机相比，我们的方法在量子版本中表现出指数级的速度。量子全对算法可以与其他分类算法一起使用，与经典算法相比，可以实现加速增益。
2018-05-15 cs.LG quant-ph
Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
当代机器学习应用通常涉及具有许多类的分类任务。尽管分类算法被广泛使用，但仍然缺乏对分类算法的统计特性和行为的精确理解，特别是在类别数量相当大的现代制度中。在本文中，我们在这个方向上迈出了一步，提供了第一个渐近精确的线性多类分类分析。我们的理论分析使我们能够精确地描述测试误差如何在不同的训练算法，数据分布，问题维度以及类数，类间/类内相关性和类先验之间变化。具体来说，我们的分析表明，分类精度高度依赖于分布，不同的算法可以针对不同的数据分布和/或训练/特征大小实现最佳性能。与线性回归/二元分类不同，多类分类中的测试误差依赖于训练模型的复杂函数（例如，一些训练权重之间的相关性），其渐近行为难以表征。这种挑战已经存在于简单的分类器中，例如那些最小化平方损失的分类器。我们新颖的理论技术使我们能够克服其中的一些挑战。所获得的见解可能为精确理解本文研究之外的其他分类算法铺平道路。
2020-11-16 cs.LG math.ST stat.ML
The price of bandit information in multiclass online classification
Hebrew University（希伯来大学）
我们考虑两种情况下的多类在线学习的假设类$H\subseteq Y^X$。在{ \em full information}场景中，学习者会接触到实例及其标签。在{ \em bandit}场景中，真实的标签没有暴露，而是指示学习者的预测是否正确。我们表明，在两种情况下的出错率之间的比率是最多$8\cdot|Y|\cdot \log(|Y|)$在可实现的情况下，和$\tilde{O}(\sqrt{|Y|})$在不可知的情况下。结果是紧密的对数因子，基本上回答了一个开放的问题（Daniely et.多类可学习性（Multiclass learnability）和学习原则（Multiclass learnability and the principle）。我们将这些结果应用到$\reals^d$中的$γ$边缘多类线性分类器类中。我们表明，这个类的强盗错误率是$\tildeΘ(\frac{|Y|}{γ^2})$在可实现的情况下和$\tildeΘ(\frac{1}γ\sqrt{|Y|T})$在不可知的情况下。这解决了一个悬而未决的问题（Kakade et. - 用于在线多类预测的有效的强盗算法）。
2013-07-09 cs.LG
Multiclass classification for multidimensional functional data through deep neural networks
Yale University（耶鲁大学）；Auburn University（奥本大学）
针对多维函数数据因无限维特征导致标准分类方法失效的问题，提出多类函数深度神经网络（mfDNN）分类器，采用ReLU激活函数和交叉熵损失，推导了误分类风险收敛速率并在模拟和基准数据集上验证了其性能。
2023-05-24 cs.LG stat.ME
Analysis and Optimization of Loss Functions for Multiclass, Top-k, and Multilabel Classification
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
Top-k错误目前是ImageNet和Places等大规模图像分类基准测试中流行的性能指标。尽管它被广泛接受，但我们对这个指标的理解是有限的，因为大多数以前的研究都集中在它的特殊情况下，前1错误。在这项工作中，我们探索了两个方向，揭示了top-k错误。首先，我们提供了一个深入的分析，建立和最近提出的单标签多类方法，以及详细说明有效的优化算法。我们的研究结果表明，softmax loss和平滑多类SVM在所有k中的top-k误差方面具有惊人的竞争力，这可以通过我们对多类top-k校准的分析来解释。对于特定k的进一步改进是可能的，具有多个提议的前k损失函数。其次，我们使用top-k方法来探索从多类到多标签学习的过渡。特别是，我们发现，它是可能的，以获得有效的多标签分类Pascal VOC使用一个单一的标签，每个图像的训练，而MS COCO的多类和多标签方法之间的差距是更显着的。最后，我们的贡献与所考虑的top-k和多标签损失函数训练的有效算法是独立的利益。
2016-12-12 cs.CV cs.LG stat.ML
Consistent Classification with Generalized Metrics
Department of Computer Science, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系）；Google Inc.（谷歌公司）；Independent Researcher（独立研究者）
我们提出了一个框架，用于构建和分析多类和多输出分类指标，即，涉及多个可能相关的多类标签。我们的分析揭示了可行混淆张量的几何形状的新见解-包括优化任意不可分解度量和学习加权分类器之间等价的必要和充分条件。此外，我们分析了通常用于计算多输出指标的平均方法，并描述了相应的贝叶斯最优分类器。我们表明，插件的估计基于这种特性是一致的，很容易实现为后处理规则。合成和基准数据集的实证结果支持的理论研究结果。
2019-08-24 cs.LG stat.ML
A Leakage-Free Stacked Ensemble Method for Multiclass Classification
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Siddaganga Institute of Technology（西达甘加理工学院）
针对多类分类难题，提出无泄漏堆叠集成框架LFS - FRAME，集成KAN函数学习与XGBoost规则学习，用严格策略防性能泄漏，通过学习异构基学习器概率输出提升性能，实验显示其相比单模型基线有显著准确率提升。
2026-07-27 cs.AI cs.LG
Top-label calibration and multiclass-to-binary reductions
Carnegie Mellon University（卡内基梅隆大学）
一个多类分类器被称为顶标签校准，如果报告的概率预测类-顶标签-是校准的，条件是顶标签。这种条件反射的顶级标签是不存在的密切相关的和流行的概念的信心校准，我们认为这使得信心校准难以解释的决策。我们提出了顶标签校准作为校正的信心校准。此外，我们还概述了一个多类到二进制（M2 B）的简化框架，该框架统一了置信度、顶标签和类校准等。顾名思义，M2 B的工作原理是将多类校准简化为众多的二进制校准问题，每个问题都可以使用简单的二进制校准例程解决。我们实例化的M2 B框架与良好的研究直方图分箱（HB）二进制校准器，并证明整个过程是多类校准，而不作任何假设的基础数据分布。在CIFAR-10和CIFAR-100上使用四种深度网络架构进行的经验评估中，我们发现M2 B + HB过程比其他方法（如温度缩放）实现了更低的顶部标签和类校准误差。可在\url{https://github.com/aigen/df-posthoc-calibration}上获得此工作的代码。
2022-09-02 cs.AI cs.LG stat.ME
A Robust Twin Parametric Margin Support Vector Machine for Multiclass Classification
School of Science and Technology, University of Camerino（科学与技术学院，坎皮诺大学）；Department of Management, Information and Production Engineering, University of Bergamo（管理、信息与生产工程系，贝拉姆多大学）
本文提出一种稳健的双参数边际支持向量机模型，用于在特征不确定性下处理多类分类任务，通过鲁棒优化技术构建规范不确定性集，并探索线性和核诱导分类器以提高模型灵活性。
2025-06-24 cs.LG math.OC
