Top-label calibration and multiclass-to-binary reductions
Carnegie Mellon University（卡内基梅隆大学）
一个多类分类器被称为顶标签校准，如果报告的概率预测类-顶标签-是校准的，条件是顶标签。这种条件反射的顶级标签是不存在的密切相关的和流行的概念的信心校准，我们认为这使得信心校准难以解释的决策。我们提出了顶标签校准作为校正的信心校准。此外，我们还概述了一个多类到二进制（M2 B）的简化框架，该框架统一了置信度、顶标签和类校准等。顾名思义，M2 B的工作原理是将多类校准简化为众多的二进制校准问题，每个问题都可以使用简单的二进制校准例程解决。我们实例化的M2 B框架与良好的研究直方图分箱（HB）二进制校准器，并证明整个过程是多类校准，而不作任何假设的基础数据分布。在CIFAR-10和CIFAR-100上使用四种深度网络架构进行的经验评估中，我们发现M2 B + HB过程比其他方法（如温度缩放）实现了更低的顶部标签和类校准误差。可在\url{https://github.com/aigen/df-posthoc-calibration}上获得此工作的代码。
2022-09-02 cs.AI cs.LG stat.ME
Hierarchical Utility Calibration for Structured Multiclass Decisions
The University of Osaka（大阪大学）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心（AIP））；Mila – Quebec AI Institute（米拉——魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Nagoya University（名古屋大学）
针对多类概率预测中的效用校准问题，提出分层效用校准（HUC）方法，通过分解标签树内部节点贡献并逐节点校准，解决了层次结构中效用误差抵消问题，并给出有限样本评估与理论保证。
2026-09-30 cs.LG stat.ML
Optimal Multiclass U-Calibration Error and Beyond
University of Southern California（南加州大学）
针对在线多类 U-校准问题，证明其最优 U-校准误差为 $Θ(\sqrt{KT})$，并在 Lipschitz 等自然假设下进一步强化误差界限。
2024-05-28 cs.LG stat.ML
On Classification-Calibration of Gamma-Phi Losses
University of Michigan（密歇根大学）
该研究针对Gamma-Phi多类分类损失，首次给出其满足分类校准的通用充分条件，证明其为首个经完整论证满足CC的非凸多类代理损失族，同时指出既往一个充分条件不成立，填补了相关研究的技术空白。
2023-12-12 cs.LG stat.ML
Generalization for multiclass classification with overparameterized linear models
University of California Berkeley（加州大学伯克利分校）
通过一个超参数化的线性模型与高斯特征，我们提供了良好的推广条件的最小范数插值解决方案的多类分类的渐近设置，其中底层功能的数量和类的数量规模与训练点的数量。用于理解过参数化学习问题行为的生存/污染分析框架适用于这种设置，揭示了多类分类定性地表现得像二元分类，只要没有太多的类（在本文中精确），即使在相应的回归任务不会泛化的某些设置中也可以很好地泛化。除了各种技术挑战之外，事实证明，与二进制分类设置的关键区别在于，随着类的数量增加，多类设置中每个类的正训练样本相对较少，使得多类问题比二进制问题“更难”。
2022-06-03 cs.LG stat.ML
Unified Binary and Multiclass Margin-Based Classification
University of Michigan（密歇根大学）；Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Michigan Institute of Data Science（密歇根数据科学研究所）；Department of Statistics（统计学系）
本研究针对多分类间隔损失对应形式不统一的问题，提出广泛多分类损失可表示为相对间隔形式，借此将二分类间隔损失的分类校准成果拓展至多分类，并扩充了已知分类校准的Fenchel-Young损失集合。
2024-05-17 cs.LG stat.ML
Online Algorithms for Multiclass Classification using Partial Labels
IIT Madras（印度理工学院马德拉斯分校）；IIIT Hyderabad（海得拉巴国际信息技术学院）
在本文中，我们提出了在线算法的多类分类使用部分标签。我们提出了两个变种的感知器称为平均感知器和最大感知器来处理部分标记的数据。我们还提出了Avg Pegasos和Max Pegasos，这是Pegasos算法的扩展。我们还提供了平均感知器的错误界和平均飞马遗憾界。我们通过在各种数据集上进行实验并将其与标准Perceptron和Pegasos进行比较，展示了所提出方法的有效性。
2019-12-24 cs.LG stat.ML
Consistent Robust Adversarial Prediction for General Multiclass Classification
Carnegie Mellon University（卡内基梅隆大学）；Conversant LLC（Conversant有限责任公司）；California Institute of Technology（加州理工学院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个强大的对抗性预测框架一般多类分类。我们的方法寻求预测分布，该预测分布针对（近似）匹配训练数据统计的最坏情况条件标签分布（对抗分布）鲁棒地优化非凸和非连续多类损失度量。虽然优化的损失度量是非凸和非连续的，但该框架的对偶公式是一个凸优化问题，可以重新转换为具有指定凸代理损失的风险最小化模型，我们称之为对抗代理损失。我们表明，对抗性代理损失填补了现有的空白，代理损失建设一般多类分类问题，同时更好地与原始多类损失对齐，保证Fisher一致性，使一种方式，通过内核技巧，将丰富的特征空间，并提供在实践中有竞争力的性能。
2019-11-20 cs.LG stat.ML
Empirical risk minimization algorithm for multiclass classification of S.D.E. paths
Université Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）；Université Paris-Saclay（巴黎萨克雷大学）；AgroParisTech（巴黎高科农业学院）；INRAE（法国国家农业、食品与环境研究院）
针对漂移不同、扩散系数共同的随机扩散路径多分类问题，提出基于 L2 经验风险最小化的算法，证明其收敛速率及间隔假设下的快速速率，并通过模拟验证数值性能。
2025-03-18 cs.LG stat.ML
Informative Label Missingness in Multiclass Classification Information Geometry and Excess Risk
Dipartimento di Scienze Statistiche, Università di Padova（帕多瓦大学统计科学系）；School of Mathematics and Physics, The University of Queensland（昆士兰大学数学与物理学院）
该研究针对多分类分类的信息性标签缺失现象，建立基于似然的理论，推导插件超额风险的二次展开，提出分类加权广义特征值准则，通过多类判别计算和实验验证其相关行为。
2026-09-01 cs.LG stat.ML
Multiclass Calibration Assessment and Recalibration of Probability Predictions via the Linear Log Odds Calibration Function
Department of Statistics, Virginia Polytechnic Institute and State University（统计系，弗吉尼亚理工学院和州立大学）
本文提出多类线性对数几率校准方法，通过似然比假设检验和无需模型内部访问实现对单个模型校准的评估，适用于广泛分类问题并易于解释。
2026-02-20 cs.LG stat.ME stat.ML
The Optimal Sample Complexity of Multiclass and List Learning
Stanford University（斯坦福大学）
研究确定多类和列表学习的最优样本复杂性依赖于DS维度，证明了DS维度上限与最大超图密度的关系，解决了长期存在的猜想。
2026-11-04 cs.LG stat.ML
Multiclass learning with margin: exponential rates with no bias-variance trade-off
University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）
我们研究了在适当的边际条件下多类分类的误差界的行为。对于各种各样的方法，我们证明了分类误差在硬利润率条件下呈指数快速下降，没有任何偏差方差权衡。在不同的边际假设条件下，可以得到不同的收敛速度。一个独立的和有益的分析，我们能够概括已知的结果，从二进制的多类设置。
2022-02-03 cs.LG stat.ML
Online Multiclass Classification Based on Prediction Margin for Partial Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们考虑的问题，在线多类分类与部分反馈，算法预测类的一个新的实例在每一轮，只收到其正确性。虽然已经开发了几种方法来解决这个问题，最近具有挑战性的现实世界的应用程序需要进一步的性能改进。在本文中，我们提出了一种新的在线学习算法的启发，最近的工作学习互补标签，其中一个互补标签表示一个类的实例不属于。这使我们能够以基于裕度的方式确定性地处理部分反馈，其中预测裕度已被认为是卓越经验性能的关键。我们提供了一个理论保证的基础上的累积损失界和实验证明，我们的方法优于现有的方法，这是非保证金的和随机的。
2019-02-04 cs.LG stat.ML
Word-Class Embeddings for Multiclass Text Classification
Istituto di Scienza e Tecnologie dell’Informazione（信息科学与技术研究所）；Consiglio Nazionale delle Ricerche（国家研究委员会）
预训练的词嵌入对自然语言的一般单词语义和词汇语义进行编码，并且已经证明在许多NLP任务中是有用的，包括词义消歧，机器翻译和情感分析，仅举几例。在有监督的任务中，如多类文本分类（本文的重点），似乎很有吸引力，可以通过对特定于任务的信息进行编码的特设嵌入来增强单词表示。我们提出了（监督）词类嵌入（WCE），并表明，当连接到（无监督）预训练的词嵌入时，它们大大促进了深度学习模型在多类分类中的训练。我们展示了经验证据，表明WCE在多类分类准确性方面得到了一致的提高，使用了四种流行的神经架构和六种广泛使用和公开可用的多类文本分类数据集。我们实现WCE的代码可在https://github.com/AlexMoreo/word-class-embeddings上公开获取
2019-11-26 cs.CL cs.LG stat.ML
Multiclass feature learning for hyperspectral image classification: sparse and hierarchical solutions
University of Zurich（苏黎世大学）；Université de Nice Sofia Antipolis（尼斯索菲亚安蒂波利斯大学）；Université de Bretagne Sud（南布列塔尼大学）
在本文中，我们解决的问题，发现一组有效的空间滤波器来解决高光谱分类问题。我们不是使用专家知识先验地固定过滤器及其参数，而是让模型在可能的过滤器（可能是无限的）空间中随机抽取它们。我们定义了一个活动集特征学习器，它只在模型中包含改进分类器的特征。为此，我们考虑一个快速和线性分类器，多类逻辑分类，并表明，具有良好的表示（发现的过滤器），这样一个简单的分类器可以达到至少最先进的性能。我们将所提出的主动集学习器应用于四个高光谱图像分类问题，包括不同分辨率的农业和城市分类，以及多模态数据。我们还提出了一个分层设置，它允许生成更复杂的银行的功能，可以更好地描述数据中存在的非线性。
2016-06-23 cs.LG stat.ML
Precise Asymptotic Generalization for Multiclass Classification with Overparameterized Linear Models
UC Berkeley（加州大学伯克利分校）
本文解决了多类分类过参数化线性模型的渐近泛化猜想，提出新的Hanson-Wright不等式变体，证明插值分类器可能次优。
2025-03-26 cs.LG stat.ML
Bandit Multiclass Linear Classification for the Group Linear Separable Case
Kasetsart University（农业大学）
我们考虑了在线多类线性分类下的强盗反馈设置。Beygelzimer，Pál，Szörényi，Thiruvenkatachari，Wei和Zhang [ICML'19]考虑了两个线性可分性的概念，弱线性可分性和强线性可分性。当样本是强线性可分的且边界为$γ$时，他们提出了一种基于多类感知器的错误界为$O(K/γ^2)$的算法，其中$K$是类的数目。在弱线性可分的条件下，利用有理核对例子进行了处理，得到了$\min(K\cdot 2^{\tilde{O}(K\log^2(1/γ))},K\cdot 2^{\tilde{O}(\sqrt{1/γ}\log K)})$的错误界。本文改进了弱线性可分性的概念来支持类分组的概念，称为组弱线性可分条件。这种情况可能是由于类结构包含固有的分组。证明了在此条件下，我们也可以利用有理核得到$K\cdot 2^{\tilde{O}(\sqrt{1/γ}\log L)})$的错误界，其中$L\leq K$表示群的个数.
2021-08-31 cs.LG stat.ML
A Multiclass Classification Approach to Label Ranking
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）；IDEMIA（亿达美）
在多类分类中，目标是学习如何通过具有最小错误概率$\mathbb{P}\{Y\neq g(X) \}$的分类规则$g:\mathbb{R}^q\to \mathcal{Y}$，基于观察一个r.v. $X$，在$\mathbb{R}^q$中取其值，用$q\geq 1$来预测一个随机标签$Y$，在$\mathcal{Y}=\{1,\; \ldots,\; K \}$中取值。然而，在各种情况下，目标任务可能更加雄心勃勃，包括按照后验概率$η_y(X)=\mathbb{P}\{Y=y \mid X \}$的降序对所有可能分配给$X$的标签值$y$进行排序。本文致力于分析这种统计学习问题，介于多类分类和后验概率估计（回归）之间，这里称为标签排名。我们强调的事实是，它可以被视为排名中位数回归（RMR）的一个特定变体，其中，而不是观察分配给输入向量$X$的随机排列$Σ$，并从具有条件偏好向量$(η_1(X),\; \ldots,\; η_K(X))$的Bradley-Terry-Luce-Plackett模型中提取，用于训练标签排名规则的唯一信息是排名在顶部的标签$Y$，即$Σ^{-1}(1)$。最近的结果在RMR的启发下，我们证明了在适当的噪声条件下，一对一（OVO）的方法multiclassification收益率，作为一个副产品，具有压倒性的概率的标签的最佳排名。除了理论上的保证，相关的标…
2020-02-21 cs.LG stat.ML
Mexican Hat Wavelet Kernel ELM for Multiclass Classification
Zhengzhou University（郑州大学）
核极端学习机（KELM）是一种新型的前馈神经网络，广泛应用于分类问题。在一定程度上解决了ELM中存在的无效节点和计算复杂性大的问题。然而，传统的KELM分类器在面对多类分类问题时，测试准确率往往较低。为了解决上述问题，本文提出了一种新的分类器--墨西哥帽小波KELM分类器。该分类器成功地提高了多类分类问题的训练精度，减少了训练时间。此外，墨西哥帽小波作为ELM的核函数的有效性进行了严格的证明。在不同数据集上的实验结果表明，所提出的分类器的性能显着优于比较分类器。
2019-02-20 cs.AI cs.LG stat.ML
The Implicit Bias of Gradient Descent on Separable Multiclass Data
University of Michigan（密歇根大学）；Technion - Israel Institute of Technology（以色列理工学院）；Illinois Institute of Technology（伊利诺伊理工大学）
本研究利用PERM损失框架将指数尾部性质扩展到多类，把梯度下降的隐式偏差理论从二分类推广到多分类，并证明其与二分类情形技术紧密对应。
2024-11-07 cs.LG stat.ML
Consistent Algorithms for Multiclass Classification with a Reject Option
Indian Institute of Science（印度科学学院）；University of Michigan（密歇根大学）
我们考虑的问题$n$类分类（$n\geq 2$），其中的分类器可以选择弃权作出预测在给定的成本，说，一个因素$α$的成本误分类。设计一致的算法，如$n$类的分类问题与“拒绝选项”是本文的主要目标，从而扩展和推广以前已知的结果$n=2$。我们表明，Crammer-Singer代理和一个与所有铰链损失，虽然与标准的argmax不同的预测，产生一致的算法，这个问题时，$α=\frac{1}{2}$。更有趣的是，我们设计了一个新的凸代理，也是一致的这个问题时，$α=\frac{1}{2}$和操作的低得多的维空间（$\log(n)$，而不是$n$）。我们还概括了所有三个代理是一致的任何$α\in[0, \frac{1}{2}]$。
2015-05-15 cs.LG stat.ML
Bandit Multiclass Linear Classification: Efficient Algorithms for the Separable Case
Yahoo Research（雅虎研究院）；New York University（纽约大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
我们研究了带Bandit反馈的高效在线多类线性分类问题，其中所有样本都属于$K$类之一，并且位于$d$维欧氏空间中.以前的工作已经离开了设计有效的算法有限的错误界限时，数据是线性可分的利润$γ$的挑战。在这项工作中，我们向这个问题迈出了第一步。我们考虑两个概念的线性可分性：强和弱。1.在强线性可分性条件下，我们设计了一个有效的算法，达到了$O\left( K/γ^2 \right)$的近最优错误界。2.在弱线性可分性条件下，我们设计了一个错误界为$\min (2^{\widetilde{O}(K \log^2 (1/γ))}, 2^{\widetilde{O}(\sqrt{1/γ} \log K)})$的有效算法。我们的算法基于内核感知器，其灵感来自于（Klivans和Servedio，2008）关于不正确学习半空间交集的工作。
2019-06-18 cs.LG stat.ML
Efficient Primal-Dual Algorithms for Large-Scale Multiclass Classification
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们开发了有效的算法来训练$\ell_1$ -正则化线性分类器与大维度$d$的特征空间，类数$k$，和样本量$n$。我们的重点是一类特殊的损失，其中包括，特别是，多类铰链和物流损失。我们的方法结合了几个想法：（i）传递到等价的鞍点问题与准双线性目标;（ii）应用随机镜像下降与适当的选择几何，保证了良好的精度界;（iii）设计非均匀采样计划近似的矩阵产品。特别是，对于多类铰链损失，我们提出了一个\textit{sublinear}算法，在$O(d+n+k)$算术运算中进行迭代。
2019-02-11 cs.LG math.OC stat.ML
On the existence of solutions to adversarial training in multiclass classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）
本文研究多类分类中对抗训练解的存在性，在不可知分类器设定下证明三个模型均存在Borel可测鲁棒分类器，并建立对抗训练与最优传输及全变差正则化的新联系，同时改进了二分类情形下的存在性结果。
2023-05-29 cs.LG math.OC stat.ML
Distributionally Robust Multiclass Classification and Applications in Deep Image Classifiers
Amazon SCOT（亚马逊SCOT）；Boston University（波士顿大学）
针对多类逻辑斯谛回归（MLR）问题，提出了一种分布鲁棒优化（DRO）方法。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。我们将所提出的方法应用于渲染基于深度Vision Transformer（ViT）的图像分类器，该分类器对随机和对抗性攻击具有鲁棒性。具体来说，使用MNIST和CIFAR-10数据集，我们证明了通过采用一种新的随机训练方法，与基线方法相比，测试错误率降低了83.5%，损失率降低了91.3%。
2023-03-25 cs.LG stat.ML
One-Bit Quantization and Sparsification for Multiclass Linear Classification with Strong Regularization
California Institute of Technology（加州理工学院）
研究过参数化且含错误标签的多类分类问题，证明在强正则化下L2范数能取得最佳性能，并发现L1和L∞范数能分别找到性能相近的稀疏解和one-bit解。
2024-10-10 cs.LG stat.ML
Sample Complexity of Agnostic Multiclass Classification: Natarajan Dimension Strikes Back
Alon Cohen ∗,† Liad Erez ∗ Steve Hanneke § Tomer Koren ∗,† Yishay Mansour ∗,† Shay Moran ‡,† Qian Zhang §（作者）
针对多类分类样本复杂度扩展难题，提出不可知多类PAC样本复杂度由DS维度和Natarajan维度共同主导，推导出形式为$\frac{DS^{1.5}}ε + \frac{Nat}{ε^2}$的近乎紧界，揭示多类学习本质涉及两个结构参数。
2025-11-16 cs.LG stat.ML
A New ECOC Algorithm for Multiclass Microarray Data Classification
Software School of Xiamen University（厦门大学软件学院）
多类微阵列数据集的分类是一项艰巨的任务，因为每个类中的小样本量和类之间的严重重叠。为了有效地解决这些问题，我们提出了一种新的纠错输出编码（ECOC）算法，通过增强类分离相关的数据复杂性措施在编码过程中，命名为ECOCECS。在该算法中，两个最近邻相关的DC措施部署，以提取内在的重叠信息的微阵列数据。我们的ECOC算法的目的是通过最小化这些措施来搜索最优的类分裂方案。当每个类与其他类分离时，类分裂过程结束，然后类分配方案被映射为编码矩阵。在五个微阵列数据集上进行了实验，结果表明，我们的方法的有效性和鲁棒性相比，六个国家的最先进的ECOC方法。总之，我们的工作证实了DC应用于ECOC框架的可能性。
2018-06-22 cs.LG stat.ML
Exploiting the Surrogate Gap in Online Multiclass Classification
Leiden University（莱顿大学）
我们提出了Gaptron，一个随机的一阶在线多类分类算法。在充分的信息设置中，我们显示预期的错误界相对于逻辑损失，铰链损失，和平滑铰链损失与不断遗憾，其中的期望是相对于学习者的随机性。在强盗分类设置，我们表明，Gaptron是第一个线性时间算法与$O(K\sqrt{T})$预期遗憾，其中$K$是类的数量。此外，Gaptron的预期错误界不依赖于特征向量的维数，与以前的算法$O(K\sqrt{T})$遗憾的强盗分类设置。我们提出了一种新的证明技术，利用零-一损失和代理损失之间的差距，而不是利用属性，如指数或混合性，这是传统上用于证明对数或常数遗憾界。
2021-02-26 cs.LG math.OC stat.ML
Analysis and Optimization of Loss Functions for Multiclass, Top-k, and Multilabel Classification
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
Top-k错误目前是ImageNet和Places等大规模图像分类基准测试中流行的性能指标。尽管它被广泛接受，但我们对这个指标的理解是有限的，因为大多数以前的研究都集中在它的特殊情况下，前1错误。在这项工作中，我们探索了两个方向，揭示了top-k错误。首先，我们提供了一个深入的分析，建立和最近提出的单标签多类方法，以及详细说明有效的优化算法。我们的研究结果表明，softmax loss和平滑多类SVM在所有k中的top-k误差方面具有惊人的竞争力，这可以通过我们对多类top-k校准的分析来解释。对于特定k的进一步改进是可能的，具有多个提议的前k损失函数。其次，我们使用top-k方法来探索从多类到多标签学习的过渡。特别是，我们发现，它是可能的，以获得有效的多标签分类Pascal VOC使用一个单一的标签，每个图像的训练，而MS COCO的多类和多标签方法之间的差距是更显着的。最后，我们的贡献与所考虑的top-k和多标签损失函数训练的有效算法是独立的利益。
2016-12-12 cs.CV cs.LG stat.ML
Newton-ADMM: A Distributed GPU-Accelerated Optimizer for Multiclass Classification Problems
Purdue Univ.（普渡大学）；Univ. of Queensland（昆士兰大学）；ICSI（国际计算机科学研究所）；Univ. of California at Berkeley（加州大学伯克利分校）
诸如随机梯度下降（SGD）及其变体的一阶优化方法由于其简单性和低的每次迭代成本而广泛用于机器学习应用中。然而，它们通常需要大量的迭代，在分布式环境中具有相关的通信成本。相比之下，牛顿型方法虽然具有较高的每次迭代成本，但通常需要显著较少的迭代次数，这直接转化为降低的通信成本。在本文中，我们提出了一种新的分布式优化分类问题，它集成了一个GPU加速牛顿型求解器的全局共识制定交替方向的方法乘数（ADMM）。通过利用ADMM的通信效率，GPU加速的不精确牛顿求解器和有效的谱惩罚参数选择策略，我们表明我们提出的方法（i）在几个分类问题上产生更好的泛化性能;（ii）在分布式求解时间上显着优于最先进的方法;（iii）在大型分布式平台上提供更好的扩展性。
2020-02-04 cs.LG stat.ML
Classifier Calibration: A survey on how to assess and improve predicted class probabilities
Federal University of Paraíba（帕拉伊巴联邦大学）；University of Bristol（布里斯托尔大学）；University of Tartu（塔尔图大学）
该综述系统介绍分类器校准的原理与实践，涵盖评估指标、可视化、二分类及多分类事后校准方法等内容，为相关研究提供概念与工具支撑。
2023-02-16 cs.LG stat.ML
Factorized MultiClass Boosting
JetBrains Research（JetBrains研究院）；Higher School of Economics（高等经济学院）；Yandex（Yandex公司）
在本文中，我们介绍了一种新的方法来解决多类分类问题。我们将问题分解为一系列回归任务，并使用CART树来解决这些任务。所提出的方法比最先进的解决方案工作得更快，同时提供相同水平的模型质量。该算法对不平衡的数据集也是鲁棒的，允许在显著更短的时间内获得高质量的结果，而无需重新平衡类。
2019-09-11 cs.LG stat.ML
Statistical Query Hardness of Multiclass Linear Classification with Random Classification Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Athens（雅典大学）；Archimedes AI（阿基米德人工智能公司）
本文研究随机分类噪声下的多类线性分类，证明三类及以上时即使间隔恒定，达到最优误差也面临超多项式 SQ 下界，更多标签或更小间隔时连击败平凡假设都同样困难。
2025-02-17 cs.LG stat.ML
The Multimarginal Optimal Transport Formulation of Adversarial Multiclass Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）
本文研究对抗性多类分类问题，通过将其等价转化为广义重心问题与多边际最优传输问题，揭示了对抗学习的几何结构，并证明求解这些对偶问题可恢复最优鲁棒分类规则与对抗策略。
2023-05-26 cs.LG math.AP math.OC
Coarse- and fine-scale geometric information content of Multiclass Classification and implied Data-driven Intelligence
University of California, Davis（加州大学戴维斯分校）
在由特征集指定的标记点云集合定义的任何多类分类（MCC）设置下，我们仅从所有可能的点云三元组中提取随机偏序，而无需显式测量三个云到云的距离。我们证明了这样一个集体的偏序可以有效地计算一个标签嵌入树的几何标签空间。这棵树反过来又产生了一个预测图，或一个具有精确加权链接的网络。这两个多尺度的几何形状被认为是MCC的粗尺度信息内容。它们确实共同揭示了关于标签为什么以及如何产生的可解释知识，并通过数据支持的潜在多个候选标签促进了无错误预测。为了揭示标签内的异质性，我们进一步进行标记自然发现的集群内的每个点云，同样派生多尺度几何作为其精细尺度的信息内容包含在数据中。这种精细尺度的努力表明，我们的计算建议确实是可扩展的MCC设置具有较大的标签空间。总的来说，计算出的数据驱动模式和知识的多尺度集合将作为构建关于感兴趣系统的可见和可解释的主题智能的基础。
2021-04-15 cs.LG stat.ML
Radar-based Feature Design and Multiclass Classification for Road User Recognition
Daimler AG（戴姆勒股份公司）；University of Kassel（卡塞尔大学）
单个交通参与者的分类是一项复杂的任务，特别是对于具有多个道路使用者或恶劣天气条件下的挑战性场景。雷达传感器提供了一种-相对于完善的相机系统-测量这种场景的正交方式。为了获得准确的分类结果，从测量数据中提取了50种不同的特征，并对其性能进行了测试。从这些特征中选择合适的子集并传递到随机森林和长短期记忆（LSTM）分类器以获得雷达输入的类别预测。此外，它示出了为什么数据不平衡是一个固有的问题，在汽车雷达分类时，数据集不够大。为了克服这个问题，分类器二值化被用于其他技术中，以便更好地解释代表性不足的类。提出了一种新的方法来耦合产生的概率，并与其他人相比，取得了巨大的成功。最后的结果表明，与普通的多类分类相比，
2019-05-27 cs.LG cs.RO stat.ML
Large Margin Multiclass Gaussian Classification with Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）
随着越来越多的敏感个人信息被聚集到数据存储库中，开发用于处理数据而不泄露关于个体数据实例的信息的机制变得重要。差分隐私模型为这种机制的发展和理论分析提供了一个框架。在本文中，我们提出了一种算法，用于学习一个判别式训练的多类高斯分类器，满足差分隐私使用一个大的利润损失函数与扰动正则化项。我们提出了一个理论上的上限的扰动引入的分类器的超额风险。
2010-07-28 cs.CR cs.LG stat.ML
Lower Bounds on Adversarial Robustness for Multiclass Classification with General Loss Functions
University College London（伦敦大学学院）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
该研究针对多分类对抗鲁棒分类问题，推导了通用损失下鲁棒风险最小化的对偶与重心重构形式，给出多种损失的显式刻画，可高效计算紧下界并助力鲁棒分类器设计，还揭示了其与公平装箱、广义重心问题的关联，通过数值实验验证了交叉熵损失下可得到更紧下界。
2025-10-02 cs.LG math.OC stat.ML
Multiclass Classification via Class-Weighted Nearest Neighbors
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
我们研究的k-近邻算法的多类分类的统计特性，重点是设置类的数量可能是大的和/或类可能是高度不平衡的。特别是，我们考虑一个变种的k-近邻分类器与非均匀类权重，我们推导出上界和最小最大下界的准确性，类加权风险，和均匀误差。此外，我们表明，统一的误差界导致的经验混淆矩阵的数量和他们的人口之间的差异跨越一组权重的界限。因此，我们可以调整类权重以优化分类度量，例如F1得分或Matthew的相关系数，它们通常在实践中使用，特别是在具有不平衡类的设置中。我们还提供了一个简单的例子来实例化我们的边界和数值实验。
2020-05-04 cs.LG math.ST stat.ML
Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
当代机器学习应用通常涉及具有许多类的分类任务。尽管分类算法被广泛使用，但仍然缺乏对分类算法的统计特性和行为的精确理解，特别是在类别数量相当大的现代制度中。在本文中，我们在这个方向上迈出了一步，提供了第一个渐近精确的线性多类分类分析。我们的理论分析使我们能够精确地描述测试误差如何在不同的训练算法，数据分布，问题维度以及类数，类间/类内相关性和类先验之间变化。具体来说，我们的分析表明，分类精度高度依赖于分布，不同的算法可以针对不同的数据分布和/或训练/特征大小实现最佳性能。与线性回归/二元分类不同，多类分类中的测试误差依赖于训练模型的复杂函数（例如，一些训练权重之间的相关性），其渐近行为难以表征。这种挑战已经存在于简单的分类器中，例如那些最小化平方损失的分类器。我们新颖的理论技术使我们能够克服其中的一些挑战。所获得的见解可能为精确理解本文研究之外的其他分类算法铺平道路。
2020-11-16 cs.LG math.ST stat.ML
Self-Weighted Robust LDA for Multiclass Classification with Edge Classes
Xi’an Jiaotong University（西安交通大学）；Monash University（莫纳什大学）；Wenzhou University（温州大学）；Qilu University of Technology（齐鲁工业大学）；Shandong Academy of Sciences（山东省科学院）；Northwestern Polytechnical University（西北工业大学）
线性判别分析（LDA）是一种流行的技术，学习最具鉴别力的多类分类特征。绝大多数现有的LDA算法都倾向于被与其他算法有很大偏差的类所支配，即，边缘类是多类分类中经常出现的一类。首先，在计算类间散布矩阵时，边缘类的存在往往会使总均值有偏。其次，利用基于l2范数的类间距离准则，放大了边缘类对应的极大距离。在这方面，一种新的自加权鲁棒LDA与l21-范数为基础的成对类间距离准则，称为SWRLDA，提出了多类分类，特别是边缘类。SWRLDA可以自动避免最优均值计算，同时学习每个类对的自适应权重，而无需设置任何额外的参数。一个有效的重新加权算法被用来获得具有挑战性的l21-范数最大化问题的全局最优解。所提出的SWRLDA易于实现，在实践中收敛速度快。大量的实验表明，SWRLDA表现良好，对其他比较方法的合成和真实世界的数据集，同时提出优越的计算效率与其他技术相比。
2020-09-24 cs.LG stat.ML
Interpretable multiclass classification by MDL-based rule lists
Leiden University（莱顿大学）
最近，可解释分类器受到了数据采掘界越来越多的关注，因为它们本质上比更复杂的分类器更容易理解和解释。可解释的分类模型的示例包括决策树、规则集和规则列表。学习这样的模型通常涉及优化超参数，这通常需要大量的数据，并可能导致相对较大的模型。在本文中，我们考虑的问题，学习紧凑而准确的概率规则列表的多类分类。具体来说，我们提出了一种新的形式化的基础上概率规则列表和最小描述长度（MDL）的原则。这导致了几乎无参数的模型选择，自然允许权衡模型复杂性与拟合优度，从而有效地避免了过度拟合和超参数调整的需要。最后，我们介绍了Classy算法，该算法根据所提出的标准，greetly发现规则列表。我们的经验表明，Classy选择的小概率规则列表在预测性能和可解释性的结合方面优于最先进的分类器。我们表明，Classy是不敏感的唯一参数，即，候选集，以及训练集上的压缩与分类性能相关，验证了我们基于MDL的选择标准。
2019-10-31 cs.AI cs.LG stat.ML
Optimal arrangements of hyperplanes for multiclass classification
在本文中，我们提出了一种新的方法来构造多类分类器的安排超平面。我们提出了不同的混合整数（线性和非线性）规划公式的问题，广泛使用的措施，误分类观测的\textit{kernel trick}可以适应适用的扩展。并针对这些模型提出了一些降维和变量固定策略。一个广泛的电池的实验已经运行，揭示了我们的建议与其他先前提出的方法相比，强大的。
2019-04-04 math.OC stat.ML
The Real Price of Bandit Information in Multiclass Classification
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Google Research（谷歌研究院）；Technion（以色列理工学院）
本研究重新探讨带老虎机反馈的多类分类问题，揭示其极小极大后悔的精细形式，提出新算法并给出匹配下界，完善了该问题的后悔界理论。
2024-06-19 cs.AI cs.LG stat.ML
Blind Multiclass Ensemble Classification
University of Minnesota（明尼苏达大学）
人们对模式识别和数据分析的兴趣日益浓厚，这刺激了创新机器学习算法和工具的发展。然而，由于每个算法都有其优势和局限性，因此人们有动机明智地融合多个算法，以便为给定的数据集找到“最佳”执行算法。包围学习的目标是通过组合多个算法的输出来实现这种高性能的元算法。目前的工作介绍了一个盲计划学习的分类器，使用矩匹配方法，利用联合张量和矩阵分解。Blind是指组合器不知道每个分类器已经训练过的地面真实标签。一个严格的性能分析，并在合成和真实数据集上对所提出的方案进行评估。
2018-07-20 cs.LG eess.SP stat.ML
A novel multiclassSVM based framework to classify lithology from well logs: a real-world application
IIT Kharagpur（印度理工学院卡拉格普尔分校）
支持向量机（SVMs）已被公认为一个潜在的工具，监督分类分析在不同的研究领域。本质上，SVM是一个二元分类器。因此，在多类问题的情况下，问题被分成一系列的二元问题，这些二元问题由二元分类器来解决，最后分类结果按照一对一或一对所有策略进行组合。在本文中，已尝试分类岩性使用多类支持向量机为基础的框架，使用测井曲线作为预测变量。这里，根据地质专家建议的砂和页岩分数的相对值，将岩性分为四类，例如砂、泥质砂、砂质页岩和页岩。可用的数据集包括测井（伽马射线，中子孔隙度，密度，和P-声波）和类信息从四个紧密间隔的井从陆上油气田分为训练和测试集。我们使用了一个对所有的策略来结合多个二进制分类器的结果。报告的结果建立了多类SVM的优越性相比，其他分类器的分类精度。对核函数和相关参数的选择也进行了研究。可以设想，从本研究中取得的结果，所提出的框架的基础上多类SVM可以进一步用于解决分类问题。在未来的研究工作中，可以在框架中引入地震属性，从地震输入中对整个研究区域的岩性进行分类。
2016-12-02 cs.LG stat.AP stat.ML
An Optimal Transport Approach for Computing Adversarial Training Lower Bounds in Multiclass Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UC Santa Barbara（加州大学圣塔芭芭拉分校）；University of British Columbia（不列颠哥伦比亚大学）；Tufts University（塔夫茨大学）
本文利用多边际最优传输与多类对抗训练的联系，提出基于线性规划和Sinkhorn的可处理算法，用于计算最优对抗风险通用下界并识别最优分类器，在MNIST和CIFAR-10上验证了其有效性。
2024-01-17 cs.LG math.OC stat.ML
Optimal multiclass overfitting by sequence reconstruction from Hamming queries
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
在机器学习中过度重用测试数据集的主要问题是它可能导致过拟合。多类分类最近被证明比二进制分类更能抵抗过拟合。在COLT 2019的一个开放问题中，Feldman、Frostig和Hardt要求描述过拟合偏差量与类数$m$、准确性查询数$k$和数据集$n$中示例数的依赖性。我们解决这个问题，并确定在多类分类可能的过拟合量。我们提供了计算效率高的算法，实现过拟合偏差的$\tildeΘ(\max\{\sqrt{{k}/{(mn)}}, k/n\})$，匹配已知的上限。
2019-10-21 cs.IT cs.LG math.IT
Multiclass classification by sparse multinomial logistic regression
Tel Aviv University（特拉维夫大学）；The Open University of Israel（以色列开放大学）
在本文中，我们考虑高维多类分类稀疏多项式逻辑斯谛回归。我们首先提出了一个特征选择过程的基础上惩罚的最大似然模型的大小上的复杂性罚款，并推导出非渐近界的误分类过度风险的分类。我们还建立了相应的极小极大下界推导出他们的紧密性。特别是，我们表明，存在两个政权对应的小和大量的类。在附加的低噪声条件下，可以减小边界。然而，要找到具有复杂性惩罚的惩罚最大似然解，需要在所有可能的模型上进行组合搜索。为了设计一个计算上可行的高维数据的特征选择程序，我们提出了多项式逻辑组Lasso和斜率分类器，并表明它们也实现了极大极小化顺序。
2020-11-19 cs.LG math.ST stat.ME
Nonparametric plug-in classifier for multiclass classification of S.D.E. paths
针对时间齐次扩散路径的多类分类问题，提出基于漂移与扩散系数非参数估计的 plug-in 分类器，证明其一致性与收敛速率，并用数值实验验证理论结果。
2023-09-27 math.ST stat.ML stat.TH
Multiclass Classification without Labels via Posterior Simplex Geometry
Università degli Studi di Milano（米兰大学）；Istituto Nazionale di Fisica Nucleare（意大利国家核物理研究所）
研究从多个无标签混合物进行多类学习的问题，利用后验单纯形几何结构，提出无先验程序，通过训练标准分类器区分混合物身份并提取潜在类结构，实验证明能恢复潜在类及其比例，缩小弱监督与全监督性能差距。
2026-07-29 astro-ph.GA cs.AI cs.LG
Constructing Multiclass Classifiers using Binary Classifiers Under Log-Loss
School of Computer Science and Engineering, Hebrew University of Jerusalem（希伯来大学计算机科学与工程学院）
本文研究了从二进制元素构造多类分类器的方法，并通过后悔度来量化分类器的性能，后悔度是相对于贝叶斯最优对数损失定义的。我们讨论两种已知的方法。第一个是一对所有（OVA），我们证明了多类遗憾的上界的组成分类器的二进制遗憾的总和。第二种是基于二叉树的层次分类。对于这种方法，我们证明了多类遗憾是一个加权和的成分二进制遗憾的权重是由树结构。我们还介绍了一个存储层次分类方法，这可能会产生较小的日志损失和遗憾。这些分类方法的优点是通过模拟合成和现实生活中的数据集。
2021-08-12 cs.IT cs.LG math.IT
