The generalization error of max-margin linear classifiers: Benign overfitting and high dimensional asymptotics in the overparametrized regime
现代机器学习分类器通常在训练集上表现出消失的分类错误。他们通过学习输入的非线性表示将数据映射到线性可分离的类来实现这一目标。受这些现象的启发，我们重新审视线性可分数据的高维最大间隔分类。我们考虑一个程式化的设置，其中数据$(y_i,{\boldsymbol x}_i)$，$i\le n$是独立同分布的。其中${\boldsymbol x}_i\sim\mathsf{N}({\boldsymbol 0},{\boldsymbol Σ})$是$p$维高斯特征向量，$y_i \in\{+1,-1\}$是其分布取决于协变量$\langle {\boldsymbol θ}_*,{\boldsymbol x}_i \rangle$的线性组合的标记。虽然高斯模型可能看起来非常简单，但可以使用普适性参数来表明在此设置中导出的结果也适用于某些非线性特征化映射的输出。我们考虑了$n,p\to\infty$与$p/n\to ψ$的比例渐近性，并导出了极限推广误差的精确表达式。我们使用这个理论来推导出两个结果的独立利益：$(i)$充分条件$({\boldsymbol Σ},{\boldsymbol θ}_*)$的“良性过拟合”，平行先前推导条件的情况下，线性回归; $(ii)$一个渐近精确的表达式的泛化误差时，最大利润率分类与随机单层神经网络产生的特征向量一起使用。
2023-03-22 math.ST stat.ML stat.TH
Tight Risk Bounds for Multi-Class Margin Classifiers
Institute of Information Transmission Problems（信息传输问题研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们考虑一个大间隔多类分类器的风险估计问题。我们提出了一个新的风险界的多类分类问题。该界涉及分类器的边缘分布和假设类的拉德马赫复杂度。我们证明了我们的界在类数上是紧的。最后，我们比较了我们的界与相关的，并提供了一个简化版本的多类分类与核为基础的假设的界。
2016-07-02 cs.LG stat.ML
Universality of max-margin classifiers
本文研究非高斯及随机特征化下最大间隔二分类器的高维行为，证明其线性可分阈值与泛化误差具有普适性，并可由高斯模型及协方差确定。
2023-09-29 math.ST stat.ML stat.TH
Sequential Maximum Margin Classifiers for Partially Labeled Data
University of Michigan（密歇根大学）
在许多现实世界的应用中，数据不是作为一个批次，但随着时间的推移，它往往是不可能的或可取的，直到数据被完全收集之前分析it.Thus，我们提出了一个框架，利用最大熵歧视原则顺序更新的最大间距分类器。我们的最大间隔分类器允许内核表示来表示大量的特征，并且还可以相对于平滑的子流形进行正则化，从而允许它包含未标记的观测。我们比较了我们的分类器的性能，其非连续的等价物在模拟和真实的数据集。
2018-03-07 cs.LG stat.ML
Tight bounds for maximum $\ell_1$-margin classifiers
ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
流行的迭代算法，如线性模型上的提升方法和坐标下降收敛到最大$\ell_1$ -边缘分类器，也称为。稀疏硬边缘SVM，在高维制度，其中数据是线性可分的。以前的作品一致表明，许多估计依赖于$\ell_1$ -范数实现硬稀疏地面真理的统计率提高。我们发现，令人惊讶的是，这种自适应性不适用于最大的$\ell_1$ -保证金分类标准的歧视性设置。特别是，对于无噪声设置，我们证明了严格的上限和下限的预测误差，以$\frac{\|w^*\|_1^{2/3}}{n^{1/3}}$一般地面真理匹配现有的利率。为了完成图片，我们表明，当插值噪声观测，误差消失的速度为$\frac{1}{\sqrt{\log(d/n)}}$。因此，我们首先展示了最大$\ell_1$边缘分类器的良性过拟合。
2023-01-20 cs.LG stat.ML
Margin-Based Generalization Lower Bounds for Boosted Classifiers
Aarhus University（奥胡斯大学）；UC Berkeley（加州大学伯克利分校）
Boosting是机器学习中最成功的思想之一。对于诸如AdaBoost之类的boosting算法的低泛化误差，最广为接受的解释来自裕度理论。在提升算法的背景下对边缘的研究是由Schapire，Freund，Bartlett和Lee（1998）发起的，并且启发了许多提升算法和泛化边界。迄今为止，已知最强的推广（上界）是高和周（2013）的$k$ th边缘界。尽管在过去的二十年中已经证明了许多推广的上界，但对这些界的紧密性一无所知。在本文中，我们给出了提升分类器的泛化误差的第一个基于边缘的下界。我们的下界几乎匹配的$k$ th边缘界，从而几乎解决了提升分类器的泛化性能的边缘。
2020-05-07 cs.DS cs.LG stat.ML
Stability Enhanced Large-Margin Classifier Selection
稳定性是分类程序的一个重要方面，因为不稳定的预测可能会降低用户对分类系统的信任，也会损害科学结论的可重复性。我们工作的主要目标是引入分类不稳定性的新概念，即，决策边界不稳定性（DBI），并将其与泛化误差（GE）作为选择最准确和最稳定的分类器的标准。具体来说，我们实现了一个两阶段的算法：（i）最初选择一个子集的分类器，其估计的GE是不显着不同的所有候选分类器之间的最小估计GE;（ii）最佳的分类器被选为一个实现最小DBI在阶段（i）中选择的子集。这个一般的选择原则适用于线性和非线性分类器。大间隔分类器作为一个典型的例子来说明上述思想。我们的选择方法是一致的，在这个意义上，最佳分类器同时实现最小的GE和最小的DBI。各种模拟和真实的例子进一步证明了我们的方法优于几种替代方法。
2017-01-20 stat.ML
When Will Gradient Methods Converge to Max-margin Classifier under ReLU Models?
The Ohio State University（俄亥俄州立大学）
研究了线性可分数据集上的梯度下降方法在解决二元分类问题时的隐式偏差。分类器采用非线性ReLU模型描述，目标函数采用指数损失函数。我们首先描述景观的损失函数，并表明，可以存在虚假的渐近局部极小值，除了渐近全局极小值。然后，我们表明，梯度下降（GD）可以收敛到一个全球或当地的最大利润率的方向，或可能偏离所需的最大利润率的方向在一般情况下。对于随机梯度下降（SGD），我们表明，它收敛于预期的全局或局部最大利润的方向，如果SGD收敛。我们进一步探索了这些算法在某些固定条件下学习多神经元网络时的隐式偏差，并表明学习的分类器在ReLU激活下最大化了每个样本模式分区的边缘。
2018-10-15 cs.LG stat.ML
Apportioned Margin Approach for Cost Sensitive Large Margin Classifiers
Ariel University（阿里尔大学）；Ben-Gurion University（本-古里安大学）
我们考虑的问题，成本敏感的多类分类，我们想增加一个重要的类的敏感性在一个不太重要的代价。我们采用了{ \em分摊保证金}框架来解决这个问题，这使得共享相同边界的类之间的有效保证金转移。所有类别对之间的决策边界根据给定的优先级向量划分它们之间的余量，这为重要类别产生更严格的误差界限，同时还减少了总体样本外误差。除了证明我们的框架的有效实施，我们推导出泛化界限，证明Fisher一致性，适应美世的内核和神经网络的框架，并报告有前途的经验结果的所有帐户。
2020-02-04 cs.LG stat.ML
Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization
UC Berkeley（加州大学伯克利分校）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）；Google（谷歌）
通过梯度流对逻辑损失进行训练的线性分类器和Leaky ReLU网络对满足Karush-Kuhn-Tucker（KKT）边际最大化条件的解决方案具有隐式偏差。在这项工作中，我们建立了一些设置，其中满足这些KKT条件意味着线性分类器和双层泄漏ReLU网络中的良性过拟合：估计器内插噪声训练数据，同时很好地推广到测试数据。这些设置包括在以前的工作中考虑的噪声类条件高斯的变体，以及以前没有观察到的良性过拟合的新分布设置。我们证明的关键因素是观察到，当训练数据接近正交时，线性分类器和泄漏ReLU网络都满足KKT条件，以解决各自的间隔最大化问题，表现得像训练样本的几乎均匀平均值。
2023-03-02 cs.LG stat.ML
Large dimensional analysis of general margin based classification methods
University of Georgia（佐治亚大学）；Zhongnan University of Economics and Law（中南财经政法大学）
基于边缘的分类器在机器学习和统计分类问题中都很受欢迎。由于大量的分类器是可用的，一个自然的问题是哪种类型的分类器应该被使用给定的一个特定的分类任务。我们回答这个问题，调查的两个组件的混合模型下的数据维度$p$和样本$n$都很大的情况下，一个家庭的大利润分类器的渐近性能。这个家族涵盖了广泛的分类器，包括支持向量机，距离加权判别，惩罚逻辑斯谛回归，以及作为特殊情况的大边缘统一机。渐近结果描述了一组非线性方程组，我们观察到他们的密切配合与有限数据样本上的蒙特卡罗模拟。我们的分析研究揭示了新的光如何选择最好的分类器之间的各种分类方法，以及如何选择最佳的调整参数为一个给定的方法。
2021-10-18 cs.LG stat.CO stat.ML
Finite-sample Analysis of Interpolating Linear Classifiers in the Overparameterized Regime
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们证明了两类线性分类的最大间隔算法的人口风险的界。对于线性可分离的训练数据，最大间隔算法在以前的工作中已经被证明相当于使用梯度下降的逻辑损失的训练极限，因为训练误差被驱动到零。我们分析了该算法适用于随机数据，包括误分类噪声。我们对干净数据的假设包括类条件分布是标准正态分布的情况。错误分类噪声可以由对手选择，受到损坏标签的分数的限制。我们的界限表明，有足够的过参数化，最大利润率算法训练的噪声数据可以实现近最优的人口风险。
2021-06-01 cs.LG math.ST stat.ML
Learning Classifiers with Fenchel-Young Losses: Generalized Entropies, Margins, and Algorithms
NTT CS laboratories（NTT计算机科学实验室）；Unbabel（Unbabel公司）；Instituto de Telecomunicações（电信研究所）
本文研究了Fenchel-Young损失，这是一种从正则化函数构造凸损失函数的通用方法。我们深入分析了它们的性质，表明它们统一了许多著名的损失函数，并允许轻松创建有用的新损失函数。从广义熵（包括香农熵和Tsallis熵）构建的Fenchel-Young损失可诱导预测概率分布。我们制定的条件，广义熵产生损失的分离利润，和概率分布稀疏支持。最后，我们推导出有效的算法，使Fenchel-Young损失在理论和实践上都具有吸引力。
2019-02-22 cs.LG stat.ML
Fix your classifier: the marginal value of training the last weight layer
Department of Electrical Engineering（电气工程系）；Technion（以色列理工学院）
神经网络通常被用作各种任务的分类模型。通常，学习的仿射变换被放置在这样的模型的末尾，产生用于分类的每个类的值。该分类器可以具有大量的参数，这些参数随着可能的类的数量线性增长，因此需要越来越多的资源。在这项工作中，我们认为，这个分类器可以是固定的，直到一个全球规模常数，很少或没有损失的准确性，为大多数任务，允许内存和计算的好处。此外，我们表明，通过初始化的分类与阿达玛矩阵，我们可以加快推理以及。我们讨论了当前理解的神经网络模型的影响。
2018-03-20 cs.CV cs.LG stat.ML
Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures
The University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California San Diego（加州大学圣迭戈分校）
现代机器学习系统（如深度神经网络）通常是高度过参数化的，因此它们可以精确地拟合嘈杂的训练数据，但在实践中仍然可以实现小的测试误差。在本文中，我们研究了线性分类问题的最大间隔分类器的这种“良性过拟合”现象。具体来说，我们考虑从亚高斯混合物生成的数据，并提供了一个严格的风险界的最大利润线性分类器在过参数化设置。我们的研究结果精确地描述了在线性分类问题中可能发生良性过拟合的条件，并改进了以前的工作。它们也对过度参数化的logistic回归有直接影响。
2022-01-03 cs.LG math.ST stat.ML
Soft-margin classification of object manifolds
对单个对象的多次出现做出响应的神经群体在神经响应空间中定义了流形。分类这种流形的能力是感兴趣的，因为对象识别和其他计算任务需要对流形内的变化不敏感的响应。线性分类的对象流形以前研究了最大边缘分类。软边缘分类器是一类较大的算法，并提供了一个额外的正则化参数，用于通过在更少的训练错误和学习更鲁棒的分类器之间进行平衡来优化训练集之外的性能。在这里，我们开发了一个平均场论描述的软边缘分类器应用于对象流形的行为。随着流形分析的复杂性不断增加，从点到球面再到一般流形，平均场论描述了线性分类器范数的期望值，以及场和松弛变量的分布。通过分析学习的分类对噪声的鲁棒性，我们可以预测分类错误的概率及其对正则化的依赖性，证明了有限的最佳选择。该理论描述了一个以前未知的相变，对应于一个非平凡的解决方案的消失，从而提供了一个软版本的著名的最大利润率分类器的分类能力。
2022-03-14 cond-mat.dis-nn cond-mat.stat-mech cs.NE
Minimax learning rates for estimating binary classifiers under margin conditions
Faculty of Mathematics, University of Vienna, Austria（维也纳大学数学系，奥地利）
研究在几何边际条件下二元估计器的分类问题，推导了广义函数类下的最差情况学习率下界，揭示了Barron正则函数、Hölder连续函数和强边际凸Lipschitz函数的最优学习率接近O(n^{-1})。
2026-03-13 cs.LG math.PR stat.ML
Multiclass Graph-Based Large Margin Classifiers: Unified Approach for Support Vectors and Neural Networks
Graduate Program in Electrical Engineering, Universidade Federal de Minas Gerais（电气工程联合培养项目，巴西米纳斯吉拉斯联邦大学）；Department of Computer and Systems, Universidade Federal de Ouro Preto（计算机与系统系，巴西欧鲁普穆联邦大学）
本文提出了一种基于Gabriel图的多类大边距分类器，通过改进支持向量和神经网络结构，提升分类性能。
2025-12-15 cs.LG stat.ML
The Performance Analysis of Generalized Margin Maximizer (GMM) on Separable Data
California Institute of Technology（加州理工学院）
逻辑模型通常用于二进制分类任务。这些模型的成功往往归因于它们与最大似然估计的联系。它已被证明，梯度下降算法，当应用于逻辑损失，收敛到最大边缘分类器（a.k.a.硬边缘SVM）。最近已经分析了最大间隔分类器的性能。受这些结果的启发，在本文中，我们提出并研究了一个更一般的设置，其中逻辑模型的底层参数具有一定的结构（稀疏，块稀疏，低秩等）。并引入更一般的框架（其被称为“广义边际最大化器”，GMM）。虽然经典的最大间隔分类器最小化的$2$ -范数的参数向量线性分离的数据，GMM最小化的参数向量的任何任意凸函数。我们提供了一个精确的分析GMM的性能，通过一个系统的非线性方程的解决方案。我们还提供了三个特殊情况下的详细研究：（$1$）$\ell_2$ -GMM，这是最大间距分类器，（$2$）$\ell_1$ -GMM，鼓励稀疏，（$3$）$\ell_{\infty}$ -GMM，这是经常使用的参数向量时，有二进制条目。我们的理论结果验证了广泛的模拟结果在一系列的参数值，问题实例和模型结构。
2020-10-29 cs.LG stat.ML
Marginal and simultaneous predictive classification using stratified graphical models
归纳概率分类规则一般必须遵循贝叶斯预测推理的原则，使得所有观察到的和未观察到的随机量被联合建模，并且通过后验预测分布完全承认参数的不确定性。几个这样的规则最近已被认为是其渐近行为的特征在于假设所观察到的功能或用于建立一个分类器的变量是有条件的独立给定的同时标记的训练样本和那些从一个未知的来源。在这里，我们将理论结果扩展到预测分类器，通过图形模型或定义为分层图形模型的稀疏替代品来确认特征依赖关系。我们还表明，通过实验与合成和真实的数据，预测分类器的基础上分层的图形模型具有一致的最佳精度相比，预测分类器的基础上，无论是条件独立的功能或普通的图形模型。
2014-01-31 stat.ML
Horospherical Decision Boundaries for Large Margin Classification in Hyperbolic Space
University of Florida（佛罗里达大学）；National Taiwan University（台湾大学）
针对双曲空间大间隔分类中决策边界导致非凸优化的问题，提出基于超球面决策边界的分类器，实现测地凸优化并保证全局最优，实验显示性能与SOTA相当。
2023-09-28 cs.LG stat.ML
Population-Guided Large Margin Classifier for High-Dimension Low -Sample-Size Problems
Dalian Maritime University（大连海事大学）；University of North Carolina（北卡罗来纳大学）；Stanford University（斯坦福大学）；Korea University（高丽大学）
在不同领域的各种应用中，例如基因表达分析或计算机视觉，遭受具有高维低样本大小（HDLSS）的数据集，这对标准统计和现代机器学习方法提出了重大挑战。在本文中，我们提出了一种新的线性二元分类器，表示人口引导的大间隔分类器（PGLMC），这是适用于任何类型的数据，包括HDLSS。PGLMC的投影方向w由超平面的局部结构信息和训练样本的统计信息综合考虑而给出。与那些广泛使用的方法相比，我们提出的模型具有几个优点。首先，它对截距项b不敏感。第二，它在不平衡的数据下运行良好。第三，基于二次规划的实现相对简单。第四，它对各种实际应用的模型规范是鲁棒的。证明了PGLMC的理论性质。我们对两个模拟和六个真实世界的基准数据集进行了一系列评估，包括DNA分类，数字识别，医学图像分析和人脸识别。在大多数情况下，PGLMC优于最先进的分类方法，或至少获得相当的结果。
2021-01-25 cs.LG stat.ML
Robust Large-Margin Learning in Hyperbolic Space
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
最近，人们对双曲空间中的表示学习产生了浓厚的兴趣，这是因为双曲空间能够表示比标准欧几里得空间维数少得多的层次数据。然而，双曲空间在下游机器学习任务中的可行性和好处却受到较少的关注。在本文中，我们提出，据我们所知，第一个理论保证学习分类在双曲而不是欧几里得空间。具体来说，我们考虑的问题，学习一个大的利润分类器的数据具有层次结构。我们提供了一种算法来有效地学习一个大的边缘超平面，依赖于仔细注入对抗性的例子。最后，我们证明了对于嵌入双曲空间的分层数据，当直接在双曲空间中学习分类器时，低嵌入维数确保了更好的保证。
2022-11-01 cs.LG stat.ML
Cellular Tree Classifiers
McGill University（麦吉尔大学）
细胞树分类器模型解决了并行或分布式计算世界中分类器设计中的一个基本问题：给定一个数据集，是否足以应用多数规则进行分类，或者将数据分成两个或多个部分并将每个部分发送到可能不同的计算机（或单元）进行进一步处理？乍一看，似乎不可能用这种范例定义一致的分类器，因为没有细胞知道“原始数据大小”$n$。然而，我们表明，这是不是这样，通过展示两个不同的一致的分类。一致性是普遍的，但只显示与非原子边缘的分布。
2013-06-25 cs.LG math.ST stat.ML
An Uncertainty Framework for Classification
我们定义了一个广义似然函数的不确定性措施的基础上，并表明，最大限度地提高这样的似然函数不同的措施，诱导不同类型的分类。在概率框架中，我们获得了优化交叉熵函数的分类器。在可能性框架中，我们得到的分类器，最大限度地提高类间的利润。此外，我们表明，支持向量机是这些最大间距分类器的子类。
2013-01-16 cs.LG stat.ML
The Pessimistic Limits and Possibilities of Margin-based Losses in Semi-supervised Learning
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
考虑一个分类问题，其中我们有标记和未标记的数据。我们表明，线性分类器定义的凸利润为基础的代理损失正在减少，这是不可能构建任何半监督的方法，能够保证改进的监督分类器上的标记和未标记的数据上的代理损失。对于也增加的凸边际损失函数，我们证明了安全的改进是可能的。
2019-01-08 cs.LG stat.ML
The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing
Foxstream（福克斯崔姆公司）；Miles Team, LAMSADE, Université Paris-Dauphine, PSL University（迈尔斯团队、兰萨德实验室、巴黎多芬大学、PSL大学）；ECE, New York University（纽约大学电气与计算机工程系）；ESPCI PSL（巴黎高等物理化工学院 PSL大学）
本文提出一种增强随机平滑的方法，通过利用Lipschitz常数与方差-间隔权衡，结合Bernstein不等式和增强Lipschitz界，显著提升认证精度，并支持零样本使用预训练模型。
2024-03-18 cs.LG stat.ML
Optimal AdaBoost Converges
Ohio State University（俄亥俄州立大学）
本文通过形式化证明，展示了AdaBoost分类器及其边距收敛到与长期研究一致的值，并分析了组合分类器相关量的收敛性。
2023-10-14 cs.LG math.DS stat.ML
Support Vector Machine Classifier via $L_{0/1}$ Soft-Margin Loss
Beijing Jiaotong University（北京交通大学）；Hainan University（海南大学）；University of Southampton（南安普顿大学）
支持向量机由于其广泛的应用在过去的二十年里引起了人们的极大关注，并提出了许多最优化模型。为了区分所有这些，在本文中，我们引入了一个新的模型配备了一个$L_{0/1}$软利润损失（称为$L_{0/1}$ -SVM），很好地捕捉了二进制分类的性质。许多现有的凸/非凸软余量损失可以被视为$L_{0/1}$软余量损失的替代。尽管$L_{0/1}$是离散的，但我们证明了新模型的全局极小解的存在性，并揭示了其极小解与KKT/P-平稳点之间的关系.这些理论性质使我们能够利用乘子的交替方向法。此外，$L_{0/1}$ -支持向量算子被引入作为一个过滤器，以防止在训练过程中的支持向量离群值。因此，预计该方法相对稳健。最后，数值实验表明，我们提出的方法产生更好的性能，在更短的计算时间，更少的支持向量的数量时，对其他一些领先的方法在支持向量机领域。当数据量越来越大时，它的优势变得更加明显。
2021-04-05 cs.LG math.OC stat.ML
Near-Exponential Convergence Rates for kNN Classification based on Boltzmann Margin
School of Computer Science, University of Oklahoma（计算机科学系，俄克拉荷马大学）
提出玻尔兹曼间隔条件，介于Tsybakov与Massart间隔之间，首次证明kNN分类器可实现近指数收敛速率。
2026-10-16 cs.LG stat.ML
Simultaneous adaptation to the margin and to complexity in classification
我们考虑的问题，适应的边缘和复杂性的二进制分类。我们建议一个指数加权聚合计划。我们使用这种聚合过程来构建自动适应边缘和复杂性的分类器。两个主要的例子，其中自适应性是在Steinwart和Scovel [学习理论]提出的框架中实现的。计算机中的笔记。Sci. 3559（2005）279- 294。Springer，Berlin; Ann. Statistist. 35（2007）575- 607]和Tsybakov [Ann. Statist. 32（2004）135- 166]。自适应方案，如ERM或惩罚ERM，通常涉及最小化步骤。我们的程序并非如此。
2007-10-19 math.ST stat.ML stat.TH
Maximum margin classifier working in a set of strings
数字和数字向量占数据的很大一部分。然而，最近生成的字符串数据量急剧增加。因此，分类字符串数据是一个共同的问题，在许多领域。解决这个问题最广泛使用的方法是使用字符串内核将字符串转换为数值向量，然后应用在数值向量空间中工作的支持向量机。然而，这种非一对一的转换涉及信息的损失，并且考虑到用于训练和测试机器的给定数据是根据概率定律生成的字符串，使得不可能使用概率论来评估学习机的泛化误差。在这项研究中，我们通过构建一个在一组字符串中工作的分类器来解决这个分类问题。为了从理论上评估这种分类器的泛化误差，需要字符串的概率论。因此，我们首先扩展了一个关于弦的一致序列的渐近行为的极限定理，它是数值向量的平均值的对应物，正如作者之一及其同事在以前的研究中提出的关于弦的度量空间的概率论中所证明的那样[18]。使用所得到的结果，我们然后证明，我们的学习机分类字符串在一个渐近最优的方式。此外，我们证明了我们的机器在实际数据分析中的有用性，通过应用它来预测蛋白质-蛋白质相互作用，使用氨基酸序列。
2016-02-23 stat.ML
Multi-category Angle-based Classifier Refit
针对高维低样本量下多类别分类概率估计因强正则化产生偏差的问题，提出一种多类别基于角度分类器的低成本重拟合策略，在保持预测精度的同时显著改善概率估计。
2025-03-15 math.ST stat.ML stat.TH
Margins are Insufficient for Explaining Gradient Boosting
Aarhus University（奥胡斯大学）
Boosting是机器学习中最成功的想法之一，几乎不需要微调就可以实现很好的实际性能。提升分类器的成功通常归因于边缘的改善。对边缘解释的关注是由Schapire et al.（1998）开创的开创性工作，并在Gao和Zhou（2013）的$k$的边缘概括中达到高潮，最近被证明对于某些数据分布来说是接近紧密的（Gronlund et al. 2019）。在这项工作中，我们首先证明了$k$的第三边界是不够的，在解释国家的最先进的梯度助推器的性能。然后，我们解释了短期的$k$ 'th边缘界，并证明了一个更强大，更精细的边缘为基础的推广界的提升分类器，确实成功地解释了现代梯度助推器的性能。最后，我们改进了Grønlund et al.（2019）最近的泛化下界。
2020-11-10 cs.LG stat.ML
Nuances in Margin Conditions Determine Gains in Active Learning
Columbia University（哥伦比亚大学）
我们认为非参数分类与平滑回归函数，这是众所周知的，在$E[Y|X]$的利润率的概念确定快速或慢速主动和被动学习。在这里，我们阐明了这两种设置之间的显著区别。也就是说，我们表明，一些看似良性的细微差别，在利润的概念-涉及贝叶斯分类器的独特性，并没有明显的影响率在被动学习-决定是否任何主动学习者可以优于被动学习率。特别是，对于Audibert-Tsybakov的边际条件（允许具有非唯一贝叶斯分类器的一般情况），没有主动学习者可以在通常研究的设置中获得被动学习，其中$X$的边际接近均匀。因此，我们的研究结果否定了过去文献中的通常直觉，即在非参数设置中，主动利率应优于被动利率。
2022-02-25 cs.LG stat.ML
Large Margin Multiclass Gaussian Classification with Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）
随着越来越多的敏感个人信息被聚集到数据存储库中，开发用于处理数据而不泄露关于个体数据实例的信息的机制变得重要。差分隐私模型为这种机制的发展和理论分析提供了一个框架。在本文中，我们提出了一种算法，用于学习一个判别式训练的多类高斯分类器，满足差分隐私使用一个大的利润损失函数与扰动正则化项。我们提出了一个理论上的上限的扰动引入的分类器的超额风险。
2010-07-28 cs.CR cs.LG stat.ML
On the Current State of Research in Explaining Ensemble Performance Using Margins
Miami University（迈阿密大学）；University of Alabama（阿拉巴马大学）
经验证据表明，集成，如装袋，助推，随机和旋转森林，一般表现更好的泛化误差比个人分类器。为了解释这种性能，Schapire et al.（1998）基于训练数据的裕度开发了集成的泛化误差的上限，从中得出结论，较大的裕度应导致较低的泛化误差，其他条件相同。许多其他研究人员支持这一假设，并提出了更严格的边界上的泛化误差的基础上的利润率或利润率的功能。例如，Shen和Li（2010）提供的证据表明，投票分类器的泛化误差可以通过增加均值和减少边缘的方差来减少。在这篇文章中，我们提出了几种技术和实证检验是否在解释合奏表演的研究现状举行。我们评估所提出的方法，通过实验与真实和模拟数据集。
2019-06-07 cs.LG stat.CO stat.ML
An Algorithm to perform Covariance-Adjusted Support Vector Classification in Non-Euclidean Spaces
本研究提出了一种在非欧几里得空间中通过协方差调整改进SVM分类的算法，通过引入数据协方差优化提升分类性能。
2026-03-10 cs.LG stat.ML
Ensemble Pruning via Margin Maximization
Miami University（迈阿密大学）
包围模型是指将通常大量的分类器组合成复合预测的方法。集成方法的输出是将基础学习算法拟合到给定数据集的结果，并通过重新加权观察或使用给定的概率选择重新排序它们来获得不同的答案。在大规模多维数据中使用集成的一个关键挑战在于与它们相关的复杂性和计算负担。由集成创建的模型通常很难解释，如果不是不可能的话，并且它们的实现需要比单个分类器更多的计算能力。该领域最近的研究工作集中在减少合奏大小，同时保持其预测精度。我们提出了一种方法来修剪集成解决方案，通过优化其边缘分布，同时增加其多样性。所提出的算法的结果，在合奏，只使用一小部分的原始分类器，提高或类似的泛化性能。我们分析和测试我们的方法在合成和真实的数据集。仿真结果表明，所提出的方法相比，毫不逊色于原来的集成解决方案和其他现有的集成修剪方法。
2019-06-07 cs.LG stat.CO stat.ML
On the Insufficiency of the Large Margins Theory in Explaining the Performance of Ensemble Methods
Miami University（迈阿密大学）；University of Alabama（阿拉巴马大学）
Boosting和其他集成方法通过加权投票将大量弱分类器组合在一起，以产生更强的预测模型。为了解释boosting算法的成功性能，Schapire等人（1998）表明AdaBoost在增加训练数据的边缘方面特别有效。Schapire等人（1998年）还根据训练数据的裕量提出了任何总体的泛化误差的上限，由此得出结论，在其他条件相同的情况下，裕量越大，泛化误差越小（有时称为“大裕量理论”）。更严格的界限已经推导出来，并加强了大利润理论假设。例如，Wang et al.（2011）提出，特定的利润率实例，如均衡利润率，可以更好地总结利润率分布。这些结果导致许多研究人员考虑直接优化的利润，以改善集成泛化误差与混合的结果。我们表明，大利润率理论是不足以解释的投票分类器的性能。我们通过说明如何在保持复杂度固定的同时，提高集成解决方案的裕度分布，而不提高测试集性能来做到这一点。
2019-06-10 cs.LG stat.CO stat.ML
A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers
University of Chicago（芝加哥大学）；Harvard University（哈佛大学）
本文从统计和计算的角度出发，建立了一个精确的高维渐近理论，用于可分离数据的提升。我们考虑一个高维设置的功能（弱学习者）的数量$p$规模与样本量$n$，在overparametrized制度。在一类统计模型下，我们提供了一个精确的分析时，该算法插值的训练数据和最大化的经验$\ell_1$ -裕度的推广错误的提升。此外，我们明确地确定了提升测试误差和最佳贝叶斯误差之间的关系，以及插值时活动特征的比例（零初始化）。反过来，这些精确的表征回答了在假设的数据生成过程下，在\cite{breiman1999prediction, schapire1998boosting}中围绕提升提出的某些问题。在我们的理论的核心在于深入研究的最大- $\ell_1$ -余量，这可以准确地描述了一个新的系统的非线性方程，分析这个余量，我们依靠高斯比较技术，并开发了一个新的均匀偏差的论点。我们的统计和计算参数可以处理（1）特征分布的任何有限秩尖峰协方差模型和（2）对应于一般$\ell_q$几何结构的增强变体，$q \in [1, 2]$。作为最后一个组成部分，通过Lindeberg原理，我们建立了一个普适性结果，显示缩放的$\ell_1$ -余量（渐近）保持不变，无论用于提升的协变量来自非线性随机特征模型还是具有匹配矩的适当线性化模型。
2021-07-22 cs.IT cs.LG math.IT
Large scale analysis of generalization error in learning using margin based classification methods
University of Georgia（佐治亚大学）；Zhongnan University of Economics and Law（中南财经政法大学）
大间隔分类器是流行的分类方法。在样本量$n$和维数$p$都限制为$\infty$且$α=n/p$为固定比率的情况下，推导了一类大间隔分类器推广误差的渐近表达式.这个系列涵盖了广泛的常用分类器，包括支持向量机，距离加权判别，和惩罚逻辑斯谛回归。我们的结果可以用来建立两类分离的相变边界。我们假设数据是从具有任意协方差结构的单个多元高斯分布生成的。我们探索了协方差阵的两种特殊选择：尖峰种群模型和具有随机第一层权重的两层神经网络。我们用于推导封闭形式表达式的方法来自统计物理学，称为复制方法。当$n,p$为几百的数量级时，我们的渐近结果已经与模拟相匹配。对于两层神经网络，我们重现最近开发的“双下降”现象的几个分类模型。我们还讨论了一些统计见解，可以从这些分析得出。
2020-07-16 cs.LG stat.CO stat.ML
High-dimensional classification problems with Barron regular boundaries under margin conditions
Faculty of Mathematics, University of Vienna（维也纳大学数学学院）
本文证明三隐藏层 ReLU 网络可在间隔条件下高效逼近 Barron 正则边界分类器，并得到接近 $n^{-1}$ 的快速学习界，且通过含 MNIST 的多维度二分类实验验证。
2025-01-10 cs.LG math.PR stat.ML
Towards Stable and Comprehensive Domain Alignment: Max-Margin Domain-Adversarial Training
Nanyang Technological University（南洋理工大学）；University of California, Berkeley（加州大学伯克利分校）
领域自适应解决了将知识从标签丰富的源领域转移到标签稀缺甚至未标记的目标领域的问题。最近，域对抗训练（DAT）已经显示出通过反转域分类器的梯度传播来学习域不变特征空间的有前途的能力。然而，DAT在几个方面仍然很脆弱，包括（1）由于对抗训练中领域分类器的压倒性区分能力而导致的训练不稳定性，（2）限制性特征级对齐，以及（3）缺乏对学习特征空间的可解释性或系统性解释。在本文中，我们提出了一种新的最大边缘域对抗训练（MDAT）通过设计一个对抗重建网络（ARN）。建议MDAT稳定ARN中的梯度反转通过用重建网络代替域分类器，并且以这种方式ARN进行特征级和像素级域对齐而不涉及额外的网络结构。此外，ARN对各种超参数设置表现出很强的鲁棒性，大大减轻了模型选择的任务。大量的实验结果验证了我们的方法优于其他国家的最先进的域对齐方法。此外，重构自适应特征揭示了符合我们直觉的域不变特征空间。
2020-03-30 cs.LG stat.ML
A Modified Construction for a Support Vector Classifier to Accommodate Class Imbalances
给定一个具有二进制分类的训练集，支持向量机识别使两类训练数据之间的间隔最大化的超平面。这个一般公式是有用的，因为它可以被应用而不考虑类之间的方差差异。然而，忽略这些差异并不是最佳的，因为一般的SVM会给具有较低方差的类一个无法避免的距离。这增加了其他类别的错误分类的机会，并导致预测性能的整体损失。提出了一种替代构造，其中分离超平面的边缘对于每个类是不同的，每个边缘与其类沿垂直于超平面的方向的标准差成比例。在类方差相等的情况下，该构造与SVM一致。然后，本文将研究修改后的约束方程的对偶表示的影响。
2017-02-10 cs.LG stat.ML
Large Scale, Large Margin Classification using Indefinite Similarity Measures
尽管流行的核化支持向量机取得了成功，但它们有两个主要限制：它们仅限于半正定（PSD）核，并且它们的训练复杂度至少与数据大小成二次方。许多样本对之间的相似性的自然度量不是PSD，例如不变内核，以及由潜变量模型隐式或显式定义的那些。在本文中，我们研究了可扩展的方法，使用不确定的相似性措施，在大利润率的框架。特别是，我们表明，一个子集的数据点的相似性的归一化构成了一个表示适合线性分类器。其结果是一个分类器，这是竞争的核心SVM的准确性，尽管有更好的训练和测试时间复杂度。实验结果表明，在CIFAR-10数据集上，该模型配备了对刚性和非刚性变形不变的相似性度量，可以使稀疏度提高5倍以上，同时比使用RBF核的核化SVM更准确。
2014-05-27 cs.CV cs.LG stat.ML
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文证明梯度下降训练的 batch normalization 会使线性二分类模型收敛至均匀间隔解，并将该隐式偏差推广到两层线性卷积网络的逐块均匀间隔。
2023-07-11 cs.LG math.OC stat.ML
Weighting-Based Strategies for Classification: Analysis and Local Peak Dynamics with CART Trees
Artefact Research Center（Artefact研究中心）
该研究对比分类任务中未加权与加权策略的性能，理论证明渐近下二者性能相近，数值实验显示特定场景加权策略更优，并引入指标指导实践者判断数据集是否适用加权策略。
2026-10-14 cs.LG stat.ML
Stable Sample Compression Schemes: New Applications and an Optimal SVM Margin Bound
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Ben-Gurion University（本-古里安大学）
我们分析了一个家庭的监督学习算法的基础上，样本压缩方案是稳定的，在这个意义上，从训练集没有选择的压缩集删除点不会改变所得的分类。我们使用这种技术来获得各种新的或改进的数据依赖的泛化界的几个学习算法。特别是，我们证明了一个新的利润率范围的SVM，删除一个对数因子。新的界限是可证明的最优的。这解决了一个长期悬而未决的问题，PAC利润率界限可实现SVM。
2020-11-09 cs.LG stat.ML
Explicit regularization and implicit bias in deep network classifiers trained with the square loss
已经观察到使用平方损失训练的深度ReLU网络在分类任务中表现良好。在这里，我们提供了一个理论上的理由的基础上分析相关的梯度流。我们表明，收敛到一个绝对最小范数的解决方案时，预计归一化技术，如批量归一化（BN）或重量归一化（WN）与权重衰减（WD）一起使用。的最小化，其预期误差的界限的主要属性是规范：我们证明，在所有接近插值的解决方案，与较小的Frobenius规范的未规范化的权重矩阵有更好的利润率和更好的界限上的预期分类错误。有BN但没有WD，动力系统是奇异的。隐式动态正则化--即零初始条件使动态偏向高裕度解--在无BN和无WD的情况下也是可能的。该理论产生了几个预测，包括BN和权重衰减的作用，Papyan，Han和Donoho的神经崩溃方面以及BN对网络权重的约束。
2020-12-31 cs.LG stat.ML
Combinatorial and Structural Results for gamma-Psi-dimensions
LORIA-CNRS（洛林计算机科学研究实验室-法国国家科学研究中心）
本文讨论了在最小可学习性假设下，间隔多类分类器的泛化性能。在这种情况下，保证风险的推导是基于处理属于三个主要家族的容量度量：Rademacher/Gaussian复杂性，度量熵和尺度敏感的组合维度。专用于这种分类器的尺度敏感的组合维度是gamma-Psi维度。我们介绍的组合和结构的结果需要涉及他们在推导保证风险，并建立相应的上界的度量熵和Rademacher复杂性。可以得出两个主要结论：1。γ-Psi维度总是带来改进，相比于使用这类边缘函数的脂肪粉碎维度; 2.由于它们考虑分类器的基本特征的能力，它们代表了执行从多类别情况到具有覆盖数的二进制情况的转换的有希望的替代方案。
2020-09-16 cs.LG stat.ML
Learning From Non-iid Data: Fast Rates for the One-vs-All Multiclass Plug-in Classifiers
我们证明了新的快速学习率的一个与所有的多类插件分类器训练的指数强烈混合数据或由收敛漂移分布产生的数据。这是两个典型的训练数据不是iid的场景。的学习率下获得的多类版本的Tsybakov的利润率假设，一种类型的低噪声假设，并不依赖于类的数量。我们的结果是一般性的，包括以前的结果二进制类插件分类与iid数据作为一个特殊情况。在对比以往的作品最小二乘支持向量机下的二进制类设置，我们的结果保留了最佳的学习率在iid的情况下。
2015-01-24 stat.ML
Classification using margin pursuit
Osaka University（大阪大学）
在这项工作中，我们研究了一种新的方法来优化二进制分类器实现的边缘分布。经典的方法来解决这个问题是简单的最大化的预期利润率，而最近的建议考虑同时方差控制和代理目标的基础上强大的位置估计，在静脉中保持利润率分布急剧集中在一个理想的区域。虽然概念上很吸引人，但这些新方法通常在计算上很笨拙，理论上的保证也很有限。鉴于这种情况下，我们提出了一种算法，搜索的假设空间，以这样一种方式，一个预先设置的“保证金水平”最终成为一个分布鲁棒估计的保证金位置。这个过程很容易使用梯度下降实现，并承认有限样本界的无限输入下的超额风险。对真实世界基准数据的实证测试加强了该理论所强调的基本原则，并暗示了一种有前途的新分类技术。
2018-10-11 cs.LG stat.ML
A gradient-based variable selection for binary classification in reproducing kernel Hilbert space
Seoul National University（首尔国立大学）；Korea University（高丽大学）
变量选择在高维数据分析中至关重要。虽然已经开发了各种变量选择方法，但大多数依赖于线性模型假设。提出了一种基于再生核希尔伯特空间（RKHS）的大间隔分类器的非参数变量选择方法。我们提出了一种基于梯度的大间隔分类器的表示，然后通过组套索惩罚来正则化梯度函数，以获得自然导致变量选择的稀疏梯度。提出了分组优化下降算法（GMD，Yang和Zou，2015），以有效地解决具有大量参数的所提出的问题。我们采用强顺序规则（Tibshirani等人，2012年），以促进调整程序。该方法的选择一致性是通过获得估计分类器的风险界及其梯度来建立的。最后，我们通过仿真和实际数据说明了所提出的方法有前途的性能。
2021-09-29 cs.LG stat.ML
