Generalization Error of Invariant Classifiers
University College London（伦敦大学学院）；Tel-Aviv University（特拉维夫大学）；Duke University（杜克大学）
研究了不变分类器的推广误差。特别是，我们考虑了常见的情况下，分类任务是不变的输入的某些变换，分类器被构造（或学习）是不变的这些变换。我们的方法依赖于将输入空间分解为一个基空间和一组变换的乘积。我们发现，而非不变分类器的泛化误差是成比例的输入空间的复杂性，不变分类器的泛化误差是成比例的基础空间的复杂性。我们还得到了一组充分条件的几何基础空间和一组的转换，以确保基础空间的复杂性是远远小于输入空间的复杂性。我们的分析适用于一般分类器，如卷积神经网络。我们证明了这种分类器的实验MNIST和CIFAR-10数据集的发展理论的影响。
2017-07-02 cs.AI cs.CV cs.LG
The generalization error of max-margin linear classifiers: Benign overfitting and high dimensional asymptotics in the overparametrized regime
现代机器学习分类器通常在训练集上表现出消失的分类错误。他们通过学习输入的非线性表示将数据映射到线性可分离的类来实现这一目标。受这些现象的启发，我们重新审视线性可分数据的高维最大间隔分类。我们考虑一个程式化的设置，其中数据$(y_i,{\boldsymbol x}_i)$，$i\le n$是独立同分布的。其中${\boldsymbol x}_i\sim\mathsf{N}({\boldsymbol 0},{\boldsymbol Σ})$是$p$维高斯特征向量，$y_i \in\{+1,-1\}$是其分布取决于协变量$\langle {\boldsymbol θ}_*,{\boldsymbol x}_i \rangle$的线性组合的标记。虽然高斯模型可能看起来非常简单，但可以使用普适性参数来表明在此设置中导出的结果也适用于某些非线性特征化映射的输出。我们考虑了$n,p\to\infty$与$p/n\to ψ$的比例渐近性，并导出了极限推广误差的精确表达式。我们使用这个理论来推导出两个结果的独立利益：$(i)$充分条件$({\boldsymbol Σ},{\boldsymbol θ}_*)$的“良性过拟合”，平行先前推导条件的情况下，线性回归; $(ii)$一个渐近精确的表达式的泛化误差时，最大利润率分类与随机单层神经网络产生的特征向量一起使用。
2023-03-22 math.ST stat.ML stat.TH
Rademacher Generalization Bounds for Classifier Chains
University Grenoble Alps（格勒诺布尔阿尔卑斯大学）；LIG - CNRS（格勒诺布尔信息学实验室—法国国家科学研究中心）；LJK - CNRS（让·库隆实验室—法国国家科学研究中心）；Institut Elie Cartan de Lorraine（洛林埃利·嘉当研究所）
在本文中，我们提出了一个新的框架来研究与多个和相互依赖的类标签相关联的观察训练的分类器链的泛化性能。结果是基于Rio在2000年提出的弱相依序列Lipschitz函数的大偏差不等式。我们认为，由此产生的泛化误差界带来了许多优点，并可以适应其他框架，考虑相互依赖的输出。首先，它显式地展示了类标签之间的依赖关系。其次，它提供了洞察链的顺序对算法的泛化性能的影响。最后，两个依赖系数，出现在界也可以用来设计新的策略，以决定链的顺序。
2018-07-26 cs.LG stat.ML
PAC-Bayesian Generalization Guarantees for Fairness on Stochastic and Deterministic Classifiers
CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（高等光学学院）；Inria（法国国家信息与自动化研究所）；Institut Universitaire de France（法国大学研究院）；Universite Claude Bernard Lyon 1（里昂第一大学）；Univ Rennes（雷恩大学）
本文提出了一种PAC-Bayesian框架，用于推导公平性的泛化界，适用于随机和确定性分类器，并通过实验验证了其有效性。
2026-02-12 cs.LG stat.ML
Approximation and generalization properties of the random projection classification method
该研究针对低复杂度随机投影分类器，分析其逼近能力与泛化间隙，证明其误差可收敛至贝叶斯误差，且泛化间隙上界更优，为部分分类问题提供了泛化性能提升的新思路。
2024-09-11 cs.LG math.PR stat.ML
Towards Understanding the Generalization Bias of Two Layer Convolutional Linear Classifiers with Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）
理解深度学习泛化的一个主要挑战是解释为什么（随机）梯度下降可以利用网络架构找到在使用高容量模型时具有良好泛化性能的解决方案。我们发现简单但现实的例子表明，即使在学习线性分类器时也存在这种现象-在两个具有相同容量的线性网络之间，当数据分布具有某种潜在的空间结构时，具有卷积层的网络可以比另一个网络更好地泛化。我们认为，这种差异是由卷积架构、数据分布和梯度下降的组合造成的，所有这些都是有意义的分析所必需的。我们提供了一个一般的分析的泛化性能作为数据分布和卷积滤波器大小的函数，给定的梯度下降的优化算法，然后解释使用具体的例子的结果。实验结果表明，我们的分析是能够解释发生在我们介绍的例子。
2019-02-10 cs.LG stat.ML
Robust Modeling of Unknown Dynamical Systems via Ensemble Averaged Learning
The Ohio State University（俄亥俄州立大学）；Dartmouth College（达特茅斯学院）
最近的工作集中在通过深度神经网络（DNN）对未知系统的演化进行数据驱动学习，目标是对未知系统的演化进行长期预测。在这种情况下，训练具有低泛化误差的DNN是一项特别重要的任务，因为误差会随着时间的推移而积累。由于DNN训练中固有的随机性，主要是在随机优化中，因此在结果预测中存在不确定性，因此在泛化误差中也存在不确定性。因此，泛化误差可以看作是具有某种概率分布的随机变量。经过良好训练的DNN，特别是那些具有许多超参数的DNN，通常会导致泛化误差的概率分布具有低偏差但高方差。高方差会导致经过训练的DNN结果的可变性和不可预测性。本文提出了一种计算技术，减少了泛化误差的方差，从而提高了DNN模型的可靠性，以推广一致。在所提出的集成平均方法中，多个模型被独立地训练，并且在每个时间步对模型预测进行平均。该方法的数学基础，包括结果的局部截断误差的分布。最后，以三个含时微分方程问题为例，验证了该方法在降低DNN预测方差方面的有效性。
2022-03-07 cs.LG math.DS stat.ML
Efficient Estimation of Generalization Error and Bias-Variance Components of Ensembles
Facebook（脸书）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
对于许多应用，基分类器的集成是一种有效的解决方案。其参数的调整（类的数量，每个分类器要训练的数据量等）需要G，即给定系综的泛化误差。G的有效估计是本文研究的重点。其关键思想是在输入特征空间中的每个点x处通过正态分布/贝塔分布来近似基本分类器的类得分/概率的方差与训练子集施加的随机性。我们使用一个小的随机选择的基分类器的分布参数估计，并使用这些参数，G。我们给经验证据的质量的各种估计。我们还证明了它们的有用性，如在合奏的分类器的数量和用于训练，需要达到一定的值的泛化误差的数据子集的大小的设计选择。我们的方法也有很大的潜力，设计分布式集成分类器。
2017-11-15 cs.LG stat.ML
Chromatic PAC-Bayes Bounds for Non-IID Data: Applications to Ranking and Stationary $β$-Mixing Processes
Laboratoire d’Informatique Fondamentale de Marseille（马赛基础信息学实验室）；CNRS（法国国家科学研究中心）
Pac-Bayes边界是从独立同分布（IID）数据学习的分类器的最准确的泛化边界之一，对于边缘分类器尤其如此：最近的贡献表明这些边界对于执行模型选择是多么实用（Ambroladze et al.，2007）或甚至直接指导线性分类器的学习（Germain等人，2009年）。然而，在许多实际情况下，训练数据显示出一些依赖性，并且传统的IID假设不成立。因此，从理论和实践的角度来看，这种框架的概括界限是最感兴趣的。在这项工作中，我们提出了第一个-尽我们所知- Pac-Bayes泛化边界的数据表现出相互依赖的训练分类。建立我们的结果所采取的方法是基于所谓的依赖图的分解，该依赖图将数据内的依赖关系编码为独立数据集，这要归功于图分数覆盖。我们的边界是非常普遍的，因为能够找到依赖图的分数色数的上界足以获得特定设置的新Pac-Bayes边界。我们展示了我们的研究结果如何可以用来推导出排名统计（如Auc）和分类器的界限，根据一个固定的混合过程分布的数据进行训练。在这种方式中，我们展示了我们的方法是如何让我们无条件地处理U过程的。作为旁注，我们还提供了一个Pac-Bayes泛化界，用于从静态$φ$混合分布的数据上学习的分类器。
2010-06-04 cs.LG math.ST stat.ML
Distributional Generalization: A New Kind of Generalization
Harvard University（哈佛大学）
我们引入了一个新的泛化概念--分布泛化--它粗略地说，分类器在训练和测试时的输出是接近 * 的分布 *，而不是接近它们的平均误差。例如，如果我们在CIFAR-10的训练集中将30%的狗错误地标记为猫，那么经过插值训练的ResNet实际上也会在 * 测试集 * 上将大约30%的狗错误地标记为猫，而其他类则不受影响。这种行为并没有被经典的推广所捕获，经典的推广只考虑平均误差，而不考虑误差在输入域上的分布。我们的形式化模型比这个例子更一般，它描述了分布泛化的形式，这些形式可以在问题参数方面得到预期：模型结构、训练过程、样本数量和数据分布。我们在机器学习的各个领域，包括神经网络，内核机，和决策树，这些架构提供了经验证据。因此，我们的研究结果推进我们的经验理解插值分类。
2020-10-15 cs.LG cs.NE math.ST
Studying Generalization Through Data Averaging
Apple（苹果公司）
机器学习模型的泛化对数据、模型和学习算法有着复杂的依赖性。我们研究训练和测试性能，以及通过不同数据集样本的差异平均值给出的泛化差距，以了解它们的"典型”行为。我们推导出一个表达式的差距作为模型参数分布和训练损失之间的协方差的函数，和另一个表达式的平均测试性能，测试泛化只依赖于数据平均参数分布和数据平均损失。我们发现，对于一个大类的模型参数分布的修改的泛化差距总是非负的。通过进一步专门化随机梯度下降（SGD）产生的参数分布，以及一些近似和建模考虑，我们能够预测泛化差距和模型训练和测试性能如何作为SGD噪声的函数而变化的一些方面。我们基于ResNet架构在Cifar10分类任务上对这些预测进行了经验评估。
2022-06-28 cs.LG stat.ML
Small Sample Inference for Generalization Error in Classification Using the CUD Bound
University of Michigan（密歇根大学）
当使用小训练样本来构造分类器时，泛化误差的置信度度量是至关重要的。一种常见的方法是通过重采样估计泛化误差，然后假设重采样估计量遵循已知分布以形成置信集[Kohavi 1995，Martin 1996，Yang 2006]。或者，可以引导泛化误差的重新采样估计量以形成置信集。不幸的是，这些方法不能可靠地提供所需置信度的集合。差的性能似乎是由于缺乏作为学习分类器的函数的泛化误差的平滑性。这导致估计的泛化误差的非正态分布。我们构造了一个置信集的泛化误差之间的偏差的重采样估计和泛化误差的光滑上界。置信度集是通过自举这个上界形成的。在分类器的近似类可以表示为参数添加剂模型的情况下，我们提供了一个计算效率高的算法。该方法在一系列测试和模拟数据集上表现出优越的性能。
2012-06-13 cs.LG stat.ML
PAC-Bayesian Generalization Bound on Confusion Matrix for Multi-Class Classification
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在这项工作中，我们提出了一个PAC-Bayes界的推广风险的吉布斯分类器在多类分类框架。我们的工作的新颖性是关键使用的混淆矩阵的分类器作为错误的措施，这把我们的贡献，在工作线，旨在处理比单纯的标量标准，如误分类率更丰富的性能指标。由于最近和美丽的结果矩阵集中不等式，我们得到两个界限表明，真正的混淆风险的吉布斯分类器的上限是由其经验风险加上一项取决于在每个类中的训练样本的数量。据我们所知，这是第一个基于混淆矩阵的PAC-Bayes界。
2013-10-22 cs.LG stat.ML
The Role of Pseudo-labels in Self-training Linear Classifiers on High-dimensional Gaussian Mixture Data
Institute for Physics of Intelligence（智能物理研究所）；The University of Tokyo（东京大学）
研究在高维高斯混合数据上自训练线性分类器中伪标签的作用，推导分析迭代ST行为，发现其依迭代次数不同提升泛化，标签不平衡时性能欠佳，提出两种启发式方法提升其性能。
2026-08-11 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Uniform convergence may be unable to explain generalization in deep learning
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
为了解释超参数化深度网络令人惊讶的良好泛化行为，最近的工作已经为深度学习开发了各种泛化范围，所有这些都基于一致收敛的基本学习理论技术。虽然众所周知，这些现有的边界中有许多在数值上很大，但通过大量的实验，我们揭示了这些边界的一个更令人关注的方面：在实践中，这些边界可以随着训练数据集的大小{ \em增加}。在我们的观察的指导下，我们提出了过参数化线性分类器和梯度下降（GD）训练的神经网络的例子，其中一致收敛可证明不能“解释泛化”-即使我们考虑到GD { \em尽可能大的范围}的隐式偏差。更准确地说，即使我们只考虑GD输出的分类器集，在我们的设置中，这些分类器的测试误差小于一些小的$ε$，我们表明，在这组分类器上应用（双侧）一致收敛只会产生大于$1-ε$的空洞的泛化保证。通过这些发现，我们对基于一致收敛的泛化界限的能力表示怀疑，以提供过度参数化深度网络泛化良好的完整解释。
2021-10-17 cs.LG stat.ML
The Role of Mutual Information in Variational Classifiers
Facultad de Ingeniería, Universidad de Buenos Aires（布宜诺斯艾利斯大学工程学院）；CSC, CONICET（国家科学技术研究委员会计算机科学中心）；International Laboratory on Learning Systems (ILLS)（国际学习系统实验室）；Mila（米拉人工智能研究所）
本文从信息论角度研究变分分类器的泛化误差，推导出泛化误差可由输入特征与潜在表示之间的互信息所界定的条件，为 KL 正则化项提供理论依据，并通过 MNIST 和 CIFAR 实验验证互信息能有效反映泛化行为。
2023-04-13 cs.LG stat.ML
Deep Networks as Logical Circuits: Generalization and Interpretation
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
深度神经网络（DNN）不仅是黑箱模型，而且我们经常将其概念化。我们对投入与产出之间的联系机制缺乏良好的解释。因此，我们发现很难用人类有意义的术语来分析（1）网络学到了什么，（2）网络是否学到了什么。我们将DNN离散分类映射分层分解为输入的中间（真/假）分类器的逻辑（AND/OR）组合。那些不能进一步分解的分类器，称为原子，是（可解释的）线性分类器。总之，我们得到了一个具有线性分类器输入的逻辑电路，它计算与DNN相同的标签。该电路在结构上不类似于网络架构，并且它可能需要少得多的参数，这取决于权重的配置。在这些情况下，我们同时获得了解释和泛化界（对于原始DNN），连接了历史上分别研究的两个方面。与压缩技术不同，我们的表示是。我们通过在简单的受控环境中研究DNN来激发这种观点的实用性，在这种环境中，尽管只使用组合信息（例如，没有边缘信息），我们仍然获得了优越的泛化边界。我们演示了如何在MNIST数据集上“打开黑盒”。我们表明，学习，内部，逻辑计算对应于语义有意义的（无标签）类别，允许DNN的描述在平原英语。我们通过解释、诊断和替换逻辑电路（即DNN）的组件来提高已经训练好的网络的泛化能力。
2020-06-26 cs.AI cs.LG stat.ML
On the Role of Generalization in Transferability of Adversarial Examples
The Chinese University of Hong Kong（香港中文大学）
黑盒对抗攻击为看不见的神经网络（NN）设计对抗示例在过去几年中受到了极大的关注。虽然在文献中已经提出了几个成功的黑盒攻击方案，但驱动黑盒对抗示例可转移性的潜在因素仍然缺乏深入的了解。在本文中，我们的目的是证明的作用，用于生成对抗性的例子中的攻击方案的可转移性未观察到的NN分类器的替代分类器的泛化性能。要做到这一点，我们应用最大-最小对抗性的例子游戏框架，并显示的黑盒攻击方案在应用于不同的NN分类器的成功的替代NN的泛化性能的重要性。我们证明了理论上的泛化界的训练和测试样本的攻击转移率之间的差异。我们的界限表明，具有更好泛化行为的替代NN可以产生更多可转移的对抗性示例。此外，我们还证明了标准的基于算子范数的正则化方法可以提高所设计的对抗性示例的可移植性。我们通过几个数值实验来支持我们的理论结果，这些实验显示了替代网络的泛化在生成可转移的对抗性示例中的作用。我们的实证结果表明Lipschitz正则化方法在提高对抗性示例的可移植性方面的能力。
2022-06-18 cs.LG stat.ML
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research（Snap 研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类，而成对相似性对它们的性能至关重要。在本文中，我们提出了一种新的判别相似性学习框架，学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器，并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析，将核分类器的泛化误差界表示为不同类数据的两两相似度之和，并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的，并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性，我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
Generalization error in high-dimensional perceptrons: Approaching Bayes error with convex optimization
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；Institut de physique théorique（理论物理研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
我们考虑了一个普遍研究的合成数据集的监督分类，其标签是通过向单层神经网络提供随机iid输入来生成的。我们研究了标准分类器的推广性能在高维制度，其中$α=n/d$保持有限的限制在一个高的维度$d$和样本数$n$。我们的贡献有三个方面：首先，我们证明了$\ell_2$正则化分类器实现的泛化误差公式，该公式可最大限度地减少凸损失。该公式首先由统计物理的启发式复制方法得到。其次，关注常用的损失函数并优化$\ell_2$正则化强度，我们观察到，虽然岭回归性能较差，但逻辑回归和铰链回归却能够非常接近贝叶斯最优泛化误差。作为$α\to \infty$，它们导致贝叶斯最优速率，这一事实并不遵循基于边缘的泛化误差界的预测。第三，我们设计了一个最佳的损失和正则化，可证明导致贝叶斯最优泛化错误。
2020-11-07 cond-mat.dis-nn cs.LG math.ST
mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization
LinkedIn Corporation（领英公司）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
针对过参数化深度学习模型的泛化问题，本文提出微批次SAM（mSAM）变体，通过聚合小批次内多微批次的对抗扰动更新，理论与实验均证明其能找到比SAM更平坦的极小值，且可并行实现、计算成本无显著增加，泛化性能更优。
2023-10-01 cs.LG stat.ML
Multiple-Instance Learning by Boosting Infinitely Many Shapelet-based Classifiers
Kyushu University（九州大学）；RIKEN（理化学研究所）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
我们提出了一个新的多实例学习（MIL）的配方。在典型的MIL设置中，一个数据单元被给定为一组称为袋子的实例，目标是基于单个或多个“shapelet”（或模式）的相似性找到一个好的袋子分类器，其中袋子与shapelet的相似性是袋子中实例的最大相似性。基于单个shapelet的分类器对于某些应用来说不够强大。此外，以前的工作与多个shapestivally选择了一些实例作为shapestival没有理论保证其泛化能力。我们的配方提供了一个更丰富的类的最终分类器的基础上无限多的形状。我们提供了一个有效的算法，新的配方，除了推广界。我们的实证研究表明，我们的方法不仅是有效的MIL任务，而且Shapelet学习的时间序列分类。
2018-12-10 cs.LG stat.ML
Collaborative Learning for Deep Neural Networks
Playground Global；Google（谷歌）
我们引入了协作学习，其中同一网络的多个分类器头同时在相同的训练数据上进行训练，以提高泛化能力和对标签噪声的鲁棒性，而无需额外的推理成本。它从辅助训练、多任务学习和知识升华中获得优势。协作学习有两种重要的机制。首先，来自不同分类器头的多个视图对同一示例的共识为每个分类器提供了补充信息以及正则化，从而提高了泛化能力。其次，中间层表示（ILR）共享与反向传播重新缩放聚合来自所有头的梯度流，这不仅降低了训练计算复杂度，而且便于监督共享层。CIFAR和ImageNet数据集上的实证结果表明，以协作方式作为一个群体学习的深度神经网络显著降低了泛化误差，并提高了对标签噪声的鲁棒性。
2018-11-07 cs.CV cs.LG stat.ML
Entropy-SGD optimizes the prior of a PAC-Bayes bound: Generalization properties of Entropy-SGD and data-dependent priors
Vector Institute（向量研究所）
我们表明，熵SGD（Chaudhari等人，2017），当被视为一种学习算法时，优化了吉布斯（后验）分类器风险的PAC-Bayes界限，即，一个随机化的分类器获得的风险敏感扰动的权重的学习分类。熵-SGD通过优化边界的先验来工作，违反了PAC-贝叶斯定理的假设，即先验是独立于数据选择的。事实上，Entropy-SGD的可用实现在随机标签上快速获得零训练误差，并与Gibbs后验保持相同。为了得到一个有效的泛化界，我们依赖于一个结果表明，由随机梯度Langevin动力学（SGLD）获得的数据相关先验产生有效的PAC-Bayes界，提供的目标分布的SGLD是ε-差分私有的。我们观察到，MNIST和CIFAR 10的测试误差落在（经验非空）的风险范围内计算的假设下，SGLD达到平稳。特别是，熵-SGLD可以配置为产生相对紧密的泛化界，并且仍然适合真实标签，尽管这些相同的设置无法获得最先进的性能。
2019-04-19 cs.LG stat.ML
A Statistical Model for Predicting Generalization in Few-Shot Classification
IMT Atlantique（大西洋国立高等工业技术与矿业学校）；CNRS（法国国家科学研究中心）；Sony Europe（索尼欧洲公司）；Mila（米拉研究所）
分类器的泛化误差的估计往往依赖于验证集。这样的集合在少样本学习场景中几乎不可用，这是该领域中被高度忽视的缺点。在这些场景中，通常依赖于从预训练的神经网络中提取的特征，并结合基于距离的分类器，如最近类均值。在这项工作中，我们引入了一个高斯模型的特征分布。通过对模型参数的估计，我们能够在小样本的情况下预测新分类任务的泛化误差。我们观察到，类条件密度之间的准确距离估计是准确估计泛化性能的关键。因此，我们提出了一个无偏估计这些距离，并将其集成在我们的数值分析。我们的经验表明，我们的方法优于替代品，如留一交叉验证策略。
2023-03-28 cs.AI cs.CV cs.LG
Large scale analysis of generalization error in learning using margin based classification methods
University of Georgia（佐治亚大学）；Zhongnan University of Economics and Law（中南财经政法大学）
大间隔分类器是流行的分类方法。在样本量$n$和维数$p$都限制为$\infty$且$α=n/p$为固定比率的情况下，推导了一类大间隔分类器推广误差的渐近表达式.这个系列涵盖了广泛的常用分类器，包括支持向量机，距离加权判别，和惩罚逻辑斯谛回归。我们的结果可以用来建立两类分离的相变边界。我们假设数据是从具有任意协方差结构的单个多元高斯分布生成的。我们探索了协方差阵的两种特殊选择：尖峰种群模型和具有随机第一层权重的两层神经网络。我们用于推导封闭形式表达式的方法来自统计物理学，称为复制方法。当$n,p$为几百的数量级时，我们的渐近结果已经与模拟相匹配。对于两层神经网络，我们重现最近开发的“双下降”现象的几个分类模型。我们还讨论了一些统计见解，可以从这些分析得出。
2020-07-16 cs.LG stat.CO stat.ML
Random Hyperboxes
Advanced Analytics Institute（高级分析研究所）；Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney（悉尼科技大学）
本文提出了一种简单而强大的集成分类器，称为随机超盒，由训练集的样本和特征空间的随机子集上训练的单个超盒分类器构建。我们还显示了一个泛化误差界的建议分类的基础上的强度的个人超盒分类器，以及它们之间的相关性。建议的分类器的有效性进行了分析，使用一个精心挑选的说明性的例子，并通过20个数据集，使用统计测试方法与其他流行的单一和集成分类经验比较。实验结果表明，该方法优于其他模糊最小最大神经网络，流行的学习算法，并与其他集成方法具有竞争力。最后，我们确定了存在的问题，有关的泛化误差界的真实数据集，并告知潜在的研究方向。
2022-04-04 cs.LG stat.ML
Supervised Metric Learning with Generalization Guarantees
Laboratoire Hubert Curien（于贝尔·居里安实验室）；Universidad de Alicante（阿利坎特大学）
度量在机器学习算法中的至关重要性导致了人们对优化距离和相似性函数的兴趣越来越大，这是一个被称为度量学习的研究领域。当数据由特征向量组成时，大量的工作都集中在学习Mahalanobis距离上。较少的工作致力于从结构化对象（如字符串或树）中进行度量学习，大部分集中在优化编辑距离的概念上。我们确定了当前度量学习方法的两个重要局限性。首先，它们可以提高局部算法（如k-最近邻）的性能，但到目前为止还没有研究全局算法（如线性分类器）的度量学习。其次，度量学习方法的泛化能力问题在很大程度上被忽视了。在这篇论文中，我们提出了理论和算法的贡献，解决这些限制。我们的第一个贡献是推导出一个新的核函数，该函数是从学习的编辑概率中构建的。我们的第二个贡献是一个新的框架，学习字符串和树编辑相似性的启发，最近的理论（例如，g，t）-良好的相似性函数。使用统一的稳定性参数，我们建立了理论上的保证学习的相似性，给出了一个界限的泛化误差的线性分类器，从该相似性。在我们的第三个贡献中，我们将这些想法扩展到特征向量的度量学习，提出了一种双线性相似性学习方法，有效地优化了（e，g，t）-goodness。泛化保证我们的方法，强调我们的方法最大限度地减少了分类器的泛化误差的更严格的限制。我们的最后一个贡献是一个框架，建立一个大类现有的度量学习算法的基础上的算法鲁棒性的概念的泛化界限。
2013-07-23 cs.AI cs.LG stat.ML
Efficient Decision Trees for Multi-class Support Vector Machines Using Entropy and Generalization Error Estimation
Chulalongkorn University（朱拉隆功大学）；Osaka University（大阪大学）
我们提出了新的方法，支持向量机（SVM）使用树结构的多类分类。在树的每个节点上，利用熵和泛化误差估计选择合适的二元分类器，然后根据所选分类器将样本分为正类和负类，并训练一个新的分类器用于分类阶段。所提出的方法可以在O（log2N）到O（N）之间的时间复杂度内工作，其中N是类的数量。我们使用10倍交叉验证将我们提出的方法的性能与UCI机器学习存储库上的传统技术进行了比较。实验结果表明，我们提出的方法是非常有用的问题，需要快速的分类时间或大量的类的问题，因为所提出的方法运行速度比传统的技术，但仍然提供相当的准确性。
2017-08-28 cs.LG stat.ML
Average Margin Regularization for Classifiers
University of California, Berkeley（加利福尼亚大学伯克利分校）
对抗鲁棒性已经成为一个重要的研究课题，给出了深度神经网络缺乏鲁棒性的经验证明。不幸的是，最近的理论结果表明，对抗训练在分类准确性和对抗鲁棒性之间产生了严格的权衡。在本文中，我们提出并研究了一种新的正则化方法，用于任何边缘分类器或深度神经网络。我们激励这种正则化的一个新的泛化界，表现出在分类器的准确性之间的权衡最大化其利润率和平均利润率。因此，我们将我们的方法称为平均间隔（AM）正则化，它由添加到目标的线性项组成。我们从理论上表明，对于某些分布AM正则化可以提高分类器的准确性和鲁棒性的对抗攻击。我们得出结论，使用合成和真实数据的经验表明，AM正则化可以严格提高支持向量机（SVM）的准确性和鲁棒性，相对于非正则化分类器和逆向训练分类器。
2020-03-24 cs.LG stat.ML
On the Current State of Research in Explaining Ensemble Performance Using Margins
Miami University（迈阿密大学）；University of Alabama（阿拉巴马大学）
经验证据表明，集成，如装袋，助推，随机和旋转森林，一般表现更好的泛化误差比个人分类器。为了解释这种性能，Schapire et al.（1998）基于训练数据的裕度开发了集成的泛化误差的上限，从中得出结论，较大的裕度应导致较低的泛化误差，其他条件相同。许多其他研究人员支持这一假设，并提出了更严格的边界上的泛化误差的基础上的利润率或利润率的功能。例如，Shen和Li（2010）提供的证据表明，投票分类器的泛化误差可以通过增加均值和减少边缘的方差来减少。在这篇文章中，我们提出了几种技术和实证检验是否在解释合奏表演的研究现状举行。我们评估所提出的方法，通过实验与真实和模拟数据集。
2019-06-07 cs.LG stat.CO stat.ML
Very Simple Classifier: a Concept Binary Classifier toInvestigate Features Based on Subsampling and Localility
University of Trento（特伦托大学）
我们提出了非常简单的分类器（VSC）的一种新的方法，旨在将子采样和局部性的概念，在定义的功能被用作一个感知器的输入。基本原理是局部性理论上保证了泛化误差的界。VSC中的每个特征都是基于随机选择的样本对构建的最大间隔分类器。VSC中的局部性是通过将特征的值乘以可以用Chebichev不等式表征的置信度来实现的。然后，该层的输出被馈送到神经元的输出层。然后，输出层的权重由正则化伪逆确定。在二元分类任务中，对9个竞争对手进行了广泛的比较。在22个固定参数的基准数据集上的测试结果表明，VSC与多层感知器（MLP）相比具有竞争力，并且优于其他竞争对手。参数空间的探索表明，VSC可以优于MLP。
2016-09-14 cs.LG stat.ML
RATT: Leveraging Unlabeled Data to Guarantee Generalization
Carnegie Mellon University（卡内基梅隆大学）
为了评估泛化能力，机器学习科学家通常要么（i）限制泛化差距，然后（在训练后）插件插入经验风险，以获得真实风险的界限;要么（ii）根据经验验证支持数据。然而，（i）通常会为过度参数化的模型提供空洞的保证。此外，（ii）缩小训练集，其保证随着每次重复使用保持集而侵蚀。在本文中，我们介绍了一种方法，利用未标记的数据产生泛化边界。在用随机标记的新鲜示例扩充我们的（标记的）训练集之后，我们以标准方式进行训练。每当分类器在干净数据上实现低错误，在噪音数据上实现高错误时，我们的界限提供了真实风险的严格上限。我们证明了我们的界是有效的0-1经验风险最小化和线性分类器训练的梯度下降。我们的方法在与深度学习结合使用时特别有用，因为早期学习现象是网络在噪声标签之前拟合真实标签，但需要一个直观的假设。从经验上讲，在典型的计算机视觉和NLP任务上，我们的边界提供了非空的泛化保证，可以密切跟踪实际性能。这项工作为从业者提供了一个选项，即使在不可见的标记数据不可用时，也可以证明深度网络的泛化能力，并为随机标签噪声和泛化之间的关系提供了理论见解。
2021-11-06 cs.LG stat.ML
In Defense of Uniform Convergence: Generalization via derandomization with an application to interpolating predictors
Vector Institute（Vector研究所）
我们建议研究的泛化误差的学习预测$\hat h$的替代（潜在的随机）预测，耦合到$\hat h$和贸易经验风险控制的泛化误差。在$\hat h$内插数据的情况下，考虑部分去随机化或重新随机化的理论替代分类器是有趣的，例如，拟合到训练数据，但是具有修改的标签噪声。我们还表明，取代$\hat h$的条件分布，相对于一个任意的$σ$ -字段是一个方便的方法去随机化。我们研究了两个例子，灵感来自Nagarajan和Kolter（2019）和Bartlett等人的工作。（2019），其中学习的分类器$\hat h$以高概率内插训练数据，风险小，但不属于非随机类，双侧泛化误差具有严格的均匀界。与此同时，我们绑定的风险$\hat h$的代理人构造的条件和去噪，分别，并证明属于非随机类均匀小泛化误差。
2021-09-10 cs.LG stat.ML
Stability Enhanced Large-Margin Classifier Selection
稳定性是分类程序的一个重要方面，因为不稳定的预测可能会降低用户对分类系统的信任，也会损害科学结论的可重复性。我们工作的主要目标是引入分类不稳定性的新概念，即，决策边界不稳定性（DBI），并将其与泛化误差（GE）作为选择最准确和最稳定的分类器的标准。具体来说，我们实现了一个两阶段的算法：（i）最初选择一个子集的分类器，其估计的GE是不显着不同的所有候选分类器之间的最小估计GE;（ii）最佳的分类器被选为一个实现最小DBI在阶段（i）中选择的子集。这个一般的选择原则适用于线性和非线性分类器。大间隔分类器作为一个典型的例子来说明上述思想。我们的选择方法是一致的，在这个意义上，最佳分类器同时实现最小的GE和最小的DBI。各种模拟和真实的例子进一步证明了我们的方法优于几种替代方法。
2017-01-20 stat.ML
Maximum margin classifier working in a set of strings
数字和数字向量占数据的很大一部分。然而，最近生成的字符串数据量急剧增加。因此，分类字符串数据是一个共同的问题，在许多领域。解决这个问题最广泛使用的方法是使用字符串内核将字符串转换为数值向量，然后应用在数值向量空间中工作的支持向量机。然而，这种非一对一的转换涉及信息的损失，并且考虑到用于训练和测试机器的给定数据是根据概率定律生成的字符串，使得不可能使用概率论来评估学习机的泛化误差。在这项研究中，我们通过构建一个在一组字符串中工作的分类器来解决这个分类问题。为了从理论上评估这种分类器的泛化误差，需要字符串的概率论。因此，我们首先扩展了一个关于弦的一致序列的渐近行为的极限定理，它是数值向量的平均值的对应物，正如作者之一及其同事在以前的研究中提出的关于弦的度量空间的概率论中所证明的那样[18]。使用所得到的结果，我们然后证明，我们的学习机分类字符串在一个渐近最优的方式。此外，我们证明了我们的机器在实际数据分析中的有用性，通过应用它来预测蛋白质-蛋白质相互作用，使用氨基酸序列。
2016-02-23 stat.ML
Rademacher Complexity and Generalization Performance of Multi-category Margin Classifiers
保证风险对类别数C、样本量m和边际参数γ的最优依赖形式是多类别边际分类理论中的一个主要问题。从实践的角度来看，泛化性能的理论分析有助于新学习算法的开发。在本文中，我们只关注所提出的问题的理论方面。更确切地说，在最小的可学习性假设下，我们推导出一个新的多类别边缘分类器的风险界。当考虑的边际损失函数满足利普希茨条件时，我们改进了对C的依赖性。我们从基本的上确界不等式开始，它涉及Rademacher复杂性作为容量度量。然后通过链接方法将该容量度量链接到度量熵。在这种情况下，我们的改进是基于一个新的组合度量熵界的引入。
2018-12-03 math.ST stat.ML stat.TH
Suboptimal behaviour of Bayes and MDL in classification under misspecification
我们表明，贝叶斯和MDL推理的形式，往往适用于分类问题，可以 * 不一致 *。这意味着存在一个学习问题，使得对于所有数据量，MDL分类器和贝叶斯分类器相对于贝叶斯后验的泛化误差都保持远离最小可实现的泛化误差。
2004-06-10 cs.IT cs.LG math.IT
