On the Convergence Properties of Optimal AdaBoost
Google（谷歌）；University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）
AdaBoost是最流行的ML算法之一。它很容易实现，并且经常被实践者发现非常有效，同时仍然是数学上的优雅和理论上的声音。AdaBoost在实践中的有趣行为仍然困扰着ML社区。我们解决了算法的稳定性，并建立了多个收敛特性的“最优AdaBoost”，一个由Rudin，Daubechies和Schapire在2004年创造的术语。我们证明，在一个合理的强计算意义上，时间平均值的几乎普遍存在，并与分类本身的收敛，其泛化误差，其产生的利润率，以及许多其他对象，固定的数据集在可以说是合理的条件。具体来说，我们框架优化AdaBoost作为一个动态系统，并采用遍历理论的工具，证明了，在最佳AdaBoost最终没有最佳弱分类器的关系的条件下，我们从高维真实世界的数据集提供经验证据的条件下，该算法的更新表现得像一个连续的地图。我们提供了几个任意精确的近似的最佳AdaBoost建设性的证明;证明他们表现出一定的循环行为在有限时间内，所得到的动力系统是遍历的;并建立充分条件相同，以保持实际的最佳AdaBoost更新。我们相信，我们的研究结果提供了合理的强有力的证据，肯定的答案，两个开放的命题，至少从广泛的计算理论的角度来看：AdaBoost总是周期，是一个遍历动力系统。我们提出的经验证据表明，周期是很难检测，而时间平均稳定迅速。我们的研究结果为未来的收敛率分析奠定了基础，并可能有助于优化泛化能力，减轻从…
2023-01-04 cs.AI cs.LG stat.ML
Margin Distribution Controlled Boosting
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
Schapire的间隔理论为boosting型方法的成功提供了理论解释，并表明良好的训练样本间隔分布（MD）对于泛化是必不可少的。然而，一个MD是好的说法是模糊的，因此，许多最近开发的算法试图产生一个MD在他们的善良的感觉，以提高泛化。不同于他们的间接控制MD，在本文中，我们提出了一种替代的升压算法称为边际分布控制升压（MCBoost），直接控制MD通过引入和优化一个关键的可调边际参数。MCBoost的优化实现采用列生成技术，以确保快速收敛和少量的弱分类器参与最终MCBooster。我们的经验表明：1）AdaBoost实际上也是一种MD控制算法，其迭代次数作为控制分布的参数; 2）在UCI基准数据集上评估的MCBoost的泛化性能优于AdaBoost，L2 Boost，LPBoost，AdaBoost-CG和MDBoost。
2012-08-09 cs.LG
Boosting in the presence of label noise
University of Birmingham（伯明翰大学）
已知提升对标签噪声敏感。我们研究了两种方法来提高AdaBoost对标签错误的鲁棒性。一种是采用标签噪声鲁棒分类器作为基本学习器，而另一种是修改AdaBoost算法以使其更鲁棒。经验评估表明，一个委员会的强大的分类器，虽然收敛速度比非标签噪声感知AdaBoost，仍然容易受到标签噪声。然而，将其与我们在这里提出的新的鲁棒Boosting算法配对，会导致在错误标记下的更有弹性的算法。
2013-09-26 cs.LG stat.ML
Iterative Weak Learnability and Multi-Class AdaBoost
Emory University（埃默里大学）；University of Southern California（南加州大学）
受SAMME的启发，我们为多类分类问题构建了一个高效的递归集成算法（Zhu，Zou，Rosset和Hastie（2009））。我们加强了Zhu，Zou，Rosset和Hastie（2009）中的弱可学习性条件，要求弱可学习性条件对任何具有至少两个元素的标签子集都成立。这个条件比许多提出的替代方案更容易检查（例如，Mukherjee and Schapire（2013））。作为SAMME，如果标签的数量为2，则我们的算法被简化为自适应提升算法（Schapire和Freund（2012）），并且可以被激励为最速下降法的函数版本以找到最优解。与SAMME相反，我们算法的最终假设以概率1收敛到正确的标签。对于任何数量的标签，错误分类的概率随着训练周期的增加呈指数级消失。训练误差和仅取决于样本量的附加项之和限制了我们的算法作为自适应提升算法的泛化误差。
2021-01-26 cs.LG stat.ML
Support Vector Boosting Machine (SVBM): Enhancing Classification Performance with AdaBoost and Residual Connections
School of Mathematics and Computer Sciences, Zhejiang Agriculture and Forestry University（浙江农林大学数学与计算机科学学院）
针对AdaBoost框架中用SVM作弱学习器存在的适配与性能受限问题，提出融合新型子采样、SVM与残差连接的SVBM，通过结合当前与前序预测更新权重控制稀疏性，增强复杂决策边界形成能力以提升分类性能，并开源了MATLAB代码。
2024-10-09 cs.AI cs.LG
Cost-sensitive Multi-class AdaBoost for Understanding Driving Behavior with Telematics
University of Connecticut（康涅狄格大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
在远程信息处理技术的支持下，保险公司现在可以捕获各种数据，例如行驶距离，驾驶员如何刹车，加速或转弯，以及每周每天的行驶频率，以更好地解码驾驶员的行为。这些额外的信息有助于保险公司改善基于使用的保险（UBI）的风险评估，这是一种越来越受欢迎的行业创新。在这篇文章中，我们探讨如何整合远程信息处理信息，以更好地预测索赔频率。对于保单年度的汽车保险，我们通常会观察到很大比例的驾驶员零索赔，只有一次索赔的比例较小，而两次或两次以上索赔的比例要小得多。我们介绍了使用成本敏感的多类自适应增强（AdaBoost）算法，我们称之为SAMME. C2，来处理这种不平衡。为了校准SAMME.C2算法，我们使用从加拿大的远程信息处理程序收集的经验数据，我们发现远程信息处理相对于传统的风险变量的驾驶行为的改进评估。我们证明了我们的算法可以优于其他可以处理类不平衡的模型：SAMME，SAMME与SMOTE，RUSBoost和SMOTEBoost。远程信息处理的抽样数据是2013-2016年期间的观察结果，其中50，301用于培训，另外21，574用于测试。从广义上讲，来自车辆远程信息处理的额外信息有助于完善UBI驾驶员的风险分类。
2020-07-06 cs.LG stat.AP stat.ML
Quantum Boosting using Domain-Partitioning Hypotheses
Indraprastha Institute of Information Technology (IIIT-D)（英德拉普拉斯塔信息技术学院（IIIT-D））；Delhi Technical University（德里技术大学）
本文提出QRealBoost算法，解决了提升输出非二元假设的量子弱学习器的开放问题，在收敛性、泛化界和量子加速上提供理论保证，并证明了其相比QAdaBoost在学习器偏差和学习时间上的多项式加速。
2022-08-15 cs.LG quant-ph
Optimal Minimal Margin Maximization with Boosting
Aarhus University（奥胡斯大学）
提升算法通过迭代地组合基本假设来产生分类器。实验观察到，即使在实现零训练误差之后，泛化误差也保持改进。一种流行的解释将其归因于利润率的提高。长期研究中的一个共同目标是使用尽可能少的基本假设来最大化最小的边际，最终由R{ä}tsch和Warrant [JMLR'04]提出了AdaBoostV算法。AdaBoostV算法后来被证明在训练的假设数量和所有训练点上的最小余量之间产生最佳权衡（Nie等人[JMLR'13]）。我们的主要贡献是一个新的算法反驳这一猜想。此外，我们证明了一个下界，这意味着我们的新算法是最优的。
2019-01-30 cs.DS cs.LG stat.ML
Adaptive Boosting with Fairness-aware Reweighting Technique for Fair Classification
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
提出公平 AdaBoost（FAB）方法，利用公平性感知重加权技术在保持预测性能的同时实现公平分类，并推导了目标损失函数上界，在三个真实数据集上优于现有公平分类方法。
2024-01-06 cs.CY cs.LG cs.SY
MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
提升方法是最好的通用和现成的机器学习方法之一，得到了广泛的普及。在本文中，我们寻求开发一种提升方法，该方法可以产生与流行的AdaBoost和梯度提升方法相当的精度，但计算速度更快，其解决方案更具可解释性。我们通过开发MP-Boost来实现这一点，MP-Boost是一种松散基于AdaBoost的算法，它通过在每次迭代中自适应地选择实例和特征的小子集来学习，或者我们称之为迷你补丁（MP）。通过对数据的微小子集进行顺序学习，我们的方法在计算上比其他经典的boosting算法更快。此外，随着它的进展，MP-Boost自适应地学习特征和实例的概率分布，增加最重要的特征和具有挑战性的实例的权重，从而自适应地选择最相关的小块进行学习。这些学到的概率分布也有助于解释我们的方法。我们经验证明的可解释性，比较准确性，和计算时间，我们的方法对各种二进制分类任务。
2020-11-14 cs.LG stat.ML
Predicting Cancer Using Supervised Machine Learning: Mesothelioma
Stevens Institute of Technology（史蒂文斯理工学院）
背景：胸膜间皮瘤（PM）是一种罕见的，好战的肿瘤，迅速发展成癌症的胸膜肺。胸膜间皮瘤是间皮瘤的一种常见类型，占美国每年诊断的所有间皮瘤的约75%。间皮瘤的诊断需要几个月的时间，而且价格昂贵。考虑到PM诊断的风险和限制，早期识别这种疾病对患者健康至关重要。目的：在本研究中，我们使用人工智能算法推荐最适合MPM早期诊断和预后的模型。研究方法：我们回顾性检索了土耳其Dicle大学收集的患者临床数据，并应用多层感知器（MLP）、投票感知器（VP）、Clojure分类器（CC）、核逻辑回归（KLR）、随机梯度下降（SGD）、自适应增强（AdaBoost）、Hoeffding树（VFDT）和支持向量机的原始估计次梯度求解器（s-Pegasos）。我们评估了模型，使用配对T检验（校正）在0.05显著性的基础上，其各自的分类准确度，f-测量，精度，召回率，均方根误差，受试者特征曲线（ROC），和精度-召回曲线（PRC）进行比较和测试。结果：在第一阶段，SGD，AdaBoost。M1、KLR、MLP、VFDT以尽可能高的性能指标生成最佳结果。在第二阶段，AdaBoost的分类准确率为71.29%，优于所有其他算法。C-反应蛋白、血小板计数、症状持续时间、性别和胸膜蛋白被认为是最相关的预测因子，可以预测间皮瘤。结论：这项研究证实，从活检和成像测试获得的数据是间皮瘤的强有力的预测因素，但与高成本相关;然…
2021-10-31 cs.AI cs.LG
A Boosting Algorithm for Positive-Unlabeled Learning
The University of Queensland（昆士兰大学）；The University of Adelaide（阿德莱德大学）；RIKEN（理化学研究所）
正-未标记（PU）学习处理只有正（P）和未标记（U）数据时的二进制分类问题。许多最近的PU方法是基于神经网络，但很少有人做了PU学习的提升算法，尽管提升算法的许多完全监督分类问题的强大性能。在本文中，我们提出了一种新的增强算法，AdaPU，PU学习。与AdaBoost类似，AdaPU旨在优化经验指数损失，但损失基于PU数据，而不是正负（PN）数据。与AdaBoost一样，我们通过一次学习一个弱分类器及其权重来学习弱分类器的加权组合。然而，AdaPU需要一个非常不同的算法来学习弱分类器并确定它们的权重。这是因为AdaPU使用具有一些负数据权重$-$的加权正负（PN）数据集来学习弱分类器及其权重，该数据集是从原始PU数据导出的，并且数据权重由当前加权分类器组合确定，但是一些数据权重是负的。我们的实验表明，AdaPU在几个基准PU数据集上的表现优于神经网络，包括一个具有挑战性的大规模网络安全数据集。
2022-12-07 cs.AI cs.LG
Transforming Heart Disease Prediction with Advanced Machine Learning Techniques
本研究对比多种ML分类器在UCI、Kaggle心脏病数据集上的性能，发现SVM在UCI数据集、Simple Cart在Kaggle数据集上表现最优，经调参的ML模型可辅助心脏病早期诊断。
2026-08-20 cs.LG
The Many Faces of Optimal Weak-to-Strong Learning
Aarhus University（奥胡斯大学）
本文提出一种将数据分为5份、分别运行AdaBoost后多数投票的简单Boosting算法，证明其具有最优样本复杂度和最快运行时间，并通过首次实证比较表明其在大数据集上可能优于已有算法。
2024-08-30 cs.DS cs.LG
Generalized Resubstitution for Regression Error Estimation
Texas A&M University（德克萨斯农工大学）
本文提出回归广义重代入误差估计器族，通过选择不同经验概率测度与损失函数改进偏差和方差，并证明其一致性，实验验证了有限样本下的优越性。
2024-10-23 cs.LG
Margin-Based Generalization Lower Bounds for Boosted Classifiers
Aarhus University（奥胡斯大学）；UC Berkeley（加州大学伯克利分校）
Boosting是机器学习中最成功的思想之一。对于诸如AdaBoost之类的boosting算法的低泛化误差，最广为接受的解释来自裕度理论。在提升算法的背景下对边缘的研究是由Schapire，Freund，Bartlett和Lee（1998）发起的，并且启发了许多提升算法和泛化边界。迄今为止，已知最强的推广（上界）是高和周（2013）的$k$ th边缘界。尽管在过去的二十年中已经证明了许多推广的上界，但对这些界的紧密性一无所知。在本文中，我们给出了提升分类器的泛化误差的第一个基于边缘的下界。我们的下界几乎匹配的$k$ th边缘界，从而几乎解决了提升分类器的泛化性能的边缘。
2020-05-07 cs.DS cs.LG stat.ML
An Empirical Comparison of Cost Functions in Inductive Logic Programming
University of Southampton（南安普顿大学）；University of Oxford（牛津大学）
本文通过扩展基于约束的ILP系统，在20多个领域、1000多个任务上实证比较了七种标准成本函数对最优假设泛化误差的影响，发现最小化训练误差或描述长度整体表现最佳，而最小化假设大小并不总能降低泛化误差。
2025-03-10 cs.LG
The Role of Codeword-to-Class Assignments in Error-Correcting Codes: An Empirical Study
Technion（以色列理工学院）
纠错码（ECC）用于减少多类分类任务的多个二进制分类子问题。在ECC中，类别由二进制矩阵的行表示，对应于码本中的码字。码本通常是预定义的或问题相关的。给定预定义的码本，码字到类的分配传统上被忽视，码字被隐式地任意分配给类。我们的论文表明，这些分配在ECC的性能发挥了重要作用。具体来说，我们研究相似性保持分配，其中类似的码字分配给类似的类。针对现有文献中的争议，我们广泛的实验证实，相似性保持分配诱导更容易的子问题，并优于其他分配政策的泛化性能。我们发现，相似性保持分配预定义的码本成为问题相关的，而不改变其他有利的码本属性。最后，我们表明，我们的研究结果可以改善预定义的码本专用于极端分类。
2023-02-10 cs.LG
Directly and Efficiently Optimizing Prediction Error and AUC of Linear Classifiers
Lehigh University（利哈伊大学）
机器学习模型的预测质量通常根据其（近似）预期预测误差或特定数据分布的所谓曲线下面积（AUC）来衡量。然而，当通过经验风险最小化方法构建模型时，替代函数（如逻辑损失）被优化。这样做是因为预期误差和AUC函数的经验近似是非凸和非光滑的，更重要的是几乎处处都是零导数。在这项工作中，我们表明，在线性预测的情况下，并假设数据具有正态分布，预期误差和预期AUC不仅是光滑的，但有封闭形式的表达式，这取决于正态分布的第一和第二时刻。因此，我们推导出这两个函数的导数，并在优化算法中使用这些导数来直接优化预期误差和AUC。在真实数据集的情况下，可以使用经验矩来近似导数。我们表明，即使当数据不是正态分布，计算的衍生物是足够有用的，使一个有效的优化方法和高质量的解决方案。因此，我们提出了一种基于梯度的优化方法，用于直接优化预测误差和AUC。此外，所提出的算法的每次迭代的复杂性没有依赖于数据集的大小，不像那些优化逻辑回归和所有其他众所周知的经验风险最小化问题。
2018-02-07 cs.LG
A Benchmark to Select Data Mining Based Classification Algorithms For Business Intelligence And Decision Support Systems
Jaypee University of Information Technology（贾皮信息技术大学）；Banaras Hindu University（贝拿勒斯印度教大学）；Uttarakhand Technical University（北阿坎德邦技术大学）
DSS服务于组织的管理、运营和规划层面，并帮助做出决策，这些决策可能会迅速变化，并且不容易提前指定。数据采掘在决策支持系统中起着重要的作用，它可以提取出重要的信息，为决策提供帮助。数据采掘和决策支持系统（DSS）的集成可以提高性能，并能够解决新类型的问题。人工智能方法正在提高决策支持的质量，并且已经嵌入到从蚂蚁锁定汽车制动器到如今的交互式搜索引擎的许多应用中。它提供各种机器学习技术来支持数据采掘。分类是数据采掘的主要任务之一。几种类型的分类算法已被建议，测试和比较，以确定未来的趋势的基础上看不见的数据。目前还没有发现一种算法在所有数据集上优于所有其他算法。本文的目的是比较各种分类算法，经常使用的数据采掘的决策支持系统。在四个不同领域的数据集上，从预测精度、错误率、分类指数、可理解性和训练时间等方面对三种基于决策树的算法，一种人工神经网络算法、一种统计算法、一种带adaboost和不带adaboost的支持向量机算法和一种聚类算法进行了测试和比较。实验结果表明，遗传算法（GA）和支持向量机为基础的算法是更好的预测精度。没有adaboost的SVM应该是速度和预测准确性方面的首选。Adaboost提高了SVM的精度，但代价是大量的训练时间。
2012-10-11 cs.DB cs.LG
Theory of Generative Deep Learning : Probe Landscape of Empirical Error via Norm Based Capacity Control
University of Chinese Academy of Sciences（中国科学院大学）
尽管深度学习作为人工智能的一个极具竞争力的分支，在经验上取得了显著的成功，但它经常因其广为人知的低解释性和缺乏坚实严谨的数学基础而受到指责。然而，大多数理论研究都集中在判别式深度学习的情况下，其补充部分是生成式深度学习。据我们所知，我们首先突出景观的经验错误生成的情况下，完成完整的图片，通过精致的设计图像超分辨率下基于范数的容量控制。我们在解释训练动态方面的理论进展是从数学和生物学两个方面实现的。
2018-10-03 cs.CV cs.LG
High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss
本文通过理论分析，深入研究了当考虑高维数据时，经验风险最小化框架在岭正则化和非正则化两种情况下的分类性能。专注于分离两类高斯混合的基本问题，建议的分析允许一组足够大的维度$p$的众多数据向量$\mathbf{x} \in \mathbb R^p$的分类误差的精确预测。这个精确的误差取决于损失函数、训练样本的数量以及混合数据模型的统计数据。研究表明，在数据统计的某些额外非稀疏条件下，它仍然超出高斯分布。在此定量误差分析的基础上，我们将简单平方损失确定为脊正则化和非正则化情况下高维分类的最佳选择，无论训练样本的数量如何。
2020-11-25 cs.LG stat.ML
Improved Margin Generalization Bounds for Voting Classifiers
Aarhus University（奥胡斯大学）
本文为投票分类器提出更紧的间隔泛化界，并据此推导出期望误差达到理论下界的最优 Majority-of-3 弱到强学习器，为 AdaBoost 等算法提供更强保证。
2025-06-03 cs.DS cs.LG math.ST
Generalized Resubstitution for Classification Error Estimation
Texas A&M University（德克萨斯农工大学）
我们提出了家庭的广义再替代分类器误差估计的基础上的经验措施。这些误差估计是计算效率高，不需要重新训练的分类器。简单的再替换误差估计对应于选择标准的经验测量。其他选择的经验措施导致支持，后验概率，高斯过程，贝叶斯误差估计，此外，我们提出支持后验概率误差估计作为一个新的家庭的广义resubstitution估计。在两类的情况下，我们证明了广义再替换估计是一致的和渐近无偏的，无论分布的功能和标签，如果相应的广义经验措施一致收敛到标准的经验措施和分类规则有一个有限的VC维。广义重替换估计量通常具有超参数，可以调整这些超参数以控制其偏差和方差，这增加了灵活性。用合成数据训练的各种分类规则的数值实验评估了几种有代表性的广义重替换误差估计的有限样本性能。此外，使用LeNet-5卷积神经网络和MNIST数据集进行的图像分类实验结果证明了这类误差估计器在计算机视觉深度学习中的潜力。
2021-10-23 cs.LG stat.ML
Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm
Université Laval（拉瓦尔大学）
我们提出了一个广泛的分析行为的多数票在二进制分类。特别是，我们引入了一个风险约束的多数票，称为C界，考虑到选民的平均质量和他们的平均分歧。我们还提出了一个广泛的PAC-Bayesian分析，展示了如何从训练数据中包含的各种观察来估计C界。该分析旨在是独立的，可以用作PAC贝叶斯统计学习理论的介绍材料。它从一般的PAC-Bayesian角度开始，并以不常见的PAC-Bayesian边界结束。其中一些边界不包含库尔贝克-莱布勒散度，而另一些边界允许将内核函数用作投票者（通过样本压缩设置）。最后，在分析的基础上，我们提出了MinCq学习算法，该算法基本上最小化了C界。MinCq简化为一个简单的二次规划。除了理论上的基础，MinCq实现了最先进的性能，如我们与AdaBoost和支持向量机的广泛实证比较所示。
2015-07-28 cs.LG stat.ML
Consistency Analysis of an Empirical Minimum Error Entropy Algorithm
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Wuhan University（武汉大学）；Middle Tennessee State University（中田纳西州立大学）；City University of Hong Kong（香港城市大学）
在本文中，我们研究的经验最小误差熵（EML）算法在回归设置的一致性。我们介绍两种类型的一致性。误差熵的一致性，这需要学习函数的误差熵近似最小误差熵，示出总是真的，如果带宽参数以适当的速率趋于0。然而，回归一致性要求学习函数逼近回归函数，这是一个复杂的问题。证明了当噪声与输入变量无关时，误差熵的一致性蕴涵着回归的一致性。但对于异方差模型，一个反例被用来表明，这两种类型的一致性不重合。一个令人惊讶的结果是，回归一致性总是真的，只要带宽参数以适当的速率趋于无穷大。证明了两类特殊模型的回归相合性在固定带宽参数下成立，进一步说明了非线性回归相合性的复杂性。傅里叶变换在我们的分析中起着至关重要的作用。
2014-12-17 cs.LG stat.ML
Learning-based solutions to nonlinear hyperbolic PDEs: Empirical insights on generalization errors
New York University Tandon School of Engineering（纽约大学坦登工程学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们研究学习弱解的非线性双曲型偏微分方程（H-PDE），这是很难学习，由于其解决方案的不连续性。我们使用傅立叶神经算子（$π$ -FNO）的物理信息变体来学习弱解。我们根据经验将$π$ -FNO求解器的泛化/样本外误差量化为输入复杂度的函数，即，初始条件和边界条件的分布。我们的测试结果表明，$π$ -FNO推广以及看不见的初始和边界条件。我们发现，泛化误差与输入复杂度呈线性增长。此外，添加物理信息正则化器改进了解决方案中不连续性的预测。我们使用Lighthill-Witham-Richards（LWR）交通流模型作为一个指导性的例子来说明的结果。
2023-02-16 cs.AI cs.LG
Bounding generalization error with input compression: An empirical study with infinite-width networks
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；The NSF AI Institute for Artificial Intelligence and Fundamental Interactions（美国国家科学基金会人工智能与基础交互研究所）；Massachusetts Institute of Technology（麻省理工学院）；University of Calgary（卡尔加里大学）
估计深度神经网络（DNN）的泛化误差（GE）是一项重要的任务，通常依赖于保留数据的可用性。基于单个训练集更好地预测GE的能力可以产生总体DNN设计原则，以减少对试错法的依赖，以及其他性能评估优势。为了寻找与GE相关的量，我们研究了输入层和最终层表示之间的互信息（MI），使用无限宽DNN限制来约束MI。现有的基于输入压缩的GE界限用于链接MI和GE。据我们所知，这是对这一界限的第一次实证研究。在我们试图从经验上证伪理论界的过程中，我们发现，对于表现最好的模型，理论界往往是紧的。此外，它在许多情况下检测训练标签的随机化，反映测试时间扰动鲁棒性，并且在只有少量训练样本的情况下工作良好。这些结果是有希望的输入压缩是广泛适用的MI可以估计的信心。
2022-07-19 cs.AI cs.LG
A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs
New York University（纽约大学）
本文的重点是了解泛化误差如何与深度神经网络（DNN）的训练数据量成比例。统计学习中的现有技术需要计算容量度量，例如VC维，以可证明地约束此错误。然而，不清楚如何将这些措施扩展到DNN，因此现有的分析适用于简单的神经网络，其在实践中没有使用，例如，线性的或浅的或其他多层感知器。此外，许多理论上的误差界限是无法经验验证的。我们推导出适用于深度网络的泛化误差的估计，并且不依赖于无法达到的容量度量。我们的方法中的启用技术取决于两个主要假设：i）网络实现零训练误差，ii）在测试点上出错的概率与该点与特征空间中最近的训练点之间的距离成正比，并且在某个最大距离（我们称之为半径）处饱和。基于这些假设，我们估计DNN的泛化误差。所获得的估计尺度为O（1/（δN^{1/d}）），其中N是训练数据的大小，并由两个量参数化，即网络感知的数据的有效维数（d）和上述半径（δ），这两个量都是我们根据经验发现的。我们表明，我们的估计与实验获得的行为的错误，使用基准数据集和现实模型的多个学习任务相匹配。估计训练数据需求对于部署安全关键应用（例如自动驾驶等）至关重要。此外，收集和注释训练数据需要大量的财务、计算和人力资源。我们的经验估计将有助于有效地分配资源。
2021-05-05 cs.LG stat.ML
PAC-Bayesian bounds for learning LTI-ss systems with input from empirical loss
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
在本文中，我们得到了一个可能近似正确（PAC）的贝叶斯误差界的线性时不变（LTI）随机动力系统的输入。这样的界限在机器学习中很普遍，它们对于表征从大量数据点学习的模型的预测能力很有用。特别是，本文导出的边界将未来的平均预测误差与模型在用于学习的数据上产生的预测误差联系起来。反过来，这使我们能够提供有限样本误差界的广泛的学习/系统识别算法。此外，由于LTI系统是递归神经网络（RNN）的一个子类，这些误差范围可能是RNN迈向PAC-贝叶斯边界的第一步。
2023-03-29 cs.LG stat.ML
Rigorous Error Certification for Neural PDE Solvers: From Empirical Residuals to Solution Guarantees
Department of Applied Mathematics（应用数学系）；University of Waterloo（滑铁卢大学）
本文提出通过残差控制建立解空间误差的通用界限，证明神经近似在解空间紧子集时残差趋近于零可保证收敛到真实解，提供确定性和概率性收敛结果及认证的泛化界限。
2026-09-02 cs.LG math.AP math.FA
An Empirical Study of Incremental Learning in Neural Network with Noisy Training Set
Asutosh College, University of Calcutta（加尔各答大学阿苏托什学院）；Lexmark International India Pvt. Ltd.（利盟国际印度私人有限公司）；Indian Statistical Institute（印度统计研究所）
增量学习的概念是当新的训练数据到达时，分阶段训练ANN算法。近年来，随着深度学习的出现，增量学习变得越来越普遍。训练数据中的噪声降低了算法的准确性。本文对噪声在训练阶段的影响进行了实证研究。我们数值计算表明，该算法的精度是依赖于错误的位置比错误的百分比。使用感知器，前馈神经网络和径向基函数神经网络，我们表明，对于相同的错误百分比，算法的准确性显着变化的错误的位置。此外，我们的研究结果表明，精度的依赖性与错误的位置是独立的算法。然而，退化曲线的斜率随着更复杂的算法而减小
2020-05-07 cs.LG stat.ML
Rare but Severe Neural Machine Translation Errors Induced by Minimal Deletion: An Empirical Study on Chinese and English
Haverford College（哈弗福德学院）
该实证研究发现在中英神经机器翻译中，仅删除源文本单个字符即可诱发严重错误，并比较了删字与删词的影响及训练数据规模的作用。
2022-09-17 cs.AI cs.CL cs.LG
On the Minimal Error of Empirical Risk Minimization
MIT（麻省理工学院）
我们研究的最小误差的经验风险最小化（ERM）程序的回归任务，无论是在随机和固定的设计设置。我们清晰的下界揭示了适应生成数据的模型的简单性的可能性（或不可能性）。在固定的设计设置，我们表明，错误是由整个类的全局复杂性。相反，在随机设计中，如果回归函数周围的局部邻域几乎和类本身一样复杂，ERM可能只适用于更简单的模型，这是一个有点违反直觉的结论。我们提供了尖锐的下界的ERM为Donsker和非Donsker类的性能。我们还讨论了我们的结果，通过最近的研究超参数化模型的插值镜头。
2021-02-24 cs.LG math.ST stat.ML
Empirical Hypothesis Space Reduction
NEC corporation（日本电气股份有限公司）；RIKEN AIP（理化学研究所AIP）
选择合适的正则化系数是正则化经验风险最小化问题的关键。现有的理论方法试图确定的系数，以正规化的经验目标是真正的目标的上限，均匀的假设空间。然而，这样的方法被认为是过于保守的，特别是在具有大假设空间的高维设置中。事实上，基于方差的正则化中现有的泛化误差界是$O(\sqrt{d \log n/n})$，其中$d$是假设空间的维度，因此收敛所需的样本数量相对于$d$线性增加。本文提出了一种计算正则化系数的算法，该算法能加快泛化误差$O(\sqrt{\log n/n})$的收敛速度，且其首项与维数$d$无关。这种不依赖于假设空间大小的更快收敛是通过经验假设空间缩减来实现的，经验假设空间缩减以高概率成功地缩减了假设空间，而不会丢失真正的最优解。统一的上界计算减少空间，然后，使加速收敛的泛化误差。
2019-09-04 cs.LG stat.ML
Bounds on the Generalization Error in Active Learning
Universität Hamburg（汉堡大学）
该研究推导主动学习的泛化误差上界，建立经验风险最小化原则，验证结合信息性与代表性查询策略的优势，关联不同场景与对应上界，证明正则化技术是界成立的充分条件，为查询算法构建与评估提供理论支撑。
2024-09-10 cs.LG stat.ML
Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）
有序回归的目的是预测有序类标签。在本文中，我们考虑它的半监督制定，其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能，例如平均绝对误差，平均零一误差和均方误差。然而，现有的研究没有考虑评价指标，对模型的选择有限制，没有理论保证。为了克服这些问题，我们提出了一种新的通用框架，半监督有序回归的基础上的经验风险最小化原则，适用于优化上述所有指标。此外，我们的框架具有灵活的模型，代理损失和优化算法的选择，而无需对未标记数据进行常见的几何假设，如聚类假设或流形假设。我们进一步提供了一个估计误差界，以表明我们的风险估计是一致的。最后，我们进行实验，以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
Empirical Error Estimates for Graph Sparsification
University of California, Davis（加州大学戴维斯分校）
本文提出一种数据驱动的经验误差估计方法，用于量化图稀疏化中随机误差对下游计算的影响，并在拉普拉斯近似、图割查询、图结构回归和谱聚类四个场景中验证其通用性，同时给出理论保证和成本分析。
2025-03-11 cs.LG math.ST stat.ME
Empirical Risk Minimization in the Interpolating Regime with Application to Neural Network Learning
Institute for Mathematical Stochastics（数学随机过程研究所）；Technical University of Braunschweig（布伦瑞克工业大学）；Institute for Stochastics and Applications（随机过程与应用研究所）；University of Stuttgart（斯图加特大学）
训练深度神经网络（DNN）的一个常见策略是使用非常大的架构，并对它们进行训练，直到它们（几乎）实现零训练误差。经验上观察到的良好的泛化性能的测试数据，即使在存在大量的标签噪声，证实了这样的程序。另一方面，在统计学习理论中，已知过拟合模型可能导致较差的泛化特性，例如在过大的假设类上的经验风险最小化（ERM）中发生。受这种矛盾行为的启发，所谓的插值方法最近受到了广泛的关注，导致一些局部平均方案具有零训练误差的一致和最佳学习方法。然而，迄今为止，还没有对插值类ERM方法进行理论分析。我们在这个方向上迈出了一步，表明某些大的假设类，一些插值ERMs享有非常好的统计保证，而其他人在最坏的意义上失败。此外，我们还发现，对于具有零训练误差和足够大的架构的DNN，也会出现同样的现象。
2021-07-23 cs.LG stat.ML
$L_2$-Regularized Empirical Risk Minimization Guarantees Small Smooth Calibration Error
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；Lattice Lab, Toyota Motor Corporation（丰田株式会社格子实验室）
本文首次从理论上证明 $L_2$ 正则化经验风险最小化可直接控制平滑校准误差，无需事后校正，并在核岭回归和核逻辑回归中给出具体保证，实验验证了其有效性。
2025-10-15 cs.LG math.ST stat.ML
An Empirical Study on Variance-based MC Dropout Uncertainty-Error Correlation in 2D Brain Tumor Segmentation
Project Associate DESE, Indian Institute of Science（DESE项目助理，印度科学研究院）
通过U-Net在四种增强设置下的实验，发现基于方差的MC Dropout不确定性在全局和边界上与分割误差的相关性较弱，表明其局限性。
2026-05-27 cs.CV cs.LG eess.IV
Error Analysis of Option Pricing via Deep PDE Solvers: Empirical Study
Tohoku University（东北大学）；Preferred Networks, Inc.（Preferred Networks 公司）
本研究通过实证对比和消融实验，系统分析了深度PDE求解器在高维期权定价中的三类误差来源，发现DBSDE方法性能优越且对期权规格变化鲁棒，并揭示了性能与批大小及时间步数的平方根成反比的关系，为实际应用提供了计算资源估算依据。
2023-11-13 cs.LG cs.NA math.NA
Fairness of Machine Learning Algorithms in Demography
National Research University Higher School of Economics（俄罗斯高等经济大学国立研究型大学（莫斯科））；Moscow（莫斯科（注：此处“Moscow”为城市名，按要求不提取，但原机构名已包含，需保留））；HSE（高等经济大学（注：HSE为原机构缩写，与“National Research University Higher School of Economics”为同一机构，按要求提取到大学级别即可））
本文通过对俄罗斯人口数据集的模型公平性和过程公平性的研究，对第一次婚姻的离婚率、宗教信仰、第一次就业率和教育完成率进行了预测。我们的目标是通过减少对敏感特征的依赖，同时增加或至少保持其准确性，使分类器更加公平。我们从基于神经的方法中的“dropout”技术中获得灵感，并提出了一个使用“feature drop-out”来解决过程公平性的模型。为了评估分类器的公平性并决定要消除的敏感特征，我们使用了“LIME解释”。这导致由于特征丢失而产生的分类器池，其集合已被证明不太依赖于敏感特征，并且对准确性有改善或没有影响。我们的实证研究是在四个分类器家族（逻辑回归，随机森林，Bagging和Adaboost）上进行的，并在现实生活中的数据集（来自世代和性别调查的俄罗斯人口数据）上进行的，结果表明，所有模型都变得不那么依赖敏感的特征（如性别，第一次合作关系的破裂，第一次合作关系等）。并显示出对准确性的改善或无影响
2022-02-02 cs.AI cs.CY cs.LG
Differentially Private Empirical Risk Minimization: Efficient Algorithms and Tight Error Bounds
The Pennsylvania State University（宾夕法尼亚州立大学）；Boston University（波士顿大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
在本文中，我们提出了一个系统的调查差分私人算法凸经验风险最小化。以前已经研究过这个问题的各种实例。我们提供了新的算法和匹配的私人ERM下界假设只有每个数据点的贡献的损失函数是Lipschitz有界的，优化的域是有界的。我们提供了一个单独的一组算法和匹配的下限的设置，其中的损失函数已知也是强凸的。我们的算法运行在多项式时间，在某些情况下，甚至匹配的最佳非私有运行时间（如Oracle复杂性）。我们给单独的算法（和下限）为$(ε,0)$ -和$(ε,δ)$ -差分隐私，也许令人惊讶的是，用于设计最佳算法的技术在这两种情况下是完全不同的。我们的下界甚至适用于非常简单的光滑函数族，如线性和二次函数。这意味着，从以前的工作中的算法可以用来获得最佳的出错率，在额外的假设下，每个数据点的损失函数的贡献是平滑的。我们表明，简单的方法来平滑任意损失函数（为了应用以前的技术）不产生最佳的出错率。特别是，最佳算法是以前不知道的问题，如训练支持向量机和高维中位数。
2014-10-17 cs.CR cs.LG stat.ML
Convergence Rates for Empirical Estimation of Binary Classification Bounds
University of Michigan（密歇根大学）；Yale University（耶鲁大学）
二进制分类问题的最佳可实现错误概率的界与许多应用相关，包括机器学习、信号处理和信息论。贝叶斯二进制分类出错率的许多界限取决于类分布对之间的信息分歧。最近，Henze-Penrose（HP）分歧已被提出用于界定分类错误概率。我们考虑的问题，经验估计的HP分歧从随机样本。我们推导出的HP-发散，这是一个多变量运行统计两个分布之间的测试的Friedman-Rafsky（FR）估计的收敛速度上的界限。FR估计是来自一个多色的欧氏最小生成树（MST），跨越合并的样本。我们得到了Henze-Penrose散度的Friedman-Rafsky估计的一个集中不等式。我们通过实验验证了我们的结果，并说明了它们在真实数据集上的应用。
2018-10-01 cs.IT cs.LG math.IT
Analysis of the Generalization Error: Empirical Risk Minimization over Deep Artificial Neural Networks Overcomes the Curse of Dimensionality in the Numerical Approximation of Black-Scholes Partial Differential Equations
University of Vienna（维也纳大学）；ETH Zürich（苏黎世联邦理工学院）；University of Münster（明斯特大学）
基于深度神经网络假设类的经验风险最小化（ERM）的新分类和回归算法的开发，创造了深度学习，彻底改变了人工智能，机器学习和数据分析领域。特别是，这些方法已被应用于数值求解高维偏微分方程取得了巨大成功。最近的模拟表明，基于深度学习的算法能够克服Kolmogorov方程数值解的维数灾难，该方程广泛用于工程，金融和自然科学的模型。本文考虑在何种条件下，深度神经网络假设类上的ERM近似于具有仿射漂移和扩散系数的$d$维Kolmogorov方程的解，以及从计算金融问题中产生的典型初始值，直到错误$\varepsilon$。我们建立，具有高概率的训练样本，这样的近似可以实现与假设类的大小和训练样本的数量缩放仅在$d$和$\varepsilon^{-1}$多项式。可以得出结论，在深度神经网络假设类上的ERM克服了具有仿射系数的线性Kolmogorov方程的数值解的维数灾难。
2020-11-11 cs.LG cs.NA math.NA
