Bootstrap SGD: Algorithmic Stability and Robustness
University of Bayreuth（拜罗伊特大学）；The University of Hong Kong（香港大学）
本文从算法稳定性和统计鲁棒性角度研究可分离希尔伯特空间上的bootstrap SGD方法，给出Type 1和Type 2的泛化分析，并提出一种可构造中位数曲线分布无关逐点置信区间的新bootstrap SGD。
2024-09-02 cs.AI cs.LG stat.ML
Is Algorithmic Stability Testable? A Unified Framework under Computational Constraints
Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文提出统一框架，证明在有限数据和计算约束下，穷举搜索是检验算法稳定性的唯一普遍有效方法，从而揭示黑盒算法稳定性检验的根本限制。
2025-03-30 cs.LG math.ST stat.ML
Algorithmic Stability of Heavy-Tailed Stochastic Gradient Descent on Least Squares
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Boğaziçi University（博阿齐奇大学）；Rutgers University（罗格斯大学）；Florida State University（佛罗里达州立大学）；CNRS（法国国家科学研究中心）
最近的研究表明，重尾可以出现在随机最优化和尾部的沉重有联系的泛化错误。虽然这些研究揭示了现代环境中泛化行为的有趣方面，但它们依赖于强拓扑和统计规律性假设，这些假设很难在实践中得到验证。此外，经验表明，重尾和泛化之间的关系在实践中可能并不总是单调的，与现有理论的结论相反。在这项研究中，我们建立了新的尾部行为和随机梯度下降（SGD）的泛化性能之间的联系，通过镜头的算法稳定性。我们考虑一个二次优化问题，并使用一个重尾随机微分方程（及其欧拉离散化）作为一个代理建模的重尾行为出现在SGD。然后，我们证明了一致的稳定性界限，这揭示了以下结果：（i）没有任何外来的假设，我们表明，SGD将不会是稳定的，如果稳定性是衡量平方损失$x\mapsto x^2$，而它反过来成为稳定的，如果稳定性，而不是衡量与一些$p<2$的替代损失$x\mapsto |x|^p$。(ii)根据数据的方差，存在\emph{`threshold of heavy-tailedness'}，使得泛化误差随着尾部变重而减小，只要尾部比该阈值轻。这表明，重尾和泛化之间的关系不是全局单调的。(iii)我们证明了匹配的一致稳定的下界，这意味着我们的界限是紧的沉重的尾巴。我们支持我们的理论与合成和真实的神经网络实验。
2023-02-13 cs.LG stat.ML
Black-box tests for algorithmic stability
University of Washington（华盛顿大学）；University of Chicago（芝加哥大学）
动态稳定性是来自学习理论的概念，其表示输入数据的变化程度（例如，单个数据点的去除）可能影响回归算法的输出。了解算法的稳定性属性通常对许多下游应用程序有用-例如，已知稳定性会导致期望的泛化属性和预测推理保证。然而，目前在实践中使用的许多现代算法太复杂，理论分析其稳定性，因此，我们只能尝试建立这些属性，通过经验探索算法的行为在各种数据集。在这项工作中，我们奠定了一个正式的统计框架，这种“黑盒测试“没有任何假设的算法或数据分布，并建立基本界限的能力，任何黑盒测试，以确定算法的稳定性。
2022-12-21 cs.LG math.ST stat.TH
Concentration in unbounded metric spaces and algorithmic stability
证明了McDiarmid不等式在直径无界的度量空间中的推广.为此，我们引入了{ \em亚高斯直径}的概念，这是一个依赖于分布的度量直径的细化。我们的技术提供了一种替代的方法，弱差-有界函数的方法，并在一些有趣的情况下，前者不产生非平凡的，无量纲的结果。作为一个应用，我们显然给出了第一个广义界的算法稳定性设置，适用于无界损失函数。进一步将浓度不等式推广到强混合过程。
2013-09-11 cs.LG math.FA math.PR
Sample-Conditioned Hypothesis Stability Sharpens Information-Theoretic Generalization Bounds
University of Ottawa（渥太华大学）
本文提出样本条件假设稳定性及邻近假设矩阵构造，据此建立更锐利的信息论泛化界，并解决了随机凸优化中现有信息论界的局限性。
2023-10-31 cs.IT cs.LG math.IT
Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）；Rutgers University（罗格斯大学）；Princeton University（普林斯顿大学）；CNRS（法国国家科学研究中心）
随机梯度下降（SGD）中的重尾现象已经在一些实证研究中报道。在以前的工作中的实验证据表明，一个强大的相互作用之间的沉重的尾巴和泛化行为的SGD。为了从理论上解决这一经验现象，一些工作已经做出了强有力的拓扑和统计假设，将泛化错误与重尾联系起来。最近，新的泛化界已被证明，表示的泛化误差和重尾之间的非单调关系，这是更相关的经验观察报告。虽然这些界限不需要额外的拓扑假设，因为SGD可以使用重尾随机微分方程（HSD）建模，但它们只能适用于简单的二次问题。在本文中，我们建立在这条线的研究和发展泛化界的目标函数，其中包括非凸函数以及更一般的类。我们的方法是基于发展的Wasserstein稳定性界的重尾SDES和他们的离散化，然后我们转换为泛化界。我们的结果不需要任何非平凡的假设;然而，由于损失函数的一般性，它们为经验观察提供了更多的光。
2023-01-30 cs.LG stat.ML
An Optimal Transport View on Generalization
The University of Sydney（悉尼大学）
我们推导出上界的泛化误差的学习算法的基础上，他们的\emph{algorithmic transport cost}：预期的瓦瑟斯坦距离之间的输出假设和输出假设的输入示例为条件。边界提供了一种新的方法来研究学习算法的推广，从最优传输的观点，并施加更少的限制，如亚高斯或有界的损失函数。我们进一步提供了几个上界的算法运输成本的全变差距离，相对熵（或KL发散），和VC维，从而进一步桥接最优运输理论和信息理论与统计学习理论。此外，我们还研究了损失函数的不同条件下，学习算法的泛化误差可以由不同的概率距离分布之间的上限与输出假设和/或输入数据。最后，在我们建立的框架下，我们分析了深度学习中的泛化，并得出结论，随着层数的增加，深度神经网络（DNN）中的泛化误差呈指数下降到零。我们对深度学习泛化错误的分析主要利用了DNN的层次结构和$f$ -发散的收缩特性，这可能对分析其他具有层次结构的学习模型具有独立的意义。
2018-11-08 cs.LG stat.ML
Minibatch and Local SGD: Algorithmic Stability and Linear Speedup in Generalization
Department of Mathematics（数学系）；College of Computer（计算机学院）；Department of Computer Science（计算机科学系）
本文研究了minibatch和local SGD的稳定性与泛化分析，通过引入期望-方差分解并纳入训练误差，证明了它们能达到最优风险界并实现线性加速。
2025-10-11 cs.AI cs.LG
Algorithmic Principles For Multiclass Learning Are Hard To Come By: Limits of Regularization and Proper Learning
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
该研究解决统计学习理论中三个开放问题，证明多分类学习无法简化为恰当学习，恰当学习存在亚线性误差必要条件，且正则化不是通用学习器，同时给出SRM可学习性的充分条件。
2026-11-05 cs.LG stat.ML
Algorithmic Stability of Stochastic Gradient Descent with Momentum under Heavy-Tailed Noise
Florida State University（佛罗里达州立大学）；Imperial College London（帝国理工学院）；Rutgers Business School（罗格斯商学院）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
针对重尾噪声下超越SGD的优化器分析缺失问题，建立了SGDm的Wasserstein算法稳定性界，发现动量与重尾相互作用会损害泛化，并证明了离散动力学能保持极限SDE的泛化性质。
2025-02-02 cs.LG math.OC math.PR
On the Stability and Generalization of First-order Bilevel Minimax Optimization
College of Informatics（信息学院）；School of Artificial Intelligence（人工智能学院）
本文研究了一阶双层极小极大优化算法的稳定性和泛化能力，通过算法稳定性分析，推导出三种代表性算法的细粒度泛化界，并通过实验证实理论结果。
2026-04-22 cs.AI cs.LG stat.ML
Boosting the Confidence of Generalization for $L_2$-Stable Randomized Learning Algorithms
Baidu Research（百度研究院）
最近建立了一致稳定学习算法的具有近紧速率的指数泛化界。然而，一致稳定性的概念是严格的，因为它对数据生成分布是不变的。在较弱的和分布依赖的稳定性的概念，如假设稳定性和$L_2$ -稳定性，文献表明，只有多项式泛化界在一般情况下是可能的。本文件探讨这两种结果制度之间长期存在的紧张关系，并在传统的增强信任框架内逐步缓解这种紧张关系。为此，我们首先建立了一个预期的第一时刻泛化误差界潜在的随机学习算法与$L_2$稳定性，基于此，我们然后表明，一个适当设计的subbagging过程导致近紧指数泛化界的数据和算法的随机性。我们进一步具体化这些通用的结果随机梯度下降（SGD），以获得改进的高概率泛化界的凸或非凸优化问题的自然时间衰减的学习率，这是不可能证明与现有的假设稳定性或一致稳定的结果。
2022-06-08 cs.LG stat.ML
Stability and Generalization of Graph Convolutional Neural Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
受一维和二维数据上的卷积神经网络的启发，图卷积神经网络（GCNN）已经被开发用于图数据上的各种学习任务，并且在现实世界的数据集上显示出优越的性能。尽管他们取得了成功，但缺乏对GCNN模型的理论探索，例如它们的泛化特性。在本文中，我们通过分析单层GCNN模型的稳定性并在半监督图学习环境中推导其泛化保证，迈出了对GCNN模型更深入的理论理解的第一步。特别是，我们证明了GCNN模型的算法稳定性取决于其图卷积滤波器的最大绝对特征值。此外，为了确保提供强泛化保证所需的一致稳定性，最大绝对特征值必须与图的大小无关。我们的研究结果为设计新的和改进的图卷积滤波器提供了新的见解，并保证了算法的稳定性。我们评估了各种真实世界图数据集的泛化差距和稳定性，并表明实证结果确实支持我们的理论研究结果。据我们所知，我们是第一个在半监督环境中研究图学习的稳定性界限并推导出GCNN模型的泛化界限的人。
2019-05-14 cs.AI cs.LG stat.ML
Stability of decision trees and logistic regression
Macedonian Academy of Sciences and Arts（马其顿科学艺术院）；Temple University（天普大学）
决策树和逻辑回归是最流行和最知名的机器学习算法之一，经常用于解决各种现实问题。学习算法的稳定性是分析其性能和灵敏度的有力工具，从而使研究人员能够得出可靠的结论。这两个算法的稳定性仍然是模糊的。为此，在本文中，我们推导出两个稳定性概念的决策树和逻辑回归：假设和逐点假设稳定性。此外，我们推导出L2正则化逻辑回归的这些概念，并证实了现有的研究结果，它是一致稳定的。我们证明了决策树的稳定性依赖于树中叶子的数量，即，它的深度，而对于逻辑回归，它取决于交叉熵损失的Hessian矩阵的最小特征值。我们证明了逻辑回归不是一个稳定的学习算法。我们构造的上界的泛化误差的所有三种算法。此外，我们提出了一个新的稳定性测量框架，允许一个测量上述概念的稳定性。这些措施相当于在一个输入示例中对预期损失差异的估计，然后利用自助抽样来产生统计上可靠的估计。最后，我们将这个框架应用到本文分析的三种算法中，以证实我们的理论研究结果，此外，我们还讨论了开发新的训练技术来优化逻辑回归的稳定性，从而降低其泛化误差的可能性。
2019-03-03 cs.LG stat.ML
Data-Dependent Stability of Stochastic Gradient Descent
EPFL（洛桑联邦理工学院）；IST Austria（奥地利科学技术研究所）
我们建立了一个数据依赖的概念，算法的稳定性随机梯度下降（SGD），并利用它来开发新的推广界。这与先前SGD的无分布算法稳定性结果相反，该结果取决于最坏情况常数。凭借数据依赖的论点，我们的边界提供了新的见解，学习与SGD凸和非凸问题。在凸的情况下，我们证明了泛化误差的界依赖于初始化点的风险。在非凸情形下，我们证明了目标函数在初始点附近的期望曲率对泛化误差有决定性的影响。在这两种情况下，我们的研究结果表明，一个简单的数据驱动的策略，以稳定SGD的预筛选其初始化。作为一个推论，我们的研究结果使我们能够显示乐观的推广边界，表现出快速收敛速度SGD的经验风险和随机梯度的低噪声消失。
2018-02-15 cs.LG
Algorithmic Stability for Adaptive Data Analysis
University of California San Diego（加利福尼亚大学圣迭戈分校）；Pennsylvania State University（宾夕法尼亚州立大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Harvard University（哈佛大学）；Northeastern University（东北大学）；Columbia University（哥伦比亚大学）
自适应性是数据分析的一个重要特征--选择关于数据集的问题通常取决于以前与同一数据集的交互。然而，统计有效性通常在非自适应模型中进行研究，其中所有问题都在绘制数据集之前指定。Dwork等人（STOC，2015）和Hardt和Ullman（FOCS，2014）最近的工作启动了对该问题的正式研究，并给出了自适应数据分析可实现的泛化误差的第一个上限和下限。具体地，假设存在未知分布$\mathbf{P}$，并且从$\mathbf{P}$中提取一组$n$独立样本$\mathbf{x}$。我们寻求一种算法，给定$\mathbf{x}$作为输入，准确地回答一系列自适应选择的查询未知的分布$\mathbf{P}$。我们必须从分布中抽取多少样本$n$，作为查询类型、查询数量和所需准确度的函数？在这项工作中，我们做了两个新的贡献：（一）我们给出了上界的样本数$n$，需要回答统计查询。这些界限改进并简化了Dwork等人的工作（STOC，2015），并已被这些作者应用于后续工作（Science，2015，NIPS，2015）。(ii)我们证明了回答更一般的家庭查询所需的样本数量的第一个上界。这些包括任意低敏感度查询和一类重要的优化查询。正如Dwork等人所述，我们的算法是基于与差分隐私形式的算法稳定性的联系。我们扩展他们的工作，给出了一个定量优化，更一般，更简单的证明他们的主要定理，稳定性意味着低泛化误差。…
2015-11-08 cs.CR cs.DS cs.LG
A Statistical Test for Probabilistic Fairness
EPFL（洛桑联邦理工学院）；Stanford University（斯坦福大学）
算法现在通常用于做出影响人类生活的重大决策。例子包括大学入学，医疗干预或执法。虽然算法使我们能够利用隐藏在大量数据中的所有信息，但它们可能会无意中放大现有数据集中的现有偏见。这种担忧引发了人们对公平机器学习的兴趣，该学习旨在量化和减轻算法歧视。事实上，机器学习模型应该在大规模部署之前进行密集测试，以检测算法偏差。在本文中，我们使用最优传输理论的思想，提出了一个统计假设检验检测不公平的分类。利用特征空间的几何形状，测试统计量量化测试样本上支持的经验分布到使预训练分类器公平的分布流形的距离。我们开发了一个严格的假设检验机制，用于评估任何预先训练的逻辑分类器的概率公平性，我们在理论上和经验上都表明，所提出的测试是渐进正确的。此外，所提出的框架提供了可解释性，通过识别数据的最有利的扰动，使给定的分类器变得公平。
2020-12-09 cs.CY cs.LG stat.ML
Stability is Stable: Connections between Replicability, Privacy, and Adaptive Generalization
Boston University（波士顿大学）；UCSD（加州大学圣地亚哥分校）；Columbia University（哥伦比亚大学）；University of Toronto（多伦多大学）；IAS（高等研究院）；University of Pennsylvania（宾夕法尼亚大学）
在Impagliazzo等人[STOC '22]中引入了可复制算法的概念，以描述在其输入恢复下稳定的随机算法。更准确地说，当随机性固定并且在新的i.i.d.上运行时，可复制算法以高概率给出相同的输出。从同一分布中抽取样本。使用可复制算法进行数据分析可以通过确保分析结果以高概率相同来促进对已发布结果的验证，即使该分析是在新数据集上执行的。在这项工作中，我们建立了新的连接和分离之间的可复制性和算法稳定性的标准概念。特别是，我们给样本效率的算法之间的完美的推广，近似差分隐私，和可复制性广泛的一类统计问题的减少。相反，我们证明了任何这样的等价性都必须在计算上被打破：存在着在差分隐私下很容易解决的统计问题，但是如果不破坏公钥密码学，就不能复制地解决这些问题。此外，这些结果是紧密的：我们的减少是统计上最优的，我们表明，DP和可复制性之间的任何计算分离必须意味着单向函数的存在。我们的统计减少提供了一个新的算法框架之间的翻译稳定的概念，我们实例化回答几个开放的问题，在可复制性和隐私。这包括为各种PAC学习，分布估计和分布测试问题，算法放大$δ$近似DP，从项目级到用户级隐私的转换，以及结构化分布下存在的私有不可知到可实现的学习减少提供样本有效的可复制算法。
2023-03-25 cs.CR cs.DS cs.LG
Stochastic Gradient Descent with Momentum is Algorithmically Stable
Department of Mathematics, The University of Hong Kong（香港大学数学系）；Department of Mathematics and Mathematical Statistics, Umeå University（乌梅大学数学与统计学系）
本文通过算法稳定性分析，证明了带动量的随机梯度下降（SGDM）在光滑凸问题上具有泛化保证，并建立了最优的过界总体风险界。
2026-10-01 cs.AI cs.LG
Stability Analysis and Learning Bounds for Transductive Regression Algorithms
Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；NEC Laboratories America（NEC美国实验室）；Technion - Israel Institute of Technology（以色列理工学院）
本文使用算法稳定性的概念，推导出新的推广边界的几个家庭的转导回归算法，无论是使用凸性和封闭形式的解决方案。我们的分析有助于比较这些算法的稳定性。它还表明，一些广泛使用的转导回归算法实际上是不稳定的。最后，它报告的实验结果与当地的转导回归证明我们的稳定边界的好处，模型选择，算法之一，特别是用于确定的半径的算法所使用的本地邻域。
2009-04-05 cs.LG
Understanding Fairness Surrogate Functions in Algorithmic Fairness
Hong Kong Baptist University（香港浸会大学）
本文揭示人口统计奇偶公平定义与其代理函数之间的代理-公平差距及大间隔点导致的不稳定，提出通用 sigmoid 代理和 Balanced Surrogate 算法，在保持准确率的同时提升公平性与稳定性。
2024-04-09 cs.AI cs.LG
Implicit Regularisation in Diffusion Models: An Algorithm-Dependent Generalisation Analysis
Department of Statistics, University of Oxford（统计系，牛津大学）；Google（谷歌）
本文提出基于分数稳定性的依赖算法的泛化理论，揭示扩散模型中早停、粗离散化和SGD优化等隐式正则化来源。
2025-07-04 cs.LG math.ST stat.ML
Characterizing Learning in Deep Neural Networks using Tractable Algorithmic Complexity Analysis
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；The American University in Cairo（开罗美国大学）
本文提出QuBD方法，用于估计深度神经网络权重的算法复杂度，揭示训练过程中复杂度随学习阶段的变化规律，为模型压缩提供理论依据。
2026-05-15 cs.LG
Typical Stability
University of California San Diego（加利福尼亚大学圣迭戈分校）
在本文中，我们介绍了一个算法的稳定性称为典型稳定性的概念。当我们的目标是发布实值查询时，（统计）在数据集上计算，这个概念不要求查询具有有限的敏感性--当用作算法稳定性的概念时，通常在差分隐私[DMNS 06，Dwork 06]下假设的条件[DFHPRR 15 a，DFHPRR 15 b，BNSSSU 16] --也不要求数据集中的样本是独立的--这是在寻求泛化错误保证时通常假设的条件。相反，典型的稳定性要求查询的输出，当在从底层分布中提取的数据集上计算时，集中在相对于该分布的期望值周围。我们讨论了典型稳定性对泛化误差的影响（即，在数据集上计算的查询值与查询相对于真实数据分布的期望值之间的差）。我们表明，典型的稳定性可以控制自适应数据分析中的泛化误差，即使当数据集中的样本不一定是独立的，当要计算的查询不一定是有界灵敏度，只要查询的结果在数据集上（即，所计算的统计量）遵循具有“轻”尾的分布。这样的查询的示例包括但不限于亚高斯和亚指数查询。我们还讨论了典型稳定性的组合保证，并证明组合定理，表征典型稳定性的参数退化下$k$倍自适应组合。我们还给出了简单的噪声添加算法，实现这一概念。这些算法类似于它们的差分私有对应物，然而，添加的噪声被不同地校准。
2016-09-19 cs.DS cs.LG
Stability and Generalization for Randomized Coordinate Descent
Northwest University（西北大学）；Southwestern University of Finance and Economics（西南财经大学）；University of Birmingham（伯明翰大学）
随机坐标下降算法（RCD）是一种广泛应用于解决各种机器学习问题的优化算法，对其收敛性进行了大量的理论分析。相比之下，没有研究RCD训练的模型如何推广到测试示例。在本文中，我们初始化的RCD的推广分析，利用算法稳定性的强大工具。我们建立了凸和强凸目标的RCD的参数稳定性界，从中我们通过展示如何提前停止算法来权衡估计和优化来开发最佳推广界。我们的分析表明，RCD享有更好的稳定性相比，随机梯度下降。
2021-08-17 cs.LG
Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability
Alibaba Group（阿里巴巴集团）；BDKM, University of Chinese Academy of Sciences（中国科学院大学大数据与知识管理实验室）；Peng Cheng Laboratory（鹏城实验室）
精确召回曲线下面积的随机优化是机器学习的一个重要问题。虽然各种算法已被广泛研究的AUPRC优化，一般只保证在多查询的情况下。在这项工作中，我们提出了第一次尝试在单查询推广的随机AUPRC优化。对于更清晰的泛化边界，我们专注于算法依赖的泛化。我们的目的地既有算法上的障碍，也有理论上的障碍。从算法的角度来看，我们注意到，大多数现有的随机估计是有偏的，只有当抽样策略是有偏的，是留一出不稳定的，由于不可分解。为了解决这些问题，我们提出了一个采样率不变的无偏随机估计具有优越的稳定性。在此基础上，将AUPRC优化问题转化为一个组合优化问题，并提出了一种随机算法来求解该问题。从理论的角度来看，标准技术的算法依赖的泛化分析不能直接应用到这样的列表组合优化问题。为了填补这一空白，我们将模型的稳定性从实例损失扩展到列表损失，并桥接相应的泛化和稳定性。此外，我们构造了状态转移矩阵来描述稳定性的递推性，并利用矩阵谱简化了计算。实际上，在三个图像检索数据集上的实验结果说明了我们的框架的有效性和合理性。
2022-09-27 cs.CV cs.LG
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文利用算法稳定性方法研究去中心化随机梯度下降上升算法在凸-凹与非凸-非凹设定下的原始-对偶泛化界，证明去中心化结构不损害其稳定性与泛化性，并分析了拓扑结构对泛化界的影响。
2023-10-31 cs.LG math.OC
On the generalization of learning algorithms that do not converge
Institute for Data, Systems and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）；Prescient Design（Prescient设计公司）；Genentech, Roche（罗氏基因泰克）
深度学习的泛化分析通常假设训练收敛到一个固定点。但是，最近的结果表明，在实践中，使用随机梯度下降优化的深度神经网络的权重经常无限期地振荡。为了减少理论与实践之间的这种差异，本文重点讨论了神经网络的泛化，其训练动态不一定收敛到固定点。我们的主要贡献是提出了统计算法稳定性（SAS）的概念，扩展了经典算法的稳定性，非收敛算法，并研究其连接到泛化。与传统的优化和学习理论观点相比，这种遍历理论方法带来了新的见解。我们证明了一个学习算法的时间渐近行为的稳定性与其泛化能力有关，并以经验证明了损失动态如何为泛化性能提供线索。我们的研究结果提供了证据表明，即使训练无限期地持续下去，权重也不会收敛，“训练稳定地泛化”的网络也会更好。
2022-08-19 cs.LG math.DS math.OC
Sufficient Conditions for Stability of Minimum-Norm Interpolating Deep ReLU Networks
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
本文研究了深度ReLU网络在最小二乘插值下的稳定性条件，发现低秩层的存在是保证稳定性的关键因素。
2026-02-14 cs.AI cs.LG
Stability and Generalization of Adversarial Diffusion Training
School of Engineering, École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院工程学院）
本文针对去中心化扩散策略下的对抗训练，基于算法稳定性推导凸损失下的泛化误差界，证明泛化误差随扰动强度与训练步数增长，并通过逻辑回归实验验证理论预测。
2025-09-23 cs.LG eess.SP
A Mathematical Theory of Learning
King Abdullah University of Science & Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出了一种与信息论有许多相似之处的数学学习理论。我们考虑Vapnik的一般学习设置，其中学习过程被定义为响应给定训练集选择假设的行为。例如，这种假设可以是分类中的决策边界、聚类中的质心集合或关联规则挖掘中的频繁项集集合。根据假设空间和如何选择最终的假设，我们表明，学习过程可以分配一个数字得分，称为学习能力，这是类似于香农的信道容量，并满足类似的有趣的属性，以及如数据处理不等式和信息不能伤害不等式。此外，学习能力提供了最紧密的可能的界限之间的差异的真实风险和经验风险的学习过程中的所有损失函数，参数化的选择的假设。它还表明，学习能力的概念等价地量化如何敏感的最终假设的选择是一个小扰动的训练集。因此，算法的稳定性是必要的和充分的推广。虽然该理论不依赖于浓度不等式，我们最后表明，类似于经典的结果，在学习理论中使用的可能近似正确（PAC）模型可以立即推导出使用该理论，并得出结论与信息理论界的学习能力。
2014-05-07 cs.AI cs.IT cs.LG
Stacking and stability
Macedonian Academy of Sciences and Arts（马其顿科学与艺术学院）；Temple University（天普大学）
堆叠是一种用于组合多个模型以提高预测准确性的通用方法。它已经在不同的领域找到了各种应用，这是由于它的元学习性质。然而，我们对堆叠如何以及为什么工作的理解仍然是直观的，缺乏理论上的洞察力。在本文中，我们使用稳定的学习算法作为元素分析框架，适合解决这个问题。为此，我们分析了假设的稳定性堆叠，袋堆叠，和dag-stacking和建立袋堆叠和加权装袋之间的联系。我们发现，堆叠的假设稳定性是每个基础模型和组合器的假设稳定性的产物。此外，在bag-stacking和dag-stacking中，假设稳定性取决于用于生成训练集重复的采样策略。研究结果表明：1）子抽样和自助抽样提高了堆垛的稳定性，2）堆垛提高了子装袋和装袋的稳定性。
2019-01-26 cs.LG stat.ML
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Linear Stability Hypothesis and Rank Stratification for Nonlinear Models
Shanghai Jiao Tong University（上海交通大学）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；CMA-Shanghai（上海数学中心）
具有非线性架构/参数化的模型，如深度神经网络（DNN），以其在过度参数化时神秘的良好泛化性能而闻名。在这项工作中，我们从一个新的角度来解决这个谜，重点是作为训练数据大小的函数的目标恢复/拟合精度的过渡。我们提出了一般非线性模型的秩分层，以揭示模型秩作为相应模型的函数空间中每个函数的“有效参数大小”。此外，我们建立了一个线性稳定性理论，证明了当训练数据大小等于其模型秩时，目标函数几乎必然线性稳定。在实验的支持下，我们提出了一个线性稳定性假设，即线性稳定的函数是非线性训练的首选。通过这些结果，目标函数的模型秩预测其成功恢复的最小训练数据大小。特别是对于矩阵分解模型和全连接或卷积架构的DNN，我们的秩分层表明，特定目标函数的模型秩可能远低于模型参数的大小。这一结果预测的目标恢复能力，即使在沉重的overparameterization这些非线性模型定量证明了我们的实验。总的来说，我们的工作提供了一个统一的框架，定量预测能力，以了解神秘的目标恢复行为在一般的非线性模型过参数化。
2022-11-21 cs.LG stat.ML
Tight Stability Bounds for Robust Distributed Learning: Byzantine Failures Hurt Generalization More than Data Poisoning
Inria（法国国家信息与自动化技术研究院）；Inserm（法国国家医学院）；Univ. Lille（里尔大学）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
研究稳健分布式学习中拜占庭故障和数据中毒两种威胁模型对泛化的影响，通过算法稳定性分析，首次揭示拜占庭故障导致的泛化速率比数据中毒更差。
2026-07-07 cs.CR cs.LG stat.ML
Quantifying the Stability of Multi-Step Reasoning via Error Amplification
Northeastern University（东北大学）
本文通过误差放大因子量化多步推理稳定性，提出思维链压缩与量化感知训练两种控制方法，在多项任务上平均提升3.5%，长输入提升8.2%。
2026-10-06 cs.AI cs.LG stat.ML
Interpretable Hypothesis-Driven Trading:A Rigorous Walk-Forward Validation Framework for Market Microstructure Signals
Texas Tech University（德克萨斯理工大学）
本文提出了一种严格走步验证框架，用于验证市场微观结构信号，通过结合可解释的假设驱动信号生成与强化学习，实现可解释的算法交易策略验证。
2025-12-15 q-fin.CP q-fin.TR stat.ML
A Function-Space Stability Boundary for Generalization in Interpolating Learning Systems
本文提出了一种函数空间稳定性边界，用于分析通用插值学习系统中稳定性与泛化的关系，揭示了稳定性并非唯一解释泛化的机制。
2026-11-02 cs.LG math.OC stat.ML
Stability revisited: new generalisation bounds for the Leave-one-Out
本文提供了一种新的通用策略，导致非渐近的理论保证留一出程序适用于广泛的一类学习算法。这种策略依赖于两个主要成分：$L^q$稳定性的新概念，以及矩不等式的强有力的使用。$L^q$稳定性扩展了假设稳定性的概念，但仍弱于一致稳定性。它导致新的PAC指数推广界留一法在温和的假设下。在文献中，这样的界限只适用于一致稳定算法下的有界性。我们的通用策略应用到岭回归算法作为第一步。
2016-08-23 math.ST stat.ML stat.TH
