Tail Risk Analysis for Financial Time Series
本章阐述如何将极值统计应用于金融时间序列以评估尾部风险，讨论无条件与条件分位数预测方法，并以S&P 500指数为案例进行风险分析与回测，同时探讨了序列依赖性对多元尾部依赖性的影响。
2024-09-27 q-fin.RM stat.AP stat.ME
Excess risk bounds in robust empirical risk minimization
Université Paris-Saclay（巴黎萨克雷大学）；Univ. Paris-Sud（巴黎南大学）；CNRS（法国国家科学研究中心）；Inria Saclay - Ile-de-France（法国国家信息与自动化研究所萨克莱-法兰西岛分院）；University of Southern California（南加州大学）
本文研究了现代统计方法的核心技术之一的一般经验风险最小化算法的鲁棒版本。经验风险最小化的成功是基于这样的事实，即对于由一类函数$f\in \mathcal F$索引的“表现良好”的随机过程$\left\{ f(X), \ f\in \mathcal F\right\}$，在i.i.d.的样本$X_1,\ldots,X_N$上评估的平均$\frac{1}{N}\sum_{j=1}^N f(X_j)$。$X$的副本在大类$f\in \mathcal F$上一致地提供了对期望$\mathbb E f(X)$的良好近似。然而，如果过程的边缘分布是重尾的，或者如果样本包含离群值，则这可能不再正确。我们提出了一个版本的经验风险最小化的基础上的想法，取代样本平均值的强大的代理的期望，并获得高置信度的界限所产生的估计的超额风险。特别是，我们表明，稳健估计的超额风险可以收敛到$0$在快速的速度相对于样本大小。我们讨论的主要结果的影响，线性和逻辑斯谛回归的问题，并评估所提出的方法的数值模拟和真实数据的性能。
2019-10-16 cs.LG stat.ML
Domain Generalization without Excess Empirical Risk
Apple（苹果公司）
针对域泛化中联合优化经验风险与惩罚项导致的超额风险问题，提出在经验风险最优约束下最小化惩罚项，并利用率失真理论设计高效方法，适用于多种惩罚式域泛化方法。
2023-08-30 cs.LG stat.ML
Concentration and excess risk bounds for imbalanced classification with synthetic oversampling
Univ Rennes, Ensai, CNRS, CREST—UMR 9194（里昂大学、ENSAI、CNRS、CREST—UMR 9194）；Univ Angers, CNRS, LAREMA, SFR MATHSTIC（昂热大学、CNRS、LAREMA、SFR MATHSTIC）
本文为SMOTE合成过采样方法建立理论框架，推导经验风险与总体风险的一致集中界及核分类器的非参数超额风险保证，为参数调优提供指导并经数值实验验证。
2025-10-23 cs.LG stat.ML
Beyond Lipschitz: Sharp Generalization and Excess Risk Bounds for Full-Batch GD
我们提供了清晰的路径依赖的泛化和超额风险保证的全批梯度下降（GD）算法的平滑损失（可能非Lipschitz，可能非凸）。在我们的分析的核心是上界的泛化误差，这意味着平均输出稳定性和有界的预期优化误差终止导致泛化。这一结果表明，沿优化路径发生小的泛化误差，并允许我们绕过Lipschitz或亚高斯假设的损失普遍在以前的作品。对于非凸的，凸的，强凸的损失，我们表现出显式依赖的泛化误差的累积路径相关的优化误差，终端优化误差，样本数，迭代次数。对于非凸光滑损失，我们证明了全批GD有效地推广到任何稳定点的终止，并恢复了随机算法的泛化误差保证较少的假设。对于光滑凸损失，我们证明了泛化误差比SGD的现有界更紧（高达一个误差量级）。因此，超额风险匹配SGD的二次方更少的迭代。最后，对于强凸平滑损失，我们表明，与SGD的最新技术相比，全批GD实现了基本相同的超额风险率，但迭代次数呈指数级减少（数据集大小为对数）。
2023-02-09 cs.LG stat.ML
Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
Norwegian University of Science and Technology（挪威科技大学）
针对现有PAC-贝叶斯界多针对凸替代损失的局限，本研究利用期望型PAC-贝叶斯相对界，推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界，并在多个重要应用中验证了方法有效性。
2024-08-16 cs.LG stat.ML
A Tight Excess Risk Bound via a Unified PAC-Bayesian-Rademacher-Shtarkov-MDL Complexity
Centrum Wiskunde & Informatica（荷兰数学与计算机科学中心）；Leiden University（莱顿大学）；University of Victoria（维多利亚大学）
我们提出了一个新的复杂性概念，它介于学习理论中的一些经典复杂性概念之间，并推广了这些复杂性概念：对于具有任意有界损失的经验风险最小化（ERM）估计，它在数据无关的Rademacher复杂性方面是上界的;对于广义贝叶斯估计，它的上界是数据相关信息复杂度（也称为随机或PAC-Bayesian，$\mathrm{KL}(\text{posterior} \operatorname{\|} \text{prior})$复杂性。对于（惩罚）ERM，新的复杂性降低到（广义）归一化最大似然（NML）的复杂性，即一个极大极小对数损失个别序列遗憾。我们的第一个主要结果限制了新的复杂性方面的过度风险。我们的第二个主要结果通过Rademacher复杂性将新的复杂性与$L_2(P)$熵联系起来，从而推广了Opper，Haussler，Lugosi和Cesa-Bianchi的早期结果，他们用$L_\infty$做了对数损失的情况。总之，这些结果恢复VC和大（多项式熵）类的最佳界限，取代本地化的Rademacher复杂性由一个更简单的分析，几乎完全分离的两个方面，确定可实现的速率：“容易”（伯恩斯坦）条件和模型的复杂性。
2017-10-21 cs.LG stat.ML
Excess risk analysis for epistemic uncertainty with application to variational inference
Osaka university（大阪大学）；The University of Tokyo（东京大学）
贝叶斯深度学习在评估认知不确定性（EU）方面发挥着重要作用。由于计算复杂性问题，近似方法如变分推断（VI）已在实践中用于获得后验分布，并且它们的泛化能力已被广泛地分析，例如，通过PAC-Bayesian理论;然而，对EU的分析却很少，尽管人们对它进行了大量的数值试验，我们分析了监督学习在近似贝叶斯推断中的有效性，重点是它的超额风险。首先，我们从理论上证明了推广误差和广泛使用的EU测量之间的新关系，如预测分布的方差和互信息，并推导出它们的收敛行为。接下来，我们将阐明VI的目标函数如何规范欧盟。通过这种分析，我们提出了一个新的目标函数VI直接控制的预测性能和欧盟的基础上的PAC贝叶斯理论。数值实验表明，我们的算法显着改善欧盟评价现有的VI方法。
2022-10-11 cs.LG stat.ML
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
虽然深度学习在各种任务中的表现优于其他方法，但解释其原因的理论框架尚未完全建立。为了解决这个问题，我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险，其中学生网络通过其输出学习未知的教师网络。特别地，我们考虑了与教师网络具有相同宽度的学生网络，并且在两个阶段进行训练：首先通过噪声梯度下降，然后通过香草梯度下降。我们的结果表明，学生网络可证明达到一个接近全局最优解，并优于任何核方法估计（更一般地说，线性估计），包括神经正切核方法，随机特征模型，和其他核方法，在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的，学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
Information-Theoretic Analysis of Minimax Excess Risk
Sharif University of Technology（谢里夫理工大学）；University of Pennsylvania（宾夕法尼亚大学）
机器学习理论中研究的两个主要概念是泛化差距（训练和测试误差之间的差异）和过度风险（测试误差和最小可能误差之间的差异）。虽然信息理论工具已被广泛用于研究学习算法的泛化差距，信息理论的性质，超额风险尚未得到充分研究。在本文中，朝着这个目标采取了一些步骤。我们认为极小极大超额风险的频率论问题是算法设计者与世界之间的零和博弈。然后，我们认为，这是可取的，以修改这个游戏的方式，发挥的顺序可以交换。然后，我们证明了，在一定的规则性条件下，如果世界和设计师可以随机播放的对偶差距是零和播放的顺序可以改变。在这种情况下，贝叶斯问题在对偶表示中浮出水面。这使得有可能利用最近的信息理论的结果，在贝叶斯学习的最小超额风险，以提供界限的极大极小超额风险。我们证明了结果的适用性，提供信息理论的见解两类重要的问题：分类时，假设空间具有有限的VC维，正则化最小二乘。
2023-02-28 cs.IT cs.LG math.IT
Data-driven Error Estimation: Excess Risk Bounds without Class Complexity as Input
Institute of Computational and Mathematical Engineering, Stanford University（计算与数学工程研究所，斯坦福大学）；Meta AI, Sunnyvale, CA（Meta AI，硅谷，CA）；Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）；Graduate School of Business, Stanford University（商学院，斯坦福大学）；Stanford Institute for Human-Centered AI（斯坦福人本人工智能研究所）
本文提出一种数据驱动的方法，无需类复杂度输入，为估计类推导高概率误差上界，应用于置信区间、超额风险控制和上下文老虎机算法优化。
2026-02-04 cs.LG stat.ML
Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习，是深度学习文献中最大的问题之一。为了回答这个问题，我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险，并讨论了其相对于一类线性估计器的优越性，包括神经切线核方法，随机特征模型，其他核方法，$k$ -NN估计器等。我们考虑了师生回归模型，并最终表明，在极大极小最优速率的意义上，任何线性估计器都可以被深度学习超越，特别是对于高维设置。所获得的超额界限是所谓的快速学习率，其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的，并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解，即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化，但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
Informative Label Missingness in Multiclass Classification Information Geometry and Excess Risk
Dipartimento di Scienze Statistiche, Università di Padova（帕多瓦大学统计科学系）；School of Mathematics and Physics, The University of Queensland（昆士兰大学数学与物理学院）
该研究针对多分类分类的信息性标签缺失现象，建立基于似然的理论，推导插件超额风险的二次展开，提出分类加权广义特征值准则，通过多类判别计算和实验验证其相关行为。
2026-09-01 cs.LG stat.ML
Nearly Optimal Clustering Risk Bounds for Kernel K-Means
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Inception Institute of Artificial Intelligence（启智人工智能研究院）
本文研究了核$k$ -means的统计性质，得到了一个接近最优的超聚类风险界，大大改进了现有聚类风险分析中的超聚类风险界.我们进一步分析了Nyström核$k$ -均值的计算近似的统计效果，并证明了它达到了与只考虑$Ω(\sqrt{nk})$ Nyström标志点的精确核$k$ -均值相同的统计精度。据我们所知，这样的核（或近似核）$k$ -means的急剧过剩的聚类风险界从来没有被提出过。
2020-05-14 cs.LG stat.ML
Distribution-Dependent Analysis of Gibbs-ERM Principle
Università degli Studi di Milano（米兰大学）；DeepMind（深度思维）
Gibbs-ERM学习是一种自然的理想化学习模型，使用随机优化算法（例如随机梯度朗之万动力学和-在某种程度上-随机梯度下降），同时它也出现在其他环境中，包括PAC-贝叶斯理论和采样机制。在这项工作中，我们研究了Gibbs-ERM学习者所遭受的超额风险，该学习者使用非凸的，正则化的经验风险，其目标是了解数据生成分布和大假设空间中的学习之间的相互作用。我们的主要结果是分布依赖的上界的几个概念的超额风险。我们发现，在所有情况下，分布相关的超额风险基本上是由有效的尺寸$\mathrm{tr}\left(\boldsymbol{H}^{\star} (\boldsymbol{H}^{\star} + λ\boldsymbol{I})^{-1}\right)$的问题，其中$\boldsymbol{H}^{\star}$是海森矩阵的风险在局部最小值控制。这是一个行之有效的概念，有效的尺寸出现在以前的几个作品，包括SGD和岭回归的分析，但我们的工作是第一次把这个维度的学习分析使用吉布斯密度。我们在这里提倡的分布依赖观点改进了Raginsky et al.（2017）的早期结果，并且可以根据数据生成分布和损失函数之间的相互作用产生更紧密的边界。我们的分析的第一部分集中在一个固定的局部极小点附近的局部超额风险。然后，这一结果扩展到全球超额风险的界限，通过描述吉布斯密度下的局部极小值（及其补充）的概率，…
2019-02-05 cs.LG stat.ML
Zeroth-Order Stochastic Mirror Descent Algorithms for Minimax Excess Risk Optimization
Shanghai University（上海大学）；Great Bay Institute for Advanced Study（大湾区高等研究院）
针对MERO问题，本文提出适用于平滑与非平滑场景的ZO-SMD算法，通过估计分布极小风险将其转化为极小化极大优化问题，并证明了其最优收敛速率，数值实验验证了算法有效性。
2024-08-22 cs.LG math.OC stat.ML
An improper estimator with optimal excess risk in misspecified density estimation and logistic regression
CREST, ENSAE, Institut Polytechnique de Paris（巴黎综合理工学院国立统计与经济行政学院 CREST）；CMAP, École polytechnique（巴黎综合理工学院应用数学中心）；LPSM, UMR 8001, Université de Paris（巴黎大学概率与统计实验室）；DMA, UMR 8553, Ecole normale supérieure（巴黎高等师范学院数学系）
本文介绍了一种对数损失下的条件密度估计方法，称之为SMP（Sample Minmax Predictor）。该估计量最小化了统计学习的新的一般超额风险界限。在标准示例中，该界限按$d/n$缩放，其中$d$为模型尺寸，$n$为样本量，并且在模型错误指定的情况下仍然有效。作为一个不适当的（模型外）的程序，SMP改善了模型内的估计，如最大似然估计，其超额风险下的误指定。与简化为序列问题的方法相比，我们的边界去除了次优的$\log n$因子，并且可以处理无界类。对于高斯线性模型，SMP的预测和风险界限由协变量的杠杆分数决定，在没有线性模型的噪声方差或逼近误差条件的情况下，几乎匹配指定情况下的最佳风险。对于逻辑斯谛回归，SMP提供了一种非贝叶斯方法来校准依赖于虚拟样本的概率预测，并且可以通过求解两个逻辑回归来计算。它实现了$O((d + B^2R^2)/n)$的非渐近超额风险，其中$R$限制了特征的范数，$B$限制了比较参数的范数;相比之下，一般来说，没有模型内估计量可以实现比$\min({B R}/{\sqrt{n}}, {d e^{BR}}/{n} )$更好的比率。这为贝叶斯方法提供了一种更实用的替代方法，贝叶斯方法需要近似的后验抽样，从而部分解决了Foster et al.（2018）提出的问题。
2021-12-08 cs.LG math.ST stat.ML
Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression
本文研究 $p$-范数线性回归中经验风险最小化的样本复杂度与超额风险，证明可实现情形下 $O(d)$ 样本可精确恢复目标，并给出与渐近速率匹配的高概率最优界。
2024-06-17 math.ST stat.ML stat.TH
A concentration inequality for the excess risk in least-squares regression with random design and heteroscedastic noise
本文证明了一个新的和一般的关于具有异方差噪声和随机设计的最小二乘回归中超额风险的集中不等式。除了存在一个控制经验过程局部上确界的合适函数外，模型不需要任何特定的结构。到目前为止，只有线性对比度估计的情况下，在文献中处理的模型具有这种程度的一般性。在这里，我们解决了二次对比的情况下，通过分离的线性化的经验过程的行为和经验过程由模型的函数的平方驱动。
2018-03-09 math.ST stat.ML stat.TH
Local SGD in Overparameterized Linear Regression
Technical University of Braunschweig（布伦瑞克工业大学）
我们考虑在多个设备上使用恒定步长SGD（DSGD）的分布式学习，每个设备将最终模型更新发送到中央服务器。在最后一步中，对局部估计进行汇总。我们证明了在设置过参数化线性回归一般上界与匹配的下界，并获得特定的数据生成分布的学习率。我们表明，超额风险的方差的顺序提供的本地节点的数量增长不太大的全球样本量。我们进一步比较了DSGD和分布岭回归（DRR）的样本复杂性，并证明了当两种样本复杂性为相同数量级时，SGD的超额风险小于RR的超额风险.
2022-10-20 cs.LG stat.ML
Lossless Transformations and Excess Risk Bounds in Statistical Inference
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Queen’s University（女王大学）；Universität Stuttgart（斯图加特大学）
本文研究统计推断中由特征变换导致的最小超额风险，刻画无损变换并提出强一致的划分检验，同时给出统一的信息论风险上界及 δ-无损变换的充分条件。
2023-09-27 cs.IT cs.LG math.IT
Risk Bounds of Multi-Pass SGD for Least Squares in the Interpolation Regime
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Harvard University（哈佛大学）
随机梯度下降（SGD）算法由于其在优化和推广方面的优越性能而获得了巨大的成功。大多数现有的泛化分析都是针对单通道SGD进行的，与常用的多通道SGD相比，单通道SGD是一种不太实用的变体。此外，多遍SGD的理论分析往往关注一类问题中的最坏情况实例，这可能是悲观的，以解释某些特定问题实例的优越泛化能力。本文的目标是通过在内插机制中为最小二乘开发一个依赖于实例的超额风险界，来清晰地描述多遍SGD的泛化，该风险界表示为迭代次数、步长和数据协方差的函数。我们发现，SGD的超额风险可以准确地分解为GD的超额风险和一个正的波动误差，这表明SGD总是表现得更差，实例明智的，比GD，在推广。另一方面，我们表明，虽然SGD需要更多的迭代比GD达到相同水平的超额风险，它节省了随机梯度评估的数量，因此是优选的计算时间。
2022-03-07 cs.LG math.OC stat.ML
Perturbing the Derivative: Wild Refitting for Model-Free Evaluation of Machine Learning Models under Bregman Losses
Center for Computational Science and Engineering, MIT（计算科学与工程中心，麻省理工学院）；Department of Civil and Environmental Engineering, MIT（土木与环境工程系，麻省理工学院）；Institute for Data, Systems, and Society, MIT（数据、系统与社会研究所，麻省理工学院）
通过野重拟合方法，在Bregman损失下实现对复杂机器学习模型的无模型超额风险评估。
2025-11-24 cs.LG stat.ML
Non-Euclidean Differentially Private Stochastic Convex Optimization: Optimal Rates in Linear Time
The Ohio State University（俄亥俄州立大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
差分私有随机凸优化是一个基本问题，其目标是在给定$n$ i.i.d.的数据集上，使种群风险相对于凸损失函数近似最小化.样本的分布，同时满足相对于数据集的差分隐私。在私有凸优化的文献中的大多数现有工作集中在欧几里德（即，$\ell_2$）设置，其中假设损失是Lipschitz（并且可能是平滑的）。具有有界$\ell_2$直径约束集上的$\ell_2$范数。基于噪声随机梯度下降（SGD）的算法是已知的，以达到最佳的超额风险在这种情况下。在这项工作中，我们进行了一个系统的研究DP-SCO的$\ell_p$ -设置下的标准平滑假设的损失。对于$1< p\leq 2$，在标准光滑性假设下，我们给出了一个新的，线性时间DP-SCO算法的最优超额风险。先前已知的具有$1< p <2$的最优超额风险的构造在$n$中以超线性时间运行。对于$p=1$，我们给出了一个具有近似最优超额风险的算法.我们的结果$\ell_1$ -设置也扩展到一般的多面体规范和可行集。此外，我们表明，从我们的算法$1\leq p \leq 2$的超额风险界限达到高概率。对于$2 < p \leq \infty$，我们表明，现有的线性时间结构的欧几里德设置达到一个接近最佳的超额风险在低维制度。因此，我们表明，这种结构达到了接近最优的超额风险$p=\infty$。我们的工作借鉴了赋范空间的几何概念，如正则性，一致凸性和一致光滑性的…
2022-05-04 cs.LG math.OC stat.ML
Kullback-Leibler excess risk bounds for exponential weighted aggregation in Generalized linear models
本文研究广义线性模型（GLMs）中的稀疏聚合问题，提出指数加权聚合方案，证明其对Kullback-Leibler风险产生首项常数为1的精确oracle不等式且达到极小极大最优速率，并建立超额风险的高概率界。
2025-04-14 math.ST stat.ML stat.TH
Minimax Optimal Early-Stopped Gradient Descent for Gaussian Mixture Classification
University of Oxford（牛津大学）
该研究针对过参数化分类中梯度下降的隐含偏那次优问题，提出早停梯度下降方法，在带标签翻转噪声的高斯混合分类任务中实现极小极大最优额外零一风险，且早停所需样本量远少于线性插值器。
2026-08-07 cs.LG stat.ML
Towards Sharper Risk Bounds for Minimax Problems
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京市大数据管理与分析方法重点实验室）
本文研究极小极大问题的泛化界，通过均匀局部收敛获得了非凸-强凹设定下更尖锐的高概率泛化误差界，并基于此推导出比现有结果快 n 倍的超额原风险界。
2024-10-11 cs.LG stat.ML
Spectral risk-based learning using unbounded losses
Osaka University（大阪大学）；Université Paris-Saclay（巴黎萨克雷大学）
在这项工作中，我们考虑设置学习问题下的广泛的一类谱风险（或“L-风险”）的功能，其中Lipschitz连续谱密度是用来灵活地分配权重的极端损失值。我们获得了超额风险保证的衍生物自由学习过程下的无界重尾损失分布，并提出了一个计算效率的实现，经验上优于传统的风险最小化的平衡谱风险和误分类错误。
2021-05-11 cs.LG stat.ML
On the Robustness of Kernel Ridge Regression Using the Cauchy Loss Function
University of Twente（特温特大学）
本文提出广义柯西噪声框架，研究核柯西岭回归器（KCRR），通过建立过量柯西风险与L2风险的等价性，在Hölder光滑假设下推导出几乎极小极大最优收敛速率，并实验验证其鲁棒性。
2025-03-26 cs.LG stat.ML
Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps
Microsoft Research (MSR) Redmond（微软研究院（雷德蒙德））；University of Washington（华盛顿大学）；Shanghai Qi Zhi Institute（上海期智研究院）
研究了非光滑凸函数的微分私人经验风险最小化和随机凸优化问题。在次二次梯度复杂度下，得到了超额经验风险和超额人口损失的（近）最优界。更确切地说，我们的差分私有算法需要$O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$梯度查询以获得最佳超额经验风险，这是在子采样和通过卷积平滑函数的帮助下实现的。这是当$d$是超常数时非光滑情况下的第一次二次算法。作为一个直接的应用，使用Feldman等人的迭代局部化方法\cite{fkt20}，我们实现了随机凸优化问题的最优超额人口损失，与$O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$梯度查询。我们的工作取得了进展，解决了Basily等人提出的一个问题。\cite{bfgt20}，给第一个算法的私人ERM和SCO的次二次步骤。我们注意到，独立的Asi等人。\cite{afkt21}给出了其他算法的私人ERM和SCO次二次步骤。
2021-03-30 cs.CR cs.DS cs.LG
On Excess Risk Convergence Rates of Neural Network Classifiers
本文研究二分类中基于神经网络的插件式分类器，在更大函数类与替代损失设置下证明其超额风险具有与维度无关的一致收敛速率，并说明该速率在对数因子内 minimax 最优。
2023-09-26 cs.LG math.ST stat.ML
Understanding the Generalization Performance of Spectral Clustering Algorithms
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
谱聚类的理论分析主要集中在一致性方面，而对其泛化性能的研究相对较少。本文研究了谱聚类算法\emph{relaxed} RatioCut和\emph{relaxed} NCut的超额风险界。首先，我们证明了经验连续最优解和总体水平连续最优解之间的超额风险界具有$\mathcal{O}(1/\sqrt{n})$收敛速度，其中$n$是样本容量.其次，我们给出了影响经验离散最优解和总体离散最优解之间超额风险的基本量。在经验层面上，可以设计算法来减少这个数量。基于我们的理论分析，我们提出了两种新的算法，不仅可以惩罚这个数量，但也聚类样本外的数据没有重新特征分解的整体样本。实验验证了所提算法的有效性。
2022-07-17 cs.LG stat.ML
Variational excess risk bound for general state space models
该研究针对通用状态空间模型的VAE，通过变分分布反向分解推导了显式依赖样本量与序列长度的预言不等式，给出相关KL散度上界，并证明结果适用于神经网络构建的高斯反向核。
2023-12-15 stat.ME stat.ML
Private (Stochastic) Non-Convex Optimization Revisited: Second-Order Stationary Points and Excess Risks
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
我们考虑的问题，最小化的非凸目标，同时保持隐私的例子中的训练数据。在以前的方差减少算法SpiderBoost的基础上，我们引入了一个新的框架，利用两种不同的梯度预言。第一种预言机可以估计一个点的梯度，第二种预言机，精度较低，成本较低，可以估计两点之间的梯度差。SpiderBoost定期使用第一种，每隔几步使用一次，而我们的框架建议在总漂移变大时使用第一个预言，否则依赖于第二个预言。这种新的框架确保梯度估计始终保持准确，从而提高了找到二阶稳定点的速度。此外，我们解决了一个更具挑战性的任务，找到一个非凸目标的全局最小值使用指数机制。我们的研究结果表明，正则化的指数机制可以密切匹配以前的经验和人口的风险界限，而不需要平滑假设的算法与多项式运行时间。此外，通过忽略运行时间的考虑，我们表明，指数机制可以实现一个很好的人口风险界，并提供一个几乎匹配的下限。
2023-02-20 cs.CR cs.LG math.OC
Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration
Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；Stanford University（斯坦福大学）；Fundamental Technologies（基础技术公司）；Haute Autorité de Santé（法国国家卫生管理局）
该研究量化了批量二元决策中使用近似后验概率的超额风险，给出校准误差遗憾值的解析式与校准分类器遗憾值的上下界，可识别校准的作用场景，且相关量可实际估算，实验验证其能判断后训练收益，还指出多重校准的替代潜力。
2025-03-23 cs.AI cs.LG stat.ML
Optimal differentially private kernel learning with random projection
Department of Mathematical Sciences, KAIST（数学科学系，韩国科学技术院）；Department of Industrial and Systems Engineering, KAIST（工业与系统工程系，韩国科学技术院）
本文提出基于随机投影的差分隐私核ERM算法，在经验风险最小化框架下实现平方损失和Lipschitz光滑凸损失函数的最小最大最优超额风险率。
2026-04-29 cs.LG stat.ME stat.ML
Perturbing the Derivative: Doubly Wild Refitting for Model-Free Evaluation of Opaque Machine Learning Predictors
Center for Computational Science and Engineering, MIT（计算科学与工程中心，麻省理工学院）；Institute for Data, Systems, and Society, MIT（数据、系统与社会研究所，麻省理工学院）；Department of Civil and Environmental Engineering, MIT（土木与环境工程系，麻省理工学院）
本文研究了经验风险最小化在凸损失下的超额风险评估问题，通过野性重拟合思想，利用扰动导数生成伪标签，提出无需了解基础函数类复杂度的无模型方法，用于评估现代模糊深度神经网络和生成模型的理论性能。
2026-03-24 cs.LG stat.ML
Risk Bounds and Calibration for a Smart Predict-then-Optimize Method
University of California, Berkeley（加州大学伯克利分校）
预测-优化框架是实际随机决策问题的基础：首先预测优化模型的未知参数，然后使用预测值求解问题。该设置中的自然损失函数通过测量预测参数引起的决策误差来定义，Elmachtoub和Grigas将其命名为智能预测然后优化（SPO）损失[arXiv：1710.08005]。由于SPO损失通常是非凸的，并且可能是不连续的，因此Elmachtoub和Grigas [arXiv：1710.08005]引入了一个凸的替代项，称为SPO+损失，它重要地解释了优化模型的基础结构。在本文中，我们大大扩展了Elmachtoub和Grigas [arXiv：1710.08005]提供的SPO+损失的一致性结果。我们开发的SPO+损失相对于SPO损失的风险界限和统一的校准结果，这提供了一个定量的方法来转移超额替代风险超额真实风险。通过结合我们的风险界与推广界，我们表明，SPO+损失的经验最小化实现低超额真风险的概率很高。我们首先证明了这些结果的情况下，当潜在的优化问题的可行域是一个多面体，然后我们表明，结果可以大大加强时，可行域是一个强凸函数的水平集。我们进行实验，以经验证明SPO+替代品在投资组合分配和成本敏感型多类分类问题上与标准$\ell_1$和平方$\ell_2$预测误差损失相比的强度。
2021-10-26 cs.LG math.OC stat.ML
Empirical Bernstein Bounds and Sample Variance Penalization
我们给出了数据依赖和方差敏感的置信界的改进常数，称为经验Bernstein界，并将这些不等式推广到增长函数在样本量n中为多项式的函数类上.界限导致我们考虑样本方差惩罚，一种新的学习方法，考虑到经验方差的损失函数。给出了样本方差惩罚有效的条件。特别是，我们提出了一个绑定的方法所产生的超额风险。利用这一点，我们认为，有情况下，我们的方法的超额风险是为了1/n，而经验风险最小化的超额风险是为了1/sqrt/{n}。我们给出了一些实验结果，证实了这一理论。最后，我们讨论了潜在的应用，我们的结果样本压缩方案。
2009-07-21 stat.ML
Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning
Princeton University（普林斯顿大学）
研究了具有一般价值函数逼近的批量强化学习（RL）。我们的研究探讨了可靠地估计/最小化Bellman误差的最小假设，并通过一般函数类的（局部）Rademacher复杂性来表征泛化性能，这为弥合统计学习理论和批量RL之间的差距迈出了初步步骤。具体地说，我们将Bellman误差看作是最优性缺口的替代损失，证明了：（1）在双抽样条件下，经验风险最小化（ERM）的超额风险受函数类的Rademacher复杂度的限制。(2)在单次抽样制度中，无论算法如何，如果没有进一步的假设，样本有效的风险最小化是不可能的。然而，在完备性假设下，FQI和极大极小型算法的超额风险可以再次受到相应函数类的Rademacher复杂度的限制。(3)快速的统计率可以通过使用本地Rademacher复杂性的工具来实现。我们的分析涵盖了广泛的函数类，包括有限类，线性空间，核空间，稀疏线性特征等。
2021-03-25 cs.AI cs.LG stat.ML
Hypothesis Transfer Learning via Transformation Functions
Carnegie Mellon University（卡内基梅隆大学）
我们考虑假设迁移学习（HTL）问题，其中一个将在源域上训练的假设纳入目标域的学习过程。现有的理论分析要么只研究具体的算法，要么只给出了推广误差的上界，而没有给出超额风险的上界。在本文中，我们提出了一个统一的HTL算法依赖的框架，通过一个新的概念的转换功能，它的特点之间的关系的源和目标域。我们进行了一般的风险分析这个框架，特别是，我们第一次表明，如果两个域是相关的，HTL享有更快的收敛速度的核平滑和核岭回归的过度风险比那些经典的非迁移学习设置。真实世界数据上的实验证明了我们的框架的有效性。
2017-11-05 cs.LG stat.ML
Minimum Excess Risk in Bayesian Learning
我们通过定义和上界最小超额风险（MER）来分析生成模型下贝叶斯学习的最佳可实现性能：通过从数据中学习可实现的最小预期损失与模型实现已知时可实现的最小预期损失之间的差距。MER的定义提供了一种原则性的方法来定义贝叶斯学习中的不同不确定性概念，包括任意不确定性和最小认知不确定性。推导的MER的上限的两种方法。第一种方法，通常适用于贝叶斯学习与参数生成模型，上限的MER之间的条件互信息的模型参数和被预测的数量给定的观测数据。它使我们能够量化MER衰减到零的速率，因为更多的数据变得可用。在可实现的模型下，该方法还将MER与生成函数类的丰富度相关联，特别是二进制分类中的VC维度。第二种方法，特别适用于贝叶斯学习与参数预测模型，涉及MER的最小估计误差的模型参数从数据。它明确显示了模型参数估计的不确定性如何转化为MER和最终预测的不确定性。我们还将MER的定义和分析扩展到多模型族和非参数模型的情况。在讨论过程中，我们对贝叶斯学习中的MER和频率主义学习中的超额风险进行了比较。
2021-12-31 cs.AI cs.IT cs.LG
High Dimensional Classification through $\ell_0$-Penalized Empirical Risk Minimization
我们考虑了一个高维的二进制分类问题，并构建了一个分类过程，通过最大限度地减少经验误分类的风险与惩罚的数量上选择的功能。我们推导出非渐近概率界的估计稀疏性以及过度的误分类风险。特别是，我们表明，我们的方法产生一个稀疏的解决方案，其l0-范数可以任意接近真正的稀疏性与高概率，并获得超额误分类风险的收敛速度。所提出的程序是通过混合整数线性规划的方法来实现的。它的数值性能说明在蒙特卡罗实验。
2018-11-23 econ.EM stat.ME stat.ML
Optimal Rates for Pure {\varepsilon}-Differentially Private Stochastic Convex Optimization with Heavy Tails
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文研究在纯ε差分隐私下具有重尾梯度的随机凸优化问题，通过假设k阶矩有界而非梯度 Lipschitz 参数有界，推导出最优的过失界速率，并提出在多项式时间内以高概率达到该速率的算法。
2026-04-07 cs.CR cs.LG stat.ML
Private Stochastic Optimization With Large Worst-Case Lipschitz Parameter
University of Southern California（南加州大学）
本文针对损失函数最坏情况Lipschitz参数极大或无穷的差分隐私随机优化问题，提出基于随机梯度k阶矩的风险界和线性时间算法，覆盖光滑凸、非光滑凸及满足Proximal-PL不等式的非凸情形，并证明了部分结果的极小极大最优性。
2024-09-28 cs.CR cs.LG math.OC
Finite-Sample and Distribution-Free Fair Classification: Optimal Trade-off Between Excess Risk and Fairness, and the Cost of Group-Blindness
University of Pennsylvania（宾夕法尼亚大学）；Rutgers University（罗格斯大学）
本文提出一种统一的公平分类框架，提供分布无关和有限样本的公平性保证，同时控制过量风险。通过合成和真实数据实验，展示了算法在公平性和性能上的优势。
2026-05-12 stat.ME stat.ML
Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Harvard University（哈佛大学）
随机梯度下降（SGD）已被证明在许多深度学习应用中具有良好的推广性。在实践中，人们经常以几何衰减步长运行SGD，即，一个恒定的初始步长，然后是多个几何步长衰减，并使用最后一个步长作为输出。已知这种SGD对于经典的有限维线性回归问题几乎是最小最大最优的（Ge等人，2019年）。然而，在过度参数化设置下对SGD的最后一个周期的尖锐分析仍然是开放的。在本文中，我们提供了一个问题相关的分析的最后一个风险界的SGD与衰减步长，（过参数化）线性回归问题。特别是，对于最后一个具有（尾部）几何衰减步长的SGD，我们证明了几乎匹配的上限和下限的超额风险。此外，我们提供了一个额外的风险下限与多项式衰减步长的最后一个SGD和几何衰减步长的优势，在一个实例的方式，这补充了极大极小率比较在以前的作品。
2022-07-11 cs.LG math.OC stat.ML
An Identifiability Theory of Masked Prediction: Mode Blindness and Mask Schedules
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Adelaide University（阿德莱德大学）；Responsible AI Research Centre（负责任人工智能研究中心）
该研究针对双模式数据，揭示掩码预测的可识别性由掩码调度决定，低可见度掩码与正全掩码质量可恢复可识别性，且经理论验证与实验复现。
2026-10-06 cs.IT cs.LG math.IT
A Geometric Analysis of PCA
本文通过几何分析，精确刻画了数据分布性质与PCA过剩风险的关系，建立了中心极限定理和非渐近上界，并证明了负块瑞利商的广义自协调性。
2025-10-23 math.ST stat.ML stat.TH
Beyond Discrepancy: Oracle Drift in Nonstationary Weighted Risk Minimization
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究针对非平稳加权风险最小化，提出将漂移误差与最优预测器移动关联的神谕漂移分析，发现偏差型量过于保守，结合线性回归的精确差距刻画与估计保证，并扩展至非参数回归。
2026-10-12 math.ST stat.ML stat.TH
Risk bounds when learning infinitely many response functions by ordinary linear regression
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Lagrange Mathematics and Computing Research Center（拉格朗日数学与计算研究中心）；Télécom Paris（巴黎电信学院）；CREST（国家科学研究中心）；ENSAI（法国国家统计与信息分析学院）；UCLouvain（鲁汶大学）
考虑基于相同输入变量同时学习大量响应函数的问题。训练数据由从公共分布中抽取的输入变量的单个独立随机样本以及相关响应组成。输入变量被映射到一个高维线性空间，称为特征空间，响应函数被建模为映射特征的线性泛函，系数通过普通最小二乘法校准。我们提供收敛保证的最坏情况下的超额预测风险，通过控制的过度风险的收敛速度一致的响应函数。允许特征图的维度随着样本量而趋于无穷大。响应函数的集合虽然可能是无限的，但应该具有有限的Vapnik-Chervonenkis维数。当在合理的计算时间内建立多个代理模型时，可以应用导出的边界。
2021-11-27 cs.LG math.ST stat.ML
Optimal exponential bounds on the accuracy of classification
我们考虑一个标准的二进制分类问题。任何基于训练数据的二元分类器的性能都是以超额风险为特征的。研究了基于超额风险的极大极小精度置信函数的Bahadur型指数界。我们研究这个数量如何依赖于其特征在于由指数的熵的类的回归函数或相应的分布从类的贝叶斯分类器的类的分布的类的复杂性。我们还研究了它对分类问题的边缘参数的依赖性。
2011-11-26 stat.ML
Exponential Tail Local Rademacher Complexity Risk Bounds Without the Bernstein Condition
University of Oxford（牛津大学）
局部Rademacher复杂性框架是基于经验风险最小化框架为统计估计量建立急剧超额风险界限的最成功的通用工具箱之一。应用这个工具箱通常需要使用伯恩斯坦条件，这通常限制了对凸和适当设置的适用性。近年来，我们已经看到了一些问题的例子，其中最佳的统计性能只能通过非凸和不适当的估计来源于聚集理论，包括模型选择的基本问题。这些例子目前都超出了经典局部化理论的范围。在这项工作中，我们建立在最近的本地化方法，通过偏移Rademacher复杂性，一般的高概率论尚未建立。我们的主要结果是一个指数尾超额风险界表示的偏移Rademacher复杂性，产生的结果至少通过经典理论获得的尖锐。然而，我们的界限适用于估计依赖的几何条件（“偏移条件”），而不是估计独立的（但在一般情况下，分布依赖）伯恩斯坦条件的经典理论依赖。我们的结果适用于不适当的预测制度，而不是直接涵盖的经典理论。
2022-02-23 cs.LG math.ST stat.ML
Sparse-penalized deep neural networks estimator under weak dependence
CY Cergy Paris Université（CY塞尔吉-巴黎大学）
本文研究$ψ$ -弱相依过程的非参数回归和分类问题。这种弱依赖结构比混合、关联、$\ldots$等条件更一般。提出了一种稀疏深度神经网络的惩罚估计方法。在非参数回归和二元分类问题中，我们建立了稀疏惩罚深度神经网络估计的超额风险的预言不等式。这些估计的超额风险的收敛速度也来自。仿真结果表明，所提出的估计总体上比非惩罚估计工作得更好。
2023-03-02 cs.LG math.ST stat.ML
