Reweighting Improves Conditional Risk Bounds
Machine Learning Research, Morgan Stanley（摩根士丹利机器学习研究部门）
本文研究加权ERM范式，证明在“可平衡”Bernstein条件下，数据相关权重可通过误差界中的数据相关常数项改进分类大间隔区域与异方差回归低方差区域的条件风险界，并经合成实验验证。
2025-01-04 cs.LG stat.ML
Online Learning as Stochastic Approximation of Regularization Paths
本文提出了一种再生核希尔伯特空间（RKHS）中正则化路径收敛于回归函数的连续随机逼近的在线学习算法。我们表明，它是可能产生的最好的已知强（RKHS规范）的批量学习的收敛速度，通过仔细选择的增益或步长序列，取决于规律性假设的回归函数。相应的弱（均方距离）收敛速度是最优的，在这个意义上，它达到了极大极小和个别较低的速度在文献中。在这两种情况下，我们推导出几乎必然收敛，使用Bernstein型不等式的鞅在希尔伯特空间。为了实现这一点，我们开发了一个偏差方差分解类似于批量学习设置;偏差包括在近似和漂移误差沿正则化路径，显示相同的收敛速度，和方差来自样本误差分析作为一个反向鞅差序列。上述速率是通过偏差和方差之间的最佳权衡获得的。
2013-01-22 math.PR math.ST stat.TH
Variance-Aware Fine-Grained Gap-Dependent Bounds for Online Reinforcement Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Notre Dame（圣母大学）
本文为免模型在线强化学习提出方差感知的细粒度间隙依赖界，通过改进的UCB-Bernstein+算法同时优化遗憾与局部切换成本，并给出首个此类上界及实证验证。
2026-10-06 cs.LG stat.ML
Information-Theoretic Generalization Bounds for Sequential Decision Making
The University of Osaka（大阪大学）；RIKEN AIP（日本科学技术研究院（RIKEN）先进研究所（AIP））；The University of Tokyo（东京大学）
本文提出一种序列超样本框架，用于分析在线学习、流式主动学习和多臂老虎机等序列决策问题的泛化界限，通过引入序列CMI和伯恩斯坦型改进，提高了收敛速度。
2026-05-12 cs.LG stat.ML
Sharp Matrix Empirical Bernstein Inequalities
提出了两个针对具有有界特征值的对称随机矩阵的锐利闭式经验伯恩斯坦不等式，其偏差能紧凑适应未知方差，分别适用于独立矩阵样本均值和停时下鞅依赖的均值估计量。
2025-09-18 math.FA math.PR math.ST
ERM and RERM are optimal estimators for regression problems when malicious outliers corrupt the labels
本文研究了具有凸损失函数和$L$ -Lipschitz损失函数的回归问题的经验风险最小化算法（ERM）和正则化经验风险最小化算法（RERM）。我们考虑$|\cO|$恶意离群值污染标签的设置。在这种情况下，在一个本地伯恩斯坦条件下，我们表明，$L_2$ -错误率是有界的$ r_N + AL |\cO|/N$，其中$N$是观察的总数，$r_N$是$L_2$ -错误率在非污染设置和$A$是一个参数来自本地伯恩斯坦条件。当$r_N$在非污染设置中为最小最大速率最优时，当$|\cO|$离群值污染标签时，速率$r_N + AL|\cO|/N$也为最小最大速率最优。本文的主要结果可以用于许多非正则化和正则化的程序在弱假设的噪声。我们目前的结果Huber的M-估计（没有惩罚或正则化的$\ell_1$规范）和一般正则化学习问题的可再生核希尔伯特空间时，噪声可以重尾。
2020-09-25 math.ST stat.ML stat.TH
Near-optimal Optimistic Reinforcement Learning using Empirical Bernstein Inequalities
Chalmers（查尔姆斯理工大学）
研究了未知有限通信马尔可夫决策过程中基于基于模型的强化学习。我们提出了一个简单的算法，利用基于方差的置信区间。我们表明，所提出的算法，UCRL-V，实现了最佳的遗憾$\tilde{\mathcal{O}}(\sqrt{DSAT})$的对数因子，所以我们的工作关闭了一个缺口，没有额外的假设上的MDP的下限。我们在各种环境中进行实验，验证了理论界，并证明UCRL-V比最先进的算法更好。
2019-12-11 cs.AI cs.GT cs.LG
A Researcher's Guide to Empirical Risk Minimization
本指南提供经验风险最小化中高概率遗憾界的方法与工具，探讨了噪声成分和正交统计学习框架下的相关问题，推导了样本内情形的遗憾界。
2026-03-03 cs.LG math.ST stat.ML
Novel Deviation Bounds for Mixture of Independent Bernoulli Variables with Application to the Missing Mass
在本文中，我们关注的是获得分布自由的集中不等式的混合独立的Bernoulli变量，并纳入了方差的概念。缺失质量是与给定样本中未观察到的结果相关的总概率质量，它是将从样本获得的密度估计值与离散分布的总体联系起来的重要量。因此，我们特别有动机将我们的方法应用于研究缺失质量的浓度-可以表示为伯努利的混合物-以一种新颖的方式。我们不仅第一次推导出了缺失质量的类似伯恩斯坦的大偏差界，其指数几乎与偏差大小呈线性关系，而且还在小偏差的情况下对大样本量的McAllester和Ortiz（2003）以及Berend和Kontorovich（2013）进行了锐化，这是学习理论中最有趣的情况。与此同时，我们的方法表明，在McAllester和Ortiz（2003）中引入的异质性问题在缺少质量的情况下是可以解决的，在这个意义上，人们可以使用标准不等式，但它可能不会导致强有力的结果。因此，我们假设，我们的结果是一般的，并可以应用到提供潜在的尖锐的Bernstein样的界限在某些约束下。
2015-03-04 stat.ML
Efron-Stein PAC-Bayesian Inequalities
DeepMind
证明了随机变量为独立随机变量的可能非线性函数的半经验集中不等式。这些不等式描述的浓度的随机变量的数据/分布相关的Efron-Stein（ES）估计的方差，他们不需要任何额外的假设的时刻。特别是，这使我们能够陈述无界随机变量一般函数的半经验伯恩斯坦型不等式，这为相关方法（例如有界差）可能应用起来更具挑战性的情况提供了用户友好的浓度界限。我们将这些结果扩展到Efron-Stein PAC-贝叶斯不等式，该不等式适用于任意概率核，定义了一个随机的，数据相关的函数选择。最后，我们展示了一些应用程序，包括PAC贝叶斯推广界的无界损失函数，经验伯恩斯坦型推广界，新的截断自由界的政策外评估加权重要性采样（WIS），和政策外PAC贝叶斯学习与WIS。
2020-02-03 cs.LG stat.ML
Nonparametric Variance-Penalized Actor-Critic: Statistical Inference for Risk-Sensitive Reinforcement Learning
University of Houston（休斯顿大学）；Texas Tech University（德克萨斯理工大学）
本文提出非参数方差惩罚演员-评论家框架，用自举和随机缩放的在线估计器替代第二评论家，实现风险敏感强化学习的统计推断，并在HTS制造案例中显著降低变异性。
2026-09-15 cs.LG stat.ML
Restricted Block Permutation for Two-Sample Testing
Jungwoo Ho
本文提出受限块置换方法，通过单次交叉交换提升两样本检验功效，同时保持精确有效性。
2025-11-29 cs.LG stat.ML
Breaking the Likelihood Trap: Variance-Calibrated Modulation for Large Language Model Decoding
School of Computer and Information Engineering, Henan University（河南大学计算机与信息工程学院）；Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
提出方差校准调制（VCM），通过上下文PMI搜索和自适应自去偏置两种动态机制，在截断前重塑概率分布，以缓解LLM的似然陷阱问题，提升生成多样性、连贯性和推理准确性。
2026-09-04 cs.CL stat.ML
Type-II Error Bounds for Test Supermartingales from Lower-Tail Hypotheses
AI4Science Lab（AI4Science实验室）；Korteweg-de Vries Institute for Mathematics（科尔特韦格-德弗里斯数学研究所）；University of Amsterdam（阿姆斯特丹大学）
本文研究检验超鞅下尾概率假设对序贯检验II型误差的影响，通过主不等式和Legendre变换导出多种误差界，并涵盖经验Bernstein变体。
2026-09-24 cs.IT cs.LG math.IT
The Efficacy of Pessimism in Asynchronous Q-Learning
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
本文关注的是异步形式的Q-学习，它适用于马尔可夫数据样本的随机逼近方案。受离线强化学习的最新进展的启发，我们开发了一个算法框架，将悲观主义的原则融入异步Q学习，基于合适的置信下限（LCB）惩罚不常访问的状态-动作对。该框架导致，除其他事项外，提高样本效率和增强的适应性，在近专家数据的存在。我们的方法允许在一些重要的情况下，观察到的数据只覆盖部分的状态-动作空间，这是在形成鲜明对比的先验理论，需要统一覆盖所有的状态-动作对。当与方差减小的思想相结合时，具有LCB惩罚的异步Q学习实现了接近最优的样本复杂度，前提是目标精度水平足够小。相比之下，先前的工作是次优的依赖于有效的地平线，即使当i.i.d.允许取样。我们的结果首次为在马尔可夫非独立同分布的情况下使用悲观原则提供了理论支持。数据
2022-03-14 cs.IT cs.LG math.IT
