On the Variance, Admissibility, and Stability of Empirical Risk Minimization
MIT（麻省理工学院）；Tel Aviv University（特拉维夫大学）
本文证明在温和假设下经验风险最小化（ERM）的次优性源于其大偏差，其方差受限于极大极小速率，并扩展了可容许性定理与稳定性结论。
2025-11-02 cs.LG math.ST stat.ML
Estimation And Selection Via Absolute Penalized Convex Minimization And Its Multistage Adaptive Applications
$\ell_1$惩罚方法，或Lasso，已经成为分析大型数据集的重要工具。Lasso在线性回归中得到了许多重要的结果，这些结果使人们对高维统计问题有了更深的理解。本文考虑了一般形式的凸损失函数的一类加权$\ell_1$ -惩罚估计，包括广义线性模型。我们研究的估计，预测，选择和稀疏性的加权$\ell_1$惩罚估计稀疏，高维设置的预测$p$的数量可以远远大于样本量$n$。Adaptive Lasso被认为是一种特殊情况。一个多阶段的方法开发应用自适应Lasso递归。我们提供了$\ell_q$预言不等式，一般的选择一致性定理，和上界的Lasso估计的维数。重要的模型，包括线性回归，逻辑斯谛回归和对数线性模型是用来说明一般结果的应用。
2011-12-29 math.ST stat.ML stat.TH
No fast exponential deviation inequalities for the progressive mixture rule
我们认为学习任务包括在预测以及最好的功能，在一个有限的参考集G到最小的可能的附加项。如果R（g）表示预测函数g的泛化误差，则在对损失函数的合理假设下（当输出有界时，通常由最小二乘损失满足），已知渐进混合规则g_n满足E R（g_n）< min_{g in G} R（g）+ C（log |G|）/n，其中n表示训练集的大小，E表示期望w.r.t.训练集分布，C表示正常数。本文主要证明了对于任意训练集大小n，存在a>0，参考集G和生成数据的概率分布使得概率至少为a R（g_n）> min_{g in G} R（g）+ c sqrt{[log（|G| /a）]/n}，其中c为正常数。换句话说，令人惊讶的是，对于适当的参考集合G，渐进混合规则的偏差收敛速度仅为1/sqrt{n}阶，而其期望收敛速度为1/n阶。同样的结论也适用于渐进间接混合规则。本文还着重研究了基于惩罚经验风险最小化算法在G。
2007-03-28 math.ST stat.TH
Square Root Penalty: Adaptation to the Margin in Classification and in Edge Estimation
我们考虑的问题，适应的差距，在二进制分类。我们提出了一个惩罚的经验风险最小化分类器，自适应地达到，对数因子，快速的最佳收敛率的超额风险，也就是说，速度可以快于n^{-1/2}，其中n是样本量。我们表明，我们的方法也给出了自适应估计的边缘估计的问题。
2005-07-21 math.ST stat.TH
On the design-dependent suboptimality of the Lasso
本文研究线性回归中设计矩阵对稀疏参数估计的影响，刻画了最小奇异值有非零下界时的最优估计速率，提出了基于普通最小二乘软阈值的统计最优且计算高效的方法，并证明Lasso在最小奇异值较小时是极小极大速率次优的。
2024-02-01 math.ST stat.ML stat.TH
Sparsity in multiple kernel learning
讨论了基于惩罚经验风险最小化的多核学习问题。复杂度惩罚由经验$L_2$范数和再生核希尔伯特空间（RKHS）范数共同确定，再生核范数由具有数据驱动的正则化参数选择的核诱导。主要关注的是当核的总数很大，但只需要相对较少的数量来表示目标函数，因此问题是稀疏的。我们的目标是建立甲骨文不等式的预测规则的超额风险表明，该方法是适应未知的设计分布和稀疏的问题。
2012-11-13 math.ST stat.TH
On Faster Convergence of Cyclic Block Coordinate Descent-type Methods for Strongly Convex Minimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
循环块坐标下降型（CBCD型）方法，它执行迭代更新的几个坐标（块）同时在整个过程中，已显示出显着的计算性能，解决强凸极小化问题。典型的应用包括许多流行的统计机器学习方法，如弹性网络回归，岭惩罚逻辑斯谛回归和稀疏加法回归。现有的优化文献已经表明，对于强凸最小化，CBCD型方法达到$\mathcal{O}(p\log(1/ε))$的迭代复杂度，其中$ε$是目标值的预定精度，并且$p$是块的数量。然而，这样的迭代复杂度明确地取决于$p$，并且因此比梯度下降（GD）方法的复杂度$\mathcal{O}(\log(1/ε))$至少差$p$倍。为了弥合这一理论差距，我们提出了一个改进的CBCD型方法的收敛性分析。特别是，我们首先表明，对于一个家庭的二次最小化问题，迭代复杂性$\mathcal{O}(\log^2(p)\cdot\log(1/ε))$的CBCD型方法相匹配的GD方法在$p$的依赖，高达$\log^2 p$的因素。因此，我们的复杂性边界比现有的边界至少清晰$p/\log^2(p)$的一个因素。我们还提供了一个下界，以确认我们的改进的复杂性边界是紧的（高达$\log^2 (p)$因子），假设Hessian矩阵的最大和最小特征值不与$p$缩放。最后，我们将我们的分析推广到其他强凸极小化问题以外的二次。
2017-11-22 cs.LG math.OC stat.ML
Nonparametric learning of stochastic differential equations from sparse and noisy data
Department of Mathematics, Louisiana State University（路易斯安那州立大学数学系）
本文提出EM-SMC-RKHS非参数框架，在稀疏噪声观测下通过期望最大化、序贯蒙特卡洛和再生核希尔伯特空间学习随机微分方程的漂移函数，并给出理论收敛性与数值验证。
2025-08-15 cs.LG math.PR stat.ME
MM Algorithms for Minimizing Nonsmoothly Penalized Objective Functions
在本文中，我们提出了一个通用类的算法优化各种各样的非光滑惩罚的目标函数，满足一定的正则条件。该框架利用优化最小化（MM）算法作为其核心优化引擎。由此产生的算法依赖于迭代软阈值，实现组件，允许快速，稳定的更新，避免了任何高维矩阵求逆的需要。我们建立了一个局部收敛理论，这类算法在较弱的假设下比以前考虑的统计文献。我们还证明了新的加速方法，最初提出的期望最大化算法，在这类问题的特殊有效性。仿真结果和一个微阵列数据的例子来证明该算法的能力和通用性。
2011-01-21 math.ST stat.CO stat.TH
Best-scored Random Forest Classification
Renmin University of China（中国人民大学）；University of Stuttgart（斯图加特大学）
我们提出了一个算法命名为最佳得分随机森林的二进制分类问题。术语“最佳得分”意味着从一定数量的纯随机树候选中选择具有最佳经验性能的一棵树作为森林中的每棵树。通过这种方式，所得到的森林可以比原始的纯随机森林更准确。从理论的角度来看，在正规化的经验风险最小化惩罚的分裂的数量的框架内，我们建立了几乎最优的收敛速度建议最好的得分随机树在一定的条件下，可以扩展到最好的得分随机森林。此外，我们还给出了一个反例来说明，为了保证森林的一致性，每个维都必须有被分裂的机会。在数值实验中，为了提高效率，我们采用了自适应随机分裂准则。与其他最先进的分类方法的比较实验证明了我们的最佳得分随机森林的准确性。
2019-05-27 cs.LG stat.ML
Optimal State Estimation in the Presence of Non-Gaussian Uncertainty via Wasserstein Distance Minimization
本文提出一种基于Wasserstein距离最小化的与分布无关的最优状态估计框架，通过最小化后验误差与Dirac delta分布的距离实现信息融合，成功恢复经典Kalman和GSF滤波器，并利用非线性优化提升了GSF的估计精度。
2024-03-06 cs.SY eess.SY math.ST
On non-asymptotic bounds for estimation in generalized linear models with highly correlated design
研究了高维广义线性模型和带$\ell_1$惩罚的经验风险最小化问题。我们的目的是提供一个非平凡的说明，非渐近界的估计可以得到不依赖于链接技术和/或剥离设备。
2007-09-06 math.ST stat.TH
Approximate Risk Minimization Over Shrinking-Thresholding Rules in Normal Mean Estimation
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
该研究为正态均值估计中的收缩阈值规则构建近似风险最小化框架，推导最优条件，得到估计器NOMAD，发展相关理论并扩展框架到相关观测及线性回归，提供了统一的基于风险的框架。
2026-07-08 math.ST stat.AP stat.ME
Oracle Inequalities for Convex Loss Functions with Non-Linear Targets
本文考虑了目标函数为未知非线性的凸损失函数的惩罚经验损失极小化问题。利用弹性网罚，我们建立了一个有限样本的预言不等式，它以高概率限制了我们的估计量的损失。如果未知目标是线性的，则该不等式还提供了所估计的参数向量的估计误差的上界。这些都是新的结果，它们推广了计量经济学和统计学文献。接下来，我们使用非渐近结果来证明我们的估计的超额损失是渐近的相同的顺序的预言。如果目标是线性的，我们给出了估计的参数向量的一致性的充分条件。接下来，我们简要讨论如何使用我们的估计量的阈值版本来执行一致的变量选择。我们给出了我们的框架所涵盖的损失函数的两个例子，并显示如何惩罚非参数序列估计包含作为一个特例，并提供了一个有限的样本上界的弹性净序列估计的均方误差。
2013-12-12 math.ST stat.ML stat.TH
A Bayesian Approach for Noisy Matrix Completion: Optimal Rate under General Sampling Distribution
贝叶斯方法的低秩矩阵完成噪声已被证明是非常有效的计算。虽然惩罚最小化方法的行为是很好地理解从理论和计算的角度来看，在这个问题上，贝叶斯估计的理论最优性尚未探讨。本文提出了一般抽样分布下矩阵完备化的贝叶斯估计。我们还提供了一个预言不等式的估计。这个不等式证明，无论矩阵的秩估计，我们的估计达到最小最大最优的收敛速率（对数因子）。最后，我们进行了一个简短的模拟研究。
2015-01-21 math.ST stat.TH
Complexity regularization via localized random penalties
本文研究了非参数分类问题中基于惩罚经验损失最小化的模型选择问题。数据相关的处罚，这是基于每个模型类的一个小子类的复杂性估计，只包含那些功能与小的经验损失。处罚是新颖的，因为那些在文献中考虑的通常是基于整个模型类。Oracle不等式使用这些惩罚建立，并证明了新的惩罚的优势，比那些基于整个模型类的复杂性。
2004-10-05 math.ST stat.TH
Minimax adaptive estimation of nonparametric hidden Markov models
我们考虑有限状态空间的平稳隐马尔可夫模型和发射分布的非参数建模。直到最近，人们才知道这种模式是可以识别的。本文提出了一种新的惩罚最小二乘估计，它是统计上最优的，并且在实际中是易于处理的。我们证明了一个非渐近预言不等式的排放分布的非参数估计。一个结果是，这个新的估计率极小极大自适应对数项。我们的方法是基于预测的排放分布到嵌套的子空间的复杂性不断增加。流行的谱估计无法达到最佳速率，但可以用作我们过程中的初始点。仿真结果表明，当连续应用最小二乘最小化的谱估计得到的改善。
2015-12-27 math.ST stat.TH
Simultaneous adaptation to the margin and to complexity in classification
我们考虑的问题，适应的边缘和复杂性的二进制分类。我们建议一个指数加权聚合计划。我们使用这种聚合过程来构建自动适应边缘和复杂性的分类器。两个主要的例子，其中自适应性是在Steinwart和Scovel [学习理论]提出的框架中实现的。计算机中的笔记。Sci. 3559（2005）279- 294。Springer，Berlin; Ann. Statistist. 35（2007）575- 607]和Tsybakov [Ann. Statist. 32（2004）135- 166]。自适应方案，如ERM或惩罚ERM，通常涉及最小化步骤。我们的程序并非如此。
2007-10-19 math.ST stat.ML stat.TH
Trade-off between predictive performance and FDR control for high-dimensional Gaussian model selection
本文研究高维高斯线性回归中的变量选择，提出了一种超参数校准算法，以在控制预测风险的同时控制错误发现率，并验证了其有效性及对无序变量的扩展。
2024-06-28 math.ST stat.AP stat.ME
