Penalized contrast estimator for adaptive density deconvolution
作者考虑的问题估计密度$g$的独立和同分布的变量$X\_i$，从样本$Z\_1, ..., Z\_n$，其中$Z\_i=X\_i+σε\_i$，$i=1, ..., n$，$ε$是一个噪声独立的$X$，$σε$具有已知的分布。他们提出了一个模型选择程序，允许构建一个自适应估计$g$，并找到其$\mathbb{L}\_2(\mathbb{R})$风险的非渐近界。在大多数情况下，估计器实现了极小极大收敛速率，其中下限是可用的。仿真研究表明，该方法具有良好的实用性能。
2006-01-05 math.ST stat.TH
Penalized nonparametric mean square estimation of the coefficients of diffusion processes
本文考虑一维扩散过程$(X_t)$，它在$n+1$离散时刻被观测到，且具有规则的采样间隔$Δ$ .假设$(X_t)$是严格平稳的，我们提出了非参数估计的漂移和扩散系数的惩罚最小二乘方法。我们的估计属于一个有限维的函数空间，其尺寸是由数据驱动的方法选择。我们提供了非渐近风险界的估计。当采样间隔趋于零时，观测值个数和观测时间间隔的长度趋于无穷大时，我们证明了我们的估计量达到了极小极大最优收敛速度.基于扩散过程的精确模拟的数值结果给出了几个例子的模型，并说明我们的估计算法的质量。
2007-08-30 math.ST stat.TH
On minimax density estimation via measure transport
我们研究的收敛性，在海林格和相关的距离，非参数密度估计的基础上测量运输。这些估计量将感兴趣的度量表示为运输图下所选参考分布的前推，其中该图是通过最大似然目标（等效地，最小化经验Kullback-Leibler损失）或其惩罚版本来选择的。通过将M-估计与基于运输的密度表示的分析性质相结合，建立了一类惩罚测度运输估计的浓度不等式.然后，我们证明了我们的理论的影响的情况下，三角形Knothe-Rosenblatt（KR）运输的$d$维单位立方体，并表明，惩罚和未惩罚的版本，这样的估计实现极小极大最优的收敛速度的Hölder类的密度。具体来说，我们建立了最优率的无惩罚的非参数极大似然估计有界Hölder型球，然后为某些Sobolev惩罚估计和筛选小波估计。
2022-09-19 math.PR math.ST stat.ML
Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU（挪威科技大学）；Linköping University（林雪平大学）；University of Southern Denmark（南丹麦大学）
本文研究了非凸非光滑稀疏惩罚下的分位数回归问题，提出了一种名为SIAD的单循环平滑ADMM算法，通过递增惩罚参数加速收敛，理论上确认了子梯度界收敛率为o(k^{-1/4})，数值实验证明其优于现有方法。
2023-09-04 cs.AI cs.LG stat.ML
L1-Penalized Quantile Regression in High-Dimensional Sparse Models
我们考虑中位数回归，更一般地说，在高维稀疏模型的分位数回归的可能无限的集合。在这些模型中，回归量$p$的总数非常大，可能大于样本量$n$，但这些回归量中只有$s$对响应变量的条件分位数具有非零影响，其中$s$的增长速度慢于$n$。我们考虑分位数回归惩罚的$\ell_1$ -范数的系数（$\ell_1$ -QR）。首先，我们证明了$\ell_1$ -QR在速率$\sqrt{s/n} \sqrt{\log p}$上是一致的。回归变量$p$的总数仅通过$\log p$因子影响速率，因此零影响回归变量的数量几乎呈指数增长性增长。速率结果在相对弱的条件下成立，要求$s/n$以超对数速度收敛到零，并且正则化参数满足某些理论约束。其次，我们提出了一个关键的，数据驱动的正则化参数的选择，并表明它满足这些理论约束。第三，我们表明，$\ell_1$ -QR正确地选择真正的最小模型作为一个有效的子模型，当非零系数的真实模型是从零分离。我们还证明了$\ell_1$ -QR中非零系数的个数与$s$具有相同的随机序.第四，我们分析了两步估计的收敛速率，该估计将普通分位数回归应用于所选模型。第五，我们评估的性能$\ell_1$ -QR在蒙特卡洛实验，并说明其使用的国际经济增长的应用。
2019-09-26 econ.EM math.PR math.ST
Heterogeneous Overdispersed Count Data Regressions via Double Penalized Estimations
本文研究了非均匀过度分散计数数据的双正则化$\ell_1$的非渐近性质。在限制特征值条件下，利用经验过程的集中不等式，首次证明了两个偏回归系数的Lasso估计的预言不等式。此外，由预言不等式导出的估计量的相合性和收敛速度是进一步统计推断的理论保证。最后，仿真和实际数据分析表明，新方法是有效的。
2022-02-07 econ.EM math.ST stat.ME
Unbalanced Optimal Transport through Non-negative Penalized Linear Regression
IRISA, Université Bretagne-Sud（南布列塔尼大学IRISA研究所）；CMAP, Ecole Polytechnique（巴黎综合理工学院应用数学中心）；LITIS（鲁昂信息处理与系统实验室）；IRIT, Université de Toulouse, CNRS（图卢兹大学、法国国家科学研究中心图卢兹信息学研究所）；INSA Rouen Normandie（诺曼底鲁昂国立应用科学学院）
本文讨论了不平衡最优输运（UOT）的问题，其中的边际条件放宽（使用加权惩罚代替平等），没有额外的正则化强制执行的OT计划。在这种情况下，我们表明，相应的最优化问题可以重新制定为一个非负的惩罚线性回归问题。这种重新使我们能够提出新的算法的启发，从反问题和非负矩阵分解。特别是，我们考虑优化最小化，这导致在我们的设置有效的乘法更新各种处罚。在此基础上，我们首次推导出了一个计算UOT正则化路径的有效算法。该算法提供了一个连续的分段线性OT计划收敛到平衡OT的解决方案（对应于无限的惩罚权重）。我们对模拟和真实数据进行了几次数值实验，说明了新算法，并详细讨论了更复杂的优化工具，这些工具可以进一步用于解决OT问题，这要归功于我们的重新表述。
2021-06-08 cs.LG math.OC stat.ML
Partial Consistency with Sparse Incidental Parameters
惩罚估计原理是高维问题的基本原理。在文献中，它已被广泛和成功地应用于各种模型，只有结构参数。作为对比，在本文中，我们应用这种惩罚原则的线性回归模型与有限维向量的结构参数和高维向量的稀疏附带参数。对于结构参数的估计，我们得到了它们的相合性和渐近正态性，揭示了一个预言性质。然而，偶然参数的惩罚估计只具有部分选择相合性而不具有相合性。这是一个有趣的部分一致性现象：结构参数是一致的估计，而偶然的不能。对于结构参数，还考虑了另一种两步惩罚估计，它具有较少的可能渐近分布，因此更适合于统计推断。我们进一步扩展的方法和结果的情况下，结构参数向量的维数发散，但慢于样本量。提供了一种用于选择惩罚正则化参数的数据驱动方法。通过仿真和一个真实数据集的分析，对结构参数的惩罚估计的有限样本性能进行了评估。
2017-08-02 math.ST stat.ME stat.TH
On parameter identification in stochastic differential equations by penalized maximum likelihood
Institut für Numerische und Angewandte Mathematik, Georg-August Universität Göttingen（哥廷根大学应用数学与数值计算研究所）
本文提出非参数估计器用于估计随机微分方程的系数，通过Fokker-Planck方程描述确定性前向算子，推导惩罚最大似然估计器的风险收敛速率，并通过蒙特卡洛模拟展示对数似然相较于二次数据保真项的优势。
2014-04-02 cs.NA math.NA q-fin.ST
Refined Convergence Rates for Maximum Likelihood Estimation under Finite Mixture Models
本文重新讨论了有限混合模型中最大似然估计的经典收敛速度问题。Wasserstein距离已成为一个标准的损失函数，用于分析这些模型中的参数估计，部分原因是它能够规避标签切换，并准确地表征拟合的混合物成分与消失的权重的行为。然而，Wasserstein距离仅能够捕获剩余拟合混合分量中的最差情况的收敛速度。我们证明，当对数-似然函数被惩罚，以阻止消失的混合权重，更强的损失函数可以推导出解决这个缺点的Wasserstein距离。这些新的损失函数准确地捕获的异质性拟合混合成分的收敛速度，我们用它们来锐化现有的逐点和一致收敛性速度在各类混合模型。特别是，这些结果意味着，惩罚MLE的组件的子集通常收敛速度显着比可以从过去的工作预期。我们进一步表明，这些结论中的一些扩展到传统的极大似然估计。我们的理论研究结果支持的模拟研究，以说明这些改进的收敛速度。
2022-06-20 math.ST stat.ML stat.TH
Nonparametric Density Estimation for Data Scattered on Irregular Spatial Domains: A Likelihood-Based Approach Using Bivariate Penalized Spline Smoothing
针对不规则空间域数据，本文提出基于三角剖分二元惩罚样条平滑的似然非参数密度估计方法，证明其渐近收敛速率，并通过模拟和波特兰盗车数据验证其优势。
2024-10-27 stat.ME
On the Distribution of Penalized Maximum Likelihood Estimators: The LASSO, SCAD, and Thresholding
我们研究的分布的LASSO，SCAD和阈值估计，在有限样本和大样本限制。渐近分布的情况下，估计量进行调整，以执行一致的模型选择和估计量进行调整，以执行保守的模型选择。我们的研究结果补充了Knight和Fu（2000）以及Fan和Li（2001）的研究结果。我们发现，无论估计量如何调整，分布通常都是高度非正态的，并且这种特性在大样本中仍然存在。这些估计量的一致收敛性也得到了，并显示出慢于1/根（n）的情况下，估计量进行调整，以执行一致的模型选择。给出了估计量的分布函数估计的不可能性结果。
2009-04-17 math.ST stat.ME stat.ML
Revisiting Penalized Likelihood Estimation for Deterministic Computer Experiments
NC State University（北卡罗来纳州立大学）；Virginia Tech（弗吉尼亚理工大学）
研究高斯过程中惩罚似然估计问题，引入基于马氏距离的“去相关预测误差”交叉验证度量，该度量在无需惩罚时与标准 MLE 相当，正则化有益时优于传统度量，能更可靠地选择调优参数。
2026-07-21 stat.ME
Adaptive complexity regularization for linear inverse problems
我们解决的问题，建立自适应估计程序不适定的反问题。对于依赖于调整参数的一般正则化方法，我们构造了一种惩罚方法，该方法选择最佳平滑序列，而无需待估计函数的正则性的先验知识。我们提供这样的估计甲骨文不等式和最佳收敛速度。这种惩罚方法适用于吉洪诺夫正则化和投影正则化。
2008-07-30 math.ST stat.TH
Variable selection in convex quantile regression: L1-norm or L0-norm regularization?
维数灾难是非参数估计中公认的挑战。本文提出了一种新的L0-范数正则化方法，用于凸分位数和期望回归的子集变量选择。我们展示了如何使用混合整数规划来解决实践中提出的L0范数正则化方法，并建立了一个链接到常用的L1范数正则化方法。利用蒙特卡罗方法比较了L0-惩罚凸分位数和期望回归方法与L1-范数正则化方法在有限样本下的性能。该方法进一步应用于衡量OECD国家的可持续发展绩效，并实证分析了变量降维的准确性。仿真和应用结果表明，在多维空间中，L0范数正则化方法比L1范数正则化方法能更有效地解决维数灾难问题.
2021-07-07 stat.AP stat.ME
Naive Penalized Spline Estimators of Derivatives Achieve Optimal Rates of Convergence
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文研究导数的惩罚样条估计的渐近性态。特别是，我们表明，简单地区分惩罚样条估计的平均回归函数本身估计相应的衍生物实现了最佳的L2收敛速率。
2022-08-23 cs.LG math.ST stat.TH
Semismooth Newton Coordinate Descent Algorithm for Elastic-Net Penalized Huber Loss Regression and Quantile Regression
本文提出了一种半光滑牛顿坐标下降算法（SNCD），用于高维环境下的弹性网惩罚Huber损失回归和分位数回归。与现有的坐标下降型算法不同，SNCD在每次迭代中同时更新每个回归系数及其相应的次梯度。它结合了坐标下降和半光滑牛顿算法的优点，有效地解决了维数和非光滑性带来的计算挑战。我们建立了算法的收敛性。此外，我们提出了一个自适应版本的“强规则”筛选预测，以获得额外的效率。通过数值实验，我们证明了该算法是非常有效的，可扩展到超高的维度。我们通过一个真实的数据示例来说明该应用程序。
2016-05-20 stat.CO stat.ML
Linear Shrinkage Convexification of Penalized Linear Regression With Missing Data
针对含缺失数据的惩罚线性回归中协方差矩阵非正定、损失函数非凸的问题，提出线性收缩正定（LPD）修正方法，通过修改协方差矩阵实现凸化，理论证明其收敛性并在GDSC数据集验证了有效性。
2025-04-18 stat.ME
An Iterative Algorithm for Fitting Nonconvex Penalized Generalized Linear Models with Grouped Predictors
高维数据对统计学习和建模提出了挑战。有时，预测因子可以自然地分组，其中追求组间稀疏性是期望的。共线性可能发生在现实世界的高维应用中，其中流行的$l_1$技术遭受选择不一致和预测不准确。此外，感兴趣的问题往往超出高斯模型。针对这些问题，研究了具有分组预测的非凸惩罚广义线性模型，并提出了一种简单的计算算法。严格的理论结果保证了它的收敛性，并提供了严格的初步缩放。该框架允许分组预测和非凸罚，包括离散$l_0$和"$l_0+l_2$"类型罚。研究了非凸罚函数的罚函数设计和参数调整问题。超分辨率谱估计在信号处理和生物信息学中结合基因选择的癌症分类中的应用表明，非凸惩罚估计可以提高性能。
2011-11-10 stat.ME stat.ML
Sparse Quantile Regression
我们考虑$\ell _{0}$ -惩罚和$\ell _{0}$ -约束的分位数回归估计.对于$\ell _{0}$ -惩罚估计，我们导出了超额分位数预测风险尾概率的指数不等式，并应用它得到了均方参数和回归函数估计误差的非渐近上界.我们还推导出类似的结果为$\ell _{0}$约束估计。由此产生的收敛速度几乎是最小最大最优的和相同的$\ell _{1}$ -惩罚和非凸惩罚估计。此外，我们表征预期的汉明损失的$\ell _{0}$惩罚估计。我们通过混合整数线性规划和一个更具可扩展性的一阶近似算法来实现所提出的过程。我们说明了我们的方法在蒙特卡罗实验中的有限样本性能和它的实用性，在一个真正的数据应用有关的婴儿出生体重的共形预测（与$n\approx 10^{3}$和$p>10^{3}$）。总之，我们的$\ell _{0}$为基础的方法产生一个更稀疏的估计比$\ell _{1}$惩罚和非凸惩罚的方法，而不影响精度。
2023-03-29 econ.EM stat.ME
Robust penalized estimators for functional linear regression
函数数据分析是统计学中一个快速发展的分支。流行的函数线性模型的估计过程要么缺乏鲁棒性，要么计算负担沉重。为了解决这些缺点，一个灵活的家庭惩罚低秩估计的基础上提出了一个有界损失函数。在弱正则条件下，证明了所提出的估计类是相容的，并且在预测误差方面具有很高的收敛速度。这些结果可以推广到更高的维度下类似的假设。有限样本性能的估计量的建议家庭的Monte Carlo研究表明，这些估计达到高效率，同时提供保护，防止离群值。所提出的估计相比，有利的现有方法的强大以及非强大的替代品。在一个复杂的真实数据集上的实验结果也表明了该方法的良好性能。
2021-08-26 stat.ME
Penalized Maximum Likelihood Estimation of Multi-layered Gaussian Graphical Models
通过分析多层图形模型，可以在调整和量化其他层节点的影响后，深入了解层内节点之间的条件关系。我们得到惩罚的极大似然估计高斯多层图形模型，基于一种计算方法，涉及筛选的变量，迭代估计层之间的有向边缘和层内的无向边缘和最后的改装和稳定性选择步骤，提供了改进的性能在有限的样本设置。我们建立的估计在高维设置的一致性。为了获得这一结果，我们开发了一种策略，利用双凸的似然函数，以确保收敛的迭代算法的一个固定点，以及仔细的均匀误差控制的估计迭代。的性能的极大似然估计的合成数据说明。
2016-01-05 stat.ME
Transcendental Regularization of Finite Mixtures:Theoretical Guarantees and Practical Limitations
Rochester Institute of Technology（罗切斯特技术学院）
本文提出超越正则化方法，用于解决有限混合模型在高维空间中的退化问题，提供理论保证并揭示其实际限制。
2026-02-03 cs.LG stat.ML
Compressed and Penalized Linear Regression
现代应用程序需要在大型数据集上计算可行的方法，但也要保持统计效率。通常，这两个问题被认为是矛盾的：近似方法，使计算被认为是降低统计性能相对于精确的方法。在应用数学中，目前大部分关于近似的理论工作都存在，输入被认为是精确观察到的。流行的哲学是，虽然确切的问题是，遗憾的是，无法解决，任何近似应该尽可能小。然而，从统计的角度来看，近似或正则化的解决方案可能比精确的解决方案更可取。正则化形式化了对数据的保真度和遵守有关数据生成过程的先验知识（如平滑性或稀疏性）之间的权衡。由此产生的估计量往往更有用，更可解释，更适合作为其他方法的输入。在本文中，我们提出了新的方法，估计和预测下的线性模型借用近似文献的见解。我们从统计的角度探讨这些程序，发现在许多情况下，它们可以提高计算和统计性能。
2017-05-22 stat.ME
Advanced Algorithms for Penalized Quantile and Composite Quantile Regression
在本文中，我们讨论了一个家庭的强大的，高维回归模型的分位数和复合分位数回归，有和没有自适应套索惩罚变量选择。我们重新制定这些分位数回归的问题，并通过应用交替方向的乘数法（ADMM），优化最小化（MM），和坐标下降（CD）算法获得估计。我们的新方法解决了（复合）分位数回归缺乏公开可用的方法，特别是对于高维数据，有和没有正则化。通过模拟研究，我们证明了需要不同的算法适用于各种数据设置，我们在R的cqrReg包中实现。为了比较，我们还介绍了广泛使用的内点（IP）制定和测试我们的方法对IP算法在现有的quantreg包。我们的模拟研究表明，我们的每一种方法，特别是MM和CD，在不同的设置，如大型或高维数据集，分别优于目前在quantreg中实现的方法。ADMM方法在其并行化和可扩展性方面为未来的发展提供了具体的承诺。
2020-06-26 stat.CO
A unified approach to penalized likelihood estimation of covariance matrices in high dimensions
本文提出一种统一框架，将稀疏模式最大似然、l_1惩罚对数似然和岭正则化三种协方差矩阵估计方法结合，通过双惩罚项约束优化实现高效稳定的高维稀疏估计，并提供R包gicf。
2024-10-03 stat.ME
A Risk Ratio Comparison of $l_0$ and $l_1$ Penalized Regression
使用$l_1$ -正则化代替$l_0$ -正则化进行特征选择的兴趣激增。我们目前的理论结果表明，虽然$l_1$惩罚的线性回归从来没有超过$l_0$正则化超过一个常数的因素，在某些情况下，使用$l_1$罚款是无限差比使用$l_0$罚款。我们还表明，“最佳”的$l_1$解决方案往往是劣于逐步回归发现的$l_0$解决方案。我们还比较算法解决这两个问题，并表明，虽然解决方案可以有效地找到$l_1$的问题，“最佳”的$l_1$的解决方案往往是劣于$l_0$的解决方案，发现使用贪婪的经典逐步回归。此外，我们表明，通过解决凸$l_1$问题得到的解决方案可以通过使用$l_0$标准选择最好的$l_1$模型（对于不同的正则化惩罚）来改进。换句话说，正确问题的近似解可能比错误问题的精确解更好。
2015-10-21 math.ST stat.ME stat.TH
Nonconvex Penalized LAD Estimation in Partial Linear Models with DNNs: Asymptotic Analysis and Proximal Algorithms
Department of Applied Mathematics, The Hong Kong Polytechnic University（应用数学系，香港理工大学）；College of Computing, Data Science, and Society, University of California, Berkeley（计算、数据科学与社会学院，加州大学伯克利分校）
本文提出利用深度神经网络参数化非参数项，研究部分线性模型中非凸惩罚LAD估计的渐近性质与近端算法。
2025-11-26 cs.LG stat.ML
Extended ADMM for general penalized quantile regression with linear constraints in big data
本文提出基于多块ADMM的扩展算法，用于高效求解大数据中带线性约束的一般惩罚分位数回归，并开发了并行版本，通过显式参数更新避免嵌套循环，实验证明其计算效率显著提升。
2023-05-12 stat.CO
Penalized likelihood inference for beta-binomial meta-analysis of proportions of rare events
The Graduate Institute for Advanced Studies, The Graduate University for Advanced Studies（高级研究研究生院，高级研究院）；Department of Interdisciplinary Statistical Mathematics, The Institute of Statistical Mathematics（统计数学系，统计数学研究所）
针对罕见事件比例元分析中常用最大似然估计器存在有限样本偏差的问题，提出最大惩罚似然估计器，通过最大化Jeffreys先验惩罚增强的对数似然得到，模拟显示其在多方面优于普通MLE，还引入新置信区间，为相关元分析提供有用替代方法。
2026-07-30 stat.ME
Penalized spline estimation of principal components for sparse functional data: rates of convergence
本文研究稀疏函数型数据下惩罚样条主成分估计的收敛速率，揭示平滑性、样条参数等因子对渐近行为的影响，并分类七种情形下的极小极大最优性。
2024-02-08 math.ST stat.ME stat.TH
Some upper bounds for the rate of convergence of penalized likelihood context tree estimators
我们发现的上界的概率低估和高估错误的惩罚似然上下文树估计。边界是明确的，并适用于不一定是有限内存的进程。我们允许一般的惩罚条款，我们给条件的最大深度的估计树，以得到强相合估计。这推广了以前的结果的情况下，估计的顺序的马尔可夫链。
2009-03-11 math.PR math.ST stat.TH
Weakly decomposable regularization penalties and structured sparsity
在文献中已经表明，Lasso估计，或l1-惩罚最小二乘估计，享有良好的预言性质。本文探讨了哪些特殊性质的l1罚允许尖锐的预言结果，然后将这种情况扩展到一般的范数为基础的罚款，满足弱分解条件。
2012-12-10 math.ST stat.TH
Consistencies and rates of convergence of jump-penalized least squares estimators
研究了跳跃惩罚最小二乘回归的渐近性，目的是用分段常数函数逼近回归函数。除了$L^2([0,1))$中估计的传统的一致性和收敛速度外，我们的结果还涵盖了càdlàg函数空间上的Skorokhod度量和$C([0,1])$上的一致度量.我们将证明这些估计量在某些类的“近似空间”上是自适应意义上的速率最优的。“特殊情况是一类函数的有界变化（分段）Hölder连续函数的顺序$0<α\le1$和类的阶梯函数与有限的，但任意数量的跳跃。在后一种情况下，我们还将从变点分析中推导出已知的跳跃率。最后，全自动选择的平滑参数的问题得到解决。
2009-02-27 math.ST stat.TH
Improved convergence rates of nonparametric penalized regression under misspecified total variation
针对平滑度未知时非参数估计收敛速度的问题，本文通过引入基于卷积和高阶核的近似函数，改进了Simon和Shojaie (2021)的理论收敛速度，获得了更紧的收敛速率。
2023-08-02 math.ST stat.ME stat.TH
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
Penalized quasi likelihood estimation for variable selection
将惩罚方法应用于随机微分方程模型的拟似然分析。本文讨论了一类多项式型大偏差不等式成立的拟似然函数及相应的统计随机场。则罚项不扰动多项式型大偏差不等式。这一性质保证了相关估计量的矩的收敛性，这对于估计模型选择不正确的概率的上界起着重要的作用。
2019-10-28 math.ST stat.TH
Complexity $L^0$-penalized M-Estimation: Consistency in More Dimensions
我们研究的渐进性$L^2$的复杂性惩罚最小二乘回归的离散逼近有限维信号的连续域-例如图像-分段光滑函数。我们介绍了一个相当一般的设置，其中包括大多数目前流行的分区的信号或图像域像间隔，楔形波或相关的分区，以及Delaunay三角剖分。然后证明了算法的一致性，并推导出了算法的收敛速度.最后，我们通过相关的例子说明了抽象的结果是有用的许多应用。
2013-01-28 math.ST stat.TH
One-step sparse estimates in nonconcave penalized likelihood models
Fan和Li利用凹罚函数通过惩罚似然提出了一类变量选择方法。非凹惩罚似然估计具有预言性质，但由于目标函数不可微且非凹，因此极大化罚似然函数在计算上具有挑战性.在这篇文章中，我们提出了一个新的统一算法的基础上的局部线性逼近（LLA）最大化的惩罚似然凹罚函数的广泛的一类。收敛性和其他理论性质的LLA算法的建立。LLA算法的一个显著特征是，在每个LLA步骤中，LLA估计器可以自然地采用稀疏表示。因此，我们建议使用来自LLA算法的一步LLA估计器作为最终估计。在统计上，我们证明了如果正则化参数选择适当，一步LLA估计具有良好的初始估计的预言性质。在计算上，一步LLA估计方法大大减少了最大化非凹惩罚似然的计算成本。我们进行了一些Monte Carlo模拟来评估一步稀疏估计方法的有限样本性能。结果非常令人鼓舞。
2008-08-07 math.ST stat.TH
Iteratively Reweighted $\ell_1$-Penalized Robust Regression
本文研究了高维非凸正则化稳健回归的优化误差、统计收敛速度和重尾误差影响之间的折衷关系。当线性模型的可加误差只有有界二阶矩时，证明了迭代重加权$\ell_1$ -惩罚自适应Huber回归估计在弱beta-min条件下满足指数偏差界和预言收敛速度和变量选择相合性.在计算上，我们需要多达$O(\log s + \log\log d)$迭代来达到这样的预言估计器，其中$s$和$d$分别表示稀疏度和环境维度。扩展到一般类的鲁棒损失函数也被认为是。数值研究为我们的方法和理论提供了强有力的支持。
2020-12-29 math.ST stat.ML stat.TH
Square-root nuclear norm penalized estimator for panel data models with approximately low-rank unobserved heterogeneity
本文考虑了具有交互效应的面板数据模型的核范数惩罚估计。低秩交互效应可以是近似模型，最佳逼近的秩未知，并随样本量增长。该估计器是一个结构良好的凸优化问题的解，可以在多项式时间内求解。我们得到的收敛速度，研究低秩性质的估计，估计的秩和零化子矩阵的时间段的数量增长时的样本量。两阶段估计量可以渐近正态。这些程序都不需要知道误差的方差。
2019-05-03 math.ST stat.TH
Aggregation of penalized empirical risk minimizers in regression
本文给出了回归模型中惩罚经验风险最小化（PERM）收敛速度的一般结果。然后，我们考虑了回归的不可知学习问题，并在此背景下给出了一个预言不等式和有限类上PERM的一个下界。这些结果适用于一般的多元随机设计，唯一的假设是其定律的支持的紧性（例如允许离散分布）。然后，利用这些结果，我们构造自适应估计。作为例子，我们考虑各向异性Besov空间或再生核希尔伯特空间上的自适应估计。最后，我们提供了一个经验证据表明，聚集导致更稳定的估计比更标准的交叉验证或广义交叉验证方法的平滑参数的选择，当观察的数量是小的。
2008-10-29 math.ST stat.TH
Penalized Estimation in Additive Regression with High-Dimensional Data
加法回归通过将响应信号建模为复杂性相对较低的协变量的函数之和，提供了线性回归的扩展。研究了高维非参数可加回归中的惩罚估计，其中用泛函半范数来诱导分量函数的光滑性，用经验$L_2$范数来诱导稀疏性.函数半范数可以是Sobolev或有界变分类型，并且允许在各个分量函数之间不同。我们建立了新的预言不等式的预测性能，这样的方法在三个简单的技术条件：一个亚高斯条件的噪声，一个兼容性条件的设计和考虑中的功能类，和一个熵条件的功能类。对于随机设计，样本相容性条件可以在一个附加条件下用其总体版本代替，以确保经验范数的适当收敛。在齐次设置的复杂性的组件功能是相同的顺序，我们的研究结果提供了一个频谱的显式收敛速度，从所谓的慢速率，而不需要的兼容性条件下的硬稀疏或一定的$L_q$稀疏允许许多小组件在真正的回归函数的快速。这些结果显着拓宽和锐化现有的文献。
2017-04-24 math.ST stat.TH
Detecting multiple change-points in general causal time series using penalized quasi-likelihood
本文研究了半参数框架下的离线多变点检测问题。假设时间序列属于一大类模型，包括AR（$\infty$）、AR（$\infty$）、TAR（$\infty$）、.模型中的系数在每一个瞬间的休息改变。不同的未知参数（数量的变化，变化日期和参数的连续模型）估计使用的惩罚对比建立在条件准似然。在Lipshitzian条件下，证明了当过程的矩阶$r$满足$r\geq 2$时估计的相合性.如果是$r\geq 4$，则估计量的收敛速度与独立随机变量的情况相同。对AR（$\infty$）、AR（$\infty$）和AR（$\infty$）的特殊情况的分析表明，本文的方法明显改进了已有的结果.
2010-07-31 math.ST stat.TH
Sparse-penalized deep neural networks estimator under weak dependence
CY Cergy Paris Université（CY塞尔吉-巴黎大学）
本文研究$ψ$ -弱相依过程的非参数回归和分类问题。这种弱依赖结构比混合、关联、$\ldots$等条件更一般。提出了一种稀疏深度神经网络的惩罚估计方法。在非参数回归和二元分类问题中，我们建立了稀疏惩罚深度神经网络估计的超额风险的预言不等式。这些估计的超额风险的收敛速度也来自。仿真结果表明，所提出的估计总体上比非惩罚估计工作得更好。
2023-03-02 cs.LG math.ST stat.ML
Estimating the Number of Components in a Mixture of Multilayer Perceptrons
BIC准则被神经网络社区广泛用于模型选择任务，尽管其收敛性质并不总是在理论上成立。在本文中，我们将集中在多层感知器的混合估计的组件的数量，并证明在此框架下的BIC准则的收敛性。分别由Keribin（2000）和Gassiat（2002）引入的混合模型和隐马尔可夫模型的惩罚边缘似然被扩展到多层感知器的混合，并提出了惩罚似然准则。我们证明了它的收敛性的一些假设，其中涉及到广义得分函数类的括号熵，并说明了它的一些数值例子。
2008-04-04 math.ST stat.TH
Convergence of Reflected Langevin Diffusion for Constrained Sampling
本文研究了反射拉格朗日扩散在约束采样中的收敛性，通过惩罚随机微分方程和时间离散化方案，证明了其在Wasserstein-2距离下的收敛性及多项式速率。
2026-01-21 math.PR math.ST stat.TH
Smoothing $\ell_1$-penalized estimators for high-dimensional time-course data
当一系列（相关的）线性模型必须进行估计时，通常适当的做法是将不同的数据集结合起来，以构建更有效的估计量。我们使用$\ell_1$惩罚估计器，如Lasso或Adaptive Lasso，可以同时进行参数估计和模型选择。我们表明，对于高维线性模型的时间过程的Lasso和自适应Lasso的收敛速度可以通过以适当的方式结合不同的时间点来提高。此外，Adaptive Lasso仍然具有Oracle属性和一致的变量选择。所提出的方法的有限样本特性的模拟数据和一个真正的问题，在DNA序列中的基序发现说明。
2007-12-11 math.ST stat.TH
Group SLOPE Penalized Low-Rank Tensor Regression
针对带多变量协变量与矩阵响应的张量回归问题，提出TgSLOPE方法，结合group SLOPE惩罚与低秩约束，可控制TgFDR且具渐近极小极大收敛性，通过近端DCA高效求解，实验验证了其有效性。
2023-10-07 math.OC math.ST stat.TH
Outlier-robust estimation of a sparse linear model using $\ell_1$-penalized Huber's $M$-estimator
ENSAE Paristech-CREST（巴黎高等经济与统计学院-经济与统计研究中心）
研究了在加性噪声和高斯设计的线性模型中估计$p$维$s$ -稀疏向量的问题.在标签被污染的情况下，在最$o$对抗离群值，我们证明了$\ell_1$ -惩罚胡贝尔的$M$ -估计的基础上$n$样本达到最佳的收敛速度$(s/n)^{1/2} + (o/n)$，对数因子。对于更一般的设计矩阵，我们的结果突出了两个属性的重要性：传输原理和不相干属性。这些属性与适当的常数，以产生最佳的利率，对数因子，强大的估计与对抗性污染。
2019-11-19 cs.LG math.ST stat.TH
Regret bounds for Narendra-Shapiro bandit algorithms
Narendra-Shapiro（NS）算法是六十年代引入的带型算法（着眼于心理学或学习自动机中的应用），其收敛性在随机算法文献中得到了深入研究。在本文中，我们解决了以下问题：从\textit{regret}的角度来看，Narendra-Shapiro（NS）强盗算法的竞争力？在我们的主要结果中，我们表明，一些竞争的界限，可以得到这样的算法在其惩罚的版本（在\cite{Lamberton_Pages}介绍）。更准确地说，直到过度惩罚修改，与惩罚双臂强盗算法相关的伪遗憾$\bar{R}_n$一致地有界于$C \sqrt{n}$（其中$C$在本文中被明确表示）。\noindent我们还推广了现有的收敛性和收敛速度的结果，多臂的情况下的过度惩罚的强盗算法，包括收敛到不变测度的分段确定性马尔可夫过程（PSTH）经过适当的重整化。最后，在多臂情形下，给出了该系统的遍历性。
2016-01-16 math.PR math.ST stat.ML
MM Algorithms for Minimizing Nonsmoothly Penalized Objective Functions
在本文中，我们提出了一个通用类的算法优化各种各样的非光滑惩罚的目标函数，满足一定的正则条件。该框架利用优化最小化（MM）算法作为其核心优化引擎。由此产生的算法依赖于迭代软阈值，实现组件，允许快速，稳定的更新，避免了任何高维矩阵求逆的需要。我们建立了一个局部收敛理论，这类算法在较弱的假设下比以前考虑的统计文献。我们还证明了新的加速方法，最初提出的期望最大化算法，在这类问题的特殊有效性。仿真结果和一个微阵列数据的例子来证明该算法的能力和通用性。
2011-01-21 math.ST stat.CO stat.TH
Regularization for Cox's proportional hazards model with NP-dimensionality
每个样品具有数千个测量值的高通量基因测序阵列和大量相关的删失临床数据增加了对更好的测量特异性模型选择的苛刻需求。本文在Cox比例风险模型的框架下，建立了非多项式（NP）维删失数据的非凹惩罚方法的强预言性质。采用了一类折叠凹罚函数，并对LASSO和SCAD进行了详细讨论。我们揭示了在哪些维度和相关性限制下可以构建和掌握Oracle估计量的问题。结果表明，非凹罚导致显着减少的“不可表示的条件”所需的LASSO模型选择的一致性。推广了自带利息鞅的大偏差结果，刻画了强预言性。此外，非凹正则化估计，渐近实现的信息界的预言估计。一个坐标明智的算法，发现惩罚风险回归问题的解决方案路径的网格，其性能进行评估模拟和基因关联研究的例子。
2012-05-25 math.ST stat.ME stat.ML
Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了一族正则化的基于分数的估计器，用于学习多维正态分布的有向无环图（DAG）的结构，并使用$p\gg n$从高维数据中学习。我们的主要研究结果建立支持恢复保证和偏差界的一个家庭的惩罚最小二乘估计下凹正则化，而无需假设先验知识的变量排序。这些结果适用于各种实际情况，允许任意的非退化协方差结构以及许多流行的正则化，包括MCP，SCAD，$\ell_{0}$和$\ell_{1}$。证明依赖于将DAG解释为递归线性结构方程模型，这将估计问题减少到一系列邻域回归。我们提供了一个新的统计分析这些邻里问题，建立统一的控制超指数家庭的邻里与高斯分布。然后，我们应用这些结果来研究基于分数的DAG估计的统计特性，学习因果DAG，并通过图形模型推断条件独立关系。我们的研究结果产量-第一次-有限样本保证高斯DAGs的结构学习在高维通过基于分数的估计。
2017-10-02 cs.LG math.ST stat.ML
