Asymptotic Normality of Support Vector Machine Variants and Other Regularized Kernel Methods
在非参数分类和回归问题中，正则化核方法，特别是支持向量机，在理论和应用统计学中引起了广泛的关注。在抽象意义上，正则化核方法（这里简称为SVM）可以被看作是（通常是无限维）再生核希尔伯特空间中参数的正则化M-估计。对于光滑损失函数，证明了估计量之间的差异，即经验支持向量机和理论支持向量机是渐近正态的速率$\sqrt{n}$。也就是说，标准化差分在再生核希尔伯特空间中弱收敛到高斯过程。如在实际应用中常见的，正则化参数的选择可以取决于数据。证明是通过应用的功能δ-方法，并通过显示SVM功能是适当的阿达玛微分。
2011-04-12 stat.ML
$L_2$-Regularized Empirical Risk Minimization Guarantees Small Smooth Calibration Error
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；Lattice Lab, Toyota Motor Corporation（丰田株式会社格子实验室）
本文首次从理论上证明 $L_2$ 正则化经验风险最小化可直接控制平滑校准误差，无需事后校正，并在核岭回归和核逻辑回归中给出具体保证，实验验证了其有效性。
2025-10-15 cs.LG math.ST stat.ML
Independence test for high dimensional data based on regularized canonical correlation coefficients
本文提出了一种新的统计量来检验两个高维随机向量${\mathbf{X}}:p_1\times1$和${\mathbf{Y}}:p_2\times1$之间的独立性。该统计量基于${\mathbf{X}}$和${\mathbf{Y}}$的正则化样本典型相关系数之和。当$p_1$和$p_2$都与样本容量$n$相当时，在原假设下统计量的渐近分布被建立为经典和正则化样本典型相关系数的线性统计量的一般中心极限定理（CLT）的推论.作为独立性检验的应用，本文还讨论了各种相关结构，如因子模型、非线性模型和一般不相关但相关的情况等，通过模拟研究。作为一个实证应用，在纽约证券交易所（NYSE）的不同部门之间的公司的每日股票收益率的横截面依赖性检测所提出的测试。
2015-03-18 math.ST stat.TH
Convergence of a L2 regularized Policy Gradient Algorithm for the Multi Armed Bandit
``Octav Mayer'' Institute of Mathematics of the Romanian Academy Bd. Carol I 8, Ia s i 700505, Romania CEREMADE, Universit\'e Paris Dauphine - PSL, CNRS, Paris, France；anonymous institute
本文研究了多臂老虎机中结合L2正则化和softmax参数化的策略梯度算法的收敛性，证明了其在适当假设下的收敛性，并通过实验展示了其在初始猜测远离解时的优势。
2026-01-05 cs.AI cs.DS cs.LG
A Fully Probabilistic Tensor Network for Regularized Volterra System Identification
Delft University of Technology（代尔夫特理工大学）
本文提出了一种基于贝叶斯张量网络的Volterra系统识别方法，通过稀疏诱导先验自动确定秩并提升模型可解释性与泛化能力。
2025-11-25 cs.LG stat.ML
Regularized geometric quantiles and universal linear distribution functionals
University of Cambridge（剑桥大学）；University of Angers（昂热大学）
本文提出正则化的几何分位数，以解决几何分位数在多变量设置中的数值不稳定性和样本性质问题，并展示其在概率测度分配中的应用。
2026-02-10 math.ST stat.TH
Regularized estimation of linear functionals of precision matrices for high-dimensional time series
本文研究了高维线性过程的线性泛函的Dantzig选择器型正则化估计。显式的收敛速度的估计得到，他们涵盖了广泛的制度，从独立同分布。样本到长距离相关的时间序列，以及从亚高斯创新到具有温和多项式矩的创新。它表明，收敛速度依赖于时间依赖的程度和潜在的线性过程的矩条件。将Dantzig-selector估计应用于稀疏Markowitz投资组合分配和时间序列的最优线性预测，并与Oracle估计进行了比较，证明了Dantzig-selector估计的比率一致性.在仿真研究中进一步说明了依赖和新息矩条件的影响。最后，正则化估计被应用于分类的认知状态在一个真实的fMRI数据集和投资组合优化的金融数据集。
2016-08-19 math.ST stat.TH
Asymptotic Confidence Sets for General Nonparametric Regression and Classification by Regularized Kernel Methods
正则化的核方法，例如，支持向量机和最小二乘支持向量回归构成了机器学习中一类重要的标准学习算法。近年来，关于渐近性质的理论研究主要集中在收敛速度上，而关于统计推断的结果却很少且有限。由于这是一个严重的限制，他们在数理统计中的使用，本文的目标是填补这一空白。基于这些方法的渐近正态性，本文导出了极限正态分布的未知协方差阵的强相合估计量。通过这种方式，我们获得了渐近正确的置信集$ψ(f_{P,λ_0})$其中$f_{P,λ_0}$表示再生核Hilbert空间$H$中正则化风险的最小值，并且$ψ:H\rightarrow\mathds{R}^m$是任何Hadamard可微泛函。应用包括$f_{P,λ_0}$值的（多变量）逐点置信集和梯度、积分和范数的置信集。
2012-03-20 stat.ML
Asymptotic linear expansion of regularized M-estimators
参数化高维回归分析需要使用正则化项来得到可解释的模型。相应的估计可以被视为正则化的M-泛函，这自然是高度非线性的。我们研究了在什么条件下这些M-泛函是紧可微的，使得相应的估计允许渐近线性展开。在一步构造中，对于适当一致的起始估计量，该线性化通过评估给定数据点处的相应影响曲线来代替求解最优化问题。我们展示了在哪些条件下渐近线性展开是有效的，并提供了适合这个框架的机器学习算法的具体例子。
2019-09-02 math.ST stat.TH
The delta method for analytic functions of random operators with application to functional data
本文给出了正则化函数典型相关估计和总体变量估计的渐近分布。该方法是基于表达这些正则化量的最大本征值和相应的本征函数的相关对正则化算子的可能性，类似于欧几里德的情况。已知的样本协方差算子的弱收敛性，再加上协方差算子的解析函数的δ-方法，得到了相关算子对的弱收敛性。从后者的弱收敛性出发，借助于进一步的扰动理论，可以导出所关心的正则量的极限分布。
2007-11-28 math.ST stat.TH
On regularized polynomial functional regression
University of Genoa（热那亚大学）；Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences（奥地利科学院约翰·拉东计算与应用数学研究所）
针对多项式函数回归，本文建立涵盖光滑性、容量与正则化条件的新型有限样本界，推广线性函数回归结果，并用数值实验证明高阶多项式项可提升性能。
2024-05-07 cs.LG cs.NA math.NA
Functional linear regression via canonical analysis
研究了相依变量和自变量均为平方可积随机过程的回归模型。讨论了相应的泛函线性回归模型的定义、存在性和一些基本性质。我们推导出一个表示的回归参数函数的典型组件所涉及的过程。这种表示法建立了函数回归和函数典范分析之间的联系，并提出了实现函数线性回归分析的替代方法。一个具体的程序，估计的回归参数函数，使用典型的扩展提出了一个既定的功能主成分回归方法相比。作为一个应用程序的例子，我们提出了一个队列的地中海果蝇，在实验研究中获得的老化和长寿的死亡率数据分析。
2011-02-25 math.ST stat.TH
Functional partial canonical correlation
对某些希尔伯特空间指标随机过程的典型相关和偏典型相关进行了严格的推导。该公式依赖于二阶$\mathcal{H}$ -值过程和从过程协方差算子导出的特定Hilbert函数空间之间的关键同余映射。主要结果是通过应用的方法，从代数直和闭子空间的正交直和。
2015-06-01 math.ST stat.TH
On the Non-Asymptotic Properties of Regularized M-estimators
我们提出了一个一般的框架，正则化的M-估计问题下的不定常（绝对正则混合）的数据，其中包括许多现有的估计。我们推导出正则化M-估计量的非渐近浓度界。我们的研究结果表现出方差偏置权衡，方差项由一个新的参数集的复杂性的措施。我们还表明，混合结构的影响方差项的缩放观测的数量，根据混合系数的衰减率，这种缩放甚至可以影响渐近行为。最后，我们提出了一个数据驱动的方法来选择调整参数的正则化估计产生相同的（常数）浓度范围的最佳平衡（平方）的偏差和方差项。我们用几个典型的例子说明了结果。
2016-10-21 econ.EM math.ST stat.TH
Regularised Canonical Correlation Analysis: graphical lasso, biplots and beyond
针对现有正则化CCA结构假设难验证、生物数据适配性差等问题，本文提出基于Graphical Lasso的新型CCA估计器，并配套EDA场景下的模型评估解释框架，经实验验证性能优异。
2025-11-16 math.ST stat.AP stat.ME
Robust smoothed canonical correlation analysis for functional data
利用稳健结合测度和尺度测度，结合基展开和/或惩罚函数作为正则化工具，给出了Hilbert可分空间上随机元的第一典型相关和方向的稳健估计.在正则性条件下，所得的估计是相容的。
2020-11-20 math.ST stat.ME stat.TH
De-Biased Machine Learning of Global and Local Parameters Using Regularized Riesz Representers
我们提供了自适应推理方法，$\ell_1$正则化的基础上，定期（半参数）和非定期（非参数）的线性泛函的条件期望函数。正则泛函的例子包括平均处理效应、政策效应和导数。非正则泛函的例子包括平均处理效应、政策效应和以固定在某点的协变量子向量为条件的导数。我们构建了一个奈曼正交方程的目标参数，是近似不变的滋扰参数的小扰动。为了实现这一属性，我们包括Riesz代表功能作为一个额外的滋扰参数。我们的分析产生了弱的“双稀疏鲁棒性”：回归的近似或代表者的近似可以是“完全稠密的”，只要另一个足够“稀疏”。我们的主要结果是非渐近的，并意味着在大类模型的渐近一致有效性，转化为诚实的信心带的全球和当地的参数。
2022-10-21 econ.EM math.ST stat.ML
Regularized Spectral Clustering under the Degree-Corrected Stochastic Blockmodel
UW-Madison（威斯康星大学麦迪逊分校）
谱聚类是一种快速而流行的网络聚类算法。最近，Chaudhuri等人（2012）和Amini等人（2013）在2014年发表了关于生物多样性的论文。（2012）提出了算法的灵感变化，人为地增加节点度以提高统计性能。目前的文件扩展了以前的统计估计结果，更规范的谱聚类算法的方式，删除任何假设的最小程度，并提供指导的调谐参数的选择。此外，我们的研究结果表明，“星形”的特征向量-经验网络的一个共同特征-可以解释度校正随机块模型和扩展种植分区模型，两个统计模型，允许高度异构度。在整个过程中，本文的特点和理由的谱聚类算法的变化，这些模型。
2013-09-16 cs.LG math.ST stat.ML
Asymmetric canonical correlation analysis of Riemannian and high-dimensional data
University of Washington（华盛顿大学）
本文提出了一种非对称广义相关分析方法，用于分析黎曼值函数数据与高维数据之间的依赖关系，揭示了动态功能连接与生活方式等指标之间的独特时间非平稳协变模式。
2026-01-17 math.ST stat.AP stat.ME
