Inverse regression for longitudinal data
切片逆回归(段和李[安。统计。19(1991)505-530],Li [J. Amer. Statistist. Assoc.86(1991)316-342])是用于具有多变量协变量的回归模型的吸引人的降维方法。Ferré和Yao [Statistics 37(2003)475-488,Statist. Sinica 15(2005)665-683]和Hsing和Ren [Ann. Statist. 37(2009)726-755]到函数协变量,其中完全观察到随机函数协变量的整个轨迹。本文的重点是发展间断和稀疏测量的纵向协变量的切片逆回归。我们开发的新程序的渐近理论,并表明,在一定的规律性条件下,估计的方向达到最佳的收敛速率。仿真研究和数据分析也证明了我们的方法的性能。
2015-10-23 math.ST stat.TH
Dimension reduction in spatial regression with kernel SAVE method
我们考虑平滑版本的切片平均方差估计(SAVE)降维方法处理空间相关的数据,是一个强混合随机场场的意见。我们提出了兴趣矩阵和有效降维(EDR)空间的核估计,并证明了它们的一致性。
2019-09-22 math.ST stat.TH
On the asymptotic behavior of the Nadaraya-Watson estimator associated with the recursive SIR method
研究了半参数回归模型中回归函数的Nadaraya-Watson估计的渐近性质。一方面,我们利用递归形式的切片逆回归方法来估计模型的未知参数。另一方面,我们实现了一个递归的Nadaraya-Watson过程的估计的回归函数,考虑到以前的估计的半参数回归模型的参数。我们建立了Nadaraya-Watson估计量的几乎必然收敛和渐近正态性。我们还说明了我们的半参数估计程序模拟数据。
2012-02-24 math.ST stat.TH
Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说,在实践中最快的程序之一是迭代硬控制(IHT)。然而,IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计,支持恢复和优化之间的相互作用,我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是,它是完全自适应的,使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比,例如,经典算法的套索。此外,我们建立了尖锐的最优结果的估计和支持恢复。因此,我们提出了一种新的迭代硬阈值算法的高维线性回归,是规模的最小最大最优(实现的预言,知道稀疏模式的估计误差,如果可能的话),快速和自适应。
2020-08-27 math.ST stat.TH
Optimality regions for designs in multiple linear regression models with correlated random coefficients
本文研究了具有相关效应的单响应线性回归模型的最优设计。我们引入菱形设计的概念,以减少计算复杂性,并找到一个半代数描述的D-最优性的菱形设计通过Kiefer-Wolfowitz等价定理。随后,我们表明,最佳菱形设计的结构直接取决于随机系数的相关结构。
2019-11-13 math.ST stat.ME stat.TH
Optimal quantization applied to Sliced Inverse Regression
在本文中,我们考虑一个半参数回归模型,涉及$d$维的定量解释变量$X$,并包括一个降维的$X$通过一个指标$β'X$。在该模型中,主要目标是估计欧几里德参数$β$并有条件地预测真实响应变量$Y$到$X$。我们的方法是基于切片逆回归(SIR)方法和最佳量化$\mathbf{L}^p$ -范数。我们得到了$β$和条件分布的估计的收敛性。模拟研究表明,所提出的估计有限样本量的良好的数值行为。
2011-01-12 math.ST stat.TH
A Note on Sliced Inverse Regression with Regularizations
在“Li,L.和Yin,X.(2008年)。正则化切片逆回归。Biometrics,64(1):124- 131”引入岭SIR估计器作为最小化问题的解决方案,并通过交替最小二乘算法进行计算。这种方法在实践中表现良好。在本文中,我们重点讨论了估计量的理论性质。它表明,最小化问题是退化的意义上说,只有两种情况可能发生:要么岭SIR估计不存在或它是零。
2011-04-01 math.ST stat.TH
Adaptive Kernel Ridge Regression with Linear Structure: Sharp Oracle Inequalities and Minimax Optimality
University of Toronto(多伦多大学)
本文提出一种改进的岭回归方法,通过引入显式线性成分提升模型性能,理论证明其在一般核函数下达到最小最大最优预测风险。
2026-05-12 math.ST stat.TH
Sliced Inverse Regression in Metric Spaces
在这篇文章中,我们提出了一个一般的非线性充分降维(SDR)框架,当预测和响应都位于一些一般的度量空间。我们构造了再生核希尔伯特空间,其核完全由度量空间的距离函数决定,然后利用这些空间的内在结构定义了一个非线性SDR框架.我们适应经典的切片逆回归\citet{Li:1991}在这个框架内的度量空间的数据。我们基于相应的线性算子建立了估计器,并证明了它无偏地恢复了回归信息。我们推导了算子水平和坐标系下的估计量,并建立了它的收敛速度。我们说明了所提出的方法与合成和真实的数据集表现出非欧几里德几何。
2022-06-23 math.ST stat.TH
Gaussian Regularized Sliced Inverse Regression
切片逆回归(SIR)是高维回归问题降维的一种有效方法。然而,原始方法需要反演预测因子的协方差阵。如果这些预测因子之间存在共线性或与维度相比样本量较小,则无法进行反演,必须使用正则化技术。我们的方法是基于R. D.库克在那里,它表明,SIR轴可以解释为逆回归问题的解决方案。本文对逆回归问题的未知参数引入高斯先验分布,以正则化其估计。我们表明,一些现有的SIR正则化可以进入我们的框架,这使得全球了解这些方法。提出了三个新的先验导致新的正则化的SIR方法。提供了模拟数据的比较。
2011-03-31 math.ST stat.TH
Online jump and kink detection in segmented linear regression: Statistical optimality meets computational efficiency
Institute for Mathematical Stochastics, University of Göttingen(哥廷根大学数学随机学研究所);Cluster of Excellence “Multiscale Bioimaging: from Molecular Machines to Networks of Excitable Cells” (MBExC), University of Göttingen(哥廷根大学“多尺度生物成像:从分子机器到兴奋细胞网络”卓越集群)
本文研究了在线估计分段线性回归模型中单个变化点的问题,展示了CUSUM型统计量在定位变化点时的最优率,并提出了一种在线算法以区分跳跃和拐点,具有常数计算复杂度和内存需求。
2025-08-22 math.ST stat.TH
Liouville PDE-based sliced-Wasserstein flow
Department of Mathematics(数学系);Morgan State University(摩根州立大学)
本文将切片Wasserstein流转化为基于Liouville偏微分方程的形式,通过改进密度估计和Wasserstein barycenter计算,提升了训练和测试性能,并在公平回归中展示了改进公平性的优势。
2026-05-09 cs.LG math.PR math.ST
Online Kernel Sliced Inverse Regression
在线降维是高维流数据处理的常用方法。在线主成分分析、在线切片逆回归、在线核主成分分析等方法已经得到了深入的研究,但据我们所知,在线监督的非线性降维方法还没有得到充分的研究。本文提出了一种在线核切片逆回归方法。通过引入近似线性相关条件和字典变量集,解决了在线核切片逆回归方法中变量维数随样本量增加而增加的问题,提出了一种在线更新变量的降阶方法.然后,我们将问题转化为一个在线广义特征分解问题,并使用随机最优化方法来更新的中心降维方向。仿真和实际数据分析表明,该方法可以获得接近批处理核切片逆回归的性能。
2023-01-23 math.ST stat.CO stat.ML
Sliced Inverse Moment Regression Using Weighted Chi-Squared Tests for Dimension Reduction
本文提出了一种利用前两个逆矩进行回归降维的新方法。我们开发相应的加权卡方检验的回归维度。该方法考虑了切片逆回归(SIR)的线性组合,并使用一个新的候选矩阵,该矩阵被设计为恢复整个逆二阶矩子空间的方法。可以基于从维度检验导出的p值来选择最佳组合。理论上,该方法以及切片平均方差估计(SAVE)比SIR和主Hessian方向(pHd)更能够恢复完整的中心降维子空间。因此,它可以在理论水平上替代SIR、pHd、SAVE或它们的任何线性组合。仿真研究表明,所提出的方法可以有一致的更大的功率比SIR,pHd,和SAVE。
2013-08-24 math.ST stat.ME stat.TH
Optimality of Maximum Likelihood for Log-Concave Density Estimation and Bounded Convex Regression
Massachusetts Institute of Technology(麻省理工学院)
本文研究了两个问题:(1)$d$维对数凹分布的估计和(2)随机设计下的有界多元凸回归问题,其中随机设计下的密度为对数凹或密度为连续的紧支撑分布。首先,我们表明,对于所有的$d \ge 4$的最大似然估计的两个问题实现了最佳的风险$Θ_d(n^{-2/(d+1)})$(对数因子)的平方Hellinger距离和$L_2$平方距离,分别。以前,这两个估计量的最优性仅为$d\le 3$所知。我们还证明了上述两个家庭的$ε$ -熵数是相等的对数因子。我们补充这些结果证明了一个尖锐的界限$Θ_d(n^{-2/(d+4)})$的极大极小率(对数因子)相对于总的变化距离。最后,我们证明,估计对数凹密度-甚至均匀分布的凸集-到一个固定的精度需要样本数\emph{at least}指数的尺寸。我们通过将极小极大率的最佳已知下限中的维数常数从$2^{-d}\cdot n^{-2/(d+1)}$改进为$c\cdot n^{-2/(d+1)}$(当$d\geq 2$时)来实现。
2020-02-20 cs.LG math.ST stat.TH
Sub-optimality of the Naive Mean Field approximation for proportional high-dimensional Linear Regression
本文针对高维线性回归中朴素平均场近似的次优性,推导其渐近特征,证明其在对数归一化常数上的不准确及不确定性量化的过度自信,并首次将高斯比较不等式用于贝叶斯变分推断分析。
2023-10-15 math.ST stat.TH
Nonparametric kernel estimation of the probability density function of regression errors using estimated residuals
本文讨论了回归误差项与协变量无关的非参数密度估计。研究了利用估计残差的可行估计量与利用真残差的不可行估计量之间的差异。给出了用于估计残差的带宽的最佳选择。我们还研究了可行核估计的渐近正态性及其速率最优性。
2010-10-03 math.ST stat.TH
Meta Optimality for Demographic Parity Constrained Regression via Post-Processing
University of Tsukuba(筑波大学);RIKEN AIP(日本理化学研究所人工智能项目)
针对人口统计奇偶约束下的回归问题,提出可验证公平极小极大最优回归算法的元定理,并证明该最优回归可通过后处理实现,便于传统回归技术适配公平场景。
2025-06-16 cs.LG stat.ML
Pointwise adaptive estimation for robust and quantile regression
本文提出了一种用于稳健回归估计和分位数回归的非参数方法,它完全是数据驱动的,并且局部适应于回归函数的正则性。这是通过考虑在每个点的M-估计在不同的局部邻域和局部模型选择过程的基础上序贯检验。得到了非渐近风险界,在较弱的条件下得到了大样本渐近率最优性。不同的单变量中位数回归模型的模拟显示出良好的有限样本性质,也比较传统的方法。该方法被扩展到图像去噪,并应用于癌症研究中的CT扫描。
2009-04-03 math.ST stat.TH
Estimation and inference for minimizer and minimum of convex functions: optimality, adaptivity and uncertainty principles
该研究在非渐近局部极小极大框架下探究凸回归函数极小点与极小值的估计推断,提出自适应高效算法并给出下界,还建立了二者同时估计的不确定性原理。
2024-03-10 math.ST stat.ME stat.TH
Optimal Subsampling Algorithms for Big Data Regressions
为了快速逼近海量数据下的极大似然估计,本文研究了广义线性模型在A-最优准则下的最优子抽样方法。建立了一般抽样算法估计的相合性和渐近正态性,并在A-和L-最优性准则下导出了最优抽样概率。利用Frobenius范数矩阵集中不等式,得到了基于最优子采样概率的子样本估计量的有限样本性质。由于最佳子采样概率依赖于全数据估计,自适应两步算法的发展。建立了自适应算法估计量的渐近正态性和最优性。所提出的方法进行了说明和评估,通过模拟和真实数据集的数值实验。
2019-06-26 math.ST stat.CO stat.ME
On consistency and sparsity for sliced inverse regression in high dimensions
我们在这里提供了一个框架来分析切片逆回归(SIR),监督降维技术介绍了\cite{Li:1991}的相变现象。在较弱的条件下,渐近比$ρ= \lim p/n$是相变参数,SIR估计是相容的当且仅当$ρ= 0$ .当维数$p$大于$n$时,提出了一种对角阈值筛选SIR(DT-SIR)算法。该方法为我们提供了条件期望$var(\mathbf{E}[\boldsymbol{x}|y])$的协方差阵的特征空间的估计。然后通过将协方差阵的逆乘以特征空间来获得期望的降维空间。在对预测变量的协方差阵和方向载荷的稀疏性假设下,证明了DT-SIR在高维数据分析中估计降维空间的一致性。大量的数值实验表明,所提出的方法相比,其竞争对手的优越性能。
2016-11-21 math.ST stat.TH
Functional linear regression from sparse to dense designs: a pooling-ridge method and minimax optimality
Tsinghua University(清华大学);Peking University(北京大学)
针对离散观测数据的函数线性回归最优估计难题,提出池化-岭方法,实现从稀疏到密集设计下两类回归模型的极小极大最优性,经模拟与实际数据验证。
2026-08-27 cs.LG math.ST stat.ME
A $p$-step-ahead sequential adaptive algorithm for D-optimal nonlinear regression design
本文提出一种每阶段添加p个设计点的序贯自适应算法,用于非线性回归模型的D-最优设计,并证明在饱和可识别性条件和广义线性模型下估计量具有强一致性与渐近正态性,从而保证设计序列的渐近D-最优性。
2023-07-05 math.ST stat.TH
Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm
Iowa State University(爱荷华州立大学);Rutgers University(罗格斯大学);The University of Hong Kong(香港大学)
本文研究充分降维中的隐私保护问题,提出达到极小极大下界(相差对数因子)的差分隐私切片逆回归算法,并通过模拟和真实数据验证其有效性,同时将结果推广至差分隐私稀疏主成分分析。
2025-04-05 cs.CR cs.LG math.ST
Sparse Sliced Inverse Regression Via Lasso
对于多指标模型,最近的研究表明,当且仅当$ρ=\lim\frac{p}{n}=0$,其中$p$是维数,$n$是样本量,切片逆回归(SIR)对于估计充分降维(SDR)空间是一致的.因此,当$p$具有与$n$相同或更高阶时,必须施加诸如稀疏性的附加假设,以便确保SIR的一致性。通过构造由估计的条件协方差阵的顶部特征向量组成的人工响应变量,我们引入了一个简单的Lasso回归方法来获得SDR空间的估计。由此产生的算法,Lasso-SIR,被证明是一致的,并在一定的稀疏条件下达到最佳的收敛速度时,$p$是为了$o(n^2λ^2)$,其中$λ$是广义信噪比。我们还证明了优越的性能Lasso-SIR与现有的方法相比,通过广泛的数值研究和几个实际数据的例子。
2018-06-17 math.ST stat.ME stat.TH
Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression
University of Science and Technology of China(中国科学技术大学);Quzhou University(衢州学院)
联邦学习已经成为当今大数据时代的流行工具。它基于来自不同客户端的数据训练集中式模型,同时保持数据分散。本文首次提出了一种联邦稀疏切片逆回归算法。我们的方法可以同时估计中央降维子空间,并在联邦设置进行变量选择。通过安全、无损地构造协方差阵,将联合高维稀疏切片逆回归问题转化为凸优化问题。然后,我们使用一个线性化的交替方向方法的乘子算法估计的中心子空间。给出了确定中心子空间维数和算法超参数的贝叶斯信息准则和保持验证方法。我们建立了一个上界的统计误差率的估计下的异质设置。我们证明了我们的方法的有效性,通过模拟和现实世界中的应用。
2023-01-23 cs.LG math.ST stat.ML
Nonparametric Bandits with Single-Index Rewards: Optimality and Adaptivity
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一种单指数带隙算法,通过非参数方法克服维度诅咒,实现最小最大最优后悔并自动适应未知光滑性。
2026-11-06 math.ST stat.TH
Statistical optimality conditions for compressive ensembles
我们提出了一个框架,用于对高维数据的独立随机压缩训练的低复杂性经验风险最小化器的集合进行理论分析。首先,我们引入了一个一般的分布依赖的上限的超额风险,在一个自然的概念的压缩性。这个界限与原始数据表示的维度无关,并且解释了压缩方法的内置正则化效果。然后,我们实例化这个一般绑定到分类和回归任务,考虑约翰逊-林登施特劳斯映射作为压缩方案。对于这些任务中的每一个,我们的策略是开发一个紧密的压缩函数的上限,并通过这样做,我们发现的几何性质的分布条件下,压缩算法达到最小最大最优速率最多的多对数因子。在压缩分类的情况下,这是实现了一个温和的几何边缘条件以及灵活的时刻条件,这是显着更一般的假设有界域。在强凸光滑损失函数回归的情况下,我们发现,压缩回归能够利用光谱衰减与近最佳的保证。此外,我们的中心上限的一个关键因素是一个高概率的统一的上限依赖的经验过程,这可能是独立的利益的综合偏差。
2021-06-02 cs.LG math.ST stat.TH
D-optimal designs for the Mitscherlich non-linear regression function
Mitscherlich函数是一种众所周知的三参数非线性回归函数,其量化了刺激或时间变量与响应之间的关系。此函数的最优设计仅针对具有同方差的正态分布响应构建。本文对分布函数为指数族的离散和连续响应构造了D最优设计。我们还证明了与加权线性回归的D-最优性的连接。
2021-04-04 math.ST stat.AP stat.TH
Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality
本文考虑在迁移学习的环境下,使用来自目标模型的样本以及来自不同但可能相关的回归模型的辅助样本,对高维线性回归进行估计和预测。当已知一组“信息”辅助样本时,提出了一个估计器和一个预测器,并建立了它们的最优性。预测和估计的最优收敛速度比不使用辅助样本的相应速度快。这意味着可以转移来自信息丰富的辅助样本的知识,以提高目标问题的学习性能。在信息辅助样本集未知的情况下,我们提出了一种数据驱动的迁移学习过程,称为Trans-Lasso,并揭示了其对非信息辅助样本的鲁棒性和知识迁移的效率。所提出的程序被证明在数值研究中,并适用于一个数据集的基因表达之间的关联。结果表明,trans-Lasso通过将来自多个不同组织的数据作为辅助样本,提高了靶组织中基因表达预测的性能。
2020-06-18 stat.ME stat.ML
On the Structural Dimension of Sliced Inverse Regression
本研究通过证明高斯过程链接函数下SIR的第d个特征值随d指数衰减,以及低信号场景下中心空间估计的极小极大风险下界,解释了结构维度d>4时SIR降维效果差的长期难题。
2024-07-12 math.ST stat.TH
Confidence intervals for nonparametric regression
我们证明和讨论的概率非渐近界的成本与一般损失函数的回归计划从Rademacher理论的角度来看,和最优相对于平均$L^{2}$ -距离的基本条件期望的最小二乘回归结果从Vapnik-Chervonenkis理论的角度。结果如下分析涉及独立的,但可能是非平稳的训练样本,并可以扩展,在某种程度上,我们解释和说明,相关的情况下,训练样本表现出依赖性。
2022-03-20 math.PR math.ST stat.ML
Personalizing black-box models for nonparametric regression with minimax optimality
Tsinghua University(清华大学);Rutgers University(罗格斯大学)
本文提出了一种在非参数回归中实现黑盒模型个性化的方法,通过理论分析和实验验证,证明了其在样本稀缺情况下的最优性能和鲁棒性。
2026-01-04 stat.ME stat.ML
Functional Slicing-free Inverse Regression via Martingale Difference Divergence Operator
提出无切片函数型逆回归(FSFIR),基于鞅差散度算子估计中心子空间,免去切片数选择,并给出收敛速率,模拟验证其高效便捷。
2023-10-17 math.ST stat.TH
Statistical Inference and Large-scale Multiple Testing for High-dimensional Regression Models
本文对高维回归模型(包括线性和逻辑斯谛回归)的统计推断和多重检验的最新发展进行了选择性的综述。我们检查的置信区间和假设检验的各种低维目标,如回归系数和线性和二次泛函的建设。其关键技术是为目标低维目标生成去偏和去parasized估计器,并估计其不确定性。除了涵盖这些统计方法背后的动机和直觉之外,我们还讨论了它们在高维推理背景下的最优性和自适应性。此外,我们还回顾了基于多元回归模型的统计推断的最新发展和高维回归的大规模多重检验的进展。R包SIHR已经实现了本文讨论的一些高维推理方法。
2023-01-25 math.ST stat.ME stat.TH
Minimum Area Confidence Set Optimality for Simultaneous Confidence Bands for Percentiles in Linear Regression
本文提出最小面积置信集(MACS)准则用于比较和构建线性回归中百分位的同时置信带,发现非对称SCBs在面积上显著优于对称SCBs,并提出高效计算临界常数的方法。
2023-09-13 stat.ME
Optimal subsampling for functional quantile regression
子采样是处理海量数据的有效方法。本文研究了协变量为函数时线性分位数回归的最优子抽样问题。本文首先导出了子抽样估计量的渐近分布。然后,我们得到了基于A-最优性准则的最优子采样概率。在此基础上,提出了不需要估计响应变量密度的改进子抽样概率,该方法更易于实现。对模拟数据和真实数据的数值实验表明,该方法的性能优于均匀采样方法,并且能够以较少的计算量很好地逼近基于完整数据的结果。
2022-05-05 cs.NA math.NA math.ST
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon(亚马逊);University of Oxford(牛津大学);University of Pennsylvania(宾夕法尼亚大学);Oxford University(牛津大学)
从数据中学习的方法取决于各种类型的调优参数,例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数,重要的是要比较类的估计,通过考虑规定的有限组的调整参数,而不仅仅是特别调整的方法。在这项工作中,我们调查类的方法通过类中最好的方法的相对性能。我们认为,线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法,梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计,当经验数据协方差阵的特征值衰减缓慢时,常数步长梯度下降优于岭回归,呈指数小于1的幂律。相反,如果特征值衰减迅速,作为幂律指数大于单位或指数,我们表明,岭回归优于梯度下降。(2)对于正交设计,我们计算精确的最小最大最优估计类(实现最小-最大-最小最优性),表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调,统计性能可以强烈依赖于调整参数。特别是,虽然最佳调整岭回归是我们设置中的最佳估计器,但当两种方法都只在200多个正则化参数上进行调整时,它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
Optimal subsampling for functional composite quantile regression in massive data
针对海量函数型数据计算受限问题,本文提出基于函数L-最优性准则的复合分位数回归最优子抽样方法,并证明其优于均匀子抽样。
2024-06-28 stat.ME
Deep Barycentric Regression for Optimal Transport Map Estimation and Its Statistical Optimality
KAIST AI(韩国科学技术院人工智能学院);UNIST(蔚山科学技术院);Seoul National University(首尔大学)
本文提出BROT方法,通过两步(先计算OT计划,再用DNN回归重心目标)估计最优传输映射,在Lipschitz条件下达到极小极大最优速率,并在合成数据、图像及下游任务中验证了准确性和有效性。
2026-11-06 cs.AI cs.LG stat.ML
Adversarial learning for nonparametric regression: Minimax rate and adaptive estimation
Yau Mathematical Sciences Center, Tsinghua University(清华大学应用数学科学中心)
本文在非参数回归框架下研究未来X攻击的对抗学习统计最优性,建立了对抗L_q风险下的极小极大收敛速率,提出达到该速率的分段局部多项式估计量,并构造了在广泛非参数与对抗类上近乎最优的数据驱动自适应估计量。
2025-06-02 cs.LG math.ST stat.ME
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo(东京大学);OMRON SINIC X(欧姆龙 SINIC X 研究院);DeepMind(深度思维);Google Research(谷歌研究院);Peking University(北京大学);Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);University of Alberta(阿尔伯塔大学)
针对线性MDP中MDVI算法缺乏理论保证的问题,提出方差加权最小二乘MDVI(VWLS-MDVI)达到极小极大最优样本复杂度,并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Contour projected dimension reduction
在回归分析中,我们利用轮廓投影(CP)发展了一种新的降维约化理论。相应地,我们引入了中心轮廓子空间和广义轮廓子空间的概念。我们证明了它们的结构维数都不大于中心子空间Cook的结构维数[Regression Graphics(1998 b)Wiley]。此外,我们使用CP切片逆回归,CP切片平均方差估计和CP方向回归估计广义轮廓子空间,我们随后得到它们的理论性质。Monte Carlo研究表明,当预测变量具有重尾椭圆分布时,三种基于CP的降维方法优于相应的非CP方法。一个经验的例子也说明了CP方法的实用性。
2009-11-18 math.ST stat.TH
Contour regression: A general approach to dimension reduction
我们提出了一种新的方法,充分降维回归,估计响应中的小变化的轮廓方向的基础上。这些方向跨越与回归相关的最小空间的正交补,并且可以根据响应中的变化的两个度量来提取,从而导致简单和一般的轮廓回归(SCR和GCR)方法。与现有的足够的降维技术相比,这种基于轮廓的方法保证了详尽的估计的中心子空间下的预测分布的椭圆率和温和的额外的假设,同时保持\sqrtn -一致性和计算方便。此外,它证明了强大的偏离椭圆。我们建立人口属性SCR和GCR,和SCR的渐近性质。模拟比较性能与标准的技术,如普通最小二乘法,切片逆回归,主Hessian方向和切片平均方差估计证实了预期的理论分析的优势。我们展示了使用轮廓为基础的方法对土壤蒸发的数据集。
2005-08-16 math.ST stat.TH
On the Minimax Optimality of the EM Algorithm for Learning Two-Component Mixed Linear Regression
University of Texas, Austin(德克萨斯大学奥斯汀分校)
研究了期望最大化算法在各种信噪比条件下学习二元混合线性回归的收敛速度。我们解决了一个长期存在的问题,许多最近的结果试图解决:我们完全表征EM的收敛行为,并表明,期望最大化算法实现最小最大最优样本复杂度下的所有SNR制度。特别地,当SNR足够大时,EM更新在$\mathcal{O}(\log(n/d))$迭代之后以标准参数收敛速率$\mathcal{O}((d/n)^{1/2})$收敛到真实参数$θ^{*}$。在SNR高于$\mathcal{O}((d/n)^{1/4})$且低于某个常数的情况下,当迭代次数为$\mathcal{O}({\rm SNR}^{-2} \log(n/d))$阶时,EM迭代收敛到真参数的$\mathcal{O}({\rm SNR}^{-1} (d/n)^{1/2})$邻域。在低信噪比制度的SNR低于$\mathcal{O}((d/n)^{1/4})$,我们表明,EM收敛到一个$\mathcal{O}((d/n)^{1/4})$附近的真实参数,经过$\mathcal{O}((n/d)^{1/2})$迭代。值得注意的是,这些结果是在随机初始化或有效可计算的局部初始化的温和条件下实现的。通过在中低SNR范围内提供期望最大化算法的紧密收敛保证,我们填补了文献中剩余的空白,并且显著地揭示了在低SNR下,EM改变速率,匹配MLE的$n^{-1/4}$速率,这是以前的工作…
2021-02-05 cs.LG stat.ML
Global optimization for low-dimensional switching linear regression and bounded-error estimation
Université de Lorraine(洛林大学);LORIA(洛林计算机及其应用研究实验室);CNRS(法国国家科学研究中心)
本文提供了两个特别困难的混合系统辨识的非凸问题的全局优化算法:切换线性回归和有界误差估计。虽然大多数作品集中在局部优化算法没有全局最优性保证或保证有效,只有在限制条件下,所提出的方法总是产生一个解决方案与证书的全局最优性。这种方法依赖于一个分支定界策略,我们设计的下限,可以有效地计算。为了获得可扩展的算法相对于数据的数量,我们直接优化模型参数在一个连续的优化设置,而不涉及整数变量。数值实验表明,所提出的算法提供了一个更高的精度比凸松弛与合理的计算负担的混合系统辨识。此外,我们讨论了有界误差估计是如何与鲁棒估计的存在下的离群值和稀疏噪声下的精确恢复,我们也得到了有前途的数值结果。
2017-11-23 cs.LG stat.ML
Sufficient Dimension Reduction for High-Dimensional Regression and Low-Dimensional Embedding: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的各种方法充分降维(SDR)。我们涵盖了这些方法与统计高维回归的角度和机器学习的降维方法。我们首先介绍逆回归方法,包括切片逆回归(SIR),切片平均方差估计(SAVE),轮廓回归,方向回归,主拟合分量(PFC),Likestive Acquired Direction(LAD)和图形回归。然后,我们介绍了前向回归方法,包括主Hessian方向(pHd),最小平均方差估计(MAVE),条件方差估计(CVE)和深度SDR方法。最后,我们解释了核降维(KDR)的监督和无监督学习。我们还证明了监督KDR和监督PCA是等价的。
2021-10-18 cs.LG math.ST stat.ME
Optimal subsampling algorithm for composite quantile regression with distributed data
对于存储在多台机器上的海量数据,我们提出了一种分布式子抽样的复合分位数回归方法。通过建立一般二次抽样算法下复合分位数回归估计的相合性和渐近正态性,得到了L-最优准则下的最优二次抽样概率和最优分配量.一个两步算法近似的最佳子采样过程的发展。通过模拟和真实数据集上的数值实验说明了所提出的方法。
2023-01-06 stat.CO
Slice Weighted Average Regression
以前已经表明,普通最小二乘法可以用来估计的单指数模型的系数,只有温和的条件下。然而,估计量是非稳健的,导致某些模型的估计较差。在本文中,我们提出了一个新的切片最小二乘估计,利用切片逆回归的想法。有问题的观察,有助于高变异性的估计切片可以很容易地降低权重,以鲁棒的过程。估计是简单的实现,并可以导致巨大的改进,一些模型相比,通常的最小二乘方法。虽然估计器最初是考虑到单指数模型的,但我们也表明可以获得多个方向,因此提供了使用最小二乘切片的另一个显着优势。包括几个模拟研究和一个真实的数据例子,以及与其他一些最近的方法的一些比较。
2022-09-10 math.ST stat.ME stat.TH
On the Asymptotic Optimality of Cross-Validation based Hyper-parameter Estimators for Regularized Least Squares Regression Problems
渐近最优性(a.o.)文献中研究了正则化最小二乘回归问题中各种超参数估计的最优性准则。估计器包括例如,最大(边际)似然方法、$C_p$统计和广义交叉验证方法,以及最优性准则基于例如,无效率、期望无效率和风险。本文考虑了参数个数固定的正则化最小二乘回归问题,基于风险选择了最优性准则,并研究了最优性准则的a. o。对几种基于交叉验证(CV)的超参数估计方法,包括留$k$ -out CV方法、广义CV方法、$r$ -fold CV方法和hold out CV方法进行了研究。我们发现前三种方法都是可行的。在温和的假设下,但不是最后一个,我们使用蒙特卡罗模拟来说明我们的研究结果的有效性。
2021-04-27 math.ST stat.TH
Multilayer Perceptron with Functional Inputs: an Inverse Regression Approach
随着越来越多的实际应用涉及函数数据,函数数据分析是一个不断发展的研究领域。在本文中,我们专注于回归和分类与功能预测的问题:建议的模型结合了一个有效的降维过程[功能切片逆回归,首先介绍了Ferré和姚(统计,37,2003年,475)],为此,我们给出了一个正则化的版本,与神经网络的准确性。给出了一些一致性结果,并成功地将该方法应用于实际数据。
2007-05-02 math.ST stat.TH
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中,我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界,可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的,也可以获得最佳的收敛速度。作为副产品,我们也得到了收敛速度的核岭回归与错误指定的核函数,其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的,这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Statistical Optimality of Interpolated Nearest Neighbor Algorithms
Purdue University(普渡大学)
在深度学习时代,理解过拟合现象变得越来越重要。据观察,精心设计的深度神经网络即使在训练误差接近于零的情况下也能实现小的测试误差。一种可能的解释是,对于许多现代机器学习算法,过拟合可以大大降低估计偏差,同时不会过多增加估计方差。为了说明上述思想,我们证明了建议的插值最近邻算法实现最小最大的最优率在回归和分类制度,并观察到他们是经验优于传统的$k$最近邻方法在某些情况下。
2018-11-30 cs.LG stat.ML