Sliced Inverse Regression in Metric Spaces
在这篇文章中,我们提出了一个一般的非线性充分降维(SDR)框架,当预测和响应都位于一些一般的度量空间。我们构造了再生核希尔伯特空间,其核完全由度量空间的距离函数决定,然后利用这些空间的内在结构定义了一个非线性SDR框架.我们适应经典的切片逆回归\citet{Li:1991}在这个框架内的度量空间的数据。我们基于相应的线性算子建立了估计器,并证明了它无偏地恢复了回归信息。我们推导了算子水平和坐标系下的估计量,并建立了它的收敛速度。我们说明了所提出的方法与合成和真实的数据集表现出非欧几里德几何。
2022-06-23 math.ST stat.TH
Gaussian Regularized Sliced Inverse Regression
切片逆回归(SIR)是高维回归问题降维的一种有效方法。然而,原始方法需要反演预测因子的协方差阵。如果这些预测因子之间存在共线性或与维度相比样本量较小,则无法进行反演,必须使用正则化技术。我们的方法是基于R. D.库克在那里,它表明,SIR轴可以解释为逆回归问题的解决方案。本文对逆回归问题的未知参数引入高斯先验分布,以正则化其估计。我们表明,一些现有的SIR正则化可以进入我们的框架,这使得全球了解这些方法。提出了三个新的先验导致新的正则化的SIR方法。提供了模拟数据的比较。
2011-03-31 math.ST stat.TH
Bayesian inverse regression for dimension reduction with small datasets
我们考虑监督的降维问题,即确定一个低维投影的预测$\-x$,可以保持$\-x$和响应变量$y$之间的统计关系。我们遵循切片逆回归(SIR)和切片平均方差估计(SAVE)类型方法的思想,即使用条件分布$π(\-x|y)$的统计信息来识别降维(DR)空间。特别是,我们专注于计算这个条件分布的任务,而不切片的数据。我们提出了一个贝叶斯框架来计算条件分布,其中似然函数是使用高斯过程回归模型获得的。条件分布$π(\-x|y)$然后可以通过蒙特卡罗采样直接计算。然后,我们可以通过考虑后验分布的样本的某些矩函数(例如,一阶矩或二阶矩)来执行DR。数值算例表明,该方法对小数据问题特别有效。
2019-10-29 stat.CO stat.ML
Online Kernel Sliced Inverse Regression
在线降维是高维流数据处理的常用方法。在线主成分分析、在线切片逆回归、在线核主成分分析等方法已经得到了深入的研究,但据我们所知,在线监督的非线性降维方法还没有得到充分的研究。本文提出了一种在线核切片逆回归方法。通过引入近似线性相关条件和字典变量集,解决了在线核切片逆回归方法中变量维数随样本量增加而增加的问题,提出了一种在线更新变量的降阶方法.然后,我们将问题转化为一个在线广义特征分解问题,并使用随机最优化方法来更新的中心降维方向。仿真和实际数据分析表明,该方法可以获得接近批处理核切片逆回归的性能。
2023-01-23 math.ST stat.CO stat.ML
Sliced Inverse Moment Regression Using Weighted Chi-Squared Tests for Dimension Reduction
本文提出了一种利用前两个逆矩进行回归降维的新方法。我们开发相应的加权卡方检验的回归维度。该方法考虑了切片逆回归(SIR)的线性组合,并使用一个新的候选矩阵,该矩阵被设计为恢复整个逆二阶矩子空间的方法。可以基于从维度检验导出的p值来选择最佳组合。理论上,该方法以及切片平均方差估计(SAVE)比SIR和主Hessian方向(pHd)更能够恢复完整的中心降维子空间。因此,它可以在理论水平上替代SIR、pHd、SAVE或它们的任何线性组合。仿真研究表明,所提出的方法可以有一致的更大的功率比SIR,pHd,和SAVE。
2013-08-24 math.ST stat.ME stat.TH
On the Optimality of Functional Sliced Inverse Regression
本文证明函数型切片逆回归在估计函数型充分降维中心空间时达极小极大最优速率,通过集中不等式、截断方案及模拟验证。
2025-04-15 math.ST stat.TH
Posterior Consistency for Bayesian Inverse Problems through Stability and Regression Results
在贝叶斯方法中,关于数学模型的输入的先验知识通过概率测度来描述。然后,使用贝叶斯公式对未知输入和数据的联合分布进行调节,得到未知输入的后验分布。在这种情况下,我们证明非线性反问题的后验一致性:一个序列的数据被认为是一个单一的真理与周围的波动减少,然后它是有趣的,以显示所产生的序列的后验措施所产生的这个序列的数据集中在用于生成数据的真理。后验一致性证明了贝叶斯方法的使用非常相同的方式,误差界和收敛结果的正则化技术。作为一个指导性的例子,我们考虑的逆问题重建的扩散系数从噪声观测的解决方案,椭圆型偏微分方程的散度型。这个问题是通过分裂成基础的连续模型和一个更简单的观察运营商的基础上的模型的输出的前向运营商。一般来说,这些分裂使我们能够得出结论后验一致性提供了一个确定性的稳定性结果的基础逆问题和后验一致性结果的贝叶斯回归问题与前推先验。此外,我们证明后验一致性的贝叶斯回归问题的基础上的规则性,尾部行为和小球概率的先验。
2013-07-16 math.ST stat.TH
A Statistical Perspective on Inverse and Inverse Regression Problems
广义逆问题的任务是从未知函数的噪声响应中学习,通常表示为已知函数形式的参数,在一般科学学科中受到广泛关注。然而,在主流统计学中,这种反问题范式似乎并不流行.在这篇文章中,我们提供了一个简短的概述,从统计,特别是贝叶斯的角度来看,这样的问题。我们还比较和对比上述类别的问题,也许更熟悉的统计逆回归问题,认为这类问题包含传统的一类逆问题。在我们的审查过程中,我们指出,统计文献是非常稀缺的逆范式,大量的研究工作仍然是必要的发展领域。
2017-07-21 math.ST stat.ME stat.TH
On consistency and sparsity for sliced inverse regression in high dimensions
我们在这里提供了一个框架来分析切片逆回归(SIR),监督降维技术介绍了\cite{Li:1991}的相变现象。在较弱的条件下,渐近比$ρ= \lim p/n$是相变参数,SIR估计是相容的当且仅当$ρ= 0$ .当维数$p$大于$n$时,提出了一种对角阈值筛选SIR(DT-SIR)算法。该方法为我们提供了条件期望$var(\mathbf{E}[\boldsymbol{x}|y])$的协方差阵的特征空间的估计。然后通过将协方差阵的逆乘以特征空间来获得期望的降维空间。在对预测变量的协方差阵和方向载荷的稀疏性假设下,证明了DT-SIR在高维数据分析中估计降维空间的一致性。大量的数值实验表明,所提出的方法相比,其竞争对手的优越性能。
2016-11-21 math.ST stat.TH
Sparse Sliced Inverse Regression Via Lasso
对于多指标模型,最近的研究表明,当且仅当$ρ=\lim\frac{p}{n}=0$,其中$p$是维数,$n$是样本量,切片逆回归(SIR)对于估计充分降维(SDR)空间是一致的.因此,当$p$具有与$n$相同或更高阶时,必须施加诸如稀疏性的附加假设,以便确保SIR的一致性。通过构造由估计的条件协方差阵的顶部特征向量组成的人工响应变量,我们引入了一个简单的Lasso回归方法来获得SDR空间的估计。由此产生的算法,Lasso-SIR,被证明是一致的,并在一定的稀疏条件下达到最佳的收敛速度时,$p$是为了$o(n^2λ^2)$,其中$λ$是广义信噪比。我们还证明了优越的性能Lasso-SIR与现有的方法相比,通过广泛的数值研究和几个实际数据的例子。
2018-06-17 math.ST stat.ME stat.TH
On the testing of multiple hypothesis in sliced inverse regression
针对单变量响应与p维预测变量的回归框架下的多重检验问题,提出基于切片逆回归的无模型MTA方法,可渐近控制错误发现率,检验功效优于现有方法。
2023-06-16 math.ST stat.ME stat.TH
A Bayesian Multiple Testing Paradigm for Model Selection in Inverse Regression Problems
在这篇文章中,我们提出了一种新的贝叶斯多重检验公式,用于逆向设置中的模型和变量选择,明智地将Bhattacharya(2013)提出的逆参考分布的思想嵌入到由竞争模型组成的混合框架中。我们开发的理论和方法,在一般情况下,包括参数和非参数竞争模型,相关数据,以及误指定。我们的研究表明,渐近多重检验程序几乎肯定会选择最好的逆模型,最大限度地减少最小的Kullback-Leibler发散从真实的模型。我们还表明,差错率,即版本的错误发现率和错误的非发现率几乎肯定收敛到零的样本量趋于无穷大。本文还研究了错误发现率版本的渐近α-控制及其对错误非发现率版本收敛的影响。我们的模拟实验涉及基于小样本的选择之间的逆泊松对数回归和逆几何logit和probit回归,其中回归是线性的或基于高斯过程。此外,还考虑变量选择。我们的多个测试结果证明是非常令人鼓舞的意义上选择最好的模型在所有的非错误指定和错误指定的情况下。
2020-07-15 math.ST stat.ME stat.TH
Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression
University of Science and Technology of China(中国科学技术大学);Quzhou University(衢州学院)
联邦学习已经成为当今大数据时代的流行工具。它基于来自不同客户端的数据训练集中式模型,同时保持数据分散。本文首次提出了一种联邦稀疏切片逆回归算法。我们的方法可以同时估计中央降维子空间,并在联邦设置进行变量选择。通过安全、无损地构造协方差阵,将联合高维稀疏切片逆回归问题转化为凸优化问题。然后,我们使用一个线性化的交替方向方法的乘子算法估计的中心子空间。给出了确定中心子空间维数和算法超参数的贝叶斯信息准则和保持验证方法。我们建立了一个上界的统计误差率的估计下的异质设置。我们证明了我们的方法的有效性,通过模拟和现实世界中的应用。
2023-01-23 cs.LG math.ST stat.ML
Bayesian Multiple Multivariate Density-Density Regression
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种贝叶斯多变量密度-密度回归方法,通过切片瓦瑟斯坦均值和距离实现对多变量密度响应的回归,并提供理论保证和高效推断方法。
2026-01-06 stat.CO stat.ME stat.ML
Convergence of Pseudo-Bayes Factors in Forward and Inverse Regression Problems
在关于模型比较的贝叶斯文献中,贝叶斯因子起着主导作用。在经典的统计文献中,模型选择标准通常是用交叉验证的思想设计的。Geisser和Eddy(1979)将贝叶斯因子和交叉验证的思想结合起来,创建了伪贝叶斯因子。交叉验证的使用灌输了几个理论上的优势,计算简单性和数值稳定性的贝叶斯因子的边缘密度的整个数据集被替换为产品的交叉验证密度的个别数据点。然而,伪贝叶斯因子的流行仍然是可以忽略不计的贝叶斯因子相比,在理论研究和实际应用。在这篇文章中,我们建立了几乎必然指数收敛的伪贝叶斯因子的大样本下的一般设置下的相依数据和模型误设定。我们特别关注一般参数和非参数回归设置在正向和反向的上下文中。我们用各种例子说明我们的理论结果,提供明确的计算。我们还补充了我们的渐近理论与模拟实验在小样本情况下的泊松对数回归和几何logit和probit回归,另外解决变量选择问题。我们考虑线性和非参数回归建模的高斯过程为我们的目的。我们的模拟结果提供了相当有趣的见解伪贝叶斯因子在正向和反向设置中的使用。
2020-06-10 math.ST stat.ME stat.TH
On the optimality of sliced inverse regression in high dimensions
一对随机变量$(y,x) \in \mathbb{R}^{p+1}$的中心子空间是极小子空间$\mathcal{S}$,使得$y \perp \hspace{-2mm} \perp x\mid P_{\mathcal{S}}x$。本文考虑了至多具有$s$活动预测的多指标模型$y=f(β_{1}^τx,β_{2}^τx,...,β_{d}^τx,ε)$中心空间的Minimax估计率,其中$x \sim N(0,I_{p})$ .我们首先介绍了一个大类的模型依赖于最小的非零特征值$var(\mathbb{E}[x|y])$ $λ$,在此基础上,我们表明,聚合估计的SIR过程的基础上收敛率$d\wedge((sd+s\log(ep/s))/(nλ))$。然后,我们表明,这一速度是最佳的两种情况下:单指数模型;和固定的中心尺寸$d$和固定的$λ$的多指数模型。通过假设一个技术猜想,我们可以证明这个速率对于中心空间维数有界的多指标模型也是最优的。我们相信,这些(有条件的)最优率的结果给我们带来了有意义的见解一般SDR问题的高维。
2017-01-24 math.ST stat.TH
On some information-theoretic aspects of non-linear statistical inverse problems
在无限维非线性高斯回归中,回顾了van der Vaart(1991)关于非零Fisher信息存在性的半参数统计结果。当且仅当回归映射的线性化的伴随满足一定的范围条件时,关于未知参数的信息理论上的最优推断是可能的。结果表明,这种范围条件可能会失败,在一个共同研究的椭圆型反问题的散度型方程,并在这种情况下,一个大类的光滑线性泛函的电导率参数不能有效地估计。特别是,高斯'伯恩斯坦冯米塞斯'型近似贝叶斯后验分布不持有在此设置。
2021-07-20 math.ST stat.TH
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归,其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的,并且是从数据中学习的,以及后验均值和协方差。我们在经验贝叶斯的框架下工作,其中使用数据计算超参数的点估计,然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析,(i)适用于任何要仿真的连续函数$f$;(ii)表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响,并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题,我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm
Iowa State University(爱荷华州立大学);Rutgers University(罗格斯大学);The University of Hong Kong(香港大学)
本文研究充分降维中的隐私保护问题,提出达到极小极大下界(相差对数因子)的差分隐私切片逆回归算法,并通过模拟和真实数据验证其有效性,同时将结果推广至差分隐私稀疏主成分分析。
2025-04-05 cs.CR cs.LG math.ST
Functional Slicing-free Inverse Regression via Martingale Difference Divergence Operator
提出无切片函数型逆回归(FSFIR),基于鞅差散度算子估计中心子空间,免去切片数选择,并给出收敛速率,模拟验证其高效便捷。
2023-10-17 math.ST stat.TH
On Sharpened Convergence Rate of Generalized Sliced Inverse Regression for Nonlinear Sufficient Dimension Reduction
研究广义切片逆回归(GSIR)收敛速度,在附加特征值衰减率和平滑条件下建立改进收敛速度,能接近\(n^{-1/3}\),优于之前的\(n^{-1/4}\),还可用于更一般设置。
2026-07-07 math.ST stat.ME stat.TH
Introduction To Gaussian Process Regression In Bayesian Inverse Problems, With New ResultsOn Experimental Design For Weighted Error Measures
现代应用中出现的贝叶斯后验分布,包括层析成像和地下水流中偏微分方程模型中的逆问题,由于评估数据可能性的计算成本很大,因此在计算上通常是棘手的。为了缓解这个问题,我们考虑使用高斯过程回归来建立一个代理模型的可能性,从而在近似的后验分布,是服从于实际计算。这项工作作为一个介绍高斯过程回归,特别是在建立代理模型的背景下,逆问题,并提出了新的见解到一个合适的选择训练点。我们发现,真实的和近似的后验分布之间的误差可以有界的真实和近似的可能性之间的误差,测量在$L^2$ -范数加权的真实后验,并有效地界定真实和近似的可能性之间的误差,在这个范数建议选择训练点的高斯过程代理模型的基础上的真实后验。
2023-02-09 cs.NA math.NA math.ST
Inverse regression for longitudinal data
切片逆回归(段和李[安。统计。19(1991)505-530],Li [J. Amer. Statistist. Assoc.86(1991)316-342])是用于具有多变量协变量的回归模型的吸引人的降维方法。Ferré和Yao [Statistics 37(2003)475-488,Statist. Sinica 15(2005)665-683]和Hsing和Ren [Ann. Statist. 37(2009)726-755]到函数协变量,其中完全观察到随机函数协变量的整个轨迹。本文的重点是发展间断和稀疏测量的纵向协变量的切片逆回归。我们开发的新程序的渐近理论,并表明,在一定的规律性条件下,估计的方向达到最佳的收敛速率。仿真研究和数据分析也证明了我们的方法的性能。
2015-10-23 math.ST stat.TH
Dimension reduction in spatial regression with kernel SAVE method
我们考虑平滑版本的切片平均方差估计(SAVE)降维方法处理空间相关的数据,是一个强混合随机场场的意见。我们提出了兴趣矩阵和有效降维(EDR)空间的核估计,并证明了它们的一致性。
2019-09-22 math.ST stat.TH
Bayesian Multivariate Density-Density Regression
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种基于切片Wasserstein距离和广义贝叶斯框架的可扩展多元密度-密度回归方法,利用MALA进行后验推断,并证明了后验一致性,在模拟和单细胞数据上展现出优于传统方法的预测性能。
2025-09-22 stat.AP stat.CO stat.ME
Flow Annealing Posterior Sampling for Function-Space Regression and Inverse Problems
California Institute of Technology(加州理工学院)
提出流退火后验采样(FAPS),首个统一随机过程回归与PDE逆问题的函数空间后验采样框架,利用预训练函数空间流匹配先验,通过低秩协方差预条件器的朗之万校正实现稀疏噪声观测下的似然引导后验推断。
2026-10-01 cs.AI cs.LG stat.ML
Contour projected dimension reduction
在回归分析中,我们利用轮廓投影(CP)发展了一种新的降维约化理论。相应地,我们引入了中心轮廓子空间和广义轮廓子空间的概念。我们证明了它们的结构维数都不大于中心子空间Cook的结构维数[Regression Graphics(1998 b)Wiley]。此外,我们使用CP切片逆回归,CP切片平均方差估计和CP方向回归估计广义轮廓子空间,我们随后得到它们的理论性质。Monte Carlo研究表明,当预测变量具有重尾椭圆分布时,三种基于CP的降维方法优于相应的非CP方法。一个经验的例子也说明了CP方法的实用性。
2009-11-18 math.ST stat.TH
Contour regression: A general approach to dimension reduction
我们提出了一种新的方法,充分降维回归,估计响应中的小变化的轮廓方向的基础上。这些方向跨越与回归相关的最小空间的正交补,并且可以根据响应中的变化的两个度量来提取,从而导致简单和一般的轮廓回归(SCR和GCR)方法。与现有的足够的降维技术相比,这种基于轮廓的方法保证了详尽的估计的中心子空间下的预测分布的椭圆率和温和的额外的假设,同时保持\sqrtn -一致性和计算方便。此外,它证明了强大的偏离椭圆。我们建立人口属性SCR和GCR,和SCR的渐近性质。模拟比较性能与标准的技术,如普通最小二乘法,切片逆回归,主Hessian方向和切片平均方差估计证实了预期的理论分析的优势。我们展示了使用轮廓为基础的方法对土壤蒸发的数据集。
2005-08-16 math.ST stat.TH
Asymptotics for sliced average variance estimation
本文系统地研究了切片平均方差估计(SAVE)的相合性。结果表明,当响应是连续的,SAVE的渐近行为是相当不同的切片逆回归(SIR)。SIR可以实现$\sqrt{n}$一致性,即使每个切片只包含两个数据点。然而,SAVE不能是$\sqrt{n}$一致的,甚至当每个切片包含不依赖于n的固定数量的数据点时,它也是不一致的,其中n是样本量。这些结果从理论上证实了SAVE比SIR对切片数更敏感的观点。考虑到这一点,建议进行偏倚校正,以使SAVE与$\sqrt{n}$一致。相反,当响应是离散的并且取有限值时,可以实现$\sqrt{n}$一致性。因此,通过离散化的近似,这是在实践中常用的,进行了研究。为了说明的目的进行了模拟研究。
2007-08-03 math.ST stat.TH
Verifiable Regularity Criterion for Conditional Expectation Operators and Conditional Mean Embeddings with Applications to Nonparametric Regression, Bayesian Inverse Problems, and Koopman Operators
Technische Universität Ilmenau(伊尔梅瑙工业大学);Freie Universität Berlin(柏林自由大学);Chemnitz University of Technology(开姆尼茨工业大学)
该研究提出了条件期望算子与条件均值嵌入的可验证正则性准则,验证其在三类场景下的适用性,为相关领域提供了统一分析框架。
2026-08-07 cs.LG cs.NA math.DS
Inverse Gaussian Process regression for likelihood-free inference
在这项工作中,我们考虑贝叶斯推断问题与棘手的似然函数。我们提出了一种方法来计算一个近似的后验与有限数量的模型模拟。该方法的特征在于逆高斯过程回归(IGPR),即,在该方法中,我们提供了一个自适应算法与回火过程来构造边缘后验分布的近似。通过算例,我们证明了IGPR与一些常用算法相比具有竞争力的性能,特别是在统计稳定性和计算效率方面,而付出的代价是它只能计算边缘后验的加权高斯近似。
2021-02-21 stat.CO stat.ME
Generalized Bayesian Clustering with Regression for Unaligned Longitudinal Binary Data
Texas A&M University(德克萨斯农工大学);University of Colorado Anschutz(科罗拉多大学安舒茨分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对未对齐纵向二元数据,提出带回归的广义贝叶斯聚类模型,结合轨迹相似性与回归损失,用切片沃尔什斯坦因距离实现无对齐比较,以狄利克雷过程定义聚类参数先验,解决单一生成模型的设定或效率问题。
2026-09-02 stat.AP stat.CO stat.ME
Sufficient Dimension Reduction for High-Dimensional Regression and Low-Dimensional Embedding: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的各种方法充分降维(SDR)。我们涵盖了这些方法与统计高维回归的角度和机器学习的降维方法。我们首先介绍逆回归方法,包括切片逆回归(SIR),切片平均方差估计(SAVE),轮廓回归,方向回归,主拟合分量(PFC),Likestive Acquired Direction(LAD)和图形回归。然后,我们介绍了前向回归方法,包括主Hessian方向(pHd),最小平均方差估计(MAVE),条件方差估计(CVE)和深度SDR方法。最后,我们解释了核降维(KDR)的监督和无监督学习。我们还证明了监督KDR和监督PCA是等价的。
2021-10-18 cs.LG math.ST stat.ME
Gaussian Process Regression for Inverse Problems in Linear PDEs
Georgetown University, Washington, D.C. 20057 USA(乔治城大学);Institute Industrial IT, OWL University of Applied Sciences(工业IT研究所,OWL应用科学与艺术大学)
本研究提出一种基于高斯过程的高效算法,结合交换代数与代数分析定义先验,借助Macaulay2实现,用于求解线性偏微分方程逆问题,在波动方程波速识别任务中兼顾高精度与计算效率。
2025-06-13 cs.LG math.AC stat.ML
Slice Weighted Average Regression
以前已经表明,普通最小二乘法可以用来估计的单指数模型的系数,只有温和的条件下。然而,估计量是非稳健的,导致某些模型的估计较差。在本文中,我们提出了一个新的切片最小二乘估计,利用切片逆回归的想法。有问题的观察,有助于高变异性的估计切片可以很容易地降低权重,以鲁棒的过程。估计是简单的实现,并可以导致巨大的改进,一些模型相比,通常的最小二乘方法。虽然估计器最初是考虑到单指数模型的,但我们也表明可以获得多个方向,因此提供了使用最小二乘切片的另一个显着优势。包括几个模拟研究和一个真实的数据例子,以及与其他一些最近的方法的一些比较。
2022-09-10 math.ST stat.ME stat.TH
Adjusting inverse regression for predictors with clustered distribution
针对逆回归方法对预测变量分布的严格假设限制,本文在混合模型假设下调整一阶与二阶逆回归方法,兼具逆回归与局部SDR的优势,适用于聚类及非聚类数据的充分降维。
2023-08-29 stat.ME
Multilayer Perceptron with Functional Inputs: an Inverse Regression Approach
随着越来越多的实际应用涉及函数数据,函数数据分析是一个不断发展的研究领域。在本文中,我们专注于回归和分类与功能预测的问题:建议的模型结合了一个有效的降维过程[功能切片逆回归,首先介绍了Ferré和姚(统计,37,2003年,475)],为此,我们给出了一个正则化的版本,与神经网络的准确性。给出了一些一致性结果,并成功地将该方法应用于实际数据。
2007-05-02 math.ST stat.TH
Testing predictor contributions in sufficient dimension reduction
我们开发的假设没有影响的回归中选择的预测,而不假设一个模型的条件分布的响应给定的预测。预测效应不需要局限于均值函数,也不需要进行平滑。一般的方法是基于充分的降维,其思想是用低维版本代替预测向量,而不会损失回归的信息的损失。使用切片逆回归方法的详细开发。
2004-06-25 math.ST stat.TH
Contrastive inverse regression for dimension reduction
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Lawrence Berkeley Laboratory(劳伦斯伯克利实验室)
针对病例对照研究数据,提出专为对比背景设计的监督降维方法对比逆回归(CIR),通过Stiefel流形上的非标准损失优化问题,在提取前景组特有低维结构的同时保持与响应变量的函数关系,并证明了其收敛性及在高维数据上的优越性能。
2023-05-20 cs.LG stat.AP stat.ME
On the asymptotic behavior of the Nadaraya-Watson estimator associated with the recursive SIR method
研究了半参数回归模型中回归函数的Nadaraya-Watson估计的渐近性质。一方面,我们利用递归形式的切片逆回归方法来估计模型的未知参数。另一方面,我们实现了一个递归的Nadaraya-Watson过程的估计的回归函数,考虑到以前的估计的半参数回归模型的参数。我们建立了Nadaraya-Watson估计量的几乎必然收敛和渐近正态性。我们还说明了我们的半参数估计程序模拟数据。
2012-02-24 math.ST stat.TH
High Dimensional Bayesian Optimization via Supervised Dimension Reduction
Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学)
贝叶斯优化(BO)已被广泛应用于计算量大的问题,但它仍然是具有挑战性的,以扩大BO到高维。现有的工作通常是在严格的假设下,添加剂或线性嵌入结构的目标函数。本文将一种有监督的降维方法--切片逆回归(SIR)直接引入到高维贝叶斯优化中,该方法可以在优化过程中有效地学习目标函数的内在子结构。此外,一个核技巧,以减少计算复杂性和学习未知函数的非线性子集时,应用SIR极高维BO。我们提出了几个计算的好处,并推导出我们的算法理论上的遗憾界。大量的实验合成的例子和两个实际应用表明,我们的算法高维贝叶斯优化的优越性。
2019-07-21 cs.LG stat.ML
Nonlinear Sufficient Dimension Reduction for Distribution-on-Distribution Regression
针对预测变量和响应均为分布数据的回归问题,提出基于度量空间通用核与 Wasserstein/sliced Wasserstein 距离的非线性充分降维方法,并在合成和真实数据上验证其优势。
2023-04-25 math.ST stat.ME stat.ML
Continuous inverse regression
我们提供了新的理论成果,在该领域的逆回归方法的降维。我们的方法是基于一些经验的过程,靠近一定的降维子空间,称为中央子空间的研究。对这些过程的研究主要包括弱收敛结果和一些一般Bootstrap过程的相合性。虽然这些属性被用来获得切片逆回归的新结果,但它们主要允许定义一个自然的降维方法家族。首先,估计方法的根$n$率和自助被证明是有效的。其次,我们描述了一族Cramér-vonMises检验统计量,它可用于检验中心子空间的结构性质或某些预测集的显著性。我们表明,这些测试的分位数可以通过自举计算。大多数与逆回归相关的现有方法涉及在实践中难以选择的响应切片。虽然我们的方法保证了全面的估计,但不再需要切片。
2015-06-01 math.ST stat.TH
Dimension reduction based on constrained canonical correlation and variable filtering
“维数灾难”仍然是统计学中高维数据分析的一个挑战。切片逆回归(SIR)和典型相关(CANCOR)方法旨在通过用少量复合方向代替解释变量来降低数据的维数,而不会丢失太多信息。然而,估计的复合方向通常涉及所有的变量,使得它们的解释困难。为了简化方向估计,Ni,Cook和Tsai [Biometrika 92(2005)242- 247]提出了基于SIR的收缩切片逆回归(SSIR)。在本文中,我们提出了约束典型相关($C^3$)方法的基础上CANCOR,其次是一个简单的变量过滤方法。因此,每个复合方向由可解释性和预测能力的变量子集组成。该方法的目的是识别简单的结构,而不牺牲理想的性能的无约束CANCOR估计。仿真研究表明,所提出的$C^3$方法的SSIR方法的性能优势。我们还使用所提出的方法在两个例子中进行说明。
2008-08-07 math.ST stat.TH
Kernel Inverse Regression for spatial random fields
本文提出了一个空间因变量的降维模型。也就是说,我们在强混合条件下研究了\emph{inverse regression}方法的一个推广。这种方法是基于估计的协方差矩阵的期望的解释给定的因变量,称为\emph{inverse regression}。然后,在强混合条件下,利用\emph{inverse regression}的核估计,研究了该估计的弱相合性和强相合性。我们提供了这个估计的渐近行为。基于这种降维方法的空间预测器也被提出。后者似乎是空间非参数预测的替代方案。
2008-12-17 math.ST stat.TH
The empirical process of residuals from an inverse regression
本文研究了一个以Radon变换为特征的间接回归模型。该模型对于计算机断层扫描获得的医学图像的恢复是有用的。间接的回归函数估计使用一系列的估计动机的谱截止技术。进一步,我们研究了回归残差的经验过程,并证明了它满足泛函中心极限定理。
2019-02-09 math.ST stat.TH
Additive inverse regression models with convolution-type operators
在最近的一篇论文中,Birke和Bissantz(2008)考虑了具有卷积型算子的逆回归模型中的非参数估计问题。对于多变量预测,非参数方法受到维数灾难的影响,我们考虑逆回归模型与附加的定性假设的可加性。在这些模型中,几个加性估计进行了研究。特别是,我们调查的随机设计假设下,适用于观察时,网格上不可用的估计。最后,我们通过模拟研究,比较了这种估计与边际积分和非可加估计。它表明,新的方法产生了实质性的改善,目前可用的程序。
2013-03-18 math.ST stat.TH
Conditional Variance Estimator for Sufficient Dimension Reduction
条件方差估计(CVE)是一种新的充分降维(SDR)方法,适用于具有连续预测变量和连接函数的可加误差回归。它是在预测变量可以被低维投影代替而不丢失信息的假设下运行的。与大多数基于矩的充分降维方法相比,条件方差估计是完全数据驱动的,不需要限制性线性和恒定方差条件,并且不基于逆回归。证明了CVE是一致的,其目标函数是一致收敛的。CVE优于平均方差估计,(MAVE),它的主要竞争对手,在几个模拟设置,保持在其他人的水平,而它总是优于通常的逆回归基于线性SDR方法,如切片逆回归。
2021-02-17 math.ST stat.ME stat.TH
Asymptotically efficient estimation of linear functionals in inverse regression models
本文讨论了逆非参数回归模型中未知回归函数的线性泛函估计的改进方法。在Klaassen、Lee和Ruymgaart(2001)中,已经证明了这种传统的估计量不是渐近有效的(在Hájek-Le Cam卷积定理的意义上),除非误差分布可能是正态的。然而,由于这个估计量仍然是根-n相容的,Bickel,Klaassen,Ritov和Wellner(1993)中的一个过程适用于构造一个渐近有效的修改。一个独立的证明的渐近效率。
2002-12-27 math.ST stat.TH
Tail inverse regression for dimension reduction with extreme response
我们认为,监督降维的问题,特别关注的极值的目标$Y\in\mathbb{R}$解释的协变量向量$X \in \mathbb{R}^p$。一般目的是定义和估计协变量空间的低维子空间上的投影,该投影足以预测目标超出高阈值的情况。我们提出了一个原始的定义尾条件独立性,符合这一目的。受切片逆回归(SIR)方法的启发,我们开发了一个新的框架(TIREX,尾逆回归极端响应),以估计一个极端的充分降维(SDR)空间的潜在更小的维度比一个经典的SDR空间。我们证明了弱收敛尾经验过程中涉及的估计过程,我们说明了模拟和真实世界的数据所提出的方法的相关性。
2023-02-24 math.ST stat.ME stat.TH
Linear Regression without computing pseudo-inverse matrix
我们提出了一种基于Gram-Schmidt正交投影的线性回归方法,该方法不计算伪逆矩阵。这在我们为了模拟的目的想要用随机数据向量进行几次回归时很有用。
2013-11-06 math.ST stat.CO stat.TH
A two-stage hybrid procedure for estimating an inverse regression function
我们考虑一个两阶段的程序(TSP),用于估计逆回归函数在一个给定的点,其中保序回归是在第一阶段使用,以获得一个初始估计和本地线性逼近在附近的这个估计是在第二阶段使用。我们证明了第二阶段估计的收敛速度可以达到参数$n^{1/2}$的收敛速度。此外,一个自举的变体TSP(BTSP)的介绍和它的一致性研究。该变型设法克服了依分布收敛和回归函数在未知目标量处的导数估计的缓慢速度。最后,通过仿真研究了BTSP的有限样本性能,并在一个数据集上说明了该方法。
2011-05-16 math.ST stat.TH
An RKHS formulation of the inverse regression dimension-reduction problem
设$Y$是一个标量过程,$X$是一个二阶随机过程,其中给定随机变量$ξ_1,...,ξ_p$属于$X$的闭跨度$L_X^2$,$Y$和$X$是条件独立的.本文研究了逆回归降维问题的统一框架。据发现,识别$L_X^2$与再生核希尔伯特空间的$X$提供了一个平台,从有限到无限维的设置无缝扩展。它还有助于方便的计算算法,可以应用于各种模型。
2009-04-01 math.ST stat.TH
Asymptotic equivalence of functional linear regression and a white noise inverse problem
考虑函数线性回归(FLR)的统计实验。此外,我们引入了一个白噪声模型,其中一个观察伊藤过程,其中包含相应的FLR模型的协方差算子在其建设。我们证明了在已知的设计分布下,在LeCam的意义下,FLR和这个白噪声模型的渐近等价性。此外,我们证明了有限样本量的FLR和经验版本的白噪声模型的等价性。作为应用,我们推导出了在设计分布未知的情况下,FLR模型中仍然有效的尖锐的极大极小常数。
2012-11-20 math.ST stat.TH