Functional Slicing-free Inverse Regression via Martingale Difference Divergence Operator
提出无切片函数型逆回归（FSFIR），基于鞅差散度算子估计中心子空间，免去切片数选择，并给出收敛速率，模拟验证其高效便捷。
2023-10-17 math.ST stat.TH
Optimal quantization applied to Sliced Inverse Regression
在本文中，我们考虑一个半参数回归模型，涉及$d$维的定量解释变量$X$，并包括一个降维的$X$通过一个指标$β'X$。在该模型中，主要目标是估计欧几里德参数$β$并有条件地预测真实响应变量$Y$到$X$。我们的方法是基于切片逆回归（SIR）方法和最佳量化$\mathbf{L}^p$ -范数。我们得到了$β$和条件分布的估计的收敛性。模拟研究表明，所提出的估计有限样本量的良好的数值行为。
2011-01-12 math.ST stat.TH
Linear Regression without computing pseudo-inverse matrix
我们提出了一种基于Gram-Schmidt正交投影的线性回归方法，该方法不计算伪逆矩阵。这在我们为了模拟的目的想要用随机数据向量进行几次回归时很有用。
2013-11-06 math.ST stat.CO stat.TH
Asymptotically efficient estimation of linear functionals in inverse regression models
本文讨论了逆非参数回归模型中未知回归函数的线性泛函估计的改进方法。在Klaassen、Lee和Ruymgaart（2001）中，已经证明了这种传统的估计量不是渐近有效的（在Hájek-Le Cam卷积定理的意义上），除非误差分布可能是正态的。然而，由于这个估计量仍然是根-n相容的，Bickel，Klaassen，Ritov和Wellner（1993）中的一个过程适用于构造一个渐近有效的修改。一个独立的证明的渐近效率。
2002-12-27 math.ST stat.TH
A Note on Sliced Inverse Regression with Regularizations
在“Li，L.和Yin，X.（2008年）。正则化切片逆回归。Biometrics，64（1）：124- 131”引入岭SIR估计器作为最小化问题的解决方案，并通过交替最小二乘算法进行计算。这种方法在实践中表现良好。在本文中，我们重点讨论了估计量的理论性质。它表明，最小化问题是退化的意义上说，只有两种情况可能发生：要么岭SIR估计不存在或它是零。
2011-04-01 math.ST stat.TH
Sliced Inverse Regression in Metric Spaces
在这篇文章中，我们提出了一个一般的非线性充分降维（SDR）框架，当预测和响应都位于一些一般的度量空间。我们构造了再生核希尔伯特空间，其核完全由度量空间的距离函数决定，然后利用这些空间的内在结构定义了一个非线性SDR框架.我们适应经典的切片逆回归\citet{Li:1991}在这个框架内的度量空间的数据。我们基于相应的线性算子建立了估计器，并证明了它无偏地恢复了回归信息。我们推导了算子水平和坐标系下的估计量，并建立了它的收敛速度。我们说明了所提出的方法与合成和真实的数据集表现出非欧几里德几何。
2022-06-23 math.ST stat.TH
Inverse regression for longitudinal data
切片逆回归（段和李[安。统计。19（1991）505-530]，Li [J. Amer. Statistist. Assoc.86（1991）316-342]）是用于具有多变量协变量的回归模型的吸引人的降维方法。Ferré和Yao [Statistics 37（2003）475-488，Statist. Sinica 15（2005）665-683]和Hsing和Ren [Ann. Statist. 37（2009）726-755]到函数协变量，其中完全观察到随机函数协变量的整个轨迹。本文的重点是发展间断和稀疏测量的纵向协变量的切片逆回归。我们开发的新程序的渐近理论，并表明，在一定的规律性条件下，估计的方向达到最佳的收敛速率。仿真研究和数据分析也证明了我们的方法的性能。
2015-10-23 math.ST stat.TH
Nonparametric estimation of sliced inverse regression by the $ k$-nearest neighbors kernel method
本文提出基于k近邻核方法的切片逆回归非参数估计，引入协方差矩阵估计量以估计有效降维空间，证明渐近正态性，并通过模拟验证其有限样本性能优于核估计。
2025-05-25 math.ST stat.TH
A two-stage hybrid procedure for estimating an inverse regression function
我们考虑一个两阶段的程序（TSP），用于估计逆回归函数在一个给定的点，其中保序回归是在第一阶段使用，以获得一个初始估计和本地线性逼近在附近的这个估计是在第二阶段使用。我们证明了第二阶段估计的收敛速度可以达到参数$n^{1/2}$的收敛速度。此外，一个自举的变体TSP（BTSP）的介绍和它的一致性研究。该变型设法克服了依分布收敛和回归函数在未知目标量处的导数估计的缓慢速度。最后，通过仿真研究了BTSP的有限样本性能，并在一个数据集上说明了该方法。
2011-05-16 math.ST stat.TH
A Statistical Perspective on Inverse and Inverse Regression Problems
广义逆问题的任务是从未知函数的噪声响应中学习，通常表示为已知函数形式的参数，在一般科学学科中受到广泛关注。然而，在主流统计学中，这种反问题范式似乎并不流行.在这篇文章中，我们提供了一个简短的概述，从统计，特别是贝叶斯的角度来看，这样的问题。我们还比较和对比上述类别的问题，也许更熟悉的统计逆回归问题，认为这类问题包含传统的一类逆问题。在我们的审查过程中，我们指出，统计文献是非常稀缺的逆范式，大量的研究工作仍然是必要的发展领域。
2017-07-21 math.ST stat.ME stat.TH
Prediction regions through Inverse Regression
从协变量中预测新的响应是回归中一个具有挑战性的任务，这给高维数据时代提出了新的问题。在本文中，我们感兴趣的逆回归方法从理论的观点。理论结果已经得出了著名的线性模型，但最近，灾难的维数增加了从业者和理论家的兴趣，这些结果的推广为各种估计，校准的高维背景。为了处理高维数据，本文采用了逆回归方法。当特征的数量超过观测的数量时，它是一种可靠和有效的方法。事实上，在某些条件下，处理与正向回归问题相关联的逆回归问题大大减少了要估计的参数的数量，并使问题易于处理。当响应和协变量都是多元时，本文研究了由逆回归构造的估计，主要结果是响应的显式渐近预测区域。所提出的估计器和预测区域的性能进行了分析，通过模拟研究，并与通常的估计器进行比较。
2018-07-09 math.ST stat.ME stat.TH
An RKHS formulation of the inverse regression dimension-reduction problem
设$Y$是一个标量过程，$X$是一个二阶随机过程，其中给定随机变量$ξ_1,...,ξ_p$属于$X$的闭跨度$L_X^2$，$Y$和$X$是条件独立的.本文研究了逆回归降维问题的统一框架。据发现，识别$L_X^2$与再生核希尔伯特空间的$X$提供了一个平台，从有限到无限维的设置无缝扩展。它还有助于方便的计算算法，可以应用于各种模型。
2009-04-01 math.ST stat.TH
Functional Inverse Regression in an Enlarged Dimension Reduction Space
本文考虑了泛函逆回归的一个扩大的降维空间。我们的运营商和泛函分析为基础的方法有利于一个紧凑和严格的制定的功能逆回归问题。这也使我们能够扩大可能的空间，降维功能属于。我们的公式提供了一个统一的框架，使经典的概念，如协方差标准化，马哈拉诺比斯距离，SIR和线性判别分析，可以自然和顺利地进行在我们扩大的空间。这种扩大的降维空间也链接到可分希尔伯特空间上的高斯测度的线性判别空间。
2015-03-12 math.ST stat.ML stat.TH
Sliced Inverse Moment Regression Using Weighted Chi-Squared Tests for Dimension Reduction
本文提出了一种利用前两个逆矩进行回归降维的新方法。我们开发相应的加权卡方检验的回归维度。该方法考虑了切片逆回归（SIR）的线性组合，并使用一个新的候选矩阵，该矩阵被设计为恢复整个逆二阶矩子空间的方法。可以基于从维度检验导出的p值来选择最佳组合。理论上，该方法以及切片平均方差估计（SAVE）比SIR和主Hessian方向（pHd）更能够恢复完整的中心降维子空间。因此，它可以在理论水平上替代SIR、pHd、SAVE或它们的任何线性组合。仿真研究表明，所提出的方法可以有一致的更大的功率比SIR，pHd，和SAVE。
2013-08-24 math.ST stat.ME stat.TH
On consistency and sparsity for sliced inverse regression in high dimensions
我们在这里提供了一个框架来分析切片逆回归（SIR），监督降维技术介绍了\cite{Li:1991}的相变现象。在较弱的条件下，渐近比$ρ= \lim p/n$是相变参数，SIR估计是相容的当且仅当$ρ= 0$ .当维数$p$大于$n$时，提出了一种对角阈值筛选SIR（DT-SIR）算法。该方法为我们提供了条件期望$var(\mathbf{E}[\boldsymbol{x}|y])$的协方差阵的特征空间的估计。然后通过将协方差阵的逆乘以特征空间来获得期望的降维空间。在对预测变量的协方差阵和方向载荷的稀疏性假设下，证明了DT-SIR在高维数据分析中估计降维空间的一致性。大量的数值实验表明，所提出的方法相比，其竞争对手的优越性能。
2016-11-21 math.ST stat.TH
Optimal experimental designs for inverse quadratic regression models
本文确定了逆二次回归模型的最优试验设计。我们考虑两种不同的参数化的模型和局部最优设计方面的$c$，$D$ -和$E$ -标准，这反映了各个方面的精度的极大似然估计的参数在逆二次回归模型。特别是它表明，对于一个足够大的设计空间的几何分配规则是最优的许多最优性标准。此外，在许多情况下，关于不同标准的设计在相同点处得到支持。最后，研究了不同最优性准则下不同最优设计的效率，并对一些常用的最优设计的效率进行了研究。
2008-09-29 math.ST stat.ME stat.TH
Asymptotic equivalence of functional linear regression and a white noise inverse problem
考虑函数线性回归（FLR）的统计实验。此外，我们引入了一个白噪声模型，其中一个观察伊藤过程，其中包含相应的FLR模型的协方差算子在其建设。我们证明了在已知的设计分布下，在LeCam的意义下，FLR和这个白噪声模型的渐近等价性。此外，我们证明了有限样本量的FLR和经验版本的白噪声模型的等价性。作为应用，我们推导出了在设计分布未知的情况下，FLR模型中仍然有效的尖锐的极大极小常数。
2012-11-20 math.ST stat.TH
On the Optimality of Functional Sliced Inverse Regression
本文证明函数型切片逆回归在估计函数型充分降维中心空间时达极小极大最优速率，通过集中不等式、截断方案及模拟验证。
2025-04-15 math.ST stat.TH
Confidence bands for multivariate and time dependent inverse regression models
构造了具有卷积型算子的逆回归模型中多元回归函数的一致渐近置信带。利用强逼近方法和一个关于增集系上平稳高斯场上确界的极限定理得到了这些结果。作为一个具体的应用，获得了卷积型逆回归模型中的不定常回归函数$f_t(x)$（$x\in \mathbb {R}^d,t\in \mathbb {R}$）的渐近置信带。最后，我们证明了我们提出的方法在模拟研究和应用程序的椭圆星系NGC5017的光度分布估计的实际可行性。据作者所知，本文的结果是第一个提供了统一的置信带多元非参数函数估计反问题。
2015-04-07 math.ST stat.ME stat.TH
Online Kernel Sliced Inverse Regression
在线降维是高维流数据处理的常用方法。在线主成分分析、在线切片逆回归、在线核主成分分析等方法已经得到了深入的研究，但据我们所知，在线监督的非线性降维方法还没有得到充分的研究。本文提出了一种在线核切片逆回归方法。通过引入近似线性相关条件和字典变量集，解决了在线核切片逆回归方法中变量维数随样本量增加而增加的问题，提出了一种在线更新变量的降阶方法.然后，我们将问题转化为一个在线广义特征分解问题，并使用随机最优化方法来更新的中心降维方向。仿真和实际数据分析表明，该方法可以获得接近批处理核切片逆回归的性能。
2023-01-23 math.ST stat.CO stat.ML
Posterior Consistency for Bayesian Inverse Problems through Stability and Regression Results
在贝叶斯方法中，关于数学模型的输入的先验知识通过概率测度来描述。然后，使用贝叶斯公式对未知输入和数据的联合分布进行调节，得到未知输入的后验分布。在这种情况下，我们证明非线性反问题的后验一致性：一个序列的数据被认为是一个单一的真理与周围的波动减少，然后它是有趣的，以显示所产生的序列的后验措施所产生的这个序列的数据集中在用于生成数据的真理。后验一致性证明了贝叶斯方法的使用非常相同的方式，误差界和收敛结果的正则化技术。作为一个指导性的例子，我们考虑的逆问题重建的扩散系数从噪声观测的解决方案，椭圆型偏微分方程的散度型。这个问题是通过分裂成基础的连续模型和一个更简单的观察运营商的基础上的模型的输出的前向运营商。一般来说，这些分裂使我们能够得出结论后验一致性提供了一个确定性的稳定性结果的基础逆问题和后验一致性结果的贝叶斯回归问题与前推先验。此外，我们证明后验一致性的贝叶斯回归问题的基础上的规则性，尾部行为和小球概率的先验。
2013-07-16 math.ST stat.TH
A Bayesian Multiple Testing Paradigm for Model Selection in Inverse Regression Problems
在这篇文章中，我们提出了一种新的贝叶斯多重检验公式，用于逆向设置中的模型和变量选择，明智地将Bhattacharya（2013）提出的逆参考分布的思想嵌入到由竞争模型组成的混合框架中。我们开发的理论和方法，在一般情况下，包括参数和非参数竞争模型，相关数据，以及误指定。我们的研究表明，渐近多重检验程序几乎肯定会选择最好的逆模型，最大限度地减少最小的Kullback-Leibler发散从真实的模型。我们还表明，差错率，即版本的错误发现率和错误的非发现率几乎肯定收敛到零的样本量趋于无穷大。本文还研究了错误发现率版本的渐近α-控制及其对错误非发现率版本收敛的影响。我们的模拟实验涉及基于小样本的选择之间的逆泊松对数回归和逆几何logit和probit回归，其中回归是线性的或基于高斯过程。此外，还考虑变量选择。我们的多个测试结果证明是非常令人鼓舞的意义上选择最好的模型在所有的非错误指定和错误指定的情况下。
2020-07-15 math.ST stat.ME stat.TH
Adaptive Gaussian inverse regression with partially unknown operator
本文研究了重构函数$f$的不适定反问题，其中$A$是一个具有未知奇异值和已知特征函数的紧线性算子，函数$f$隐式地给出为$g = Af$的解.我们观察到的功能$g$和奇异值的运营商受到高斯白噪声与各自的噪声水平$\varepsilon$和$σ$。我们开发了一个极大极小理论的噪声水平，并提出了一个正交系列估计达到极大极小率。该估计器需要根据$f$和$A$的某些特性来最优地选择维度参数。这项工作解决了完全数据驱动的尺寸参数的选择相结合的模型选择与Lepski的方法。我们表明，完全数据驱动的估计保留了极大极小最优性在广泛的类$f$和$A$和噪声水平$\varepsilon$和$σ$。考虑索伯列夫空间和轻度和严重不适定反问题的结果进行了说明。
2012-04-05 math.ST stat.TH
Inverse regression for spatially distributed functional data
本文针对空间分布函数型数据提出逆回归方法，采用局部线性平滑与一般加权方案，并在域扩展填充框架下建立渐近理论，实现特征方向的最优收敛速率。
2024-02-05 math.ST stat.TH
Tail inverse regression for dimension reduction with extreme response
我们认为，监督降维的问题，特别关注的极值的目标$Y\in\mathbb{R}$解释的协变量向量$X \in \mathbb{R}^p$。一般目的是定义和估计协变量空间的低维子空间上的投影，该投影足以预测目标超出高阈值的情况。我们提出了一个原始的定义尾条件独立性，符合这一目的。受切片逆回归（SIR）方法的启发，我们开发了一个新的框架（TIREX，尾逆回归极端响应），以估计一个极端的充分降维（SDR）空间的潜在更小的维度比一个经典的SDR空间。我们证明了弱收敛尾经验过程中涉及的估计过程，我们说明了模拟和真实世界的数据所提出的方法的相关性。
2023-02-24 math.ST stat.ME stat.TH
Asymptotic Normality of the Additive Regression Components for Continuous Time Processes
在多元回归估计中，收敛的收敛速率取决于回归变量的维数。这个事实，被称为维度的诅咒，激发了几个作品。Stone（10）引入的加法模型为这个问题提供了一个有效的解决方案。在连续时间过程的情形下，利用边际积分方法，得到了可加模型各分量的平方收敛速率和渐近正态性。
2008-02-23 math.ST stat.TH
Toward optimal model averaging in regression models with time series errors
考虑一个具有无穷多个参数和时间序列误差的回归模型。我们感兴趣的是选择加权平均广义最小二乘（GLS）估计从一组近似模型。然而，GLS估计，依赖于未知的逆协方差阵的误差，通常是不可行的。因此，我们构造可行的广义最小二乘（FGLS）估计使用的未知逆矩阵的一致估计。基于此逆协方差阵估计和FGLS估计，我们发展了一个可行的自协方差校正的Malows模型平均准则来选择权重，从而提供了真实回归函数的FGLS模型平均估计。证明了当权向量属于一个连续集时，我们的平均估计的广义平方误差损失渐近等价于GLS模型平均估计的最小广义平方误差损失，该连续集包括Hansen（2007）中使用的离散权向量集作为其真子集.
2015-03-22 math.ST stat.TH
A Nodewise Regression Approach to Estimating Large Portfolios
本文研究了高维投资组合的方差、权重和风险的大样本性质，其中超额资产收益率的协方差阵的逆矩阵是用一种称为逐点回归的方法估计的。逐节点回归使用Tibshirani（1994）的最小绝对收缩和选择算子（Lasso）为逆协方差阵提供直接估计器，以估计稀疏精度矩阵的项。我们证明了全局极小值方差投资组合和Markowitz均值-方差投资组合的方差、权重和风险在资产比观测值多的情况下是一致估计的。我们表明，经验，nodewise回归为基础的方法相比，因子模型和收缩方法表现良好。
2019-10-15 math.ST stat.TH
Convergence of Pseudo-Bayes Factors in Forward and Inverse Regression Problems
在关于模型比较的贝叶斯文献中，贝叶斯因子起着主导作用。在经典的统计文献中，模型选择标准通常是用交叉验证的思想设计的。Geisser和Eddy（1979）将贝叶斯因子和交叉验证的思想结合起来，创建了伪贝叶斯因子。交叉验证的使用灌输了几个理论上的优势，计算简单性和数值稳定性的贝叶斯因子的边缘密度的整个数据集被替换为产品的交叉验证密度的个别数据点。然而，伪贝叶斯因子的流行仍然是可以忽略不计的贝叶斯因子相比，在理论研究和实际应用。在这篇文章中，我们建立了几乎必然指数收敛的伪贝叶斯因子的大样本下的一般设置下的相依数据和模型误设定。我们特别关注一般参数和非参数回归设置在正向和反向的上下文中。我们用各种例子说明我们的理论结果，提供明确的计算。我们还补充了我们的渐近理论与模拟实验在小样本情况下的泊松对数回归和几何logit和probit回归，另外解决变量选择问题。我们考虑线性和非参数回归建模的高斯过程为我们的目的。我们的模拟结果提供了相当有趣的见解伪贝叶斯因子在正向和反向设置中的使用。
2020-06-10 math.ST stat.ME stat.TH
Doubly robust dose-response estimation for continuous treatments via generalized propensity score augmented outcome regression
本文构造了连续剂量反应估计的双稳健估计。结果回归模型增加了一组逆广义倾向评分协变量，以纠正潜在的误设偏倚。从增强模型中，我们可以获得不同治疗分层的平均潜在结局的相合估计。然后将多项式回归拟合到这些点估计值，以推导出连续剂量-响应函数的泰勒近似值。Bootstrap用于方差估计。分析结果和模拟表明，我们的方法可以提供一个很好的近似线性或非线性剂量-响应函数下的各种来源的误指定的结果回归或倾向评分模型。有限样本下的效率相对于最小方差一致估计是好的。
2015-06-16 math.ST stat.TH
Sparse Sliced Inverse Regression Via Lasso
对于多指标模型，最近的研究表明，当且仅当$ρ=\lim\frac{p}{n}=0$，其中$p$是维数，$n$是样本量，切片逆回归（SIR）对于估计充分降维（SDR）空间是一致的.因此，当$p$具有与$n$相同或更高阶时，必须施加诸如稀疏性的附加假设，以便确保SIR的一致性。通过构造由估计的条件协方差阵的顶部特征向量组成的人工响应变量，我们引入了一个简单的Lasso回归方法来获得SDR空间的估计。由此产生的算法，Lasso-SIR，被证明是一致的，并在一定的稀疏条件下达到最佳的收敛速度时，$p$是为了$o(n^2λ^2)$，其中$λ$是广义信噪比。我们还证明了优越的性能Lasso-SIR与现有的方法相比，通过广泛的数值研究和几个实际数据的例子。
2018-06-17 math.ST stat.ME stat.TH
Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem
该研究将无限维线性算子学习问题转化为非紧逆问题，证明其在谱性质和正则化理论上等价于标量响应回归的紧逆问题，推导了无维度学习速率，适用于多种回归场景。
2024-07-10 math.FA math.PR math.ST
Effects of associated kernels in nonparametric multiple regressions
结合核的引入改进了经典的连续核，使其能光滑化有界连续集和离散集等几种支撑上的泛函。本文研究了组合关联核函数对非参数多元回归函数的影响。利用交叉验证方法选择最优带宽矩阵的Nadaraya-Watson估计，指出了多元关联核函数相关与否对多元回归估计的不同影响.通过仿真研究发现，相关结构对连续回归函数和关联连续核函数都没有影响，但在多个有界连续或离散回归函数的支持下，多元关联核函数的选择确实存在影响.在两个真实数据集上进行了应用。
2015-02-05 math.ST stat.TH
On the testing of multiple hypothesis in sliced inverse regression
针对单变量响应与p维预测变量的回归框架下的多重检验问题，提出基于切片逆回归的无模型MTA方法，可渐近控制错误发现率，检验功效优于现有方法。
2023-06-16 math.ST stat.ME stat.TH
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归，其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的，并且是从数据中学习的，以及后验均值和协方差。我们在经验贝叶斯的框架下工作，其中使用数据计算超参数的点估计，然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析，（i）适用于任何要仿真的连续函数$f$;（ii）表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响，并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题，我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Robust adaptive efficient estimation for a semi-Markov continuous time regression from discrete data
本文研究了离散时刻观测到半马尔可夫噪声的连续时间回归模型的非参数稳健估计问题。提出了一种自适应模型选择方法。得到了鲁棒风险的一个尖锐的非渐近预言不等式。我们得到了关于频率观测值的鲁棒有效性的充分条件。结果表明，半马尔可夫模型的鲁棒极小极大收敛速度可能比经典模型快，也可能比经典模型慢。
2020-05-14 math.ST stat.TH
Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression
University of Science and Technology of China（中国科学技术大学）；Quzhou University（衢州学院）
联邦学习已经成为当今大数据时代的流行工具。它基于来自不同客户端的数据训练集中式模型，同时保持数据分散。本文首次提出了一种联邦稀疏切片逆回归算法。我们的方法可以同时估计中央降维子空间，并在联邦设置进行变量选择。通过安全、无损地构造协方差阵，将联合高维稀疏切片逆回归问题转化为凸优化问题。然后，我们使用一个线性化的交替方向方法的乘子算法估计的中心子空间。给出了确定中心子空间维数和算法超参数的贝叶斯信息准则和保持验证方法。我们建立了一个上界的统计误差率的估计下的异质设置。我们证明了我们的方法的有效性，通过模拟和现实世界中的应用。
2023-01-23 cs.LG math.ST stat.ML
Jump estimation in inverse regression
我们考虑从噪声观测的反卷积$ϕ*f$，其中$ϕ$是一些有界的$L_1$ -函数的阶阶梯函数$f$的估计。我们使用惩罚最小二乘估计器从观测值重建信号$f$，惩罚等于重建的跳跃数。渐近地，有可能以概率1正确估计跳跃数。鉴于跳跃的数量是正确的估计，我们表明，相应的参数估计的跳跃位置和跳跃高度是$n^{-1/2}$一致的，并收敛到一个联合的正态分布的协方差结构取决于$ϕ$，这个速度是minimax有界连续核$ϕ$。作为特例，我们得到了多相回归中最小二乘估计的渐近分布及其推广。在有界的$ϕ$得到的结果相比，我们表明，对于内核的奇异性的顺序$O(| x|^{-α}),1/2<α<1$，跳跃位置可以估计的速率为$n^{-1/(3-2α)}$，这又是极大极小速率。我们发现，这些速率不依赖于频谱信息的运营商，而是在时域中的本地化属性。最后，它证明，自适应采样不提高收敛的收敛速率，在严格的对比情况下，直接回归。
2008-03-14 math.ST stat.TH
Adaptive model selection method for a conditionally Gaussian semimartingale regression in continuous time
研究了具有条件高斯分布的一般平方可积〔的〕半鞅的相依噪声的连续时间回归模型中周期函数的稳健自适应有效估计问题。这种噪声的一个例子是非高斯的Ornstein-Uhlenbeck-Levy过程。提出了一种基于改进加权最小二乘估计的自适应模型选择方法。在一定的噪声分布条件下，证明了鲁棒风险的sharp oracle不等式，建立了模型选择过程的鲁棒有效性。给出了数值分析结果。
2018-11-11 math.ST stat.TH
On some information-theoretic aspects of non-linear statistical inverse problems
在无限维非线性高斯回归中，回顾了van der Vaart（1991）关于非零Fisher信息存在性的半参数统计结果。当且仅当回归映射的线性化的伴随满足一定的范围条件时，关于未知参数的信息理论上的最优推断是可能的。结果表明，这种范围条件可能会失败，在一个共同研究的椭圆型反问题的散度型方程，并在这种情况下，一个大类的光滑线性泛函的电导率参数不能有效地估计。特别是，高斯'伯恩斯坦冯米塞斯'型近似贝叶斯后验分布不持有在此设置。
2021-07-20 math.ST stat.TH
A Constructive Approach to the Estimation of Dimension Reduction Directions
在本文中，我们提出了两种新的方法来估计降维方向的中心子空间（CS）通过构建一个回归模型，使所有的方向都被捕获在回归均值。与逆回归估计方法（如Li，1991，1992; Cook and Weisberg，1991）相比，新方法不需要对协变量的设计或回归变量与响应变量之间的函数关系作强假设，并且在有限样本下比逆回归估计方法有更好的性能。与直接回归估计方法（如Härdle和Stoker，1989; Hristache，Juditski，Polzehl和Spokoiny，2001; Xia，Tong，Li和Zhu，2002）只能估计CS在回归均值中的方向相比，新方法可以详尽地检测CS的方向。证明了估计量的相合性和相应算法的收敛性。
2007-01-26 math.ST stat.TH
Additive Regression Model for Continuous Time Processes
在连续时间过程的可加回归模型的背景下，建立了可加回归的最优一致收敛性和最优渐近二次误差。为了建立我们的估计，我们使用边际积分方法。
2007-06-08 math.PR math.ST stat.AP
On the Whittle estimator for linear random noise spectral density parameter in continuous-time nonlinear regression models
研究了一类具有Lévy驱动线性噪声过程的连续时间非线性回归模型。本文给出了噪声谱密度参数的Whittle估计的相合性和渐近正态性的充分条件。
2019-09-23 math.PR math.ST stat.TH
Introduction To Gaussian Process Regression In Bayesian Inverse Problems, With New ResultsOn Experimental Design For Weighted Error Measures
现代应用中出现的贝叶斯后验分布，包括层析成像和地下水流中偏微分方程模型中的逆问题，由于评估数据可能性的计算成本很大，因此在计算上通常是棘手的。为了缓解这个问题，我们考虑使用高斯过程回归来建立一个代理模型的可能性，从而在近似的后验分布，是服从于实际计算。这项工作作为一个介绍高斯过程回归，特别是在建立代理模型的背景下，逆问题，并提出了新的见解到一个合适的选择训练点。我们发现，真实的和近似的后验分布之间的误差可以有界的真实和近似的可能性之间的误差，测量在$L^2$ -范数加权的真实后验，并有效地界定真实和近似的可能性之间的误差，在这个范数建议选择训练点的高斯过程代理模型的基础上的真实后验。
2023-02-09 cs.NA math.NA math.ST
On the optimality of sliced inverse regression in high dimensions
一对随机变量$(y,x) \in \mathbb{R}^{p+1}$的中心子空间是极小子空间$\mathcal{S}$，使得$y \perp \hspace{-2mm} \perp x\mid P_{\mathcal{S}}x$。本文考虑了至多具有$s$活动预测的多指标模型$y=f(β_{1}^τx,β_{2}^τx,...,β_{d}^τx,ε)$中心空间的Minimax估计率，其中$x \sim N(0,I_{p})$ .我们首先介绍了一个大类的模型依赖于最小的非零特征值$var(\mathbb{E}[x|y])$ $λ$，在此基础上，我们表明，聚合估计的SIR过程的基础上收敛率$d\wedge((sd+s\log(ep/s))/(nλ))$。然后，我们表明，这一速度是最佳的两种情况下：单指数模型;和固定的中心尺寸$d$和固定的$λ$的多指数模型。通过假设一个技术猜想，我们可以证明这个速率对于中心空间维数有界的多指标模型也是最优的。我们相信，这些（有条件的）最优率的结果给我们带来了有意义的见解一般SDR问题的高维。
2017-01-24 math.ST stat.TH
Prediction in regression models with continuous observations
本文考虑满足线性模型$y(x)=θ^\top f(x) + \varepsilon(x)$的随机过程或场的预测值问题，其中误差$\varepsilon(x)$是相关的。这是克里金法中的一个常见问题，离散观测值的情况是标准的。通过专注于连续观测的情况下，我们得到的最佳线性无偏预测和他们的均方误差的表达式。我们的结果也适用于的情况下，衍生物的过程$y$是可用的，无论是响应或其衍生物之一需要预测。特别是流行的Matérn $3/2$内核的几个例子说明了理论结果。
2019-08-12 math.ST stat.TH
Improved robust model selection methods for the Levy nonparametric regression in continuous time
本文对Levy噪声下连续时间观测的非参数周期函数给出了James-Stein改进的估计方法。构造了一种基于改进加权最小二乘估计的自适应模型选择方法。得到了非参数模型的改进效果。结果表明，在非渐近研究中，非参数问题的精度提高比参数问题的精度提高更显著。此外，在自适应环境下，证明了鲁棒风险的尖锐预言不等式，并建立了改进的模型选择过程的有效性。
2018-11-04 math.ST stat.TH
Best linear unbiased estimators in continuous time regression models
本文研究了连续时间回归模型的最佳线性无偏估计问题。我们证明了几个一般性声明的最佳线性无偏估计量（BLUE）的显式形式，特别是当误差过程是一个光滑的过程与一个或几个衍生物的响应过程可用于建设的估计。我们推导了许多特定模型的BLUE的显式形式，包括连续自回归误差的情况下，二阶和集成的错误过程（如集成布朗运动）。通过几个例子说明了结果。
2016-11-29 math.ST stat.ME stat.TH
Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm
Iowa State University（爱荷华州立大学）；Rutgers University（罗格斯大学）；The University of Hong Kong（香港大学）
本文研究充分降维中的隐私保护问题，提出达到极小极大下界（相差对数因子）的差分隐私切片逆回归算法，并通过模拟和真实数据验证其有效性，同时将结果推广至差分隐私稀疏主成分分析。
2025-04-05 cs.CR cs.LG math.ST
Conditional Variance Estimator for Sufficient Dimension Reduction
条件方差估计（CVE）是一种新的充分降维（SDR）方法，适用于具有连续预测变量和连接函数的可加误差回归。它是在预测变量可以被低维投影代替而不丢失信息的假设下运行的。与大多数基于矩的充分降维方法相比，条件方差估计是完全数据驱动的，不需要限制性线性和恒定方差条件，并且不基于逆回归。证明了CVE是一致的，其目标函数是一致收敛的。CVE优于平均方差估计，（MAVE），它的主要竞争对手，在几个模拟设置，保持在其他人的水平，而它总是优于通常的逆回归基于线性SDR方法，如切片逆回归。
2021-02-17 math.ST stat.ME stat.TH
Non-asymptotic model selection for linear non least-squares estimation in regression models and inverse problems
我们提出了一种通过惩罚的模型选择方法来解决线性统计模型中线性估计的常见问题。然后根据线性统计模型被认为是回归框架或反问题框架的框架，数据驱动的模型选择标准，无论是在一般假设下，或根据温和的假设模型可识别性分别获得。所提出的方法是由最近的重要的非渐近模型选择的结果，主要是由于Birge和Massart（Birge和Massart 2007），我们的结果在本文中，像他们一样，是非渐近的，变得尖锐。我们在本文中的主要贡献在于，这些线性估计不一定是最小二乘估计，但可以是任何线性估计。因此，所提出的方法在工程和应用科学（仅举几例，图像科学、信号处理、应用统计、编码）的无数领域中找到潜在的应用，在这些领域中，人们有兴趣将感兴趣的某个未知矢量恢复为例如在对数据的保真度项与解的规律性或/和简约性项之间实现最佳折衷的矢量。所提出的方法提供了一个有趣的模型选择框架，使他们能够实现这样的目标，然后这样的应用程序。
2009-09-10 math.ST stat.ME stat.TH
On the sample complexity of parameter estimation in logistic regression with normal design
Columbia University（哥伦比亚大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文研究逻辑回归在标准正态设计下参数估计的样本复杂度，发现其随逆温度变化存在两个变点，清晰划分低、中、高温三个区域。
2024-05-23 cs.IT cs.LG math.IT
On Sharpened Convergence Rate of Generalized Sliced Inverse Regression for Nonlinear Sufficient Dimension Reduction
研究广义切片逆回归（GSIR）收敛速度，在附加特征值衰减率和平滑条件下建立改进收敛速度，能接近\(n^{-1/3}\)，优于之前的\(n^{-1/4}\)，还可用于更一般设置。
2026-07-07 math.ST stat.ME stat.TH
Minimax Analysis for Inverse Risk in Nonparametric Planer Invertible Regression
本文研究二维平面上可逆双Lipschitz函数逆估计的最小极大风险，提出水平集表示法并构造渐近可逆估计器，证明其速率与非可逆情形一致，表明可逆约束不增加估计复杂度。
2023-12-25 math.ST stat.ML stat.TH
