Estimating sufficient reductions of the predictors in abundant high-dimensional regressions
本文研究了当样本量和预测变量数在不同的排列中增长时，一类高维回归充分降维方法的渐近行为。结果表明，这些方法是一致的，在各种设置，特别是在丰富的回归，其中大多数预测贡献一些信息的响应，和甲骨文率是可能的。仿真结果支持理论结论。
2012-05-30 math.ST stat.TH
Estimating the conditional distribution in functional regression problems
我们考虑在一般空间中给定协变量$X$的函数数据对象$Y=(Y(t): t\in[0,1])$的条件分布$P(Y \in A |X)$的一致估计问题，假设$Y$和$X$由函数线性回归模型相关.提出了两种自然估计方法，基于自举估计的模型残差，或拟合函数参数模型的模型残差和估计$P(Y \in A |X)$通过模拟。这些方法是否导致一致的估计取决于回归算子估计的一致性属性，以及查看$Y$的空间。我们表明，在一般一致性条件下的回归算子估计，这有利于某些功能的主成分估计，一致的估计的条件分布可以实现，无论是当$Y$是一个可分离的希尔伯特空间的元素，当$Y$是一个元素的连续函数的巴拿赫空间。后者的结果意味着，集$A$指定路径属性的$Y$，这是感兴趣的应用程序，可以考虑。通过仿真实验、电价数据分析和污染曲线数据分析，对所提出的方法进行了研究。
2021-05-04 math.ST stat.TH
Estimating spatial quantile regression with functional coefficients: A robust semiparametric framework
本文考虑空间数据半参数变系数分位数回归的一种估计。一个通用的强大的框架，对待分位数回归空间数据的自然半参数的方式。利用局部线性逼近，给出了未知函数系数函数的局部M-估计，并在弱空间混合条件下建立了其渐近分布.土壤数据集的应用证明了有趣的发现，超越传统的分析。
2014-02-05 math.ST stat.TH
Estimating Piecewise Monotone Signals
研究了分段单调向量的估计问题。这个问题可以看作是保序回归的一个推广，它允许少量的违反顺序的变点。我们主要关注Tibshirani等人（2011）提出的近保序回归的性能。我们得到的风险界的近保序回归估计，是适应分段单调信号。在较弱的假设条件下，该估计器在某些类型的分段单调信号上达到了近似极小极大收敛速度。此外，我们提出了一个算法，可以应用到一般的加权图的近保序型估计。仿真结果表明，近保序回归的表现以及理想的估计，知道变点的真实位置。
2020-03-07 math.ST stat.TH
On improved estimation in a conditionally Gaussian regression
本文考虑了二次损失下多元条件正态分布的$p\geq2$维均值向量的估计问题。当估计具有由布朗运动和复合泊松过程的混合驱动的非高斯Ornstein-Uhlenbeck过程的连续时间回归模型中的参数时，出现了这种类型的问题。
2011-05-25 math.ST stat.TH
Kernel Inverse Regression for spatial random fields
本文提出了一个空间因变量的降维模型。也就是说，我们在强混合条件下研究了\emph{inverse regression}方法的一个推广。这种方法是基于估计的协方差矩阵的期望的解释给定的因变量，称为\emph{inverse regression}。然后，在强混合条件下，利用\emph{inverse regression}的核估计，研究了该估计的弱相合性和强相合性。我们提供了这个估计的渐近行为。基于这种降维方法的空间预测器也被提出。后者似乎是空间非参数预测的替代方案。
2008-12-17 math.ST stat.TH
The empirical process of residuals from an inverse regression
本文研究了一个以Radon变换为特征的间接回归模型。该模型对于计算机断层扫描获得的医学图像的恢复是有用的。间接的回归函数估计使用一系列的估计动机的谱截止技术。进一步，我们研究了回归残差的经验过程，并证明了它满足泛函中心极限定理。
2019-02-09 math.ST stat.TH
Estimating change points in nonparametric time series regression models
在本文中，我们考虑一个回归模型，允许时间序列协变量以及异方差与回归函数，是非参数建模。我们假设回归函数在某个未知时间发生变化$\lfloor ns_0\rfloor$、$s_0\in(0,1)$，我们的目标是估计（重新缩放的）变化点$s_0$。所考虑的估计是基于一个Kolmogorov-Smirnov功能的显着经验过程的残差。我们证明了估计量的一致性，并证明了$O_P(n^{-1})$的收敛速率，在这种情况下，该收敛速度显然是最优的，因为序列中只有$n$点。此外，我们还研究了滞后相关协变量的情况，即非参数（自动）回归函数发生变化的自回归模型，并给出了一致性结果。证明的方法也允许不同种类的泛函，这样Cramér-von Mises型估计可以被类似地考虑。该方法扩展了现有文献，允许非参数模型，时间序列数据以及异方差。有限样本模拟表明，我们的估计在回归和自回归模型中具有良好的性能，一个真实的数据例子表明了它在实践中的适用性。
2019-09-16 math.ST stat.TH
Iterative Isotonic Regression
本文介绍一种新的非参数估计方法，用于估计一元有界变差有界变回归函数。该方法利用了若尔当分解，该分解指出有界变差函数可以分解为非减函数和非增函数之和。这建议将用于估计加性函数的后拟合算法与用于估计单调函数的保序回归相结合。由此产生的迭代算法被称为迭代保序回归（I.I.R.）。本文的主要技术结果是一致性的建议估计时，迭代次数$k_n$增长适当的样本量$n$。证明需要两个辅助的结果，是感兴趣的和本身：首先，我们推广了著名的一致性性质的保序回归的非单调回归函数的框架，其次，我们将回拟合算法的冯诺依曼算法在凸分析。
2013-03-18 math.ST stat.TH
Estimating Conditional Distributions via Sklar's Theorem and Empirical Checkerboard Approximations, with Consequences to Nonparametric Regression
University of Salzburg（萨尔茨堡大学）
本文通过Sklar定理和经验近似方法，提出了一种估计条件分布的新方法，并展示了其在非参数回归中的应用价值。
2026-02-01 math.ST stat.TH
Gaussian Regularized Sliced Inverse Regression
切片逆回归（SIR）是高维回归问题降维的一种有效方法。然而，原始方法需要反演预测因子的协方差阵。如果这些预测因子之间存在共线性或与维度相比样本量较小，则无法进行反演，必须使用正则化技术。我们的方法是基于R. D.库克在那里，它表明，SIR轴可以解释为逆回归问题的解决方案。本文对逆回归问题的未知参数引入高斯先验分布，以正则化其估计。我们表明，一些现有的SIR正则化可以进入我们的框架，这使得全球了解这些方法。提出了三个新的先验导致新的正则化的SIR方法。提供了模拟数据的比较。
2011-03-31 math.ST stat.TH
Multilayer Perceptron with Functional Inputs: an Inverse Regression Approach
随着越来越多的实际应用涉及函数数据，函数数据分析是一个不断发展的研究领域。在本文中，我们专注于回归和分类与功能预测的问题：建议的模型结合了一个有效的降维过程[功能切片逆回归，首先介绍了Ferré和姚（统计，37，2003年，475）]，为此，我们给出了一个正则化的版本，与神经网络的准确性。给出了一些一致性结果，并成功地将该方法应用于实际数据。
2007-05-02 math.ST stat.TH
Additive inverse regression models with convolution-type operators
在最近的一篇论文中，Birke和Bissantz（2008）考虑了具有卷积型算子的逆回归模型中的非参数估计问题。对于多变量预测，非参数方法受到维数灾难的影响，我们考虑逆回归模型与附加的定性假设的可加性。在这些模型中，几个加性估计进行了研究。特别是，我们调查的随机设计假设下，适用于观察时，网格上不可用的估计。最后，我们通过模拟研究，比较了这种估计与边际积分和非可加估计。它表明，新的方法产生了实质性的改善，目前可用的程序。
2013-03-18 math.ST stat.TH
Functional Slicing-free Inverse Regression via Martingale Difference Divergence Operator
提出无切片函数型逆回归（FSFIR），基于鞅差散度算子估计中心子空间，免去切片数选择，并给出收敛速率，模拟验证其高效便捷。
2023-10-17 math.ST stat.TH
Optimal quantization applied to Sliced Inverse Regression
在本文中，我们考虑一个半参数回归模型，涉及$d$维的定量解释变量$X$，并包括一个降维的$X$通过一个指标$β'X$。在该模型中，主要目标是估计欧几里德参数$β$并有条件地预测真实响应变量$Y$到$X$。我们的方法是基于切片逆回归（SIR）方法和最佳量化$\mathbf{L}^p$ -范数。我们得到了$β$和条件分布的估计的收敛性。模拟研究表明，所提出的估计有限样本量的良好的数值行为。
2011-01-12 math.ST stat.TH
Estimating the logistic regression equation when the model is incorrect
Norwegian Computing Centre（挪威计算中心）；University of Oslo（奥斯陆大学）
研究当逻辑回归模型仅为真实函数的近似时，基于似然的估计量（如最大似然估计）的一致性和渐近正态性，并指出最小化加权距离的“最小假”参数值。
2026-05-26 math.ST stat.TH
Asymptotically efficient estimation of linear functionals in inverse regression models
本文讨论了逆非参数回归模型中未知回归函数的线性泛函估计的改进方法。在Klaassen、Lee和Ruymgaart（2001）中，已经证明了这种传统的估计量不是渐近有效的（在Hájek-Le Cam卷积定理的意义上），除非误差分布可能是正态的。然而，由于这个估计量仍然是根-n相容的，Bickel，Klaassen，Ritov和Wellner（1993）中的一个过程适用于构造一个渐近有效的修改。一个独立的证明的渐近效率。
2002-12-27 math.ST stat.TH
Linear Regression without computing pseudo-inverse matrix
我们提出了一种基于Gram-Schmidt正交投影的线性回归方法，该方法不计算伪逆矩阵。这在我们为了模拟的目的想要用随机数据向量进行几次回归时很有用。
2013-11-06 math.ST stat.CO stat.TH
A Note on Sliced Inverse Regression with Regularizations
在“Li，L.和Yin，X.（2008年）。正则化切片逆回归。Biometrics，64（1）：124- 131”引入岭SIR估计器作为最小化问题的解决方案，并通过交替最小二乘算法进行计算。这种方法在实践中表现良好。在本文中，我们重点讨论了估计量的理论性质。它表明，最小化问题是退化的意义上说，只有两种情况可能发生：要么岭SIR估计不存在或它是零。
2011-04-01 math.ST stat.TH
Estimating Average Treatment Effects in Regression Discontinuity Designs with Covariates under Minimal Assumptions
本研究在最小假设下证明协变量调整的回归不连续估计量渐近正态，揭示协变量可消除偏差且不增方差，并允许无潜在结果时的敏感性分析。
2023-10-13 math.ST stat.TH
Continuous inverse regression
我们提供了新的理论成果，在该领域的逆回归方法的降维。我们的方法是基于一些经验的过程，靠近一定的降维子空间，称为中央子空间的研究。对这些过程的研究主要包括弱收敛结果和一些一般Bootstrap过程的相合性。虽然这些属性被用来获得切片逆回归的新结果，但它们主要允许定义一个自然的降维方法家族。首先，估计方法的根$n$率和自助被证明是有效的。其次，我们描述了一族Cramér-vonMises检验统计量，它可用于检验中心子空间的结构性质或某些预测集的显著性。我们表明，这些测试的分位数可以通过自举计算。大多数与逆回归相关的现有方法涉及在实践中难以选择的响应切片。虽然我们的方法保证了全面的估计，但不再需要切片。
2015-06-01 math.ST stat.TH
A semiparametric single-index estimator for a class of estimating equation models
我们提出了一个两步的伪极大似然半参数单指标回归模型的条件方差是一个已知的函数的回归和一个额外的参数的过程。具有乘性未观测异质性的Poisson单指标回归是此类模型的一个例子。我们的方法是基于线性指数密度与冗余参数。我们使用的伪似然准则包含指数回归的非参数估计，因此需要一个选择平滑参数的规则。我们提出了一个自动和自然的规则的基础上联合最大化的伪似然指数参数和平滑参数。我们推导出指数参数的半参数估计的渐近性质和我们的“最佳”平滑参数的渐近行为。我们的方法的有限样本性能进行了分析，使用模拟和真实数据。
2017-04-26 math.ST stat.TH
Estimating linear functionals in nonlinear regression with responses missing at random
我们考虑具有参数（线性或非线性）回归函数的回归模型，并允许响应随机缺失。我们假设误差的均值为零，并且与协变量无关。为了估计协变量和响应函数的期望，我们使用完全插补估计量，即基于给定协变量的条件期望估计量的经验估计量。我们利用协变量和误差的独立性，将条件期望写成无条件期望，现在可以由经验插件估计器估计。通过添加适当的基于残差的权重，利用对误差分布的平均零约束。我们证明，估计是有效的（在意义上的Hájek和Le Cam），如果使用一个有效的估计参数。我们的研究结果产生了新的有效的估计平滑变换的期望。估计的平均响应作为一个特殊的（退化）的情况下进行了讨论。
2009-08-21 math.ST stat.TH
Estimating a regression function under possible heteroscedastic and heavy-tailed errors. Application to shape-restricted regression
本文研究在非独立同分布和重尾误差下的回归估计问题，提出了一种最小二乘估计器的替代估计器，证明了其在异方差下具有稳定性和自适应性质，并在形状受限回归中表现优异。
2025-06-01 math.ST stat.TH
Sliced Inverse Regression in Metric Spaces
在这篇文章中，我们提出了一个一般的非线性充分降维（SDR）框架，当预测和响应都位于一些一般的度量空间。我们构造了再生核希尔伯特空间，其核完全由度量空间的距离函数决定，然后利用这些空间的内在结构定义了一个非线性SDR框架.我们适应经典的切片逆回归\citet{Li:1991}在这个框架内的度量空间的数据。我们基于相应的线性算子建立了估计器，并证明了它无偏地恢复了回归信息。我们推导了算子水平和坐标系下的估计量，并建立了它的收敛速度。我们说明了所提出的方法与合成和真实的数据集表现出非欧几里德几何。
2022-06-23 math.ST stat.TH
Inverse regression for longitudinal data
切片逆回归（段和李[安。统计。19（1991）505-530]，Li [J. Amer. Statistist. Assoc.86（1991）316-342]）是用于具有多变量协变量的回归模型的吸引人的降维方法。Ferré和Yao [Statistics 37（2003）475-488，Statist. Sinica 15（2005）665-683]和Hsing和Ren [Ann. Statist. 37（2009）726-755]到函数协变量，其中完全观察到随机函数协变量的整个轨迹。本文的重点是发展间断和稀疏测量的纵向协变量的切片逆回归。我们开发的新程序的渐近理论，并表明，在一定的规律性条件下，估计的方向达到最佳的收敛速率。仿真研究和数据分析也证明了我们的方法的性能。
2015-10-23 math.ST stat.TH
Nonparametric estimation of sliced inverse regression by the $ k$-nearest neighbors kernel method
本文提出基于k近邻核方法的切片逆回归非参数估计，引入协方差矩阵估计量以估计有效降维空间，证明渐近正态性，并通过模拟验证其有限样本性能优于核估计。
2025-05-25 math.ST stat.TH
Robustness of deepest projection regression functional
Zuo（2018）系统地提出并研究了回归中的深度概念。深度概念的一个突出优点是，它可以直接用于在多维环境中引入位置或回归参数的中值型最深估计泛函（或经验分布情况下的估计量）。回归深度共享优势。深度引起的最深估计泛函被期望继承期望的和固有的鲁棒性属性（例如，有界最大偏差和影响函数以及高击穿点），正如它们的单变量位置对应物一样。本文的主要目的是研究和验证最深投影估计泛函的鲁棒性（最大偏差、渐近和有限样本崩溃点以及影响函数）。证明了最深投影估计泛函具有有界的影响函数和最佳可能的渐近崩溃点以及最佳有限样本崩溃点，并对其一元回归和尺度分量进行了稳健选择.
2019-08-12 math.ST stat.ME stat.TH
Optimal two-stage procedures for estimating location and size of the maximum of a multivariate regression function
我们提出了一个两阶段的过程估计的位置$\boldsμ$和大小M的最大值的光滑d-变量回归函数f。在第一阶段中，使用从标准非参数平滑方法获得的$\boldsμ$的初步估计。在第二阶段，我们“放大”附近的初步估计，并在附近的一些设计点进行进一步的观察。我们拟合一个适当的多项式回归模型来估计最大值的位置和大小。证明了在适当的光滑性条件和适当的缩放选择下，第二阶段估计比相应的$\boldsμ$和M.更具体地，对于$α$ -平滑回归函数，对于$α>1+\sqrt{1+d/2}$，第一阶段的最优非参数率$n^{-(α-1)/(2α+d)}$和$n^{-α/(2α+d)}$可以分别改进为$n^{-(α-1)/(2α)}$和$n^{-1/2}$。这些速率在所有可能的序贯估计类中是最优的。有趣的是，两阶段的过程解决了“灾难的维数”的问题在一定程度上，作为尺寸d不控制第二阶段的收敛速度，提供了函数类是足够光滑的。我们认为，我们的过程，达到最佳速率的任何平滑水平$α>2$开始与任何幂律率在第一阶段的初步估计的多阶段推广。
2013-02-19 math.ST stat.TH
An RKHS formulation of the inverse regression dimension-reduction problem
设$Y$是一个标量过程，$X$是一个二阶随机过程，其中给定随机变量$ξ_1,...,ξ_p$属于$X$的闭跨度$L_X^2$，$Y$和$X$是条件独立的.本文研究了逆回归降维问题的统一框架。据发现，识别$L_X^2$与再生核希尔伯特空间的$X$提供了一个平台，从有限到无限维的设置无缝扩展。它还有助于方便的计算算法，可以应用于各种模型。
2009-04-01 math.ST stat.TH
Regression Adjustment for Estimating Distributional Treatment Effects in Randomized Controlled Trials
本文提出一种结合分布回归与预处理信息的回归调整方法，在无强分布假设下提升随机实验中分布性处理效应估计效率，仿真与实际应用验证其精度更优，可识别传统方法遗漏的效应。
2025-01-14 econ.EM math.ST stat.ME
A Statistical Perspective on Inverse and Inverse Regression Problems
广义逆问题的任务是从未知函数的噪声响应中学习，通常表示为已知函数形式的参数，在一般科学学科中受到广泛关注。然而，在主流统计学中，这种反问题范式似乎并不流行.在这篇文章中，我们提供了一个简短的概述，从统计，特别是贝叶斯的角度来看，这样的问题。我们还比较和对比上述类别的问题，也许更熟悉的统计逆回归问题，认为这类问题包含传统的一类逆问题。在我们的审查过程中，我们指出，统计文献是非常稀缺的逆范式，大量的研究工作仍然是必要的发展领域。
2017-07-21 math.ST stat.ME stat.TH
Prediction regions through Inverse Regression
从协变量中预测新的响应是回归中一个具有挑战性的任务，这给高维数据时代提出了新的问题。在本文中，我们感兴趣的逆回归方法从理论的观点。理论结果已经得出了著名的线性模型，但最近，灾难的维数增加了从业者和理论家的兴趣，这些结果的推广为各种估计，校准的高维背景。为了处理高维数据，本文采用了逆回归方法。当特征的数量超过观测的数量时，它是一种可靠和有效的方法。事实上，在某些条件下，处理与正向回归问题相关联的逆回归问题大大减少了要估计的参数的数量，并使问题易于处理。当响应和协变量都是多元时，本文研究了由逆回归构造的估计，主要结果是响应的显式渐近预测区域。所提出的估计器和预测区域的性能进行了分析，通过模拟研究，并与通常的估计器进行比较。
2018-07-09 math.ST stat.ME stat.TH
Functional Inverse Regression in an Enlarged Dimension Reduction Space
本文考虑了泛函逆回归的一个扩大的降维空间。我们的运营商和泛函分析为基础的方法有利于一个紧凑和严格的制定的功能逆回归问题。这也使我们能够扩大可能的空间，降维功能属于。我们的公式提供了一个统一的框架，使经典的概念，如协方差标准化，马哈拉诺比斯距离，SIR和线性判别分析，可以自然和顺利地进行在我们扩大的空间。这种扩大的降维空间也链接到可分希尔伯特空间上的高斯测度的线性判别空间。
2015-03-12 math.ST stat.ML stat.TH
Sliced Inverse Moment Regression Using Weighted Chi-Squared Tests for Dimension Reduction
本文提出了一种利用前两个逆矩进行回归降维的新方法。我们开发相应的加权卡方检验的回归维度。该方法考虑了切片逆回归（SIR）的线性组合，并使用一个新的候选矩阵，该矩阵被设计为恢复整个逆二阶矩子空间的方法。可以基于从维度检验导出的p值来选择最佳组合。理论上，该方法以及切片平均方差估计（SAVE）比SIR和主Hessian方向（pHd）更能够恢复完整的中心降维子空间。因此，它可以在理论水平上替代SIR、pHd、SAVE或它们的任何线性组合。仿真研究表明，所提出的方法可以有一致的更大的功率比SIR，pHd，和SAVE。
2013-08-24 math.ST stat.ME stat.TH
Estimating the minimizer and the minimum value of a regression function under passive design
该研究提出被动设计下光滑强凸回归函数极小点与最小值的估计方法，极小点估计结合正则化局部多项式梯度估计与投影梯度下降，最小值估计采用两阶段策略，证明了算法达到极小极大最优收敛速率。
2023-10-08 math.ST stat.ML stat.TH
Optimal experimental designs for inverse quadratic regression models
本文确定了逆二次回归模型的最优试验设计。我们考虑两种不同的参数化的模型和局部最优设计方面的$c$，$D$ -和$E$ -标准，这反映了各个方面的精度的极大似然估计的参数在逆二次回归模型。特别是它表明，对于一个足够大的设计空间的几何分配规则是最优的许多最优性标准。此外，在许多情况下，关于不同标准的设计在相同点处得到支持。最后，研究了不同最优性准则下不同最优设计的效率，并对一些常用的最优设计的效率进行了研究。
2008-09-29 math.ST stat.ME stat.TH
Confidence bands for multivariate and time dependent inverse regression models
构造了具有卷积型算子的逆回归模型中多元回归函数的一致渐近置信带。利用强逼近方法和一个关于增集系上平稳高斯场上确界的极限定理得到了这些结果。作为一个具体的应用，获得了卷积型逆回归模型中的不定常回归函数$f_t(x)$（$x\in \mathbb {R}^d,t\in \mathbb {R}$）的渐近置信带。最后，我们证明了我们提出的方法在模拟研究和应用程序的椭圆星系NGC5017的光度分布估计的实际可行性。据作者所知，本文的结果是第一个提供了统一的置信带多元非参数函数估计反问题。
2015-04-07 math.ST stat.ME stat.TH
Online Kernel Sliced Inverse Regression
在线降维是高维流数据处理的常用方法。在线主成分分析、在线切片逆回归、在线核主成分分析等方法已经得到了深入的研究，但据我们所知，在线监督的非线性降维方法还没有得到充分的研究。本文提出了一种在线核切片逆回归方法。通过引入近似线性相关条件和字典变量集，解决了在线核切片逆回归方法中变量维数随样本量增加而增加的问题，提出了一种在线更新变量的降阶方法.然后，我们将问题转化为一个在线广义特征分解问题，并使用随机最优化方法来更新的中心降维方向。仿真和实际数据分析表明，该方法可以获得接近批处理核切片逆回归的性能。
2023-01-23 math.ST stat.CO stat.ML
Smoothed estimating equations for instrumental variables quantile regression
工具变量分位数回归的矩条件或估计方程涉及到不连续指示函数。相反，我们使用平滑估计方程（SEE），带宽为$h$。我们表明，SEE的向量的均方误差（MSE）是最小化的一些$h>0$，导致较小的渐近MSE的估计方程和相关的参数估计。相同的MSE最优$h$还最小化了基于SE的$χ^2$检验的高阶第一类错误，并增加了大样本中的大小调整功效。SEE估计量的计算也变得更简单，更可靠，特别是（更多）内生回归。蒙特卡罗模拟在有限样本中证明了所有这些优越的特性，并且我们将我们的估计器应用于JTPA数据。平滑估计方程不仅仅是建立Edgeworth展开和自举精化的技术操作;它还带来了更精确的估计和更强大的测试的真正好处。估计器、模拟和经验示例的代码可从第一作者的网站获得。
2016-09-28 econ.EM math.ST stat.AP
Minimax Risk in Estimating Kink Threshold and Testing Continuity
在不知道门限回归模型是否连续的情况下，给出了估计门限参数的风险下界。当样本大小$ n $仅以立方根速率增长时，界限变为零。出于这一发现，我们开发了一个连续性测试的阈值回归模型和自举计算其\textit{p}值。通过蒙特卡罗模拟验证了该方法的有效性，并探讨了其有限样本性质.
2022-03-01 econ.EM math.ST stat.TH
A Bayesian Multiple Testing Paradigm for Model Selection in Inverse Regression Problems
在这篇文章中，我们提出了一种新的贝叶斯多重检验公式，用于逆向设置中的模型和变量选择，明智地将Bhattacharya（2013）提出的逆参考分布的思想嵌入到由竞争模型组成的混合框架中。我们开发的理论和方法，在一般情况下，包括参数和非参数竞争模型，相关数据，以及误指定。我们的研究表明，渐近多重检验程序几乎肯定会选择最好的逆模型，最大限度地减少最小的Kullback-Leibler发散从真实的模型。我们还表明，差错率，即版本的错误发现率和错误的非发现率几乎肯定收敛到零的样本量趋于无穷大。本文还研究了错误发现率版本的渐近α-控制及其对错误非发现率版本收敛的影响。我们的模拟实验涉及基于小样本的选择之间的逆泊松对数回归和逆几何logit和probit回归，其中回归是线性的或基于高斯过程。此外，还考虑变量选择。我们的多个测试结果证明是非常令人鼓舞的意义上选择最好的模型在所有的非错误指定和错误指定的情况下。
2020-07-15 math.ST stat.ME stat.TH
Estimating the normal-inverse-Wishart distribution
University of Cambridge（剑桥大学）
本文提出一种收敛过程，用于在正态-逆Wishart分布族中实现均值参数到自然参数的转换及最大似然估计，以满足期望传播等应用的需求。
2024-06-03 cs.LG math.ST stat.ML
Tail inverse regression for dimension reduction with extreme response
我们认为，监督降维的问题，特别关注的极值的目标$Y\in\mathbb{R}$解释的协变量向量$X \in \mathbb{R}^p$。一般目的是定义和估计协变量空间的低维子空间上的投影，该投影足以预测目标超出高阈值的情况。我们提出了一个原始的定义尾条件独立性，符合这一目的。受切片逆回归（SIR）方法的启发，我们开发了一个新的框架（TIREX，尾逆回归极端响应），以估计一个极端的充分降维（SDR）空间的潜在更小的维度比一个经典的SDR空间。我们证明了弱收敛尾经验过程中涉及的估计过程，我们说明了模拟和真实世界的数据所提出的方法的相关性。
2023-02-24 math.ST stat.ME stat.TH
Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression
Rutgers University（罗格斯大学）
针对高维重尾误差的鲁棒回归问题，提出可追踪GD、SGD及近端SGD迭代轨迹泛化误差的一致估计量，可用于确定最优停止迭代步，仿真验证了其有效性。
2024-11-03 cs.LG math.ST stat.ME
Unbiased Estimating Equation on Inverse Divergence and Its Conditions
Media Center Toyohashi University of Technology Toyohashi, Aichi, Japan Email；Department of Computer Science；Engineering Toyohashi University of Technology Toyohashi, Aichi, Japan Email
本文研究由倒数函数定义的逆散度，刻画了逆高斯型及广义逆高斯型混合模型下损失函数中函数$f$的条件，使估计方程无偏，并推广至多维情形。
2024-04-25 cs.IT cs.LG math.IT
Estimating conditional Mann-Whitney effects using pseudo-observation-based regression
Institute of Statistics and Mathematical Economics, RWTH Aachen University（统计与数理经济研究所，亚琛工业大学）；Institute for Medical Biometry, Informatics and Epidemiology, University of Bonn, University Hospital Bonn（波恩大学医学院生物统计学、信息学与流行病学研究所，波恩大学医院）
本文提出一种无分布回归模型，通过伪观测方法估计Mann-Whitney效应与协变量的线性关系，并开发了基于bootstrap的假设检验，应用于乳腺癌患者无进展生存期分析。
2026-06-01 math.ST stat.ME stat.TH
Convergence of Pseudo-Bayes Factors in Forward and Inverse Regression Problems
在关于模型比较的贝叶斯文献中，贝叶斯因子起着主导作用。在经典的统计文献中，模型选择标准通常是用交叉验证的思想设计的。Geisser和Eddy（1979）将贝叶斯因子和交叉验证的思想结合起来，创建了伪贝叶斯因子。交叉验证的使用灌输了几个理论上的优势，计算简单性和数值稳定性的贝叶斯因子的边缘密度的整个数据集被替换为产品的交叉验证密度的个别数据点。然而，伪贝叶斯因子的流行仍然是可以忽略不计的贝叶斯因子相比，在理论研究和实际应用。在这篇文章中，我们建立了几乎必然指数收敛的伪贝叶斯因子的大样本下的一般设置下的相依数据和模型误设定。我们特别关注一般参数和非参数回归设置在正向和反向的上下文中。我们用各种例子说明我们的理论结果，提供明确的计算。我们还补充了我们的渐近理论与模拟实验在小样本情况下的泊松对数回归和几何logit和probit回归，另外解决变量选择问题。我们考虑线性和非参数回归建模的高斯过程为我们的目的。我们的模拟结果提供了相当有趣的见解伪贝叶斯因子在正向和反向设置中的使用。
2020-06-10 math.ST stat.ME stat.TH
Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem
该研究将无限维线性算子学习问题转化为非紧逆问题，证明其在谱性质和正则化理论上等价于标量响应回归的紧逆问题，推导了无维度学习速率，适用于多种回归场景。
2024-07-10 math.FA math.PR math.ST
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归，其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的，并且是从数据中学习的，以及后验均值和协方差。我们在经验贝叶斯的框架下工作，其中使用数据计算超参数的点估计，然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析，（i）适用于任何要仿真的连续函数$f$;（ii）表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响，并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题，我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression
University of Science and Technology of China（中国科学技术大学）；Quzhou University（衢州学院）
联邦学习已经成为当今大数据时代的流行工具。它基于来自不同客户端的数据训练集中式模型，同时保持数据分散。本文首次提出了一种联邦稀疏切片逆回归算法。我们的方法可以同时估计中央降维子空间，并在联邦设置进行变量选择。通过安全、无损地构造协方差阵，将联合高维稀疏切片逆回归问题转化为凸优化问题。然后，我们使用一个线性化的交替方向方法的乘子算法估计的中心子空间。给出了确定中心子空间维数和算法超参数的贝叶斯信息准则和保持验证方法。我们建立了一个上界的统计误差率的估计下的异质设置。我们证明了我们的方法的有效性，通过模拟和现实世界中的应用。
2023-01-23 cs.LG math.ST stat.ML
Introduction To Gaussian Process Regression In Bayesian Inverse Problems, With New ResultsOn Experimental Design For Weighted Error Measures
现代应用中出现的贝叶斯后验分布，包括层析成像和地下水流中偏微分方程模型中的逆问题，由于评估数据可能性的计算成本很大，因此在计算上通常是棘手的。为了缓解这个问题，我们考虑使用高斯过程回归来建立一个代理模型的可能性，从而在近似的后验分布，是服从于实际计算。这项工作作为一个介绍高斯过程回归，特别是在建立代理模型的背景下，逆问题，并提出了新的见解到一个合适的选择训练点。我们发现，真实的和近似的后验分布之间的误差可以有界的真实和近似的可能性之间的误差，测量在$L^2$ -范数加权的真实后验，并有效地界定真实和近似的可能性之间的误差，在这个范数建议选择训练点的高斯过程代理模型的基础上的真实后验。
2023-02-09 cs.NA math.NA math.ST
