Adaptive Gaussian inverse regression with partially unknown operator
本文研究了重构函数$f$的不适定反问题，其中$A$是一个具有未知奇异值和已知特征函数的紧线性算子，函数$f$隐式地给出为$g = Af$的解.我们观察到的功能$g$和奇异值的运营商受到高斯白噪声与各自的噪声水平$\varepsilon$和$σ$。我们开发了一个极大极小理论的噪声水平，并提出了一个正交系列估计达到极大极小率。该估计器需要根据$f$和$A$的某些特性来最优地选择维度参数。这项工作解决了完全数据驱动的尺寸参数的选择相结合的模型选择与Lepski的方法。我们表明，完全数据驱动的估计保留了极大极小最优性在广泛的类$f$和$A$和噪声水平$\varepsilon$和$σ$。考虑索伯列夫空间和轻度和严重不适定反问题的结果进行了说明。
2012-04-05 math.ST stat.TH
Quantile regression in partially linear varying coefficient models
半参数模型通常被认为是分析纵向数据的灵活性和简约性之间的良好平衡。本文研究了一类可能变系数的边际部分线性分位数模型。函数系数由基函数近似估计。估计过程易于实现，并且不需要指定误差分布。所提出的估计的渐近性质，以及为常系数的变系数建立。我们开发秩分数检验的假设的系数，包括假设的一个子集的恒定性的变化系数。这种类型的假设检验在理论上具有挑战性，因为在零假设和备择假设下的参数空间的维数随着样本量的增加而增加。我们评估有限样本性能的Monte Carlo模拟研究所提出的方法，并证明其价值的艾滋病数据集的分析，分位数的建模提供了更全面的信息比通常的最小二乘法。
2009-11-18 math.ST stat.TH
Partially adaptive nonparametric instrumental regression
我们考虑非参数工具回归中结构函数的估计问题，其中在存在工具W的情况下，响应Y依赖于内生解释变量Z建模。该估计器是基于降维和额外的阈值。假定结构函数属于某些椭球，这些椭球在一定意义下与Z的条件期望算子相联系，给出了估计量的极小极大最优收敛速率。我们说明这些结果考虑经典的平滑假设。然而，所提出的估计需要一个最佳的尺寸参数的选择取决于某些特性的未知的结构函数和条件期望运营商的Z给定W，这是不知道在实践中。在我们的工作中解决的主要问题是这个尺寸参数的自适应选择使用的模型选择方法的限制下，Z给定W的条件期望运营商是平滑在一定意义上。在这种情况下，我们开发了一个惩罚的最小对比度估计与随机惩罚和收集的模型。我们表明，这种数据驱动的估计可以达到较低的风险绑定到一个常数在广泛的平滑类的结构功能。
2012-04-10 math.ST stat.TH
Partially linear additive quantile regression in ultra-high dimension
本文考虑了一个分析高维异质数据的灵活半参数分位数回归模型。该模型具有以下特点：（1）通过考虑不同的条件分位数，可以得到一个更完整的响应变量的条件分布的图片给定高维协变量。(2)在不同的分位数级别上，允许稀疏性级别不同。(3)部分线性加性结构适应非线性并避免维数灾难。(4)它对重尾分布自然具有鲁棒性。本文采用B样条基函数逼近非线性分量。我们首先研究了当非零分量事先已知且线性部分的协变量个数发散时该模型下的估计。然后，我们研究了同时变量选择和估计的非凸惩罚估计。在松弛条件下，我们得到了一类具有超高维协变量的非凸罚函数的预言性质。为了解决非光滑损失函数、非凸罚函数和非线性成分的存在等问题，我们将最近发展起来的凸差分方法与现代经验过程技术相结合.蒙特卡罗模拟和应用程序的微阵列研究表明，所提出的方法的有效性。我们还讨论了如何为一个单一的分位数的方法可以扩展到同时变量选择和估计在多个分位数。
2016-01-22 math.ST stat.TH
The linearity condition and adaptive estimation in single-index regressions
我们表明，在线性条件下的预测分布，在单指标回归系数可以估计与在连接函数是已知的情况下，具有相同的效率。因此，线性条件似乎替代了已知给定预测变量的线性组合的响应的精确条件分布。
2010-01-26 math.ST stat.TH
Estimation and testing for partially linear single-index models
在部分线性单指标模型中，得到了回归系数的半参数有效轮廓最小二乘估计。我们还采用平滑剪切绝对偏差惩罚（SCAD）的方法，同时选择变量和估计回归系数。我们证明了所得的SCAD估计是相容的，并具有预言性质。随后，我们证明了一个建议的调整参数选择器，BIC，确定真正的模型一致。最后，我们分别对参数系数和非参数分量进行了线性假设检验和拟合优度检验。蒙特卡洛研究也被提出。
2012-11-15 math.ST stat.TH
Hypothesis testing for varying coefficient models in tail index regression
针对尾指数回归缺乏变系数模型检验方法的问题，本文研究估计量的渐近性质，提出用于判断系数函数是否显著随协变量变化的假设检验方法。
2023-12-11 math.ST stat.TH
Non-linearity identification for construction workers' personality-safety behaviour predictive relationship using neural network and linear regression modelling
工人的安全行为的预测可以帮助识别谁打算采取不安全的行为，并在管理实践的设计，以尽量减少事故的发生是有用的脆弱工人。最新的文献证明，人口内部的多样性导致人们在工作场所的预期安全行为，人们发现这些行为因个人的个性特征而异。在这项研究中，一个创新的预测模型，采用神经网络算法，数值模拟建筑工人的人格特质和他们的预期安全行为之间的预测关系。神经网络的数据驱动性质使得能够对关系进行可靠的估计，这使得本研究能够发现关系中存在非线性效应。这项研究具有实际意义。开发的神经网络被证明具有非常令人满意的预测准确性，因此可能有助于协助项目决策者评估工人在工作场所进行不安全行为的倾向。
2020-08-26 cs.LG cs.OH stat.ML
On the Optimal Reconstruction of Partially Observed Functional Data
我们提出了一个新的重建算子，其目的是在给定观测部分的情况下恢复函数的缺失部分。这个新的算子属于一个新的，非常大的一类功能的运营商，其中包括经典的回归运营商作为一个特殊情况。我们展示了我们的重建算子的最优性，并证明了通常考虑的回归算子一般不能是最优重建算子。我们的估计理论允许自相关的功能数据，并考虑实际相关的情况下，每个$n$功能，观察在$m_i$，$i=1,\dots,n$，离散点。我们推导出我们的非参数估计程序使用双渐近的一致性率。对于数据的情况下，在我们的真实数据应用程序中，$m_i$是相当小于$n$，我们表明，我们的功能主成分估计可以提供更好的收敛速度比传统的非参数平滑方法。
2019-05-10 math.ST stat.TH
Robust Estimators in Partly Linear Regression Models on Riemannian Manifolds
在部分线性模型下，当预测变量取值于黎曼流形上时，研究了回归参数和回归函数的一类稳健估计。我们得到了估计量的相合性和渐近正态性。此外，我们考虑了一个强大的交叉验证过程来选择平滑参数。仿真和实际数据的应用表明，我们的建议下的小样本和污染的性能。
2011-05-25 math.ST stat.TH
New efficient estimation and variable selection methods for semiparametric varying-coefficient partially linear models
半参数模型的复杂性给实际应用中经常出现的统计推断和模型选择带来了新的挑战。在这项工作中，我们提出了新的半参数变系数部分线性模型的估计和变量选择程序。本文首先研究了非参数变系数函数和参数回归系数的分位数回归估计。为了达到良好的效率特性，我们进一步发展了一个半参数复合分位数回归程序。我们建立了参数和非参数部分的估计的渐近正态性，并表明估计达到最佳的收敛速度。此外，我们表明，该方法是更有效的比基于最小二乘的方法，许多非正态误差，它只失去了少量的效率为正常的错误。此外，它示出的效率损失是最多11.1%，估计变系数函数和不大于13.6%，估计参数分量。为了实现高维协变量的稀疏性，提出了半参数变系数部分线性模型中变量选择的自适应惩罚方法，并证明了该方法具有预言性质.进行了广泛的Monte Carlo模拟研究，以检查所提出的程序的有限样本性能。最后，我们应用新的方法来分析血浆β-胡萝卜素水平的数据。
2011-03-08 math.ST stat.TH
A Two-Step Projection-Based Goodness-of-Fit Test for Ultra-High Dimensional Sparse Regressions
本文提出了一种针对超高维稀疏回归的两步投影型适配性检验方法，通过构建投影统计量并结合p值组合程序，提高了在高维数据下的检验功效。
2025-12-28 math.ST stat.ME stat.TH
Testing for linearity in scalar-on-function regression with responses missing at random
本文提出了带标量响应的函数线性模型在响应随机缺失时的拟合优度检验，基于标记经验过程和野自助法，比较三种函数斜率估计方法，发现插补法功效最高，并应用于西班牙气象数据检验。
2024-03-22 stat.ME
Semi-Supervised linear regression
我们研究一个回归问题，其中对于某些部分的数据，我们观察标签变量（$Y$）和预测变量（${\bf X}$），而对于其他部分的数据，只有预测变量。例如，当标签变量的观察是昂贵的并且可能需要熟练的人类代理时，就会出现这样的问题。当条件期望$E[Y | {\bf X}]$不完全线性时，可以考虑对条件期望的最佳线性逼近，其可以通过最小二乘估计（LSE）一致地估计。后者仅依赖于标记数据。我们提出了改进的替代估计的LSE，也使用未标记的数据。该估计方法易于实现，且具有简单的渐近性质，在$E[Y | {\bf X}]$的某些非线性条件下，新估计渐近优于通常的标准方法，否则，它们是渐近等价的.通过大量的模拟研究，研究了新估计在小样本量下的性能.最后，通过一个无家可归人口的实例来说明该方法。
2021-04-13 math.ST stat.TH
Quantile Regression for Partially Linear Varying Coefficient Spatial Autoregressive Models
本文研究了具有可能变系数的部分线性空间自回归模型的分位数回归方法。采用B样条函数对变系数进行逼近。参数估计采用工具变量分位数回归方法。秩分检验是对系数的假设进行的检验，包括对不变系数和变系数恒常性的假设。建立了估计量和检验统计量的渐近性质。蒙特卡罗模拟进行研究所提出的方法的有限样本性能。一个真实的数据的例子进行分析说明。
2016-08-05 stat.ME
Bayesian Ordinal Quantile Regression with a Partially Collapsed Gibbs Sampler
与标准线性回归不同，分位数回归将协变量与条件响应分布之间的关系作为一个整体捕获，而不仅仅是协变量与条件响应的期望值之间的关系。然而，虽然连续变量和某些形式的离散数据有成熟的分位数回归方法，但顺序变量没有被广泛接受的方法，尽管它们在许多医学背景下很重要。在这项工作中，我们描述了两个现有的顺序分位数回归方法，并证明他们的弱点。然后，我们提出了一种新的方法，贝叶斯有序分位数回归与部分塌陷吉布斯抽样（BORPS）。我们显示出优越的结果，使用BORPS与现有的方法上的一组广泛的模拟。我们通过将BORPS应用于脆弱家庭和儿童福祉研究数据来进一步说明我们方法的好处，以区分男女之间与青春期提前的联系。软件可在GitHub.com/igrabski/borps上获得。
2019-11-16 q-bio.QM stat.ME
Estimation in Functional Regression for General Exponential Families
研究了一类指数族模型，其标准参数被指定为未知的无穷维斜率函数的线性泛函。建立了斜率函数估计的最优极小极大收敛速度。通过参数的约束极大似然估计构造了达到最优速率的估计量，参数的维数随着样本量的增加而增加。受Le Cam的渐近等价理论的启发，我们使用了一个度量变化的参数来消除指数族模型的非线性所引起的偏差。
2011-08-17 math.FA math.PR math.ST
Group-Average and Convex Clustering for Partially Heterogeneous Linear Regression
本文引入子群最小二乘和凸聚类方法，推导出一种在精准营销和精准医疗领域具有潜在应用价值的部分异质线性回归。利用子群最小二乘法可以一致地估计齐次参数和非齐次参数的子群平均值，而不需要对非齐次参数作稀疏性假设。通过凸聚类可以对异质参数进行一致性聚类。与现有的回归聚类方法不同，我们的聚类过程是一个标准的均值聚类，尽管所研究的模型是一种回归类型，相应的算法只涉及低维参数。因此，即使样本量很大，也是简单和稳定的。通过仿真研究和对汽车销售数据的分析，进一步说明了该方法的优越性。
2017-11-01 stat.ME
Simultaneous confidence bands for nonparametric regression with partially missing covariates
本文考虑了协变量随机缺失的非参数回归的基于逆选择概率的加权局部线性估计。导出了估计量与真实回归函数之间的最大偏差的渐近分布，并构造了渐近精确的同时置信带。回归函数的估计被证明是oracally有效的意义上说，它是一致的不可区分的，当选择概率是已知的。有限样本性能通过模拟研究，支持我们的渐近理论。通过对加拿大2010/2011年青年学生调查数据集的分析，证明了所提出的方法。
2020-02-28 stat.ME
Semi-parametric regression: Efficiency gains from modeling the nonparametric part
结构化非参数模型在非参数估计中的重要性已被广泛认可。在本文中，我们表明，同样适用于半参数估计。我们认为，估计的参数分量的半参数模型，可以从根本上改善时，更多的结构被放入非参数部分的模型。我们说明了这部分线性模型，并调查效率增益时，模型的非参数部分具有添加剂结构。我们提出了估计部分线性可加模型参数部分的半参数Fisher信息界，并提供了半参数有效估计，我们使用光滑的回拟合技术来处理可加非参数部分。我们还提出了有限样本性能的估计和分析波士顿住房数据作为例证。
2011-04-22 math.ST stat.TH
Functional Linear Regression for Partially Observed Functional Data
在函数线性回归模型中，人们提出并研究了许多方法来估计斜率函数，同时在整个区域内观察函数预测。然而，工作的功能线性回归模型与部分观察到的轨迹受到较少的关注。在本文中，为了填补文献空白，我们考虑的情况下，个别功能预测可能只观察到的域的一部分。根据函数预测器中是否存在测量误差，提出了两种方法，一种是基于轨迹观测部分的线性泛函，另一种是使用条件主成分得分。我们建立了这两种方法的渐近性质。有限样本仿真进行验证其性能。分析了阿尔茨海默病神经影像学倡议（ADNI）研究的弥散张量成像（DTI）数据。
2021-12-17 stat.ME
Quantile Regression Tree
本研究提出Quantile Regressor Tree（QRT），通过结合分位数回归与决策树，利用特征分裂引入非线性，在保持可解释性的同时增强了灵活性，为高维预测变量提供参数与非参数混合的条件分位数估计方法。
2024-07-27 stat.AP
Algebraic and Statistical Properties of the Partially Regularized Ordinary Least Squares Interpolator
本文研究部分正则化OLS插值器的代数与统计性质，扩展Cochran公式与留一残差公式，提出同方差方差估计量，并通过模拟验证其有限样本性能。
2024-11-10 math.ST stat.ME stat.TH
Linear regression with partially mismatched data: local search with theoretical guarantees
线性回归是统计学及相关领域的基本建模工具。在本文中，我们研究了线性回归的一个重要变种，其中预测响应对是部分失配的。我们使用一个优化配方，同时学习潜在的回归系数和对应的不匹配的排列。问题的组合结构导致计算挑战。我们提出并研究了一个简单的贪婪局部搜索算法，这个最优化问题，享有强有力的理论保证和吸引人的计算性能。我们证明，在一个适当的缩放比例的不匹配对的数量相比，样本的样本个数和功能，并对问题数据的某些假设，我们的局部搜索算法收敛到一个接近最优解的线性速率。特别地，在无噪声的情况下，我们的算法以线性收敛速率收敛到全局最优解。在此基础上，我们证明了参数估计误差的一个上界。我们还提出了一个近似的本地搜索步骤，使我们能够将我们的方法扩展到更大的实例。我们进行数值实验，以收集进一步的见解，我们的理论结果，并显示有前途的性能增益相比，现有的方法。
2022-10-31 math.OC stat.CO stat.ME
Tests for ultrahigh-dimensional partially linear regression models
本文针对超高维部分线性回归模型，利用机器学习估计冗余函数并构造二次型检验统计量，提出功效增强程序以提升在稀疏和稠密备择下的检验功效，同时保证渐近控制第一类错误。
2023-04-15 stat.ME
Finite Sample Confidence Regions for Linear Regression Parameters Using Arbitrary Predictors
Apple（苹果公司）
本研究提出一种利用任意预测器构建线性回归参数有限样本置信区域的方法，该方法对噪声假设少、适用函数范围广，可转化为混合整数线性规划约束实现优化与区间提取，置信区域为空的特性可用于假设检验，且已在合成数据上验证了适用性。
2024-01-27 cs.LG math.ST stat.ML
Partially-shared Imaging Regression on Integrating Heterogeneous Brain-Cognition Associations across Alzheimer's Diagnoses
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai University of Finance and Economics（上海财经大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出PAIR模型，通过部分共享结构整合异质脑认知关联，揭示不同诊断组脑认知路径的显著异质性。
2026-04-30 stat.ME
Flexible Specification Testing in Quantile Regression Models
本文提出了三种新的分位数回归模型的一致性规格检验方法，从三个方面推广了以往的检验方法。首先，我们允许协变量效应是分位数依赖的和非线性的。其次，我们允许通过适当的基函数参数化条件分位数函数，而不是参数化。因此，我们能够测试超出线性的函数形式，同时保留线性效应作为特殊情况。在这两种情况下，诱导类的条件分布函数进行了测试与Cramér-von Mises型检验统计量，我们推导出的理论极限分布，并提出了一个自助法。第三，为了增加检验的功效，我们进一步提出了一种改进的检验统计量。我们强调我们的测试在详细的MC研究和两个真实数据的例子的优点。我们对德国条件收入分配的第一次应用表明，在以年龄和年份为条件时，不仅东西方之间仍然存在显著差异，而且条件收入分配的分位数之间也存在显著差异。从澳大利亚国家电力市场的数据的第二个应用程序揭示了使用交互作用的重要性，建模的高度倾斜和重尾分布的能源价格条件的一天，一天中的时间和需求。
2021-12-05 math.ST stat.ME stat.TH
Estimation and inference of high-dimensional partially linear regression models with latent factors
本研究提出高维因子调整稀疏部分线性回归模型FAPLM，结合B样条与因子分析实现惩罚估计，推导了误差界与显著性检验方法，经数值实验与出生体重数据集验证兼具理论价值与实用性。
2025-01-11 stat.ME
Estimation of Partially Linear Regression Model under Partial Consistency Property
本文利用高维统计建模的最新理论成果，提出了一种无模型但计算简单的方法来估计部分线性模型$Y=Xβ+g(Z)+\varepsilon$。受部分一致性现象的启发，我们建议通过附带参数来建模$g(Z)$。通过对$Z$的支持度进行划分，采用简单的局部平均值来估计响应面。所提出的方法旨在取得平衡的计算负担和效率的估计，同时最大限度地减少模型偏差。在计算上，这种方法只涉及最小二乘法。我们证明，给定$g(Z)$的不一致估计量，可以以很小的效率代价获得部分线性模型的参数分量$β$的根$n$相合估计量。此外，在$β$估计的条件下，$g(Z)$的最优估计，然后可以得到使用经典的非参数方法。考虑了$β$的统计推断问题和$g(Z)$的两种群非参数检验问题。我们的结果表明，检验统计量的行为是令人满意的。为了评估我们的方法与其他方法相比的性能，进行了三个模拟研究和一个真实的数据集出生体重的危险因素进行了分析。
2014-01-09 stat.CO stat.ME
A Pseudo-Likelihood Approach to Linear Regression with Partially Shuffled Data
George Mason University（乔治梅森大学）；U.S. Census, CSRM（美国人口普查局CSRM）
最近，由于单独的数据收集和数据整合的不确定性，在对应于同一统计单元的匹配对中没有观察到预测因子和响应的情况下，线性回归引起了极大的兴趣。不匹配的配对会显著影响模型拟合并破坏回归参数的估计。在本文中，我们提出了一种方法来调整这种不匹配下的“部分洗牌”，其中一个足够大的部分（预测，响应）对观察到他们的正确对应。所提出的方法是基于伪似然，其中每个术语采取的形式的两个组件的混合物密度。期望最大化方案提出了优化，其中（i）规模有利的样本数量，（ii）实现了优异的统计性能相对于一个预言机，可以访问正确的配对，通过模拟和案例研究验证。特别是，所提出的方法可以容忍相当大的比例的失配比现有的方法，并能够估计的噪声水平以及失配的比例。所得估计量（标准误、置信区间）的推断可以基于复合似然估计的已建立理论。在此过程中，我们还提出了一个统计检验的存在的失配，并建立其一致性在适当的条件下。
2019-10-03 cs.LG stat.ME stat.ML
Regression modelling of spatiotemporal extreme U.S. wildfires via partially-interpretable neural networks
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Statistics Program, Computer, Electrical and Mathematical Sciences and Engineering (CEMSE) Division, King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学计算机、电气与数学科学与工程（CEMSE）分部统计项目）
针对美国极端野火风险量化需求，提出结合线性/加性回归与深度学习的部分可解释神经网络及新型极值点过程模型，在高维野火数据上预测性能显著优于传统回归方法。
2024-03-07 cs.LG stat.ME stat.ML
Statistical inference for partially shape-constrained function-on-scalar linear regression models
本文针对部分形状约束的函数型标量线性回归模型，提出基于核与样条方法的复合假设检验框架，通过度量约束与无约束拟合的 $L^2$ 距离进行推断，并从理论和数值上验证了检验的一致性与实用性。
2025-05-08 stat.ME
Quantile Regression with Multiple Proxy Variables
由于多个数据源的可用性，数据集成变得越来越流行。本研究考虑了当关键协变量在多个数据集上具有多个代理时的分位数回归估计。在一个统一的估计过程中，所提出的方法采用了多个代理，有各种关系的未观察到的协变量。所提出的方法允许推断的分位数函数和未观察到的协变量。此外，它不需要分位数函数的线性，同时，容纳线性和非线性代理。模拟研究表明，这种方法成功地集成了多个代理，并揭示了广泛的非线性数据的分位数关系。所提出的方法适用于从韩国统计局提供的家庭财务和生活条件调查中获得的行政数据，以具体说明在存在多种收入记录的情况下资产与工资收入之间的关系。
2022-10-22 stat.ME
Regression with Partially Observed Ranks on a Covariate: Distribution-Guided Scores for Ranks
这项工作的动机是从韩国最大的互联网门户网站之一手工收集的数据集。该数据集记录了其在线留言板上最常讨论的前30只股票。频率被认为是衡量投资者对个股的关注程度。数据分析的实证目标是调查这种关注对交易行为的影响。为此，我们回归（第二天）的回报和（部分）观察到的频率等级。在回归中，等级被转换成分数，为此目的，通常使用同一性或线性分数。在本文中，我们提出了一类新的分数（分数函数），这是基于预先确定的随机变量的顺序统计量的时刻。新的评分函数，表示为D-秩，被证明是渐近最优的响应和得分之间的相关性最大化时，预先决定的随机变量和真正的协变量是在同一个位置尺度的家庭。此外，使用D秩的最小二乘估计量一致地估计响应与协变量之间的真实相关性，并渐近接近正态分布。我们还提出了一个程序，用于诊断给定的评分函数（相当于预先决定的随机变量Z），并选择一个更适合的数据。我们数值上证明了使用一个正确指定的分数函数的优势，在估计的相关系数的身份分数（或其他错误指定的分数）。最后，我们应用我们的建议，以测试投资者的注意力对他们的回报的激励数据集。
2017-01-04 stat.ME
Semiparametric logistic regression for inference on relative vaccine efficacy in case-only studies with informative missingness
本文提出半参数逻辑回归方法，在仅病例研究中处理病毒株类型信息性缺失，利用目标最大似然估计和机器学习推断亚组特异性相对疫苗效力，并应用于ENSEMBLE COVID-19试验。
2025-03-11 stat.ME
Stochastic EM for Shuffled Linear Regression
Stanford University（斯坦福大学）
我们考虑了线性回归模型中的推理问题，其中输入特征和输出标签的相对顺序是未知的。这样的数据集自然产生于实验，其中样本在协议期间被打乱或排列。在这项工作中，我们提出了一个框架，对待未知的置换作为一个潜在的变量。我们使用随机期望最大化（EM）方法最大限度地提高观测的可能性。我们将此与文献中的主导方法进行比较，该方法对应于我们框架中的硬EM。我们的合成数据，我们开发的随机期望最大化算法有几个优点，包括较低的参数误差，选择初始化的敏感性较低，和显着更好的性能数据集，只有部分洗牌。最后，我们进行了两个实验的真实数据集，已部分洗牌，在其中我们表明，随机期望最大化算法可以恢复的权重与适度的错误。
2018-04-02 cs.LG stat.ML
Learning and Control Beyond Linearity: Towards a Non-asymptotic Theory for Bilinear Systems
Cornell University（康奈尔大学）；Imperial College London（帝国理工学院）；University of Stuttgart（斯图加特大学）；University of Washington Seattle（华盛顿大学西雅图分校）；Amazon Inc.（亚马逊公司）
本教程统一阐述双线性学习与控制，对比线性系统揭示其本质差异，介绍有限样本学习工具与保证，并讨论控制方法及与强化学习的联系。
2026-09-29 cs.LG cs.RO cs.SY
Statistical Inference for Generalized Additive Partially Linear Model
广义可加模型（GAM）是一种强有力的工具，已经得到了很好的研究。这个模型类有助于识别加性回归结构。通过现有的测试程序，可以识别回归结构，甚至尖锐，如果一些组件功能有参数形式。广义加性部分线性模型（GAPLM）结合了参数和非参数两种模型，具有GLM的简单性和GAM的灵活性。我们使用混合样条-后拟合核估计方法，它结合了样条和核方法的最佳特性，使快速，有效和可靠的估计在阿尔法混合条件下。此外，给出了独立条件下检验总体趋势的同步置信走廊和参数的经验似然置信区域。得到了渐近性质，仿真结果支持理论性质。对于应用程序，我们使用GAPLM来提高$19610$德国公司的默认预测的准确率。本文的quantlet可在https://github.com上获得。
2020-09-10 stat.ME
Sparse Model Identification and Learning for Ultra-high-dimensional Additive Partially Linear Models
可加部分线性模型（APLM）结合了非参数回归的灵活性和回归模型的简约性，已被广泛应用于多元非参数回归中，以缓解“维数灾难”。在实践中提出的一个自然问题是选择非参数部分的结构，也就是说，是否连续的协变量进入线性或非参数形式的模型。在本文中，我们提出了一个全面的框架，同时稀疏模型识别和学习的超高维APLM的线性和非参数组件可能大于样本量。我们提出了一种快速有效的两阶段程序。在第一阶段，我们将非参数函数分解为线性部分和非线性部分。采用常数样条基逼近非线性函数，并提出了一种三重罚函数法，利用自适应群LASSO选择非零分量。在第二阶段，我们使用高阶多项式样条重新拟合数据与选定的协变量，并应用样条回拟合局部线性平滑，以获得渐近正态的估计。该程序被证明是一致的模型结构识别。它可以正确有效地识别零、线性和非线性分量。可以对线性系数和非参数函数进行推断。我们进行模拟研究，以评估该方法的性能，并将所提出的方法应用到一个数据集上的茎尖分生组织（SAM）的玉米基因型进行说明。
2018-11-01 stat.ME
Regression for partially observed variables and nonparametric quantiles of conditional probabilities
在有偏抽样、截尾或截尾情形下的有效估计是一个困难的问题，它已得到部分解答，而且通常的估计量并不总是相容的。对于含变量$(X,Y)$的模型（其中$Y$为指标，$X$为解释变量）或连续变量$(X,Y)$，考虑了几种有偏设计。讨论了模型的可辨识性。提出了回归函数和条件分位数的新的非参数估计。
2007-10-19 math.ST stat.TH
Lattice Designs in Standard and Simple Implicit Multi-linear Regression
统计学家通常使用普通最小二乘来最小化受试者响应中相对于独立解释变量的随机误差。然而，Wooten展示了如何使用普通最小二乘法来最小化系统中的随机误差，而无需定义受试者响应。Wooten利用格点设计证明了无响应分析是多元线性回归中随机变量与参数估计之间金字塔关系的一种较优的替代旋转。简单线性共线性的无响应分析和简单线性回归中的旋转分析挑战了固定效应的概念;统一性作为随机度量（变量）包含在内。使用格点的插图设计了一个均值算子，该算子生成标准均值和自加权均值以及其他具有随机权重的点估计值;还设计了一个连接，该连接说明了方差和协方差;并开发了称为内部协方差和基方差的方差度量。这些概念用于说明如何使用这些措施来评估标准简单线性回归和简单隐式回归（无响应和旋转）中的参数估计值。这些格点设计的分析结果显示，标准简单线性回归通过将一个方向的方差视为与两个相邻协方差（标准和内部）相关来限制关系，而无响应分析则根据内部协方差和基础方差来定义关系。
2016-03-25 stat.ME
Generalized Deep Regression for Repeated Measurements
Bristol Myers Squibb（百时美施贵宝）
本文提出用ReLU深度神经网络估计重复测量数据的边际回归函数，通过凸损失和Oracle不等式，达到最优收敛速率，并支持点估计与推断。
2026-09-23 cs.LG stat.ML
Testing Linear Operator Constraints in Functional Response Regression with Incomplete Response Functions
假设检验程序的开发，以评估线性算子约束的功能标量回归时，观察到不完整的功能反应。该方法能够在一个统一的框架内对函数回归系数的形状和其他方面进行统计推断，该框架包括三种不完全抽样情况：（i）部分观测的响应函数作为域的随机子区间上的曲线段;（ii）离散观测的函数响应具有附加测量误差;以及（iii）前两种情况的组合，其中部分观测的响应段被离散地观测，具有测量误差。后一种情况迄今为止几乎没有被探索过，尽管这种结构化数据在应用程序中越来越常见。对于统计推断，与约束空间的偏差通过集成$L^2$测量-来自约束和无约束模型空间的模型估计值之间的距离。建立了该检验方法的大样本性质，包括检验统计量的相合性、渐近分布和局部功效。有限样本功率和水平的建议测试进行了研究，在模拟研究，涵盖了各种情况。所提出的方法说明了美国肥胖流行率数据的应用程序，分析其随着时间的推移的趋势的功能形状，并在汽车人体工程学的研究运动分析。
2022-12-02 stat.ME
quantreg.nonpar: An R Package for Performing Nonparametric Series Quantile Regression
R包quantreg.nonpar实现了非参数分位数回归方法来估计部分线性分位数模型并进行推断。quantreg.nonpar基于对模型的非参数部分的系列近似来获得条件分位数函数及其导数的点估计。它还提供了逐点和均匀的置信区间的协变量值和/或分位数指数的相同功能，使用分析和重新排序方法的区域。本文介绍了该软件包，并展示了其中包含的函数的基本功能。
2016-10-26 econ.EM stat.CO
Multi-Kink Quantile Regression for Longitudinal Data with Application to the Progesterone Data Analysis
基于一项纵向研究中孕酮与月经周期天数的关系，我们提出了一个多扭结分位数回归模型用于纵向数据分析。它放松了线性条件，并在阈值协变量域的不同区域假设不同的回归形式。在本文中，我们首先提出一个多扭结分位数回归的纵向数据。提出了两种估计方法来估计回归系数和扭结点位置：一种是在工作独立性框架下的计算有效的轮廓估计，另一种是使用无偏广义估计方程方法来考虑受试者内相关性。证明了扭折点个数的选择相合性和两个估计量的渐近正态性。其次，针对纵向研究中扭结效应的存在，我们构造了一个基于偏次梯度的秩和检验。导出了检验统计量的零分布和局部替代分布。仿真研究表明，所提出的方法具有良好的有限样本性能。在纵向孕酮数据的应用中，我们发现了孕酮曲线在不同分位数上的两个扭结点，并观察到孕酮水平在排卵前保持稳定，然后在排卵后5 - 6天迅速上升，然后又恢复稳定甚至略有下降
2021-12-09 stat.ME
Residual-on-Residual Regression as a Tool for Effect Estimation in Observational Data
Emory University（埃默里大学）；University of Pittsburgh（匹兹堡大学）
提出残差对残差回归方法，通过拟合结局和暴露的混杂调整模型，再用普通最小二乘回归结局残差对暴露残差，估计部分线性模型中的暴露效应，在弱正向性违反时比AIPW和TMLE更稳定。
2026-07-01 stat.AP stat.ME
Quantile regression for longitudinal data: unobserved heterogeneity and informative missingness
线性分位数回归模型旨在提供（条件）响应分布作为一组观察到的协变量的函数的详细且稳健的图像。纵向数据代表了这类模型的一个有趣的应用领域;由于其特有的特征，它们代表了一个实质性的挑战，因为需要扩展标准的横截面模型表示来处理这类数据。事实上，来自同一个统计单位的重复观察会带来依赖性问题;从条件的角度来看，这种依赖性可以归因于未观察到的个体特异性异质性来源。沿着这些路线，分位数回归模型最近已扩展到纵向，连续，响应的分析，通过时间常数或随时间变化的随机效应的依赖性建模。在这篇手稿中，我们介绍了一个一般的分位数回归模型的纵向，连续的，响应时变和时间常数的随机参数共同考虑。纵向设计的另一个特征是存在部分不完整的序列，这是由于一些个体在设计结束前离开研究。缺失数据处理可以产生可以关于纵向数据模型的参数提供信息的单元的选择。为了处理不可挽回的辍学的情况下，我们引入了一个模式混合版本的线性分位数隐马尔可夫模型，在那里我们占随时间变化的异质性和固定效应向量的变化，由于差分倾向留在研究。所提出的模型说明使用一个众所周知的基准数据集的纵向动态的CD 4细胞，并通过一个大规模的模拟研究，需要不同的分位数和完整的和部分完整的（即受辍学）的个人序列。
2015-07-29 stat.ME
Are Linear Regression Models White Box and Interpretable?
University of Leicester（莱斯特大学）；Queen Mary University of London（伦敦玛丽女王大学）；Barts Health NHS Trust（巴特保健国民保健信托基金）；University of Zakho（扎胡大学）；St Bartholomew’s Hospital（圣巴塞洛缪医院）；William Harvey Research Institute（威廉·哈维研究所）；NIHR Barts Biomedical Research Centre（英国国家卫生研究院巴特生物医学研究中心）；Barts Heart Centre（巴特心脏中心）
本文质疑线性回归模型作为“白盒”且易于解释的普遍观点，指出其面临线性性、多重共线性等挑战，建议在可解释性上将其与复杂模型同等对待。
2024-07-16 cs.LG stat.ML
Nonparametric local polynomial regression for functional covariates
本文研究无限维希尔伯特空间中函数型协变量的非参数回归，提出局部多项式估计方法，并在适当调节与回归函数超光滑条件下证明其可获得通常被认为不可达到的多项式收敛速度。
2025-04-08 math.ST stat.TH
SCAD-penalized regression in high-dimensional partially linear models
在部分线性模型中，在线性部分协变量个数不同的情况下，在回归系数向量稀疏的假设下，考虑了变量的同时选择和估计问题.我们应用SCAD惩罚来实现线性部分的稀疏性，并使用多项式样条来估计非参数分量。在合理的条件下，它表明，在变量的选择和估计方面的一致性，可以同时实现的线性和非参数成分。此外，非零系数的SCAD惩罚估计具有渐近预言性质，在这个意义上，它是渐近正态的，具有相同的均值和协方差，如果零系数是已知的。SCAD惩罚估计的有限样本行为进行了评估与模拟和说明的数据集。
2009-03-31 math.ST stat.TH
Joint asymptotics for semi-nonparametric regression models with partially linear structure
我们考虑一个联合渐近框架研究半非参数回归模型，其中（有限维）欧几里德参数和（无限维）功能参数都感兴趣。考虑的模型类共享一个部分线性结构，并在两个一般情况下估计：（i）准似然和（ii）真似然。我们首先证明了欧氏估计和（逐点）功能估计，这是重新缩放在不同的速率，共同收敛到一个零均值高斯向量。这个弱收敛结果揭示了一个令人惊讶的联合渐近现象：这两个估计是渐近独立的。本文的一个主要目标是获得第一手的洞察上述现象。此外，一个似然比测试提出了一组联合本地的假设，其中一个新版本的威尔克斯现象[安。9（1938）60-62; Ann. Statistist. 1（2001）153-193]已公布。一种新的技术工具，称为联合Bahadur表示，开发研究这些联合渐近的结果。
2015-06-03 math.ST stat.TH
Partially Observed Dynamic Tensor Response Regression
University of Miami Herbert Business School（迈阿密大学赫伯特商学院）
在现代数据科学中，动态张量数据在许多应用中占主导地位。一个重要的任务是描述这种动态张量与外部协变量之间的关系。然而，张量数据往往只是部分观察到的，使许多现有的方法不适用。在这篇文章中，我们开发了一个回归模型，部分观察到的动态张量作为响应和外部协变量作为预测。我们在回归系数张量上引入了低秩、稀疏和融合结构，并考虑了一个投影到观测条目上的损失函数。我们开发了一个有效的非凸交替更新算法，并从我们的优化算法的每一步推导出实际估计的有限样本误差界。张量响应中未观察到的条目带来了严峻的挑战。因此，我们的建议有很大的不同，在估计算法，正则条件，以及理论性质，相比现有的张量完成或张量响应回归解决方案。我们说明了我们提出的方法使用模拟的有效性，和两个真正的应用程序，神经成像痴呆症的研究和数字广告的研究。
2021-05-13 cs.LG math.ST stat.ML
Efficient least squares for estimating total effects under linearity and causal sufficiency
递归线性结构方程模型被广泛用于假设观测数据背后的因果机制。在这些模型中，每个变量等于剩余变量的子集加上误差项的线性组合。当不存在未观察到的混杂或选择偏倚时，假设误差项是独立的。我们考虑在这种情况下估计总的因果效应。因果结构被假定为已知的最大定向部分有向无环图（MPDAG），一般类的图形，可以表示马尔可夫等价类的有向无圈图（DAG）与添加的背景知识。我们提出了一个简单的估计基于递归最小二乘法，它可以一致地估计任何确定的总的因果效应，在点或联合干预。我们表明，这种估计是最有效的所有定期估计的基础上的样本协方差，其中包括协变量调整和估计采用联合IDA算法。值得注意的是，我们的结果在没有假设高斯误差的情况下成立。
2022-03-17 math.ST stat.ME stat.TH
