Potentially Predictive Variance Reducing Subsample Locations in Local Gaussian Process Regression
高斯过程模型通常用作计算机实验的仿真器。然而，开发一个高斯过程仿真器可以是计算上禁止时，实验样本的数量甚至适度大。局部高斯过程近似（Gramacy and Apley，2015）被提出作为一种精确且计算上可行的仿真替代方案。然而，构建特定于特定感兴趣位置处的预测的局部子设计仍然是该技术的实质性计算瓶颈。本文提出了两种计算效率高的邻域搜索限制技术，最大距离法和特征近似法。两个例子表明，所提出的方法确实节省了大量的计算，同时保持仿真精度。
2016-11-26 stat.CO stat.ME
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Efficient Bayesian Deep Ensembles via Analytic Predictive Inference
Wm Michael Barnes ’64 Department of Industrial and Systems Engineering（工业与系统工程系）
该研究提出一种高效贝叶斯深度集成方法用于预测回归，结合贝叶斯推理与深度集成优势。通过低维集成表示、闭式贝叶斯聚合和独立集成训练三个关键组件，在保持可靠不确定性估计时实现了有竞争力的预测性能。
2026-07-09 cs.LG stat.ME
Multivariate Lévy Adaptive B-Spline Regression
Sookmyung Women’s University（淑明女子大学）；Seoul National University（首尔国立大学）
本研究提出MLABS模型，通过贝叶斯非参数方法捕捉多变量函数的非线性等特征，开发适配的MCMC算法，经模拟与真实数据验证，其预测性能优且计算成本低。
2026-10-15 stat.CO stat.ME
Bayesian predictive densities for linear regression models under alpha-divergence loss: some results and open problems
本文考虑方差未知的正态线性模型在α-散度损失下的预测密度估计，其中α-1 <= α <= 1。我们首先给出了问题的一般标准型，然后给出了广义贝叶斯解在上述损失下的一般表达式。对于Maruyama和Strawderman（2005，2006）研究的一类特殊的分层广义先验，分别针对均值向量和方差的估计问题，给出了广义Bayes预测密度.此外，我们表明，对于这些先验的一个子类，当alpha=1时，所得估计量相对于右不变先验支配广义贝叶斯估计量，即，最佳（完全）等变极大极小估计量。
2010-02-19 math.ST stat.TH
The ARR2 prior: flexible predictive prior definition for Bayesian auto-regressions
提出ARR2先验，通过在贝叶斯时间序列模型中联合定义自回归分量及其诱导$R^2$，实现灵活直观的收缩，有效提升了稀疏推断质量与预测性能。
2025-02-06 econ.EM stat.CO
Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations?
University of Chicago（芝加哥大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
虽然不确定性估计是深度学习中一个研究得很好的主题，但大多数此类工作都集中在边际不确定性估计上，即各个输入位置的预测均值和方差。但是，估计不同输入位置处的函数值之间的预测相关性通常更有用。在本文中，我们考虑的问题，基准如何准确贝叶斯模型可以估计预测相关性。我们首先考虑一个依赖于后验预测相关性的下游任务：转导主动学习（TAL）。我们发现TAL比普通的主动学习更好地利用了模型的不确定性估计，并推荐将其作为评估贝叶斯模型的基准。由于TAL太昂贵和间接的指导算法的开发，我们引入了两个指标，更直接地评估预测相关性，可以有效地计算：元相关性（即模型相关性估计和真实值之间的相关性），和交叉归一化似然（XLL）。我们通过证明它们与TAL性能的一致性来验证这些指标，并了解当前贝叶斯神经网络和高斯过程模型的相对性能。
2021-03-01 cs.LG stat.ML
Conformalized Kernel Ridge Regression
IITP RAS（俄罗斯科学院信息技术问题研究所）；Skoltech（斯科尔科沃科学技术学院）
一般预测模型不提供没有贝叶斯假设的预测的置信度度量。规避潜在限制的一种方法是使用保形方法来构造非参数置信区域，其提供关于有效性的保证。在本文中，我们提供了一个计算有效的核岭回归（KRR）的保形过程的详细描述，并进行了比较数值研究，看看如何以及保形区域对贝叶斯置信集执行。研究结果表明，一致化KRR可以得到具有特定覆盖率的预测置信区域，这对于构建基于预测模型的异常检测系统至关重要.
2016-09-19 cs.LG stat.AP stat.ML
Marginally-calibrated deep distributional regression
深度神经网络（DNN）回归模型广泛用于需要最先进的预测精度的应用中。然而，直到最近，很少有工作准确的不确定性量化预测从这样的模型。我们添加到这个文献中，概述了一种方法来构建预测分布，是“边缘校准”。这是响应变量的预测分布的长期平均值与观察到的经验边际相匹配的地方。我们的方法考虑了DNN回归，最终层权重具有条件高斯先验，从中提取特征空间上的隐式copula过程。该Copula过程与响应的非参数估计的边缘分布相结合。最终的结果是一个可扩展的分布式DNN回归方法，具有边缘校准的预测，我们的工作补充了现有的概率校准方法。该方法首先说明使用两个应用程序的密集层前馈神经网络。然而，我们的主要激励应用是在似然自由推理中，其中分布深度回归用于估计边缘后验分布。在两个复杂的生态时间序列的例子中，我们采用卷积网络的隐式copula，并表明边际校准的结果，在改进的不确定性量化。我们的方法还避免了需要手动规范的汇总统计，这是一个要求，是繁重的用户和典型的竞争似然自由推理方法。
2020-09-03 stat.CO stat.ME stat.ML
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中，我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性，因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因，并提出了一个新的训练框架，捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
How Good are Low-Rank Approximations in Gaussian Process Regression?
我们提供保证近似高斯过程（GP）回归产生两个常见的低秩内核近似：基于随机傅立叶特征，并基于截断内核的Mercer扩展。特别地，我们将精确GP与从上述低秩近似到其内核之一产生的GP之间以及它们对应的预测密度之间的库尔贝克-莱布勒散度绑定，并且我们还将使用精确GP与使用近似GP计算的预测平均向量之间以及预测协方差阵之间的误差绑定。我们提供模拟数据和标准基准测试的实验，以评估我们的理论界限的有效性。
2022-02-21 cs.LG math.ST stat.ML
Density Regression and Uncertainty Quantification with Bayesian Deep Noise Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；Purdue University（普渡大学）；University of Michigan（密歇根大学）
深度神经网络（DNN）模型在广泛的监督学习应用中实现了最先进的预测精度。然而，准确量化DNN预测中的不确定性仍然是一项具有挑战性的任务。对于连续的结果变量，一个更困难的问题是估计预测密度函数，它不仅提供了预测不确定性的自然量化，而且还完全捕获了结果中的随机变化。在这项工作中，我们提出了贝叶斯深度噪声神经网络（B-DeepNoise），它通过将随机噪声变量从输出层扩展到所有隐藏层来推广标准贝叶斯DNN。潜在的随机噪声使B-DeepNoise能够灵活地近似高度复杂的预测分布，并准确量化预测的不确定性。对于后验计算，B-DeepNoise的独特结构导致了一种封闭形式的Gibbs采样算法，该算法从模型参数的后验全条件分布迭代模拟，从而规避了计算密集型Metropolis-Hastings方法。B-DeepNoise的理论分析建立了预测分布的递归表示，并分解了关于潜在参数的预测方差。我们在基准回归数据集上对B-DeepNoise与现有方法进行了评估，证明了其在预测精度、不确定性量化精度和不确定性量化效率方面的卓越性能。为了说明我们的方法在科学研究中的有用性，我们在青少年大脑认知发展（ABCD）项目中应用B-DeepNoise来预测神经成像特征的一般智力。
2022-06-12 cs.LG stat.ML
Predictive Density Combination Using a Tree-Based Synthesis Function
本文提出使用回归树对贝叶斯预测综合（BPS）中的合成函数进行非参数化建模，并在两个宏观经济预测应用中验证了该方法能提升预测精度与可解释性。
2023-11-21 econ.EM stat.ML
How Good are Low-Rank Approximations in Gaussian Process Regression?
CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；University College London（伦敦大学学院）；University of Warwick（华威大学）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提供保证近似高斯过程（GP）回归产生两个常见的低秩内核近似：基于随机傅立叶特征，并基于截断内核的Mercer扩展。特别地，我们将精确GP与从上述低秩近似到其内核之一产生的GP之间以及它们对应的预测密度之间的库尔贝克-莱布勒散度绑定，并且我们还将使用精确GP与使用近似GP计算的预测平均向量之间以及预测协方差阵之间的误差绑定。我们提供模拟数据和标准基准测试的实验，以评估我们的理论界限的有效性。
2021-12-14 cs.LG stat.ML
Bayesian shrinkage prediction for the regression problem
我们考虑贝叶斯收缩预测下的正态回归问题的频率Kullback-Leibler风险函数。首先，我们考虑均值未知和协方差已知的多元正态模型。当未知均值固定时，未来样本的协方差可能与训练样本不同。证明了如果协方差矩阵和未来协方差阵的先验分布是旋转不变的，则基于一致先验的贝叶斯预测分布优于基于一类先验的贝叶斯预测分布.然后，我们考虑一类先验的均值参数依赖于未来的协方差阵。有了这样的先验，我们可以构建一个贝叶斯预测分布优于基于一致先验。最后，将这一结果应用于正态线性回归模型中响应变量的预测，证明了在一致先验条件下，存在一个贝叶斯预测分布支配该分布。这些贝叶斯预测的极大极小性来自这些结果。
2007-01-21 math.ST stat.TH
Few-shot Learning for Spatial Regression
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Service Evolution Laboratories（NTT服务演进实验室）
我们提出了一个空间回归的Few-Shot学习方法。虽然高斯过程（GPs）已成功地用于空间回归，但它们需要在目标任务中进行许多观察以实现高预测性能。我们的模型使用不同区域中各种属性的空间数据集进行训练，并在给定一些观测数据的情况下预测未知区域中未知属性的值。使用我们的模型，任务表示使用神经网络从给定的小数据推断。然后，空间值预测的神经网络与GP框架，其中特定于任务的属性控制的任务表示。GP框架允许我们通过分析获得适合小数据的预测。通过在目标函数中使用自适应预测，我们可以有效地训练我们的模型，以便在适应新给定的小数据时提高测试预测性能。在我们的实验中，我们证明了所提出的方法比使用空间数据集的现有元学习方法具有更好的预测性能。
2020-10-09 cs.LG stat.ML
Parametric Gaussian Process Regressors
The Broad Institute（博德研究所）；Cornell University（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）
将诱导点方法与随机变分推断相结合，可以在大型数据集上进行近似高斯过程（GP）推理。不幸的是，由此产生的预测分布往往表现出大大低估的不确定性。值得注意的是，在回归的情况下，预测方差通常由观测噪声主导，产生的不确定性估计很少使用使GP先验具有吸引力的输入相关函数不确定性。在这项工作中，我们提出了两个简单的方法，可扩展的GP回归，解决这个问题，从而产生大幅改善的预测不确定性。第一个应用变分推断到FITC（完全独立训练条件; Snelson et.~ al.~ 2006年）。第二种方法绕过了后验近似，而是直接针对后验预测分布。在与许多可扩展GP回归的替代方法进行的广泛实证比较中，我们发现所得到的预测分布表现出更好的校准不确定性和更高的对数似然性-通常每个数据点高达半个nat。
2020-12-26 cs.LG stat.ML
XBART: Accelerated Bayesian Additive Regression Trees
University of Chicago（芝加哥大学）；Arizona State University（亚利桑那州立大学）
贝叶斯加性回归树（Bayesian additive regression trees，BART）（Chipman et.例如，2010）是一个强大的预测模型，在样本外预测方面往往优于其他模型。BART特别适合于具有非结构化预测变量和大量不可测量变化来源的环境，这在社会，行为和健康科学中是典型的。本文提出了一种改进的BART算法，它可以进行快速后验估计。我们提出了一个随机爬山算法，匹配显着的预测精度以前的BART实现，但速度快了很多倍，内存密集度低。仿真研究表明，新方法在计算时间上与随机森林和梯度提升方法相当，在函数估计上更准确。
2019-03-14 cs.LG stat.ML
Regularization Strategies for Quantile Regression
Google Research（谷歌研究院）
我们研究了不同的方法来正则化分位数回归时预测的一个子集的分位数或完整的逆CDF。我们表明，即使只预测一个特定的分位数时，最大限度地减少预期的弹球损失的连续分布的分位数是一个很好的正则化。对于预测多个分位数，我们建议通过使用将分位数视为单调输入特征的深度网格网络来实现非交叉分位数的经典目标，并且我们讨论了为什么其他特征的单调性是分位数回归的适当正则化器。我们表明，晶格模型使正则化的预测分布的位置-规模的家庭。最后，我们建议应用速率约束来改进特定兴趣子集上的分位数预测的校准，并提高公平性度量。我们展示了我们的贡献模拟，基准数据集，和真正的分位数回归问题。
2021-02-09 cs.LG stat.ME stat.ML
Beyond the Mean: Distribution-Aware Loss Functions for Bimodal Regression
INESC TEC
本文提出了一种分布感知损失函数，结合归一化RMSE、Wasserstein和Cramér距离，用于解决双模回归中的预测不确定性问题，提高了模型的稳定性与鲁棒性。
2026-03-20 cs.AI cs.LG stat.ML
Consistency of the Bayes Estimator of a Regression Curve
证明了回归曲线的$L^1$平方损失函数的Bayes估计的强相合性。它也表明收敛到0的贝叶斯风险的估计都为$L^1$和$L^1$平方损失函数。回归曲线的贝叶斯估计量是关于后验预测分布的回归曲线。
2022-07-19 math.ST stat.TH
Feature Screening for High-Dimensional Structural Break Predictive Regression
Zhejiang University（浙江大学）；Zhejiang Gongshang University（浙江工商大学）；University of Macau（澳门大学）
提出一种在高维结构断点预测回归中筛选活跃预测变量和估计断点的方法，结合SICS、RCRS和IC准则，实现一致估计与选择。
2026-06-18 stat.ME
A semiparametric scale-mixture regression model and predictive recursion maximum likelihood
为了避免在回归模型中对误差分布的指定，我们提出了一个一般的非参数尺度混合模型的误差分布。对于拟合这样的混合物，预测递归方法是现有方法的一种简单且计算效率高的替代方法。我们定义了一个基于预测递归的边缘似然函数，通过最大化这个函数来估计回归参数。为此提出了一种混合预测递归算法--期望最大化算法。在仿真和实际数据分析中，该方法的性能与现有的方法进行了比较。
2015-09-01 stat.CO stat.ME
On the variability of regression shrinkage methods for clinical prediction models: simulation study on predictive performance
在开发风险预测模型时，建议使用收缩法，特别是在样本量有限的情况下。一些早期的研究表明，模型系数的收缩可以减少预测模型的过拟合，从而平均产生更好的预测性能。在这项模拟研究中，我们的目的是研究回归收缩对二元结果预测性能的变异性，重点是校准斜率。斜率表示风险预测是否过于极端（斜率< 1）或不够极端（斜率> 1）。与标准极大似然估计相比，我们研究了以下收缩方法：均匀收缩（基于似然和基于自举），岭回归，惩罚极大似然，LASSO回归，自适应LASSO，非负绞喉，和Firth校正。有三个主要发现。首先，收缩平均改善了校准斜率。其次，校准斜率的样本间变异性通常相对于极大似然增加。在收缩方法中，基于引导的均匀收缩总体上工作得很好。与其他收缩方法相比，Firth的校正只有很小的收缩效果，但变化性很低。第三，估计的收缩率和去除过拟合的最佳收缩率之间的相关性通常是负的。因此，尽管收缩平均改善了预测，但它在单个数据集中的效果往往很差，特别是在最需要收缩的时候。观察到的收缩方法的变异性意味着这些方法不能解决与小样本量或每个变量的事件数量少相关的问题。
2019-07-26 stat.ME
Predictiveness Curve Assessment under Competing Risks for Risk Prediction Models
本研究针对竞争风险场景，提出结合竞争风险回归模型的预测性曲线估计与推断方法，经模拟验证效果良好并实现R包，可用于肝硬化等疾病的风险预测评估。
2025-07-31 stat.ME
Cellwise Robust M Regression
引入了单元格稳健M回归估计量作为其同类估计量中的第一个估计量，该估计量本质上产生与线性模型一致的单元格离群值的映射，以及对垂直离群值和杠杆点稳健的回归系数的向量。作为一个副产品，该方法产生了一个加权和插补数据集，其中包含对单元格离群值的估计值，如果它们拟合模型，则需要达到这些值。该方法被证明是同样强大的，其casewise对应，MM回归。单元回归方法丢弃的信息比任何casewise鲁棒估计少。因此，可以预期预测能力至少与逐例替代方案一样好。这些结果在模拟研究中得到证实。此外，虽然模拟显示预测性能至少与casewise方法相当，如果不是更好的话，但对由瑞士营养成分组成的数据集的应用表明，在个别情况下，CRM可以实现比MM回归更高的预测准确性。
2020-03-16 stat.ME
An estimator for predictive regression: reliable inference for financial economics
使用最小二乘法估计线性回归并报告稳健的标准误在金融经济学中非常常见，实际上，在许多社会科学和其他领域也是如此。对于异方差下的厚尾预测，这种推理方法表现不佳，有时甚至非常糟糕。在这里，我们开发了一种替代方法，提供了一个无偏的，一致的和渐近正态的估计，只要结果和预测的手段是有限的。新方法在异方差下具有易于可靠估计的标准误和接近其标称大小的检验。该程序在模拟和经验练习中运行良好。对分位数回归进行了推广。
2020-08-13 q-fin.ST stat.ME
Flexible Predictive Distributions from Varying-Thresholds Modelling
提出了一类通用的模型，该模型能够在给定解释变量$\xb$向量的情况下估计因变量$Y$的整个预测分布。这些模型利用解释变量的强度来区分因变量的低值和高值，这可能会在用于定义低值和高值的阈值上有所不同。模型的简单线性版本是经典线性回归模型的推广，也是广泛使用的有序回归模型的推广。它们允许以参数函数的形式可视化解释变量的效果。更一般的模型是基于有效的非参数方法，如随机森林，它更灵活，是强大的预测工具。给出了一个通用的估计方法，它可以使用所有的估计工具，已提出的二元回归，包括选择方法，如套索或弹性网。对于线性结构的模型，导出了最大似然估计。模拟和几个真实的数据集的模型的有用性说明。
2021-03-24 stat.ME
A new approach to Cholesky-based covariance regularization in high dimensions
在本文中，我们提出了对协方差阵的Cholesky因子的新回归解释，与众所周知的逆协方差的Cholesky因子的回归解释相反，这导致了一类新的适用于高维问题的正则化协方差估计量。通过这种回归解释正则化协方差的Cholesky因子总是得到正定估计量。特别地，可以以与Bickel和Levina（2008 b）提出的流行的带状估计相同的计算成本获得协方差阵的正定带状估计，其不能保证是正定的。本文还建立了协方差阵及其逆矩阵的带状Cholesky因子与带状约束下的约束极大似然估计之间的理论联系，并在仿真和声纳数据实例中比较了几种方法的数值性能。
2009-03-03 stat.ME
Persistence-Robust Break Detection in Predictive CoVaR Regressions
University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文提出了一种在预测CoVaR回归中检测结构断裂的稳健检验方法，适用于预测变量平稳或近平稳情况，通过模拟和实证验证其有效性。
2026-03-10 econ.EM stat.ME
Serial-Dependence and Persistence Robust Inference in Predictive Regressions
本文提出一种检验预测回归参数显著性的新方法，通过检验统计量内嵌机制解耦序列依赖，无需修正即可处理序列相关与条件异方差，且对预测变量持久性稳健，极限零分布服从卡方分布。
2025-02-01 econ.EM stat.ME
Statistical Estimation for Covariance Structures with Tail Estimates using Nodewise Quantile Predictive Regression Models
本文针对带尾部估计的协方差结构，提出用分位数预测回归估计VaR-CoVaR风险矩阵，还构建了无调优参数、具有一致性的FOCE变量选择算法，经真实与模拟数据集验证可用于网络系统性风险建模。
2023-07-24 econ.EM stat.ME
Probabilistic Forecasting for Daily Electricity Loads and Quantiles for Curve-to-Curve Regression
电力负荷曲线的概率预测对于在日益波动和竞争激烈的能源市场中进行有效的调度和决策至关重要。我们提出了一种新的方法来构建概率预测曲线（PPC），这导致了一个自然的和新的分位数的定义曲线到曲线线性回归的上下文中。PPC有三种类型：预测集、预测带和预测分位数，所有这些都是在预先指定的名义概率水平上定义的。在仿真研究中，PPC在多种数据生成机制下都能获得较好的覆盖概率。在法国日负荷曲线的一天前预测中，PPC在预测精度、覆盖率和预测带平均长度方面优于几种最先进的预测方法。预测分位数曲线提供了有见地的信息，这是高度相关的电力供应管理中的对冲风险。
2020-11-11 stat.AP stat.ME
Predictive Quantile Regression with Mixed Roots and Increasing Dimensions: The ALQR Approach
本文提出用于预测分位数回归的自适应套索方法（ALQR），允许预测变量具有混合根与不同信号强度且数量随样本量增加，研究了其渐近性质，并在股票收益预测与Monte Carlo实验中验证了其优越性。
2022-12-04 econ.EM stat.ME
Large-Scale Dynamic Predictive Regressions
我们开发了一种新的“重复-再耦合”动态预测策略，并为在数据丰富的环境中进行预测和经济决策的文献做出贡献。在此框架下，预测因子的集群以预测密度的形式生成不同的潜在状态，这些预测密度随后在隐含的随时间变化的潜在因子模型内合成。因此，预测密度和偏差之间的潜在相互依赖性被顺序地学习和纠正。与稀疏建模和变量选择程序不同，我们不假设先验存在一个给定的活动预测子集合，它表征了感兴趣的数量的预测密度。我们通过调查大量财务比率和宏观经济变量对不同行业的股权溢价和美国通货膨胀率的预测内容来测试我们的程序，金融和宏观经济学的两个主题。我们发现，我们的预测合成框架产生统计和经济显著的样本外的好处，同时保持预测变量的可解释性。此外，主要的实证结果突出表明，我们提出的框架优于LASSO型收缩回归，基于因子的降维，顺序变量选择，等权重线性池方法。
2018-03-18 econ.EM q-fin.ST stat.ME
Boosting High Dimensional Predictive Regressions with Time Varying Parameters
高维预测回归有着广泛的应用。然而，该理论主要是假设模型是平稳的，具有时不变参数。这与经济时间序列中参数不稳定性的普遍证据不一致，但参数不稳定性的理论主要是为具有少量协变量的模型开发的。在本文中，我们提出了两个$L_2$ boosting算法估计高维模型中的系数建模为函数随时间平滑演变和预测是局部平稳的。第一种方法使用分量局部常数估计作为基学习器，而第二种方法依赖于分量局部线性估计。我们建立了这两种方法的一致性，并解决了为基础学习器选择带宽和提升迭代次数的实际问题。在一个广泛的应用宏观经济预测与许多潜在的预测，我们发现，建模时间变化的好处是巨大的，他们增加了预测范围。此外，受益的时间表明，大缓和与各种经济序列的条件均值的实质性不稳定有关。
2019-10-07 econ.EM stat.ME
Robust Inference for Multiple Predictive Regressions with an Application on Bond Risk Premia
针对高度持久性多预测变量的多重预测回归，提出改进的IVX检验方法，通过三步处理有限样本偏差和方差放大效应，在保持检验功效的同时显著改善了水平控制，并应用于债券风险溢价预测。
2024-01-02 econ.EM stat.ME
Parameters on the boundary in predictive regression
University of Bologna（博洛尼亚大学）；University of Exeter（埃克塞特大学）
本文研究了在预测回归中参数可能位于参数空间边界的bootstrap推断问题，提出通过调整参数空间以消除边界影响，从而改进推断有效性。
2024-09-19 econ.EM stat.ME
Testing for Stationary or Persistent Coefficient Randomness in Predictive Regressions
本研究探讨了预测回归中随机系数的持久性如何影响系数随机性检验的功效，发现在平稳系数下新检验优于 LM 检验，并应用于美国股票收益数据验证了该结论。
2024-06-01 econ.EM stat.ME
Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression
针对高维稀疏回归同方差假设违背的问题，提出H-PROBE算法估计异方差模型，用神经影像预测卒中患者AQ并量化不确定性，在不牺牲覆盖率下缩窄预测区间，临床与统计性能均优于现有方法。
2024-07-13 stat.ME stat.ML
Random Forest regression for manifold-valued responses
越来越多的生物医学和计算机视觉应用需要对复杂数据（例如图像和形状）进行预测建模。预测这些物体的主要挑战在于它们不符合欧几里得几何的假设。相反，它们占据了非线性空间，也就是流形，其中难以定义诸如坐标、向量和期望值之类的概念。在这项工作中，我们构建了一个非参数的预测方法的流形值的对象，基于距离修改的随机森林算法。我们的方法是通用的，可以应用在响应空间是一个定义良好的流形的情况下，而且当这样的知识是不可用的。模型拟合和预测阶段只需要为观察到的响应定义一个合适的距离函数。我们使用模拟验证我们的方法，并将其应用于一系列说明性的图像完成应用程序，展示了优越的预测性能，与各种既定的回归方法相比。
2017-02-15 stat.ME stat.ML
LASSO Inference for High Dimensional Predictive Regressions
Southern Methodist University（南方卫理公会大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Macau（澳门大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出IVX-desparsified LASSO方法，解决高维预测回归中LASSO的收缩偏误和Stambaugh偏误问题，通过理论分析和模拟验证其有效性，并应用于美国股市和通胀预测研究。
2026-04-19 econ.EM stat.ME stat.ML
Distribution-Free Predictive Inference For Regression
我们开发了一个一般的框架，在回归分布自由预测推理，使用共形推理。所提出的方法允许使用任何估计的回归函数的响应变量的预测带的建设。由此产生的预测带保留了标准假设下原始估计量的一致性，同时即使在这些假设不成立的情况下也能保证有限样本的边际覆盖。我们分析和比较，经验和理论，我们的共形框架的两个主要变种：全共形推理和分裂共形推理，以及相关的刀切法。这些方法提供了统计准确性（得到的预测区间的长度）和计算效率之间的不同权衡。作为扩展，我们开发了一种方法来构建有效的样本预测区间称为{ \it rank-one-out}共形推理，它具有基本相同的计算效率分裂共形推理。我们还描述了我们的程序的扩展，用于产生具有局部变化长度的预测带，以适应数据中的heteroskedascity。最后，我们提出了一个无模型的变量重要性的概念，称为{ \it leave-one-covariate-out}或LOCO推断。本文附带了一个R包{ \tt conformalInference}，它实现了我们介绍的所有建议。本着可重复性的精神，我们所有的经验结果也可以很容易地（重新）使用这个包生成。
2017-03-08 math.ST stat.ME stat.ML
Structural modeling using overlapped group penalties for discovering predictive biomarkers for subgroup analysis
从大规模的协变量中识别预测性生物标志物用于亚组分析已经引起医学研究的基本关注。在这篇文章中，我们提出了一个广义惩罚回归方法与一个新的惩罚函数，以加强之间的预测和预测效果的层次结构，这样一个非零的预测效果必须导致其祖先的预测效果是非零的模型。我们的方法能够通过产生用于亚组分析的稀疏的、可解释的和可预测的模型来选择有用的预测性生物标志物，并且可以处理不同类型的响应变量，例如连续的、分类的和事件发生时间的数据。我们证明了我们的方法是渐近一致的正则化条件下。针对广义惩罚回归模型的极小化问题，提出了一种结合优化极小化和乘子交替方向法的综合优化算法，命名为\texttt{smog} .丰富的模拟研究和真实案例研究表明，我们的方法是非常强大的发现真正的预测生物标志物和识别亚组的患者。
2019-04-26 stat.ME stat.ML
Bayesian Sparse Regression for Mixed Multi-Responses with Application to Runtime Metrics Prediction in Fog Manufacturing
Fog制造可以通过分布式Fog计算单元大大增强传统制造系统，这些计算单元由不同工业互联网架构下的预测计算工作负载卸载方法管理。已知的是，预测卸载方法高度依赖于运行时性能度量的准确预测和不确定性量化，其包含多变量混合型响应（即，连续、计数、二进制）。在这项工作中，我们提出了一个贝叶斯稀疏回归多变量混合响应，以提高预测的运行时性能指标，并使统计推断。所提出的方法同时考虑了组和个体变量的选择，以联合建模的混合类型的运行时性能指标。多个响应之间的条件依赖性通过使用精度矩阵的图形模型来描述，其中使用尖峰和厚板先验来实现图形的稀疏估计。该方法不仅实现了准确的预测，而且通过对模型参数和预测结果的统计推断，使预测模型更具有可解释性。仿真研究和一个实际的例子在雾制造进行，以证明所提出的模型的优点。
2022-10-11 stat.ME stat.ML
Dominating Hyperplane Regularization for Variable Selection in Multivariate Count Regression
针对高维多元计数回归中非凹似然函数难以优化的问题，提出支配超平面正则化方法，在MM框架下将SGL惩罚转化为加权岭惩罚，实现稳定优化与高效变量选择。
2025-04-07 stat.AP stat.ME
Sparse Regression with Multi-type Regularized Feature Modeling
在统计和机器学习文献中，正则化技术通常用于构建稀疏（预测）模型。大多数正则化策略仅适用于所有预测变量都被同等对待的数据，例如Lasso回归用于将（连续）预测变量视为线性效应。然而，许多预测问题涉及不同类型的预测器，需要定制的正则化项。我们提出了一个多类型的Lasso惩罚，作用于目标函数作为subpenalties的总和，每种类型的预测。因此，我们允许预测器选择和预测器内的水平融合在数据驱动的方式，同时与参数估计过程。我们开发了一个新的估计策略，凸预测模型与这种多类型的惩罚。使用邻近算子的理论，我们的估计过程是计算高效的，将整体优化问题划分为更容易解决的子问题，具体针对每个预测器类型及其相关的惩罚。早期的研究将近似应用于不可微的惩罚来解决优化问题。所提出的SMuRF算法消除了近似的需要，并实现了更高的精度和计算效率。这是证明了一个广泛的模拟研究和保险定价分析的案例研究的分析。
2020-10-01 stat.CO stat.ME
Asymptotic optimality of a cross-validatory predictive approach to linear model selection
在这篇文章中，我们研究了基于交叉验证预测密度的模型选择准则的渐近预测最优性，已经在文献中。对于一个因变量和相关的解释变量，我们考虑一类线性模型作为真实回归函数的近似。人们使用所研究的标准在这些模型中选择一个模型，并通过所选模型下的最佳预测因子预测因变量的未来重复。我们表明，平方误差预测损失，该计划的预测执行渐近以及预言，这里的预言是指模型选择规则，最大限度地减少这种损失，如果真正的回归是已知的。
2008-05-21 math.ST stat.ME stat.TH
Deep Distribution Regression
North Carolina State University（北卡罗来纳州立大学）；University of Melbourne（墨尔本大学）
由于其灵活性和预测性能，基于机器学习的回归方法已成为预测建模和预测的重要工具。然而，大多数方法侧重于估计目标量的条件均值或特定分位数，而不提供完整的条件分布，其中包含可能对决策至关重要的不确定性信息。在这篇文章中，我们通过将条件分布估计问题转化为约束多类分类问题，提供了一种通用的解决方案，其中使用了深度神经网络等工具。我们提出了一种新型的联合二进制交叉熵损失函数来实现这一目标。我们证明了它的性能在各种模拟研究相比，国家的最先进的竞争方法。此外，我们的方法在概率太阳能预测问题中显示出更高的精度。
2019-03-14 cs.LG stat.ME stat.ML
Minimum Volume Conformal Sets for Multivariate Regression
Sierra team, Inria Paris, France（Inria巴黎分部）；Department of Electrical Engineering and Computer Sciences, UC Berkeley, USA（加州大学伯克利分校电子工程与计算机科学系）
本文提出一种基于新损失函数的优化框架，用于学习最小体积覆盖集，同时保证覆盖有效性。该方法通过任意范数球定义预测集，并联合优化预测模型和不确定性，实现紧致、信息丰富且高效的预测集。
2026-03-18 cs.AI cs.LG stat.ME
