Efficient particle-based online smoothing in general hidden Markov models: the PaRIS algorithm
本文提出了一种新的算法，粒子为基础的，快速增量平滑（PaRIS），有效的在线近似的平滑期望的一般隐马尔可夫模型的添加剂状态泛函。该算法在弱假设条件下具有线性计算复杂度，且内存要求非常有限，并给出了一些收敛结果，包括一个中心极限定理. PaRIS的一个有趣的特征是，它从由粒子滤波器引起的回顾动力学中实时采样，它需要每个粒子两次或更多次向后绘制，以应对采样轨迹的简并，并在长期内保持数值稳定，渐近方差仅随时间线性增长。
2014-12-23 stat.CO
Smoothing splines with varying smoothing parameter
本文考虑了空间自适应光滑样条的发展，用于估计具有非齐次光滑性的回归函数。在这种情况下出现的两个具有挑战性的问题是等价内核的评估和本地处罚的确定。粗糙度惩罚是设计点的函数，以适应回归函数的局部行为。证明了空间自适应光滑样条估计近似为核估计。所得到的等价核是空间相关的。传统光滑样条的等价核是这种一般解的特殊情况。借助于两点边值问题的格林函数，得到了任意内点的渐近均值和方差的显式表达式。因此，最佳粗糙度罚函数是通过近似最小化渐近积分均方误差得到的。仿真结果和一个应用说明了所提出的估计器的性能。
2013-06-08 math.ST stat.ME stat.TH
Times Square sampling: an adaptive algorithm for free energy estimation
估计自由能差异是计算药物发现和广泛的其他应用领域中的重要问题，通常涉及对高维概率分布族进行采样的计算密集型过程和用于基于这些样本计算估计的过程。感兴趣的自由能估计的方差通常强烈地取决于可用于采样的总计算资源如何在分布之间划分，但是在不对分布进行采样的情况下难以确定有效的分配。在这里，我们介绍了时代广场采样算法，一种新的动态估计方法，动态分配资源的方式，以显着加快估计的自由能和其他可观的，同时提供严格的收敛保证的估计。我们还表明，这是可能的，令人惊讶的是，在飞自由能估计，以实现较低的渐近方差比最大似然估计MBAR，提高前景，在飞估计可以减少方差在各种其他统计应用。
2021-12-09 math.PR math.ST stat.TH
Group-Sparse Smoothing for Longitudinal Models with Time-Varying Coefficients
Academy of Life and Natural Sciences, Xi’an Jiaotong-Liverpool University（西交利物浦大学生命科学与自然科学学院）
TV-Select通过组稀疏平滑方法，有效识别纵向模型中时间变化与恒定效应，提升结构恢复与预测性能。
2026-08-03 math.ST stat.AP stat.CO
A spatial variance-smoothing area level model for small area estimation of demographic rates
准确估计国家以下各级的卫生和人口指标对于为卫生政策决定提供信息至关重要。许多国家利用复杂的住户调查收集相关数据，但在数据有限的情况下，小地区比例的直接调查加权估计数可能不可靠。将这些直接估计值作为响应数据处理的区域水平模型可以提高精度，但通常需要所有区域的直接估计值的已知抽样方差。在实践中，抽样方差通常是估计的，因此标准方法不考虑不确定性的关键来源。为了解释估计的抽样方差的变异性，我们提出了一个分层贝叶斯空间区域水平模型，平滑估计的均值和抽样方差，以产生小面积比例的点和区间估计。我们的模型明确的目标是估计小面积的比例，而不是连续变量的平均值，我们考虑了中度和低度流行事件的例子。我们证明了我们的方法的性能，通过模拟和应用到疫苗接种覆盖率和艾滋病毒流行率数据的人口与健康调查。
2022-09-06 stat.ME
Variance estimation for Sequential Monte Carlo Algorithms: a backward sampling approach
针对粒子滤波和平滑的在线渐近方差估计问题，提出基于后向权重的新估计器及受PaRIS算法启发的高效估计器，提升了稳定性并降低了方差。
2023-01-02 stat.ME
Estimation for Single-Index mixed models with Longitudinal data
本文考虑一个具有纵向数据的单指标混合模型。提出了一组新的估计方程来估计单指标系数。利用局部线性平滑估计了链接函数。建立了估计量的渐近正态性。此外，链接函数的估计达到最佳的收敛速度，和方差分量的估计具有根$n$的一致性。这些结果有助于构造置信区域/区间和对感兴趣的参数进行假设检验。一些模拟和应用程序的真实数据。
2010-04-04 stat.ME
On the estimation of variance parameters in non-standard generalised linear mixed models: Application to penalised smoothing
提出了一种新的广义线性混合模型方差参数估计方法。该方法起源于Harville（1977）的工作，但它能够处理具有随机效应向量的精度矩阵的模型，该随机效应向量在方差参数的倒数中是线性的（即，精度参数）。我们称这种方法为SOP（分离重叠精度矩阵）。SOP是基于应用逐次逼近的方法，以易于计算的方差参数的估计更新。这些估计更新具有吸引人的形式：它们是（加权）平方和与有效自由度相关的量的比率。我们提供了这些估计是严格正的充分必要条件。SOP的一个重要应用领域是模型的惩罚回归估计，其中多个二次惩罚作用于相同的回归系数。我们将详细讨论其中两个模型：局部自适应平滑和分层曲线数据的惩罚样条。在这些设置中的几个数据的例子。
2018-06-12 stat.ME
A novel smoothing-based goodness-of-fit test of covariance for multivariate sparse functional data
本文提出一种基于平滑的多元稀疏函数型数据协方差拟合优度检验，扩展单变量检验并引入多元统计量，提高功效，应用于ADNI和PPMI数据验证实用性。
2025-03-27 stat.AP stat.ME
Kalman Filtering and Smoothing for Improving Precision in Horvitz--Thompson Estimation of Infectious Disease Prevalence
The Ohio State University（俄亥俄州立大学）；Uppsala University（乌普萨拉大学）
针对Horvitz--Thompson患病率估计的噪声与缺失问题，提出联合局部线性趋势状态空间模型，利用卡尔曼滤波与平滑提高精度，并在模拟和真实数据中验证了效果。
2026-09-10 stat.AP stat.ME
Sampling distributions for complex design variance estimators in a Fay-Herriot model
University of Washington（华盛顿大学）；Norwegian University of Science and Technology（挪威科技大学）
本文研究了复杂设计方差估计器在Fay-Herriot模型中的采样分布，提出两种分布并比较其在DHS设计中的表现，发现简单分布与复杂分布效果相当。
2026-04-24 stat.ME
Bayesian Estimation of Variance under Fine Stratification via Mean-Variance Smoothing
Florida International University（佛罗里达国际大学）；Keio University（庆应义塾大学）
本文提出了一种基于惩罚样条的非参数方法，用于细分层调查中无偏估计方差，通过均值-方差平滑提升估计精度。
2026-03-03 stat.AP stat.CO stat.ME
Between Resolution Collapse and Variance Inflation: Weighted Conformal Anomaly Detection in Low-Data Regimes
Intelligent Systems Research Group (ISRG)（智能系统研究组）
本文提出加权符合性异常检测方法，解决低数据环境下因分布偏移导致的分辨率崩溃与方差膨胀问题，通过连续推理放松实现局部适应与尾部分辨率解耦，提升统计效力。
2026-03-24 cs.LG stat.ME stat.ML
Horseshoe Priors for Spatial Small Area Estimation: Regular Variation, Tail Robustness, and Deep Learning
Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校）；Booth School of Business, University of Chicago（芝加哥大学布斯商学院）
本文研究异方差Fay-Herriot模型下的马蹄形先验，通过尾部稳健性定理、极小极大收缩率及O(m) Gibbs采样器，证明马蹄形先验在空间小区域估计中能积极借用强度同时保留异常区域信号。
2026-07-01 stat.ME stat.ML
Local Nonparametric Estimation for Second-Order Jump-Diffusion Model Using Gamma Asymmetric Kernels
讨论了基于Gamma非对称核的二阶跳跃扩散模型中未知一阶和二阶无穷小矩的局部线性光滑估计。在较弱的条件下，我们得到了这些估计在内点和边界点的弱相合性和渐近正态性。基于Gamma非对称核函数的局部线性平滑方法除了具有局部线性估计的简单偏差表示和边界偏差校正等标准性质外，还具有可变带宽、方差减小和抗稀疏设计等优点，并通过有限样本仿真研究进行了验证。最后，我们使用的估计一些高频金融数据的回报。
2017-07-06 math.ST stat.TH
Exploring Pareto smoothing in sequential Monte Carlo
University of Warwick（华威大学）；Centre for Environment, Fisheries and Aquaculture Science（环境、渔业和水产养殖科学中心）
研究在序贯蒙特卡洛采样器中应用帕累托平滑以减少重要性权重方差，发现其效果有限，因序列目标带来的方差降低主导了权重调整的影响。
2026-06-25 stat.CO stat.ME
Forward Smoothing using Sequential Monte Carlo
序贯蒙特卡罗（SMC）方法是一组广泛使用的用于非线性非高斯状态空间模型中的推断的计算工具。我们提出了一个新的SMC算法来递归地计算可加泛函的期望。本质上，它是Doucet等人（2000）提出的前向滤波后向平滑SMC算法的在线或仅前向实现。与标准路径空间SMC估计的渐近方差随时间平方增加，即使在有利的混合假设下，所提出的SMC估计的渐近方差只随时间线性增加。这种向前平滑过程使我们能够实现在线极大似然参数估计算法，不遭受粒子路径退化问题。
2010-12-24 stat.CO stat.ME
On estimation and prediction in spatial functional linear regression model
考虑空间泛函线性回归，其中标量响应与平方可积〔的〕空间泛函过程有关。我们使用平滑样条估计的功能斜率参数，并建立了有限样本的混合空间依赖下，这种估计的方差界。然后，我们给出了预测误差的界。最后，我们通过模拟来说明我们的结果
2019-08-03 math.ST stat.TH
Asymptotic Theory for Linear Functionals of Kernel Ridge Regression
本文在再生核希尔伯特空间等价于索博列夫空间的条件下，建立了核岭回归线性泛函的渐近理论，证明平滑参数的最优量级为λ~n^{-1}，并揭示了其与最小化L_2误差的已知最优速率不同。
2025-08-22 math.ST stat.TH
One-dimensional Nonstationary Process Variance Function Estimation
许多空间过程具有非平稳特性。我们估计一个方差函数从一个单一的过程观察的错误是非平稳和相关的。我们提出了一种基于差分的方法，一维非平稳过程，并开发了一种带宽选择方法进行平滑，考虑到相关的错误。将估计结果与Anderes和Stein（2011）提出的局部似然方法进行比较。仿真研究表明，该方法具有较小的综合均方误差，易于解决边界偏差问题，并且所需的计算时间远少于基于似然的方法。
2016-05-21 stat.ME
Integral approximation by kernel smoothing
令$(X_1,\ldots,X_n)$为i.i.d. $\mathbb{R}^d$、$d\geq 1$中的随机变量序列。我们证明了，对于任何函数$φ:\mathbb{R}^d\rightarrow\mathbb{R}$，在正则性条件下，\[n^ {1/2}\Biggl(n^{-1}\sum_{i=1}^n\frac{φ(X_i)}{\widehat{f}^(X_i)}- \int φ(x)\,dx\Biggr)\stackrel{\mathbb{P}}{\longrightarrow}0,\]，其中$\widehat{f}$是$X_1$密度的经典核估计。这个结果是惊人的，因为它加快了传统的速度，在根$n$，来自中心极限定理时，$\widehat{f}=f$。虽然本文突出了一些应用，我们主要解决与后一个结果相关的理论问题。我们推导出概率收敛速度的上界。这些界限取决于函数$φ$和$f$的正则性、维度$d$和核估计器$\widehat{f}$的带宽。此外，他们被证明是准确的，因为他们被用来作为重正化序列在两个中心极限定理，每个反映不同程度的光滑$φ$。作为随机设计回归建模的一个应用，我们给出了回归函数线性泛函估计的渐近正态性。作为上述结果的结果，渐近方差不依赖于回归函数。最后，我们讨论了积分近似带宽的选择，并通过模拟强调了我们的程序的良好行为。
2016-06-06 math.ST stat.TH
Smoothing Variances Across Time: Adaptive Stochastic Volatility
Cornell University（康奈尔大学）
本文提出自适应随机波动模型，通过动态收缩过程改进时间变化波动性估计，具有平滑动态适应性，并扩展为贝叶斯趋势过滤器，适用于金融、计量经济学和环境科学的时间序列数据。
2025-12-24 stat.AP stat.CO stat.ME
Resample-smoothing of Voronoi intensity estimators
Voronoi强度估计，这是点过程的强度函数的非参数估计，都是无参数和自适应的，在一个给定的位置的强度估计是由包含该位置的Voronoi/Dirichlet细胞的倒数大小。然而，它们的主要缺点是，它们倾向于在观察到的点图案的点密度高的区域中使数据欠平滑，而在点密度低的区域中使数据过平滑。为了解决这个问题，即找到一些中间地带之间的过度和欠平滑，我们提出了一个额外的平滑技术的Voronoi强度估计的点过程在任意度量空间，这是基于重复的独立稀疏的点过程/模式。通过模拟研究，我们表明，我们的重采样平滑技术，提高了估计显着。此外，我们还研究了无偏性和方差等统计特性，并提出了一种经验法则和数据驱动的交叉验证方法来选择要应用的细化/平滑量。最后，我们将我们提出的强度估计方案应用于两个数据集：松树树苗的位置（平面点模式）和机动车交通事故（线性网络点模式）。
2018-07-06 stat.ME
A generalized Fellner-Schall method for smoothing parameter estimation with application to Tweedie location, scale and shape models
本文考虑了具有二次惩罚系数的正则对数似然模型中平滑参数和方差分量的估计，推广了Fellner（1986）和Schall（1991）的方法。特别是：（i）我们将原始方法推广到惩罚在几个平滑参数中是线性的情况，从而覆盖张量积和自适应平滑器的重要情况;（ii）我们展示了为什么该方法的步骤增加了模型的受限边际似然，它往往比期望最大化算法收敛得更快，或者明显加速，并研究其与牛顿优化的关系;（iii）我们将该方法推广到任何Fisher正则似然。该方法代表了一个相当大的简化，在现有的方法估计平滑参数的背景下，定期似然，而不牺牲一般性：例如，它只需要计算相同的第一和第二导数的对数似然系数估计所需的，而不是与第三或第四阶导数所需的替代方法。提供的例子，这将是不可能的或不切实际的预先存在的Fellner-Schall方法，以及一个例子的Tweedie的位置，规模和形状模型，这将是一个挑战的替代方法。
2016-06-15 stat.ME
Approximate Smoothing and Parameter Estimation in High-Dimensional State-Space Models
我们提出了一种近似算法，通过序贯蒙特卡罗方法（“粒子滤波器“）在一类高维状态空间模型进行平滑。在高维中，通常需要大量的蒙特卡罗样本（“粒子”）-在状态空间的维度上呈指数增长-以获得有用的平滑器。使用Rebeschini和Van Handel（2015）中的阻塞策略（以及早期关于阻塞的开创性工作），我们利用模型的空间遍历性来规避这种维数灾难。因此，我们得到近似平滑，可以在时间上和空间上并行递归计算。首先，我们证明了我们的阻塞平滑的偏差是有界的时间范围内，在模型的尺寸一致。然后，我们用粒子近似阻塞平滑器，并推导出阻塞粒子平滑器的理想化版本的渐近方差，以表明方差不再受到模型维度的不利影响。最后，我们采用我们的方法成功地执行极大似然估计通过随机梯度上升和随机期望-最大化算法在100维状态空间模型。
2017-09-20 stat.CO stat.ME
Filtering and Smoothing with Score-Driven Models
University of Verona（维罗纳大学）；University of Pavia（帕维亚大学）；University of Pisa（比萨大学）；Scuola Normale Superiore（意大利高等师范学院）
本文推广得分驱动模型，提出利用同期观测的更新滤波器和利用全样本的平滑器，显著降低均方误差并改善置信带覆盖，实证显示平滑估计更接近实际值。
2026-09-22 stat.ME
Kernel Smoothing of the Treatment Effect CDF
随机抽取的混杂因素分层的分层特异性处理效应或所谓的blip定义了一个随机变量和相应的累积分布函数。然而，CDF不是路径可微的，需要一个核平滑方法来估计它在一个给定的点或可能是许多点。假设CDF是连续的，我们推导出有效的影响曲线的内核平滑版本的blip CDF和CV-TMLE估计。估计是渐近有效的两个条件下，其中之一涉及到二阶剩余项，在这种情况下，向我们表明，知识的治疗机制并不能保证一个相合估计。余项还告诉我们，为了保证渐近有效性，我们需要准确地估计滋扰参数（结果模型和治疗机制）。通过模拟，我们验证了估计的理论性质，并显示了机器学习的重要性，超过传统的回归方法来拟合讨厌的参数。我们还推导了估计的偏差和方差，其阶数类似于核密度估计。这种估计开辟了开发方法的最佳选择的内核和带宽，形成CDF本身的置信区间的可能性。
2018-12-26 stat.ME
Smoothing with Couplings of Conditional Particle Filters
在状态空间模型中，平滑是指在给定与过程相关的噪声测量的情况下估计潜在的随机过程的任务。我们提出了一个平滑期望的无偏估计量。无偏属性具有方法上的优势：可以并行生成独立估计量，并且可以根据中心极限定理构建置信区间以量化近似误差。为了设计无偏估计量，我们结合了一个通用的去偏技术的马尔可夫链与马尔可夫链蒙特卡罗算法平滑。由此产生的程序是广泛适用的，我们在数值实验中表明，去除的偏见是在一个可控的方差增加。我们建立了温和的假设下提出的估计的有效性。玩具模型，包括一组高信息量的观察，和一个现实的Lotka-Volterra模型与一个棘手的过渡密度提供了数值实验。
2018-09-05 stat.CO stat.ME
Diagnostics-guided variance-inflated Fay-Herriot estimation from non-probability samples
Vilnius University（维尔纽斯大学）；Institute of Data Science and Digital Technologies（数据科学与数字技术研究所）
针对非概率样本的小域估计，提出诊断引导的方差膨胀Fay-Herriot估计，通过域诊断指标调整方差膨胀，在弱覆盖域中加强平滑，显著降低估计误差。
2026-06-12 stat.ME
Adaptive estimation of vector autoregressive models with time-varying variance: application to testing linear causality in mean
研究了新息无条件异方差且序列相关的线性向量自回归（VAR）模型。波动率结构是确定性的，并且相当普遍，包括作为特殊情况的突变或趋势方差。在这个框架中，我们提出了普通最小二乘法（OLS），广义最小二乘法（GLS）和自适应最小二乘法（ALS）的程序。GLS估计器需要时变方差结构的知识，而在ALS方法中，未知方差通过OLS残差向量的外积通过核平滑来估计。还允许时变方差矩阵的不同单元的不同带宽。我们推导了VAR模型系数估计的渐近分布，并比较了它们的性质。特别是，我们证明了ALS估计是渐近等价于不可行的GLS估计。这种渐近等价性是在给定范围内相对于带宽一致获得的，因此证明了数据驱动带宽规则的合理性。利用这些结果，我们建立Wald检验的线性Granger因果关系的平均值，这是适应VAR过程的误差驱动的非平稳波动。它还表明，常用的标准Wald检验的线性Granger因果关系的平均值是潜在的不可靠的，在我们的框架。蒙特卡罗实验说明了使用不同的估计方法分析具有稳定新息的VAR模型。
2010-07-08 stat.ME
Adaptive sparsening and smoothing of the treatment model for longitudinal causal inference using outcome-adaptive LASSO and marginal fused LASSO
本文针对时变治疗情境下的因果变量选择问题，提出结合纵向结局自适应LASSO与自适应融合LASSO的两步方法，在简化治疗模型、提高估计效率的同时控制模型误设偏倚，并通过模拟和青少年尼古丁依赖数据验证其有效性。
2025-08-15 stat.ME
Geometry Adaptive Counterfactual Distribution Learning with Diffusion-Guided Smoothing
Department of Statistics, Korea University（韩国大学统计系）
针对高维反事实分布学习，提出两种基于扩散引导的几何自适应平滑估计器，通过有效维度降低误差，并在CelebA实验验证。
2026-07-21 cs.LG stat.ME stat.ML
Online Smoothing for Diffusion Processes Observed with Noise
我们介绍了一种在线估计平滑期望的一类添加剂泛函的方法，在一个丰富的家庭的扩散过程（可能包括跳跃）的背景下-观察离散时间的实例。我们克服了不可用的过渡密度的基础上增强路径空间的工作。例如，新方法可以应用于对指定类别的模型进行在线参数推断。定义在无限维路径空间上的算法在过去几年中主要是在MCMC技术的背景下开发的。在那里，主要的好处是实现无网格混合时间的实际时间离散算法在PC上使用。我们自己的方法建立了无限维在线过滤的框架-一个重要的积极的实际后果是构建的方差不随网格大小的减小而增加的估计。除了正则条件，我们的方法是，在原则上，适用于弱假设下-相对于限制性条件，往往需要在MCMC或过滤文献的方法定义的路径空间-该矩阵的协方差阵是可逆的。
2021-08-11 stat.CO stat.ME
Inference Optimal Long Run Variance Estimation with Lugsail Kernels
Smith College（史密斯学院）；University of California, Riverside（加州大学河滨分校）
针对具有平稳序列依赖的数据，提出基于非标准固定平滑极限分布的Lugsail估计器最优带宽规则，改善偏差校正并优化推断。
2026-06-17 math.ST stat.ME stat.TH
Local linear smoothing for regression surfaces on the simplex using Dirichlet kernels
本文提出单纯形上回归曲面的局部线性平滑器，利用局部自适应狄利克雷核加权最小二乘，推导渐近性质，并通过模拟证明其优于现有 Nadaraya-Watson 估计器。
2025-05-11 math.ST stat.AP stat.ME
Particle rejuvenation of Rao-Blackwellized Sequential Monte Carlo smoothers for Conditionally Linear and Gaussian models
本文主要研究条件线性和高斯状态空间中光滑分布的序贯蒙特卡罗近似。为了减少平滑器的蒙特卡罗方差，在这些模型中通常使用Rao-Blackwellization：粒子近似用于对隐藏状态的序列进行采样，而高斯状态使用卡尔曼滤波器/平滑器的变体根据状态和观测的序列进行显式积分。第一次成功的尝试，使用Rao-Blackwellization平滑扩展的Bryson-Frazier平滑高斯线性状态空间模型，使用广义的两个过滤器公式与卡尔曼滤波器/平滑。最近，一个向前向后分解的平滑分布模仿的Rauch-Tung-Striebel平滑的制度结合向后卡尔曼更新已经推出。本文研究了在所有这些算法中引入额外的再生步骤的好处，以在每个时刻对向前和向后粒子的新政权进行采样。这定义了平滑分布的基于粒子的近似，其支持不限于前向或后向滤波器中采样的粒子集。这些程序适用于商品市场，这是使用两个因素模型的基础上，现货价格和原油数据的便利收益率。
2017-07-05 stat.AP stat.ME
Radial Neighborhood Smoothing Recommender System
Department of Statistics and Bioinformatics and Computational Biology Program（统计学与生物信息学及计算生物学项目部）；School of Mathematical Sciences and Center for Statistical Science（数学科学学院和统计科学中心）
提出径向邻域估计器（RNE），通过观测矩阵行列距离近似潜在空间距离并结合局部核回归平滑，提升推荐插补精度并缓解冷启动问题。
2025-07-14 cs.LG stat.AP stat.ME
Adaptive State-Space Multitaper Spectral Estimation
短时傅立叶变换（STFT）是分析时间序列谱时动力学的最常用的基于窗口的方法。为了减轻由于有限长度的独立STFT窗口引起的高方差对谱估计的影响，状态空间多锥度（SSMT）方法使用状态空间框架来引入谱估计之间的依赖性。然而，假设的时间不变性的状态空间参数使得频谱动态难以捕捉时，时间序列是高度非平稳的。我们提出了一种自适应SSMT（ASSMT）方法作为SSMT的时变扩展。ASSMT跟踪高度非平稳动态自适应更新状态参数和卡尔曼增益使用启发式，计算效率高的指数平滑技术。在模拟数据和真实的人类脑电图（EEG）记录的分析中，ASSMT显示出相对于标准的多锥度和SSMT方法改进的去噪和平滑特性。
2022-01-17 stat.AP stat.ME
Conditional Mean and Variance Estimation via \textit{k}-NN Algorithm with Automated Variance Selection
Harvard T.H. Chan School of Public Health（哈佛大学T.H. Chan公共卫生学院）；University of Santiago de Compostela（圣西蒙大学）；University of California, Los Angeles（加州大学洛杉矶分校）
提出一种结合数据驱动变量选择的k-NN回归方法，联合估计条件均值与方差，实现快速收敛并在模拟和生物医学应用中优于传统k-NN。
2025-10-27 cs.LG stat.CO stat.ME
On Variance Estimation of Random Forests with Infinite-Order U-statistics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
无限阶U-统计量（IOUS）已被广泛用于子打包集成学习算法，如随机森林，以量化其不确定性。虽然IOUS的正态性结果已被广泛研究，但其方差估计方法和理论性质仍大多未被探索。现有的方法主要利用Hoeffding分解中的主导项优势属性。然而，当核大小较大或样本量较小时，这种观点通常会导致有偏估计。另一方面，虽然文献中存在一些无偏估计量，但它们之间的关系和理论性质，特别是比率相合性，从未被研究过。这些限制导致构造的置信区间的性能无法保证。为了弥合这些差距，在文献中，我们提出了一个新的观点Hoeffding分解方差估计，导致一个无偏估计量。我们的观点利用了峰值区域的优势，而不是主导项的优势。此外，我们建立了我们的估计与现有的几个无偏方差估计的联系和等价性。从理论上讲，我们是第一个建立这样的方差估计的比率一致性，这证明了覆盖率的置信区间从随机森林构造。数值上，我们进一步提出了一个局部平滑过程，以提高估计的有限样本性能。广泛的模拟研究表明，我们的估计享有较低的偏见和存档目标覆盖率。
2023-02-14 cs.LG stat.CO stat.ME
ARMA Time-Series Modeling with Graphical Models
Microsoft Research（微软研究院）
我们将经典的ARMA时间序列模型表示为有向图模型。在这样做的时候，我们发现，在模型中的确定性关系，使它有效地不可能使用的期望最大化算法学习模型参数。为了解决这个问题，我们用具有小方差的高斯分布代替确定性关系，得到随机ARMA（ARMA）模型。这种修改允许我们使用期望最大化算法来学习参数和预测，即使在某些数据丢失的情况下。这种修改，结合graphicalmodel的方法，也使我们能够包括交叉预测的情况下，有多个时间序列和/或额外的nontemporal协变量。更令人惊讶的是，实验表明，移动到随机ARMA通过更好的平滑产生更高的精度。我们证明了交叉预测和更好地平滑真实数据所带来的改进。
2012-08-08 cs.LG stat.AP stat.ME
Data-driven calibration of linear estimators with minimal penalties
本文讨论了非参数回归中线性估计的选择问题，包括线性回归的模型选择，核岭回归中正则化参数的选择，样条平滑或局部加权回归，以及多核学习中核的选择。我们提出了一种新的算法，首先估计一致的噪声方差，基于最小惩罚的概念，这是以前介绍的模型选择的上下文中。然后，证明了将我们的方差估计插入Mallow的$C_L$罚函数中，可以得到一个满足预言不等式的算法.核岭回归和多核学习的仿真实验表明，该算法往往显着改善现有的校准程序，如广义交叉验证。
2011-09-13 math.ST stat.ME stat.ML
Intensity Profile Projection: A Framework for Continuous-Time Representation Learning for Dynamic Networks
Imperial College London（帝国理工学院）；University of Bristol（布里斯托大学）
本文提出强度轮廓投影框架，通过估计成对强度函数、学习最小化重构误差的投影并构建演化节点表示，实现动态网络连续时间表示学习，并提供严格误差控制理论。
2024-01-17 cs.LG stat.ME stat.ML
