A reliable data-based smoothing parameter selection method for circular kernel estimation
提出了一种新的基于数据的圆核密度(及其导数)估计的平滑参数。按照插件的想法,未知量的最佳平滑参数被替换为适当的估计。本文提供了著名的Sheather和Jones带宽(DOI:10.1111/j.2517-6161.1991.tb01857.x)的循环版本,具有直接和求解方程插件规则。理论支持我们的发展,有关的渐近均方误差的估计的密度,其衍生物,其泛函,圆形数据,提供。所提出的选择器与以前的基于数据的圆核密度估计的平滑参数进行了比较。本文也有助于研究的最佳核循环数据。一个插图的建议插件的规则也显示使用真实的数据上的时间的车祸。
2022-11-18 stat.CO stat.ME
More efficient approximation of smoothing splines via space-filling basis selection
研究非参数回归模型中光滑样条估计的逼近问题。当应用于$n$大小的样本时,平滑样条估计量可以表示为$n$基函数的线性组合,当预测因子的数量为$d\geq 2$时需要$O(n^3)$计算时间。如此大的计算成本阻碍了平滑样条的广泛适用性。在实践中,全样本平滑样条估计器可以通过基于$q$随机选择的基函数的估计器来近似,导致$O(nq^2)$的计算成本。已知当$q$为$O\{n^{2/(pr+1)}\}$阶时,这两个估计量以相同的速率收敛,其中$p\in [1,2]$依赖于真函数$η$,而$r > 1$依赖于样条的类型。这样的$q$称为基函数的基本数。在这篇文章中,我们开发了一种更有效的基选择方法。通过选择对应于大致等间距的观测值,所提出的方法选择一组具有大的多样性的基函数。渐近分析表明,我们提出的光滑样条估计可以减少$q$约$O\{n^{1/(pr+1)}\}$,当$d\leq pr+1$。仿真和真实数据集上的应用表明,与其他基选择方法相比,该方法具有更小的预测误差。
2020-03-24 stat.CO stat.ME
An Online Meta-Level Adaptive Design Framework with Targeted Learning Inference: Applications to Evaluating and Utilizing Surrogate Outcomes in Adaptive Designs
Division of Biostatistics, University of California, Berkeley(加州大学伯克利分校生物统计系);Vaccine and Infectious Disease Division, Fred Hutchinson Cancer Center(弗雷德·哈钦森癌症中心疫苗与传染病部);Department of Biostatistics, University of Washington(华盛顿大学生物统计系)
本文提出一种在线元级自适应设计框架,用于实时评估和选择候选自适应设计,通过定义新的因果估计量和目标最大似然估计器,量化替代性结局的效用,以加速检测异质治疗效应并改善参与者结果。
2026-04-06 stat.ME
Robust Fitting for Generalized Additive Models for Location, Scale and Shape
广义位置、尺度和形状广义可加模型(GAMLSS)估计和平滑参数选择的有效性依赖于似然函数的正确设定。已知偏离这种假设会误导任何基于可能性的推断,并可能阻碍旨在确保非线性效应的某种程度的平滑性的惩罚方案。我们提出了一种通用的方法来实现鲁棒性拟合GAMLSS通过限制低对数似然值的观测值的贡献。鲁棒的平滑参数的选择可以通过最小化信息标准,自然产生的鲁棒的可能性或通过扩展的Fellner-Schall方法进行。后者允许自动平滑参数选择,并且在具有多个平滑参数的应用中特别有利。我们还提出了一种新的中值降权比例准则,以解决调整非线性效应模型的鲁棒估计的挑战。这使得一个公平的比较与现有的稳健估计的特殊情况下,广义可加模型,我们的估计竞争有利。我们的建议的整体良好的性能说明了进一步的模拟在GAMLSS设置和应用程序的功能磁共振脑成像使用双变量平滑样条。
2019-11-12 stat.ME
On prediction-powered inference for quantile regression via convolution smoothing
Washington University in St. Louis(圣路易斯华盛顿大学)
针对金标准数据有限而替代数据广泛可得的场景,提出基于卷积平滑的分位数回归预测驱动推断方法,解决计算困难和置信区间过保守问题,并建立渐近分布理论。
2026-06-02 stat.ME
Statistical Inference on Transformation Models: a Self-induced Smoothing Approach
本文讨论了一类一般的变换模型,其中包含许多重要的半参数回归模型作为特例。它发展了一种自诱导平滑的最大秩相关估计,导致同时点和方差估计。自诱导平滑不需要带宽选择,但提供了适当的平滑量,使得估计量是渐近正态的,平均值为零(无偏),方差-协方差阵由通常的估计量一致估计。给出了方差估计的迭代算法,并证明了该算法在数值上收敛于一致的极限方差估计量。该方法适用于一个数据集,涉及原发性胆汁性肝硬化患者的生存时间。仿真结果表明,该方法在各种情况下都有良好的性能。
2013-02-27 stat.ME
Adaptive sparsening and smoothing of the treatment model for longitudinal causal inference using outcome-adaptive LASSO and marginal fused LASSO
本文针对时变治疗情境下的因果变量选择问题,提出结合纵向结局自适应LASSO与自适应融合LASSO的两步方法,在简化治疗模型、提高估计效率的同时控制模型误设偏倚,并通过模拟和青少年尼古丁依赖数据验证其有效性。
2025-08-15 stat.ME
Sequential Optimization in Locally Important Dimensions
当输入空间是高维的时,优化昂贵的黑盒函数$f(\cdot)$是具有挑战性的。顺序设计框架首先用代理函数对$f(\cdot)$建模,然后优化采集函数以确定下一步要评估的输入设置。$f(\cdot)$和采集函数的优化都受益于有效的降维。全局变量选择检测并删除不影响整个输入空间中的$f(\cdot)$的输入变量。进一步的降维可能是可能的,如果我们考虑局部变量选择周围的当前最佳估计。我们开发了一个顺序设计算法,称为顺序优化局部重要维度(SOLID),它结合了全局和局部变量的选择,以优化一个连续的,可微的功能。SOLID通过将估计的最优值周围的局部区域中的代理预测与通过移除每个输入变量而做出的$p$替代预测进行比较来执行局部变量选择。采集函数的搜索空间被进一步限制为仅关注被视为局部活动的变量,从而更加强调在局部活动维度中细化代理模型。三个测试功能的仿真研究和Sarcos机器人数据集的应用表明,SOLID优于传统方法。
2019-01-20 stat.ME
Combining Smoothing Spline with Conditional Gaussian Graphical Model for Density and Graph Estimation
多元密度估计和图模型在统计学习中起着重要的作用。估计的密度可用于构建揭示条件关系的图形模型,而图形结构可用于构建用于密度估计的模型。我们的目标是构建一个统一的框架,可以执行密度和图形估计。将$\bm{Z}$表示为具有密度函数$f(\bz)$的感兴趣的随机向量。将$\bm{Z}$分解为$\bm{Z}=(\bm{X}^T,\bm{Y}^T)^T$和$f(\bz)=f(\bx)f(\by|\bx)$两部分,其中$f(\bx)$是$\bm{X}$的密度函数,$f(\by|\bx)$是$\bm{Y}|\bm{X}=\bx$的条件密度。我们提出了一个半参数框架,模型$f(\bx)$非参数使用平滑样条方差分析(SS ANOVA)模型和$f(\by|\bx)$参数使用条件高斯图形模型(CGGM)。结合SS ANOVA模型的灵活性和cGGM的简洁性,这个框架允许我们处理高维数据,而无需假设联合高斯分布。我们提出了一个cGGM与计算效率高的方法来选择调谐参数的后拟合估计过程。我们还开发了一个几何推理的边缘选择方法。我们建立了参数和密度估计的渐近收敛性质。所提出的方法的性能进行评估,通过广泛的模拟研究和两个真实的数据应用。
2019-03-30 stat.ME
Orthogonalized smoothing for rescaled spike and slab models
重标spike和slab模型是一种新的线性回归模型的贝叶斯变量选择方法。在高维正交设置中,这样的模型已被证明具有最佳的模型选择属性。我们回顾背景理论,并讨论应用重新标度的尖峰和平板模型预测问题,涉及正交多项式。我们首先考虑全局平滑,并讨论潜在的弱点。其中一些缺陷是通过使用局部回归来弥补的。局部回归方法依赖于局部加权回归和加权广义岭回归之间的密切联系。一个重要的含义是,人们可以跟踪曲线的有效自由度,作为一种可视化和分类曲率的方式。几个激励的例子。
2008-05-21 stat.AP stat.ME
Fast Bayesian Basis Selection for Functional Data Representation with Correlated Errors
Department of Statistical and Actuarial Sciences, University of Western Ontario(西安大略大学统计与精算科学系);Federal University of Paraná(巴拉那联邦大学)
提出一种考虑相关误差的快速贝叶斯基函数选择方法,利用变分期望最大化算法同时平滑多条曲线,在模拟和真实数据上优于现有方法。
2025-10-28 stat.ME
Surrogate modeling based on resampled polynomial chaos expansions
在替代模型中,多项式混沌展开(PCE)被广泛地用于表示随机模型响应,这是计算昂贵的并且通常通过确定性数值建模方法(包括有限元和时域有限差分方法)获得。最近,已经努力通过仅选择有影响的基多项式(例如,通过最小角度回归的方法)。本文提出了一种称为重采样PCE(rPCE)的方法,通过利用真实模型是固定的这一知识来进一步优化选择,尽管训练中采样固有的统计不确定性。通过经由重采样($k$ -这里使用的倍除法)模拟数据变化并且收集关于所有重采样的所选多项式,主要根据选择频率对多项式进行排序。复位方案(这里是$k$的值)非常重要,并考虑和比较了各种配置。所提出的重采样PCE是用两种流行的选择技术实现的,即最小角度回归和正交匹配追踪,以及它们的组合。所提出的算法的性能证明了两个分析的例子,在结构力学的基准问题,以及在计算剂量学的一个现实的案例研究。
2019-12-12 stat.CO stat.ME
Optimal smoothing parameter in Eilers-Whittaker smoother
MATCOM, Universidad de La Habana(哈瓦那大学 MATCOM);Facultad de Física-Instituto de Ciencias y Tecnología de Materiales(IMRE), Universidad de La Habana(哈瓦那大学物理学院-材料与科学技术研究所 (IMRE));Parque Cientifico Tecnologico de La Habana(哈瓦那科技文化园)
本文提出基于残差谱熵的S曲线方法,用于选择埃利尔斯-惠特克平滑器中的最优正则化参数,通过模拟数据和实验数据验证其有效性。
2026-02-09 physics.app-ph stat.ME
Adaptive Function-on-Scalar Regression with a Smoothing Elastic Net
本文提出了一种新的方法,称为AFSSEN,同时选择显着的预测,并产生光滑的估计,在一个高维函数的标量线性模型与亚高斯误差。假设结果位于一般的实可分希尔伯特空间H中,而参数位于称为Cameron Martin空间K的子空间中,这与再生核希尔伯特空间密切相关,因此参数估计继承了特定的属性,例如平滑性或周期性,而不会对数据施加这些属性。我们提出了一种自适应弹性网惩罚风格的正则化方法,该方法涉及混合两种类型的函数范数,在估计模型中提供平滑和变量选择的微调控制。渐近理论的形式提供了一个功能性的预言属性,本文的结论与模拟研究表明使用AFSSEN的优势,在现有的方法在预测误差和变量选择。
2019-05-23 math.ST stat.ME stat.TH
Kernel Smoothing for Bounded Copula Densities
本文针对有界 Copula 密度函数的核估计问题,提出基于镜像反射的边界偏差修正方法,并通过 AMISE 最小化与交叉验证推导最优带宽,给出经验法则和 LSCV 两种策略,模拟及 WBCDD 数据应用验证了方法的有效性。
2025-02-08 math.ST stat.ME stat.TH
Estimation and Inference for High Dimensional Generalized Linear Models: A Splitting and Smoothing Approach
现代生物医学研究的重点已逐渐转向解释和估计高维预测因子对疾病风险的联合作用。量化这些估计的不确定性可能为患者和医生提供有价值的预防策略或治疗决策。高维推理,包括置信区间和假设检验,引起了人们的极大兴趣。虽然已经做了大量的工作,在线性回归设置,是缺乏文献的推理高维广义线性模型。我们提出了一种新的和计算上可行的方法,它可以容纳各种结果类型,包括正常的,二项式,泊松数据。我们使用“分裂和平滑”的方法,将样本分为两部分,使用一部分进行变量选择,并与另一部分进行部分回归。对多个随机分裂的估计求平均,我们得到了平滑估计,这是数值稳定的。我们证明了估计是一致的,渐近正态的,并构造了所有预测因子具有适当覆盖概率的置信区间。我们检查我们的方法与现有的方法进行比较,并将其应用于分析肺癌队列研究的有限样本性能。
2021-03-06 stat.ME
Automatic Search Intervals for the Smoothing Parameter in Penalized Splines
光滑参数的选取是惩罚样条估计的核心问题。平滑参数的最佳值通常是优化平滑选择标准的值,例如广义交叉验证误差(GCV)和限制似然(REML)。为了正确识别全局最优而不是陷入不希望的局部最优,建议使用网格搜索进行优化。不幸的是,网格搜索方法需要一个预先指定的搜索区间,其中包含未知的全局最优值,但没有任何准则可用于提供这个区间。因此,实践者必须通过试验和错误来找到它。为了克服这种困难,我们开发了新的算法来自动找到这个区间。我们的自动搜索间隔有四个优点。(i)它指定了一个平滑参数范围,其中相关的惩罚最小二乘问题是数值可解的。(ii)它是独立于标准的,因此可以在相同的参数范围内探索不同的标准,如GCV和REML。(iii)它足够宽,可以包含任何准则的全局最优值,例如,GCV的全局最小值和REML的全局最大值都可以识别。(iv)与网格搜索本身相比,它的计算成本很低,在实践中不会带来额外的计算负担。我们的方法可以通过我们最近开发的R软件包GPS(>= 1.1版)使用。它可以嵌入到更先进的统计建模方法,依赖于惩罚样条。
2022-12-09 stat.CO stat.ME
Consistent second-order discrete kernel smoothing using dispersed Conway-Maxwell-Poisson kernels
一个离散概率质量函数的直方图估计往往表现出与零概率估计相关的不期望的性质,无论是在观察到的计数范围内还是在分布的尾部之外。为了规避这一点,我们制定了一个新的二阶离散核平滑的基础上最近开发的平均参数化康威-麦克斯韦-泊松分布,它允许过度和分散不足。两个自动带宽选择方法,一个基于一个简单的最小化的库尔贝克-莱布勒散度和另一个基于一个更高的计算要求的交叉验证标准,介绍。这两种方法都表现出出色的小样本和大样本性能。从一系列的目标分布的模拟数据集上的计算结果说明了所提出的方法相比,现有的平滑和非平滑估计的灵活性和准确性。该方法适用于蚯蚓体节计数的建模,和昆虫害虫的发展天数的呼拉树。
2021-08-14 stat.ME
Assessing Bayes factor surfaces using interactive visualization and computer surrogate modeling
本文提出通过交互式可视化和高斯过程代理建模来评估贝叶斯因子对先验设定的敏感性,并展示了贝叶斯因子曲面在提高科学报告透明度和可复现性方面的价值。
2020-01-30 stat.ME
fETSmcs: Feature-based ETS model component selection
Beihang University(北京航空航天大学);University of Manchester(曼彻斯特大学)
ETS(ExponenTial Smoothing or Error,Trend,Seasonality,指数平滑或误差、趋势、季节性)方法在状态空间表示中引入了一系列指数平滑模型,已被广泛用于自动预测。现有的ETS方法使用信息标准进行模型选择,通过在拟合到给定时间序列的所有模型中选择具有最小信息标准的最优模型。当应用于大规模时间序列数据时,在这种模型选择方案下的ETS方法遭受计算复杂性。为了解决这个问题,我们提出了一个有效的方法ETS模型选择训练分类器的模拟数据预测适当的模型组件的形式为一个给定的时间序列。我们提供了一个模拟研究,以显示所提出的方法对模拟数据的模型选择能力。我们评估我们的方法上广泛使用的预测竞争数据集M4,在点预测和预测区间。为了证明我们的方法的实用价值,我们展示了我们的方法在每月医院数据集上的性能改进。
2022-06-26 cs.AI cs.LG stat.ME
Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based Surrogate Model Via Uncertainty Quantification
National Cheng Kung University(国立成功大学);Wells Fargo(富国银行);Georgia Institute of Technology(佐治亚理工学院)
昂贵函数的全局优化在物理和计算机实验中有重要的应用。这是一个具有挑战性的问题,开发有效的优化方案,因为每个函数的评估可能是昂贵的,往往是不可用的函数的导数信息。我们提出了一种新的全局优化框架,使用自适应径向基函数(RBF)的代理模型,通过不确定性量化。该框架由两个迭代步骤组成。它首先采用基于RBF的贝叶斯代理模型来近似真实函数,其中RBF的参数可以自适应地估计和更新,每次探索一个新的点。然后,它利用模型引导的选择标准,以确定一个新的点从候选集的功能评估。这里采用的选择标准是预期改进(EI)标准的样本版本。我们进行了模拟研究与标准的测试功能,这表明该方法具有一定的优势,特别是当真实的表面不是很光滑。此外,我们还提出了改进的方法,以提高搜索性能,以确定全局最优点,并处理更高的维度的情况下。
2020-01-19 cs.LG stat.ME stat.ML
Bayesian Image-on-Scalar Regression with a Spatial Global-Local Spike-and-Slab Prior
在这篇文章中,我们提出了一种新的空间全局-局部尖峰和板选择图像标量回归之前。我们认为贝叶斯分层高斯过程模型的图像平滑,使用灵活的逆Wishart过程之前,处理图像内的依赖性,并提出了一个通用的全局-局部空间选择之前,扩展了丰富的一类研究良好的选择先验。与现有的构造不同,我们实现了同时的全局(即,在协变量水平上)和局部(即,在像素/体素级)通过引入“参与率”参数进行选择,该参数测量各个协变量影响观察到的图像的概率。这与硬阈值策略一起导致两个级别的选择之间的依赖性,在局部级别引入额外的稀疏性,并允许全局选择被局部选择告知,所有这些都以基于模型的方式进行。我们设计了一个有效的吉布斯采样器,允许推断大图像数据。我们模拟数据表明,参数是可解释的,并导致有效的选择。最后,我们使用自闭症脑成像数据交换(ABIDE)研究的数据证明了所提出的模型的性能。据我们所知,该模型的建设是第一次在贝叶斯文献中,同时实现图像平滑,参数估计和两个级别的变量选择图像上的标量回归。
2022-12-16 stat.AP stat.ME
Empirical Analysis of Model Selection for Heterogeneous Causal Effect Estimation
Mila, Université de Montréal(蒙特利尔大学Mila研究所);Stanford University(斯坦福大学)
本文针对条件平均处理效应(CATE)估计的模型选择问题,通过AutoML调参和生成式建模引入真实数据集,对多种替代指标进行广泛基准测试,提出了基于超参数选择和因果集成的新策略。
2024-04-29 cs.AI cs.LG stat.ME
$ϕ$-test: Global Feature Selection and Inference for Shapley Additive Explanations
Department of Computer Engineering(计算机工程系);Gachon University(加荣大学)
$ϕ$-test通过结合Shapley属性与选择性推断,实现黑盒预测器的全局特征选择与显著性推断,提升模型解释性与稳定性。
2026-01-13 cs.LG stat.ME stat.ML
Multi-objective robust optimization using adaptive surrogate models for problems with mixed continuous-categorical parameters
对不确定性的解释对于工程结构的安全至关重要。通常在结构设计的早期阶段进行的优化为这一任务提供了理想的框架。当不确定性主要影响目标函数时,传统上考虑稳健设计优化。这项工作进一步假设存在多个和竞争的目标函数,需要同时处理。通过考虑目标函数的分位数来制定优化问题,该目标函数允许在单个度量中组合最优性和鲁棒性。通过引入公共随机数的概念,可以使用通用求解器(在此为非支配排序遗传算法(NSGA-II))来求解所得到的嵌套优化问题。然而,这种方法的计算成本是一个严重的障碍,其在现实世界中的问题的应用。因此,我们提出了一个替代辅助的方法,使用克里格作为一个廉价的近似相关联的计算模型。所提出的方法包括顺序进行NSGA-II,同时使用自适应构建的克里格模型来估计分位数。最后,该方法适用于考虑混合分类连续参数的应用程序涉及定性设计参数的选择以及。该方法首先应用于两个分析实例,显示其效率。第三个应用程序涉及选择最佳的翻修方案的建筑物考虑其生命周期成本和环境影响。这表明,当涉及到改造,供暖系统的更换应是优先事项。
2022-12-13 stat.CO stat.ME stat.ML
Fast Automatic Smoothing for Generalized Additive Models
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
多重广义可加模型(GAM)是一种分布回归,其中概率分布的参数通过平滑函数依赖于预测器,通过$L_2$正则化选择平滑度。多个GAM允许通过在分布的任何或所有参数中并入解释性信息来进行更精细的统计推断。由于其非线性,灵活性和可解释性,GAM被广泛使用,但可靠和快速的自动平滑方法在大型数据集仍然缺乏,尽管最近的进展。我们开发了一个通用的方法,自动学习的最佳程度的$L_2$正则化多个GAM使用经验贝叶斯方法。平滑函数被惩罚不同的量,其通过近似期望最大化算法通过最大化边际似然来同时学习,该近似拉普拉斯近似在E步处涉及双拉普拉斯近似,并导致有效的M步。实证分析表明,所得到的算法是数值稳定的,比现有的方法更快,达到了最先进的精度。为了说明,我们将其应用到极值数据分析中的一个重要而具有挑战性的问题。
2018-09-25 cs.LG stat.CO stat.ME