Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Coverage of Credible Sets for Regression under Variable Selection
该研究提出变量选择下多元线性回归的新型贝叶斯可信集方法,通过稀疏诱导映射纳入变量选择,证明特定条件下修正可信区间有精确渐近覆盖率,给出参数选择准则并提供R包实现。
2024-06-20 stat.ME
Rejoinder to discussions of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
对Szabó、van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率主义覆盖”的反驳[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Locally Adaptive Nonparametric Binary Regression
本文提出了一种非参数局部自适应贝叶斯估计器来估计二元回归。通过将二元回归建模为概率单位回归的混合物来获得灵活性,其中每个概率单位回归的参数具有薄板样条,其具有自己的平滑参数,并且混合物权重取决于协变量。估计相比,一个单一的样条估计和最近提出的局部自适应估计。通过将其应用到模拟和真实的例子说明了该方法。
2007-09-21 stat.ME
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化(BO)是一种基于模型的无梯度黑箱函数优化方法。通常,BO由高斯过程(GP)驱动,其算法复杂度是评估数量的立方。因此,基于GP的BO不能利用大量的过去或相关的函数评估,例如,来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案,其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合,该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
Frequentist coverage of adaptive nonparametric Bayesian credible sets
本文研究了非参数环境下贝叶斯可信集的频率覆盖问题。我们考虑一个尺度的先验的变化规律性和选择的规则性的经验贝叶斯方法。接下来,我们考虑一个中心集的规定后验概率的后验分布所选择的规律。我们表明,这样一个自适应贝叶斯可信集给出了正确的不确定性量化的“抛光尾”参数,在这个意义上的高概率覆盖这些参数。在消极的一面,我们通过理论和例子表明,适应的前必然导致毛和偶然的不确定性量化的一些真正的参数,仍然在超矩形的规律性尺度。
2015-09-04 math.ST stat.TH
Sequential Adaptive Design for Jump Regression Estimation
统计模型的输入变量或设计点的选择一直是自适应设计和主动学习的重要内容。本文通过两个科学实例,提出了一种当基础回归函数不连续时选择回归模型设计点的策略。我们进行的第一个例子是为了在高分辨率材料成像中加快成像速度;第二个例子是为了绘制化学相图而使用序贯设计。在这两个例子中,基本的回归函数具有不连续性,因此许多现有的设计优化方法不能被应用,因为它们大多假设连续的回归函数。虽然一些现有的自适应设计策略开发的树回归模型可以处理的不连续性,贝叶斯方法来计算昂贵的马尔可夫链蒙特卡罗技术的后验推理和随后的设计点的选择,这是不适合的第一个激励的例子,需要至少比原来的成像速度更快的计算。此外,树模型是基于域划分,当不连续性发生在复杂的子域边界时,效率低下。针对不连续性回归分析,提出了一种简单有效的自适应设计策略:首先给出固定设计下的一些统计性质,然后利用这些性质提出一种新的选择回归分析设计点的准则。将提出与新准则的顺序设计与全面的模拟例子,并将其应用到两个激励的例子。
2021-02-10 cs.CV cs.LG stat.ML
Posterior Contraction of Lévy Adaptive B-spline Regression in Besov Spaces
Department of Statistics, Seoul National University(首尔国立大学统计系);Department of Statistics, Sookmyung Women’s University(淑明女子大学统计系)
本文研究了Lévy自适应B样条回归模型在Besov空间中的后验收缩性质,证明了该模型在非参数回归框架中能够以接近最优的速率收敛到真实函数,同时自动适应未知的光滑度。
2026-05-19 cs.LG stat.ML
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型,提出基于变分贝叶斯的超参数选择理论保证,通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界,并在多种高斯过程先验中实现最优收缩率,同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程,建立了逐点可信集频率学派覆盖率的理论保证,并精确刻画其渐近行为,揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法,用于在非参数回归模型中调整高斯过程的尺度。我们表明,所有的方法导致后收缩率,适应真正的回归函数的平滑度。此外,我们还证明了当真实回归函数满足一定的外推条件时,相应的可信集覆盖了该函数。这个条件取决于具体的方法,但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架,利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维,通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Nash: Neural Adaptive Shrinkage for Structured High-Dimensional Regression
Departments of Statistics and Human Genetics(统计学与人类遗传学系)
本文提出Nash框架,通过神经网络整合协变量特定的侧信息,实现高维稀疏回归,提升模型适应性和准确性。
2026-05-17 cs.LG stat.ML
Adaptive bridge regression modeling with model selection criteria
我们考虑的问题,建立一个自适应的桥梁回归模型,这是一个惩罚的过程,通过施加不同的权重,以不同的系数在桥梁惩罚项。建模过程中的一个关键问题是模型中调整参数的选择。我们把调整参数的选择作为模型选择和评价问题。为了选择参数,模型选择准则是由信息论和贝叶斯方法推导出来的。我们进行了一些数值研究,调查我们提出的建模策略的有效性。
2012-08-28 stat.ME
Adaptive MC^3 and Gibbs algorithms for Bayesian Model Averaging in Linear Regression Models
MC $^3$(Madigan and York,1995)和Gibbs(George and McCulloch,1997)采样器是线性回归模型中贝叶斯模型平均(BMA)最广泛实现的算法。这些采样器在每次迭代中使用统一的选择概率随机抽取一个变量,然后建议更新该变量。如果变量的数量很大并且许多变量是冗余的,则这在计算上可能是低效的。在这项工作中,我们引入自适应版本的这些采样器,保持其简单的实施,并减少了许多冗余变量的选择概率。在真实和模拟数据集的自适应采样器的效率的改进说明。
2013-06-25 stat.CO
Minimax and minimax adaptive estimation in multiplicative regression : locally bayesian approach
本文讨论了带乘性噪声的回归方程的非参数估计问题。利用局部多项式拟合和贝叶斯方法,构造了迷向Hölder类估计的Minimax.接下来应用Lepski的方法,我们提出的估计,这是最佳自适应的各向同性的Hölder类的集合。为了证明所提出的方法的最优性,我们特别建立了局部最佳估计与待估计参数的偏差的指数不等式。这些理论结果通过仿真研究得到了验证。
2012-07-23 math.ST stat.TH
SplitWise Regression: Stepwise Modeling with Adaptive Dummy Encoding
Institute for Global Prosperity, The Bartlett(全球繁荣研究所,巴特利特学院);University College London(伦敦大学学院);Department of Mathematics, Faculty of Natural Sciences(数学系,自然科学学院);Imperial College London(伦敦帝国学院)
SplitWise通过自适应虚拟编码方法,在保持模型可解释性的同时,有效捕捉非线性关系,提升回归模型的简洁性和泛化能力。
2025-05-21 cs.LG econ.EM stat.AP
On frequentist coverage errors of Bayesian credible sets in moderately high dimensions
本文研究了具有(中等)高维回归变量的近似线性回归模型的贝叶斯可信集的频率覆盖误差,其中回归变量的维数可以随样本量而增加,但小于样本量.具体地说,我们考虑了准似然下的斜率向量与高斯误差分布的准贝叶斯推断。在这种设置下,我们推导出贝叶斯可信矩形的频率覆盖误差的有限样本界。这些界限的推导建立在一个新的Berry-Esseen型准后验分布和最近的结果高维CLT超矩形上的界限。我们使用这个一般的结果来量化覆盖误差的卡斯蒂略-尼克和$L^{\infty}$ -可信带高斯白噪声模型,线性逆问题,(可能是非高斯)非参数回归模型。特别是,我们表明,这些非参数模型的贝叶斯可信带的覆盖误差多项式衰减快的样本量,这意味着优势的贝叶斯可信带的置信带的基础上极值理论。
2019-06-27 math.ST stat.TH
Adaptive Non-parametric Estimation of Mean and Autocovariance in Regression with Dependent Errors
考虑了可分解为光滑均值函数和平稳自相关噪声过程的高斯过程,提出了一种同时估计这类过程均值和自协方差函数的全自动非参数方法。我们的经验贝叶斯方法是数据驱动的,数值效率高,并允许构建均值函数的置信集。性能在模拟和实际数据分析中得到证明。该方法在本文附带的R包eBsc中实现。
2021-08-18 math.ST stat.AP stat.ME
Adaptive design for Gaussian process regression under censoring
工程问题中的一个关键目标是预测输入域上的未知实验曲面。在复杂的物理实验中,这可能会受到响应审查的阻碍,这会导致信息的重大损失。对于这样的问题,试验设计是至关重要的,使用少量的昂贵的实验运行最大限度地提高预测能力。为了解决这个问题,我们提出了一种新的自适应设计方法,称为综合删失均方误差(ICMSE)方法。ICMSE方法首先估计被删失的新观测的后验概率,然后自适应地选择设计点,以最小化删失下的预测不确定性。采用乘积相关函数的高斯过程回归模型,所提出的ICMSE准则易于评估,从而允许有效的设计优化。我们证明了ICMSE设计的有效性,在两个现实世界中的应用程序,手术规划和晶圆制造。
2021-06-25 stat.ME
Asymptotic frequentist coverage properties of Bayesian credible sets for sieve priors
我们调查的频率覆盖属性的贝叶斯可信集一般的,自适应的,非参数的框架。众所周知,自适应和诚实的信心集的建设是不可能的一般。为了克服这个问题,我们引入一个额外的假设的功能参数,所谓的“一般抛光尾”的条件。然后,我们表明,在标准的假设下,分层和经验贝叶斯方法的结果在诚实的信心集筛类型的先验在一般情况下,我们表征其大小。我们应用派生的抽象结果的各种例子,包括非参数回归模型,密度估计使用指数族的先验,密度估计使用直方图先验和非参数分类模型,我们表明,它们的大小是近极大极小自适应相对于所考虑的特定半度量。
2019-02-04 math.ST stat.TH
Distributed Adaptive Coverage Control of Differential Drive Robotic Sensors
IITB-Monash Research Academy(IITB-莫纳什研究学院);Indian Institute of Technology Bombay(印度理工学院孟买分校);Monash University(莫纳什大学)
本文研究了多个移动机器人在区域Q内的自主覆盖问题。使用可能不是先验已知的密度函数来描述要覆盖的区域。本文将覆盖问题归结为一个在Q上的函数空间上的优化问题。特别是,我们期待在L 2距离为基础的覆盖算法,并获得自适应控制法律相同。我们还提出了一个修改后的自适应控制法律纳入共识,以更好的参数收敛。我们实现了真正的差分驱动机器人与模拟密度函数以及密度函数使用光源实现的算法。我们还比较了基于L2距离的方法与位置优化方法的实验。
2019-08-03 cs.MA cs.RO cs.SY