On optimality of Bayesian testimation in the normal means problem
我们考虑一个问题,恢复一个高维向量$μ$观察白噪声,其中未知向量$μ$被假定为稀疏。本文的目的是发展贝叶斯形式主义,从而产生一个家庭的$l_0$型的处罚。罚分与$μ$的非零条目数上的先验分布$π_n(\cdot)$的各种选择相关联,因此易于解释。由此产生的贝叶斯估计导致一个一般的阈值规则,它容纳了许多已知的阈值和模型选择程序作为特定的情况下,对应于特定的选择$π_n(\cdot)$。此外,他们实现了最优性,在一个相当一般的设置在非常温和的条件下的先验。我们还指定类的先验$π_n(\cdot)$,由此产生的估计是自适应最佳的(在极大极小意义上)的稀疏序列的范围很广,并考虑这样的先验的几个例子。
2007-12-06 math.ST stat.TH
Regression in random design and Bayesian warped wavelets estimators
本文研究随机设计下的回归问题。我们调查的最小最大的角度来看,各种贝叶斯规则的基础上扭曲小波的渐近最优性,并表明他们几乎达到最佳的最小最大的收敛速度超过Besov光滑类考虑。翘曲小波是近年来出现的一种新的小波,它具有很好的可计算性和易于实现的特性,同时也很好地适应了统计问题。我们特别强调贝叶斯规则的小方差和大方差高斯先验知识,并讨论他们的模拟性能比较硬阈值程序。
2009-08-20 math.ST stat.TH
Adaptive Bayesian Quantum Tomography
在这封信中,我们重新审视量子层析实验的最佳设计问题。与以前的方法相比,在实验之前确定一组最佳测量值,我们允许测量值根据迄今为止收集的数据进行自适应和有效的重新优化。我们开发了一个自适应的统计框架的基础上贝叶斯推断和香农的信息,并证明了一个十倍减少所需的测量的总数相比,非自适应的方法,包括相互无偏的基础。
2011-10-05 quant-ph stat.AP
Smooth SCAD: A Raised Cosine SCAD Type Thresholding Rule for Wavelet Denoising
Texas A&M University(德克萨斯农工大学);UNICAMP(坎皮纳斯州立大学);Université Savoie Mont Blanc, Polytech Annecy-Chambéry(萨瓦蒙布朗大学,阿讷西-尚贝里理工学院)
本文提出一种平滑SCAD阈值规则,用于小波去噪,结合低偏差、精确稀疏性和分析便利性,提供可操作的改进。
2026-01-16 cs.CE math.ST stat.CO
FootSLAM meets Adaptive Thresholding
零速检测门限的标定是零速辅助惯性导航的必要前提。然而,文献中缺乏一种独立的校准方法,适合在没有地图信息或预先部署的基础设施的无准备环境中大规模使用。在本文中,零速检测阈值的校准被制定为一个最大似然问题。使用从FootSLAM算法容易获得的估计量来近似似然函数。因此,我们获得了一种自适应阈值的方法,不需要地图信息,从补充传感器的测量,或用户输入。使用不同的步态速度,传感器的位置,和步行轨迹的数据进行实验评估。所提出的校准方法优于固定阈值零速度检测器和基准使用基于速度的阈值分类。
2020-03-26 eess.SP stat.AP
Sparse Methods for Automatic Relevance Determination
Massachusetts Institute of Technology(麻省理工学院)
这项工作认为,在贝叶斯回归的应用在非线性系统识别的方法施加稀疏。我们首先回顾自动相关性确定(ARD)和分析证明需要额外的正则化或阈值,以实现稀疏模型。然后,我们讨论了两类方法,正则化和阈值的基础上,ARD学习线性问题的简约解决方案。在正交协变量的情况下,我们分析证明了良好的性能,关于学习一个小的一组活动项的线性系统与稀疏的解决方案。几个例子的问题,提出了一套比较所提出的方法的优势和局限性ARD在基地数百个元素。本文的目的是分析和理解导致几种算法的假设,并提供理论和实证结果,以便读者可以获得洞察力,并对稀疏贝叶斯回归做出更明智的选择。
2020-05-18 cs.LG math.ST stat.ML
Adaptive empirical Bayesian smoothing splines
在本文中,我们开发和研究自适应经验贝叶斯光滑样条。这些都是平滑样条函数,平滑参数和惩罚顺序都是通过经验贝叶斯方法从模型的边际似然确定的。选择的阶数和平滑参数用于构造具有良好频率覆盖的底层回归函数的自适应可信集。我们使用这些可信的集合作为代理,以显示自适应经验贝叶斯平滑样条相比,频率平滑样条的优越性能。
2015-11-17 math.ST stat.TH
Bayesian Wavelet Shrinkage with Beta Priors
在小波收缩和阈值,大多数的标准技术不考虑的信息,小波系数可能是有界的,虽然有界的能量在信号中的信息可以很容易地获得。为了解决这个问题,我们提出了一个贝叶斯方法收缩有界小波系数的背景下,非参数回归。我们提出了一个零污染的β分布的支持对称周围为零的先验分布的位置参数在小波域中的模型加性高斯误差的使用。该模型的超参数与收缩水平密切相关,这有利于它们的提取和解释。对于低信噪比的信号,与标准技术相比,相关的贝叶斯收缩规则在仿真研究中提供了显着的性能改善。
2020-11-11 stat.ME
Regret and Belief Complexity Trade-off in Gaussian Process Bandits via Information Thresholding
University of Maryland(马里兰大学);Purdue University(普渡大学);US Army Research Laboratory(美国陆军研究实验室);Amazon(亚马逊)
贝叶斯优化是一种通过最大后验更新而不是模拟退火进行全局搜索的框架,并且在不确定性下的决策制定中获得了突出地位。在这项工作中,我们投贝叶斯优化作为一个多臂强盗问题,其中的支付函数是从高斯过程(GP)采样。此外,我们专注于通过置信上限(UCB)或预期改善(EI),由于其在实践中的普遍使用的行动选择。以前的作品使用GPS的土匪不能允许迭代范围$T$是大的,因为计算后验参数的复杂性与过去的观察的数量成三次方。为了避免这种计算负担,我们提出了一个简单的统计测试:只有将一个动作纳入GP后,当其条件熵超过$ε$阈值。这样做,使我们能够精确地描述之间的权衡遗憾界的GP强盗算法和复杂性的后验分布依赖于压缩参数$ε$离散和连续的行动集。据我们所知,这是第一个结果,使我们能够获得次线性遗憾界,同时仍然保持次线性增长率的复杂性后,在现有的文献中是线性的。此外,可以实现复杂度的可证明有限界,但该算法将导致$ε$ -遗憾,这意味着$\textbf{Reg}_T/T \rightarrow \mathcal{O}(ε)$作为$T\rightarrow \infty$。实验上,我们观察到国家的最先进的精度和复杂性的权衡GP强盗算法应用于全局优化,这表明压缩GP的优点,在强盗设置。
2022-03-21 cs.IT cs.LG math.IT
Kernel Bayesian Inference with Posterior Regularization
提出了一个向量值回归问题,其解等价于贝叶斯后验分布的再生核希尔伯特空间(RKHS)嵌入。这种等价性为核贝叶斯推断提供了一种新的理解。此外,优化问题导致了一个新的正则化的后验嵌入估计,这是更快,并具有可比性能的平方正则化核贝叶斯规则。这种正则化与核POMDPs中使用的前阈值方法一致,其一致性仍有待建立。我们的理论工作解决了这个开放的问题,并在回归设置中提供了一致性分析。基于我们的优化配方,我们提出了一个灵活的贝叶斯后验正则化框架,这是第一次使我们能够把正则化的分布水平。我们将此方法应用于具有极非线性动态的非参数状态空间滤波任务,并显示出超过所有其他基线的性能增益。
2016-10-26 stat.ML
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化(BO)是一种基于模型的无梯度黑箱函数优化方法。通常,BO由高斯过程(GP)驱动,其算法复杂度是评估数量的立方。因此,基于GP的BO不能利用大量的过去或相关的函数评估,例如,来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案,其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合,该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
Adaptive Metropolis Algorithm Using Variational Bayesian Adaptive Kalman Filter
马尔可夫链蒙特卡罗(MCMC)方法是分析复杂统计问题的有力计算工具。然而,它们的计算效率高度依赖于所选择的建议分布,这通常很难找到。解决这个问题的一种方法是使用自适应MCMC算法,该算法在MCMC运行期间自动调整提案分布的统计信息。提出了一种新的自适应MCMC算法--变分贝叶斯自适应Metropolis(VBAM)算法. VBAM算法使用变分贝叶斯自适应卡尔曼滤波器(VB-AKF)来更新提议的协方差阵。证明了VBAM算法的一个强大数律。文中还给出了三个模拟算例和两个实际数据算例的经验收敛结果。
2014-10-01 math.ST stat.TH
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计,通过最大化期望的改善,在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明,所获得的自适应设计的有效性相比,固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol(布里斯托大学)
我们将神经网络优化问题表述为贝叶斯滤波,其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究,但他们无法使用均方根梯度归一化器恢复标准优化器,如Adam和RMSprop,而是得到均方归一化器。为了恢复均方根归一化,我们发现有必要考虑所有其他参数的时间动态,因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换,自动恢复AdamW,这是Adam的最新变体,具有解耦的权重衰减,并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Rejoinder to discussions of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
对Szabó、van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率主义覆盖”的反驳[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Convergence Guarantees for Adaptive Bayesian Quadrature Methods
EURECOM(欧洲电信学院);University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自适应贝叶斯求积(ABQ)是一种强大的数值积分方法,在中等维度(非自适应求积不具有竞争力)的问题上,它与蒙特卡罗积分相比具有优势。它的关键成分是一个获取函数,该函数作为先前收集的被积函数值的函数而变化。虽然这种适应性在经验上似乎很强大,但它使分析复杂化。因此,到目前为止,这类方法还没有理论上的保证。在这项工作中,对于广泛的自适应贝叶斯求积方法,我们证明了一致性,推导出非紧但信息量大的收敛速度。为了做到这一点,我们引入了一个新的概念,我们称之为弱适应性。我们的研究结果确定了一个大的和灵活的自适应贝叶斯求积规则一致,从业者可以开发经验有效的方法。
2019-10-28 cs.LG cs.NA math.NA
Bayesian Adaptive Polynomial Chaos Expansions
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Sandia National Laboratory(桑迪亚国家实验室)
针对多项式混沌展开在统计学领域贝叶斯实现稀缺的问题,研究团队开发了带R包khaos的全贝叶斯自适应PCE方法,具备新型提议分布与定制g-先验,在多项UQ相关任务中性能优异。
2025-10-28 stat.ME stat.ML
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Stochastic Convergence Rates and Applications of Adaptive Quadrature in Bayesian Inference
我们提供了第一个随机收敛速度的家庭自适应正交规则用于规范化的后验分布贝叶斯模型。我们的结果适用于一致的相对误差的近似后验密度,覆盖概率的近似可信集,近似的时刻和分位数,从而保证快速渐近收敛的近似汇总统计量在实践中使用。该系列的积分规则包括自适应高斯-厄米特积分,我们将这一规则在两个具有挑战性的低维的例子。此外,我们演示了如何自适应正交可以作为一个重要组成部分的现代近似贝叶斯推断过程的高维添加剂模型。该方法在R语言的aghq包中实现并公开提供,可在CRAN上获得。
2022-10-25 stat.ME
Minimax and minimax adaptive estimation in multiplicative regression : locally bayesian approach
本文讨论了带乘性噪声的回归方程的非参数估计问题。利用局部多项式拟合和贝叶斯方法,构造了迷向Hölder类估计的Minimax.接下来应用Lepski的方法,我们提出的估计,这是最佳自适应的各向同性的Hölder类的集合。为了证明所提出的方法的最优性,我们特别建立了局部最佳估计与待估计参数的偏差的指数不等式。这些理论结果通过仿真研究得到了验证。
2012-07-23 math.ST stat.TH
Adaptive Iterative Soft-Thresholding Algorithm with the Median Absolute Deviation
本文对基于中位数绝对偏差估计噪声水平的自适应 ISTA 进行了理论分析,证明了其不动点的尺度等变性、非唯一性、局部稳定性以及局部线性收敛和全局收敛性质。
2025-07-02 cs.LG eess.SP stat.ML
Signal Recovery From 1-Bit Quantized Noisy Samples via Adaptive Thresholding
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文提出了一种高效的信号恢复方法,能够在白噪声或彩色噪声污染的1位测量中准确估计目标信号,通过自适应量化阈值法提供统一框架处理任意协方差矩阵的噪声,包括彩色噪声。
2018-12-10 cs.IT cs.SY eess.SP
Study of Proximal Normalized Subband Adaptive Algorithm for Acoustic Echo Cancellation
Southwest University of Science and Technology(西南科技大学);JingWei HiRain(经纬恒润);PUC-Rio(里约热内卢天主教大学);University of York(约克大学);Sichuan University(四川大学)
在本文中,我们提出了一种新的归一化子带自适应滤波算法适用于稀疏场景,它结合了比例和稀疏意识的机制。该算法是基于最接近的前后向分裂和软阈值的方法。我们分析了该算法的平均值和均方行为,这是由模拟支持。此外,还提出了一种基于均方差最小化的最接近阈值参数的自适应选择方法。系统辨识和声学回声消除的仿真结果验证了该算法的优越性。
2021-08-14 cs.LG eess.SP
Generative Adversarial Reconstruction with Adaptive Thresholding for Obstructed Targets in Computational Microwave Imaging
Queen’s University Belfast(贝尔法斯特女王大学);University of Oviedo(奥维耶多大学)
该研究提出结合可学习软阈值模块的条件生成对抗网络框架,用于计算微波成像中遮挡目标的重建,在多数据集及不同场景下验证了其有效性与适应性。
2026-08-04 eess.SP
Adaptive Signal Analysis for Automated Subsurface Defect Detection Using Impact Echo in Concrete Slabs
School of Computing(计算学院);George Mason University(乔治·马歇尔大学)
本研究提出一种基于冲击回波信号的自适应阈值方法,结合信号处理、聚类与可视化,自动检测混凝土板亚表面缺陷,在FHWA数据集上F1分数达0.95,AUC-ROC达0.83,具有高鲁棒性和可扩展性。
2024-12-23 cs.AI cs.CV eess.SP