Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization
University of Oxford（牛津大学）；Meta
优化离散（和潜在连续）设计参数的昂贵评估黑箱函数是科学和工程应用中普遍存在的问题。贝叶斯优化（BO）是一种流行的，样本效率高的方法，它利用概率代理模型和获取函数（AF）来选择有前途的设计进行评估。然而，在混合或高基数离散搜索空间上最大化AF是具有挑战性的，不能直接使用标准的基于梯度的方法，或者在搜索空间中的每个点处评估AF将在计算上是禁止的。为了解决这个问题，我们建议使用概率重新参数化（PR）。我们不是在包含离散参数的搜索空间上直接优化AF，而是在由连续参数定义的概率分布上最大化AF的期望。我们证明，在适当的reparameterizations，BO政策，最大限度地提高了概率目标是相同的，最大限度地提高了AF，因此，PR享有相同的遗憾界作为原来的BO政策使用的基础AF。此外，我们的方法可证明收敛到一个平稳点的概率目标下梯度上升使用可扩展的，无偏估计的概率目标和梯度。因此，随着起始点和梯度步长数量的增加，我们的方法将恢复AF的最大化（通常被忽视的常用BO遗憾界限的必要条件）。我们通过经验验证了我们的方法，并在广泛的实际应用中展示了最先进的优化性能。PR是对最近工作的补充（也是好处），自然地推广到具有多个目标和黑盒约束的环境。
2022-10-18 cs.AI cs.LG math.OC
Modified Delayed Acceptance MCMC for Quasi-Bayesian Inference with Linear Moment Conditions
Faculty of Economics Fukuoka University（福冈大学经济学部）
本文提出改进的延迟接受MCMC方法，用于高效处理线性矩条件下的准贝叶斯推断，通过优化计算效率和数值稳定性提升推断性能。
2026-02-17 econ.EM stat.CO
Semi-Implicit Variational Inference
引入半隐式变分推断（SIVI），通过将变分参数与柔性分布混合，扩展了常用的解析变分分布族。这种混合分布可以假设任何密度函数，显式或非显式，只要独立的随机样本可以通过重新参数化生成。SIVI不仅扩大了变分家庭，将高度灵活的变分分布，包括隐式的，没有解析密度函数，但也三明治的证据下限（ELBO）之间的下限和上限，并进一步推导出一个渐近精确的代理ELBO是服从通过随机梯度上升优化。与一个大大扩展的变分家庭和一种新的优化算法，SIVI显示出密切配合的准确性MCMC推断后，在各种贝叶斯推断任务。
2018-05-28 cs.LG stat.CO stat.ME
SCORE: A 1D Reparameterization Technique to Break Bayesian Optimization's Curse of Dimensionality
Laboratoire de Physique des Interfaces et des Couches Minces (LPICM)（界面与薄膜物理实验室（LPICM））；Ecole Polytechnique, Institut Polytechnique de Paris (IP Paris)（巴黎综合理工学院，巴黎理工学院（IP Paris））；Institut Photovoltaïque d’Île-de-France (IPVF)（法兰西岛光伏研究所（IPVF））
针对贝叶斯优化存在的维数灾难问题，提出一维重参数化方法SCORE，使其在高维场景下保持线性时间复杂度，可高效找到全局最优解且无需高性能计算资源。
2024-06-18 cs.LG stat.ML
Variational Inference for Sparse and Undirected Models
无向图模型应用于基因组学、蛋白质结构预测和神经科学，以识别离散数据下的稀疏相互作用。虽然贝叶斯推理方法在这些情况下是有利的，但它们很少使用，因为它们需要双重棘手的蒙特卡罗采样。在这里，我们开发了一个框架，可扩展的贝叶斯推断的离散无向模型的基础上两个新的方法。第一个是持久VI，离散无向模型的变分推断算法，避免了双重棘手的MCMC和近似的分区函数。第二个是淡出，一个重新参数化方法的变分推断稀疏诱导先验，捕捉参数和超参数与非中心参数化之间的后验相关性。我们发现，这些变分推断方法大大提高了稀疏无向图形模型在物理和生物学模拟和真实问题的学习。
2017-06-14 cond-mat.dis-nn physics.data-an q-bio.QM
Stratified distance space improves the efficiency of sequential samplers for approximate Bayesian computation
本文提出分层距离ABC SMC方法，通过按粒子距离分层构建提议分布并引入新停止规则，显著提升顺序采样器在近似贝叶斯计算中的接受率与效率。
2025-01-24 stat.CO stat.ME
Non-Bayesian particle filters
University of California at Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对非线性问题中的数据同化，提出一种非贝叶斯粒子滤波方法，通过直接迭代采样相关概率密度函数，减少所需粒子数量。
2009-05-13 cs.NA math.NA stat.CO
Bayesian Inference for Generalized Extreme Value Distributions via Hamiltonian Monte Carlo
在本文中，我们提出评估和比较马尔可夫链蒙特卡罗（MCMC）方法估计广义极值模型的参数。我们采用贝叶斯方法，使用传统的Metropolis-Hastings方法，哈密顿蒙特卡罗（HMC）和黎曼流形HMC（RMHMC）方法，以获得近似的后验边缘分布的兴趣。实际数据集的最大值的应用程序说明了如何HMC可以更有效地计算比传统的MCMC和模拟研究进行比较的算法，他们如何快速得到足够接近的平稳分布，以便提供良好的估计与较少的迭代次数。
2014-12-23 stat.CO
Exact Bayesian Inference for the Bingham Distribution
本文讨论了从假定服从宾汉分布的数据中进行贝叶斯推断的问题。贝叶斯方法的一个障碍是宾厄姆分布的参数相关归一化常数，即使可以对其进行评估或准确逼近，也必须在MCMC方案的每次迭代时计算该常数，从而大大增加了计算负担。我们提出了一种方法，使准确的（在蒙特卡罗意义上）贝叶斯推断的宾汉分布的未知参数，完全避免了需要评估这个常数。我们将该方法应用于模拟和真实数据，并说明它更容易实现，速度更快，性能更好，比最近在文献中提出的替代算法。
2014-01-13 stat.AP stat.CO
Automatically Marginalized MCMC in Probabilistic Programming
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对 HMC 在概率编程中难以直接采样的复杂贝叶斯模型，本文提出在图模型的 HMC 采样流程中引入自动边缘化，以减少重参数化需求并显著改善真实分层模型的采样效果。
2023-06-01 cs.LG stat.ML
Bayesian Reparameterization of Reward-Conditioned Reinforcement Learning with Energy-based Models
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA Research（英伟达研究院）；Stanford University（斯坦福大学）
针对奖励条件强化学习在高回报输入泛化及避免分布外查询上的局限，提出基于贝叶斯定理的 BR-RCRL 方法，消除 RTG 独立性障碍并设计自适应推理，在离线 RL 基准上取得最优性能。
2023-05-18 cs.LG cs.RO
Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations
University of British Columbia（不列颠哥伦比亚大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
自然梯度方法使变分推断的算法快速而简单，但由于计算困难，它们的使用主要限于\emph{minimal}指数族（EF）近似。在本文中，我们将其应用扩展到估计\emph{structured}近似，如混合EF分布。这种近似可以拟合复杂的多峰后验分布，并且通常比单峰EF近似更准确。通过使用这样的近似的\emph{minimal conditional-EF}表示，我们得到简单的自然梯度更新。我们的实证结果表明，我们的自然梯度方法相比，黑盒梯度为基础的方法与重新参数化梯度的收敛速度更快。我们的工作扩大了自然梯度的范围，贝叶斯推断，使他们更广泛的适用于比以前。
2020-11-06 cs.LG stat.ML
Analytical Approximation of the ELBO Gradient in the Context of the Clutter Problem
本文针对杂波问题中的变分推断，提出一种基于重参数化技巧和局部似然近似的ELBO梯度解析近似方法，并将其嵌入EM算法，在保持线性计算复杂度的同时实现了优于拉普拉斯近似、期望传播和平均场变分推断等经典方法的精度与收敛速度。
2025-04-11 cs.LG stat.ML
Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation
Indian Institute of Technology Delhi（印度理工学院德里）
针对低秩适配微调对超参数敏感、性能不稳定的问题，提出基于蒙特卡洛估计的MonteCLoRA高效微调方法，以极少新增参数实现更优鲁棒的参数估计，在理解与生成任务上均取得性能提升。
2025-08-03 cs.CL cs.LG
The reparameterization trick for acquisition functions
Imperial College of London（伦敦帝国学院）；University of Freiburg（弗莱堡大学）
贝叶斯优化是一种解决全局优化问题的样本有效方法。随着代理模型，这种方法依赖于理论上的动机价值取向（收购功能），以指导搜索过程。最大化采集功能产生最佳性能;不幸的是，由于优化采集功能本身通常是不平凡的，因此难以实现这种理想。这种说法在并行设置中尤其正确，其中采集函数通常是非凸的，高维的，并且难以处理。在这里，我们展示了有多少流行的采集功能可以制定为高斯积分服从重新参数化技巧，并确保基于梯度的优化。此外，我们使用这种重新参数化的表示，以获得一个有效的蒙特卡罗估计的置信上限采集功能的背景下，并行选择。
2017-12-01 cs.LG math.OC stat.ML
Performative Prediction with Bandit Feedback: Learning through Reparameterization
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Columbia University（哥伦比亚大学）；the Chinese University of Hong Kong（香港中文大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对现有执行式预测研究依赖的三个不切实际假设，提出重参数化框架与双层零阶优化方法，将非凸目标转为凸目标，给出次线性于样本数、多项式于参数维度的可证明遗憾界。
2024-08-12 cs.LG stat.ML
Randomised Bayesian Least-Squares Policy Iteration
École Polytechnique（巴黎综合理工学院）；University of Oslo（奥斯陆大学）；Athens University of Economics and Business（雅典经济与商业大学）
我们介绍了贝叶斯最小二乘策略迭代（BLSPI），一个关闭的政策，无模型，政策迭代算法，使用贝叶斯最小二乘时间差（BLSTD）学习算法评估政策。BLSPI的在线变体也被提出，称为随机化BLSPI（RBLSPI），它基于不完整的策略评估步骤来改进其策略。在在线环境中，探索-开发的困境应该得到解决，因为我们试图通过使用自己收集的样本来发现最优策略。RBLSPI利用BLSTD的优势来量化我们关于价值函数的不确定性。受Thompson采样的启发，RBLSPI首先从价值函数的后验分布中采样值函数，然后基于采样的价值函数选择动作。实验证明了RBLSPI的有效性和探测能力。
2019-04-06 cs.AI cs.LG stat.ML
Large-Batch, Iteration-Efficient Neural Bayesian Design Optimization
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Ludwig Maximilian University（路德维希-马克西米利安大学）
针对大规模并行工程设计场景，提出一种迭代高效的贝叶斯优化框架，通过对目标及其不确定性进行非支配排序的可扩展采集函数，结合贝叶斯神经网络代理，以最少迭代次数实现多目标优化，并在翼型设计与3D打印任务中验证其优越性。
2024-09-05 cs.AI cs.CE cs.LG
BayesSpeech: A Bayesian Transformer Network for Automatic Speech Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
使用端到端深度学习模型的最新发展已被证明在自动语音识别任务上具有接近或优于最先进的递归神经网络（RNN）的性能。这些模型往往比传统的基于RNN的方法更轻，需要更少的训练时间。然而，这些模型采用频率主义方法进行重量训练。从理论上讲，网络权重是从一个潜在的、难以处理的概率分布中提取的。我们介绍贝叶斯语音的端到端自动语音识别。BayesSpeech是一个贝叶斯Transformer网络，其中这些棘手的后验是通过变分推理和局部重新参数化技巧学习的，而无需递归。我们展示了如何在权重中引入方差，从而在LibriSpeech-960上实现更快的训练时间和接近最先进的性能。
2023-01-16 cs.CL cs.LG cs.SD
Semi-supervised Impedance Inversion by Bayesian Neural Network Based on 2-d CNN Pre-training
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）
地震波阻抗反演可以用半监督学习算法来执行，该算法只需要少量的日志作为标签，并且不太可能过拟合。然而，经典的半监督学习算法通常会导致预测阻抗图像上的伪影。本文从两个方面对半监督学习进行了改进。首先，通过用2-d CNN层和2-d maxpooling层替换深度学习结构中的1-d卷积神经网络（CNN）层，提高了预测精度。其次，预测不确定性也可以通过将网络嵌入贝叶斯推理框架来估计。在网络的前向传播过程中使用局部参数化技巧以减少采样成本。通过Marmousi 2模型和SEAM模型的测试，验证了该策略的可行性。
2021-11-20 cs.LG eess.SP physics.geo-ph
Bayesian Federated Neural Matching that Completes Full Information
Tongji University（同济大学）；University of Oklahoma（俄克拉荷马大学）
联邦学习是一种当代机器学习范式，其中局部训练模型被提炼成全局模型。由于神经网络具有固有的排列不变性，概率联合神经网络匹配（PFNM）在局部神经元的生成过程中采用贝叶斯非参数框架，然后在每次交替优化迭代中创建线性和分配公式。但根据我们的理论分析，PFNM中的优化迭代忽略了现有的全局信息。在这项研究中，我们提出了一种新的方法，克服了这一缺陷，在每次迭代引入Kullback-Leibler发散惩罚。我们的方法的有效性证明了图像分类和语义分割任务的实验。
2023-02-22 cs.LG
mHC-lite: You Don't Need 20 Sinkhorn-Knopp Iterations
CSE, University of Michigan, Ann Arbor, USA（计算机科学与工程系，密歇根大学，安娜堡，美国）；CCDS, Nanyang Technological University, Singapore（计算机科学与数据科学系，南洋理工大学，新加坡）；CBS-NTT Physics of Intelligence Program, Harvard University, Cambridge, USA（哈佛大学剑桥分校人工智能物理计划）；Physics of Artificial Intelligence Group, NTT Research Inc, USA（人工智能物理研究组，NTT研究公司，美国）
mHC-lite通过构造双随机矩阵消除残差不稳定性，实现更高训练吞吐量。
2026-01-09 cs.AI cs.LG
BASIL: Bayesian Application for Scientific Iteration and Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Laboratory for Molecular Modeling (MML), UNC Chapel Hill（北卡罗来纳大学教堂山分校分子建模实验室）；NC State University（北卡罗来纳州立大学）；ChromaGenix
提出BASIL桌面应用，采用贝叶斯方法和特殊采集函数解决单/多目标优化问题，提供图形界面输入参数和目标，构建代理模型引导优化过程。
2026-06-23 cs.LG math.OC
Tuning the Scheduling of Distributed Stochastic Gradient Descent with Bayesian Optimization
University of Cambridge（剑桥大学）
提出了一种利用贝叶斯优化来调整分布式随机梯度下降（SGD）系统参数的优化器。给定特定的上下文，我们的目标是快速找到有效的配置，适当地平衡可用机器之间的负载，以最小化平均SGD迭代时间。我们的实验考虑设置超过三十个参数。传统的贝叶斯优化使用高斯过程作为模型，不太适合这种高维域。为了减少收敛时间，我们利用现有的结构。我们设计了一个概率模型，模拟分布式SGD的行为，并使用它在贝叶斯优化。我们的模型可以利用许多运行时的测量推断每个评估的目标函数。实验结果表明，该优化算法在10次迭代内收敛到有效的配置，优化后的配置性能比一般优化算法在30次迭代中得到的配置性能高出2倍。
2016-12-01 cs.LG stat.ML
Preference Construction: A Bayesian Interactive Preference Elicitation Framework Based on Monte Carlo Tree Search
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；Poznan University of Technology（波兹南理工大学）
该研究提出一种基于蒙特卡洛树搜索的贝叶斯交互式偏好引导框架，通过变分贝叶斯推断偏好模型、自适应提问策略降低不确定性，在多准则决策场景中优于基线方法。
2025-03-19 cs.LG
Forecasting VIX using Bayesian Deep Learning
Universidad El Bosque（埃尔博斯克大学）；Universidad de los Andes（安第斯大学）
本研究针对VIX波动率预测问题，采用多种概率深度学习模型并结合标准差缩放校准方法，发现经柯西先验MNF校准的TCN模型预测精度最优，RMSE约0.189，为金融波动率预测提供了更可靠的不确定性估计方案。
2024-01-30 cs.LG
TyXe: Pyro-based Bayesian neural nets for Pytorch
University College London（伦敦大学学院）；Facebook（脸书）
我们介绍Typhoon，一个建立在Pytorch和Pyro之上的贝叶斯神经网络库。我们的主要设计原则是干净地分离架构，先验，推理和可能性规范，允许灵活的工作流程，用户可以快速地将这些组件组合起来。与现有的包相比，Typhoon不实现任何层类，而是依赖于通用Pytorch代码中定义的架构。然后，Typhoon为规范先验、变分指导、推理技术和层选择提供模块化选择，以用于指定架构的贝叶斯处理。减少方差的采样技巧，如局部重新参数化或flipout，作为效果处理程序实现，可以独立于其他规范应用。我们展示了Typhoon的易用性，可以从各种库中探索流行模型的贝叶斯版本：使用纯Pytorch神经网络的玩具回归;使用Torchvision ResNets的大规模图像分类;基于DGL的图形神经网络;以及基于Pytorch 3D构建的神经辐射场。最后，我们提供了方便的变分持续学习的抽象。在所有情况下，从确定性到贝叶斯神经网络的变化都对现有代码进行了最小的修改，为广泛的研究人员和实践者提供了实际的不确定性估计技术。该库可在https://github.com/TyXe-BDL/TyXe上查阅。
2021-10-01 cs.LG stat.ML
Gaussian mixture modeling of nodes in Bayesian network according to maximal parental cliques
Zhejiang University（浙江大学）
本文用混合高斯模型代替线性高斯模型来拟合贝叶斯网络中每个节点的分布。我们将解释为什么以及如何在贝叶斯网络中使用高斯混合模型。同时，本文提出了一种新的混合模型优化方法--双重迭代算法，该算法结合了期望最大化算法和梯度下降算法，在混合模型的贝叶斯网络上有较好的性能。在实验中，我们在实际数据集上对不同结构的学习算法生成的不同图进行了高斯混合模型和优化算法的测试，并给出了每个实验的细节。
2022-05-16 cs.LG stat.ML
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge（剑桥大学）
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题，提出一种变复杂度采样器，在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
Cost-aware Bayesian Optimization
Cornell University（康奈尔大学）；Amazon, Berlin, Germany（亚马逊柏林分公司）
贝叶斯优化（BO）是一类全局优化算法，适用于在尽可能少的函数评估中最小化昂贵的目标函数。虽然BO预算通常在迭代中给出，但这隐含地根据迭代计数来度量收敛，并假设每个评估具有相同的成本。实际上，评估成本在搜索空间的不同区域中可能不同。例如，神经网络训练的成本与层大小成二次方增加，这是一个典型的超参数。成本感知的BO测量与时间、精力或金钱等替代成本指标的融合，普通BO方法不适合这些成本指标。我们引入成本分摊BO（CArBO），它试图以尽可能少的成本最小化目标函数。CArBO结合了成本效益的初始设计与成本冷却优化阶段，随着迭代的进行，该阶段会使学习到的成本模型贬值。在一组20黑盒函数优化问题，我们表明，在相同的成本预算，CArBO发现显着更好的超参数配置比竞争的方法。
2020-03-22 cs.LG stat.ML
Reparameterizing Distributions on Lie Groups
University of Amsterdam（阿姆斯特丹大学）；Aiconic；UC Berkeley（加州大学伯克利分校）
可重新参数化的密度是在深度学习环境中学习概率分布的重要方式。对于许多分布，可以通过利用“重新参数化技巧”来创建低方差梯度估计量。由于缺乏一个通用的重新参数化技巧，许多研究最近一直致力于扩大可重新参数化的分布族的数量。不幸的是，这项研究主要集中在欧几里得空间中定义的分布，排除了使用具有非平凡拓扑的最有影响力的一类空间：李群。在这项工作中，我们定义了一个通用的框架来创建任意李群上的可重参数化密度，并提供了一个详细的从业者指南，以进一步方便使用。我们演示了如何创建复杂的和多峰分布的众所周知的定向组的三维旋转，$\operatorname{SO}(3)$，使用归一化流。我们的实验中应用这种分布在贝叶斯设置的对象与离散和连续的对称性的姿态估计，展示他们的必要性，实现现实的不确定性估计。
2019-03-07 cs.CG cs.LG math.PR
From Bayesian Sparsity to Gated Recurrent Nets
Peking University（北京大学）；Microsoft Research（微软研究院）
许多一阶算法的迭代，当应用于最小化常见的正则化回归函数时，通常类似于具有预先指定的权重的神经网络层。这一观察结果促进了基于学习的方法的发展，这些方法旨在用增强的代理来取代这些迭代，这些代理是从可用的训练数据中伪造为DNN模型的。例如，重要的NP难稀疏估计问题最近受益于这种类型的升级，简单的前馈或递归网络取代了基于梯度的迭代。类似地，本文证明了用于促进稀疏性的更强大的贝叶斯算法，它依赖于复杂的多循环优化-最小化技术，反映了更复杂的长短期记忆（LSTM）网络的结构，或先前为序列预测设计的替代门控反馈网络。作为这一发展的一部分，我们研究了在优化过程中跨多个时间尺度运行的潜在变量轨迹之间的相似性，以及旨在自适应地对这些特征序列进行建模的深层网络结构中的激活。由此产生的见解导致一种新的稀疏估计系统，当授予训练数据，可以有效地估计最佳解决方案的制度，其他算法失败，包括实际的方向到达（DOA）和3D几何恢复问题。我们揭示的基本原则也暗示了其他领域中更丰富的多循环算法的学习过程。
2017-08-02 cs.LG
Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent
King’s College London（伦敦国王学院）
本文介绍了分布式Stein变分梯度下降（DSVGD），一个非参数广义贝叶斯推理框架的联邦学习。DSVGD在一个中央服务器上维护了一些非随机和相互作用的粒子，以表示模型全局后验的当前时间。粒子由其中一个代理迭代下载和更新，最终目标是最小化全局自由能。通过改变粒子的数量，DSVGD实现了每次迭代通信负载和通信轮数之间的灵活权衡。DSVGD被证明可以与基准频率论和贝叶斯联邦学习策略相媲美，在代理数量的准确性和可扩展性方面，也可以在每次迭代中调度单个设备，同时还可以提供经过良好校准的，因此值得信赖的预测。
2021-03-30 cs.IT cs.LG eess.SP
Sample-Efficient Bayesian Transfer Learning for Online Machine Parameter Optimization
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；TRUMPF SE + Co. KG（通快集团）
针对生产机器参数优化迭代成本高的问题，提出一种结合贝叶斯优化与迁移学习的样本高效方法，利用已有机器数据减少迭代次数，并在实际钣金切割激光机器上完成验证。
2025-03-21 cs.LG
Trade-off on Sim2Real Learning: Real-world Learning Faster than Simulations
ShanghaiTech University（上海科技大学）；Harvard University（哈佛大学）
由于深度神经网络需要大量的训练样本，因此深度强化学习（DRL）实验通常在模拟环境中进行。相比之下，基于模型的贝叶斯学习允许机器人在现实世界中的几次试验中学习好的策略。虽然贝叶斯方法需要较少的迭代次数，但每次试验的计算成本相对较高，并且这种方法的优势与维数和噪声密切相关。在这里，我们将深度贝叶斯学习算法与无模型DRL算法进行比较，同时分析我们从模拟和真实世界实验中收集的结果。在考虑Sim和Real学习时，我们的实验表明，即使考虑到计算时间（而不是迭代次数），样本高效的Deep Bayesian RL性能也优于DRL。此外，在模拟和实验中执行的深度贝叶斯RL之间的计算时间差异指向了一条穿越现实差距的可行路径。我们还表明，Sim和Real之间的混合并不优于纯粹的Real方法，指出现实可以为贝叶斯学习提供最佳先验知识的可能性。机器人专家每天都在设计和制造机器人，我们的研究结果表明，在现实世界中更高的学习效率将通过跳过模拟来缩短设计和部署之间的时间。
2022-01-10 cs.AI cs.LG cs.RO
RECOMBINER: Robust and Enhanced Compression with Bayesian Implicit Neural Representations
University of Cambridge（剑桥大学）；University of Science and Technology of China（中国科学技术大学）
针对现有基于贝叶斯隐式神经表征的压缩方法COMBINER的三项局限，提出RECOMBINER方法，通过权重重参数化、可学习位置编码、分块与分层先验优化性能，在多模态实验中效果优异，低比特率低分辨率图像任务优于自编码器编解码器。
2024-03-07 cs.LG
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Randomized Gaussian Process Upper Confidence Bound with Tighter Bayesian Regret Bounds
Nagoya Institute of Technology（名古屋工业大学）；RIKEN AIP（理化学研究所人工智能研究中心）
针对黑箱优化中GP-UCB置信参数需手动设定且理论值过大的问题，研究推广了RGP-UCB的后悔分析范围，并提出基于双参数指数分布的IRGP-UCB，获得更紧贝叶斯后悔界，避免后期过度探索，实验验证了其有效性。
2023-06-12 cs.LG
Joint Bayesian Gaussian discriminant analysis for speaker verification
Tsinghua University（清华大学）
现有技术的基于i向量的说话人验证依赖于用于判别分析的概率线性判别分析（PLDA）的变体。我们的动机主要是最近的联合贝叶斯（JB）方法，这是最初提出的判别分析在人脸验证的工作。我们将JB应用于说话人确认，并在原JB的基础上做出了三个贡献。1)与原JB中近似统计量的EM迭代相比，采用了精确统计量的EM迭代，并给出了更好的性能。2)我们提出对类内和类间协方差矩阵进行同时对角化（SD）以实现有效测试，这比原JB中基于SVD的有效测试方法具有更广泛的应用范围。3)我们仔细研究各种高斯PLDA和JB之间的相似性和差异，补充了以前的分析比较JB只与Escherie-Elder PLDA。在NIST SRE 10核心条件5上进行了大量的实验，经验验证了JB的优越性，与最先进的PLDA相比，具有更快的收敛速度和9-13%的EER降低。
2017-01-19 cs.LG cs.SD
Multilevel Stein variational gradient descent with applications to Bayesian inverse problems
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
这项工作提出了一个多层次的变化斯坦变分梯度下降，更有效地从目标分布的样本。关键成分是一系列分布，其保真度和成本不断增加，并向目标利益分布收敛。例如，这样的分布序列是由贝叶斯逆问题中的正向模型的更精细离散化水平的层次结构给出的。所提出的多级Stein变分梯度下降将大部分迭代移动到较低，较便宜的水平，目的是与仅使用最高级别分布的传统单级Stein变分梯度下降变体相比，仅需要在较高，较昂贵的水平上进行少量迭代。在一定的假设下，在平均场的限制，所提出的多级Stein方法的误差衰减的对数因子比单级对应的计算成本方面的错误。贝叶斯反问题的数值实验表明，加速比一个以上的数量级的建议多层次的斯坦方法相比，单级的变体，只使用最高级别。
2021-04-05 cs.LG cs.NA math.NA
Uncertainty quantification in imaging and automatic horizon tracking: a Bayesian deep-prior based approach
Georgia Institute of Technology（佐治亚理工学院）
在反问题中，不确定性量化（UQ）处理解的非唯一性和数据噪声敏感性的概率描述。将震波成像设置到贝叶斯框架中允许通过求解模型后验分布来研究不确定性的原则性方式。然而，成像通常仅构成顺序工作流程的第一阶段，并且当应用于对反演结果高度敏感的后续任务时，UQ变得更加相关。在本文中，我们专注于如何UQ涓滴到层位跟踪确定地层模型，并调查其灵敏度相对于成像结果。因此，这项工作的主要贡献包括在数据指导的方法，地平线跟踪不确定性分析。这项工作基本上是基于一个特殊的重新参数化的反射率，被称为“深先验”。可行模型仅限于具有固定输入的卷积神经网络的输出，而权重和偏差是高斯随机变量。给定深度先验模型，通过马尔可夫链蒙特卡罗方法从后验分布中采样网络参数，由此近似推断反射率的条件平均值和逐点标准差。对于后验分布的每个样本，生成反射率，并自动跟踪层位。通过这种方式，模型参数的不确定性自然转化为水平跟踪。作为对所提出方法的验证的一部分，我们验证了层位跟踪的估计置信区间与地质复杂区域（如断层）一致。
2020-04-14 cs.LG eess.IV physics.geo-ph
A Nonmyopic Approach to Cost-Constrained Bayesian Optimization
SigOpt: An Intel Company（SigOpt（英特尔旗下公司））；Facebook（脸书）；Amazon（亚马逊）
贝叶斯优化（BO）是一种流行的方法，用于优化昂贵的评估黑盒函数。BO预算通常在迭代中给出，这隐含地假设每个评估具有相同的成本。事实上，在许多BO应用程序中，评估成本在搜索空间的不同区域中变化很大。在超参数优化中，神经网络训练所花费的时间随着层的大小而增加;在临床试验中，药物化合物的货币成本不同;在最优控制中，控制动作具有不同的复杂性。成本约束BO测量与替代成本度量（诸如时间、金钱或能量）的收敛，标准BO方法的样本效率不适合于这些成本度量。对于成本受限的BO，成本效率远比样本效率重要。在本文中，我们制定成本约束BO作为一个约束马尔可夫决策过程（CMDP），并开发一个有效的推出近似的最佳CMDP政策，同时考虑到成本和未来的迭代。我们验证了我们的方法收集的超参数优化问题，以及传感器组选择的应用。
2021-06-10 cs.LG stat.ML
Bayesian Robustness: A Nonasymptotic Viewpoint
University of California, Berkeley（加州大学伯克利分校）
我们研究的问题，稳健估计的后验分布的设置，观察到的数据可能被污染的潜在的敌对离群值。我们提出了Rob-Wavelet，一个强大的变种的未调整的Langevin算法（Wavelet），并提供了一个有限样本分析其采样分布。特别是，我们表明，$T= \tilde{\mathcal{O}}(d/\varepsilon_{\textsf{acc}})$迭代后，我们可以从$p_T$采样，使$\text{dist}(p_T, p^*) \leq \varepsilon_{\textsf{acc}} + \tilde{\mathcal{O}}(ε)$，其中$ε$是腐败的分数。我们证实了我们的理论分析与实验的合成和现实世界的数据集的均值估计，回归和二进制分类。
2019-07-27 cs.LG stat.CO stat.ML
Parameters Estimation for the Cosmic Microwave Background with Bayesian Neural Networks
Romanian Institute of Science and Technology（罗马尼亚科学与技术研究院）；FinNet
在本文中，我们提出了第一个研究，比较不同的模型贝叶斯神经网络（BNN）预测宇宙学参数的后验分布直接从宇宙微波背景温度和偏振图。我们重点分析了在训练过程中对网络权重进行采样的四种不同方法：Dropout、DropConnect、Reparameterization Trick（RT）和Flipout。我们发现，Flipout优于所有其他方法，无论使用的架构，并提供更严格的约束的宇宙学参数。此外，我们比较MCMC后验分析获得可比的参数之间的误差相关性，与BNN的数量级更快的推理，虽然不太准确。由于BNN推理过程的速度，后验分布，神经网络的结果，可以用作马尔可夫链的初始建议。我们表明，这种结合的方法增加了接受率的Metropolis-Hasting算法，并加快了MCMC的收敛，同时达到相同的最终精度。在本文的第二部分中，我们提出了一个指导的训练和校准一个成功的多通道BNN的CMB温度和偏振图。我们展示了如何调整Flipout和RT中权重的近似后验标准差的正则化参数，我们可以产生无偏和可靠的不确定性估计，即，正则化函数的作用就像一个超参数，类似于Dropout中的dropout率。最后，我们展示了如何极化，结合温度在一个独特的多通道张量馈送到一个单一的BNN，有助于打破参数之间的退化，并提供严格的约束。
2020-10-30 astro-ph.IM cs.LG
Scalable Spike-and-Slab
Harvard University（哈佛大学）；Microsoft Research New England（微软新英格兰研究院）
由于其可解释性和良好的统计特性，尖峰和平板先验通常用于贝叶斯变量选择。然而，现有的采样器的尖峰和板后验招致高昂的计算成本时，变量的数量是大的。在这篇文章中，我们提出了可扩展的尖峰和板（$S^3$），一个可扩展的吉布斯抽样实现的高维贝叶斯回归与连续尖峰和板先验的乔治和麦卡洛克（1993）。对于具有$n$观测和$p$协变量的数据集，$S^3$在迭代$t$时具有顺序$\max\{ n^2 p_t, np \}$计算成本，其中$p_t$从不超过在马尔可夫链的迭代$t$和$t-1$之间切换尖峰和板状状态的协变量的数量。这改进了现有技术实现的每次迭代成本的阶数$n^2 p$，因为通常$p_t$基本上小于$p$。我们将$S^3$应用于合成和真实世界的数据集，展示了现有精确采样器的数量级加速和具有可比成本的近似采样器的推理质量的显着增益。
2022-06-25 cs.LG stat.CO stat.ME
Gradient-free neural topology optimization: Towards effective fracture-resistant designs
School of Engineering Brown University（布朗大学工程学院）
该研究提出一种基于预训练神经重参数化的无梯度神经拓扑优化方法，既大幅降低了柔度优化的迭代次数，又在脆性断裂结构韧性优化上较传统梯度法提升约30%，为梯度法受限的拓扑优化问题提供了新方向。
2024-09-20 cs.LG cs.NA math.NA
Graph Structure Learning with Interpretable Bayesian Neural Networks
University of Rochester（罗切斯特大学）
针对数据受限场景下图结构学习的不确定性量化需求，提出带独立可解释参数的迭代展开贝叶斯神经网络，通过MCMC实现高保真后验近似，在合成与真实数据实验中验证了其校准良好的不确定性估计能力。
2024-06-20 cs.LG stat.ML
BCMA-ES: A Bayesian approach to CMA-ES
LAMSADE（LAMSADE实验室）；A.I Square Connect（人工智能广场连接）；Paris Dauphine（巴黎第九大学）；LISIC（LISIC实验室）；ULCO-LISIC（ULCO-LISIC实验室）
针对著名的CMA-ES算法，提出了一种新的理论上合理的方法。假设最小值的多变量正态分布的参数遵循共轭先验分布，我们推导出它们在每个迭代步骤的最优更新。不仅提供了这个贝叶斯框架的更新的CMA-ES算法的理由，但它也给出了两个新版本的CMA-ES无论是假设正常Wishart或正常逆Wishart先验，这取决于我们是否参数化的可能性，其协方差或精度矩阵。我们支持我们的理论研究结果的数值实验表明，这些修改后的版本的CMA-ES的快速收敛。
2019-04-02 cs.LG stat.ML
Bayesian Optimization by Kernel Regression and Density-based Exploration
Zhiyuan College, Shanghai Jiao Tong University, Shanghai 200240, P. R. China（上海交通大学紫阳学院）；School of Mathematical Sciences, Shanghai Jiao Tong University, Shanghai 200240, P. R. China（上海交通大学数学科学学院）；Shanghai Institute of Aerospace Systems Engineering, Shanghai 201109, P. R. China（上海航天系统工程研究院）；Department of Mathematics, Shanghai University, Shanghai 200444, P. R. China（上海大学数学系）；Newtouch Center for Mathematics of Shanghai University, Shanghai University, Shanghai 200444, P. R. China（上海大学数学中心）
该研究提出了一种新的贝叶斯优化算法BOKE，通过核回归和密度探索结合，减少计算成本至二次复杂度，并在理论和实验上证明了其收敛性和有效性。
2026-06-15 cs.LG math.OC stat.ML
Efficient computation of the Knowledge Gradient for Bayesian Optimization
University of Warwick（华威大学）；Zenith AI；Opentrons
贝叶斯优化是优化随机昂贵黑盒函数的强大方法集合。贝叶斯优化算法的一个关键组成部分是获取函数，它确定在每次迭代中应该评估哪个解决方案。一个流行且非常有效的选择是知识梯度获取函数，但是没有分析方法来计算它。几种不同的实现方式可以产生不同的近似值。在本文中，我们回顾和比较知识梯度实现的频谱，并提出一种新的方法，结合了几个以前提出的想法，是廉价的计算以及强大和高效的单次混合KG。我们证明了新的方法保留了以前的方法的理论特性和经验表明，大大减少了计算开销，具有相同或更好的性能。所有实验都在BOTorch中实现，代码可以在github上找到。
2022-09-30 cs.LG stat.ML
BALI: Learning Neural Networks via Bayesian Layerwise Inference
NXAI GmbH（NXAI有限公司）；Hasso Plattner Institute（哈索·普拉特纳研究所）；Airbus Central Research & Technology（空客中央研究技术部）
BALI将贝叶斯神经网络视为多层贝叶斯线性回归堆叠，利用前向层输出与反向梯度构造伪目标以精确推断逐层后验，并通过指数移动平均支持小批量训练，在多个基准上取得领先性能。
2024-11-18 cs.LG stat.ML
