Analyzing Brain Circuits in Population Neuroscience: A Case to Be a Bayesian
功能连接指纹是当今获得个人大脑和健康和疾病认知的忠实样本的最佳选择之一。在这里，我们提出了一个案例，使用贝叶斯分析策略分析这样的连接体配置文件的关键优势。他们（i）提供研究的神经认知现象的全概率估计（ii）提供分析机制，以连贯的方式分离方法的不确定性和生物变异性（iii）引导走向途径，超越经典的零假设显著性检验和（iv）使所有模型参数的可信度估计发挥作用，从而使预测与不确定性区间为单一主题。我们挑选了关于自闭症谱系障碍的研究问题作为一个反复出现的主题来说明我们的方法论论点。
2019-09-05 stat.AP stat.ME
Learning Structures of Bayesian Networks for Variable Groups
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）
贝叶斯网络，特别是它们的结构，是表示随机变量之间的条件独立性和依赖性的强大工具。在相关变量形成先验已知组的应用中，选择这些组来表示相同实体的不同“视图”或方面，人们可能对建模变量组之间的依赖性而不是单个变量之间的依赖性更感兴趣。出于这一动机，我们研究的前景表示变量组之间的关系，使用贝叶斯网络结构。我们表明，组之间的依赖结构是准确表达，数据必须满足所谓的groupwise忠诚假设。我们还表明，人们不能只使用groupwise条件独立学习群体之间的因果关系，但也需要变量明智的关系。此外，我们提出了算法，寻找groupwise依赖结构。
2017-06-01 cs.AI stat.ML
Posterior Impropriety of some Sparse Bayesian Learning Models
稀疏贝叶斯学习模型通常用于预测数据集的协变量数量显著大于观测值。这种模型通常采用再生核希尔伯特空间（RKHS）方法来执行预测任务，并且可以使用适当或不适当的先验来实现。在这篇文章中，我们表明，在文献中的一些稀疏贝叶斯学习模型，当使用不正确的先验，导致不正确的后验。
2021-06-19 math.ST stat.TH
Preparation of ordered states in ultra-cold gases using Bayesian optimization
超冷原子气体在可控程度方面是独特的，无论是内部自由度还是外部自由度。这使得有可能使用它们来研究复杂的量子多体现象。然而，在许多情况下，尽管存在退相干和系统缺陷，但忠实地制备期望的量子态的先决条件并不总是充分满足。为了使路径到达特定的目标状态，我们探索了基于贝叶斯优化的量子最优控制框架。贝叶斯优化的概率建模和广泛的探索方面特别适合于数据采集昂贵的量子实验。使用数值模拟的超流莫特绝缘体过渡的玻色子在晶格中，以及形成的里德伯晶体作为明确的例子，我们证明了贝叶斯优化是能够找到更好的控制解决方案与有限的和嘈杂的数据相比，现有的最优控制方法。
2020-05-12 physics.atom-ph quant-ph stat.ML
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Simpler PAC-Bayesian Bounds for Hostile Data
PAC-Bayesian学习边界是学习社区最感兴趣的。它们的作用是将聚合分布$ρ$的泛化能力与其经验风险以及相对于某些先验分布$π$的库尔贝克-莱布勒散度联系起来。不幸的是，大多数可用的边界通常依赖于沉重的假设，如有界性和独立的观察。本文旨在放松这些限制，并提供PAC贝叶斯学习边界，持有依赖，重尾观测（以下简称为\emph{hostile data}）。在这些界限中，Kullack-Leibler发散被Csiszár的$f$ -发散的一般形式所取代。我们证明了一个一般的PAC贝叶斯界，并展示了如何使用它在各种敌对的设置。
2019-05-23 math.ST stat.ML stat.TH
Faithful Heteroscedastic Regression with Neural Networks
Columbia University（哥伦比亚大学）；New York Genome Center（纽约基因组中心）；New York University（纽约大学）
异方差回归将高斯变量的均值和方差建模为协变量的函数。将神经网络用于这些参数映射的参数方法可以捕获数据中的复杂关系。然而，通过对数似然梯度优化网络参数可能会产生次优均值和未校准方差估计。目前的解决方案侧步这个优化问题的替代目标或贝叶斯处理。相反，我们对优化做了两个简单的修改。值得注意的是，它们的组合产生了一个异方差模型，其平均估计值可证明与其同方差对应模型（即~拟合平方误差损失下的平均值）。对于各种各样的网络和任务的复杂性，我们发现，从现有的异方差的解决方案的平均估计可以显着不准确，比那些从一个等效的表达平均只有模型。我们的方法可证明保留了同样灵活的仅均值模型的准确性，同时还提供了一流的方差校准。最后，我们展示了如何利用我们的方法来恢复潜在的异方差噪声方差。
2022-12-18 cs.LG stat.ML
Walk the Talk? Measuring the Faithfulness of Large Language Model Explanations
MIT（麻省理工学院）；Microsoft Research（微软研究院）
针对大语言模型解释可能不忠实的问题，提出基于概念差异的忠实度定义，结合辅助LLM生成反事实与贝叶斯层次模型的估算方法，可量化并发现不忠实模式。
2025-05-20 cs.AI cs.CL cs.LG
Planning to Be Surprised: Optimal Bayesian Exploration in Dynamic Environments
IDSIA（达勒·莫尔人工智能研究所）
为了最大限度地取得成功，AGI通常需要探索其最初未知的世界。有没有一个最佳的方法来做到这一点？在这里，我们得到一个肯定的答案，为广泛的一类环境。
2011-03-29 cs.AI stat.ML
Bayesian Deep Ensembles via the Neural Tangent Kernel
University of Oxford（牛津大学）；Google Research（谷歌研究院）
我们通过神经正切核（NTK）的镜头探索深度集成和高斯过程（GP）之间的联系：理解宽神经网络（NN）的训练动态的最新进展。以前的工作已经表明，即使在无限宽的限制下，当NN成为GP时，也没有GP后验解释到用平方误差损失训练的深度系综。我们对标准的深度合奏训练进行了简单的修改，通过向每个合奏成员添加一个可计算的，随机的和不可训练的函数，这使得在无限宽度限制下的后验解释成为可能。当集成在一起时，我们训练的NN给出了后验预测分布的近似值，并且我们证明了我们的贝叶斯深度集成在无限宽度限制下比标准深度集成做出更保守的预测。最后，使用有限宽度NN，我们证明了我们的贝叶斯深度集成在可用时忠实地模拟分析后验预测，并且可以在各种分布外设置中优于标准深度集成，用于回归和分类任务。
2020-10-24 cs.LG stat.ML
Bayesian Quadrature for Multiple Related Integrals
贝叶斯概率数值方法是一组提供数值方法输出的后验分布的工具。这些方法的使用通常是出于这样一个事实，即它们可以表示我们的不确定性，这是由于关于被近似的连续数学问题的不完整/有限信息。在本文中，我们证明了这种模式可以提供额外的优势，如几个数值方法之间的信息传输的可能性。这允许用户以更忠实的方式表示不确定性，并且作为副产品，提供了更高的数值效率。我们提出了第一个这样的数值方法，通过扩展著名的贝叶斯求积算法的情况下，我们有兴趣在计算几个相关函数的积分。然后，我们证明了该方法的收敛速度在指定和错误的情况下，并证明其效率的背景下，复杂的工程系统的多保真度模型和计算机图形学中的全局照明问题。
2018-07-30 cs.NA math.NA stat.CO
Structural Learning of Simple Staged Trees
IE University（IE大学）；Universitat de València（瓦伦西亚大学）
贝叶斯网络忠实地表示随机向量的分量之间存在的对称条件独立性。阶段树是贝叶斯网络的分类随机向量的扩展，其图通过顶点着色表示非对称条件独立性。然而，由于它们基于样本空间的树表示，因此随着变量数量的增加，底层图变得混乱并且难以可视化。在这里，我们介绍了第一个结构学习算法的类简单的分期树，娱乐的基础树，可以很容易地读取非对称独立的紧凑的合并。我们证明了数据学习的简单阶段树在模型拟合方面往往优于贝叶斯网络，并说明了如何使用合并图来识别非对称条件独立性。
2022-03-08 cs.LG stat.ML
Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（丹麦南方大学）
本文针对非平稳线性上下文多臂老虎机问题，提出加权序贯贝叶斯（WSB）推理框架，开发三种对应算法，其遗憾保证与WRLS基线相当，实证性能更优，还提供了向量值鞅的简化证明。
2026-08-12 cs.LG stat.ML
Objective Bayesian Analysis of a Cokriging Model for Hierarchical Multifidelity Codes
自回归协克里格模型已被广泛用于模拟具有不同保真度水平的多个计算机模型。依赖结构通过高斯过程在每个保真度水平上建模，其中协方差结构通常被参数化为几个参数。预测分布通常需要密集的蒙特卡罗近似在以前的作品。本文推导了仅依赖于相关参数的自回归协克里格模型中预测分布均值和方差的新的闭合公式。对于参数估计，我们考虑这样的自回归协克里格模型的客观贝叶斯分析。我们发现，常见的选择先验分布，如常数先验和逆相关先验，通常会导致不适当的后验。我们还开发了几个客观的先验，如独立的参考先验和独立的Jeffreys先验，产生适当的后验分布。这种发展是说明与钻孔功能在一个八维输入空间，并应用到一个工程应用中的六维输入空间。
2020-11-02 math.ST stat.CO stat.TH
Bayesian Nonparametric Density Autoregression with Lag Selection
我们开发了一个贝叶斯非参数自回归模型，适用于灵活地估计一般的过渡密度表现出非线性滞后依赖。我们的方法是贝叶斯密度回归Dirichlet过程的混合物，马尔可夫似然定义通过从混合物中获得的条件分布。这导致贝叶斯非参数扩展的混合专家模型制定。我们解决计算挑战后验抽样产生的马尔可夫结构的可能性。基础模型说明了人口动态的经典模型的合成数据，以及一系列的等待时间之间的老忠实间歇泉喷发。我们研究的推论，通过基础模型，然后扩展的方法，包括自动相关性检测之间的一组预先指定的滞后。全球和当地的滞后选择推理探索与额外的模拟研究，并说明了通过分析每年的时间序列的粉红色鲑鱼丰富的流在阿拉斯加的方法。我们进一步探讨和比较过渡密度估计性能的替代配置所提出的模型。
2021-07-13 stat.ME
Cost-effective Reduced-Order Modeling via Bayesian Active Learning
Texas A&M University（德克萨斯大学）；Brookheaven National Laboratory（布鲁克海文国家实验室）
提出基于贝叶斯本征正交分解的主动学习框架BayPOD-AL，通过不确定性感知有效学习高保真模型的降阶模型，减少数据集构建成本并提升泛化性。
2025-06-27 cs.LG stat.ML
Quasi-Bayesian Nonparametric Density Estimation via Autoregressive Predictive Updates
University of Oxford（牛津大学）；Novo Nordisk（诺和诺德）；University College London（伦敦大学学院）
贝叶斯方法是一种流行的选择，统计推断在小数据制度，由于正则化效应引起的先验。在密度估计的背景下，标准的非参数贝叶斯方法是针对Dirichlet过程混合模型的后验预测。通常，后验预测的直接估计是棘手的，因此方法通常求助于近似后验分布作为中间步骤。然而，最近发展的准贝叶斯预测copula更新，使得有可能进行易于处理的预测密度估计，而不需要后验近似。虽然这些估计在计算上是有吸引力的，但它们往往在非光滑数据分布上挣扎。这是由于提出的copula更新所依据的似然模型的相对限制性形式。为了解决这个问题，我们考虑了一个贝叶斯非参数模型与自回归似然分解和高斯过程先验。虽然这样的模型的预测更新通常是棘手的，我们得到一个准贝叶斯预测更新，实现国家的最先进的结果在小数据制度。
2023-02-18 cs.LG stat.ME stat.ML
Distributionally Robust Skeleton Learning of Discrete Bayesian Networks
Alibaba Group（阿里巴巴集团）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
针对数据损坏下的离散贝叶斯网络骨架学习，提出基于分布鲁棒优化的回归方法，无需忠实性假设，具有对数样本复杂度保证，实验验证有效。
2023-11-10 cs.LG stat.ML
Is MC Dropout Bayesian?
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
MC Dropout是医学成像中用于近似贝叶斯计算（ABC）的主流“免费午餐”方法。它的吸引力是解决了开箱即用的ABC和神经网络（NN）中的不确定性量化的艰巨任务;属于变分推理（VI）框架;并提出了一个高度多模态，忠实的预测后验。我们质疑MC Dropout的近似推理属性，因为事实上MC Dropout改变了贝叶斯模型;其预测后验概率在封闭形式的基准上将$0$概率分配给真实模型;其预测后验的多模态不是真实预测后验的属性，而是设计假象。为了满足任意模型对VI的需求，我们在pytorch框架中共享了一个通用的VI引擎。该代码包括一个精心设计的结构化（对角线加低秩）多元正常变分家庭，及其混合物的实现。它的目的是作为一个去没有免费午餐的方法，解决了平均场VI的缺点与可调的表达性和计算复杂性之间的权衡。
2021-10-08 cs.LG stat.ML
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化（BO）是一种基于模型的无梯度黑箱函数优化方法。通常，BO由高斯过程（GP）驱动，其算法复杂度是评估数量的立方。因此，基于GP的BO不能利用大量的过去或相关的函数评估，例如，来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案，其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合，该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
Causal Atlases from Entropic Inference: Bayesian Networks beyond Optimal DAGs
Department of Physics , Engineering Physics and Astronomy（物理系、工程物理与天文学系）
针对数据驱动因果识别中多因果链问题，提出基于熵推理的因果图谱方法，通过最大熵系综采样量化因果结构歧义性。
2026-06-04 cs.LG stat.ML
Bayesian Model Selection Based on Proper Scoring Rules
贝叶斯模型选择与不适当的先验是没有很好的定义，因为依赖于模型内先验密度的任意缩放常数的边际似然。我们展示了如何可以通过用一个均匀的适当的评分规则，这是不敏感的缩放常数取代边际对数似然来规避这个问题。适当地应用，这通常将使得能够一致地选择真实模型。
2015-05-08 math.ST stat.TH
Objective Bayesian analysis under sequential experimentation
序贯实验的客观先验被认为是。常见的先验，如Jeffreys先验和参考先验，通常取决于用于序贯实验的停止规则。在各种情况下获得新的表达式的参考先验，并考虑涉及这种先验的计算问题。
2008-05-20 math.ST stat.CO stat.TH
A Bayesian Framework for Combining Valuation Estimates
获得更准确的股票价值估计是股票选择的起点，在嘈杂的市场中基于价值的指数，并通过战术风格轮换击败基准指数。不幸的是，贴现现金流、可比方法和基本面分析通常会产生不一致的估值估计。此外，估值估计通常与市场价格不一致。一个人能否通过对包括市场价格在内的各个估计进行平均来形成一个优越的估值估计？本文提出了一个贝叶斯框架，用于将两个或多个估计组合成一个更优的估值估计。该框架证明了对几个估计数求平均值以得出最后点估计数的常见做法是合理的。
2007-07-24 cs.CE nlin.AO nlin.CD
Multifidelity Bayesian Optimization for Binomial Output
Skoltech（斯科尔科沃科技学院）；National Research University Higher School of Economics（俄罗斯国立高等经济研究大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）
贝叶斯优化的核心思想是用廉价的代理模型代替昂贵的目标函数。通过选择贝叶斯优化的捕获函数，我们在勘探和开采之间进行权衡。获取函数通常取决于代理模型在给定点处的均值和方差。最常见的基于高斯过程的代理模型假设具有固定参数的目标是高斯过程的实现。然而，目标函数通常不满足这种近似。在这里，我们考虑来自二项分布的目标函数，其参数取决于输入。通常，我们可以在每次评估期间改变我们获得的伯努利样本的数量。我们提出了一个一般的高斯过程模型，考虑到伯努利输出。为了使事情的工作，我们考虑一个简单的采集功能的基础上预期的改善和启发式策略，选择在每个点的样本数量，从而考虑到所获得的输出的精度。
2019-02-19 cs.LG stat.ML
A Bayesian Nonparametric Markovian Model for Nonstationary Time Series
一般来说，由参数分布建立的平稳时间序列模型由于对残差分布和自回归关系的假设而在范围上受到限制。我们提出了一种建模方法，单变量时间序列数据，它不假设平稳性，可以容纳复杂的动态和捕获非标准分布。转移密度的模型来自二元正态分布的贝叶斯非参数混合所隐含的条件分布。这意味着一个灵活的自回归形式的条件转移密度，定义一个时间均匀的，非平稳的，马尔可夫模型的实值数据索引在离散时间。为了获得一个更易于计算的算法后验推理，我们利用一个无平方根的Cholesky分解的混合核协方差阵。模拟数据的结果表明，该模型能够恢复具有挑战性的过渡和预测密度。我们还说明了老忠实间歇泉喷发之间的时间间隔模型。扩展，以适应高阶结构和发展的状态空间模型进行了讨论。
2016-05-03 stat.ME
Bayesian inverse problems with non-commuting operators
希尔伯特空间中不适定算子方程的贝叶斯方法最近引起了人们的注意。在这种情况下，当先验分布是高斯分布时，两个算子起着重要的作用，一个控制算子方程，另一个描述先验协方差。通常假设这些操作员是交换的。在这里，我们扩展到非交换运营商的分析，取代交换性假设的链接条件。我们讨论了它的关系的通勤情况下，我们表明，这允许使用插值类型的结果，以获得紧边界的收缩后高斯分布对数据生成元素。
2018-12-03 math.ST stat.TH
Bayesian learning for the stochastic shortest path problem
Department of Engineering, University of Cambridge, UK（剑桥大学工程系）；School of Mathematics and Physics, University of Wollongong, Wollongong, Australia（沃林根大学数学与物理学院）
针对随机最短路径问题，提出一种贝叶斯框架，通过贝尔曼最优方程直接构建最优动作价值函数Q*的后验分布，并解决似然松弛导致的不可识别性问题，实现不确定性量化与数据高效学习。
2026-06-03 cs.LG math.ST stat.CO
A Convergence Diagnostic for Bayesian Clustering
在贝叶斯聚类的许多应用中，通过马尔可夫链蒙特卡罗（MCMC）技术实现聚类分配的离散状态空间上的后验采样。由于设计转换核来有效地探索此状态空间通常具有挑战性，因此用于聚类应用的MCMC收敛诊断尤其重要。对于一般的MCMC问题，最先进的收敛诊断涉及跨多个链的比较。然而，单链替代方案可能对计算密集型和缓慢混合的MCMC有吸引力，这是贝叶斯聚类的典型情况。因此，我们在这里提出了一个单链收敛诊断专门针对离散空间MCMC。也就是说，我们考虑一个Hotelling型统计量的最高概率状态，并使用再生抽样论推导出其平衡分布。通过利用来自非标准化后验的信息，我们的诊断可以防止看似收敛的链，其中访问状态的相对频率是不正确的。该方法说明了贝叶斯聚类分析的开花植物拟南芥的遗传突变体。
2019-06-12 stat.CO
Bayesian Optimization with High-Dimensional Outputs
New York University（纽约大学）；Facebook
贝叶斯优化是一种样本高效的黑盒优化过程，通常应用于具有少量独立目标的问题。然而，在实践中，我们经常希望优化在许多相关结果（或“任务”）上定义的目标。例如，科学家可能希望优化密集网格位置上的蜂窝塔网络的覆盖范围。类似地，工程师可能会寻求通过约束或鲁棒优化来平衡机器人在数十种不同环境中的性能。然而，高斯过程（GP）模型通常用作多任务贝叶斯优化的概率替代品，结果的数量比例很差，极大地限制了适用性。我们设计了一种有效的技术，用于精确的多任务GP采样，结合利用Kronecker结构的协方差矩阵与Matheron的身份，使我们能够使用精确的多任务GP模型与成千上万的相关输出进行贝叶斯优化。在这样做的过程中，我们实现了样本效率的显着改善相比，现有的方法，只模型的结果的聚合函数。我们展示了这是如何在科学和工程的一系列任务中解锁贝叶斯优化的一类新应用，包括优化具有超过65，000个输出的光学干涉仪的干涉图案。
2021-10-28 cs.AI cs.LG stat.ML
Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces
Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）
本文提出MPHD模型预训练方法，利用神经网络映射将特定域上下文转化为分层高斯过程规范，实现异构搜索空间间的知识迁移，并与贝叶斯优化无缝集成以提升黑盒函数优化性能。
2024-02-13 cs.AI cs.LG stat.ML
Toward a principled Bayesian workflow in cognitive science
在记忆、语言和认知科学的其他领域的研究中，越来越多的实验使用贝叶斯方法进行分析。概率编程语言（如Stan）和易于访问的前端软件包（如brms）的发展促进了这一点。然而，贝叶斯方法的效用最终取决于贝叶斯模型的相关性，特别是它是否准确地捕捉到数据的结构和数据分析师的领域专业知识。即使有强大的软件，分析师也有责任验证他们模型的实用性。为了证明这一点，我们将贝叶斯工作流程（Betancourt，2018）引入认知科学。使用一个具体的工作示例，我们描述了人们应该询问的关于模型的基本问题：先验预测检查，计算忠实性，模型敏感性和后验预测检查。用于演示工作流程的运行示例是关于阅读时间的数据，其具有对宾语与主语关系从句句子的语言操作。这个原则性的贝叶斯工作流还演示了如何使用领域知识来告知先验分布。它为有效的数据分析提供了指导和检查，避免复杂模型过度拟合噪声，并在概率模型中捕获相关的数据结构。鉴于贝叶斯方法的使用越来越多，我们的目标是讨论如何正确使用这些方法来获得科学问题的可靠答案。本文附带的所有数据和代码均可从https://osf.io/b2vx9/获得。
2020-02-28 stat.ME
A Kernel Approach to Tractable Bayesian Nonparametrics
流行的非参数贝叶斯模型中的推断通常依赖于采样或其他近似。本文提出了一个一般的方法来构造新的易处理的非参数贝叶斯方法，通过应用核技巧的推断参数贝叶斯模型。例如，可以从贝叶斯线性回归以这种方式导出高斯过程回归。尽管高斯过程框架取得了成功，但在贝叶斯文献中很少明确考虑内核技巧。在本文中，我们的目标是填补这一空白，并展示了在更广泛的背景下，而不仅仅是回归，将内核技巧应用于易于处理的贝叶斯参数模型的潜力。作为一个例子，我们提出了一个直观的贝叶斯核机的密度估计，是通过应用核技巧高斯生成模型在特征空间。
2011-08-12 stat.ME stat.ML
Fast Matrix Square Roots with Applications to Gaussian Processes and Bayesian Optimization
Columbia University（哥伦比亚大学）；The Broad Institute（博德研究所）；Facebook（脸书）；Cornell University（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）；Uber AI（优步人工智能）
矩阵平方根及其逆经常出现在机器学习中，例如，当从高维高斯$\mathcal{N}(\mathbf 0, \mathbf K)$采样或相对于协方差矩阵$\mathbf K$白化向量$\mathbf b$时。虽然现有的方法通常需要$O(N^3)$计算，我们引入了一个高效的二次时间算法计算$\mathbf K^{1/2} \mathbf b$，$\mathbf K^{-1/2} \mathbf b$，和他们的衍生物通过矩阵向量乘法（MVMs）。我们的方法结合了Krylov子空间方法与有理逼近，通常实现$4$小数位的准确性与少于$100$的MVMs。此外，反向传递需要很少的额外计算。我们证明了我们的方法对像$50,\!000 \times 50,\!000$这样大的矩阵的适用性-远远超出了传统方法-而且逼近误差很小。将这种增强的可扩展性应用于变分高斯过程、贝叶斯优化和吉布斯采样，可以产生更强大的模型，具有更高的准确性。
2020-11-30 cs.LG stat.ML
Adaptive Stepsizing for Stochastic Gradient Langevin Dynamics in Bayesian Neural Networks
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）
本文提出 SA-SGLD 方法，通过时间重缩放自适应调整步长，提升贝叶斯神经网络后验采样精度与稳定性。
2026-04-09 cs.LG stat.ML
A Full Bayesian Model to Handle Structural Ones and Missingness in Economic Evaluations from Individual-Level Data
根据个人数据进行经济评价是技术评估过程的一个重要组成部分，目的是为资源分配决定提供信息。这些分析中的一个关键问题是，有效性和成本数据通常都存在一定的复杂性（如非正态性、峰值和缺失），应使用适当的方法加以解决。然而，在常规分析中，通常使用简单的标准化方法，可能导致有偏见的推论。我们提出了一个通用的贝叶斯框架，可以处理的复杂性。我们展示了使用我们的方法的好处，一个激励的例子，MenSS试验，其中有尖峰在一个有效性和缺失的两个结果。我们对比了一组日益复杂的模型，并进行了敏感性分析，以评估结论对一系列合理缺失假设的稳健性。本文强调了采用综合建模方法进行经济评估的重要性，以及在贝叶斯框架内构建这些复杂模型的战略优势。
2018-01-30 stat.AP
A Nonparametric Bayesian Framework for Uncertainty Quantification in Stochastic Simulation
当我们使用仿真来评估随机系统的性能时，用于驱动仿真实验的输入模型通常是从有限的真实世界数据中估计的。在系统性能估计中，存在输入模型和仿真估计的不确定性。在没有输入模型和系统平均响应面的强先验信息的情况下，本文提出了一个贝叶斯非参数框架来量化这两个不确定性来源的影响。具体而言，由于现实世界的数据往往代表各种潜在的不确定性源所造成的变化，狄利克雷过程混合（Dirichlet Processes Mixtures，简称DSPs）的非参数输入模型被引入到建模的混合异构分布，它可以忠实地捕捉的重要特征，如多模态和偏斜的现实世界的数据。灵活输入模型的贝叶斯后验描述了输入模型估计的不确定性，其自动地解释了模型选择和参数值的不确定性。然后，输入模型估计的不确定性传播到输出，通过使用直接模拟。因此，在非常一般的条件下，我们的框架提供了一个经验的可信区间占输入和模拟的不确定性。方差分解进一步发展，以量化的相对贡献，从两个来源的不确定性。我们的方法得到了严格的理论和实证研究的支持。
2021-08-07 stat.ME
Bayesian Conditional Generative Adverserial Networks
The University of Adelaide（阿德莱德大学）；Queensland University of Technology（昆士兰科技大学）；CMU（卡内基梅隆大学）
传统的GANs使用确定性生成器函数（通常是神经网络）将随机噪声输入$z$转换为采样器试图区分的样本$\mathbf{x}$。我们提出了一种新的GAN，称为贝叶斯条件生成对抗网络（BC-GAN），它使用随机生成器函数将确定性输入$y'$转换为样本$\mathbf{x}$。我们的BC-GANs将传统的GANs扩展到贝叶斯框架，并自然地处理无监督学习，监督学习和半监督学习问题。实验表明，所提出的BC-GANs优于最先进的。
2017-06-17 cs.AI cs.LG stat.ML
Conjugate Generalized Bayesian Inference for Discrete Doubly Intractable Problems
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出了一种计算高效的共轭广义贝叶斯推断方法，用于解决离散双重不可计算问题，通过指数族模型实现快速且准确的推断。
2026-08-04 stat.ME
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University（兰卡斯特大学）
贝叶斯优化（BO）用于具有随机评估的函数的部署，例如通过交叉验证和仿真优化的参数调整，通常优化目标函数的固定噪声实现集合的平均值。然而，以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题，我们提出了贝叶斯优化分层采样（BOSH），一种新的BO例程配对的分层高斯过程与信息理论框架，以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
A Birth and Death Process for Bayesian Network Structure Inference
贝叶斯网络（BN）是用于表示高维概率分布的图形模型。近年来，人们对从观测数据中学习BN结构的NP难题产生了极大的兴趣。通常情况下，一个人分配一个分数到各种结构和搜索成为一个优化问题，可以接近确定性或随机方法。在本文中，我们走过的空间的图形建模的出现和消失的边缘作为一个出生和死亡的过程，并比较我们的新方法流行的大都会黑斯廷斯搜索策略。我们给出的经验证据表明，出生和死亡过程具有优越的混合性能。
2016-10-01 stat.ML
A Bayesian Approach to Learning Bayesian Networks with Local Structure
Microsoft Research（微软研究院）
最近，一些研究人员研究了使用数据来学习贝叶斯网络的技术，该网络包含存储在每个节点处的条件概率分布（CPD）的紧凑表示。这项工作的大部分集中在使用决策树表示的CPD。此外，研究人员通常应用非贝叶斯（或渐近贝叶斯）评分函数（如MDL）来评估网络对数据的拟合优度。在本文中，我们研究了贝叶斯方法来学习贝叶斯网络，包含更一般的决策图表示的CPD。首先，我们描述了如何评估后验概率，也就是这样一个网络的贝叶斯得分，给定一个数据库的观察情况。其次，我们描述了各种搜索空间，可以使用，结合评分函数和搜索过程，以确定一个或多个高分网络。最后，我们提出了一个实验评估的搜索空间，使用贪心算法和贝叶斯评分函数。
2015-05-16 cs.AI cs.LG stat.ML
SCORE: A 1D Reparameterization Technique to Break Bayesian Optimization's Curse of Dimensionality
Laboratoire de Physique des Interfaces et des Couches Minces (LPICM)（界面与薄膜物理实验室（LPICM））；Ecole Polytechnique, Institut Polytechnique de Paris (IP Paris)（巴黎综合理工学院，巴黎理工学院（IP Paris））；Institut Photovoltaïque d’Île-de-France (IPVF)（法兰西岛光伏研究所（IPVF））
针对贝叶斯优化存在的维数灾难问题，提出一维重参数化方法SCORE，使其在高维场景下保持线性时间复杂度，可高效找到全局最优解且无需高性能计算资源。
2024-06-18 cs.LG stat.ML
Mitigating Representation Gaps in Amortized Bayesian Inference with Auxiliary Supervision
TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出利用辅助监督损失改善摊销贝叶斯推断的训练动态，缓解表示差距，加快收敛并提升性能，并在多个现实问题中验证了有效性。
2026-10-01 cs.LG stat.CO stat.ME
Bayesian Analysis of fMRI data with Spatially-Varying Autoregressive Orders
fMRI数据的统计建模是具有挑战性的，因为数据在空间和时间上都是相关的。在空间上，测量是在数千个连续区域（称为体素）进行的，在时间上，测量是在每个体素的数百个时间点进行的。贝叶斯分层模型的最新进展已经解决了fMRI数据的时空结构的挑战，模型将空间和时间先验的信号和噪声。虽然已经对fMRI信号建模进行了广泛的研究（即，试验设计与血液动力学响应函数的函数选择的卷积）及其空间可变性，很少关注通常存在于fMRI噪声内的时间依赖性的实际建模，其中通常采用低阶自回归过程。此外，AR阶在体素之间保持恒定（例如，每个体素处的AR（1））。受事件相关的fMRI实验的启发，我们提出了一种新的分层贝叶斯模型，自动选择的噪声过程的自回归顺序，空间上不同的大脑。通过模拟研究，我们表明，我们的模型提高了准确性，并将其应用到我们的激励示例中。
2017-10-04 stat.CO
Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
Norwegian University of Science and Technology（挪威科技大学）
针对现有PAC-贝叶斯界多针对凸替代损失的局限，本研究利用期望型PAC-贝叶斯相对界，推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界，并在多个重要应用中验证了方法有效性。
2024-08-16 cs.LG stat.ML
A Bayesian analysis of current duration data with reporting issues: an application to estimating the distribution of time-between-sex from time-since-last-sex data as collected in cross-sectional surveys in low- and middle-income countries
计划生育综合措施用于监测全球人口对避孕方法的需求和使用情况，例如作为FP2030倡议的一部分。低收入和中等收入国家的计划生育措施通常以通过跨部门住户调查收集的数据为基础。最近提出的措施通过评估感兴趣人群的性行为间隔时间（TBS）分布来解释性活动。在本文中，我们提出了一种统计方法来估计TBS的分布使用通常在低收入和中等收入国家的数据，同时解决两个主要的挑战。第一个挑战是，性信息的时间通常仅限于妇女的时间，因为上次性行为（TSLS）数据收集的横断面调查。在我们提出的方法中，我们采用当前的持续时间的方法来估计TBS的分布使用现有的TSLS数据，从人口水平的性别频率可以得出。此外，观察到的TSLS数据会出现报告问题，因为它们可以用不同的单位报告，并可能四舍五入。为了应用当前的持续时间方法并解决这些数据报告问题，我们开发了一个灵活的贝叶斯模型，并对所提出的建模方法进行了详细的技术描述。
2023-02-02 stat.AP
Concave Penalized Estimation of Sparse Gaussian Bayesian Networks
University of California, Los Angeles（加州大学洛杉矶分校）
我们开发了一个惩罚似然估计框架，从观测数据中估计高斯贝叶斯网络的结构。与最近通过限制搜索空间来加速学习问题的方法相比，我们的主要贡献是一种基于分数的结构学习的快速算法，该算法不以任何方式限制搜索空间，并且适用于具有数千个变量的高维数据集。我们使用凹正则化，而不是更流行的$\ell_0$（例如BIC）惩罚，是新的。此外，我们提供了理论保证，推广现有的渐近结果时，基本分布是高斯分布。最值得注意的是，我们的框架不需要存在所谓的忠实的DAG表示，因此理论必须以一种新的方式处理估计问题的固有不可识别性。最后，作为一个独立的兴趣，我们提供了一个全面的比较，我们的方法，几个标准的结构学习方法，使用开源软件包开发的R语言。基于这些实验，我们表明，我们的算法是显着快于其他竞争的方法，同时获得较高的灵敏度与可比的错误发现率的高维数据。特别是，我们的方法生成具有8000个节点的DAG的20个估计的解决方案路径的总运行时间约为一小时。
2015-01-04 cs.LG stat.ME stat.ML
Some models are useful, but how do we know which ones? Towards a unified Bayesian model taxonomy
针对贝叶斯模型定义与评估问题，提出PAD分类法定义四类模型，并给出十个效用维度及决策树以全面评估模型。
2023-09-25 stat.ME
Posterior accuracy and calibration under misspecification in Bayesian generalized linear models
针对广义线性模型中似然族和连接函数选择困难的问题，通过大规模模拟研究评估错误设定下的后验准确性与校准，发现某些似然和连接函数稳健，并给出实用选择建议。
2023-11-15 stat.ME
Correcting boundary over-exploration deficiencies in Bayesian optimization with virtual derivative sign observations
贝叶斯优化（BO）是一种全局优化策略，旨在通过使用高斯过程（GP）作为目标的代理模型来找到通常定义在$\mathcal{R}^d$的紧凑子集上的昂贵黑盒函数的最小值。尽管当前可用的采集功能以不同程度的成功来解决该目标，但是通常观察到搜索空间的轮廓的过度探索效应。然而，在诸如机器学习算法配置之类的问题中，函数域保守地很大，并且全局最小值很可能不位于域的边界上。我们提出了一种方法，通过在搜索空间的边界处的\gp中添加虚拟导数观测，将这些知识纳入搜索过程。我们使用GP的属性对目标的偏导数施加条件。该方法适用于任何采集功能，它易于使用，并始终减少了优化目标所需的评估数量，而不管使用的采集。我们说明了我们的方法在广泛的实验比较的好处。
2018-09-21 stat.CO stat.ME stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Objective Bayesian modelling of insurance risks with the skewed Student-t distribution
保险风险数据通常表现出扭曲的行为。在本文中，我们提出了一种贝叶斯方法来捕捉这些数据集的主要特征。这项工作扩展了Villa和Walker（2014 a）中介绍的方法，考虑了一个额外的参数，该参数捕获了数据的偏斜度。特别是，一个偏态的学生- t分布被认为是。分析了两个数据集：丹麦火灾损失和美国赔偿损失。进行了分析与客观贝叶斯方法。对于表示自由度数量的离散参数，我们采用了最近在Villa和Walker（2014 b）中引入的新先验。
2016-07-16 stat.ME
Learning Equivalence Classes of Bayesian Networks Structures
University of California at Los Angeles（加州大学洛杉矶分校）
从数据中学习贝叶斯网络的方法通常将评分函数与启发式搜索过程相结合。给定贝叶斯网络结构，文献中导出的许多评分函数返回该结构所属的整个等价类的分数。当使用这样的评分函数时，启发式搜索算法适合搜索贝叶斯网络的等价类，而不是单个结构。我们提出的一般配方的搜索空间的搜索状态对应的等价类的结构。使用这个空间，可以容易地应用许多启发式搜索算法中的任何一个。我们比较贪婪的搜索性能在建议的搜索空间的贪婪搜索性能的搜索空间的状态对应于个人贝叶斯网络结构。
2013-02-13 cs.AI cs.LG stat.ML
