Expectation Propagation for Neural Networks with Sparsity-promoting Priors
我们提出了一种新的方法，非线性回归使用一个两层神经网络（NN）模型结构与稀疏有利于网络权重的分层先验。我们提出了一个期望传播（EP）的方法近似集成的后验分布的权重，先验的层次尺度参数，和残留规模。使用因式分解后验近似，我们得到一个计算效率高的算法，其复杂性尺度类似于一个独立的稀疏线性模型的合奏。该方法能够灵活地定义具有不同稀疏特性的权重先验，例如具有公共尺度参数的独立拉普拉斯先验或具有针对所有输入的不同相关性参数的高斯自动相关性确定（ARD）先验。该方法可以扩展到标准激活函数和NN模型结构之外，以从多个稀疏线性模型形成灵活的非线性预测器。使用模拟和真实世界的数据的分层先验和算法的预测性能的影响进行评估。比较两种替代模型与ARD先验：高斯过程与NN协方差函数和边际最大后验估计的相关性参数，和一个NN与马尔可夫链蒙特卡罗集成在所有未知的模型参数。
2013-03-27 stat.ML
Loss-calibrated expectation propagation for approximate Bayesian decision-making
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
近似贝叶斯推断方法提供了一套强大的工具，找到近似的棘手的后验分布。然而，机器学习应用程序通常涉及选择动作，在贝叶斯设置中，这些动作仅通过其对预期效用的贡献取决于后验分布。因此，越来越多的关于损失校准近似推理方法的工作试图开发对效用函数的影响敏感的后验近似。在这里，我们引入损失校准期望传播（Loss-EP），期望传播的损失校准变体。这种方法类似于标准EP，但有一个额外的因素使后验概率向更高效用的决策“倾斜”。我们展示了应用程序的高斯过程分类下的二进制效用函数与不对称的罚款假阴性和假阳性错误，并显示这种不对称性如何可以有戏剧性的后果，什么信息是“有用的”捕捉在一个近似。
2022-01-10 cs.LG stat.ML
Efficient computation of predictive probabilities in probit models via expectation propagation
本文利用期望传播推导出贝叶斯probit模型预测概率的闭式表达式，并通过模拟研究证明其优于现有方法。
2023-09-04 stat.CO stat.ME stat.ML
State Space Expectation Propagation: Efficient Inference Schemes for Temporal Gaussian Processes
Aalto University（阿尔托大学）；Technical University of Denmark（丹麦技术大学）
我们制定近似贝叶斯推断在非共轭的时间和时空高斯过程模型作为一个简单的参数更新规则应用在卡尔曼平滑。这个观点涵盖了大多数推理方案，包括期望传播（EP），经典（扩展，无迹等）。Kalman平滑器和变分推断。我们提供了一个统一的角度来看，这些算法，显示如何取代电力EP矩匹配步骤与线性化恢复经典平滑。EP通过引入所谓的腔分布提供了一些优于传统方法的优点，我们将这些优点与线性化的计算效率相结合，提供了广泛的实证分析，证明了在此统一框架下各种算法的有效性。我们提供了JAX中所有方法的快速实现。
2020-07-12 cs.LG stat.ML
Stochastic Expectation Propagation
University of Cambridge（剑桥大学）；Harvard University（哈佛大学）
期望传播（EP）是一种确定性近似算法，通常用于执行近似贝叶斯参数学习。EP通过对每个数据点迭代细化的一组局部近似来近似完整的棘手后验分布。EP可以提供分析和计算的优势，比其他近似，如变分推断（VI），是许多模型的选择方法。EP的局部性质似乎使其成为在大规模数据集设置中对大型模型执行贝叶斯学习的理想候选者。然而，EP在这种情况下有一个重要的限制：近似因子的数量需要随着数据点的数量N而增加，这通常需要非常大的内存开销。本文提出了一种扩展EP，称为随机期望传播（SEP），保持一个全球后验近似（如VI），但更新它在一个本地的方式（如EP）。使用合成和真实世界的数据集的一些规范学习问题的实验表明，SEP执行几乎以及完整的EP，但减少了$N$的一个因素的内存消耗。因此，SEP非常适合在大型模型，大型数据集设置中执行近似贝叶斯学习。
2015-11-18 cs.LG stat.ML
Distributed Bayesian Learning with Stochastic Natural-gradient Expectation Propagation and the Posterior Server
University of Oxford（牛津大学）；DeepMind
本文对贝叶斯机器学习算法做了两个贡献。首先，我们提出了随机自然梯度期望传播（SNEP），一种新的替代期望传播（EP），一个流行的变分推理算法。SNEP是一种黑盒变分算法，因为它不需要对感兴趣的分布进行任何简化假设，除了用于估计EP倾斜分布的矩的一些Monte Carlo采样器的存在之外。此外，相对于EP没有收敛保证，SNEP可以被证明是收敛的，即使使用蒙特卡罗矩估计。其次，我们提出了一种新的分布式贝叶斯学习架构，我们称之为后验服务器。后验服务器允许在数据集以分布式方式存储在集群中的情况下进行可扩展和鲁棒的贝叶斯学习，每个计算节点包含不相交的数据子集。在每个计算节点上运行一个独立的Monte Carlo采样器，仅直接存取局部数据子集，但其目标是在给定整个集群的所有数据的情况下近似全局后验分布。这是通过使用SNEP的分布式异步实现跨集群传递消息来实现的。我们证明了SNEP和分布式贝叶斯学习的逻辑回归和神经网络后服务器。保留字：分布式学习，大规模学习，深度学习，贝叶斯学习，变分推理，期望传播，随机近似，自然梯度，马尔可夫链蒙特卡罗，参数服务器，后验服务器。
2017-09-07 cs.LG stat.ML
MIMO Detection via Gaussian Mixture Expectation Propagation: A Bayesian Machine Learning Approach for High-Order High-Dimensional MIMO Systems
针对高阶高维MIMO系统检测中多流并行传输带来的干扰噪声问题，提出基于高斯混合模型近似置信传播与期望传播消息的检测算法，在低复杂度下实现了优于现有最优算法的检测性能。
2024-12-12 cs.IT math.IT stat.ML
Training of Spiking Neural Networks with Expectation-Propagation
School of Engineering and Physical Sciences, Heriot-Watt University（工程与物理科学学院，赫瑞斯泰大学）
提出基于Expectation-Propagation的无梯度消息传递框架，支持SNNs离散与连续权重训练，边缘化隐藏层输出，实践中收敛快于梯度方法，为深度贝叶斯网络高效训练提供新途径。
2025-06-30 cs.LG stat.ME stat.ML
Efficient expectation propagation for posterior approximation in high-dimensional probit models
针对高维probit回归中后验近似计算困难的问题，提出利用扩展多元偏态正态分布实现每次迭代成本随协变量数线性增长的期望传播算法，并通过模拟研究验证其可行性。
2023-09-04 stat.CO stat.ME stat.ML
Deep Gaussian Processes for Regression using Approximate Expectation Propagation
University of Cambridge（剑桥大学）；Universidad Autónoma de Madrid（马德里自治大学）；Harvard University（哈佛大学）
深度高斯过程（DGP）是高斯过程（GP）的多层分层概括，形式上等价于具有多个无限宽隐藏层的神经网络。DGP是非参数概率模型，因此可以说更灵活，具有更大的概括能力，并提供比其他深度模型更好的校准不确定性估计。本文提出了一种新的近似贝叶斯学习方案，使DGP首次被应用到一系列中到大规模的回归问题。新方法使用近似的期望传播过程和一种新的和有效的扩展的概率反向传播算法的学习。我们评估的非线性回归的新方法在11个现实世界的数据集，表明它总是优于GP回归，几乎总是优于国家的最先进的确定性和基于采样的近似推理方法贝叶斯神经网络。作为一个副产品，这项工作提供了一个全面的分析六个近似贝叶斯方法训练神经网络。
2016-02-12 cs.LG stat.ML
Sparse-Group Bayesian Feature Selection Using Expectation Propagation for Signal Recovery and Network Reconstruction
Max Planck Institute for Molecular Genetics（马克斯·普朗克分子遗传学研究所）
我们提出了一种贝叶斯方法的特征选择中存在的分组信息之间和组内水平的稀疏性。而不是使用随机算法的参数推断，我们采用期望传播，这是一个确定性和快速的算法。在存在分组信息的情况下，用于特征选择的可用方法具有许多简短的描述：一方面，Lasso方法虽然快速，但低估了回归系数，并且没有很好地利用分组信息，另一方面，贝叶斯方法虽然在参数估计中准确，但通常依赖于随机且缓慢的吉布斯抽样过程来恢复参数，使得它们例如对于基因网络重建是不可行的。我们的方法的贝叶斯稀疏组框架与期望传播，使我们不仅能够恢复准确的参数估计信号恢复问题，但也使得有可能将此贝叶斯框架的大规模网络重建问题。所提出的方法是通用的，但在应用方面，我们专注于基因调控网络。我们的模拟和实验数据表明，该方法构成了一个很好的选择网络重建的正确选择的功能，预测新的数据和合理的计算时间的数量。
2018-09-25 cs.LG stat.CO stat.ML
A Unifying Framework for Gaussian Process Pseudo-Point Approximations using Power Expectation Propagation
University of Cambridge（剑桥大学）
高斯过程（GP）是函数上的灵活分布，其使得关于未知函数的高级假设能够以简约、灵活和通用的方式进行编码。虽然优雅，GP的应用是有限的，当数据足够多或采用非高斯模型时，会出现计算和分析的棘手问题。因此，在过去的15年中，已经开发了大量的GP近似方案来解决这些关键限制。这些方案中的许多方案采用一小组伪数据点来总结实际数据。在本文中，我们开发了一个新的伪点近似框架，使用功率期望传播（功率EP），统一了大量的这些伪点近似。与以前在这一领域的许多令人尊敬的工作不同，新的框架是建立在近似推理的标准方法（变分自由能，EP和功率EP方法）上，而不是采用概率生成模型本身的近似。通过这种方式，所有的近似都是在“推理时间”而不是在“建模时间”进行的，解决了困扰以前方法的棘手的哲学和经验问题。至关重要的是，我们证明了新的框架包括新的伪点近似方法，在回归和分类任务上优于当前的方法。
2017-10-05 cs.LG stat.ML
Expectation Propagation performs a smoothed gradient descent
贝叶斯推断是一种流行的方法来建立学习算法，但它的关键对象，后验概率分布，往往是不可计算的事实，它受到阻碍。期望传播（EP）（Minka（2001））是一种流行的算法，它通过计算后验密度的参数近似（例如：高斯）来解决这个问题。然而，虽然它是已知的经验，以快速计算精细的近似，EP是非常不理解的，这阻止了它被采用的社区的更大的一部分。本文的目的是通过将EP与其他更好理解的方法联系起来，直观地阐明EP。更准确地说，我们将其与使用梯度下降来计算目标概率分布的拉普拉斯近似相联系。我们证明了EP完全等价于在平滑的能量景观上执行梯度下降：即：原始能量景观与一些平滑内核卷积。这也使EP与计算高斯近似的算法相关，该高斯近似使目标分布的反向库尔贝克-莱布勒散度最小化，这是之前已经阐明但尚未严格证明的联系。这些结果可以帮助从业者更好地了解EP是如何工作的，并导致这一重要方法的其他新结果。
2016-12-15 stat.CO stat.ML
Entropic Matching for Expectation Propagation of Markov Jump Processes
Department of Electrical Engineering and Information Technology（电气工程与信息学院）
本文提出基于熵匹配的马尔可夫跳跃过程推断方法，通过闭合形式结果和实验验证，展示了在化学反应网络中高效估计参数和后验均值的性能优势。
2025-03-17 cs.LG q-bio.MN q-bio.QM
Scalable Expectation Estimation with Subtractive Mixture Models
本文提出基于减法混合模型差分表示的无偏重要性采样估计器$\Delta\text{Ex}$，避免直接采样，实现高维期望估计，实验证明其估计质量与自回归采样相当且速度更快，并初步探索了安全提议的构建。
2025-03-27 cs.LG stat.CO stat.ML
Expectation Propagation in Gaussian Process Dynamical Systems: Extended Version
Imperial College London（帝国理工学院）；Google Deepmind（谷歌DeepMind）
本文提出基于期望传播的消息传递算法用于高斯过程动态系统的近似推理，通过前向后向平滑迭代获得更精确的潜在结构后验分布，提升预测性能，并统一了现有GPDS平滑器。
2016-08-17 cs.LG cs.SY eess.SY
On Expectation Propagation and the Probabilistic Editor in some simple mixture problems
University of Oslo（奥斯陆大学）；University of Glasgow（格拉斯哥大学）
本文研究了期望传播在某些简单混合问题中的应用，发现其能产生具有正确方差的近似后验分布，从而为参数估计提供可靠区间。
2026-02-23 math.ST stat.TH
Patch-Based Image Restoration using Expectation Propagation
Heriot-Watt University（赫瑞-瓦特大学）
本文提出了一种新的期望传播（EP）框架的图像复原基于块的先验分布。虽然蒙特卡罗技术通常用于从难以处理的后验分布中进行采样，但它们在诸如图像复原的高维推理问题中可能会遇到可扩展性问题。为了解决这个问题，这里使用EP来使用多变量高斯密度的乘积来近似后验分布。此外，对这些密度的协方差矩阵施加结构约束允许更大的可扩展性和分布式计算。虽然该方法自然适合于处理加性高斯观测噪声，但它也可以扩展到非高斯噪声。针对高斯和泊松噪声的去噪、修复和反卷积问题进行的实验说明了这种灵活的近似贝叶斯方法在成像问题中用于不确定性量化的潜在好处，与采样技术相比，计算成本降低。
2021-11-10 cs.CV stat.ME
Expectation Propagation for Poisson Data
University College London（伦敦大学学院）
本文提出了一种基于期望传播的近似贝叶斯推断方法，用于近似由泊松似然函数和拉普拉斯型先验分布（如各向异性总变差先验）形成的后验分布，通过迭代产生高斯近似，并在每次迭代中通过矩匹配更新后验分布的一个因子，推导了显式更新公式，并讨论了高效稳定的求积规则。
2019-04-10 cs.NA math.NA math.ST
Deep active subspaces - a scalable method for high-dimensional uncertainty propagation
在不确定性量化（UQ）领域中，一个相当重要的问题是开发用于构建精确的替代模型的有效方法。这些努力是特别重要的应用程序约束的高维不确定参数空间。在这样的系统中准确的替代建模的困难，进一步加剧了由前向模型评估的大成本所带来的数据稀缺。传统的响应面技术，如高斯过程回归（或克里格）和多项式混沌难以扩展到高维。为了使代理建模在昂贵的高维系统中易于处理，必须对随机参数空间进行降维。最近的一种降维技术是“活动子空间”方法，它显示出很大的希望。不幸的是，活动子空间的经典公式需要来自前向模型的梯度信息-通常不可能获得。在这项工作中，我们提出了一种简单的，可扩展的方法来恢复高维随机系统中的活动子空间，没有依赖于正交活动子空间投影矩阵的重新参数化的梯度信息，并将此公式与深度神经网络相结合。我们在合成和真实世界的数据集上展示了我们的方法，并与经典的活动子空间进行了有利的预测比较。
2019-02-28 physics.comp-ph stat.ML
Expectation propagation on the diluted Bayesian classifier
Politecnico di Torino（都灵理工大学）；Italian Institute for Genomic Medicine（意大利基因组医学研究所）；INFN Sezione di Torino（意大利国家核物理研究所都灵分部）；Amazon Alexa（亚马逊Alexa）
从高维数据集中有效地选择特征是许多数据驱动的科学和工程领域中的一个非常重要的挑战。我们引入了一个统计力学启发的策略，解决了稀疏特征选择的问题，在二进制分类的背景下，利用一个计算方案称为期望传播（EP）。该算法是用来训练一个连续权重感知器学习分类规则从一组（可能部分错误标记）的例子提供了一个教师感知器与稀释的连续权重。我们测试的方法在贝叶斯最优设置在各种条件下，并将其与其他国家的最先进的算法的基础上的消息传递和期望最大化的近似推理计划。总的来说，我们的模拟表明，EP是一个强大的和有竞争力的算法在变量选择属性，估计精度和计算复杂性，特别是当学生感知器训练相关的模式，防止其他迭代方法收敛。此外，我们的数值测试表明，该算法是能够在线学习的先验参数的未知值，如教师感知器的权重的稀释水平和错误标记的例子的分数，相当准确。这是通过一个简单的极大似然策略来实现的，该策略包括最小化与EP算法相关的自由能。
2021-01-31 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Expectation Propagation for Nonlinear Inverse Problems -- with an Application to Electrical Impedance Tomography
Center for Industrial Mathematics, University of Bremen（不来梅大学工业数学中心）；Department of Mathematics, University of California, Riverside（加州大学河滨分校数学系）
本文提出基于期望传播的快速近似推断方法，用于求解非线性反问题的后验概率分布，通过高效估计后验均值和协方差，提供反演解及不确定性量化，应用于电阻抗断层成像并对比马尔可夫链蒙特卡洛方法。
2013-12-12 cs.NA math.NA math.ST
Expectation propagation as a way of life: A framework for Bayesian inference on partitioned data
大数据贝叶斯计算的一种常见的分而治之的方法是将数据分区，分别对每一部分进行局部推理，并将结果组合以获得全局后验近似。虽然在概念上和计算上都很吸引人，但这种方法涉及到对局部推理的先验进行分割的问题;这些弱化的先验可能无法为每个单独的计算提供足够的正则化，从而消除了贝叶斯方法的关键优势之一。为了解决这一困境，同时仍然保留了基本的本地推理方法的泛化能力，我们采用的想法的期望传播（EP）作为分布式贝叶斯推断的框架。其中心思想是迭代地更新近似的局部似然给定的其他近似和先验的状态。本文件有两个角色：我们审查所需的步骤，以保持EP算法数值稳定，我们建议一个一般的方法，启发EP，接近数据分区问题的方式，实现并行计算的好处，同时允许每个本地更新，以利用其他网站的相关信息。此外，我们演示了如何可以应用该方法在一个层次的上下文中，利用分区的数据和参数。本文描述了一个通用的算法框架，而不是一个特定的算法，并提出了一个例子实现。
2019-11-30 stat.CO stat.ME stat.ML
Avoiding Non-Integrable Beliefs in Expectation Propagation
Communication Systems Department, EURECOM（EURECOM通信系统系）
本文提出两种EP框架，确保信念可积分，通过允许不可积分消息，解决GLM中的信号恢复问题。
2026-04-05 cs.IT cs.LG eess.SP
Scalable Bayesian model averaging through local information propagation
我们表明，经典的向前逐步变量包含过程的概率版本可以作为一个通用的数据增强计划模型空间分布（广义）线性模型。该潜在变量表示采用马尔可夫过程的形式，从而允许信息传播算法被应用于从模型空间后验进行采样。特别是，我们提出了一个序贯蒙特卡罗方法实现有效的无偏贝叶斯模型平均在高维问题，利用建议分布构造使用本地信息传播。我们说明了我们的方法-所谓的LIPS为本地信息传播为基础的采样-通过真实和模拟的例子，维数范围从15到1,000，并比较其性能估计后验包含概率和样本外预测的其他几种方法-即MCMC，BAS，iBMA和LASSO。此外，我们还表明，潜变量表示也可以作为一种建模工具，用于指定模型空间的先验知识，占模型的复杂性和条件包含关系。
2014-10-22 stat.CO stat.ME
Scalable Expectation Propagation for Mixed-Effects Regression
针对混合效应回归模型在大规模分组数据下贝叶斯推断难以同时实现线性扩展与分布式稳定的问题，提出一种基于稀疏重参数化和矩传播改进的可扩展、数值稳定的期望传播（EP）框架。
2024-09-24 stat.ME
Comprehensive Description of Uncertainty in Measurement for Representation and Propagation with Scalable Precision
Fraunhofer IOSB（弗劳恩霍夫离子束研究所）；KIT, IES（卡尔斯鲁厄理工学院，工业工程与科学系）；KIT, IIIT（卡尔斯鲁厄理工学院，信息与计算技术研究所）
本文提出一个计算可行的框架，用于用概率密度函数表示和传播测量系统中的定量属性，通过高斯混合模型实现高精度和可扩展性，提升测量不确定性的准确性。
2026-03-20 cs.AI cs.LG stat.ML
Expectation-Propagation for Bayesian Empirical Likelihood Inference
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学院）
本文提出基于期望传播的变分方法近似贝叶斯经验似然后验，解决其计算挑战，在小样本下实现更优成本-精度权衡，且理论上近似与目标后验渐近等价。
2026-08-05 stat.CO stat.ME
SPUX Framework: a Scalable Package for Bayesian Uncertainty Quantification and Propagation
我们提出SPUX -一个模块化的框架，贝叶斯推断，使不确定性量化和传播的线性和非线性，确定性和随机模型，并支持贝叶斯模型选择。SPUX可以耦合到以任何编程语言编写的任何串行或并行应用程序（例如，包括Python，R，Julia，C/C++，Fortran，Java或二进制可执行文件），可以轻松地从个人计算机上的串行运行扩展到并行高性能计算集群，并旨在提供一个特别适合支持和促进计算科学可重复性的平台。我们说明了SPUX的功能，一个简单而有代表性的随机游动模型，描述了如何耦合不同类型的用户应用程序，并展示了几个现成的例子，从环境科学。除了现有的最先进的数值推理算法，包括EMCEE，PMCMC（PF）和SABC，SPUX框架的开源性质和层次并行SPUX执行器的明确描述也应该大大简化其他推理和优化技术的实现和使用。
2021-05-12 cs.CE cs.MS stat.CO
Scalable expectation propagation for generalized linear models
本文提出面向GLM的高效EP新表述，将每迭代复杂度由O(p²n)降至O(pn min{p,n})，并支持低成本预测与计数数据矩匹配。
2024-07-02 stat.CO
Message passing with relaxed moment matching
Purdue University（普渡大学）
贝叶斯学习经常受到大量计算费用的阻碍。期望传播作为普遍信念传播的一种有效推广，有效地逼近了精确贝叶斯计算。然而，EP可能对异常值敏感，并且在困难的情况下会出现发散。为了解决这个问题，我们提出了一个新的近似推理方法，放松期望传播（REP）。它通过在KL最小化中加入一个松弛因子来放松期望传播的矩匹配要求。我们用$l_1$惩罚来惩罚这种松弛。因此，当松弛KL散度中的两个分布相似时，松弛因子将被惩罚为零，因此，我们获得原始矩匹配;在存在离群值的情况下，这两个分布显著不同，松弛因子将用于减少离群值的贡献。基于这种惩罚KL最小化，REP对离群值具有鲁棒性，并且可以大大提高EP的后验近似质量。为了检验REP的有效性，我们将其应用于高斯过程分类，这是一项适合EP的任务。我们在合成和UCI基准数据集上的分类结果表明，REP在算法稳定性、估计准确性和预测性能方面比EP和Power EP有显着改善。
2012-08-29 cs.LG stat.CO stat.ML
Expectation Propagation
变分推断是一个强大的概念，它是许多迭代近似算法的基础;期望传播、平均场方法和信念传播都是该学派的中心主题，可以从这个统一的框架中看出。Manfred Opper的讲座介绍了期望传播的典型例子，然后与其他近似方法建立联系。然后解释了关于期望传播的扩展的校正。最后，一些先进的推理主题和应用程序进行了探讨，在最后部分。
2014-09-22 stat.ML
Factored expectation propagation for input-output FHMM models in systems biology
我们认为在系统生物学应用中的代谢信号和基因表达的联合建模的问题。我们提出了一种基于输入输出因子隐马尔可夫模型的方法，并提出了一种结构化的变分推断方法来推断模型的结构和状态。我们从经典的自由形式的结构变分平均场方法，并使用期望传播近似的期望在变分循环。我们表明，这对应于一个因子化的期望约束近似推理。我们通过大量的模拟验证了我们的模型，并证明了它在现实世界的细菌数据集上的适用性。
2013-05-17 stat.ML
Expectation Propagation on the Maximum of Correlated Normal Variables
许多涉及最优性问题的推理问题都要求求一组有限未知量的最大值或最小值。本技术报告推导出两个相关高斯变量的最大值的前两个后验矩和两个生成变量的前两个后验矩（对应于最小化相对熵的高斯近似）。它示出了如何可以用来建立一个启发式近似的最大关系在有限的高斯变量集，允许近似推理的期望传播等数量。
2009-10-01 stat.ML
Scalable and efficient algorithms for the propagation of uncertainty from data through inference to prediction for large-scale problems, with application to flow of the Antarctic ice sheet
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Merced（加州大学默塞德分校）；New York University（纽约大学）
本文提出高效算法处理大规模模型中的不确定性推断与传播，应用于南极冰盖流动预测，通过低秩近似实现维度无关性。
2015-09-02 cs.NA math.NA math.OC
Gaussian Probabilities and Expectation Propagation
虽然高斯概率密度在应用数学中无处不在，但高斯累积概率在单变量情况下很难计算。我们研究的效用期望传播（EP）作为一个近似的集成方法，这个问题。对于矩形积分区域，近似是高度精确的。我们还将推导推广到更一般的多面体积分区域的情况。然而，我们发现，在这个多面体的情况下，EP的答案，虽然往往是准确的，几乎可以任意错误。我们认为这些意想不到的结果经验和理论上，无论是高斯概率的问题，EP更普遍。这些结果阐明了一个有趣的和不明显的功能，尚未详细研究的EP。
2013-11-28 stat.ML
Expectation Propagation for t-Exponential Family Using Q-Algebra
指数族分布在机器学习中非常有用，因为它们的计算可以通过自然参数有效地执行。指数族最近被扩展到t-指数族，它包含Student- t分布作为族成员，从而使我们能够很好地处理噪声数据。然而，由于t-指数族被变形指数否定，我们不能推导出一个有效的学习算法的t-指数族，如期望传播（EP）。本文借用统计物理学中q-代数的数学工具，证明分布的伪可加性允许我们通过自然参数来计算t-指数族分布。然后，我们开发了一个期望传播（EP）算法的t-指数的家庭，它提供了一个确定性的近似后验或预测分布与简单的矩匹配。最后将EP算法应用于贝叶斯点机和Student-t过程分类，并通过数值实验验证了其性能。
2017-05-28 stat.ML
Convergent Expectation Propagation in Linear Models with Spike-and-slab Priors
在具有尖峰和厚片先验的线性回归模型中，精确推断往往是困难的。期望传播（EP）可用于近似推理。然而，当训练集的大小非常小时，EP的规则序列形式（R-EP）在该模型中可能无法收敛。作为替代方案，我们提出了一个可证明收敛的EP算法（PC-EP）。本文证明了PC-EP的最小化是一个能量函数，在一定的约束条件下，该能量函数是下界的，且其驻点与R-EP的解重合。模拟数据的实验表明，当R-EP不收敛时，PC-EP产生的近似往往更好。相比之下，当R-EP收敛时，两种方法的性能相似。
2011-12-10 stat.ML
Scalable method for Bayesian experimental design without integrating over posterior distribution
本文提出一种无似然的A-最优贝叶斯实验设计方法，利用全方差定律和人工神经网络近似条件期望，避免对后验分布积分，大幅减少昂贵观测模型评估次数。
2023-08-11 cs.NA math.NA stat.CO
On numerical approximation schemes for expectation propagation
在大规模学习的背景下研究了期望传播算法的几种数值逼近策略：拉普拉斯方法，它的更快变体，高斯求积和变分采样的确定性版本（即，结合积分与变分近似）。训练线性二进制分类器的实验表明，期望传播算法收敛最好使用变分采样，而它也收敛良好，使用拉普拉斯风格的方法与光滑的因素，但往往是不稳定的不可微的。在大多数实验中，高斯求积产生不稳定的行为或收敛到次优解。
2016-11-14 cs.LG stat.CO stat.ML
Conditional Expectation Propagation
School of Computing, University of Utah（犹他大学计算学院）
期望传播（Expectation Propagation，EP）是一种强大的近似推理算法.然而，在应用EP的一个关键障碍是，在消息更新的时刻匹配可能是棘手的。手工近似通常是棘手的，并且缺乏普遍性。重要性抽样是非常昂贵的。虽然拉普拉斯传播提供了一个很好的解决方案，但它必须在每次更新中运行数值优化以找到拉普拉斯近似，这仍然是非常低效的。为了克服这些实际障碍，我们提出了条件期望传播（CEP），它在每个消息外部的变量下执行条件矩匹配，然后将期望值作为这些变量的近似后验。条件矩通常是解析的，并且更容易推导。在最一般的情况下，我们可以使用（完全）因式分解的消息通过求积公式来表示条件矩。然后，必要时，我们通过泰勒近似计算条件矩的期望。通过这种方式，我们的算法总是可以进行有效的，解析的不动点迭代。几个流行的模型，标准EP是可用或不可用的实验证明CEP的推理质量和计算效率的优势。
2019-11-08 cs.LG stat.ML
Expectation propagation for the smoothing distribution in dynamic probit
本文针对动态probit模型的高维平滑分布，提出一种高效的期望传播算法，并在金融示例中验证其精度优于现有近似方法。
2023-09-04 stat.CO stat.ML
Passing Expectation Propagation Messages with Kernel Methods
University College London（伦敦大学学院）；Google Deepmind（谷歌DeepMind）
我们建议学习一个基于内核的消息运算符，它将所有期望传播（EP）传入消息作为输入到因子节点，并产生传出消息。在普通EP中，计算传出消息涉及估计可能不具有解析表达式的多元积分。学习这样一个操作允许一个绕过昂贵的计算过程中的积分推理直接映射到一个传出的消息所有传入的消息。可以从训练数据（输入和输出消息的示例）中学习运算符，这允许对可以采样的任何类型的因素进行自动推理。
2015-01-02 cs.LG stat.ML
Differentially private stochastic expectation propagation (DP-SEP)
University of Tübingen（蒂宾根大学）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究所）；University of British Columbia（不列颠哥伦比亚大学）
我们有兴趣在私有化的近似后验推理算法称为期望传播（EP）。EP通过迭代地细化局部似然的近似来近似后验，并且已知EP比变分推理（VI）提供更好的后验不确定性。然而，EP需要大的存储器来维护与训练数据中的每个数据点相关联的所有局部近似。为了克服这一挑战，随机期望传播（SEP）考虑了一个单一的独特的局部因子，该因子捕获每个似然项对后验的平均影响，并以类似于EP的方式对其进行细化。在隐私方面，SEP比EP更易于处理，因为在因子的每个细化步骤中，剩余因子是固定的，并且不像EP那样依赖于其他数据点，这使得敏感性分析变得简单。我们提供了一个理论分析的隐私准确性权衡后估计在我们的方法，称为差分私人随机期望传播（DP-SEP）。此外，我们证明了我们的DP-SEP算法在合成和真实世界的数据集上评估的性能，在不同级别的保证隐私的后验估计的质量。
2022-10-31 cs.LG stat.ML
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington（华盛顿大学）
我们开发了一个框架，近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法，它在后验中整合变量以改善混合。不幸的是，对于许多复杂的模型，整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究，其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明，我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡，从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Expectation Particle Belief Propagation
University of Oxford（牛津大学）
我们提出了一个原始的基于粒子的实现的循环信念传播（LPB）算法的两两马尔可夫随机场（MRF）的连续状态空间。该算法构造自适应有效的建议分布近似的局部信念在每个音符的MRF。这是通过考虑指数族中的建议分布来实现的，其参数在期望传播（EP）框架中迭代更新。所提出的粒子方案提供一致的估计的LBP边缘的粒子数的增加。我们证明，它提供了更准确的结果比粒子信念传播（PBP）算法的Ihler和McAllester（2009）在一小部分的计算成本，另外更强大的经验。我们的算法在每次迭代的计算复杂度是粒子数的平方。我们还提出了一个加速实现与次二次计算复杂性，仍然提供相合估计的循环BP边缘分布，并执行几乎以及原始程序。
2015-06-19 cs.AI stat.CO stat.ML
Fearless Stochasticity in Expectation Propagation
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
本研究提出EP矩匹配更新是变分目标的自然梯度优化这一新视角，据此设计两种适配蒙特卡洛估计的EP新变体，单样本下仍稳定高效，调参易、速度精度权衡优且无需去偏估计器，在多类概率推断任务中验证了有效性。
2024-10-29 cs.LG stat.ML
Expectation Consistent Approximate Inference: Generalizations and Convergence
循环置信传播的近似方法，包括期望传播和近似消息传递，在概率推理问题中引起了广泛的关注。本文提出并分析了Opper和Winther的期望一致近似推理方法的推广。所提出的方法，称为广义期望一致性（GEC），可以适用于最大后验概率（MAP）和最小均方误差（MMSE）估计。在这里，我们描述了它的不动点，收敛性和性能相对于副本预测的最优性。
2017-01-24 cs.IT math.IT stat.ML
Kernel-Based Just-In-Time Learning for Passing Expectation Propagation Messages
University of Oxford（牛津大学）
我们提出了一个有效的非参数策略学习的预期传播（EP），它需要作为输入的一组传入的消息到一个因素节点的消息运算符，并产生一个传出的消息作为输出。这个学习的算子取代了经典EP中所需的多元积分，后者可能没有解析表达式。我们使用基于内核的回归，它是在一组代表传入消息和相关传出消息的概率分布上训练的。核方法有两个主要优点：第一，它是快速的，因为它是使用输入消息分布的一种新的双层随机特征表示来实现的;第二，它具有原则性的不确定性估计，并且可以廉价地在线更新，这意味着当它遇到不确定的输入时，它可以请求并合并新的训练数据。在实验中，我们的方法是能够解决学习问题，需要一个单一的消息运营商的多个，基本上不同的数据集（逻辑斯谛回归的各种分类问题），它是必不可少的，以准确地评估不确定性，并有效地和鲁棒地更新的消息运营商。
2015-06-09 cs.LG stat.ML
Relaxed Scheduling for Scalable Belief Propagation
ITMO University（圣彼得堡国立信息技术机械与光学大学）；IST Austria（奥地利科学技术研究所）
利用大规模硬件并行性的能力是机器学习最近加速进展的关键推动因素之一。因此，已经投入了相当大的努力来开发经典机器学习算法的高效并行变体。然而，尽管并行化的知识丰富，一些经典的机器学习算法往往难以并行化的同时保持收敛。在本文中，我们专注于高效的并行算法的关键机器学习任务的推理图形模型，特别是在基本的信念传播算法。我们解决的挑战，有效地并行化这一经典的范例，显示如何利用可扩展的放松的并行程序在这种情况下。我们提出了一个广泛的实证研究，表明我们的方法优于以前的并行信念传播实现的可扩展性和挂钟收敛时间方面，在一系列的实际应用。
2021-01-18 cs.AI cs.DC cs.LG
Expectation-Propagation for Likelihood-Free Inference
自然科学和社会科学中的许多模型都没有封闭形式的似然函数，这意味着它们不能用通常的统计推断技术来处理。在可以有效地模拟这种模型的情况下，由于近似贝叶斯计算（ABC）算法，贝叶斯推断仍然是可能的。虽然已经提出了许多改进，ABC推理仍然远离常规。由于接受率非常低，ABC通常非常缓慢。此外，ABC需要引入“汇总统计”向量，其选择相对任意，并且经常需要一些试验和错误，使得整个过程对用户来说相当费力。在这项工作中，我们介绍了EP-ABC算法，这是一个适应的可能性自由上下文的变分近似算法称为期望传播（Minka，2001年）。EP-ABC的主要优点是它比标准算法快几个数量级，同时产生通常可以忽略不计的总体近似误差。EP-ABC的第二个优点是，它用单独应用于每个数据点的形式的n个局部约束来取代对整个数据集计算的汇总统计量向量的通常的全局ABC约束。因此，通常可以完全取消汇总统计。在这种情况下，EP-ABC直接近似模型的证据（边际似然）。比较在三个现实世界中的应用程序，这是典型的似然自由推理，包括一个应用程序在神经科学是新颖的，可能太具有挑战性的标准ABC技术。
2012-07-18 stat.CO stat.ML
Compressed sensing reconstruction using Expectation Propagation
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut de Biologie Paris-Seine（巴黎塞纳河生物学研究所）
从电信到计算生物学等领域中的许多有趣问题都可以形式化为带有附加约束或正则化子的大型欠定线性方程组。压缩感知问题（CS）是研究最多的问题之一，其在于针对已知测量向量$\boldsymbol{y}$和感知矩阵$\mathbf{F}$，找到给定线性方程组$\boldsymbol y = \mathbf{F} \boldsymbol{w}$的具有最小数目的非零分量的解。在这里，我们将在贝叶斯推断框架内解决压缩感知问题，其中稀疏约束被重新映射到奇异的先验分布（称为尖峰和平板或伯努利高斯）。这个问题的解决方案是试图通过计算边缘分布通过期望传播（EP），迭代计算计划最初开发的统计物理。我们将表明，这种策略是相对更准确的解决方案的CS从统计相关的测量矩阵产生的情况下，比的替代品。对于基于贝叶斯框架的计算策略，例如置信传播的变体，这是可以预期的，因为它们隐含地依赖于感知矩阵的条目之间的统计独立性的假设。也许令人惊讶的是，在我们的测试中，该方法的性能也均匀优于所有其他最先进的方法。
2019-08-03 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Ranking via Sinkhorn Propagation
University of Toronto（多伦多大学）
发展排名的学习方法越来越重要。然而，与许多学习目标相反，由于排列的空间不平滑的事实，排名问题带来了困难。在本文中，我们研究了一类秩线性目标函数，其中包括流行的指标，如精度和折扣累积增益。特别是，我们观察到，这些增益的期望完全由置换矩阵上相应分布的边缘来表征。因此，秩线性目标的期望总是可以通过Birkhoff多面体中的位置来描述，即，双随机阵。我们提出了一种技术，学习基于DSM的排名功能，使用迭代投影算子称为Sinkhorn归一化。这个算子的导数可以通过反向传播来计算，从而产生一种我们称为Sinkhorn propagation或SinkProp的算法。这种方法可以与各种基于梯度的方法相结合来进行排名学习。我们展示了实用的SinkProp在几个信息检索数据集。
2011-06-14 cs.IR cs.LG stat.ML
Scalable Identification of Partially Observed Systems with Certainty-Equivalent EM
Stanford University（斯坦福大学）
系统辨识是基于模型的控制、估计器设计和输出预测的关键步骤。本文研究部分可观测非线性系统的离线辨识问题。我们的经验表明，确定性等效近似期望最大化可以是一个可靠的和可扩展的方法，高维确定性系统，这是常见的机器人。我们制定确定性等价的期望最大化块坐标上升，并提供了一个有效的实现。该算法的耦合洛伦兹吸引子的模拟系统上进行测试，证明其识别高维系统，可以是棘手的基于粒子的方法的能力。我们的方法也被用来识别一个特技直升机的动力学。通过用未观察到的流体状态来增强状态，学习到比最先进的方法更好地预测直升机的加速度的模型。这个工作的代码库可以在https://github.com/sisl/CEEM上找到。
2020-06-20 cs.LG cs.RO cs.SY
