A Bayesian Approach for Medical Inquiry and Disease Inference in Automated Differential Diagnosis
Arizona State University（亚利桑那州立大学）
我们提出了一个贝叶斯方法的医疗查询和疾病推理，在鉴别诊断的两个主要阶段。与以前的工作不同，模拟给定概率的数据并对其使用ML算法，我们直接使用快速医学参考（QMR）信念网络，并在推理阶段应用贝叶斯推理，在查询阶段应用贝叶斯实验设计。此外，我们通过将贝叶斯实验设计框架从一步搜索扩展到多步搜索来改进查询阶段。我们的方法具有一些实际优势，因为它是可解释的，无需昂贵的培训，并且能够适应新的变化而无需任何额外的努力。我们的实验表明，我们的方法在两个模拟数据集SymCAT和HPO上取得了新的最先进的结果，在两个诊断对话数据集Muzhi和Dxy上取得了有竞争力的结果。
2021-10-23 cs.AI cs.LG
Comparative Study of Inference Methods for Bayesian Nonnegative Matrix Factorisation
University of Cambridge（剑桥大学）；IT University of Copenhagen（哥本哈根信息技术大学）
在本文中，我们研究了贝叶斯矩阵分解方法的不同推理方法的权衡，这些方法通常用于预测缺失值，并在数据中查找模式。特别是，我们考虑贝叶斯非负变量的矩阵分解和三因子分解，并比较非概率推理，吉布斯抽样，变分贝叶斯推断，和最大后验方法。变分方法是贝叶斯非负模型的一种新方法。我们比较了它们的收敛性，对噪声和稀疏数据的鲁棒性，在合成和真实世界的数据集。此外，我们扩展的模型与贝叶斯自动相关性确定先验，允许模型执行自动模型选择，并证明其效率。
2017-07-13 cs.LG stat.ML
Understanding Approximation for Bayesian Inference in Neural Networks
Balliol College（贝利奥尔学院）；University of Oxford（牛津大学）
贝叶斯推断作为一个推理信念的原则框架具有理论吸引力。然而，贝叶斯推断的动机，声称它是唯一的“理性”的推理不适用于实践。他们创造了一个二元分裂，其中所有近似推理都是同样的“无理”。相反，我们应该问问自己，如何定义一系列理性程度更高和更低的推理，以解释为什么我们可能更喜欢一种贝叶斯近似。我探讨了贝叶斯神经网络中的近似推理，并考虑了概率模型、近似分布、优化算法和数据集之间的非预期相互作用。这些相互作用的复杂性突出了评估贝叶斯近似的任何策略的难度，该策略完全集中在特定数据集和决策问题的背景之外的方法上。对于给定的应用，近似后验的期望效用可以衡量推理质量。为了评估模型结合贝叶斯框架不同部分的能力，我们可以识别贝叶斯推理的理想特征行为，并选择大量使用这些行为的决策问题。在这里，我们使用持续学习（测试按顺序更新的能力）和主动学习（测试表示信任的能力）。但是，现有的持续和主动学习设置带来了挑战，这些挑战与后验质量无关，这可能会扭曲他们评估贝叶斯近似的能力。这些不相关的挑战可以被移除或减少，从而更好地评估近似推理方法。
2022-11-11 cs.LG stat.ML
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型，并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计，通过最大化期望的改善，在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明，所获得的自适应设计的有效性相比，固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
Density Estimation via Bayesian Inference Engines
University of Technology Sydney（悉尼科技大学）
我们解释如何有效的自动概率密度函数估计可以使用当代贝叶斯推断引擎，如那些基于无掉头采样和期望传播。广泛的模拟研究表明，建议的密度估计有很好的比较性能和规模非常大的样本量由于分箱策略。此外，该方法是完全贝叶斯和所有的估计都伴随着逐点可信区间。随附的R语言包便于使用新的密度估计。
2021-09-26 cs.LG stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University（哈佛大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
贝叶斯神经网络（BNN）在神经网络中的参数上放置先验。然而，BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中，我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明，常用的指标（例如测试对数似然）可能会产生误导。我们的实验还表明，设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Comparison of LSTM autoencoder based deep learning enabled Bayesian inference using two time series reconstruction approaches
University of Southern California（南加州大学）
在这项工作中，我们使用贝叶斯推理，马尔可夫链蒙特卡罗和深度学习的LSTM自动编码器的形式相结合，以建立和测试一个框架，提供强大的估计注入率从地面数据耦合流和地质力学问题。我们使用LSTM自动编码器来重建由于注水问题而导致的断层顶部表面上的网格点的位移时间序列。然后，我们部署这个基于LSTM自动编码器的模型，而不是贝叶斯推理框架中的高保真模型，以根据位移输入估计注射速率。
2022-03-03 cs.CE cs.LG
Latent Tree Models and Approximate Inference in Bayesian Networks
The Hong Kong University of Science and Technology（香港科技大学）
提出了一种新的贝叶斯网络近似推理方法。这个想法是从BN中采样数据，离线从数据中学习潜在树模型（LTM），在线时，使用LTM而不是原始BN进行推理。因为LTM是树结构的，所以推理需要线性时间。同时，它们可以表示叶节点之间的复杂关系，因此近似精度通常很好。经验证据表明，我们的方法可以实现良好的近似精度在较低的在线计算成本。
2014-01-15 cs.LG
Adversarial robustness of amortized Bayesian inference
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
研究摊销贝叶斯推断的对抗鲁棒性，发现微小观测扰动会导致后验剧烈变化，提出基于Fisher信息惩罚的高效正则化方案以提升鲁棒性。
2023-05-24 cs.LG stat.ML
On the relationship between a Gamma distributed precision parameter and the associated standard deviation in the context of Bayesian parameter inference
University of Warwick（华威大学）
在贝叶斯推断中，未知的测量不确定度通常根据伽马分布精度参数来量化，当在推断期间应利用关于测量不确定度的标准差的先验信息时，这是不切实际的。因此，本文介绍了一种伽马分布精度参数和相关的标准差分布之间的转换方法。所提出的方法是基于数值优化，并显示出足够的结果，为广泛的场景。
2021-01-15 cs.LG stat.ME
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
PAC-Bayesian Theory Meets Bayesian Inference
INRIA Paris - École Normale Supérieure（法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院）；Google（谷歌）
我们表现出一个强有力的联系之间的频率PAC贝叶斯风险界和贝叶斯边际似然。也就是说，对于负对数似然损失函数，我们表明，PAC-Bayesian泛化风险界的最小化最大化贝叶斯边际似然。这为贝叶斯奥卡姆剃刀准则提供了另一种解释，假设数据是由i.i.d分布生成的。此外，由于负对数似然是一个无界的损失函数，我们激励和提出了一个PAC贝叶斯定理为子伽玛损失家庭，我们表明，我们的方法是健全的经典贝叶斯线性回归任务。
2017-02-13 cs.LG stat.ML
Correcting Predictions for Approximate Bayesian Inference
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）
贝叶斯模型量化不确定性，并促进下游应用的最佳决策。然而，对于大多数模型，从业者被迫使用近似推理技术，由于不正确的后验预测分布，导致次优决策。我们提出了一种新的方法，通过改变决策过程来纠正后验推理的不准确性。我们训练一个单独的模型，使最佳决策下的近似后验，结合可解释的贝叶斯建模与优化的直接预测精度的原则性的方式。该解决方案是一般适用于作为一个插件模块的预测决策的任意概率程序，无论后验推理策略。我们证明了经验的方法在几个问题，确认其潜力。
2019-09-11 cs.LG stat.ML
TensorBNN: Bayesian Inference for Neural Networks using Tensorflow
Davidson College（戴维森学院）；University of Maryland（马里兰大学）；Florida State University（佛罗里达州立大学）
TensorBNN是一个基于TensorFlow的新软件包，它为现代神经网络模型实现了贝叶斯推断。神经网络模型参数的后验密度表示为使用Hamilton Monte Carlo采样的点云。TensorBNN包利用了TensorFlow的架构和训练功能，以及在训练和预测阶段使用现代图形处理单元（GPU）的能力。
2022-07-11 cs.LG physics.comp-ph
Bayesian Inference Forgetting
University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）
被遗忘的权利在许多国家已经立法，但在机器学习中的执行将导致无法承受的成本：由于单个请求，公司可能需要删除从大量资源中学习的整个模型。现有的工作建议通过其影响函数，这不再是自然定义的贝叶斯推理从所请求的数据中删除的知识。提出了一种{ \it贝叶斯推理遗忘}（BIF）框架，实现贝叶斯推理中的被遗忘权。在BIF框架中，我们开发了变分推理和马尔可夫链蒙特卡罗的遗忘算法。我们表明，我们的算法可以证明消除单一数据的学习模型的影响。理论分析表明，我们的算法有保证的推广性。在合成数据集上的高斯混合模型和在真实数据集上的贝叶斯神经网络实验验证了该方法的可行性。源代码包可从\url{https://github.com/fshp971/BIF}获得。
2021-02-18 cs.AI cs.LG stat.ML
Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood
School of Mathematics and Statistics University of Melbourne（数学与统计学学院墨尔本大学）
本文提出了一种基于经验似然的贝叶斯推断方法，用于在有限样本条件下对多个上下文老虎机策略进行联合分析，实现了对策略比较的灵活推断和不确定性量化。
2026-02-11 cs.LG stat.ML
CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models
London School of Economics（伦敦政治经济学院）；JP Morgan Chase & Co.（摩根大通公司）
现有的多层贝叶斯非参数模型的变分推断方法由于均值场的设置，既不能刻画潜变量间的相关结构，又由于普遍截断，不能推断真实的后验维数。为了克服这些局限性，我们提出了条件和自适应截断变分推断方法（CATVI），通过最大化的非参数证据下限，并集成蒙特卡罗到变分推断框架。与传统方法相比，CATVI具有几个优点，包括变分后验和真后验之间的偏差较小，欠拟合或过拟合的风险降低，以及预测精度提高。在三个大型数据集上的实证研究表明，CATVI应用于贝叶斯非参数主题模型大大优于竞争模型，提供更低的困惑和更清晰的主题词聚类。
2022-04-05 cs.LG stat.ML
Bayesian Policy Gradients via Alpha Divergence Dropout Inference
McGill University（麦吉尔大学）
策略梯度方法在解决连续控制任务方面取得了巨大的成功，但此类问题的随机性使得确定性值估计变得困难。我们提出了一种方法，而不是估计分布拟合的价值函数与贝叶斯神经网络。我们优化了一个$α$发散目标与贝叶斯辍学近似学习和估计这个分布。我们表明，使用蒙特卡洛后验均值的贝叶斯价值函数分布，而不是一个确定性的网络，提高了稳定性和性能的策略梯度方法在连续控制MuJoCo模拟。
2017-12-06 cs.LG
Bayesian Bandit Algorithms with Approximate Inference in Stochastic Linear Bandits
Columbia University（哥伦比亚大学）；Morgan Stanley（摩根大通）
本文提出理论框架分析随机线性bandit中近似贝叶斯推断的影响，证明LinTS和LinBUCB保持原始遗憾速率但常数增大，且LinBUCB达到极小极大最优速率。
2025-05-22 cs.LG stat.ML
FeBiM: Efficient and Compact Bayesian Inference Engine Empowered with Ferroelectric In-Memory Computing
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与工程学院）；Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电机与电子工程系）；Center Nanoelectric Technologies, Fraunhofer IPMS（弗劳恩霍夫应用固体物理研究所纳米电子技术中心）；Electrical Engineering Department, University of Notre Dame（圣母大学电气工程系）
本文提出FeBiM，利用多位FeFET存内计算将量化对数概率映射到交叉阵列，以无需额外电路实现贝叶斯推理，并显著提升存储密度与能效。
2024-10-25 cs.ET cs.LG
Differentially Private Bayesian Inference for Exponential Families
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
私人推理的研究已经引发了对数据分析的日益关注，当它源于敏感的来源。我们提出了第一种方法，私人贝叶斯推断指数家庭，适当占噪声引入的隐私机制。它是有效的，因为它只适用于足够的统计数据，而不是个人数据。与其他方法不同，它在非渐近数据制度中给出了适当校准的后验信念。
2018-10-26 cs.CR cs.LG stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Subspace Inference for Bayesian Deep Learning
Cornell University（康奈尔大学）；Samsung AI Center in Moscow（三星莫斯科人工智能中心）；Higher School of Economics（高等经济学院）；Courant Institute and Center for Data Science, New York University（纽约大学库朗研究所与数据科学中心）
贝叶斯推理曾经是神经网络学习的黄金标准，提供准确的完整预测分布和良好校准的不确定性。然而，由于参数空间的高维性，将贝叶斯推理技术扩展到深度神经网络是具有挑战性的。在本文中，我们构造参数空间的低维子空间，如随机梯度下降（SGD）轨迹的第一主成分，其中包含不同的高性能模型集。在这些子空间中，我们能够应用椭圆切片采样和变分推理，这在全参数空间中是很困难的。我们表明，贝叶斯模型平均在这些子空间中的诱导后产生准确的预测和校准预测的不确定性回归和图像分类。
2019-07-17 cs.LG stat.ML
A Bayesian Tensor Factorization Model via Variational Inference for Link Prediction
本文提出基于变分贝叶斯推断的张量分解模型，用于解决链接预测问题，相比最大似然方法在大规模数据集上表现更优。
2014-09-29 cs.LG cs.NA math.NA
On the Differential Privacy of Bayesian Inference
The University of Melbourne（墨尔本大学）；Univ-Lille-3（里尔第三大学）；Chalmers University of Technology（查尔姆斯理工大学）
我们研究了如何将贝叶斯推理的结果传达给第三方，同时保持差分隐私的强有力保证。我们的主要贡献是概率图模型上的私有贝叶斯推理的四种不同算法。这些包括两种机制，用于将噪声添加到贝叶斯更新，或者直接添加到后验参数，或者添加到其傅立叶变换，以保持更新一致性。我们还利用最近推出的后验抽样机制，我们证明了离散贝叶斯网络的具体但一般情况下的界限，我们引入了最大后验私有机制。我们的分析包括效用和隐私边界，一个新的重点是图结构对隐私的影响。工作的例子和实验与贝叶斯朴素贝叶斯和贝叶斯线性回归说明我们的机制的应用。
2015-12-22 cs.AI cs.CR cs.LG
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal（蒙特利尔理工学院）
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理（TAGI）的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性，并且对回归和分类基准进行的测试证实，对于相同的网络架构，它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
Neural Architectures for Amortized Bayesian Inference: Statistical Foundations and Empirical Assessments
Department of Mathematics and Statistics, Indian Institute of Technology Kanpur（数学与统计学系，印度理工学院坎浦尔分校）；Marshall School of Business, University of Southern California（马歇尔商学院，南加州大学）
探讨用于摊销贝叶斯推理的神经架构，从统计角度分析前馈网络等架构如何支持摊销推理，通过模拟研究评估其在不同场景下的表现，展现其优势与局限。
2026-07-17 cs.LG stat.CO stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Sequential Cooperative Bayesian Inference
Rutgers University（罗格斯大学）
在向其他代理人学习时，合作往往是隐含的假设。合作意味着选择数据的主体和从数据中学习的主体具有相同的目标，即学习者推断预期的假设。人类和机器学习的最新模型已经证明了合作的可能性。我们通过序列数据寻求贝叶斯代理合作推理的基础理论结果。我们开发了新的方法分析的一致性，收敛速度和稳定性的顺序合作贝叶斯推理（SCBI）。我们的有效性，样本效率和鲁棒性的分析表明，合作不仅是可能的，在特定的情况下，但在理论上是有根据的一般。我们讨论了人与人和人机合作的影响。
2020-07-01 cs.LG cs.MA stat.ML
Approximate Bayesian Inference in Linear State Space Models for Intermittent Demand Forecasting at Scale
Amazon Development Center, Germany（亚马逊开发中心（德国））
针对线性状态空间模型，提出了一种可扩展的鲁棒贝叶斯推断方法.该方法被应用到需求预测的背景下，一个大型电子商务平台，特别注意间歇性和突发性的目标统计。推理近似的牛顿-拉夫森算法，减少到线性时间卡尔曼平滑，这使我们能够操作几个数量级以上的问题比以前的相关工作。在对大型真实世界销售数据集的研究中，我们的方法在快速和中等移动项目上优于竞争方法。
2017-09-22 cs.LG stat.ML
Empirical Bayes for Dynamic Bayesian Networks Using Generalized Variational Inference
本文提出结合广义变分推断的经验贝叶斯方法，从结构与权重点估计构建数据驱动先验，以学习可量化DAG结构及参数后验不确定性的动态贝叶斯网络。
2024-06-28 cs.LG math.ST stat.TH
Amortized Bayesian inference for clustering models
Columbia University（哥伦比亚大学）
我们开发了有效的摊销近似贝叶斯推断的概率聚类模型，如狄利克雷过程混合模型的后验分布的方法。该方法是基于映射到条件概率的集群安排的分布式，不变性表示。该方法易于并行化，从聚类分配的近似后验中产生iid样本，具有与单个Gibbs采样器扫描相同的计算成本，并且可以容易地应用于共轭和非共轭模型，因为训练仅需要来自生成模型的样本。
2018-11-24 cs.LG stat.CO stat.ML
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院威康人类神经影像中心）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
主动推理是自由能原理的一个推论，是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中，我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则，在一个单一的命令，以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时，主动推理简化为最优贝叶斯设计，即，信息增益最大化相反，在没有歧义和相对风险的情况下，主动推理简化为贝叶斯决策理论，即，期望效用最大化使用这些限制的情况下，我们说明了如何不同的行为时，代理选择的行动，优化预期的效用，预期的信息增益，和预期的自由能。我们的T型迷宫模拟表明，优化预期的自由能产生目标导向的信息寻求行为，而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Vector Quantized Bayesian Neural Network Inference for Data Streams
Yonsei University（延世大学）
贝叶斯神经网络（BNN）可以估计预测中的不确定性，而非贝叶斯神经网络（NN）。然而，BNN在实践中的应用远不如非贝叶斯NN广泛，因为它们需要迭代NN执行来预测一个数据的结果，并且它会产生令人望而却步的计算成本。这种计算负担是处理低延迟数据流时的一个关键问题。为了解决这个问题，我们提出了一种新的模型VQ-BNN，它近似于数据流的BNN推理。为了减少计算负担，VQ-BNN推理仅预测NN一次，并使用先前记忆的预测结果进行补偿。具体来说，VQ-BNN的数据流推理是通过最近预测的时间指数平滑来给出的。该模型的计算成本与非贝叶斯神经网络的计算成本几乎相同。包括对真实数据的语义分割在内的实验表明，该模型的执行速度明显快于BNN，同时估计的预测结果与BNN的结果相当或更好。
2021-01-25 cs.CV cs.LG stat.ML
Low-pass filtering as Bayesian inference
Universidad de Chile（智利大学）
我们提出了一种贝叶斯非参数低通滤波方法，可以自然地处理不均匀采样和噪声损坏的意见。该模型被构造为时间序列的潜在因素模型，其中潜在因素是具有非重叠谱的高斯过程。通过这种构造，时间序列的低通版本可以被识别为低频潜在分量，因此可以通过贝叶斯推断来找到它。我们表明，该模型承认精确的训练，可以实现最小的数值逼近。最后，该模型对标准的线性滤波器合成和真实世界的时间序列进行验证。
2019-02-09 cs.LG eess.SP stat.ML
Concentration of the matrix-valued minimum mean-square error in optimal Bayesian inference
The Abdus Salam International Center for Theoretical Physics（阿卜杜勒·萨拉姆国际理论物理中心）
我们考虑贝叶斯推断的信号与向量值的条目。从自旋玻璃的数学物理扩展浓度技术，我们表明，矩阵值的最小均方误差集中时，问题的大小增加。这样的结果往往是至关重要的证明单字母公式的互信息时，他们存在。我们的证明在最优贝叶斯推理设置中是有效的，这意味着它依赖于模型及其所有超参数已知的假设。我们的研究结果所涵盖的推理和学习问题的例子是尖峰矩阵和张量模型，委员会机神经网络在教师-学生的情况下，或多层广义线性模型的隐藏神经元很少。
2019-07-15 cs.IT cs.LG eess.SP
Bayesian Learning for Dynamic Inference
传统的统计推断是静态的，在这个意义上，对感兴趣的数量的估计不影响数量的未来演变。然而，在某些序贯估计问题中，待估计量的未来值取决于其当前值的估计。这种类型的估计问题已被公式化为动态推理问题。在这项工作中，我们制定了动态推理的贝叶斯学习问题，其中的未知量生成模型被假定为随机绘制根据一个随机的模型参数。我们推导出最佳的贝叶斯学习规则，离线和在线，以尽量减少推理损失。此外，动态推理的学习可以作为一个Meta问题，这样所有熟悉的机器学习问题，包括监督学习，模仿学习和强化学习，可以作为其特殊情况或变体。因此，对这个统一Meta问题有了很好的理解，也就揭示了广泛的机器学习问题。
2022-12-30 cs.AI cs.LG math.OC
An Introduction to Bayesian and Frequentist Simulation-Based Inference with Machine Learning
介绍基于机器学习的模拟推理，概述贝叶斯和频率主义统计框架，阐述相关SBI方法用于参数估计及经验贝叶斯或展开任务，探讨推理结果验证及该方法局限性。
2026-08-24 astro-ph.CO astro-ph.GA cs.LG
