Functional Space Variational Inference for Uncertainty Estimation in Computer Aided Diagnosis
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
深度神经网络彻底改变了医学图像分析和疾病诊断。尽管它们的性能令人印象深刻，但很难为这些网络生成校准良好的概率输出，这使得它们成为不可解释的黑匣子。贝叶斯神经网络提供了一种用于对不确定性进行建模并提高患者安全性的原则性方法，但是它们具有较大的计算开销并且在校准中提供有限的改进。在这项工作中，通过以皮肤病变分类为例的任务，我们表明，通过将贝叶斯推理转移到功能空间，我们可以制作有意义的先验，以更低的计算成本提供更好的校准不确定性估计。
2020-05-28 cs.AI cs.LG stat.ML
Variational Bayes algorithm and posterior consistency of Ising model parameter estimation
伊辛模型起源于统计物理学，广泛应用于空间数据建模和计算机视觉问题。然而，该模型的统计推断仍然具有挑战性，由于棘手的性质的归一化常数的可能性。在这里，我们使用伪似然，而不是研究贝叶斯估计的两个参数，逆温度，磁化，伊辛模型与一个完全指定的耦合矩阵。我们开发了一个计算效率高的变分贝叶斯模型估计过程。在高斯平均场变分族下，我们得到了伪似然变分后验的后验收缩率。我们还讨论了伪似然方法的损失，由于变后验超过真正的后验。广泛的模拟研究验证了平均场高斯和双变量高斯家庭的伊辛模型参数的推断变分家庭的可能选择的功效。
2021-09-03 math.ST stat.ME stat.TH
Variational Inference with Parameter Learning Applied to Vehicle Trajectory Estimation
我们在高斯变分推理设置中仅使用噪声测量（即，没有地面实况）。这是在车辆轨迹估计的背景下证明，虽然我们提出的方法是通用的。本文扩展了精确稀疏高斯变分推理（ESGVI）的框架，这是以前被用于大规模的非线性批量状态估计。我们的贡献是在ESGVI框架内额外学习我们的系统模型的参数（在实践中可能很难选择）。在本文中，我们学习车辆轨迹估计中使用的运动和传感器模型的协方差。具体来说，我们学习白噪声加速度运动模型的参数和我们的传感器模型的测量协方差的逆Wishart先验的参数。我们使用一个36公里的数据集来演示我们的技术，该数据集由一辆使用激光雷达的汽车组成，该汽车使用激光雷达对高清地图进行定位;我们在数据的训练部分学习参数，然后表明我们在测试部分实现了高质量的状态估计，即使存在离群值。最后，我们证明了我们的框架可以用来解决姿势图优化，即使有许多假循环关闭。
2020-07-10 cs.RO stat.ML
Efficient Online Variational Estimation via Monte Carlo Sampling
Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎理工学院）；Université Bretagne Sud, UMR CNRS 6205, LMBA（南布列塔尼大学，法国国家科学研究中心联合研究单位6205，数学与建模实验室）；Sorbonne Université, Université Paris Cité, CNRS, Laboratoire de Probabilités, Statistique et Modélisation, LPSM（索邦大学，巴黎西岱大学，法国国家科学研究中心，概率、统计与建模实验室）
本文提出了一种基于蒙特卡洛采样的高效在线变分估计方法，用于参数状态空间模型中证据下界和梯度的高效计算。
2026-02-06 stat.ME stat.ML
Gaussian Variational Inference with Non-Gaussian Factors for State Estimation: A UWB Localization Case Study
Department of Mechanical Engineering, McGill University（机械工程系，麦吉尔大学）；Department of Electri（电子系）
本文提出了一种适用于UWB定位的改进高斯变分推断方法，通过扩展至矩阵李群和引入非高斯因素，提升状态估计的精度和鲁棒性。
2026-01-26 cs.RO stat.ML
A Note on Improving Variational Estimation for Multidimensional Item Response Theory
针对MIRT验证性估计中GVEM对区分度参数的偏差，本文提出重要性加权IW-GVEM并结合自适应矩估计自动调整学习率，模拟表明其能以适度计算开销有效纠偏。
2023-10-18 stat.ME
Variational Inference Aided Estimation of Time Varying Channels
改进时变信道的估计的单向式方法之一是结合先前观测的知识。在这种背景下，动态VAE（DVAE）构建了一个很有前途的深度学习（DL）框架，非常适合学习时间序列数据的分布。我们引入了一个新的DVAE架构，称为k-MemoryMarkovVAE（k-MMVAE），其稀疏性可以通过一个额外的内存参数控制。根据[1]中的方法，我们导出了一个k-MMVAE辅助信道估计器，该估计器考虑了连续观测值的时间相关性。结果在模拟信道上进行了评估，结果表明，k-MMVAE辅助信道估计器明显优于其他机器学习（ML）辅助估计器，这些估计器要么是无记忆的，要么是天真地扩展到时变信道，没有重大的适应。
2022-11-03 cs.IT eess.SP math.IT
Approximate Variational Estimation for a Model of Network Formation
我们开发了指数随机图模型（ERGMs）的近似估计方法，其可能性与一个棘手的归一化常数成正比。通常的方法近似这个常数与蒙特卡罗模拟，但收敛可能是指数缓慢。我们提出了一种确定性的方法，基于ERGM的归一化常数的变分平均场近似。我们计算任何网络大小的近似误差的上下界，适应非线性大偏差的结果。这转化为真实似然和平均场似然之间距离的界限。蒙特卡罗模拟表明，在实践中，我们的确定性方法比我们的保守的理论近似界限暗示，为一大类模型。
2020-05-09 stat.ME stat.OT
Fast joint detection-estimation of evoked brain activity in event-related fMRI using a variational approach
在标准的事件相关fMRI数据的临床受试者内分析中，通常分别执行两个步骤：检测大脑活动和估计血流动力学反应。由于这两个步骤是内在联系的，我们采用了所谓的基于区域的联合检测估计（JDE）框架，使用多变量推理检测和估计来解决这个联合问题。JDE是通过使用BOLD响应的区域双线性生成模型和约束的参数估计的生理先验使用时间和空间信息的马尔可夫模型。与以前的作品，使用马尔可夫链蒙特卡罗（MCMC）技术来近似得到的棘手的后验分布，我们重铸的JDE到一个缺失数据框架，并推导出一个变分期望最大化（VEM）算法的推理。变分近似是用来近似马尔可夫模型的无监督空间自适应JDE推理，它允许精细的自动调整空间正则化参数。它遵循一个新的算法，表现出有趣的属性相比，以前使用的基于MCMC的方法。人工和真实数据上的实验表明，VEM-JDE对模型错误指定具有鲁棒性，并提供计算增益，同时在激活检测和血流动力学形状恢复方面保持良好的性能。
2012-02-07 stat.AP
Quantum Speedup of Natural Gradient for Variational Bayes
变分贝叶斯（VB）是机器学习和统计学中的一种关键方法，是贝叶斯深度学习最近成功的基础。自然梯度是有效的VB估计的重要组成部分，但它在高维中的计算成本过高。我们提出了一种计算效率高的基于回归的自然梯度估计方法，在标准假设下的收敛保证。该方法使量子矩阵求逆的使用，以进一步加快VB。我们证明了问题设置满足量子矩阵求逆提供计算效率所需的条件。该方法适用于广泛的统计模型，不需要特殊用途或简化的变分分布。
2022-06-21 quant-ph stat.CO stat.ML
Uncertainty-Aware Ideal Point Estimation via Variational EM with Pólya-Gamma identity
Inha University（仁荷大学）；Seoul National University（首尔大学）；University of Texas at Arlington（阿灵顿得克萨斯大学）
本文提出了一种计算高效的方法来估计立法者理想点及其标准误差，利用变分EM算法和变分Louis方法来近似观测Fisher信息，以提高大样本数据下的计算效率和估计精度。
2026-10-05 stat.ME
Variational System Identification for Nonlinear State-Space Models
University of Newcastle（纽卡斯尔大学）；Uppsala University（乌普萨拉大学）
非线性状态空间模型的参数估计是一个重要而又具有挑战性的问题。我们通过采用变分推断（VI）方法来解决这一挑战，这是一种与极大似然估计有着深刻联系的原则性方法。这种VI方法最终提供了模型的估计作为优化问题的解决方案，这是确定性的，易于处理的，可以使用标准的优化工具来解决。这种方法的加性高斯噪声系统的专业化也进行了详细说明。所提出的方法进行了数值研究的范围内的模拟和真实的例子集中在参数初始化的鲁棒性;此外，有利的比较对国家的最先进的替代品。
2022-09-14 cs.LG cs.SY eess.SY
Laplace-aided variational inference for differential equation models
常微分方程模型的回归曲线是某些常微分方程的解曲线的集合，这对参数估计提出了挑战。由于经常缺乏解析解和复杂的似然曲面，这一挑战往往更加严重，特别是对于具有许多参数和变量的大型模型。Yang和Lee（2021）提出了一种用于ODE的变分贝叶斯（SSVB）状态空间模型，能够在较大的ODE模型中进行快速和稳定的估计。该方法在参数估计方面表现出了良好的性能，但存在低估后验协方差的缺点，这一缺点源于平均场变分法。本文提出了一种利用拉普拉斯近似来克服这一缺点的方法。在数值实验中，拉普拉斯近似修改的协方差显示出高度的改善时，检查对标准的马尔可夫链蒙特卡罗方法获得的协方差。通过改进协方差估计，SSVB提供了相当准确的后验近似。
2021-08-10 stat.CO
Fast and Accurate Estimation of Non-Nested Binomial Hierarchical Models Using Variational Inference
非线性层次模型在许多学科中都有广泛的应用。然而，在存在非嵌套效应和大型数据集的情况下进行推断是具有挑战性的，并且计算负担沉重。本文提供了两个贡献的可扩展性和准确的推理。首先，我推导了一个新的均值场变分算法，用于估计具有任意数量非嵌套随机效应的二项logistic分层模型。其次，我提出了“边际增强变分贝叶斯”（MAVB），通过贝叶斯后处理的步骤，进一步提高了初始近似。我证明了MAVB提供了一个保证改善的近似质量在低计算成本，并诱导依赖关系，假设由初始因式分解的假设。我运用这些技术的选民行为的研究，使用高维应用程序的流行的方法，多层次回归和后分层（MRP）。现有的估计需要几个小时，而提出的算法在几分钟内运行。即使在强因子分解假设下，后验均值也能很好地恢复。应用MAVB通过部分校正低估的方差进一步改进了近似。所提出的方法是在一个开放源码软件包中实现的。
2021-10-20 stat.ME
Variational Inference of Dynamic Factor Models with Arbitrary Missing Data
动态因子模型通常采用点估计方法进行估计，而不考虑参数的不确定性。我们提出了一种方法占参数的不确定性，通过后验近似，使用变分推断。我们的方法允许任何任意模式的缺失数据，包括不同的样本量和混合频率。它还产生了一个简单的估计算法没有耗时的仿真技术。在使用小型和大型模型的经验示例中，我们将我们的方法与MCMC模拟的全贝叶斯估计进行了比较。一般来说，近似捕捉因子的功能和参数，具有巨大的计算增益。由此产生的预测分布近似到一个非常高的精度，几乎无法区分MCMC无论是在样本内外，在一小部分的计算时间。
2022-10-13 stat.AP stat.CO stat.ME
Variational inference of the drift function for stochastic differential equations driven by Lévy processes
本文考虑了由$α$ -稳定Lévy运动驱动的随机微分方程漂移函数的非参数估计问题。首先，优化了具有不同漂移函数的两个随机微分方程的路径概率之间的Kullback-Leibler分歧。利用拉格朗日乘子，构造了基于定态Fokker-Planck方程的变分公式。然后结合数据信息，用经验分布代替平稳密度，从过程的角度对漂移函数进行非参数估计。在数值试验中，对不同数据量和不同$α$值进行了研究。实验结果表明，漂移函数的估计结果与两者有关。当数据量增加时，估计结果将更好，并且当$α$值增加时，估计结果也更好。
2021-03-28 math.ST stat.TH
Scalable Bayesian Approach for the DINA Q-matrix Estimation Combining Stochastic Optimization and Variational Inference
针对 DINA 模型中大规模 Q矩阵估计难题，提出融合随机优化与变分推断的可扩展贝叶斯框架，以最大化边际似然，并验证其高速、准确且稳健。
2022-09-27 stat.CO
Seemingly Unrelated Regression with Measurement Error: Estimation via Markov chain Monte Carlo and Mean Field Variational Bayes Approximation
在协变量中具有测量误差的线性回归是一个被大量研究的主题，然而，统计学/计量经济学文献几乎是沉默的估计一个多方程模型与测量误差。本文研究了协变量中含有测量误差的相依回归模型，介绍了两种新的估计方法：基于马尔可夫链蒙特卡罗技术的纯贝叶斯算法及其均值场变分贝叶斯（MFVB）近似. MFVB方法具有计算速度快的额外优势，可以处理大数据。与测量误差模型相关的问题是参数识别，并且这通过采用关于测量误差方差的先验分布来解决。该方法在多个模拟研究中表现良好，我们分析了由于数据生成过程中使用的真实未观测量的可靠性比或方差的不同值对后验估计的影响。本文进一步实现了所提出的算法在健康文献中的应用程序，并表明，建模数据中的测量误差可以提高模型拟合。
2020-06-12 econ.EM stat.ME
Variational Regularized Bilevel Estimation for Exponential Random Graph Models
University of Washington（华盛顿大学）
本文提出了一种变分正则化双层估计方法，用于改进指数随机图模型中三角形参数的估计精度，通过非渐近收敛分析和蒙特卡罗实验验证了其有效性。
2025-12-08 econ.EM stat.CO
Scalable Estimation for Structured Additive Distributional Regression Through Variational Inference
针对结构化加性分布回归模型估计复杂且成本高的问题，提出基于变分推断的快速可扩展方法，结合参数近似与精确条件后验，采用随机梯度上升优化，并通过退火增强鲁棒性，在模拟和真实数据中验证了准确性与效率。
2023-11-13 stat.ME
Variational Determinant Estimation with Spherical Normalizing Flows
University of Amsterdam（阿姆斯特丹大学）
本文介绍了变分行列式估计（VDE），最近提出的行列式估计发现arXiv：2005.06553v2的变分扩展。我们的估计显着降低了方差，即使是低样本量相结合（重要性加权）变分推理和家庭的归一化流，允许密度估计超球体。在紧变分界的理想情况下，VDE成为零方差估计量，并且单个样本足以进行精确（对数）行列式估计。
2021-01-08 cs.LG stat.ML
Improving Variational Autoencoder Estimation from Incomplete Data with Mixture Variational Families
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
针对不完整数据下VAE估计中后验复杂度增加的问题，提出基于有限变分混合和插补变分混合的两种策略，并通过实验证明其能有效提升估计准确性。
2024-06-27 cs.LG stat.ML
Variational Noise-Contrastive Estimation
School of Informatics University of Edinburgh（爱丁堡大学信息学院）；University of Edinburgh（爱丁堡大学）
非标准化潜变量模型是一类广泛而灵活的统计模型。然而，从数据中学习它们的参数是棘手的，并且目前很少有估计技术可用于此类模型。为了增加我们的武器库中的技术数量，我们提出了变分噪声对比估计（VNCE），建立在NCE的基础上，NCE是一种仅适用于非归一化模型的方法。其核心思想是使用一个变分下界的NCE目标函数，它可以优化的证据下界（ELBO）在标准变分推断（VI）相同的方式。我们证明了VNCE既可以用于非正态化模型的参数估计，也可以用于潜变量的后验推断。开发的理论表明，VNCE具有与标准VI相同的通用性水平，这意味着在那里取得的进展可以直接导入非标准化设置。我们验证VNCE玩具模型，并将其应用到一个现实的问题，估计一个无向图形模型不完整的数据。
2019-02-24 cs.LG stat.ML
Detecting Out-of-distribution Samples via Variational Auto-encoder with Reliable Uncertainty Estimation
Southern University of Science and Technology（南方科技大学）；Chongqing Jiaotong University（重庆交通大学）；Tsinghua University（清华大学）；China Automotive Engineering Research Institute（中国汽车工程研究院股份有限公司）；Dalian University of Technology（大连理工大学）；Zhejiang University（浙江大学）
变分自编码器（Variational autoencoder，VAE）是一种基于深度神经网络结构和贝叶斯方法的具有丰富表示能力的生成模型。然而，VAE模型有一个弱点，即分配更高的可能性外的分布（OOD）的输入比分布（ID）的输入。为了解决这个问题，一个可靠的不确定性估计被认为是深入了解面向对象设计输入的关键。在这项研究中，我们提出了一种改进的噪声对比先验（INCP），能够集成到编码器的VAE，称为INCPVAE。INCP具有可扩展性、可训练性和与VAE的兼容性，并且在不确定性估计中吸收了INCP的优点。在不同数据集上的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面具有优势，并且在异常检测任务中具有鲁棒性。INCPVAE模型获得了OOD输入的可靠的不确定性估计，解决了VAE模型中的OOD问题。
2021-11-01 cs.LG stat.ML
Variational Temporal Deconfounder for Individualized Treatment Effect Estimation from Longitudinal Observational Data
University of Florida（佛罗里达大学）
由于混杂偏倚的复杂情况，使用观察性数据估计处理效应，特别是个体化处理效应（ITE）具有挑战性。现有的从纵向观察数据估计处理效应的方法通常是建立在“不混淆”的强假设之上的，这在现实世界的实践中很难实现。在本文中，我们提出了变分时间解码器（VTD），这是一种使用代理（即，用于不可观察变量的替代变量）。具体来说，VTD利用观察到的代理来学习隐藏的嵌入，以反映观察数据中真正的隐藏混杂因素。因此，我们的VTD方法不依赖于“不混淆”的假设。我们在合成和真实世界的临床数据上测试了我们的VTD方法，结果表明，与其他现有模型相比，当隐藏混杂是主要偏倚时，我们的方法是有效的。
2022-07-23 cs.LG stat.ML
Estimation of Dimensions Contributing to Detected Anomalies with Variational Autoencoders
NTT Network Technology Laboratories, NTT Corporation（NTT公司NTT网络技术实验室）；Faculty of Natural Sciences, International Christian University（国际基督教大学自然科学学院）
利用降维进行异常检测已成为监测多维数据的重要技术。尽管基于深度学习的方法因其出色的检测性能而得到了很好的研究，但其可解释性仍然是一个问题。在本文中，我们提出了一种新的算法估计的尺寸有助于检测到的异常，通过使用变分自动编码器（VAE）。我们的算法是基于一个近似的概率模型，考虑数据中存在的异常，并通过最大化对数似然，我们估计哪些维度有助于确定数据为异常。在基准数据集上的实验结果表明，该算法比基线方法更准确地提取出贡献维度。
2018-12-21 cs.LG stat.ML
Variational methods for simulation-based inference
University of Tübingen（图宾根大学）
我们提出了顺序神经变分推断（SNVI），一种在具有难以处理的可能性的模型中执行贝叶斯推断的方法。SNVI将似然估计（或似然比估计）与变分推断相结合，以实现基于可扩展仿真的推理方法。SNVI保持了似然（-比）估计的灵活性，允许任意的模拟建议，同时提供了一个功能估计的后验分布，而不需要MCMC采样。我们提出了几个变种的SNVI，并证明他们是更大的计算效率比以前的算法，没有损失的准确性基准任务。我们将SNVI应用于螃蟹幽门网络的神经科学模型，并证明它可以推断出后验分布，比以前报道的模拟少一个数量级。SNVI极大地降低了基于仿真的推理的计算成本，同时保持了准确性和灵活性，使得解决以前无法解决的问题成为可能。
2022-10-19 cs.LG stat.ML
Variational Approximated Restricted Maximum Likelihood Estimation for Spatial Data
Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出变分受限最大似然估计方法，用于高效估计空间数据中的随机效应和方差成分，理论证明了ELBO的单调收敛性，并通过实验证明其优于MLE和INLA。
2026-08-05 cs.LG stat.AP stat.ML
Variational Gibbs Inference for Statistical Model Estimation from Incomplete Data
University of Edinburgh（爱丁堡大学）
针对不完整数据导致标准变分推断需处理指数级条件分布的问题，本文提出通用的变分 Gibbs 推断（VGI），并在合成与真实任务上验证其可有效估计 VAE 和归一化流，性能媲美或超过专用方法。
2023-08-15 cs.LG stat.ME stat.ML
Uncertainty Estimations by Softplus normalization in Bayesian Convolutional Neural Networks with Variational Inference
TU Kaiserslautern（凯泽斯劳滕工业大学）；MindGarage；Imperial College London（帝国理工学院）；NeuralSpace；Luleå University of Technology（吕勒奥理工大学）
我们介绍了一种新的不确定性估计贝叶斯卷积神经网络与变分推理的分类任务。通过在最后一层对Softplus函数的输出进行归一化，我们以连贯的方式估计任意和认知的不确定性。权重的后验概率分布由Bayes by Backprop推断。首先，我们展示了这种可靠的变分推理方法可以作为各种网络架构的基本构造。在监督学习设置（MNIST，CIFAR-10，CIFAR-100）的多个数据集上，这种变分推理方法在相同的体系结构中实现了与频率论推理相当的性能，而两个必要的，不确定性和正则化的度量自然地结合在一起。其次，我们研究了我们提出的任意性和认知不确定性的度量是如何推导出来的，并在上述数据集上进行了验证。
2019-05-14 cs.CV cs.LG cs.NE
Variational Approach for Efficient KL Divergence Estimation in Dirichlet Mixture Models
LMU Munich（慕尼黑大学）
提出变分闭式解高效估计狄利克雷混合模型中的KL散度，显著提升计算效率与准确性，优于蒙特卡洛方法，促进组合数据聚类分析。
2024-03-18 cs.LG math.ST stat.ML
Optimizing Variational Representations of Divergences and Accelerating their Statistical Estimation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Foundation for Research and Technology, Hellas（希腊研究与技术基金会）
高维概率分布之间的分歧和距离的变分表示在许多研究领域提供了重要的理论见解和实践优势。最近，它们作为一种用于训练概率模型和统计区分数据分布的易于处理且可扩展的方法在机器学习中受到欢迎。它们的优点包括：1）它们可以从数据中估计为统计平均值。2)这样的表示可以利用神经网络的能力来有效地近似函数空间中的最优解。然而，目前缺乏一种系统和实用的方法来提高这种变分公式的紧密性，并因此加速从数据中进行统计学习和估计。在这里，我们开发了这样一种方法，建立新的，更紧密的变分表示的分歧。我们的方法依赖于通过辅助优化问题构造的改进的目标泛函。此外，目标泛函的泛函海森的计算揭示了共同的最优变分解周围的局部曲率差异;这量化和排序了不同变分表示之间的紧密性增益。最后，利用神经网络优化的数值模拟表明，更紧密的表示可以在合成和真实数据集（超过1000个维度）中显著更快地学习和更准确地估计分歧，通常加速近一个数量级。
2022-03-23 cs.IT cs.LG math.IT
Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows
University of Stuttgart（斯图加特大学）
最先进的人工智能的一个主要缺点是缺乏可解释性。解决这个问题的一种方法是考虑因果关系。因果机制可以用结构因果模型来描述。在这项工作中，我们提出了一种方法来估计双变量结构因果模型使用的组合的归一化流应用于密度估计和变分高斯过程回归后非线性模型。它有助于因果关系的发现，即通过原因和残差的独立性或似然比检验来区分因果关系。我们的方法估计后非线性模型可以更好地解释各种现实世界的因果对比一个简单的加性噪声模型。虽然它仍然很难利用这一优势，从蒂宾根基准数据库的所有对，我们证明了加性噪声模型的方法与我们的方法相结合，显着提高因果关系的发现。
2021-09-06 cs.AI cs.LG stat.ML
Variational Inference as Iterative Projection in a Bayesian Hilbert Space with Application to Robotic State Estimation
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
变分贝叶斯推理是一种重要的机器学习工具，从统计学到机器人技术都有应用。我们的目标是找到一个近似的概率密度函数（PDF）从一个选定的家庭，在某种意义上是“最接近”的完整的贝叶斯后验。接近度通常通过选择适当的损失函数来定义，例如Kullback-Leibler（KL）散度。在本文中，我们探索了一个新的变分推理公式，利用这一事实，即（大多数）PDF是贝叶斯希尔伯特空间的成员下仔细定义的向量加法，标量乘法和内积。我们表明，在适当的条件下，基于KL发散的变分推理可以相当于迭代投影，在欧几里得意义上，贝叶斯后验到对应于所选近似族的子空间上。我们的工作通过高斯近似家庭的具体情况下，这个一般框架的细节，并显示等价于另一个高斯变分推理方法。我们还讨论了系统表现出稀疏性，这是自然的贝叶斯空间中处理的影响，并给出了一个高维机器人状态估计问题，可以处理的结果的例子。我们提供了一些初步的例子，该方法可以应用于非高斯推理，并详细讨论了该方法的局限性，以鼓励沿着这些路线的后续工作。
2022-09-26 cs.LG cs.RO stat.ML
State estimations and noise identifications with intermittent corrupted observations via Bayesian variational inference
School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院）；Key Laboratory of Mathematics, Informatics and Behavioral Semantics (LMIB), Beihang University（北京航空航天大学数学、信息与行为语义重点实验室（LMIB））
本文提出了一种基于贝叶斯变分推断的变分贝叶斯自适应卡尔曼滤波方法，用于解决分布式传感器网络中间歇性数据丢失、观测损坏和未知噪声协方差的问题，通过双掩码生成模型提升状态估计和参数识别的准确性。
2026-04-03 cs.LG math.OC stat.CO
Variational Representations and Neural Network Estimation of Rényi Divergences
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
我们导出了概率测度$Q$和$P$之间的Rényi族分歧$R_α(Q\|P)$的一个新的变分公式。我们的结果推广了经典的关于库尔贝克-莱布勒散度的Donsker-Varadhan变分公式.我们进一步表明，这个雷尼变分公式在一系列函数空间上成立;这导致在非常弱的假设下的优化公式，也是我们发展雷尼发散估计的一致性理论的关键。通过将这一理论应用于神经网络估计，我们证明了如果一个神经网络族满足几个加强版本的泛逼近性质之一，那么相应的Rényi散度估计是一致的。与基于密度估计的方法相比，我们的估计只涉及$Q$和$P$下的期望，因此在高维系统中更有效。我们说明了这一点，通过几个数值的例子，神经网络估计系统的尺寸高达5000。
2021-07-20 cs.IT cs.LG math.IT
Leveraging Variational Autoencoders for Parameterized MMSE Estimation
本文提出基于变分自编码器的框架参数化条件线性MMSE估计器，通过将数据分布建模为条件高斯分布生成先验以近似MMSE估计器，设计了三种变体，严格分析了误差界限与偏差-方差权衡，并在信道估计等数值模拟中展现出优于SOTA的性能。
2024-08-21 cs.IT eess.SP math.IT
Differentially Private Normalizing Flows for Density Estimation, Data Synthesis, and Variational Inference with Application to Electronic Health Records
University of Notre Dame（圣母大学）
电子健康记录（EHR）通常包含关于个体患者的敏感医疗信息，这对共享或发布EHR数据以用于下游学习和推理任务造成了重大限制。我们使用规范化流（NF），一系列深度生成模型，来估计具有差分隐私（DP）保证的数据集的概率密度，从中生成隐私保护合成数据。我们将该技术应用于包含肺动脉高压患者的EHR数据集。我们通过比较基于物理模型的参数的高血压状态和变后验分布的预测准确性来评估合成数据的学习和推理效用。此外，我们使用一个模拟的数据集从非线性模型比较的结果变分推断（VI）的基础上的隐私保护的合成数据，和隐私保护的VI直接私有化NF的VI与DP保证给定的原始非私有数据集。结果表明，合成数据产生的差异私人密度估计与NF可以产生良好的效用在一个合理的隐私成本。我们还表明，VI从差分私人NF的自由能约束损失的基础上获得的可能会产生变分近似显着改变的相关结构，和两个分布之间的替代相异性度量的基础上的损失配方可能会提供改进的结果。
2023-02-11 cs.CR cs.LG stat.AP
Variational Imbalanced Regression: Fair Uncertainty Quantification via Probabilistic Smoothing
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文提出变分不平衡回归（VIR）模型，通过借用相似标签数据计算潜在表示的变分分布并预测整个正态逆伽马分布分布进行实现概率重加权，在准确性和不确定性性估计上优于现有不平衡回归模型。
2024-11-10 cs.CV cs.LG cs.NE
Quickest Change-point Detection in Generalized Linear Models with Variational Estimation
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（乔治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学校）
针对广义线性模型变后参数未知的最快变点检测问题，提出窗口受限的CUSUM程序，采用变分不等式估计，经理论分析和数值实验验证其检测性能与最优性。
2026-10-14 stat.ME stat.ML
A Variational Approximations-DIC Rubric for Parameter Estimation and Mixture Model Selection Within a Family Setting
基于混合模型的聚类自五十多年前引入以来已成为一种越来越受欢迎的数据分析技术，并且现在通常在家庭环境中使用。混合模型的族出现时的组件参数，通常是组件的协方差（或规模）矩阵，被分解，并施加了一些约束。在族设置内，模型选择涉及选择族的成员，即，适当的协方差结构，以及混合成分的数量。目前，贝叶斯信息准则（BIC）已被证明是最有效的模型选择，而期望最大化（EM）算法通常用于参数估计。事实上，这个EM-BIC规则几乎垄断了混合模型族的文献。偏离这个标题，变分贝叶斯近似的参数估计和偏差信息准则的模型选择。变分贝叶斯方法提供了一个替代的框架参数估计，通过构建一个严格的下限上的复杂的边际似然和最大限度地提高这一下限最小化相关的库尔贝克-莱布勒散度。这种方法是采取最常用的家庭的高斯混合模型，真实和模拟数据被用来比较新的方法的EM-BIC规则。
2019-11-06 stat.CO stat.ME stat.ML
Regularized Variational and Spectral Log-Density-Ratio Estimation in the Gaussian Location Model
研究高斯位置模型下岭正则化对数密度比估计，通过变分与谱方法推导高维渐近等价，比较两者风险并分析核范数惩罚的特征学习。
2026-07-03 cs.LG math.OC math.ST
Variational Bayes Estimation of Discrete-Margined Copula Models with Application to Time Series
我们提出了一个新的变分贝叶斯估计高维copula离散，或离散和连续的组合，利润。该方法是基于一个易于处理的增强后变分近似，是比以前的似然为基础的方法更快。我们用它来估计单变量和多变量马尔可夫顺序和混合时间序列的可绘制的藤连接。这些具有维度$rT$，其中$T$是观测的数量，$r$是序列的数量，并且难以使用先前的方法进行估计。葡萄藤对连接被仔细地选择以允许异方差性，这是大多数有序时间序列数据的特征。当与灵活的裕度结合使用时，所产生的时间序列模型还考虑到有序数据的其他共同特征，如零通货膨胀、多模式和分散不足或过度。使用六个例子系列，我们说明了时间序列Copula模型的灵活性，以及高达792个维度和60个参数的Copula的变分贝叶斯估计的有效性。这远远超过了Copula模型的规模和复杂性，可以使用以前的方法估计离散数据。
2018-07-20 econ.EM stat.ME stat.ML
Variational Autoencoder Leveraged MMSE Channel Estimation
提出利用变分自编码器（VAE）进行数据驱动的信道估计，将未知信道分布建模为条件高斯分布，并设计了三种不同数据依赖的VAE估计器变体，仿真证明其实际方法性能损失小且优于其他信道估计方法。
2022-11-22 cs.IT eess.SP math.IT
Demonstrating the power and flexibility of variational assumptions for amortized neural posterior estimation in environmental applications
North Carolina State University（北卡罗来纳州立大学）；University of Michigan（密歇根大学）；University of Edinburgh（爱丁堡大学）
本文提出了一种基于神经网络的贝叶斯后验估计框架，通过训练数据模拟的神经网络高效获得参数后验分布，理论证明其在Kullback-Leibler散度上的收敛性，并展示了在环境应用中的鲁棒性和准确性。
2026-01-08 stat.CO stat.ML
Beyond Maximum Likelihood: Variational Inequality Estimation for Generalized Linear Models
H. Milton Stewart School of Industrial and Systems Engineering Georgia Institute of Technology（佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院）
本文提出基于变分不等式的估计框架，用于解决广义线性模型中非典型或非光滑链接函数带来的计算挑战，通过操作符平衡条件替代最大似然估计，提升数值稳定性与有限样本性能。
2026-11-06 math.OC math.ST stat.ME
Estimation of Orientation and Camera Parameters from Cryo-Electron Microscopy Images with Variational Autoencoders and Generative Adversarial Networks
Stanford University（斯坦福大学）；SLAC National Accelerator（SLAC国家加速器实验室）
冷冻电子显微镜（cryo-EM）能够以近原子分辨率产生生物分子的重建3D图像。因此，它代表了结构生物学中最有前途的成像技术之一。然而，原始冷冻EM图像仅高度损坏-噪声和带通滤波-目标3D生物分子的2D投影。重建3D分子形状从去除图像异常值、估计产生给定2D图像的生物分子的取向以及估计相机参数以校正强度缺陷开始。当前执行这些任务的技术通常在计算上是昂贵的，而数据集的大小不断增长。需要下一代算法在保持准确性的同时提高速度和可扩展性。在本文中，我们结合变分自编码器（VAE）和生成对抗网络（GANs）来学习低温EM图像的低维潜在表示。我们进行了探索性的分析所获得的潜在空间，这是示出有一个结构的“轨道”，在李群理论的意义上，与采集程序的冷冻EM图像。这种分析导致我们设计的单粒子冷冻EM图像的方向和相机参数的估计方法，连同离群值检测程序。因此，它为无监督估计方向和相机参数的几何方法打开了大门，使快速冷冻EM生物分子重建成为可能。
2021-05-23 cs.CV eess.IV q-bio.QM
Latent Network Estimation and Variable Selection for Compositional Data via Variational EM
本文提出SINC方法，通过分层贝叶斯模型和变分EM算法，对成分数据同时进行网络估计与变量选择，并在模拟和微生物组数据中验证了其优于现有方法的网络恢复准确性。
2021-04-09 stat.ME stat.ML
Improved Variational Bayesian Phylogenetic Inference with Normalizing Flows
变分贝叶斯系统发育推断（VBPI）提供了一个有前途的通用变分框架，有效地估计系统发育后验。然而，目前的对角对数正态分支长度近似将显着限制近似分布的质量。在本文中，我们提出了一种新型的VBPI，VBPI-NF，作为使用深度学习技术进行系统发育后验估计的第一步。通过使用精心设计的置换等变变换处理系统发育模型的非欧几里德分支长度空间，VBPI-NF使用规范化流来提供丰富的灵活分支长度分布家族，这些分支长度分布可以在不同的树拓扑中进行推广。我们表明，VBPI-NF显着改善香草VBPI的基准挑战真实数据贝叶斯系统发育推理问题。进一步的研究还表明，在这些置换等变变换中的结构化参数化可以提供额外的摊销收益。
2020-12-01 q-bio.PE stat.ML
