Monte Carlo Co-Ordinate Ascent Variational Inference
在变分推断(VI)中,坐标上升和基于梯度的方法是两种主要类型的算法,用于近似难以计算的概率密度。在复杂模型的实际实现中,蒙特卡罗方法被广泛用于估计坐标上升方法中的期望值和导数驱动方法中的梯度。我们讨论了一个蒙特卡罗坐标上升VI(MC-CAVI)算法,利用马尔可夫链蒙特卡罗(MCMC)方法在计算内所需的期望坐标上升VI(CAVI)。我们表明,在正则条件下,MC-CAVI递归将得到任意接近最大化的证据下限(ELBO)与任何给定的高概率。在数值算例中,MC-CAVI算法的性能进行了比较,MCMC和-作为基于导数的VI方法的代表-黑盒VI(BBVI)。我们讨论和证明MC-CAVI的适用性与硬约束模型在模拟和真实的例子。我们比较MC-CAVI的性能与MCMC在一个重要的复杂的模型中使用的核磁共振(NMR)光谱数据分析- BBVI是几乎不可能在这种情况下,由于涉及的模型的硬约束。
2019-10-17 stat.CO
Markov Chain Score Ascent: A Unifying Framework of Variational Inference with Markovian Gradients
Sogang University(西江大学);University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学)
利用随机梯度下降(SGD)最小化包含的Kullback-Leibler(KL)发散是具有挑战性的,因为其梯度被定义为后验上的积分。最近,已经提出了多种方法来运行SGD从马尔可夫链获得的有偏梯度估计。本文通过建立它们的混合率和梯度方差,首次给出了这些方法的非渐近收敛性分析。要做到这一点,我们证明,这些方法,我们统称为马尔可夫链得分上升(MCSA)的方法,可以铸造的马尔可夫链梯度下降框架的特殊情况。此外,通过利用这种新的理解,我们开发了一种新的MCSA方案,并行MCSA(pMCSA),实现了更严格的约束的梯度方差。我们证明,这种改进的理论结果转化为优越的经验性能。
2022-10-13 cs.AI cs.LG stat.ML
Wasserstein Contraction of Coordinate Ascent Variational Inference
Department of Statistics, University of Warwick(沃里克大学统计系);School of Mathematics, University of Bristol(布里斯托大学数学学院)
研究坐标上升变分推断算法在Wasserstein距离下的收缩性,通过不动点处的传输-信息不等式和函数光滑性条件给出局部收敛保证,并应用于贝叶斯高斯混合模型、高维贝叶斯Probit回归及Pólya-Gamma逻辑回归。
2026-07-02 cs.LG math.FA math.OC
Variational Bayes algorithm and posterior consistency of Ising model parameter estimation
伊辛模型起源于统计物理学,广泛应用于空间数据建模和计算机视觉问题。然而,该模型的统计推断仍然具有挑战性,由于棘手的性质的归一化常数的可能性。在这里,我们使用伪似然,而不是研究贝叶斯估计的两个参数,逆温度,磁化,伊辛模型与一个完全指定的耦合矩阵。我们开发了一个计算效率高的变分贝叶斯模型估计过程。在高斯平均场变分族下,我们得到了伪似然变分后验的后验收缩率。我们还讨论了伪似然方法的损失,由于变后验超过真正的后验。广泛的模拟研究验证了平均场高斯和双变量高斯家庭的伊辛模型参数的推断变分家庭的可能选择的功效。
2021-09-03 math.ST stat.ME stat.TH
Theoretical and Computational Guarantees of Mean Field Variational Inference for Community Detection
均值场变分贝叶斯方法在统计学和机器学习中越来越受欢迎。其迭代坐标上升变分推理算法已广泛应用于大规模贝叶斯推理。参见Blei et al.(2017)最近的全面综述。尽管平均场方法很受欢迎,但基本的理论依据却很少。据我们所知,迭代算法从来没有研究过任何高维和复杂的模型。本文研究了随机块模型下的平均场社区检测方法。对于一个迭代的批坐标上升变分推理算法,我们证明了它有一个线性收敛速率,并在$\log n$迭代内收敛到极小极大速度。这补充了Bickel等人的结果。(2013)研究了平均场变分贝叶斯的全局极小值,并获得了全局模型参数的渐近正态估计。此外,我们得到了类似的最优性结果的吉布斯抽样和迭代过程来计算极大似然估计,这可以是独立的利益。
2017-12-11 cs.SI math.ST stat.ML
A Particle Algorithm for Mean-Field Variational Inference
Columbia University(哥伦比亚大学)
本文提出了一种非参数均场变分推断的粒子算法PAVI,并提供了非渐近误差界,首次为粒子基于的MFVI提供了端到端保证。
2025-12-31 cs.LG math.OC math.ST
Evidence bounds in singular models: probabilistic and variational perspectives
贝叶斯统计中的边际似然或证据包含较大模型大小的内在惩罚,并且是贝叶斯模型比较中的基本量。在过去的二十年里,在Sumio Watanabe的开创性工作的基础上,在奇异统计模型中理解这种惩罚的性质的活动稳步增加。与常规模型不同,贝叶斯信息准则(BIC)封装了边际似然对数的一阶展开,在奇异模型中,参数计数变得更加棘手,其中称为实对数典型阈值(RLCT)的数量总结了有效的模型维度。在这篇文章中,我们提供了一个概率处理,以恢复非渐近版本的证据界,以及证明一个新的结果的基础上的吉布斯变分不等式。特别是,我们表明,平均场变分推理正确地恢复RLCT的任何奇异模型在其规范或正常形式。我们还表现出我们的边界的清晰度,通过分析一个通用的坐标上升算法(CAVI)普遍采用的变分推理的动态。
2020-08-11 math.ST stat.TH
When random initializations help: a study of variational inference for community detection
变分逼近是近年来在大规模贝叶斯推理中广泛应用的一种方法,其中最简单的一种是通过引入平均场假设来逼近复杂的潜在结构。尽管平均场具有计算可扩展性,但对其损失函数表面和优化损失的迭代更新的收敛行为的理论研究还远未完成。本文研究了一类简单的两类随机块模型(SBM)的社区发现问题。使用批量坐标上升(BCAVI)的更新,我们表现出不同的收敛行为相对于不同的初始化。当参数是已知的或估计在一个合理的范围内,并保持固定,我们的特征条件下,初始化可以收敛到地面真相。另一方面,当参数需要迭代估计时,随机初始化将收敛到无信息的局部最优值。
2019-05-18 math.ST stat.TH
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯(VB)近似。在设计矩阵的相容性条件下,导出了平均场VB近似的预言不等式,表明它以最优速率收敛到稀疏真值,并给出了响应向量的最优预测.我们的算法的实证性能进行了研究,表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明,广泛使用的坐标上升变分推断(CAVI)算法可以高度敏感的参数更新顺序,导致潜在的性能不佳。为了缓解这一问题,我们提出了一种新的优先更新方案,使用数据驱动的更新顺序,并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
Stochastic Variational Inference for GARCH Models
针对异方差时间序列模型拟合问题,提出基于高斯变分近似、结合控制变量或重参数化技巧的GARCH模型随机变分推断方法,还给出序贯更新版本,可快速准确替代MCMC,适用于投资组合构建与动态资产配置。
2023-08-29 econ.EM stat.AP stat.CO
Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods
Stanford University(斯坦福大学);Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学)
考虑了超立方体上具有一般交互矩阵$J$的Ising模型,当$J$的特征值除$O(1)$外都在长度为1的区间内时,给出了多项式时间采样算法,这种情况在许多模型中都有发生.这是以前已知的格劳伯动力学时,* 所有 * 特征值适合在一个区间的长度为1;然而,一个单一的离群值可以迫使格劳伯动力学混合迟钝。我们的一般结果包含了第一个多项式时间采样算法的低秩Ising模型,如Hopfield网络与固定数量的模式和贝叶斯聚类模型与低维上下文,并大大提高了多项式时间采样制度的反铁磁/铁磁Ising模型与不一致的字段上的扩展图。改进了变分方法和统计物理中基于朴素平均场近似的近似算法的结果。我们的方法是基于MCMC和变分推理世界的思想的新融合。作为我们的算法的一部分,我们定义了一个新的非凸变分问题,它允许我们从一个负定二次型分布的指数加权采样,并展示了如何使用随机梯度下降证明这个过程是有效的。在此基础上,我们构建了一个新的模拟回火链(在扩展的状态空间所产生的Hubbard-Stratonovich变换),克服了大的正特征值所造成的障碍,并将其与基于SGD的采样器相结合,以解决整个问题。
2022-02-17 cs.DS cs.LG math.PR
Semi-Implicit Variational Inference
引入半隐式变分推断(SIVI),通过将变分参数与柔性分布混合,扩展了常用的解析变分分布族。这种混合分布可以假设任何密度函数,显式或非显式,只要独立的随机样本可以通过重新参数化生成。SIVI不仅扩大了变分家庭,将高度灵活的变分分布,包括隐式的,没有解析密度函数,但也三明治的证据下限(ELBO)之间的下限和上限,并进一步推导出一个渐近精确的代理ELBO是服从通过随机梯度上升优化。与一个大大扩展的变分家庭和一种新的优化算法,SIVI显示出密切配合的准确性MCMC推断后,在各种贝叶斯推断任务。
2018-05-28 cs.LG stat.CO stat.ME
Analytic natural gradient updates for Cholesky factor in Gaussian variational approximation
针对高维下 Fisher 矩阵求逆困难及精度矩阵更新无法保证正定性的问题,推导了协方差或精度矩阵 Cholesky 因子的解析自然梯度更新并引入稀疏约束,提出带动量的随机归一化自然梯度上升法应用于广义线性混合模型和深度神经网络。
2025-02-04 stat.CO
Gradient-based optimization for variational empirical Bayes multiple regression
本文提出基于梯度的变分推断方法 GradVI 来优化变分经验贝叶斯多元回归,解决传统坐标上升法在相关预测变量下收敛慢且难以并行化的问题,并通过开源软件实现。
2024-11-21 stat.CO stat.ME stat.ML
Noisy Natural Gradient as Variational Inference
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。不幸的是,在廉价但简单的变分族(例如~完全因式分解的)或昂贵且复杂的推理过程。我们表明,自然梯度上升与自适应权重噪声隐式地适合变分后验最大化的证据下限(ELBO)。这种见解使我们能够分别使用自然梯度、Adam和K-FAC的噪声版本来训练全协方差、全因子分解或矩阵变量高斯变分后验,从而可以扩展到现代规模的ConvNets。在标准回归基准上,我们的噪声K-FAC算法比现有方法更好地预测和匹配Hamilton Monte Carlo的预测方差。其改进的不确定性估计导致主动学习中更有效的探索,以及强化学习的内在动机。
2018-02-26 cs.LG stat.ML
Clustering Functional Data via Variational Inference
功能数据分析处理随时间(或任何其他连续体)密集记录的数据,每个受试者具有一个或多个观察曲线。从概念上讲,函数数据是连续定义的,但在实践中,它们通常是在离散点上观察到的。在不同类型的函数数据分析中,聚类分析的目的是在数据集中确定潜在的曲线组,当没有每个单独曲线的组成员信息时。在这项工作中,我们提出了一种新的基于模型的方法,通过变分推断聚类和平滑功能数据同时进行。我们推导出坐标上升平均场变分贝叶斯算法来近似我们的模型参数的后验分布,通过找到最小的库尔贝克-莱布勒散度的变分分布的后验。我们提出的方法的性能进行评估,使用模拟数据和公开可用的数据集。
2023-01-19 stat.ME
Variational Bayes for Merging Noisy Databases
贝叶斯实体解析将多个嘈杂的数据库合并在一起,并返回所表示的唯一个体的最小集合,以及它们的真实潜在记录值。贝叶斯方法允许灵活的生成模型,在数据库之间共享功率,以及对最终解析数据库的查询的不确定性进行原则性量化。然而,现有的贝叶斯实体解析方法使用马尔可夫蒙特卡罗方法(MCMC)近似,运行速度太慢,包含数百万或数十亿条记录的现代数据库。相反,我们建议应用变分近似,使可扩展的贝叶斯推断在这些模型。我们推导出平均场变分贝叶斯的坐标上升近似,定性地比较我们的算法与现有的方法,注意到独特的挑战,推理所产生的预期分布的集群大小在实体分辨率,并讨论在这一领域的未来工作的方向。
2014-10-17 stat.ME stat.ML
A variational Bayes latent class approach for EHR-based patient phenotyping in R
University College Dublin(都柏林大学学院)
该研究提出了一种基于变分贝叶斯的隐类方法,用于利用电子健康记录数据进行患者表型分析,结合高斯混合模型和逻辑回归模型评估表型预测性能。
2025-12-16 stat.CO stat.ML
Group Spike and Slab Variational Bayes
Imperial College London(帝国理工学院)
本文提出组稀疏回归的可扩展方法GSVB,开发快速CAVI算法并提供理论保证,通过数值研究和真实数据集分析证明其性能优于或相当现有方法,兼具简约性、预测性、变量选择和不确定性量化能力。
2025-11-13 stat.CO stat.ME
Mean-field Variational Bayes for Sparse Probit Regression
ESOMAS Department, University of Torino and Collegio Carlo Alberto(都灵大学 ESOMAS 学院和卡罗阿尔贝托学院)
本文提出基于均场变分贝叶斯的方法,用于二元结果的稀疏变量选择,通过闭式更新实现高效推断,相比MCMC方法速度快数十倍且保持准确性。
2026-05-15 stat.CO stat.ME stat.ML
Variational Inference in Nonconjugate Models
平均场变分方法被广泛用于许多概率模型的近似后验推断。在一个典型的应用中,平均场方法近似计算后验与坐标上升优化算法。当模型是条件共轭时,坐标更新容易导出,且为封闭形式。然而,许多感兴趣的模型--像相关主题模型和贝叶斯逻辑斯谛回归--是非共轭的。在这些模型中,平均场方法不能直接应用,从业者不得不根据具体情况开发变分算法。本文发展了非共轭模型的两种一般方法:Laplace变分推断和delta方法变分推断。我们的方法有几个优点:它们允许很容易派生的变分算法与广泛的一类非共轭模型;它们扩展和统一了一些现有的算法,已被派生为特定的模型;和他们在现实世界的数据集上工作得很好。我们研究了相关主题模型、贝叶斯逻辑斯谛回归和分层贝叶斯逻辑斯谛回归的方法。
2013-03-12 stat.ML
Variational inference based on a subclass of closed skew normals
针对数据稀缺时高斯变分近似无法处理偏态的局限,提出基于封闭偏态正态分布子类的变分推断方法,推导了自然梯度更新并利用中心化参数化解决参数估计问题,显著提升了后验近似的灵活性与精度。
2024-07-16 stat.ME
Bayesian variational inference for exponential random graph models
指数随机图模型的贝叶斯推断是一个具有挑战性的“双重棘手”问题,因为似然和后验密度的归一化常数都是棘手的。马尔可夫链蒙特卡罗(MCMC)方法,产生贝叶斯推断的ERGM,如交换算法,是渐近精确的,但计算密集,因为网络必须从每一步的可能性,例如,使用“领带不领带”采样器。在这篇文章中,我们发展了各种变分方法的高斯近似的后验密度和模型选择。这些方法包括基于调整后的伪变分和随机变分推断的非共轭变分消息传递。为了克服在每次迭代时从可能性绘制网络的计算障碍,我们提出了随机梯度上升,使用自适应自归一化重要性抽样计算有偏但一致的梯度估计。这些方法提供了有吸引力的快速替代MCMC后验近似。我们说明了变分方法使用真实的网络,并通过MCMC和拉普拉斯近似得到的结果比较其精度。
2019-11-23 stat.CO
On Representations of Mean-Field Variational Inference
IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);Columbia University(哥伦比亚大学)
平均场变分推断(MFVI)公式将一般的贝叶斯推断问题限制在乘积测度的子空间上。我们提出了一个框架来分析MFVI算法,这是一个类似的发展一般变分贝叶斯公式的启发。我们的方法使MFVI问题以三种不同的方式表示:Wasserstein空间上的梯度流,一个系统的Fokker-Planck方程和扩散过程。建立严格的保证表明,时间离散化实现的坐标上升变分推断算法的产品Wasserstein空间的措施产生的梯度流的限制。一个类似的结果是获得其相关的密度,与极限由一个准线性偏微分方程。一类流行的实用算法属于这个框架,它提供了建立收敛的工具。我们希望这个框架可以用来保证收敛算法的各种方法,旧的和新的,解决变分推断问题。
2022-10-20 cs.AI cs.LG stat.ML
Structured Optimal Variational Inference for Dynamic Latent Space Models
针对动态网络潜在空间模型,提出结构化平均场变分推断框架与块坐标上升算法,实现线性复杂度并证明变分风险达到极小化最优速率。
2024-10-15 math.ST stat.CO stat.ML
f-Divergence Variational Inference
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Anker Innovations(安克创新)
本文介绍了$f$ -发散变分推理($f$ -VI),它将变分推理推广到所有的$f$ -发散.从最小化与$f$-发散共享统计一致性的巧妙替代$f$-发散开始,$f$ -VI框架不仅统一了许多现有的VI方法,例如Kullback-Leibler VI、Rényi的$α$ -VI和$χ$ -VI,而且提供了一个标准化的VI工具包,适用于$f$ -发散家族的任意发散。一个一般的$f$ -变分界的推导,并提供了一个三明治估计的边际似然(或证据)。$f$ -VI的发展展开与随机优化方案,利用重新参数化技巧,重要性加权和蒙特卡罗近似;平均场近似方案,推广了著名的坐标上升变分推理(CAVI)也提出了$f$ -VI。经验的例子,包括变分自编码器和贝叶斯神经网络,提供证明的有效性和广泛的适用性$f$ -VI。
2021-04-03 cs.IT cs.LG math.IT
From Sets to Multisets: Provable Variational Inference for Probabilistic Integer Submodular Models
ETH Zurich(苏黎世联邦理工学院);Tencent AI Lab(腾讯人工智能实验室)
子模函数在机器学习和数据采掘中得到了广泛的研究。特别是,整数格上的子模函数的优化(整数子模函数)最近引起了很大的兴趣,因为这个域自然涉及到许多实际问题的设置,如多标签图切割,预算分配和离散分配的收入最大化。相比之下,使用这些函数进行概率建模迄今为止很少受到关注。本文首先提出了整数次模函数的连续DR-次模扩张,即广义多线性扩张。我们研究了这个扩展的中心性质,并通过整数次模函数定义了一个新的概率模型。然后,我们引入了一个块坐标上升算法来执行这类模型的近似推理。最后,我们证明了它的有效性和可行性在几个现实世界的社会连接图数据集与整数子模块的目标。
2020-06-01 cs.LG stat.ML
Global Test of Functional Effects in Mean Field Variational Bayesian Scalar-on-Function Regression
Georgetown University(乔治城大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对均值场变分贝叶斯加性模型缺乏平滑与函数效应推断方法的问题,本文基于 CAVI 估计构造全局检验,并验证其良好的频率学派性质。
2026-11-04 stat.CO stat.ME
Bayesian Nonparametric Clustering to Support Medical Decision-Making: A Variational Inference Approach
Imperial College London(帝国理工学院)
提出基于狄利克雷过程混合模型的贝叶斯非参数聚类方法,通过坐标上升变分推断算法高效实现疾病亚型划分,在合成实验中准确聚类且计算成本显著低于MCMC。
2026-05-29 stat.AP
Rényi's $α$-divergence variational Bayes for spike-and-slab high-dimensional linear regression
Wake Forest University(维克森林大学);Colby College(科尔比学院);Davidson College(戴维森学院)
本文提出基于Rényi α-散度的变分贝叶斯方法,用于稀疏高维线性回归,通过改进的CAVI算法和随机变分推断,实现更灵活的变量选择和系数估计。
2026-08-11 stat.CO stat.ME
Laplace Variational Inference for Bayesian Envelope Models
Chonnam National University(全南国立大学);Sungkyunkwan University(成均馆大学)
本文提出了一种基于拉普拉斯近似的变分推断方法,用于改进贝叶斯包络模型的推断效率与精度。
2026-03-01 stat.ME
Variational Auto-Decoder: A Method for Neural Generative Modeling from Incomplete Data
Carnegie Mellon University(卡内基梅隆大学)
从部分数据(缺失数据)中学习生成模型是机器学习研究的一个具有挑战性的领域。我们研究了自动编码变分贝叶斯(AEVB)算法的具体实现,在本文中命名为变分自动解码器(VAD)。VAD是一个通用的框架,它使用变分贝叶斯和马尔可夫链蒙特卡罗(MCMC)方法从部分数据中学习生成模型。VAD和可变自动编码器(VAE)之间的主要区别是编码器组件,因为VAD没有编码器组件。使用一个建议的有效的推理方法从多变量高斯近似后验,VAD模型允许通过简单的梯度上升,而不是MCMC采样从概率解码器进行推理。该技术降低了推理计算成本,允许在潜在空间推理期间使用更复杂的优化技术(由于VAD潜在空间中的高自由度,其被示出为至关重要的),并且保持框架易于实现。通过对多个数据集和不同缺失率的大量实验,我们表明编码器不能有效地边缘化由估算缺失值引起的输入波动。本文研究了多模态数据集,这是VAD模型的一个特殊影响领域。
2021-01-03 cs.AI cs.LG stat.ML
Variance Control for Black Box Variational Inference Using The James-Stein Estimator
Nara Institute of Science and Technology(奈良科学技术研究所)
本文针对黑盒变分推断不稳定且需调参的问题,将随机梯度上升重构为多元估计,并用 James-Stein 估计量控制梯度方差,实现免调参且性能相当或更优。
2024-05-09 cs.LG stat.ML
Correlated Equilibria for Approximate Variational Inference in MRFs
University of Michigan - Dearborn(密歇根大学迪尔伯恩分校);Arizona State University(亚利桑那州立大学)
几乎所有博弈论图形模型的工作都反映了以前概率图形模型的工作。我们的工作考虑了相反的方向:利用平衡计算的最新进展进行概率推理。我们提出了在马尔可夫随机场(MRFs)的推理问题的配方在一定的一类博弈论图形模型的平衡计算。我们具体地建立了MRF变分概率推理和相关平衡之间的精确连接。没有以前的工作利用最近的理论和实证结果,从文献中的算法和计算博弈论上的听话,多项式时间计算的精确或近似相关的平衡,在图形游戏任意,循环图结构。我们讨论了如何设计新的算法,同样易于处理的保证MRF的近似变分推理的计算。此外,受先前所述的博弈论观点的启发,最先进的树重新加权(TRW)的消息传递技术的信念推理为零和博弈,我们提出了一个不同的,一般和潜在的游戏设计近似虚拟播放技术。我们进行合成实验,评估我们提出的近似算法与标准方法和TRW的几类经典伊辛模型(即,二进制随机变量)。我们还使用从MNIST数据集学习的伊辛模型来评估算法。我们的实验表明,我们的全球性的方法是有竞争力的,特别是闪耀在一类伊辛模型与恒定的,“非常有吸引力的”边权重,它往往是优于所有其他的替代品,我们评估。除了一个明显的例外,我们更本地化的方法没有那么有效。然而,公平地说,几乎所有的替代方案通常都不比一个简单的基线好:估计0.5。
2017-10-07 cs.AI cs.GT stat.ML
Scalable Estimation for Structured Additive Distributional Regression Through Variational Inference
针对结构化加性分布回归模型估计复杂且成本高的问题,提出基于变分推断的快速可扩展方法,结合参数近似与精确条件后验,采用随机梯度上升优化,并通过退火增强鲁棒性,在模拟和真实数据中验证了准确性与效率。
2023-11-13 stat.ME
Large-Scale Joint Topic, Sentiment & User Preference Analysis for Online Reviews
Temple University(天普大学);Drexel University(德雷塞尔大学)
在变分推理(VI)和随机变分推理(SVI)的框架下,对已有的主题-情感-偏好联合评论模型TSPRA进行了非平凡重构. TSPRA是一个基于Gibbs Sampling的模型,它可以解决主题,单词情感和用户偏好,并且已经被证明可以实现良好的性能,但对于大数据集,它只能从相对较小的样本中学习。我们开发的变分模型vTSPRA和svTSPRA,以提高时间的使用,我们的新方法是能够处理数以百万计的评论。我们重建了生成过程,改进了评级回归,解决并提出了坐标上升更新的变分参数,并表明每次迭代的时间复杂度理论上是线性的语料库大小,亚马逊数据集上的实验表明,它比TSPRA收敛速度更快,并在相同的时间量下获得更好的结果。此外,我们调整svTSPRA到一个在线算法ovTSPRA,可以监控振荡的情绪和偏好超时。一些有趣的波动被捕获,并提供了可能的解释。结果给出了强有力的视觉证据,用户偏好更好地被视为一个独立的因素,从情绪。
2019-01-14 cs.IR cs.LG stat.AP
Partially factorized variational inference for high-dimensional mixed models
针对广义线性混合模型高维积分估计的计算挑战与朴素变分推断不确定性量化不可靠问题,本文证明标准平均场方法会显著低估后验不确定性,提出放宽平均场假设的部分分解变分推断方法,实现线性计算缩放与可靠不确定性量化,且在R包中实现。
2024-12-01 stat.CO stat.ME stat.ML