Variational Boosted Soft Trees
University of Tuebingen（图宾根大学）；Amazon（亚马逊）；Deekard（迪卡德）
基于决策树的梯度提升机器（GBM）始终在表格数据的回归和分类任务上展示最先进的结果，通常优于深度神经网络。然而，这些模型不能提供良好校准的预测不确定性，这妨碍了它们在高风险应用中用于决策。贝叶斯处理是已知的，以提高预测的不确定性校准，但以前提出的贝叶斯GBM方法要么计算昂贵，或诉诸粗糙的近似。变分推理常用于实现贝叶斯神经网络，但很难应用于GBM，因为用作弱学习器的决策树是不可微的。在本文中，我们建议实现贝叶斯GBM使用变分推理软决策树，一个完全可微的替代标准决策树Irsoy等人介绍的。我们的实验表明，变分软树和变分软GBM提供有用的不确定性估计，同时保持良好的预测性能。与最先进的贝叶斯GBM相比，所提出的模型在7/10的表格回归数据集中显示出更高的测试似然性，并且在5/10的数据集中显示出改进的分布外检测。
2023-02-22 cs.LG stat.ML
Adaptive Variational Inference in Probabilistic Graphical Models: Beyond Bethe, Tree-Reweighted, and Convex Free Energies
Graz University of Technology（格拉茨工业大学）
本文分析了两类包含Bethe近似、树重加权和凸自由能作为特例的近似方法，据此提出能够自动适应给定模型的自由能近似，并在多个困难问题上验证了其有效性。
2025-02-05 cs.AI cs.LG stat.ML
Learning Sparse Decision Trees via Transformer Variational Auto-Encoders
University of Pisa（比萨大学）；ISTI-CNR
该研究提出基于TTVAE的TREVIS方法，将决策树映射至潜在空间实现梯度优化，所获决策树兼具与近优算法相当的预测性能及更优结构稀疏性。
2026-09-02 cs.AI cs.LG
Variational Polya Tree
The University of Hong Kong（香港大学）；University of Pennsylvania（宾夕法尼亚大学）；Metropolitan Hong Kong University（香港 Metropolitan 大学）
本文提出变分波利亚树（VPT）模型，利用随机变分推断和联合分布似然实现贝叶斯非参数密度估计，在真实数据和图像上达到与最先进深度方法相当的性能，并增强可解释性与不确定性量化。
2025-10-26 cs.AI cs.LG
Variational Dual-Tree Framework for Large-Scale Transition Matrix Approximation
Microsoft Research（微软研究院）；University of Pittsburgh（匹兹堡大学）
近年来，利用图上随机游走的非参数方法已被用于解决广泛的机器学习问题，但在其最简单的形式中，由于二次复杂性，它们不能很好地扩展。本文提出了一种新的基于对偶树的变分方法，用于逼近转移矩阵和有效地执行随机游走。该方法利用核密度估计，混合建模和随机游走之间的连接，在优化的数据图的转移矩阵，连接在一起的边缘转移概率是相似的。与基于k-nearestneighbors的事实上的标准近似方法相比，我们在半监督学习中的基准数据集上证明了标签传播任务的数量级加速而不牺牲准确性。
2012-10-16 cs.LG stat.ML
Variational phylogenetic inference with products over bipartitions
Simon Fraser University（西蒙弗雷泽大学）
本文提出了一种基于二分划分乘积的变分方法，用于高效推断超度量系统发育树，实现了在树空间上的直接推断，无需MCMC子程序，并在实验中展示了更高的效率和准确性。
2026-02-12 cs.LG stat.AP stat.ML
PhyloVAE: Unsupervised Learning of Phylogenetic Trees via Variational Autoencoders
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；Computational Biology Program, Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心计算生物学项目）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本文提出无监督框架PhyloVAE，结合自回归编码与潜变量生成模型，实现系统发育树拓扑的高分辨率表示学习和快速生成。
2025-02-07 cs.LG q-bio.PE stat.ML
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University（早稻田大学数据科学中心）
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题，提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法，在有限树宽树深假设下实现高效计算，并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
Tree Variational Autoencoders
ETH Zurich（苏黎世联邦理工学院）
提出树变分自编码器（TreeVAE），通过层次聚类学习树状后验分布，自适应发现最优树结构，利用叶解码器提升生成性能，在多种数据集上揭示隐藏聚类并生成新样本。
2023-11-17 cs.CV cs.LG
Improved Variational Bayesian Phylogenetic Inference using Mixtures
KTH Royal Institute of Technology（KTH皇家理工学院）；Science for Life Laboratory（生命科学实验室）
针对现有VBPI框架难以处理树拓扑后验多模态的问题，提出结合BBVI领域混合学习进展的VBPI-Mixtures算法，可建模VBPI无法捕捉的树拓扑分布，在多个真实系统发育数据集密度估计任务上达SOTA。
2023-10-02 cs.LG stat.ML
The Bregman Variational Dual-Tree Framework
University of Pittsburgh（匹兹堡大学）；Aalborg University（奥尔堡大学）
基于图的方法为机器学习中的许多非参数框架提供了强大的工具集。一般来说，这些方法的存储器和计算复杂性是数据中的示例数量的二次方，这使得它们对于中等规模到大规模的数据集快速不可行。在文献中已经做出了很大的努力来寻找更有效的解决方案。最近引入的最先进的方法之一是变分双树（VDT）框架。尽管VDT具有一些独特的功能，但它目前仅限于欧几里得空间，其中欧几里得距离量化了相似性。在本文中，我们将VDT框架扩展到更一般的Bregman分歧，包括作为特殊情况的欧氏距离以外的欧氏距离。通过利用一般Bregman发散的属性，我们展示了新框架如何保持VDT框架的所有关键特征，并显着提高其在非欧几里德域中的性能。我们将建议的框架应用到不同的文本分类问题，并证明了它的好处，在原来的VDT。
2013-09-26 cs.LG stat.ML
Stepwise Variational Inference with Vine Copulas
Oslo Centre for Biostatistics and Epidemiology (OCBE), University of Oslo, Norway（奥斯陆生物统计与流行病学中心（OCBE），奥斯陆大学，挪威）；Department of Mathematics, University of Oslo, Norway（奥斯陆大学数学系，挪威）；Norwegian Computing Center, Oslo, Norway（挪威计算中心，奥斯陆，挪威）；Integreat - Norwegian Centre for Knowledge-driven Machine Learning, Oslo, Norway（Integreat—挪威知识驱动机器学习中心，奥斯陆，挪威）；Technical University of Munich, Germany（慕尼黑技术大学，德国）；Munich Data Science Institute, Germany（慕尼黑数据科学研究所，德国）
本文提出基于vine copulas的分步变分推断方法，通过分步估计变分参数，结合vine结构中的树状模型，改进了传统变分推断的参数恢复能力，并通过Rényi散度定义证据下界，实现了在稀疏高斯过程中的高效参数压缩。
2026-03-24 cs.LG stat.ML
Syntax-Infused Variational Autoencoder for Text Generation
Bloomberg（彭博）；Duke University（杜克大学）；ASAPP Inc.（ASAPP公司）
我们提出了一个注入语法的变分自动编码器（SIVAE），它将句子与它们的语法树相结合，以提高生成的句子的语法。与现有的基于VAE的文本生成模型不同，SIVAE包含两个独立的潜在空间，用于句子和句法树。通过优化一个包含两个编码器和两个解码器的联合分布，相应地重新设计了证据下限目标。SIVAE与长短期记忆体系结构一起工作，同时生成句子和语法树。两个版本的SIVAE提出：一个通过条件先验网络捕获的潜在变量之间的依赖关系，和其他处理的潜在变量独立，这样可以进行句法控制的句子生成。实验结果表明，SIVAE在重建和有针对性的句法评价上都具有生成优势。最后，我们表明，所提出的模型可以用于无监督释义给定不同的句法树模板。
2019-06-05 cs.CL cs.LG stat.ML
Unity Smoothing for Handling Inconsistent Evidence in Bayesian Networks and Unity Propagation for Faster Inference
Aalborg University（奥尔堡大学）；University of Copenhagen（哥本哈根大学）
我们提出统一平滑（US）处理贝叶斯网络模型和新的看不见的观察之间的不一致。我们表明，预测精度，使用连接树算法与美国是拉普拉斯平滑。此外，在利用数据结构的稀疏性的应用中，US在存储器使用方面优于拉普拉斯平滑。此外，我们详细介绍了如何避免冗余的计算，否则必须执行的消息传递计划中的连接树算法，我们称之为统一传播（UP）。实验结果表明，它总是更快地利用UP上的Lauritzen-Spigelhalter消息传递计划的联合树算法。
2022-01-21 cs.LG stat.CO
Monte Carlo Tree Search based Hybrid Optimization of Variational Quantum Circuits
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；St. Kliment Ohridski University of Sofia（索非亚圣克里门特·奥赫里德大学）；Max Planck Institute for the Physics of Complex Systems（马克斯·普朗克复杂系统物理研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
变分量子算法站在近期和未来容错量子设备模拟的最前沿。虽然大多数变分量子算法只涉及连续优化变量，但有时可以通过添加某些离散优化变量来显着增强变分预测的表示能力，如广义量子近似优化算法（QAOA）所示。然而，混合离散-连续优化问题的广义QAOA提出了一个挑战的优化。我们提出了一种新的算法称为MCTS-QAOA，它结合了蒙特卡罗树搜索方法和改进的自然策略梯度求解器，分别优化量子线路中的离散和连续变量。我们发现，MCTS-QAOA具有良好的抗噪性能，并优于以往的算法在具有挑战性的情况下，广义QAOA。
2022-03-30 cond-mat.quant-gas cs.LG physics.comp-ph
VaSST: Variational Inference for Symbolic Regression using Soft Symbolic Trees
Department of Statistics, Texas A&M University（统计学系，德克萨斯大学阿姆斯特朗分校）
提出基于变分推断的可扩展符号回归框架VaSST，通过软符号树连续松弛将组合搜索转化为梯度优化，实现不确定性量化，在模拟和费曼数据集上表现优异。
2026-07-03 cs.LG cs.SC stat.CO
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Variational Bayesian Phylogenetic Inference with Semi-implicit Branch Length Distributions
Peking University（北京大学）；Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心）；University of Washington（华盛顿大学）
针对VBPI默认对角对数正态分支长度后验表达不足的问题，本文提出基于图神经网络的半隐式层次变分后验及多种优化下界，提升了边际似然估计与后验近似性能。
2024-08-09 cs.LG stat.ML
Decomposition for Bayesian Networks: Local and Parallel Inference
School of Mathematics and Statistics and KLAS, Northeast Normal University（数学与统计学学院及KLAS，东北师范大学）；College of Mathematics and System Sciences, Xinjiang University（数学与系统科学学院，新疆大学）；Institute of Statistics and Data Science, Xinjiang University of Finance and Economics（统计与数据科学学院，新疆财经大学）
针对高维贝叶斯网络精确推理复杂度随规模指数增长的问题，提出基于有向凸子图的分解框架与最小d-分解树，实现并行推理，效率优于连接树法且保留推理精度。
2026-07-07 cs.LG stat.ML
Quantifying Variational Approximation for the Log-Partition Function
Massachusetts Institute of Technology（麻省理工学院）
变分近似，如平均场（MF）和树重加权（TRW），提供了一个计算效率的近似的一般图形模型的对数配分函数。TRW可证明提供了一个上限，但近似比通常没有量化。作为这项工作的主要贡献，我们提供了一种方法来量化的近似比通过底层图结构的属性。具体来说，我们认为，（一个变种）TRW产生的估计是在任何离散成对图形模型的真正的日志分区函数的因素$\frac{1}{\sqrt{κ(G)}}$在图$G$，其中$κ(G) \in (0,1]$捕获$G$是多远树结构与$κ(G) = 1$的树和$2/N$的完整的图在$N$顶点。因此，对于树，近似比为$1$，对于具有最大平均度$d$的任何图，近似比为$\sqrt{(d+1)/2}$，对于围长（最短圈）至少为$β\log N$的图，近似比为$\stackrel{β\to\infty}{\approx} 1+1/(2β)$。一般来说，$κ(G)$是与$G$相关的最大-最小问题的解，可以在多项式时间内对任何图进行评估。使用G的生成树上的均匀分布的样本，我们提供了一个近线性时间变量，该变量实现了近似比等于图的最小（跨边缘）有效电阻的平方根的倒数。我们将我们的结果连接到基于图划分的近似方法，从而提供了一个统一的视角。关键词：变分推理，对数-划分函数，生成树多面体，最小有效电阻，最小-最大生成树，局部推理
2021-08-19 cs.DS cs.LG math.ST
Variational Combinatorial Sequential Monte Carlo for Bayesian Phylogenetics in Hyperbolic Space
Spelman College（斯巴灵学院）；University of Amsterdam（阿姆斯特丹大学）；Columbia University（哥伦比亚大学）
针对系统发育树超指数缩放限制欧几里得推理效率的问题，提出双曲空间下序贯蒙特卡洛算法的扩展及变分推理方法，显著提升了高维贝叶斯系统发育推理的速度与性能。
2025-07-15 cs.LG stat.ML
VaiPhy: a Variational Inference Based Algorithm for Phylogeny
KTH Royal Institute of Technology（KTH皇家理工学院）；Science for Life Laboratory（生命科学实验室）
系统发生学是计算生物学中的经典方法，今天已经变得与单细胞数据的医学研究高度相关，例如，在癌症发展的背景下。不幸的是，树空间的指数大小是使用基于马尔可夫链蒙特卡罗的方法进行贝叶斯系统发育推断的一个重大障碍，因为这些方法依赖于局部操作。虽然最近的基于变分推理（VI）的方法提供了速度上的改进，但它们依赖于昂贵的自动微分运算来学习变分参数。我们提出了VaiPhy，一个非常快速的VI算法在增强树空间的近似后验推理。VaiPhy产生的边际对数似然估计与真实数据上的最先进方法相当，并且速度快得多，因为它不需要自动微分。相反，VaiPhy将坐标上升更新方程与两种新的采样方案相结合：（i）SLANTIS，在增广树空间中的树拓扑的建议分布，以及（ii）JC采样器，据我们所知，这是有史以来第一个直接从流行的Jukes-Cantor模型中采样分支长度的方案。我们在密度估计和运行时间方面比较了VaiPhy。此外，我们还评估了基线的重现性。我们在GitHub上提供代码：\url{https://github.com/Lagergren-Lab/VaiPhy}。
2023-01-24 cs.LG q-bio.PE q-bio.QM
Variational Algorithms for Marginal MAP
University of California, Irvine（加利福尼亚大学尔湾分校）
边际MAP问题是众所周知的困难任务的图形模型。我们推导出一个一般的变分框架解决边际MAP问题，在其中我们应用类似的贝特，树加权，平均场近似。然后，我们推导出一个“混合”的消息传递算法和一个收敛的替代方案，使用CCCP解决BP型近似。理论上，我们给出了解码解是全局或局部最优解的条件，并得到了解的新的上界。实验证明，我们的算法优于相关的方法。我们还表明，EM和变分EM包括一个特殊的情况下，我们的框架。
2012-02-14 cs.AI cs.IT cs.LG
Variational Information Maximization for Feature Selection
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
特征选择是机器学习中最基本的问题之一。信息理论特征选择的基础是最大化特征子集和类标签之间的互信息，这是一个广泛的工作机构。由于难以估计互信息，实际方法被迫依赖于近似。我们表明，现有方法的近似是基于不切实际的假设。我们制定了一个更灵活和一般类的假设变分分布的基础上，并使用它们来生成易处理的互信息的下界。这些界限定义了一个新的信息理论框架的特征选择，我们证明是最佳的树图形模型与适当的选择变分分布。我们的实验表明，该方法大大优于现有的信息理论特征选择方法。
2016-06-09 cs.LG stat.ML
Convergent Propagation Algorithms via Oriented Trees
Massachusetts Institute of Technology（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
图模型中的推理问题通常通过将其转换为约束优化问题来近似。消息传递算法，如置信传播，以前被建议作为解决这些优化问题的方法。然而，对于这样的算法几乎没有收敛保证，因此不能保证算法解决相应的优化问题。在这里，我们提出了一个导向树分解算法，保证收敛到全局最优的树加权（TRW）变分问题。我们的算法进行局部更新的凸对偶TRW问题-无约束广义几何规划。原始更新，也是本地的，对应于定向的重新参数化操作，使分布保持不变。
2012-06-20 cs.LG stat.ML
Convergent message passing algorithms - a unifying view
消息传递算法已经成为图形模型中近似推理的强大技术。当这些算法收敛时，它们可以找到局部（有时甚至是全局）最优的变分公式的推理问题。但是许多最流行的算法并不能保证收敛。这导致了最近的兴趣，收敛的消息传递算法。在本文中，我们提出了一个统一的观点，收敛的消息传递算法。我们提出了一个简单的推导的抽象算法，树一致性界优化（TCBO），可证明收敛的总和和最大产品的形式。然后，我们表明，许多现有的收敛算法的实例，我们的TCBO算法，并获得新的收敛算法“免费”交换最大化和总结现有的算法。特别是，我们表明，Wainwright的非收敛和产品算法的树为基础的变分界限，实际上是收敛的树是单调链的情况下，正确的更新顺序。
2012-05-09 cs.AI cs.LG
Barrier Frank-Wolfe for Marginal Inference
Courant Institute（库朗研究所）；New York University（纽约大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure, Paris（巴黎高等师范学院）
我们介绍了一个全局收敛的算法优化树加权（TRW）变分目标的边缘多面体。该算法基于条件梯度法（Frank-Wolfe），通过重复的最大后验概率（MAP）调用在边缘多面体内移动伪随机数。这种模块化结构使我们能够利用黑盒MAP求解器（精确和近似）的变分推断，并获得更准确的结果比树重加权算法，优化了局部一致性松弛。从理论上讲，尽管TRW目标在边缘多面体的边界处具有无界梯度，但我们约束了所提出算法的次优性。从经验上讲，我们证明了通过在合成和现实世界的实例中收紧边缘多面体以及生成树多面体的松弛，可以提高结果的质量。
2015-11-25 cs.LG math.OC stat.ML
Variable Splitting Binary Tree Models Based on Bayesian Context Tree Models for Time Series Segmentation
Center for Data Science（数据科学中心）；Waseda University（早稻田大学）；Faculty of Informatics（信息学学院）；Gunma University（群马大学）；Dept. of Applied Mathematics（应用数学系）
本文提出基于贝叶斯上下文树模型的变量分割二叉树模型，用于时间序列分割，通过递归逻辑回归模型实现紧凑的树结构表示，并结合变分近似与CTW算法进行高效推断。
2026-01-22 cs.LG
Multiple Importance Sampling ELBO and Deep Ensembles of Variational Approximations
KTH Royal Institute of Technology（瑞典皇家理工学院）；Science for Life Laboratory（生命科学实验室）；University of Edinburgh（爱丁堡大学）
在变分推理（VI）中，使用标准证据下限（ELBO）或改进版本作为重要性加权ELBO（IWELBO）来估计边际对数似然。我们提出了多个重要性采样ELBO（MISELBO），一个\textit{versatile}还\textit{simple}框架。MISELBO适用于摊销和经典VI，它使用集合，例如，深合奏，独立推断变分近似。据我们所知，摊销VI中的深度集合概念以前尚未建立。我们证明，MISELBO提供了一个更严格的约束比标准ELBO的平均值，并证明经验，它给出了更严格的界限比IWELBO的平均值。MISELBO是评估密度估计实验，包括MNIST和几个真实数据的系统发育树推理问题。首先，在MNIST数据集上，MISELBO提高了最先进模型nouveau VAE的密度估计性能。其次，在系统发育树推理设置中，我们的框架增强了使用规范化流的最先进的VI算法。除了MISELBO的技术优势之外，它还可以揭示VI与重要性采样文献的最新进展之间的联系，为进一步的方法进步铺平道路。我们在\url{https://github.com/Lagergren-Lab/MISELBO}提供代码。
2022-02-22 cs.LG stat.AP
