Active learning of causal probability trees
Technical University of Denmark(丹麦技术大学)
在过去的二十年里,人们对将因果信息(通常使用因果图表示)与机器学习模型相结合的兴趣越来越大。概率树为因果信息提供了一种简单而强大的替代表示。它们使干预和反事实的计算,严格来说更一般,因为它们允许上下文相关的因果依赖关系。在这里,我们提出了一种贝叶斯方法,从干预和观察数据的组合学习概率树。该方法量化了干预措施的预期信息增益,并选择具有最大增益的干预措施。我们证明了模拟和真实数据的方法的效率。在有限的干预预算上学习概率树的有效方法将大大扩展其适用性。
2022-05-17 cs.LG stat.ME
Inference-Cost-Aware Dynamic Tree Construction for Efficient Inference in Large Language Models
Beihang University(北航大学);E Fund Management Co., Ltd.(E基金管理有限公司)
本文提出CAST方法,通过考虑推理成本优化动态树结构,显著提升大型语言模型的推理效率。
2026-02-26 cs.CL cs.LG
Probability Calibration Trees
University of Waikato(怀卡托大学);University of Auckland(奥克兰大学)
从分类器获得准确和良好校准的概率估计在许多应用中是有用的,例如,当最小化分类的预期成本时。现有的校准概率估计的方法是全局应用的,忽略了通过应用更细粒度的模型进行改进的潜力。我们提出了概率校准树,这是逻辑模型树的一种修改,它可以识别输入空间的区域,在这些区域中学习不同的概率校准模型以提高性能。我们比较概率校准树两个广泛使用的校准方法-保序回归和普拉特缩放-并表明,我们的方法的结果在较低的均方根误差平均比这两种方法,估计产生的各种基地学习。
2018-09-14 cs.LG stat.ML
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering(康科迪亚信息系统工程研究所);Concordia University(康科迪亚大学)
本文提出潜在狄利克雷树分配(LDTA),通过引入树状先验改进LDA,实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
Tree-Guided MCMC Inference for Normalized Random Measure Mixture Models
Pohang University of Science and Technology(浦项科技大学)
标准化随机测度(Normalized Random Measures,NRM)是一类离散随机测度,通常用作贝叶斯非参数模型的先验。Dirichlet过程是NRM的一个众所周知的例子。大多数NRM混合模型的后验推理方法依赖于MCMC方法,因为它们易于实现并且其收敛性已经得到了很好的研究。然而,MCMC经常遭受缓慢的收敛时,接受率低。基于树的推理是另一种确定性后验推理方法,其中贝叶斯层次聚类(BHC)或增量贝叶斯层次聚类(IBHC)已分别为DP或NRM混合(NRMM)模型开发。虽然IBHC是NRMM模型后验推理的一种很有前途的方法,因为它的效率和在线推理的适用性,但它的收敛性不能保证,因为它使用了在多次试验后简单地选择最佳解决方案的算法。本文结合MCMC和IBHC的优点,提出了一种NRMM模型的混合推理算法。IBHC构建的树概述了数据的分区,这指导了Metropolis-Hastings程序采用适当的建议。继承MCMC的性质,我们的树引导MCMC(tgMCMC)是保证收敛,并享受快速收敛由于有效的建议指导树。在合成数据集和真实数据集上的实验证明了我们方法的优点。
2015-11-18 cs.LG stat.ML
Joint Probability Trees
Institute for Artificial Intelligence, University of Bremen(不来梅大学人工智能研究所)
我们介绍了联合概率树(JPT),一种新的方法,使学习和推理联合概率分布易于处理的实际应用。JPT在单个混合模型中支持符号和子符号变量,并且它们不依赖于关于变量依赖性或分布族的先验知识。JPT表示建立在树结构上,该树结构将问题空间划分为从训练数据引出的相关子区域,而不是在学习之前假设严格的依赖模型。学习和推理在JPT中线性缩放,并且树结构允许关于任何后验概率$P(Q|E)$的白盒推理,使得可以为任何推理结果提供可解释的解释。我们的实验展示了JPT在具有数百万训练样本的高维异构概率空间中的实用性,使其成为经典概率图模型的一种有前途的替代方案。
2023-02-14 cs.AI cs.LG
Leaping through tree space: continuous phylogenetic inference for rooted and unrooted trees
University of Oxford(牛津大学);Imperial College London(伦敦帝国学院);University of Copenhagen(哥本哈根大学)
提出一种可微的连续树空间松弛方法,用于同时探索和推断有根与无根系统发育树,提升推断准确性并适用于数据极少的经验场景。
2024-01-23 cs.LG q-bio.PE
Probability Distribution on Rooted Trees
Waseda University(早稻田大学);Gunma University(群马大学);Shonan Institute of Technology(湘南工科大学)
有根树的分层和递归表达能力适用于表示各种领域中的统计模型,例如数据压缩、图像处理和机器学习。另一方面,这种层次化的表达能力在树的选择中引起问题,以避免过拟合。解决这个问题的一种统一方法是贝叶斯方法,在该方法中,有根树被视为随机变量,并且可以在所选模型或新数据点的预测值上假设直接损失函数。然而,据我们所知,以前所有关于这种方法的研究都是基于满树上的概率分布。在本文中,我们提出了一个广义概率分布的任何根树,其中只有最大数量的子节点和最大深度是固定的。此外,我们推导出递归方法来评估没有任何近似的概率分布的特性。
2022-01-24 cs.LG stat.ML
Conditional Probability Tree Estimation Analysis and Algorithms
IBM Research(IBM研究院);Yahoo! Research(雅虎研究院)
我们考虑的问题估计的条件概率的标签在时间$O(\log n)$,其中$n$是可能的标签的数量。我们分析了一个自然减少这个问题的一组二进制回归问题组织在一个树结构,证明了遗憾的范围,规模与深度的树。基于这种分析,我们提出了第一个在线算法,该算法可证明地在标签集上构建对数深度树来解决这个问题。我们测试的算法经验,表明它成功地工作在一个数据集与大致$10^6$标签。
2009-06-03 cs.AI cs.LG
Natural Language Inference by Tree-Based Convolution and Heuristic Matching
Peking University(北京大学);Baidu Inc.(百度公司)
在本文中,我们提出了TBCNN-pair模型来识别两个句子之间的蕴涵和矛盾。在我们的模型中,一个基于树的卷积神经网络(TBCNN)捕获句子级语义;然后启发式匹配层,如连接,元素乘积/差异组合单个句子中的信息。实验结果表明,我们的模型优于现有的句子编码为基础的方法由一个大的利润。
2016-05-13 cs.CL cs.LG
Conditional Probability Tree Estimation Analysis and Algorithms
我们考虑的问题估计的条件概率的标签在时间O(log n),其中n是可能的标签的数量。我们分析了一个自然减少这个问题的一组二进制回归问题组织在一个树结构,证明了遗憾的范围,规模与深度的树。基于这种分析,我们提出了第一个在线算法,该算法可证明地在标签集上构建对数深度树来解决这个问题。我们根据经验测试了该算法,结果表明它在大约106个标签的数据集上成功地工作。
2014-08-09 cs.LG stat.ML
Probability trees and the value of a single intervention
Technical University of Denmark(丹麦技术大学)
统计因果关系中最基本的问题是从有限的数据中确定因果关系。概率树,结合先验因果结构与贝叶斯更新,已被建议作为一种可能的解决方案。在这项工作中,我们量化的信息增益从一个单一的干预,并表明,预期的信息增益,之前进行干预,并从干预的预期收益有简单的表达式。这导致了一种主动学习方法,该方法简单地选择具有最高预期增益的干预,我们通过几个例子来说明。我们的工作展示了概率树及其参数的贝叶斯估计如何提供一种简单而可行的快速因果归纳方法。
2022-05-18 cs.LG stat.ME
Algorithms for Causal Reasoning in Probability Trees
DeepMind(深度思考)
概率树是因果生成过程中最简单的模型之一。它们具有清晰的语义,并且-与因果贝叶斯网络不同-它们可以表示特定于上下文的因果依赖关系,这对于因果归纳是必要的。然而,它们很少受到AI和ML社区的关注。在这里,我们提出了具体的算法,因果推理的离散概率树,涵盖了整个因果层次结构(协会,干预和反事实),并操作任意命题和因果事件。我们的工作扩展域的因果推理的一个非常一般的一类离散随机过程。
2020-11-12 cs.AI cs.LG
Phylogenetic Tree Inference with Tropical Axial Attention
Department of Operations Research, Naval Postgraduate School, Monterey, CA, USA;Max Planck Institute for Mathematics in the Sciences, Leipzig, Germany
本文提出一种基于热带轴注意力的神经推理架构,用最大加法运算替代传统softmax点积注意力,以动态规划形式构建分段线性结构。模型通过多物种序列比对学习所有可能的成对距离,并结合ℓ1和热带对称距离度量损失进行训练。研究显示,热带注意力为系统发育推断提供了自然的几何归纳偏差。
2026-08-07 cs.LG q-bio.PE
GeoPhy: Differentiable Phylogenetic Inference via Geometric Gradients of Tree Topologies
Waseda University(早稻田大学);RIKEN AIP(理化学研究所人工智能研究中心);AIST-Waseda CBBD-OIL(产业技术综合研究所-早稻田大学生物信息学与系统生物学联合研究中心);Nippon Medical School(日本医科大学)
GeoPhy 提出一种基于连续几何空间中拓扑分布表示的可微系统发育推断方法,在不限制候选树拓扑的情况下实现变分推断,并在真实基准数据集上显著优于其他近似贝叶斯方法。
2023-12-01 cs.LG q-bio.PE stat.ML
Classifying pairs with trees for supervised biological network inference
University of Liège(列日大学);MRC Laboratory of Molecular Biology(MRC分子生物学实验室)
网络在生物学中无处不在,计算方法已经被大量研究用于它们的推理。特别地,监督机器学习方法可以用于通过整合各种测量来完成部分已知的网络。已经提出了两种主要的监督框架:局部方法,它为每个网络节点训练一个单独的模型,以及全局方法,它在成对的节点上训练单个模型。在这里,我们系统地调查,理论和经验,开发基于树的集成方法的背景下,这两种方法的生物网络推理。我们首先将网络推理问题形式化为对的分类,在此过程中统一了齐次图和二分图,并讨论了两种主要的抽样方案。然后,我们提出了全球和本地的方法,扩展后两个看不见的网络节点之间的相互作用的预测,并讨论他们的专业化,以树为基础的集成方法,突出其可解释性和绘制链接与聚类技术。广泛的计算实验进行了这些方法在各种生物网络,清楚地强调,这些方法是有竞争力的现有方法。
2014-04-24 cs.LG stat.ML
Bayesian Inference in Monte-Carlo Tree Search
IBM TJ Watson Research Center(IBM TJ沃森研究中心)
蒙特卡罗树搜索(MCTS)方法在计算机围棋中取得突破性成果后,引起了人们极大的兴趣。本文提出了一种MCTS的贝叶斯方法,该方法受到UCT [13]等无分布方法的启发,但在重要方面有显着不同。贝叶斯框架允许潜在的更准确的(贝叶斯最优)估计节点值和节点的不确定性,从有限数量的模拟试验。我们进一步提出通过快速分析高斯近似方法在树中传播推理:这可以使贝叶斯推理的开销在Go等领域中易于管理,同时保持期望值估计的高准确性。我们发现UCT在理想化的Bandit-Tree测试环境中表现出色,通过与已知的地面实况进行比较,我们可以获得有价值的见解。此外,我们严格证明了政策和政策的收敛性所提出的方法。
2012-03-15 cs.AI cs.LG stat.ML
A Novel Computational Framework for Causal Inference: Tree-Based Discretization with ILP-Based Matching
Department of Mechanical and Industrial Engineering(机械与工业工程系)
本文提出结合基于树的离散化技术与基于整数线性规划的匹配算法,以提升因果推断中的计算效率和ATT估计的准确性。
2026-05-06 cs.LG stat.ML
TreeLUT: An Efficient Alternative to Deep Neural Networks for Inference Acceleration Using Gradient Boosted Decision Trees
University of Minnesota(明尼苏达大学)
本文提出开源工具TreeLUT,通过量化、硬件架构和流水线策略在FPGA上高效实现梯度提升决策树,仅用LUT资源,在保持竞争精度的同时显著提升硬件利用率、降低延迟并提高吞吐量。
2025-01-02 cs.AR cs.LG
Policy Compliance Detection via Expression Tree Inference
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学);Meta AI
政策合规性检测(PCD)是我们在推理文本(例如法律框架)时遇到的一项任务。以前解决PCD的工作在很大程度上依赖于将任务建模为识别文本蕴涵的特殊情况。蕴涵是适用于PCD的问题,然而,作为一个单一的命题,而不是多个相互关联的命题,政策的性能差,缺乏解释。为了应对这一挑战,最近提出的PCD主张分解成表达式树的政策与逻辑运算符连接的问题。问答用于获得关于场景的这些问题的答案。最后,对表达式树进行评估,以获得整体解决方案。然而,这项工作假设表达式树是由专家提供的,因此限制了它对新策略的适用性。在这项工作中,我们将学习如何从策略文本中自动推断表达式树。我们通过引入有限状态自动机的约束解码来确保推断树的有效性,以确保生成有效的树。我们通过自动评估确定,我们的约束生成模型生成的表达式树中有63%在逻辑上等同于黄金树。人工评估表明,我们的模型生成的树有88%是正确的。
2022-05-24 cs.CL cs.LG
ARTree: A Deep Autoregressive Model for Phylogenetic Inference
Peking University(北京大学)
提出基于图神经网络的深度自回归模型ARTree,通过分解树拓扑为叶节点添加序列并建模条件分布,实现无需启发式特征的系统发育推断,在真实数据基准上验证了有效性和效率。
2023-10-14 cs.LG q-bio.PE stat.ML
Fast Non-Parametric Bayesian Inference on Infinite Trees
注射了。从未知分布的数据,我们考虑预测未来项目的问题。估计概率密度的自适应方法是递归地将域细分为适当的数据相关粒度。贝叶斯将为“细分”分配一个与数据无关的先验概率,这将导致在无限(许多)树上的先验。我们推导出一个精确的,快速的,简单的推理算法,这样的先验,数据证据,预测分布,有效的模型维数,和其他数量。
2004-11-23 cs.LG math.PR math.ST
Tree-AMP: Compositional Inference with Tree Approximate Message Passing
CNRS(法国国家科学研究中心);École Normale Supérieure, PSL University(巴黎文理研究大学高等师范学院);CEA(法国原子能和替代能源委员会);Université Paris-Saclay(巴黎萨克雷大学)
Tree-AMP 是一个用于高维树结构模型组合推断的 Python 包,通过模块化因子图声明统一多种近似消息传递算法,并自动完成推断、状态演化与熵估计。
2021-12-11 cond-mat.dis-nn cs.LG eess.SP
Robust Inference of Trees
本文研究了未知分布生成数据的依赖结构的最优树逼近的可靠性推断问题。传统的处理方法是用互信息来度量随机变量之间的依赖强度。本文的可靠性是通过瓦利的不精确狄利克雷模型,它概括了贝叶斯学习与狄利克雷先验。采用不精确的Dirichlet模型的结果在后验区间期望的互信息,并在一组合理的树与数据一致。可靠的推理,实现了对实际树的子结构,重点是共同的所有似是而非的树。我们开发了一个精确的算法,在时间O(m^4)推断子结构,m是随机变量的数量。新算法被应用到一组从已知分布中采样的数据。该方法被证明是可靠的推断边缘的实际树,即使数据是非常稀缺的,不同于传统的方法。最后,在不精确Dirichlet模型下,给出了互信息的可信度上下限.这些使以前的发展被扩展到一个完整的推理方法的树木。
2005-11-25 cs.AI cs.IT cs.LG
Bethe-ADMM for Tree Decomposition based Parallel MAP Inference
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
我们考虑离散图模型中的最大后验概率(MAP)推断问题。提出了一种基于图的树分解和交替方向乘法器(ADMM)的并行MAP推理算法Bethe-ADMM。然而,与标准的ADMM,我们使用一个不精确的ADMM增强Bethe-divergence为基础的邻近函数,这使得ADMM中的每个子问题很容易解决并行使用和积算法。我们严格证明了Bethe-ADMM的全局收敛性。该算法被广泛评估合成和真实数据集,以说明其有效性。此外,并行Bethe-ADMM显示出几乎线性扩展的核心数量的增加。
2013-09-26 cs.AI cs.LG stat.ML
TreeBoN: Enhancing Inference-Time Alignment with Speculative Tree-Search and Best-of-N Sampling
针对推理时对齐中计算效率与输出质量难以平衡的问题,提出整合推测式树搜索与DPO token级奖励的TreeBoN框架,在相同成本下优于标准BoN采样,多数据集上实现稳定性能提升。
2025-09-03 cs.AI cs.CL cs.LG
SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
SpecInfer通过小型推测模型生成令牌树预测,并用基于树的并行解码机制由LLM统一验证,在保持模型质量的同时将生成式LLM服务加速1.5至3.5倍。
2024-04-01 cs.CL cs.DC cs.LG
Estimation and Inference with Trees and Forests in High Dimensions
Microsoft Research(微软研究院);MIT(麻省理工学院(MIT))
我们分析了有限的样本均值平方误差(MSE)性能的回归树和森林在高维政权的二进制功能,稀疏约束下。我们证明,如果只有$r$的$d$功能是相关的平均结果函数,然后浅树建立greenly通过CART经验MSE标准实现MSE率,仅依赖于周围的尺寸$d$的数学。我们证明了上界,其确切的依赖于相关变量$r$的数量取决于功能之间的相关性和相关程度。对于强相关的功能,我们还表明,完全成熟的诚实森林实现快速MSE率和他们的预测也是渐近正常的,使渐近有效的推理,适应稀疏的回归函数。
2020-10-21 cs.LG math.ST stat.TH
Exact Non-Parametric Bayesian Inference on Infinite Trees
注射了。从未知分布的数据,我们考虑预测未来项目的问题。估计概率密度的自适应方法是递归地将域细分为适当的数据相关粒度。贝叶斯将为“细分”分配一个与数据无关的先验概率,这将导致在无限(许多)树上的先验。我们推导出一个精确的,快速的,简单的推理算法,这样的先验,数据证据,预测分布,有效的模型维数,矩,和其他数量。我们证明了渐近收敛和一致性结果,并说明了我们的模型在一些原型函数上的行为。
2009-03-30 cs.LG math.PR math.ST
Approximation capability of neural networks on spaces of probability measures and tree-structured domains
Czech Technical University in Prague(捷克理工大学);Cisco Systems, Inc.(思科系统公司);Charles University(查理大学)
本文将欧氏空间上连续(甚至可测)函数空间中神经网络的稠密性证明推广到概率测度紧集上的函数。通过这样做的工作平行的平均映射嵌入的概率测度在再生核希尔伯特空间的一个多,然后十年的老结果。这项工作对多示例学习有着广泛的实际影响,它在理论上证明了一些最近提出的结构。然后将结果扩展到笛卡尔积,得到树结构域的通用近似定理,这些域自然会出现在JSON,XML,YAML,AVRO和ProtoBuffer等数据交换格式中。这具有重要的实际意义,因为它能够自动创建用于处理结构化数据(AutoML范式)的神经网络架构,如JSON格式的附带库所示。
2019-06-03 cs.LG stat.ML
TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling
TreePO通过自引导树状轨迹生成算法,结合动态采样、分段解码与早停剪枝,在推理基准上提升性能,为训练后模型节省22%-43%GPU小时,为扩展基于RL的大模型后训练提供高效路径。
2025-08-24 cs.CL cs.LG
Deep Generative Models for Phylogenetic Inference with Complex Evolutionary Processes
New York University(纽约大学)
该研究提出基于离散扩散框架的树条件生成模型,在复杂进化过程的系统发育推断中,比Phyloformer 2更准确,在现实数据上优于IQ-Tree。
2026-10-15 cs.LG q-bio.PE
Flow-based Alignment Approaches for Probability Measures in Different Spaces
RIKEN AIP(理化学研究所人工智能研究中心);University of California, Berkeley(加州大学伯克利分校);Kyoto University(京都大学)
Gromov-Wasserstein(GW)是比较支撑在不同度量空间上的概率测度的一个有力工具。然而,GW遭受计算缺陷,因为它需要解决一个复杂的非凸二次规划。我们认为在这项工作中的一个特定的家庭的成本指标,即\textit{tree metrics}空间的支持,每个概率测量,并旨在发展高效和可扩展的差异之间的概率测度。通过利用树结构,我们提出将\textit{flows}从根对齐到每个支持,而不是支持的成对树度量,即,从一个支架流向另一个支架,单位为GW。因此,我们提出了一种新的差异,命名为基于流量的对齐(\FlowAlign),通过匹配的概率测度的流量。我们发现,\FlowAlign ~共享一个类似的结构作为一个单变量的最佳运输距离。因此,\FlowAlign ~计算速度快,可扩展到大规模应用。通过进一步探索树结构,我们提出了\FlowAlign的一个变体,命名为基于深度的对齐(\DepthAlign),通过沿树结构的每个深度级别分层对齐流。理论上证明了\FlowAlign ~和\DepthAlign ~都是伪距离。此外,我们还推导出树切片的变体,通过平均相应的\FlowAlign ~/ \DepthAlign ~使用随机树度量,自适应地建立在空间的支持。根据经验,我们在一些基准任务上测试了我们提出的与其他基线的差异。
2020-06-17 cs.LG stat.ML
Controllable Graph Generation with Diffusion Models via Inference-Time Tree Search Guidance
University of Notre Dame(内布拉斯加大学);Independent Researcher(独立研究者);University of Connecticut(康涅狄格大学)
本文提出TreeDiff框架,通过MCTS引导双空间扩散模型实现可控图生成,解决传统方法控制不足的问题,实验显示其在分子生成中表现优异。
2026-03-17 cs.AI cs.CE cs.LG
Explaining predictive models with mixed features using Shapley values and conditional inference trees
Norwegian Computing Center(挪威计算中心)
解释复杂的黑箱机器学习模型变得越来越重要。虽然关于这个主题的文献越来越多,但Shapley值作为解释任何类型的机器学习模型预测的合理方法脱颖而出。用于预测解释的Shapley值的最初发展依赖于所描述的特征是独立的假设。然后扩展该方法以解释具有基础连续分布的相关特征。在本文中,我们提出了一种方法来解释混合(即连续的,离散的,有序的,和分类)依赖的功能,通过建模的依赖结构的功能,使用条件推理树。我们证明了我们提出的方法对目前的行业标准在各种模拟研究,发现我们的方法往往优于其他方法。最后,我们将我们的方法应用于2018年FICO可解释机器学习挑战赛中使用的真实财务数据集,并展示我们的解释与FICO挑战赛认可奖获奖团队的比较。
2020-07-02 cs.LG stat.ML
Bayesian Learning of Clique Tree Structure
The Johns Hopkins Applied Physics Laboratory(约翰斯·霍普金斯应用物理实验室)
研究了高维分类数据的分析问题。讨论了概率建模的基本困难,并提出了一种基于团树分解的贝叶斯学习的高维概率分布推导的解决方案。本文的主要贡献是一个自动确定的最佳集团树结构的概率建模,由此产生的概率分布,并相应的统一的方法来聚类和异常检测的概率分布的基础上。
2017-08-23 cs.LG math.PR stat.ML
TreeWalker: Partial Evaluation for Grouped Tree-Ensemble Inference
Shopify
TreeWalker 通过偏特化求值对分组树集成推理进行优化,每组遍历一次树,跳过空子树,在多种配置下显著加速,并保持数值精度。
2026-10-21 cs.LG cs.PF cs.PL
Probability Distribution on Full Rooted Trees
Waseda University(早稻田大学);Gunma University(群马大学);Shonan Institute of Technology(湘南工科大学)
全根树的递归和分层结构适用于表示各种领域中的统计模型,例如数据压缩、图像处理和机器学习。在大多数情况下,完全有根树不是随机变量;因此,避免过拟合的模型选择变得有问题。解决这一问题的一种方法是假设满根树的先验分布。这使得基于贝叶斯决策理论的最优模型选择成为可能。例如,通过将低先验概率分配给复杂模型,最大后验概率估计器防止选择复杂模型。此外,我们可以平均所有模型的加权后验。在本文中,我们提出了一个概率分布上的一组满根树。它的参数表示适合于使用递归函数计算我们的分布的性质,例如众数、期望和后验分布。虽然在以前的研究中已经提出了这样的分布,但它们只适用于特定的应用。因此,我们提取了它们的数学本质成分,并导出了新的广义方法来计算期望、后验分布等。
2022-01-23 cs.DM cs.LG stat.ML
Learnable Topological Features for Phylogenetic Inference via Graph Neural Networks
Peking University(北京大学)
系统发育树拓扑结构信息在系统发育推断中起着重要作用。然而,为特定的系统发育推理任务找到合适的拓扑结构往往需要大量的设计工作和领域专业知识。本文提出了一种新的基于可学习拓扑特征的系统发育推理结构表示方法。通过将最小化Dirichlet能量的原始节点特征与现代图表示学习技术相结合,我们的可学习拓扑特征可以提供系统发育树的有效结构信息,这些系统发育树自动适应不同的下游任务,而无需领域专业知识。我们证明了我们的方法的有效性和效率的模拟数据树概率估计任务和挑战性的真实数据变分贝叶斯系统发育推理问题的基准。
2023-02-17 cs.LG q-bio.PE stat.ML
Efficient Encrypted Inference on Ensembles of Decision Trees
IBM Research AI(IBM研究院AI部门);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);University at Buffalo, SUNY(纽约州立大学布法罗分校);Microsoft Research(微软研究院)
数据隐私问题通常会阻止将基于云的机器学习服务用于敏感的个人数据。虽然同态加密(HE)通过实现对加密数据的计算提供了潜在的解决方案,但挑战在于获得在分级HE方案的乘法深度约束内工作的准确的机器学习模型。用于加密推断的现有方法或者对预先训练的模型进行特别简化(例如,用软比较器替换决策树中的硬比较),或者使用原始训练集直接训练新的深度约束模型。在这项工作中,我们提出了一个框架,将复杂的决策树集成提取的知识转移到浅层神经网络(简称DTNets),这是非常有利于加密推理。我们的方法通过搜索在给定深度约束内运行的最佳DTNet架构,并仅使用从训练数据分布中采样的合成数据来训练该DTNet,从而最大限度地减少了精度损失。在真实世界数据集上进行的大量实验表明,这些特征对于确保DTNet的准确性接近原始树集成的准确性至关重要。我们的系统是高度可扩展的,可以执行有效的推理批量加密(134位的安全)的数据与摊销时间毫秒。这比在集成树的内部节点处应用软比较的标准方法快大约三个数量级。
2021-03-05 cs.AI cs.CR cs.LG
Variational phylogenetic inference with products over bipartitions
Simon Fraser University(西蒙弗雷泽大学)
本文提出了一种基于二分划分乘积的变分方法,用于高效推断超度量系统发育树,实现了在树空间上的直接推断,无需MCMC子程序,并在实验中展示了更高的效率和准确性。
2026-02-12 cs.LG stat.AP stat.ML
Tree Matching Networks for Natural Language Inference: Parameter-Efficient Semantic Understanding via Dependency Parse Trees
Eastern Washington University(东部华盛顿大学)
树匹配网络通过依赖解析树实现参数高效的自然语言推理,显著提升SNLI任务性能,同时减少内存和训练时间。
2025-12-16 cs.AI cs.CL cs.LG
Correcting Split Selection in Online Decision Trees via Anytime-Valid Inference
J.P. Morgan AI Research(摩根大通AI研究)
针对在线决策树分裂选择缺乏有效统计保证的问题,提出基于随时有效推断的方法,实现任意数据流下错误分裂的随时有效控制、预测优势下的有限承诺时间,并在平稳独立同分布数据下保证风险单调递减且每次分裂严格改善。
2026-05-29 cs.AI cs.LG stat.ML
Fast inference of Boosted Decision Trees in FPGAs for particle physics
European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Columbia University(哥伦比亚大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Massachusetts Institute of Technology(麻省理工学院);Rhodes College(罗德学院);Fermi National Accelerator Laboratory(费米国家加速器实验室);Institute of Physics Belgrade(贝尔格莱德物理研究所);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
我们描述了提升决策树在hls 4 ml库中的实现,该库允许通过自动转换过程将训练模型转换为FPGA固件。由于其完全的片上实现,hls 4 ml以极低的延迟执行Boosted Decision Tree模型的推理。该解决方案的典型延迟小于100 ns,适用于基于FPGA的实时处理,例如对撞机实验的Level-1触发系统。这些发展为物理学家在FPGA中部署BDT开辟了前景,以识别喷流的起源,更好地重建μ子的能量,并能够更好地选择罕见的信号过程。
2020-02-19 astro-ph.IM cs.LG hep-ex
Learning high-dimensional probability distributions using tree tensor networks
Centrale Nantes(南特中央理工学院);Laboratoire de Mathématiques Jean Leray(让·勒雷数学实验室);CNRS(法国国家科学研究中心);Naval Group(海军集团);Airbus Central Research & Technology(空客中央研究与技术中心)
我们考虑由独立同分布估计高维概率分布的问题。使用基于树的张量格式的函数的模型类的分布的样本,与维度划分树相关联的张量网络的特定情况。该分布被假定为允许相对于乘积测度的密度,对于处理离散随机变量的情况,该密度可能是离散的。在讨论了基于树的张量格式的经典模型类的表示之后,我们提出了基于经验风险最小化的学习算法,使用$L^2$对比。这些算法利用格式的多线性参数化,将非线性最小化问题转换为一系列具有线性模型的经验风险最小化问题。基于树的张量格式中的张量的适当参数化允许获得具有正交基的线性模型,使得每个问题允许解的显式表达和交叉验证风险估计。风险的这些估计使得能够进行模型选择,例如当利用表示的系数中的稀疏性时。提供了一种适应张量格式(维度树和基于树的秩)的策略,该策略允许发现和利用高维概率分布的一些特定结构,例如独立性或条件独立性。我们举例说明了所提出的算法的经典概率模型(如高斯分布,图形模型,马尔可夫链)的近似性能。
2021-05-20 cs.LG cs.NA math.NA