Enterprise-Scale Search: Accelerating Inference for Sparse Extreme Multi-Label Ranking Trees
Stanford University(斯坦福大学);Amazon Search(亚马逊搜索)
基于树的模型由于其次线性推理时间而支撑许多现代语义搜索引擎和推荐系统。在工业应用中,这些模型在极端规模下运行,其中每一点性能都至关重要。在极端尺度下的内存限制也要求模型是稀疏的,因此基于树的模型通常由稀疏矩阵代数例程后端处理。然而,目前还没有专门为稀疏结构设计的稀疏矩阵技术,在基于树的模型中遇到极端的多标签排名/分类(XMR/XMC)问题。为了解决这个问题,我们提出了屏蔽稀疏块乘法(MSCM)技术,一个稀疏矩阵技术专门为XMR树。MSCM易于实现,可并行化,并免费为任何现有的树推理流水线提供显着的性能提升。我们进行了一个全面的研究MSCM应用到几个不同的稀疏推理方案和基准我们的方法上的通用极端多标签排名框架。我们观察到MSCM在在线和批量推理设置、单线程和多线程设置以及许多不同的树模型和数据集上都提供了一致的显著加速。为了证明其在工业应用中的实用性,我们将MSCM应用于具有1亿种产品的企业级语义产品搜索问题,并在单个线程上实现了每次查询0.88 ms的亚毫秒延迟-延迟比香草推理技术减少了8倍。MSCM技术绝对不需要牺牲模型精度,因为它给出了与标准稀疏矩阵技术完全相同的结果。因此,我们相信MSCM将使XMR树的用户能够以非常小的成本在其推理管道中节省大量的计算资源。
2022-02-23 cs.LG
Controllable Graph Generation with Diffusion Models via Inference-Time Tree Search Guidance
University of Notre Dame(内布拉斯加大学);Independent Researcher(独立研究者);University of Connecticut(康涅狄格大学)
本文提出TreeDiff框架,通过MCTS引导双空间扩散模型实现可控图生成,解决传统方法控制不足的问题,实验显示其在分子生成中表现优异。
2026-03-17 cs.AI cs.CE cs.LG
Inference-Cost-Aware Dynamic Tree Construction for Efficient Inference in Large Language Models
Beihang University(北航大学);E Fund Management Co., Ltd.(E基金管理有限公司)
本文提出CAST方法,通过考虑推理成本优化动态树结构,显著提升大型语言模型的推理效率。
2026-02-26 cs.CL cs.LG
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering(康科迪亚信息系统工程研究所);Concordia University(康科迪亚大学)
本文提出潜在狄利克雷树分配(LDTA),通过引入树状先验改进LDA,实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
Tree-Guided MCMC Inference for Normalized Random Measure Mixture Models
Pohang University of Science and Technology(浦项科技大学)
标准化随机测度(Normalized Random Measures,NRM)是一类离散随机测度,通常用作贝叶斯非参数模型的先验。Dirichlet过程是NRM的一个众所周知的例子。大多数NRM混合模型的后验推理方法依赖于MCMC方法,因为它们易于实现并且其收敛性已经得到了很好的研究。然而,MCMC经常遭受缓慢的收敛时,接受率低。基于树的推理是另一种确定性后验推理方法,其中贝叶斯层次聚类(BHC)或增量贝叶斯层次聚类(IBHC)已分别为DP或NRM混合(NRMM)模型开发。虽然IBHC是NRMM模型后验推理的一种很有前途的方法,因为它的效率和在线推理的适用性,但它的收敛性不能保证,因为它使用了在多次试验后简单地选择最佳解决方案的算法。本文结合MCMC和IBHC的优点,提出了一种NRMM模型的混合推理算法。IBHC构建的树概述了数据的分区,这指导了Metropolis-Hastings程序采用适当的建议。继承MCMC的性质,我们的树引导MCMC(tgMCMC)是保证收敛,并享受快速收敛由于有效的建议指导树。在合成数据集和真实数据集上的实验证明了我们方法的优点。
2015-11-18 cs.LG stat.ML
Causal Inference Based Single-branch Ensemble Trees For Uplift Modeling
Everbright Technology Co. LTD(光大科技有限公司)
在这篇手稿(MS)中,我们提出了因果推理为基础的单分支集成树隆起建模,即CIET。与预测概率建模的标准分类方法不同,CIET旨在实现由行为或治疗引起的结果预测概率的变化。根据我们的CIET,两个划分标准是专门设计的,以最大限度地提高治疗组和对照组之间的结果分布差异。接下来,一个新的单分支树是建立通过采取自顶向下的节点划分方法,和其余的样本进行审查,因为他们没有被覆盖的上层节点划分逻辑。在删失数据上重复树的构建过程,从而形成具有一组推理规则的单分支集成树。此外,实验表明,CIET优于以往的隆升模拟方法在隆升曲线下的面积(AUUC)和基尼系数显着。目前,信投贷已在国内某国家级金融控股集团应用于线上个人贷款。CIET还将有助于分析师将机器学习技术应用于更广泛的商业领域,如网络广告,医学和经济学的因果推理。
2023-02-03 cs.LG
Tree-AMP: Compositional Inference with Tree Approximate Message Passing
CNRS(法国国家科学研究中心);École Normale Supérieure, PSL University(巴黎文理研究大学高等师范学院);CEA(法国原子能和替代能源委员会);Université Paris-Saclay(巴黎萨克雷大学)
Tree-AMP 是一个用于高维树结构模型组合推断的 Python 包,通过模块化因子图声明统一多种近似消息传递算法,并自动完成推断、状态演化与熵估计。
2021-12-11 cond-mat.dis-nn cs.LG eess.SP
Leaping through tree space: continuous phylogenetic inference for rooted and unrooted trees
University of Oxford(牛津大学);Imperial College London(伦敦帝国学院);University of Copenhagen(哥本哈根大学)
提出一种可微的连续树空间松弛方法,用于同时探索和推断有根与无根系统发育树,提升推断准确性并适用于数据极少的经验场景。
2024-01-23 cs.LG q-bio.PE
On Probability Distributions for Trees: Representations, Inference and Learning
Laboratoire d’Informatique Fondamentale de Marseille (L.I.F.)(马赛基础信息实验室);UMR CNRS 6166(法国国家科学研究中心6166联合研究单位);INRIA Futurs(法国国家信息与自动化研究所未来分部);Lille University(里尔大学);ÉNS de Cachan, Brittany extension(卡尚高等师范学院布列塔尼分校)
本文研究树的自由代数上的概率分布。概率分布可以看作是特殊的(形式幂)树序列[Berstel et al 82,Esik et al 03],即从树到半环K的映射。一类被广泛研究的树级数是有理(或可识别)树级数,它可以用代数方法或多重树自动机来定义。我们认为,代数表示是非常方便的模型概率分布的树的自由代数。首先,在字符串的情况下,代数表示允许设计学习算法的概率分布定义的有理树系列的整个类。注意,有理树序列的学习算法对应于加权树自动机的学习算法,其中结构和权重都被学习。其次,代数表示可以很容易地扩展到处理未排名的树(如XML树,其中符号可能有无限数量的子节点)。这两个属性都与应用程序特别相关:非确定性自动机需要推理问题相关(回忆隐马尔可夫模型等价于非确定性字符串自动机);现在Web信息抽取,Web服务和文档处理的应用程序考虑未排名的树。
2008-07-18 cs.LG
GeoPhy: Differentiable Phylogenetic Inference via Geometric Gradients of Tree Topologies
Waseda University(早稻田大学);RIKEN AIP(理化学研究所人工智能研究中心);AIST-Waseda CBBD-OIL(产业技术综合研究所-早稻田大学生物信息学与系统生物学联合研究中心);Nippon Medical School(日本医科大学)
GeoPhy 提出一种基于连续几何空间中拓扑分布表示的可微系统发育推断方法,在不限制候选树拓扑的情况下实现变分推断,并在真实基准数据集上显著优于其他近似贝叶斯方法。
2023-12-01 cs.LG q-bio.PE stat.ML
Natural Language Inference by Tree-Based Convolution and Heuristic Matching
Peking University(北京大学);Baidu Inc.(百度公司)
在本文中,我们提出了TBCNN-pair模型来识别两个句子之间的蕴涵和矛盾。在我们的模型中,一个基于树的卷积神经网络(TBCNN)捕获句子级语义;然后启发式匹配层,如连接,元素乘积/差异组合单个句子中的信息。实验结果表明,我们的模型优于现有的句子编码为基础的方法由一个大的利润。
2016-05-13 cs.CL cs.LG
Efficient Encrypted Inference on Ensembles of Decision Trees
IBM Research AI(IBM研究院AI部门);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);University at Buffalo, SUNY(纽约州立大学布法罗分校);Microsoft Research(微软研究院)
数据隐私问题通常会阻止将基于云的机器学习服务用于敏感的个人数据。虽然同态加密(HE)通过实现对加密数据的计算提供了潜在的解决方案,但挑战在于获得在分级HE方案的乘法深度约束内工作的准确的机器学习模型。用于加密推断的现有方法或者对预先训练的模型进行特别简化(例如,用软比较器替换决策树中的硬比较),或者使用原始训练集直接训练新的深度约束模型。在这项工作中,我们提出了一个框架,将复杂的决策树集成提取的知识转移到浅层神经网络(简称DTNets),这是非常有利于加密推理。我们的方法通过搜索在给定深度约束内运行的最佳DTNet架构,并仅使用从训练数据分布中采样的合成数据来训练该DTNet,从而最大限度地减少了精度损失。在真实世界数据集上进行的大量实验表明,这些特征对于确保DTNet的准确性接近原始树集成的准确性至关重要。我们的系统是高度可扩展的,可以执行有效的推理批量加密(134位的安全)的数据与摊销时间毫秒。这比在集成树的内部节点处应用软比较的标准方法快大约三个数量级。
2021-03-05 cs.AI cs.CR cs.LG
Fast Non-Parametric Bayesian Inference on Infinite Trees
注射了。从未知分布的数据,我们考虑预测未来项目的问题。估计概率密度的自适应方法是递归地将域细分为适当的数据相关粒度。贝叶斯将为“细分”分配一个与数据无关的先验概率,这将导致在无限(许多)树上的先验。我们推导出一个精确的,快速的,简单的推理算法,这样的先验,数据证据,预测分布,有效的模型维数,和其他数量。
2004-11-23 cs.LG math.PR math.ST
Tree Matching Networks for Natural Language Inference: Parameter-Efficient Semantic Understanding via Dependency Parse Trees
Eastern Washington University(东部华盛顿大学)
树匹配网络通过依赖解析树实现参数高效的自然语言推理,显著提升SNLI任务性能,同时减少内存和训练时间。
2025-12-16 cs.AI cs.CL cs.LG
Exact Non-Parametric Bayesian Inference on Infinite Trees
注射了。从未知分布的数据,我们考虑预测未来项目的问题。估计概率密度的自适应方法是递归地将域细分为适当的数据相关粒度。贝叶斯将为“细分”分配一个与数据无关的先验概率,这将导致在无限(许多)树上的先验。我们推导出一个精确的,快速的,简单的推理算法,这样的先验,数据证据,预测分布,有效的模型维数,矩,和其他数量。我们证明了渐近收敛和一致性结果,并说明了我们的模型在一些原型函数上的行为。
2009-03-30 cs.LG math.PR math.ST
ARTree: A Deep Autoregressive Model for Phylogenetic Inference
Peking University(北京大学)
提出基于图神经网络的深度自回归模型ARTree,通过分解树拓扑为叶节点添加序列并建模条件分布,实现无需启发式特征的系统发育推断,在真实数据基准上验证了有效性和效率。
2023-10-14 cs.LG q-bio.PE stat.ML
Correcting Split Selection in Online Decision Trees via Anytime-Valid Inference
J.P. Morgan AI Research(摩根大通AI研究)
针对在线决策树分裂选择缺乏有效统计保证的问题,提出基于随时有效推断的方法,实现任意数据流下错误分裂的随时有效控制、预测优势下的有限承诺时间,并在平稳独立同分布数据下保证风险单调递减且每次分裂严格改善。
2026-05-29 cs.AI cs.LG stat.ML
SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
SpecInfer通过小型推测模型生成令牌树预测,并用基于树的并行解码机制由LLM统一验证,在保持模型质量的同时将生成式LLM服务加速1.5至3.5倍。
2024-04-01 cs.CL cs.DC cs.LG
Phylogenetic Tree Inference with Tropical Axial Attention
Department of Operations Research, Naval Postgraduate School, Monterey, CA, USA;Max Planck Institute for Mathematics in the Sciences, Leipzig, Germany
本文提出一种基于热带轴注意力的神经推理架构,用最大加法运算替代传统softmax点积注意力,以动态规划形式构建分段线性结构。模型通过多物种序列比对学习所有可能的成对距离,并结合ℓ1和热带对称距离度量损失进行训练。研究显示,热带注意力为系统发育推断提供了自然的几何归纳偏差。
2026-08-07 cs.LG q-bio.PE
Estimation and Inference with Trees and Forests in High Dimensions
Microsoft Research(微软研究院);MIT(麻省理工学院(MIT))
我们分析了有限的样本均值平方误差(MSE)性能的回归树和森林在高维政权的二进制功能,稀疏约束下。我们证明,如果只有$r$的$d$功能是相关的平均结果函数,然后浅树建立greenly通过CART经验MSE标准实现MSE率,仅依赖于周围的尺寸$d$的数学。我们证明了上界,其确切的依赖于相关变量$r$的数量取决于功能之间的相关性和相关程度。对于强相关的功能,我们还表明,完全成熟的诚实森林实现快速MSE率和他们的预测也是渐近正常的,使渐近有效的推理,适应稀疏的回归函数。
2020-10-21 cs.LG math.ST stat.TH
Privacy-Preserving Tree-Based Inference with TFHE
Zama(扎马)
本文研究如何利用全同态加密(TFHE)对决策树、随机森林和梯度提升树等树模型进行隐私保护推理,并在Concrete-ML库中实现,实验表明其加密版本在准确性上接近未加密版本。
2023-08-07 cs.AI cs.CR cs.LG
Classifying pairs with trees for supervised biological network inference
University of Liège(列日大学);MRC Laboratory of Molecular Biology(MRC分子生物学实验室)
网络在生物学中无处不在,计算方法已经被大量研究用于它们的推理。特别地,监督机器学习方法可以用于通过整合各种测量来完成部分已知的网络。已经提出了两种主要的监督框架:局部方法,它为每个网络节点训练一个单独的模型,以及全局方法,它在成对的节点上训练单个模型。在这里,我们系统地调查,理论和经验,开发基于树的集成方法的背景下,这两种方法的生物网络推理。我们首先将网络推理问题形式化为对的分类,在此过程中统一了齐次图和二分图,并讨论了两种主要的抽样方案。然后,我们提出了全球和本地的方法,扩展后两个看不见的网络节点之间的相互作用的预测,并讨论他们的专业化,以树为基础的集成方法,突出其可解释性和绘制链接与聚类技术。广泛的计算实验进行了这些方法在各种生物网络,清楚地强调,这些方法是有竞争力的现有方法。
2014-04-24 cs.LG stat.ML
InTreeger: An End-to-End Framework for Integer-Only Decision Tree Inference
University of Twente(特文特大学)
针对量化误差影响树模型推理性能的问题,提出端到端框架InTreeger,可生成无精度损失的架构无关纯整数C语言决策树实现,在多架构上实现推理延迟提升与能效优化,适配资源受限设备。
2025-05-21 cs.LG
Adaptive Variational Inference in Probabilistic Graphical Models: Beyond Bethe, Tree-Reweighted, and Convex Free Energies
Graz University of Technology(格拉茨工业大学)
本文分析了两类包含Bethe近似、树重加权和凸自由能作为特例的近似方法,据此提出能够自动适应给定模型的自由能近似,并在多个困难问题上验证了其有效性。
2025-02-05 cs.AI cs.LG stat.ML
Diffusion Tree Sampling: Scalable inference-time alignment of diffusion models
School of Computer Science, McGill University(计算机科学系,麦吉尔大学);Mila - Quebec Artificial Intelligence Institute(魁北克人工智能研究所)
受Monte Carlo Tree Search启发,提出Diffusion Tree Sampling及其贪心变体DTS$^\star$,通过重用过去计算并沿扩散链传播终端奖励来细化价值估计,实现扩散模型在推理时的可扩展对齐,在多项任务中以更少计算量匹配最佳基线。
2025-06-25 cs.AI cs.LG stat.ML
A Novel Computational Framework for Causal Inference: Tree-Based Discretization with ILP-Based Matching
Department of Mechanical and Industrial Engineering(机械与工业工程系)
本文提出结合基于树的离散化技术与基于整数线性规划的匹配算法,以提升因果推断中的计算效率和ATT估计的准确性。
2026-05-06 cs.LG stat.ML
TreeLUT: An Efficient Alternative to Deep Neural Networks for Inference Acceleration Using Gradient Boosted Decision Trees
University of Minnesota(明尼苏达大学)
本文提出开源工具TreeLUT,通过量化、硬件架构和流水线策略在FPGA上高效实现梯度提升决策树,仅用LUT资源,在保持竞争精度的同时显著提升硬件利用率、降低延迟并提高吞吐量。
2025-01-02 cs.AR cs.LG
Policy Compliance Detection via Expression Tree Inference
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学);Meta AI
政策合规性检测(PCD)是我们在推理文本(例如法律框架)时遇到的一项任务。以前解决PCD的工作在很大程度上依赖于将任务建模为识别文本蕴涵的特殊情况。蕴涵是适用于PCD的问题,然而,作为一个单一的命题,而不是多个相互关联的命题,政策的性能差,缺乏解释。为了应对这一挑战,最近提出的PCD主张分解成表达式树的政策与逻辑运算符连接的问题。问答用于获得关于场景的这些问题的答案。最后,对表达式树进行评估,以获得整体解决方案。然而,这项工作假设表达式树是由专家提供的,因此限制了它对新策略的适用性。在这项工作中,我们将学习如何从策略文本中自动推断表达式树。我们通过引入有限状态自动机的约束解码来确保推断树的有效性,以确保生成有效的树。我们通过自动评估确定,我们的约束生成模型生成的表达式树中有63%在逻辑上等同于黄金树。人工评估表明,我们的模型生成的树有88%是正确的。
2022-05-24 cs.CL cs.LG
Advancing Tool-Augmented Large Language Models: Integrating Insights from Errors in Inference Trees
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Alibaba International Digital Commerce(阿里巴巴国际数字商业集团);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
针对现有工具增强LLM仅用推理树成功路径训练的局限,提出基于偏好学习的推理轨迹优化框架,构建分步偏好数据并结合DPO训练得到TP-LLaMA,性能、泛化性和推理效率均显著提升。
2025-03-21 cs.AI cs.CL cs.LG
TreeWalker: Partial Evaluation for Grouped Tree-Ensemble Inference
Shopify
TreeWalker 通过偏特化求值对分组树集成推理进行优化,每组遍历一次树,跳过空子树,在多种配置下显著加速,并保持数值精度。
2026-10-21 cs.LG cs.PF cs.PL
Learnable Topological Features for Phylogenetic Inference via Graph Neural Networks
Peking University(北京大学)
系统发育树拓扑结构信息在系统发育推断中起着重要作用。然而,为特定的系统发育推理任务找到合适的拓扑结构往往需要大量的设计工作和领域专业知识。本文提出了一种新的基于可学习拓扑特征的系统发育推理结构表示方法。通过将最小化Dirichlet能量的原始节点特征与现代图表示学习技术相结合,我们的可学习拓扑特征可以提供系统发育树的有效结构信息,这些系统发育树自动适应不同的下游任务,而无需领域专业知识。我们证明了我们的方法的有效性和效率的模拟数据树概率估计任务和挑战性的真实数据变分贝叶斯系统发育推理问题的基准。
2023-02-17 cs.LG q-bio.PE stat.ML
TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling
TreePO通过自引导树状轨迹生成算法,结合动态采样、分段解码与早停剪枝,在推理基准上提升性能,为训练后模型节省22%-43%GPU小时,为扩展基于RL的大模型后训练提供高效路径。
2025-08-24 cs.CL cs.LG
Deep Generative Models for Phylogenetic Inference with Complex Evolutionary Processes
New York University(纽约大学)
该研究提出基于离散扩散框架的树条件生成模型,在复杂进化过程的系统发育推断中,比Phyloformer 2更准确,在现实数据上优于IQ-Tree。
2026-10-15 cs.LG q-bio.PE
Variational phylogenetic inference with products over bipartitions
Simon Fraser University(西蒙弗雷泽大学)
本文提出了一种基于二分划分乘积的变分方法,用于高效推断超度量系统发育树,实现了在树空间上的直接推断,无需MCMC子程序,并在实验中展示了更高的效率和准确性。
2026-02-12 cs.LG stat.AP stat.ML
Fast inference of Boosted Decision Trees in FPGAs for particle physics
European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Columbia University(哥伦比亚大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Massachusetts Institute of Technology(麻省理工学院);Rhodes College(罗德学院);Fermi National Accelerator Laboratory(费米国家加速器实验室);Institute of Physics Belgrade(贝尔格莱德物理研究所);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
我们描述了提升决策树在hls 4 ml库中的实现,该库允许通过自动转换过程将训练模型转换为FPGA固件。由于其完全的片上实现,hls 4 ml以极低的延迟执行Boosted Decision Tree模型的推理。该解决方案的典型延迟小于100 ns,适用于基于FPGA的实时处理,例如对撞机实验的Level-1触发系统。这些发展为物理学家在FPGA中部署BDT开辟了前景,以识别喷流的起源,更好地重建μ子的能量,并能够更好地选择罕见的信号过程。
2020-02-19 astro-ph.IM cs.LG hep-ex
Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院);AI Center Tübingen(图宾根人工智能中心);University of Tübingen(图宾根大学);ELLIS Institute Tübingen(图宾根ELLIS研究所);IMPRS-IS(图宾根IMPRS-IS)
本文提出Distinct Leaf Enumeration方法,通过系统性地枚举不同叶子节点提升解码效率,减少冗余生成,在数学、编码和通用推理任务中表现更优。
2026-04-22 cs.LG
Explaining predictive models with mixed features using Shapley values and conditional inference trees
Norwegian Computing Center(挪威计算中心)
解释复杂的黑箱机器学习模型变得越来越重要。虽然关于这个主题的文献越来越多,但Shapley值作为解释任何类型的机器学习模型预测的合理方法脱颖而出。用于预测解释的Shapley值的最初发展依赖于所描述的特征是独立的假设。然后扩展该方法以解释具有基础连续分布的相关特征。在本文中,我们提出了一种方法来解释混合(即连续的,离散的,有序的,和分类)依赖的功能,通过建模的依赖结构的功能,使用条件推理树。我们证明了我们提出的方法对目前的行业标准在各种模拟研究,发现我们的方法往往优于其他方法。最后,我们将我们的方法应用于2018年FICO可解释机器学习挑战赛中使用的真实财务数据集,并展示我们的解释与FICO挑战赛认可奖获奖团队的比较。
2020-07-02 cs.LG stat.ML
Learning Decision Trees as Amortized Structure Inference
Technical University of Munich(慕尼黑工业大学);University of Edinburgh(爱丁堡大学);Vector Institute(向量研究所);The Hospital for Sick Children(病童医院)
本文提出 DT-GFN,将决策树构建形式化为序列规划问题,用 GFlowNet 深度强化学习从贝叶斯后验采样决策树,在分类、分布偏移鲁棒性和异常检测上优于现有方法,且性能随集成规模一致扩展。
2025-03-10 cs.LG
Exact inference under the perfect phylogeny model
Boston College(波士顿学院);Element AI;Tufts University(塔夫茨大学)
动机:许多推理工具使用完美系统发育模型(PPM)从嘈杂的变异等位基因频率(VAF)数据中学习树。在这种情况下学习是困难的,现有的工具使用近似或启发式算法。算法的改进是很重要的,以帮助解开PPM的假设的局限性,在我们的能力,学习下it.Results的限制:我们这样的改进的情况下,是相关的进化的突变,可以被聚集成一个小数目的组,和要重建的树有一个小数目的节点。我们使用一个精心组合的算法,软件和硬件,开发EXACT:一个工具,可以探索所有可能的系统发育树的空间,并执行精确的推断下PPM与噪声数据。EXACT允许用户不仅获得某些输入数据的最可能的树,而且还可以获得有关树分布的精确统计数据,这些统计数据可能解释数据。我们表明,EXACT优于几个现有的工具,这同样的任务。可用性:https://github.com/surjray-repos/EXACT
2019-08-22 cs.DS cs.LG q-bio.QM
Robust Decision Trees Against Adversarial Examples
MIT(麻省理工学院);UCLA(加州大学洛杉矶分校)
尽管对抗性样本和模型鲁棒性在线性模型和神经网络的背景下已经得到了广泛的研究,但在基于树的模型中对这个问题以及如何使基于树的模型对对抗性样本鲁棒的研究仍然有限。在本文中,我们证明了基于树的模型也容易受到对抗性示例的影响,并开发了一种新的算法来学习鲁棒树。其核心是,我们的方法旨在优化输入特征最坏情况扰动下的性能,这会导致最大-最小鞍点问题。由于树的离散性质,将这个鞍点目标扩展到决策树构建过程中是不平凡的-根据这个鞍点目标找到最佳分割的天真方法将花费指数时间。为了使我们的方法实用和可扩展,我们提出了有效的树构建算法,通过近似的内部极小在这个鞍点问题,并提出了有效的实现经典的信息增益为基础的树,以及国家的最先进的树提升模型,如XGBoost。在真实世界数据集上的实验结果表明,该算法可以大大提高基于树的模型对对抗性样本的鲁棒性。
2019-06-11 cs.LG stat.ML
Enhanced Outsourced and Secure Inference for Tall Sparse Decision Trees
Dept. of Computer Science and Engineering(计算机科学与工程系);New York University(纽约大学);Dept. of Applied Informatics(应用信息学系);University of Macedonia(马其顿大学);NOVA LINCS;NOVA School of Science and Technology(NOVA科学与技术学校);Advanced Wireless and Security Lab(先进无线与安全实验室);Florida International University(佛罗里达国际大学)
本文针对决策树外包推理中的隐私与侧信道攻击问题,提出按层级划分模型并交由多个层级站点评估的新协议,在非完全树上提升平均运行效率并增强抗侧信道能力。
2025-05-04 cs.CR cs.LG
Connecting Interpretability and Robustness in Decision Trees through Separation
University of California, San Diego(加利福尼亚大学圣迭戈分校)
最近的研究已经认识到可解释性和鲁棒性作为可信分类的基本属性。奇怪的是,鲁棒性和可解释性之间的联系是经验性的,但其背后的理论推理仍然难以捉摸。在本文中,我们严格调查这种联系。具体来说,我们专注于解释使用决策树和鲁棒性$l_{\infty}$扰动。以前的作品定义的概念,$r$ -分离的鲁棒性的充分条件。我们证明了树的大小的上限和下限的情况下,数据是$r$分离。然后,我们表明,一个更严格的约束的大小是可能的,当数据是线性分离的。我们提供的第一个算法的鲁棒性,可解释性和准确性的背景下,决策树的可证明的保证。实验证实,我们的算法产生的分类器,是可解释的和强大的,并具有较高的准确性。实验代码可在https://github.com/yangarbiter/interpretable-robust-trees上获得。
2021-02-14 cs.LG stat.ML
AdIoTack: Quantifying and Refining Resilience of Decision Tree Ensemble Inference Models against Adversarial Volumetric Attacks on IoT Networks
UNSW Sydney(悉尼新南威尔士大学)
基于机器学习的技术在网络智能方面取得了成功。然而,他们越来越多地成为复杂的数据驱动的对抗攻击的目标,导致错误预测,削弱了他们检测网络设备上威胁的能力。在本文中,我们介绍了AdIoTack,这是一个系统,它突出了决策树对对抗攻击的脆弱性,帮助网络安全团队量化和改进其用于监控物联网网络的训练模型的弹性。为了评估最坏情况下的模型,AdIoTack执行白盒对抗学习,以发起决策树集成模型无法标记的成功体积攻击。我们的第一个贡献是开发一个白盒算法,需要一个训练有素的决策树集成模型和配置文件的一个受害者类的基于网络的攻击作为输入。然后,它会自动生成配方,在缩进的攻击数据包之上指定某些数据包(开销小于15%),这些数据包一起可以绕过推理模型而不被注意到。我们确保生成的攻击实例可在IP网络上启动,并有效地产生体积影响。我们的第二个贡献开发了一种方法来主动监控连接设备的网络行为,代表受害者物联网设备注入对抗性流量(在可行的情况下),并成功发起预期的攻击。我们的第三个贡献是对AdIoTack进行原型设计,并在一个由经过训练的推理模型监控的少数真实物联网设备组成的测试平台上验证其有效性。我们演示了该模型如何检测物联网设备上的所有非对抗性体积攻击,同时错过许多对抗性攻击。第四个贡献开发了系统的方法,用于将补丁应用于训练的决策树集成模型,提高其对对抗性体积攻击的弹性。
2022-03-18 cs.CR cs.LG
EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees
Peking University(北京大学);Microsoft Research(微软研究院);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出EAGLE-2,通过引入上下文感知的动态草稿树改进投机采样,利用草稿模型置信度近似接受率,在三个LLM系列和六项任务上实现3.05-4.26倍加速,比EAGLE-1快20%-40%,且保持生成分布不变。
2024-06-30 cs.CL cs.LG
VaSST: Variational Inference for Symbolic Regression using Soft Symbolic Trees
Department of Statistics, Texas A&M University(统计学系,德克萨斯大学阿姆斯特朗分校)
提出基于变分推断的可扩展符号回归框架VaSST,通过软符号树连续松弛将组合搜索转化为梯度优化,实现不确定性量化,在模拟和费曼数据集上表现优异。
2026-07-03 cs.LG cs.SC stat.CO
FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
Nanyang Technological University(南洋理工大学)
从序列数据中诱导潜在树结构是当今NLP研究领域的一个新兴趋势,主要是通过最近的方法,如Gumbel LSTM和有序神经元(ON-LSTM)推广。本文提出了FASTTREES,一个新的通用神经模块的快速序列编码。与以前大多数认为递归是树归纳所必需的工作不同,我们的工作探索了并行树归纳的概念,即,以一种可并行的、非自回归的方式,将我们的模型与分层归纳偏差相结合。为此,我们提出的FASTTREES在四个成熟的序列建模任务上实现了与ON-LSTM竞争或优越的性能,即,语言建模、逻辑推理、情感分析和自然语言推理。此外,我们表明,FASTTREES模块可以应用于增强Transformer模型,实现三个序列转导任务(机器翻译,主谓一致性和数学语言理解)的性能增益,铺平了道路,模块化树归纳模块。总体而言,我们在逻辑推理任务上的表现优于现有的最先进模型+4%,在数学语言理解上的表现优于现有的最先进模型+8%。
2021-11-28 cs.CL cs.LG
Decomposition for Bayesian Networks: Local and Parallel Inference
School of Mathematics and Statistics and KLAS, Northeast Normal University(数学与统计学学院及KLAS,东北师范大学);College of Mathematics and System Sciences, Xinjiang University(数学与系统科学学院,新疆大学);Institute of Statistics and Data Science, Xinjiang University of Finance and Economics(统计与数据科学学院,新疆财经大学)
针对高维贝叶斯网络精确推理复杂度随规模指数增长的问题,提出基于有向凸子图的分解框架与最小d-分解树,实现并行推理,效率优于连接树法且保留推理精度。
2026-07-07 cs.LG stat.ML
Short-term Load Forecasting Based on Hybrid Strategy Using Warm-start Gradient Tree Boosting
Southeast University(东南大学);National University of Singapore(新加坡国立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出了一种基于深度学习的短期负荷预测混合策略。该策略提出了一种新的基于树的集成方法Warm-start Gradient Tree Boosting(WGTB)。目前的策略要么是单一类型的集成子模型,无法利用不同推理模型的统计优势。或者他们只是简单地将完全不同的推理模型的输出相加,这并不能最大限度地发挥集成的潜力。受偏差-方差权衡的启发,WGTB被提出,并针对不同推理模型在准确性、波动性和线性度上的巨大差异而定制。完整的策略整合了四种不同能力的推理模型。然后,WGTB通过热启动以及装袋和提升的混合来集成它们的输出,从而同时降低偏差和方差。在国家电网公司的两个小时分辨率的实际数据集上进行了验证。结果表明,所提出的策略的有效性,杂交的低偏差和低方差推理模型的统计优势。
2020-12-07 cs.LG eess.SP stat.ML
Improved Variational Bayesian Phylogenetic Inference using Mixtures
KTH Royal Institute of Technology(KTH皇家理工学院);Science for Life Laboratory(生命科学实验室)
针对现有VBPI框架难以处理树拓扑后验多模态的问题,提出结合BBVI领域混合学习进展的VBPI-Mixtures算法,可建模VBPI无法捕捉的树拓扑分布,在多个真实系统发育数据集密度估计任务上达SOTA。
2023-10-02 cs.LG stat.ML
Context-Specific Causal Discovery for Categorical Data Using Staged Trees
IE University(IE大学);Universitat de València(瓦伦西亚大学)
因果发现算法旨在从数据中解开复杂的因果关系。在这里,我们研究因果发现和推理方法的基础上,阶段树模型,它可以表示复杂的和不对称的因果关系之间的分类变量。我们提供了一个阶段树的等价类的第一个图形表示,只看它的底层独立性的一个特定子集。我们进一步定义了一个新的预度量,灵感来自广泛使用的结构干预距离,量化两个阶段的树在其相应的因果推断语句之间的接近度。一项模拟研究强调了阶段树在揭示复杂性、数据中的不对称因果关系方面的功效,并通过实际数据应用说明了它们在实际因果分析中的用途。
2023-02-28 cs.LG stat.ME
Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values
Amsterdam UMC Leiden University(阿姆斯特丹大学医学中心-莱顿大学);Leiden University(莱顿大学);Amsterdam UMC(阿姆斯特丹大学医学中心)
提出RuleSHAP框架,结合贝叶斯稀疏回归、改进的树规则生成器和Shapley值,实现非线性与交互效应的检测及个体水平的不确定性量化,应用于流行病学数据发现高胆固醇和血压的影响因素。
2026-06-11 cs.LG stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能,超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘(潜在树结构)规模的混合先验。一系列去噪和修复问题的实验结果表明,大大提高了性能相比,MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Ising Models with Hidden Markov Structure: Applications to Probabilistic Inference in Machine Learning
本文提出耦合两层Ising层的Cayley树索引马尔可夫链模型,证明其在特定参数下最多存在3种平移不变吉布斯测度,为分层数据推断提供结构化方法,适用于去噪等任务且支持精确推断。
2025-06-14 cs.LG math-ph math.MP