Interpolating Conditional Density Trees
Carnegie Mellon University(卡内基梅隆大学)
许多变量的联合分布通常通过将它们分解为更简单,更低维的条件分布的乘积来建模,例如在稀疏连接的贝叶斯网络中。然而,当存在许多数据点和具有复杂非线性关系的许多连续变量时,特别是当没有分解联合分布的好方法时,自动学习这样的模型在计算上可能非常昂贵。在这种情况下,以前的研究一般集中在使用离散化技术,其中每个连续变量都有一个单独的离散化,用于整个网络。在本文中,我们提出并比较了各种各样的基于树的算法学习和评估连续变量上的条件密度估计。这些树可以被认为是离散化,根据特定的相互作用建模,但是,在一个给定的树叶的树的密度不需要假设恒定的,我们表明,这种不均匀的叶密度导致更准确的密度估计。我们已经开发了贝叶斯网络结构-学习算法,采用这些基于树的条件密度表示,我们表明,它们可以用来实际学习复杂的联合概率模型超过几十个连续变量从数千个数据点。我们专注于寻找同时准确,快速学习和快速评估的模型。
2012-12-12 cs.AI cs.LG stat.ML
Generalising Discrete Action Spaces with Conditional Action Trees
Queen Mary University of London(伦敦玛丽女王大学)
在强化学习(RL)环境中,有相对较少的惯例来构造动作空间。因此,将RL算法应用于具有多个组件的大动作空间的任务需要额外的努力来适应不同的格式。在本文中,我们引入{ \em条件动作树}有两个主要目标:(1)作为一种在RL中构造动作空间的方法,以推广到多个动作空间规范,以及(2)通过将其分解为多个子空间来形式化一个过程,以显着减少动作空间,有利于多阶段决策方法。我们展示了几个验证我们方案的概念验证实验,从基本离散动作空间的环境到RTS风格游戏中常见的大型组合动作空间。
2021-04-15 cs.AI cs.LG stat.ML
Partition Tree: Conditional Density Estimation over General Outcome Spaces
Independent Researcher(独立研究者);INSA Rouen Normandy(里昂大学鲁昂分校);Normandy University(诺曼底大学);LITIS Rouen(鲁昂LITIS实验室)
本文提出分区树,一种基于树的框架,用于在一般结果空间上进行条件密度估计,支持连续和分类变量。通过数据自适应的分区建模条件分布,并直接最小化条件负对数似然,实现非参数方法。分区森林通过平均条件密度进行扩展,实验显示优于CART树且与现有概率树方法和随机森林竞争。
2026-11-10 cs.LG stat.ME stat.ML
Conditional Density Estimation with Histogram Trees
LIACS, Leiden University(莱顿大学LIACS学院)
提出CDTree,一种基于直方图叶节点的非参数决策树模型,利用MDL原则免调参,在提升CDE准确性与鲁棒性的同时生成更小且可解释的树。
2024-10-15 cs.LG
Treeffuser: Probabilistic Predictions via Conditional Diffusions with Gradient-Boosted Trees
Columbia University(哥伦比亚大学);Fero Labs(费罗实验室)
Treeffuser提出一种结合条件扩散模型与梯度提升树的表格数据概率预测方法,实现非参数、易训练且校准良好的预测分布,在合成与真实数据上优于现有方法,并成功应用于Walmart库存分配。
2024-10-22 cs.LG stat.ML
ShapShift: Explaining Model Prediction Shifts with Subgroup Conditional Shapley Values
J.P. Morgan AI Research(摩根大通人工智能研究院)
本文提出ShapShift方法,通过可解释子组的条件Shapley值解释模型预测变化,适用于决策树和集成模型,提供简单且可信的解释,帮助动态环境下的模型监控。
2026-04-13 cs.AI cs.LG stat.ML
Conditional Chow-Liu Tree Structures for Modeling Discrete-Valued Vector Time Series
University of California, Irvine(加州大学尔湾分校)
我们考虑离散值向量时间序列数据的建模问题,使用扩展的Chow-Liu树模型来捕获跨时间的依赖关系和跨变量的依赖关系。作为对标准Chow-Liu树的扩展,引入了条件Chow-Liu树模型,用于建模条件密度而不是联合密度。我们描述了这种模型的学习算法,并展示了它们如何可以用来学习隐马尔可夫模型的输出分布的简约表示。并将这些模型应用于雨量站网逐日降水量的模拟和预报这一重要问题。为了证明模型的有效性,我们比较了它们的性能与一些替代品使用历史降水数据从澳大利亚西南部和美国西部。我们说明了如何的结构和参数的模型可以用来提供一个改进的气象解释这样的数据。
2012-07-11 cs.LG stat.ML
Joint Probability Trees
Institute for Artificial Intelligence, University of Bremen(不来梅大学人工智能研究所)
我们介绍了联合概率树(JPT),一种新的方法,使学习和推理联合概率分布易于处理的实际应用。JPT在单个混合模型中支持符号和子符号变量,并且它们不依赖于关于变量依赖性或分布族的先验知识。JPT表示建立在树结构上,该树结构将问题空间划分为从训练数据引出的相关子区域,而不是在学习之前假设严格的依赖模型。学习和推理在JPT中线性缩放,并且树结构允许关于任何后验概率$P(Q|E)$的白盒推理,使得可以为任何推理结果提供可解释的解释。我们的实验展示了JPT在具有数百万训练样本的高维异构概率空间中的实用性,使其成为经典概率图模型的一种有前途的替代方案。
2023-02-14 cs.AI cs.LG
The Tree Ensemble Layer: Differentiability meets Conditional Computation
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院);Google Brain(谷歌大脑)
神经网络和树集成是最先进的学习器,每一个都有其独特的统计和计算优势。我们的目标是通过为神经网络引入一个新的层来结合这些优势,该层由可微决策树(a.k.a.软树)。虽然可微树在文献中展示了有希望的结果,但它们通常在训练和推理中很慢,因为它们不支持条件计算。我们通过引入一个新的样本路由稀疏激活函数来缓解这个问题,并通过开发利用稀疏性的专门的前向和后向传播算法来实现真正的条件计算。我们的高效算法为使用一阶方法(例如,SGD)。在23个分类数据集上的实验表明,与文献中使用的可微树相比,速度提高了10倍以上,与梯度提升树相比,参数数量减少了20倍以上,同时保持了竞争力。此外,在CIFAR、MNIST和Fashion MNIST上的实验表明,用我们的树层替换CNN中的密集层,测试损失减少了7-53%,参数数量减少了8倍。我们提供了一个带有Keras API的开源TensorFlow实现。
2020-07-11 cs.CV cs.LG stat.ML
On the Interpretability of Conditional Probability Estimates in the Agnostic Setting
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究了在不可知论环境或情景下二元分类的条件概率估计的可解释性。在不可知论环境下,条件概率估计不一定反映真实的条件概率。相反,它们具有一定的校准属性:在分类器预测的所有数据点中,P(Y = 1| X)= p,p部分实际上有标号Y = 1。对于费用敏感的决策问题,这种校准性质为我们使用贝叶斯决策理论提供了足够的支持。在本文中,我们定义了一个新的措施的校准性质连同其经验对应,并证明了它们之间的一致收敛结果。这个新的措施,使我们能够正式证明校准属性的条件概率估计,并提供了新的见解估计和校准条件概率的问题。
2017-02-28 cs.LG
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin(德克萨斯大学奥斯汀分校)
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而,用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中,我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法,大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和(可选)其梯度和费舍尔信息。潜在的应用是非常广泛的,我们考虑的例子在生存分析,结构异方差回归,伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Staged trees and asymmetry-labeled DAGs
Universitat de València(瓦伦西亚大学);Università degli Studi di Genova(热那亚大学);IE University(IE大学)
贝叶斯网络是一类广泛使用的概率图模型,能够使用底层图的拓扑来表示感兴趣的变量之间的对称条件独立性。对于分类变量,它们可以被视为更一般的模型类别的特殊情况,称为阶段树,它可以表示任何类型的非对称条件独立性。在这里,我们形式化这两个模型之间的关系,并介绍了一个最小贝叶斯网络表示的阶段树,它可以用来读取条件独立性在一个直观的方式。定义了一种新的标记图--非对称标记有向无环图,它的边被标记以表示任意两个随机变量之间存在的依赖类型。我们还提出了一种新的算法来学习阶段树,它只执行非对称独立的特定子集。各种数据集被用来说明的方法,强调需要构建模型,更灵活地编码和表示非对称结构。
2022-10-05 cs.AI cs.LG stat.ML
Structural Learning of Simple Staged Trees
IE University(IE大学);Universitat de València(瓦伦西亚大学)
贝叶斯网络忠实地表示随机向量的分量之间存在的对称条件独立性。阶段树是贝叶斯网络的分类随机向量的扩展,其图通过顶点着色表示非对称条件独立性。然而,由于它们基于样本空间的树表示,因此随着变量数量的增加,底层图变得混乱并且难以可视化。在这里,我们介绍了第一个结构学习算法的类简单的分期树,娱乐的基础树,可以很容易地读取非对称独立的紧凑的合并。我们证明了数据学习的简单阶段树在模型拟合方面往往优于贝叶斯网络,并说明了如何使用合并图来识别非对称条件独立性。
2022-03-08 cs.LG stat.ML
Any-Property-Conditional Molecule Generation with Self-Criticism using Spanning Trees
Samsung - SAIT AI Lab, Montréal(三星 - SAIT人工智能实验室,蒙特利尔);Samsung Advanced Institute of Technology (SAIT)(三星高级技术研究所(SAIT))
本文将基于生成树的图生成方法STGG扩展为STGG+,通过引入Transformer架构、属性随机掩码和辅助属性预测损失,实现了多属性条件分子生成,并在条件生成和奖励最大化任务上达到最先进性能。
2025-07-15 cs.LG q-bio.BM
An efficient model-free estimation of multiclass conditional probability
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
传统的多类条件概率估计方法,如Fisher判别分析和逻辑斯谛回归,往往需要限制性的分布模型假设。本文提出了一种无模型估计方法,通过一系列条件分位数回归函数来估计多类条件概率。具体地,条件类概率被公式化为相应的累积分布函数的差,其中累积分布函数可以从估计的条件分位数回归函数转换。所提出的估计方法也是有效的,因为它的计算成本不会随着类的数量呈指数增长。理论和数值研究表明,所提出的估计方法是非常有竞争力的现有的竞争对手,特别是当类的数量相对较大。
2013-08-01 cs.LG stat.ME stat.ML
Explaining predictive models with mixed features using Shapley values and conditional inference trees
Norwegian Computing Center(挪威计算中心)
解释复杂的黑箱机器学习模型变得越来越重要。虽然关于这个主题的文献越来越多,但Shapley值作为解释任何类型的机器学习模型预测的合理方法脱颖而出。用于预测解释的Shapley值的最初发展依赖于所描述的特征是独立的假设。然后扩展该方法以解释具有基础连续分布的相关特征。在本文中,我们提出了一种方法来解释混合(即连续的,离散的,有序的,和分类)依赖的功能,通过建模的依赖结构的功能,使用条件推理树。我们证明了我们提出的方法对目前的行业标准在各种模拟研究,发现我们的方法往往优于其他方法。最后,我们将我们的方法应用于2018年FICO可解释机器学习挑战赛中使用的真实财务数据集,并展示我们的解释与FICO挑战赛认可奖获奖团队的比较。
2020-07-02 cs.LG stat.ML
Always Tell Me The Odds: Fine-grained Conditional Probability Estimation
Johns Hopkins University(约翰霍普金斯大学)
本文提出一种最先进的模型,用于在上下文条件下对命题进行细粒度概率估计。通过结合人类和合成数据创建与评估、扩大模型规模和改进监督,提出了一系列强而精确的概率估计模型,在依赖条件概率估计的任务中表现优异。
2026-04-27 cs.AI cs.CL cs.LG
Generative modeling of density regression through tree flows
Duke University(杜克大学);Waseda University(早稻田大学)
针对表格数据的密度回归问题,提出一种基于树流的生成模型,通过分治策略训练树基分段线性变换,在基准数据集上以更低成本取得相当或更优的条件密度估计性能,还可用于生成合成微生物组数据。
2024-10-05 cs.LG stat.ML
Predicting conditional probability distributions of redshifts of Active Galactic Nuclei using Hierarchical Correlation Reconstruction
Jagiellonian University(雅盖隆大学)
虽然一般关注于值的预测,但真实数据通常仅允许预测条件概率分布,其能力受条件熵$H(Y|X)$的限制。如果另外估计不确定性,我们可以将预测值视为拉普拉斯分布的高斯中心-理想化,其可以远离真实数据的复杂条件分布。本文应用分层相关重构(HCR)方法来廉价地预测相当复杂的条件概率分布(例如多峰):通过多个矩参数的独立MSE估计,这允许重构条件分布。为此目的使用线性回归,我们得到可解释的模型:用系数描述特征对条件矩的贡献。本文在原有方法的基础上进行了扩展,特别是采用典型相关分析(CCA)进行特征优化和l1“lasso”正则化,重点研究了基于Fourth Fermi-LAT Data Release 2(4LAC)数据集的活动星系核(AGN)红移预测的实际问题。
2022-06-13 astro-ph.GA astro-ph.HE cs.LG
Conditional probability calculation using restricted Boltzmann machine with application to system identification
Departamento de Control Automatico CINVESTAV-IPN (National Polytechnic Institute)(自动控制系 CINVESTAV-IPN(国家理工学院))
本文利用受限玻尔兹曼机计算条件概率用于非线性系统辨识,通过二进制编码和连续值方法改进模型,提出通用逼近分析,验证在噪声大和系统动态复杂时方法优势。
2018-06-07 cs.LG cs.SY eess.SY
Shapley Computations Using Surrogate Model-Based Trees
Wells Fargo(富国银行)
Shapley相关技术由于其理想的性质而作为全局和局部解释工具受到关注。然而,使用条件期望的计算在计算上是昂贵的。文献中提出的近似方法有局限性。本文提出了使用代理模型为基础的树计算Shapley和SHAP值的基础上的条件期望。仿真结果表明,该算法在准确性上有所提高,统一了全局Shapley和SHAP解释,阈值化方法提供了一种兼顾运行时间和准确性的方法。
2022-07-11 cs.LG stat.ML
Learning Bayesian Networks with Low Rank Conditional Probability Tables
Purdue University(普渡大学)
在本文中,我们提供了一种方法来学习贝叶斯网络的有向结构使用数据。通过对黑盒模型进行条件概率查询来访问数据。我们引入了一个简单的概念表示的条件概率表的节点在贝叶斯网络中,我们称之为“低秩”。我们将这一概念连接到实值集函数的傅立叶变换,并提出了一种方法,该方法使用很少的查询来学习“低秩”贝叶斯网络的精确定向结构。我们正式证明,我们的方法正确地恢复真正的有向结构,运行在多项式时间,只需要多项式样本的节点数。如果我们能够获得一些观测数据,我们还可以进一步提高效率。
2019-05-29 cs.LG stat.ML
On Probability Distributions for Trees: Representations, Inference and Learning
Laboratoire d’Informatique Fondamentale de Marseille (L.I.F.)(马赛基础信息实验室);UMR CNRS 6166(法国国家科学研究中心6166联合研究单位);INRIA Futurs(法国国家信息与自动化研究所未来分部);Lille University(里尔大学);ÉNS de Cachan, Brittany extension(卡尚高等师范学院布列塔尼分校)
本文研究树的自由代数上的概率分布。概率分布可以看作是特殊的(形式幂)树序列[Berstel et al 82,Esik et al 03],即从树到半环K的映射。一类被广泛研究的树级数是有理(或可识别)树级数,它可以用代数方法或多重树自动机来定义。我们认为,代数表示是非常方便的模型概率分布的树的自由代数。首先,在字符串的情况下,代数表示允许设计学习算法的概率分布定义的有理树系列的整个类。注意,有理树序列的学习算法对应于加权树自动机的学习算法,其中结构和权重都被学习。其次,代数表示可以很容易地扩展到处理未排名的树(如XML树,其中符号可能有无限数量的子节点)。这两个属性都与应用程序特别相关:非确定性自动机需要推理问题相关(回忆隐马尔可夫模型等价于非确定性字符串自动机);现在Web信息抽取,Web服务和文档处理的应用程序考虑未排名的树。
2008-07-18 cs.LG
Multiscale Dictionary Learning for Estimating Conditional Distributions
Icahn School of Medicine at Mt Sinai(西奈山伊坎医学院);Child Mind Institute(儿童心理研究所);Duke University(杜克大学)
给定高维特征的响应的条件分布的非参数估计是一个具有挑战性的问题。重要的是,不仅要允许响应密度的平均值,而且还要允许响应密度的方差和形状随特征灵活变化,这些特征是多维的。我们提出了一个多尺度字典学习模型,它表示的条件响应密度作为字典密度的凸组合,使用的密度和它们的权重依赖于通过树分解的特征空间的路径。一个快速的图划分算法被应用到获得的树分解,贝叶斯方法,然后使用自适应修剪和平均在不同的子树在一个软概率的方式。该算法可以有效地扩展到大约一百万个特征。最先进的预测性能展示了玩具的例子和两个神经科学应用程序,包括多达一百万的功能。
2013-12-04 cs.LG stat.ML
Nonparametric estimation of conditional probability distributions using a generative approach based on conditional push-forward neural networks
MOX, Department of Mathematics, Politecnico di Milano(米兰理工学院数学系MOX部门);Department of Economics, University of Bergamo(博洛尼亚大学经济系)
本文提出了一种基于条件推动神经网络的非参数条件概率分布估计方法,通过学习随机映射实现高效条件采样和统计估计,实验表明其性能优于现有主流方法。
2025-12-22 cs.LG stat.ME
Active learning of causal probability trees
Technical University of Denmark(丹麦技术大学)
在过去的二十年里,人们对将因果信息(通常使用因果图表示)与机器学习模型相结合的兴趣越来越大。概率树为因果信息提供了一种简单而强大的替代表示。它们使干预和反事实的计算,严格来说更一般,因为它们允许上下文相关的因果依赖关系。在这里,我们提出了一种贝叶斯方法,从干预和观察数据的组合学习概率树。该方法量化了干预措施的预期信息增益,并选择具有最大增益的干预措施。我们证明了模拟和真实数据的方法的效率。在有限的干预预算上学习概率树的有效方法将大大扩展其适用性。
2022-05-17 cs.LG stat.ME
Efficient distributional regression trees learning algorithms for calibrated non-parametric probabilistic forecasts
Swiss Data Science Center(瑞士数据科学中心);EPFL(瑞士联邦理工学院);ETH Zürich(苏黎世联邦理工学院)
本文提出高效算法用于校准非参数概率预测,通过min-max堆等数据结构提升计算效率,展示其在WIS和CRPS损失函数下的竞争力,并利用树结构实现可解释的群体条件覆盖保障。
2026-05-13 cs.DS cs.LG
Probability Calibration Trees
University of Waikato(怀卡托大学);University of Auckland(奥克兰大学)
从分类器获得准确和良好校准的概率估计在许多应用中是有用的,例如,当最小化分类的预期成本时。现有的校准概率估计的方法是全局应用的,忽略了通过应用更细粒度的模型进行改进的潜力。我们提出了概率校准树,这是逻辑模型树的一种修改,它可以识别输入空间的区域,在这些区域中学习不同的概率校准模型以提高性能。我们比较概率校准树两个广泛使用的校准方法-保序回归和普拉特缩放-并表明,我们的方法的结果在较低的均方根误差平均比这两种方法,估计产生的各种基地学习。
2018-09-14 cs.LG stat.ML
Neural Conditional Probability for Uncertainty Quantification
CSML, Istituto Italiano di Tecnologia(CSML,意大利技术研究院);University of Novi Sad(诺维萨大学);CMAP-Ecole Polytechnique(CMAP-巴黎高等学院);AI Centre, University College London(伦敦大学学院人工智能中心)
本文提出神经条件概率(NCP)方法,通过算子理论和单一无条件训练高效学习条件分布并支持统计推断,实验证明其极简架构可匹配或超越领先方法。
2025-05-31 cs.LG math.ST stat.ME
Amortized Tree Generation for Bottom-up Synthesis Planning and Synthesizable Molecular Design
Massachusetts Institute of Technology(麻省理工学院)
分子设计和合成规划是分子发现过程中的两个关键步骤,我们建议将其制定为条件合成途径生成的单一共享任务。我们报告一个摊销的方法来产生合成途径作为一个马尔可夫决策过程的条件下,目标分子嵌入。这种方法使我们能够进行自自底向上的【形】的方式进行合成规划和设计合成的分子,从优化的条件代码解码,展示了潜在的同时解决设计和合成的问题。该方法利用神经网络概率建模的合成树,一个反应步骤的时间,根据反应规则编码在一个离散的行动空间的反应模板。我们在成千上万的人工路径上对这些网络进行训练,这些人工路径是从一个采购化合物池和一系列专家策划的模板中产生的。我们验证了我们的方法与(a)使用条件生成的分子的恢复,(b)可合成的结构类似物的鉴定,和(c)分子结构的优化给定的oracle功能相关的药物发现。
2022-03-12 cs.LG q-bio.QM
Geometry and Expressive Power of Conditional Restricted Boltzmann Machines
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Leipzig University(莱比锡大学);Santa Fe Institute(圣塔菲研究所)
条件限制玻尔兹曼机是一种无向随机神经网络,其输入和输出单元层与隐藏单元层两部分相连。这些网络定义了给定输入设备状态的输出设备状态的条件概率分布模型,由交互权重和偏置参数化。我们解决这些模型的代表性的权力,证明结果的能力,以表示条件马尔可夫随机场和条件分布的限制支持,最小尺寸的通用逼近器,最大模型近似误差,并在一组可表示的条件分布的维度。我们贡献了新的工具,调查条件概率模型,这使我们能够改善的结果,可以从现有的工作限制玻尔兹曼机概率模型。
2015-03-12 cs.LG cs.NE stat.ML