Interpolating Conditional Density Trees
Carnegie Mellon University（卡内基梅隆大学）
许多变量的联合分布通常通过将它们分解为更简单，更低维的条件分布的乘积来建模，例如在稀疏连接的贝叶斯网络中。然而，当存在许多数据点和具有复杂非线性关系的许多连续变量时，特别是当没有分解联合分布的好方法时，自动学习这样的模型在计算上可能非常昂贵。在这种情况下，以前的研究一般集中在使用离散化技术，其中每个连续变量都有一个单独的离散化，用于整个网络。在本文中，我们提出并比较了各种各样的基于树的算法学习和评估连续变量上的条件密度估计。这些树可以被认为是离散化，根据特定的相互作用建模，但是，在一个给定的树叶的树的密度不需要假设恒定的，我们表明，这种不均匀的叶密度导致更准确的密度估计。我们已经开发了贝叶斯网络结构-学习算法，采用这些基于树的条件密度表示，我们表明，它们可以用来实际学习复杂的联合概率模型超过几十个连续变量从数千个数据点。我们专注于寻找同时准确，快速学习和快速评估的模型。
2012-12-12 cs.AI cs.LG stat.ML
Conditional Probability Tree Estimation Analysis and Algorithms
IBM Research（IBM研究院）；Yahoo! Research（雅虎研究院）
我们考虑的问题估计的条件概率的标签在时间$O(\log n)$，其中$n$是可能的标签的数量。我们分析了一个自然减少这个问题的一组二进制回归问题组织在一个树结构，证明了遗憾的范围，规模与深度的树。基于这种分析，我们提出了第一个在线算法，该算法可证明地在标签集上构建对数深度树来解决这个问题。我们测试的算法经验，表明它成功地工作在一个数据集与大致$10^6$标签。
2009-06-03 cs.AI cs.LG
Partition Tree: Conditional Density Estimation over General Outcome Spaces
Independent Researcher（独立研究者）；INSA Rouen Normandy（里昂大学鲁昂分校）；Normandy University（诺曼底大学）；LITIS Rouen（鲁昂LITIS实验室）
本文提出分区树，一种基于树的框架，用于在一般结果空间上进行条件密度估计，支持连续和分类变量。通过数据自适应的分区建模条件分布，并直接最小化条件负对数似然，实现非参数方法。分区森林通过平均条件密度进行扩展，实验显示优于CART树且与现有概率树方法和随机森林竞争。
2026-05-11 cs.LG stat.ME stat.ML
Conditional Probability Tree Estimation Analysis and Algorithms
我们考虑的问题估计的条件概率的标签在时间O（log n），其中n是可能的标签的数量。我们分析了一个自然减少这个问题的一组二进制回归问题组织在一个树结构，证明了遗憾的范围，规模与深度的树。基于这种分析，我们提出了第一个在线算法，该算法可证明地在标签集上构建对数深度树来解决这个问题。我们根据经验测试了该算法，结果表明它在大约106个标签的数据集上成功地工作。
2014-08-09 cs.LG stat.ML
Treeffuser: Probabilistic Predictions via Conditional Diffusions with Gradient-Boosted Trees
Columbia University（哥伦比亚大学）；Fero Labs（费罗实验室）
Treeffuser提出一种结合条件扩散模型与梯度提升树的表格数据概率预测方法，实现非参数、易训练且校准良好的预测分布，在合成与真实数据上优于现有方法，并成功应用于Walmart库存分配。
2024-10-22 cs.LG stat.ML
ShapShift: Explaining Model Prediction Shifts with Subgroup Conditional Shapley Values
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出ShapShift方法，通过可解释子组的条件Shapley值解释模型预测变化，适用于决策树和集成模型，提供简单且可信的解释，帮助动态环境下的模型监控。
2026-04-13 cs.AI cs.LG stat.ML
Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization
ESAT-PSI, KU Leuven, Belgium（比利时鲁汶大学ESAT-PSI实验室）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们在优化基准函数以及神经网络模型压缩问题上演示了我们的方法，实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-06-21 cs.LG stat.ML
Conditional Chow-Liu Tree Structures for Modeling Discrete-Valued Vector Time Series
University of California, Irvine（加州大学尔湾分校）
我们考虑离散值向量时间序列数据的建模问题，使用扩展的Chow-Liu树模型来捕获跨时间的依赖关系和跨变量的依赖关系。作为对标准Chow-Liu树的扩展，引入了条件Chow-Liu树模型，用于建模条件密度而不是联合密度。我们描述了这种模型的学习算法，并展示了它们如何可以用来学习隐马尔可夫模型的输出分布的简约表示。并将这些模型应用于雨量站网逐日降水量的模拟和预报这一重要问题。为了证明模型的有效性，我们比较了它们的性能与一些替代品使用历史降水数据从澳大利亚西南部和美国西部。我们说明了如何的结构和参数的模型可以用来提供一个改进的气象解释这样的数据。
2012-07-11 cs.LG stat.ML
Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
Staged trees and asymmetry-labeled DAGs
Universitat de València（瓦伦西亚大学）；Università degli Studi di Genova（热那亚大学）；IE University（IE大学）
贝叶斯网络是一类广泛使用的概率图模型，能够使用底层图的拓扑来表示感兴趣的变量之间的对称条件独立性。对于分类变量，它们可以被视为更一般的模型类别的特殊情况，称为阶段树，它可以表示任何类型的非对称条件独立性。在这里，我们形式化这两个模型之间的关系，并介绍了一个最小贝叶斯网络表示的阶段树，它可以用来读取条件独立性在一个直观的方式。定义了一种新的标记图--非对称标记有向无环图，它的边被标记以表示任意两个随机变量之间存在的依赖类型。我们还提出了一种新的算法来学习阶段树，它只执行非对称独立的特定子集。各种数据集被用来说明的方法，强调需要构建模型，更灵活地编码和表示非对称结构。
2022-10-05 cs.AI cs.LG stat.ML
The Tree Ensemble Layer: Differentiability meets Conditional Computation
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）；Google Brain（谷歌大脑）
神经网络和树集成是最先进的学习器，每一个都有其独特的统计和计算优势。我们的目标是通过为神经网络引入一个新的层来结合这些优势，该层由可微决策树（a.k.a.软树）。虽然可微树在文献中展示了有希望的结果，但它们通常在训练和推理中很慢，因为它们不支持条件计算。我们通过引入一个新的样本路由稀疏激活函数来缓解这个问题，并通过开发利用稀疏性的专门的前向和后向传播算法来实现真正的条件计算。我们的高效算法为使用一阶方法（例如，SGD）。在23个分类数据集上的实验表明，与文献中使用的可微树相比，速度提高了10倍以上，与梯度提升树相比，参数数量减少了20倍以上，同时保持了竞争力。此外，在CIFAR、MNIST和Fashion MNIST上的实验表明，用我们的树层替换CNN中的密集层，测试损失减少了7-53%，参数数量减少了8倍。我们提供了一个带有Keras API的开源TensorFlow实现。
2020-07-11 cs.CV cs.LG stat.ML
An Entropy-based Learning Algorithm of Bayesian Conditional Trees
本文在手写数字识别的背景下，对Chow和Liu的学习算法进行了改进。修改后的算法指导用户将数字分组为几个类别，这些类别由难以区分的数字组成，然后为每个类别的数字构建一个最佳条件树表示，而不是像Chow和Liu（1968）那样为每个数字构建一个最佳条件树表示。讨论了新方法的优点和扩展。Wong和Wang（1977）以及Wong和Poon（1989）的相关工作提供了一种不同的基于熵的学习算法，这些工作被证明是基于不适当的假设。
2013-03-13 cs.AI cs.CV cs.LG
Structural Learning of Simple Staged Trees
IE University（IE大学）；Universitat de València（瓦伦西亚大学）
贝叶斯网络忠实地表示随机向量的分量之间存在的对称条件独立性。阶段树是贝叶斯网络的分类随机向量的扩展，其图通过顶点着色表示非对称条件独立性。然而，由于它们基于样本空间的树表示，因此随着变量数量的增加，底层图变得混乱并且难以可视化。在这里，我们介绍了第一个结构学习算法的类简单的分期树，娱乐的基础树，可以很容易地读取非对称独立的紧凑的合并。我们证明了数据学习的简单阶段树在模型拟合方面往往优于贝叶斯网络，并说明了如何使用合并图来识别非对称条件独立性。
2022-03-08 cs.LG stat.ML
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而，用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中，我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法，大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和（可选）其梯度和费舍尔信息。潜在的应用是非常广泛的，我们考虑的例子在生存分析，结构异方差回归，伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Explaining predictive models with mixed features using Shapley values and conditional inference trees
Norwegian Computing Center（挪威计算中心）
解释复杂的黑箱机器学习模型变得越来越重要。虽然关于这个主题的文献越来越多，但Shapley值作为解释任何类型的机器学习模型预测的合理方法脱颖而出。用于预测解释的Shapley值的最初发展依赖于所描述的特征是独立的假设。然后扩展该方法以解释具有基础连续分布的相关特征。在本文中，我们提出了一种方法来解释混合（即连续的，离散的，有序的，和分类）依赖的功能，通过建模的依赖结构的功能，使用条件推理树。我们证明了我们提出的方法对目前的行业标准在各种模拟研究，发现我们的方法往往优于其他方法。最后，我们将我们的方法应用于2018年FICO可解释机器学习挑战赛中使用的真实财务数据集，并展示我们的解释与FICO挑战赛认可奖获奖团队的比较。
2020-07-02 cs.LG stat.ML
Conditional Density Estimation with Histogram Trees
LIACS, Leiden University（莱顿大学LIACS学院）
提出CDTree，一种基于直方图叶节点的非参数决策树模型，利用MDL原则免调参，在提升CDE准确性与鲁棒性的同时生成更小且可解释的树。
2024-10-15 cs.LG
Generative modeling of density regression through tree flows
Duke University（杜克大学）；Waseda University（早稻田大学）
针对表格数据的密度回归问题，提出一种基于树流的生成模型，通过分治策略训练树基分段线性变换，在基准数据集上以更低成本取得相当或更优的条件密度估计性能，还可用于生成合成微生物组数据。
2024-10-05 cs.LG stat.ML
Shapley Computations Using Surrogate Model-Based Trees
Wells Fargo（富国银行）
Shapley相关技术由于其理想的性质而作为全局和局部解释工具受到关注。然而，使用条件期望的计算在计算上是昂贵的。文献中提出的近似方法有局限性。本文提出了使用代理模型为基础的树计算Shapley和SHAP值的基础上的条件期望。仿真结果表明，该算法在准确性上有所提高，统一了全局Shapley和SHAP解释，阈值化方法提供了一种兼顾运行时间和准确性的方法。
2022-07-11 cs.LG stat.ML
Multiscale Dictionary Learning for Estimating Conditional Distributions
Icahn School of Medicine at Mt Sinai（西奈山伊坎医学院）；Child Mind Institute（儿童心理研究所）；Duke University（杜克大学）
给定高维特征的响应的条件分布的非参数估计是一个具有挑战性的问题。重要的是，不仅要允许响应密度的平均值，而且还要允许响应密度的方差和形状随特征灵活变化，这些特征是多维的。我们提出了一个多尺度字典学习模型，它表示的条件响应密度作为字典密度的凸组合，使用的密度和它们的权重依赖于通过树分解的特征空间的路径。一个快速的图划分算法被应用到获得的树分解，贝叶斯方法，然后使用自适应修剪和平均在不同的子树在一个软概率的方式。该算法可以有效地扩展到大约一百万个特征。最先进的预测性能展示了玩具的例子和两个神经科学应用程序，包括多达一百万的功能。
2013-12-04 cs.LG stat.ML
Conditional Inference Trees and Forests for Feature Selection
Amazon Web Services（亚马逊云服务）
研究条件推理树和森林作为top-k特征排序方法，通过实验验证其性能，发现Bonferroni校正和自适应停止对运行时间影响显著，而森林特征采样可能遗漏重要特征。
2026-07-03 cs.LG stat.ML
Any-Property-Conditional Molecule Generation with Self-Criticism using Spanning Trees
Samsung - SAIT AI Lab, Montréal（三星 - SAIT人工智能实验室，蒙特利尔）；Samsung Advanced Institute of Technology (SAIT)（三星高级技术研究所（SAIT））
本文将基于生成树的图生成方法STGG扩展为STGG+，通过引入Transformer架构、属性随机掩码和辅助属性预测损失，实现了多属性条件分子生成，并在条件生成和奖励最大化任务上达到最先进性能。
2025-07-15 cs.LG q-bio.BM
Sample size planning for conditional counterfactual mean estimation with a K-armed randomized experiment
Adobe Inc.（奥多比公司）
针对K臂随机实验中数据驱动子群体的条件反事实均值估计问题，提出将样本量规划转化为同时推断问题的方法，可推导对应样本量或反向求解可行的处理臂数与划分复杂度，并在公开数据集上验证了性能保证。
2024-03-06 cs.LG stat.ME stat.ML
Interpretable Rule Discovery Through Bilevel Optimization of Split-Rules of Nonlinear Decision Trees for Classification Problems
Michigan State University（密歇根州立大学）
对于涉及设计，控制，其他实际目的的监督分类问题，用户不仅有兴趣找到一个高精度的分类器，但他们也要求得到的分类器是容易解释的。虽然分类器的可解释性的定义可以因情况而异，但在这里，通过人类可解释的分类器，我们将其限制为用简单的数学术语表示。作为一种新的方法，我们表示一个简单的数学规则，使用非线性决策树（NLDT）的组合分类器。树的每个条件（非终端）节点表示涉及特征的非线性数学规则（分裂规则），以便将给定条件节点中的数据集划分为两个不重叠的子集。这种划分旨在最小化结果子节点的不纯性。通过限制每个条件节点上的分裂规则结构和决策树的深度，保证了分类器的可解释性。在一个给定的条件节点的非线性分裂规则是使用进化的双层优化算法，而上层集中在到达一个可解释的结构的分裂规则，较低的水平实现最合适的权重（系数）的规则的各个组成部分，以最大限度地减少净杂质的两个子节点。所提出的算法的性能证明了一些控制测试问题，现有的基准问题，和工业问题。两个到500个特征问题的结果是令人鼓舞的，并开辟了进一步的范围，应用所提出的方法，更具有挑战性和复杂的分类任务。
2020-08-02 cs.LG cs.NE stat.ML
Exponentially Increasing the Capacity-to-Computation Ratio for Conditional Computation in Deep Learning
Université de Montréal（蒙特利尔大学）
深度网络获得的许多最先进的结果都是通过可以训练的最大模型实现的，如果有更多的计算能力，我们可能能够利用更大的数据集来提高泛化能力。而在诸如决策树之类的学习算法中，参数的数量）与计算的比率是非常有利的（高达指数地多于计算的参数），对于深度神经网络，该比率基本上为1。条件计算已经被提出作为一种在不增加所需计算量的情况下增加深度神经网络的容量的方式，其通过在每个示例的基础上“按需”激活一些参数和计算。本文提出了一种新的神经网络权值矩阵参数化方法，它有可能使计算参数数的比率以指数方式增加。所提出的方法是基于打开一些参数（权重矩阵）时，获得特定的位模式的隐藏单元激活。为了更好地控制可能导致的过拟合，我们提出了一个参数化，是树结构的，其中树的每个节点对应于一个前缀的一个序列的符号位，或门控单元，与隐藏单元。
2014-06-28 cs.LG cs.NE stat.ML
Efficient distributional regression trees learning algorithms for calibrated non-parametric probabilistic forecasts
Swiss Data Science Center（瑞士数据科学中心）；EPFL（瑞士联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文提出高效算法用于校准非参数概率预测，通过min-max堆等数据结构提升计算效率，展示其在WIS和CRPS损失函数下的竞争力，并利用树结构实现可解释的群体条件覆盖保障。
2026-05-13 cs.DS cs.LG
Dynamic Vine Copulas: Detecting and Quantifying Time-Varying Higher-Order Interactions
Kempner Institute at Harvard University（哈佛大学凯普勒研究所）；Stanford University（斯坦福大学）
本文提出动态藤Copula模型，用于估计和诊断序列中非高斯依赖关系，通过比较完整藤与1截断版本区分灵活的首树成对依赖与更高树条件项的证据。
2026-05-07 cs.LG q-bio.QM stat.ME
Efficient Sample-optimal Learning of Gaussian Tree Models via Sample-optimal Testing of Gaussian Mutual Information
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）；Fujitsu Research（富士通研究所）；Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子技术中心）
针对高斯分布的树结构学习问题，提出基于线性回归的高斯条件互信息测试器，实现了仅需 $\widetilde{Θ}(n\varepsilon^{-1})$ 样本的接近最优 $\varepsilon$-近似结构学习算法，并提供了理论保证与实验验证。
2024-11-18 cs.DS cs.LG stat.ML
Neural Probabilistic Model for Non-projective MST Parsing
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个概率分析模型，它定义了一个适当的条件概率分布的非投射依赖树为一个给定的句子，使用神经表示作为输入。神经网络架构基于双向LSTM-CNN，通过使用双向LSTM和CNN的组合，自动受益于单词和字符级表示。在神经网络之上，我们引入了一个概率结构层，定义了一个非投影树上的条件对数线性模型。我们在14种不同语言的17个不同数据集上评估了我们的模型。通过利用Kirchhoff的矩阵树定理（Tutte，1984），可以有效地计算分区函数和边缘，从而通过反向传播实现直接的端到端模型训练过程。我们的解析器在九个数据集上实现了最先进的解析性能。
2017-09-03 cs.CL cs.LG stat.ML
Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models
University of California, Irvine（加州大学欧文分校）
深度学习已经在ImageNet等数据集上显示出最先进的分类性能，这些数据集在每个图像中包含一个对象。然而，多目标分类更具挑战性。我们提出了一个统一的框架，利用多种机器学习方法的优势，即深度学习，概率模型和内核方法，以获得最先进的性能在Microsoft COCO上，由非图标图像。我们通过条件潜在树概率模型（CLTM）将上下文信息纳入自然图像中，其中对象同现以从预训练的Imagenet CNN中提取的fc 7特征为条件作为输入。我们学习的CLTM树结构使用条件成对概率的对象同现，通过内核方法估计，我们学习它的节点和边缘的潜力，通过训练一个新的3层神经网络，它需要FC 7功能作为输入。对象分类是通过对学习条件树模型的推理进行的，我们在MS-COCO上获得了显着的精度-召回率和F-措施，特别是对于困难的对象类别。此外，CLTM中的潜变量捕获场景信息：具有潜在节点的顶部激活的图像具有共同的主题，例如草原或食物场景等。此外，我们表明，仅对推断的潜在节点进行简单的k均值聚类显着提高了MIT-Indoor数据集上的场景分类性能，而无需任何重新训练，并且在训练期间不使用场景标签。因此，我们提出了一个统一的框架，多目标分类和无监督场景理解。
2015-05-02 cs.CV cs.LG
Augmented Functional Random Forests: Classifier Construction and Unbiased Functional Principal Components Importance through Ad-Hoc Conditional Permutations
Faculty of Technological and Innovation Sciences（技术与创新科学学院）；Faculty of Economics and Law（经济与法学院）
本研究将函数型数据分析与树模型结合，提出增强型函数型分类树和随机森林，通过特设条件置换实现无偏函数主成分重要性评估，在真实与模拟数据集上均提升了分类性能。
2024-08-23 cs.LG math.ST stat.ME
Random Forests as Statistical Procedures: Design, Variance, and Dependence
Department of Biostatistics and Data Science, Wake Forest University School of Medicine（生物统计学与数据科学系，沃森医学中心，威斯康星大学）
随机森林作为统计程序，通过引入PASR方法估计协方差地板，实现对预测不确定性的分解，并提供理论保证的置信区间。
2026-02-28 cs.LG math.ST stat.ML
Bayesian Tensor Network with Polynomial Complexity for Probabilistic Machine Learning
Capital Normal University（首都师范大学）
众所周知，描述或计算多个事件的条件概率是指数级昂贵的。在这项工作中，贝叶斯张量网络（BTN）提出了有效地捕捉多个事件的多项式复杂性的条件概率。BTN是形成TN的子集的有向非循环图模型。为了证明其有效性指数多事件，BTN实现的图像识别，其中的分类映射到捕捉条件概率在指数大的样本空间。具有简单的树形网络结构的BTN实现了具有竞争力的性能。类似于量子系统的张量网络模拟，简单树BTN的有效性意味着图像识别问题中波动的“面积定律”。
2020-01-07 cond-mat.str-el cs.LG math.ST
