Unmasking Trees for Tabular Data
BigHat Biosciences（BigHat生物科学公司）
本文提出基于梯度提升决策树逐步揭示特征的 UnmaskingTrees，并结合 BaltoBot 条件概率预测，在表格插补与含缺失数据生成基准上取得领先表现。
2025-07-23 cs.LG stat.ML
Conformal Prediction for Long-Tailed Classification
University of California, Berkeley（加州大学伯克利分校）；University of Montpellier（蒙彼利埃大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）
本文提出了一种改进的符合预测方法，通过 prevalence-adjusted softmax 和线性插值技术，在长尾分类中平衡预测集大小和类别覆盖。
2026-02-26 cs.CV cs.LG stat.ME
Composite likelihood inference for space-time point processes
针对热带雨林普查点模式时间序列短、空间覆盖大的特点，提出基于条件复合似然的时空点过程参数估计方法，采用固定时间跨度-空间域递增的渐近框架，通过模拟和实际数据验证了方法的有效性。
2024-09-18 stat.ME
Fast Nonparametric Conditional Density Estimation
条件密度估计通过对全密度f（yjx）而不仅仅是期望值E（yjx）建模来推广回归。这对于许多任务都很重要，包括处理多模态和生成预测区间。尽管非参数条件密度估计是基本的且广泛适用，但统计学家对它的关注相对较少，机器学习社区对它的关注也很少或根本没有。这些工作都没有应用于大于二元数据，可能是由于数据驱动的带宽选择的计算难度。我们描述了双核条件密度估计和推导出快速双树为基础的算法，带宽选择使用极大似然标准。在我们的实验中，这些技术的加速高达380万，并使第一个应用程序，以前棘手的大型多元数据集，包括从斯隆数字巡天的红移预测问题。
2012-06-20 cs.LG stat.ME stat.ML
Independence of Causal Influence and Clique Tree Propagation
Hong Kong University of Science & Technology（香港科技大学）
研究了因果影响独立性在贝叶斯网络推理中的作用。ICI允许将条件概率表分解成更小的块。我们描述了一种利用团树传播（CTP）中的因子分解的方法-贝叶斯网络的最先进的精确推理算法。我们还提出了实证结果表明，所得到的算法是显着更有效的CTP和以前的技术相结合，利用ICI。
2013-02-06 cs.AI
Inference on the History of a Randomly Growing Tree
传染病在人类社区中的传播或社交媒体上假新闻的扩散可以被建模为一个随机增长的树形图。随机增长过程的历史往往是不可观察的，但包含重要的信息，如感染源。我们考虑的问题，统计推断方面的潜在的历史只使用一个单一的快照的最终树。我们的方法是将随机标签应用于观察到的未标记树，并分析生长过程的分布，以最终结果为条件。我们表明，这个条件分布是听话的形状交换条件下，我们在这里介绍，这个条件是满足许多流行的随机生长的树木，如均匀附件，线性优先附件和均匀附件的$D$ -定期树模型。对于根的推理下的形状交换，我们提出了O（n log n）时间算法，用于构建置信集的有效频率覆盖范围以及置信集的预期大小的界限。我们还提供了有效的采样算法，扩展我们的方法广泛的一类推理问题。
2021-01-13 math.PR math.ST stat.CO
Quantile Regression Tree
本研究提出Quantile Regressor Tree（QRT），通过结合分位数回归与决策树，利用特征分裂引入非线性，在保持可解释性的同时增强了灵活性，为高维预测变量提供参数与非参数混合的条件分位数估计方法。
2024-07-27 stat.AP
Tree density estimation
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Ben-Gurion University of the Negev（本-古里安大学）；Ariel University（阿里埃勒大学）
研究了随机向量$f(\boldsymbol x)$的密度估计问题。对于在顶点集$\{1,\dots ,d\}$上定义的生成树$T$，树密度$f_{T}$是二元条件密度的乘积。最优生成树使$f$和$f_{T}$之间的Kullback-Leibler分歧最小化。从内务部。数据，我们识别最优树$T^*$并有效地构造树密度估计$f_n$，使得在密度$f$上没有任何规律性条件的情况下，具有$\lim_{n\to \infty} \int |f_n(\boldsymbol x)-f_{T^*}(\boldsymbol x)|d\boldsymbol x=0$ a.s.对于Lipschitz有界支撑$f$，$\mathbb E \left\{ \int |f_n(\boldsymbol x)-f_{T^*}(\boldsymbol x)|d\boldsymbol x\right\}=O\big(n^{-1/4}\big)$，无量纲速率。
2022-09-22 cs.LG math.ST stat.ML
User Interface Tools for Navigation in Conditional Probability Tables and Elicitation of Probabilities in Bayesian Networks
University of Pittsburgh（匹兹堡大学）
概率的推导是构建决策理论模型中最费力的任务之一，而且迄今为止在决策理论系统中只受到适度的关注。我们提出了一套图形概率模型的用户界面工具，侧重于概率启发的两个方面：（1）通过条件概率表导航和（2）离散概率分布的交互式图形评估。我们提出了两个新的图形视图，帮助导航非常大的条件概率表：CPTree（条件概率树）和SCPT（收缩条件概率表）。基于对人类定量数据图形化呈现的了解，我们为概率轮和条形图提供了几个有用的增强功能，包括不同的图表样式和选项，可以适应用户的偏好和需求。我们提出了一个简单的可用性研究的结果，证明了所提出的工具的价值。
2013-01-18 cs.AI
LinCDE: Conditional Density Estimation via Lindsey's Method
条件密度估计是统计学中的一个基本问题，在生物学、经济学、金融学和环境研究等领域都有科学和实际应用。在本文中，我们提出了一个条件密度估计的基础上梯度提升和Lindsey的方法（LinCDE）。LinCDE允许灵活的密度族建模，并可以捕获分布特征，如模态和形状。特别是，当适当的参数化，LinCDE将产生平滑和非负的密度估计。此外，像提升回归树一样，LinCDE也会自动进行特征选择。我们证明了LinCDE的有效性，通过广泛的模拟和三个真实的数据例子。
2021-12-31 stat.ME
Decision Forests, Convolutional Networks and the Models in-Between
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；University of Bath（巴斯大学）
本文研究了两种最先进的分类器：决策森林（DF，包括决策丛林）和卷积神经网络（CNN）之间的联系。决策森林由于其条件计算属性（计算仅限于树的一个小区域，即单个分支上的节点）而具有计算效率。CNN由于其表示学习能力而达到了最先进的精度。我们提出了一个系统的分析，如何融合条件计算与表示学习，并实现了一个连续的混合模型与不同的准确率与效率。我们称这种新的混合模型家族为条件网络。条件网络可以被认为是：i）用数据转换算子增强的决策树，或者ii）具有块对角稀疏权重矩阵和显式数据路由函数的CNN。在CIFAR和Imagenet数据集上对图像分类的共同任务进行实验验证。与最先进的CNN相比，我们的混合模型以一小部分计算成本和更少的参数数量产生相同的精度。
2016-03-03 cs.AI cs.CV
Partitioned conditional generalized linear models for categorical data
在分类数据分析中，已经提出了几种用于分层结构响应变量的回归模型，例如嵌套logit模型。但它们只在等级制度中的两三个层次上得到正式定义。在这里，我们介绍了一类划分的条件广义线性模型（PCGLM）定义的任何数量的水平。这些模型的层次结构完全由类别的分区树指定。使用（r，F，Z）规格的通用性，PCGLM可以处理名义型，有序型，但也部分有序的响应变量。
2014-05-22 stat.ME
Nonparametric estimation of conditional probability distributions using a generative approach based on conditional push-forward neural networks
MOX, Department of Mathematics, Politecnico di Milano（米兰理工学院数学系MOX部门）；Department of Economics, University of Bergamo（博洛尼亚大学经济系）
本文提出了一种基于条件推动神经网络的非参数条件概率分布估计方法，通过学习随机映射实现高效条件采样和统计估计，实验表明其性能优于现有主流方法。
2025-12-22 cs.LG stat.ME
A classification point-of-view about conditional Kendall's tau
我们展示了如何估计条件肯德尔的tau的问题可以重写为一个分类任务。条件肯德尔τ是条件依赖参数，其是给定的一对随机变量的特征。目标是预测在某些协变量条件下这对是一致的（$1$的值）还是不一致的（$-1$的值）。我们证明了一族惩罚近似极大似然估计的相合性和渐近正态性，包括在我们的框架中logit和probit回归的等价性。然后，我们详细介绍了具体的算法适应通常的机器学习技术，包括最近邻，决策树，随机森林和神经网络，设置的条件肯德尔的τ的估计。这些估计量的有限样本性质和它们对数据生成过程的每个组成部分的敏感性在模拟研究中进行评估。最后，我们将所有这些估计的数据集的欧洲股票指数。
2018-11-26 math.ST stat.CO stat.ME
Generalising Discrete Action Spaces with Conditional Action Trees
Queen Mary University of London（伦敦玛丽女王大学）
在强化学习（RL）环境中，有相对较少的惯例来构造动作空间。因此，将RL算法应用于具有多个组件的大动作空间的任务需要额外的努力来适应不同的格式。在本文中，我们引入{ \em条件动作树}有两个主要目标：（1）作为一种在RL中构造动作空间的方法，以推广到多个动作空间规范，以及（2）通过将其分解为多个子空间来形式化一个过程，以显着减少动作空间，有利于多阶段决策方法。我们展示了几个验证我们方案的概念验证实验，从基本离散动作空间的环境到RTS风格游戏中常见的大型组合动作空间。
2021-04-15 cs.AI cs.LG stat.ML
Tree models for assessing covariate-dependent method agreement
本文提出条件方法一致性树 COAT，将 Bland-Altman 分析与递归划分结合，以识别随协变量变化的一致性子组，并通过模拟、加速度计数据及双样本检验验证其有效性。
2023-06-07 stat.ME
Nonparametric C- and D-vine based quantile regression
分位数回归是统计建模中重要性稳步增长的领域。它是线性回归的一种补充方法，因为计算一系列条件分位数函数可以更准确地建模变量之间的随机关系，特别是在尾部。我们介绍了一个非限制性的和高度灵活的非参数分位数回归方法的基础上C和D藤连接。藤连接允许对数据中的边缘分布和依赖结构进行单独建模，并且可以通过由树序列给出的图论模型来表示。通过这种方式，我们得到了一个分位数回归模型，它克服了分位数回归的典型问题，如分位数交叉或共线性，需要转换和变量的相互作用。我们的方法采用了两步提前排序的变量，通过最大化的树序列的条件对数似然，同时考虑到未来两个树的水平。此外，我们证明了非参数条件分位数估计是相容的。所提出的方法的性能进行评估，在低维和高维设置使用模拟和真实世界的数据。结果支持所提出的模型的优越的预测能力。
2021-11-16 stat.ME
Gradient boosting for extreme quantile regression
极端分位数回归提供数据范围外的条件分位数的估计值。经典的分位数回归在这种情况下表现不佳，因为尾部区域的数据太少。极值理论用于超出观测值范围的外推和条件极值分位数的估计。基于超阈值峰值法，将高阈值以上的条件分布近似为协变量相关参数的广义Pareto分布.我们提出了一个梯度提升过程来估计一个条件广义Pareto分布，通过最小化其偏差。交叉验证用于选择调优参数，如树的数量和树的深度。我们讨论诊断图，如变量的重要性和部分依赖图，这有助于解释拟合模型。在模拟研究中，我们表明，我们的梯度提升过程优于经典的方法，从分位数回归和极值理论，特别是对于高维预测空间和复杂的参数响应曲面。在荷兰的降水数据的天气预报的统计后处理的应用程序。
2022-12-21 stat.ME
Conditional Probability Tree Estimation Analysis and Algorithms
IBM Research（IBM研究院）；Yahoo! Research（雅虎研究院）
我们考虑的问题估计的条件概率的标签在时间$O(\log n)$，其中$n$是可能的标签的数量。我们分析了一个自然减少这个问题的一组二进制回归问题组织在一个树结构，证明了遗憾的范围，规模与深度的树。基于这种分析，我们提出了第一个在线算法，该算法可证明地在标签集上构建对数深度树来解决这个问题。我们测试的算法经验，表明它成功地工作在一个数据集与大致$10^6$标签。
2009-06-03 cs.AI cs.LG
Conditional Probability Tree Estimation Analysis and Algorithms
我们考虑的问题估计的条件概率的标签在时间O（log n），其中n是可能的标签的数量。我们分析了一个自然减少这个问题的一组二进制回归问题组织在一个树结构，证明了遗憾的范围，规模与深度的树。基于这种分析，我们提出了第一个在线算法，该算法可证明地在标签集上构建对数深度树来解决这个问题。我们根据经验测试了该算法，结果表明它在大约106个标签的数据集上成功地工作。
2014-08-09 cs.LG stat.ML
Asymptotic properties of the maximum likelihood estimator for Hidden Markov Models indexed by binary trees
本文研究以二叉树为索引、隐状态为一般度量空间的隐马尔可夫模型，在平稳与非平稳情形下证明最大似然估计量的强相合性与渐近正态性，并借助树索引马尔可夫链的遍历定理完成证明。
2024-09-10 math.PR math.ST stat.TH
Treeffuser: Probabilistic Predictions via Conditional Diffusions with Gradient-Boosted Trees
Columbia University（哥伦比亚大学）；Fero Labs（费罗实验室）
Treeffuser提出一种结合条件扩散模型与梯度提升树的表格数据概率预测方法，实现非参数、易训练且校准良好的预测分布，在合成与真实数据上优于现有方法，并成功应用于Walmart库存分配。
2024-10-22 cs.LG stat.ML
Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization
ESAT-PSI, KU Leuven, Belgium（比利时鲁汶大学ESAT-PSI实验室）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们在优化基准函数以及神经网络模型压缩问题上演示了我们的方法，实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-06-21 cs.LG stat.ML
ShapShift: Explaining Model Prediction Shifts with Subgroup Conditional Shapley Values
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出ShapShift方法，通过可解释子组的条件Shapley值解释模型预测变化，适用于决策树和集成模型，提供简单且可信的解释，帮助动态环境下的模型监控。
2026-04-13 cs.AI cs.LG stat.ML
Conditional Chow-Liu Tree Structures for Modeling Discrete-Valued Vector Time Series
University of California, Irvine（加州大学尔湾分校）
我们考虑离散值向量时间序列数据的建模问题，使用扩展的Chow-Liu树模型来捕获跨时间的依赖关系和跨变量的依赖关系。作为对标准Chow-Liu树的扩展，引入了条件Chow-Liu树模型，用于建模条件密度而不是联合密度。我们描述了这种模型的学习算法，并展示了它们如何可以用来学习隐马尔可夫模型的输出分布的简约表示。并将这些模型应用于雨量站网逐日降水量的模拟和预报这一重要问题。为了证明模型的有效性，我们比较了它们的性能与一些替代品使用历史降水数据从澳大利亚西南部和美国西部。我们说明了如何的结构和参数的模型可以用来提供一个改进的气象解释这样的数据。
2012-07-11 cs.LG stat.ML
Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
The Tree Ensemble Layer: Differentiability meets Conditional Computation
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）；Google Brain（谷歌大脑）
神经网络和树集成是最先进的学习器，每一个都有其独特的统计和计算优势。我们的目标是通过为神经网络引入一个新的层来结合这些优势，该层由可微决策树（a.k.a.软树）。虽然可微树在文献中展示了有希望的结果，但它们通常在训练和推理中很慢，因为它们不支持条件计算。我们通过引入一个新的样本路由稀疏激活函数来缓解这个问题，并通过开发利用稀疏性的专门的前向和后向传播算法来实现真正的条件计算。我们的高效算法为使用一阶方法（例如，SGD）。在23个分类数据集上的实验表明，与文献中使用的可微树相比，速度提高了10倍以上，与梯度提升树相比，参数数量减少了20倍以上，同时保持了竞争力。此外，在CIFAR、MNIST和Fashion MNIST上的实验表明，用我们的树层替换CNN中的密集层，测试损失减少了7-53%，参数数量减少了8倍。我们提供了一个带有Keras API的开源TensorFlow实现。
2020-07-11 cs.CV cs.LG stat.ML
An Entropy-based Learning Algorithm of Bayesian Conditional Trees
本文在手写数字识别的背景下，对Chow和Liu的学习算法进行了改进。修改后的算法指导用户将数字分组为几个类别，这些类别由难以区分的数字组成，然后为每个类别的数字构建一个最佳条件树表示，而不是像Chow和Liu（1968）那样为每个数字构建一个最佳条件树表示。讨论了新方法的优点和扩展。Wong和Wang（1977）以及Wong和Poon（1989）的相关工作提供了一种不同的基于熵的学习算法，这些工作被证明是基于不适当的假设。
2013-03-13 cs.AI cs.CV cs.LG
Structural Learning of Simple Staged Trees
IE University（IE大学）；Universitat de València（瓦伦西亚大学）
贝叶斯网络忠实地表示随机向量的分量之间存在的对称条件独立性。阶段树是贝叶斯网络的分类随机向量的扩展，其图通过顶点着色表示非对称条件独立性。然而，由于它们基于样本空间的树表示，因此随着变量数量的增加，底层图变得混乱并且难以可视化。在这里，我们介绍了第一个结构学习算法的类简单的分期树，娱乐的基础树，可以很容易地读取非对称独立的紧凑的合并。我们证明了数据学习的简单阶段树在模型拟合方面往往优于贝叶斯网络，并说明了如何使用合并图来识别非对称条件独立性。
2022-03-08 cs.LG stat.ML
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而，用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中，我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法，大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和（可选）其梯度和费舍尔信息。潜在的应用是非常广泛的，我们考虑的例子在生存分析，结构异方差回归，伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Explaining predictive models with mixed features using Shapley values and conditional inference trees
Norwegian Computing Center（挪威计算中心）
解释复杂的黑箱机器学习模型变得越来越重要。虽然关于这个主题的文献越来越多，但Shapley值作为解释任何类型的机器学习模型预测的合理方法脱颖而出。用于预测解释的Shapley值的最初发展依赖于所描述的特征是独立的假设。然后扩展该方法以解释具有基础连续分布的相关特征。在本文中，我们提出了一种方法来解释混合（即连续的，离散的，有序的，和分类）依赖的功能，通过建模的依赖结构的功能，使用条件推理树。我们证明了我们提出的方法对目前的行业标准在各种模拟研究，发现我们的方法往往优于其他方法。最后，我们将我们的方法应用于2018年FICO可解释机器学习挑战赛中使用的真实财务数据集，并展示我们的解释与FICO挑战赛认可奖获奖团队的比较。
2020-07-02 cs.LG stat.ML
Conditional Density Estimation with Histogram Trees
LIACS, Leiden University（莱顿大学LIACS学院）
提出CDTree，一种基于直方图叶节点的非参数决策树模型，利用MDL原则免调参，在提升CDE准确性与鲁棒性的同时生成更小且可解释的树。
2024-10-15 cs.LG
Generative modeling of density regression through tree flows
Duke University（杜克大学）；Waseda University（早稻田大学）
针对表格数据的密度回归问题，提出一种基于树流的生成模型，通过分治策略训练树基分段线性变换，在基准数据集上以更低成本取得相当或更优的条件密度估计性能，还可用于生成合成微生物组数据。
2024-10-05 cs.LG stat.ML
Shapley Computations Using Surrogate Model-Based Trees
Wells Fargo（富国银行）
Shapley相关技术由于其理想的性质而作为全局和局部解释工具受到关注。然而，使用条件期望的计算在计算上是昂贵的。文献中提出的近似方法有局限性。本文提出了使用代理模型为基础的树计算Shapley和SHAP值的基础上的条件期望。仿真结果表明，该算法在准确性上有所提高，统一了全局Shapley和SHAP解释，阈值化方法提供了一种兼顾运行时间和准确性的方法。
2022-07-11 cs.LG stat.ML
Conditional Inference Trees and Forests for Feature Selection
Amazon Web Services（亚马逊云服务）
研究条件推理树和森林作为top-k特征排序方法，通过实验验证其性能，发现Bonferroni校正和自适应停止对运行时间影响显著，而森林特征采样可能遗漏重要特征。
2026-07-03 cs.LG stat.ML
Any-Property-Conditional Molecule Generation with Self-Criticism using Spanning Trees
Samsung - SAIT AI Lab, Montréal（三星 - SAIT人工智能实验室，蒙特利尔）；Samsung Advanced Institute of Technology (SAIT)（三星高级技术研究所（SAIT））
本文将基于生成树的图生成方法STGG扩展为STGG+，通过引入Transformer架构、属性随机掩码和辅助属性预测损失，实现了多属性条件分子生成，并在条件生成和奖励最大化任务上达到最先进性能。
2025-07-15 cs.LG q-bio.BM
Tree-Structured Recurrent Switching Linear Dynamical Systems for Multi-Scale Modeling
Stony Brook University（石溪大学）；Columbia University（哥伦比亚大学）
许多现实世界的系统研究是由复杂的，非线性动力学。通过对这些动态进行建模，我们可以深入了解这些系统的工作方式，预测它们的行为方式，并制定控制它们的策略。虽然有许多方法来建模非线性动态系统，现有的技术面临着提供可解释的描述和准确的预测之间的权衡。在这里，我们开发了一类模型，旨在同时实现简单描述和更复杂，但也更准确的模型之间的平滑插值。我们的概率模型通过局部线性动力学的层次结构来实现这种多尺度特性，这些局部线性动力学共同近似全局非线性动力学。我们称之为树结构递归切换线性动力系统。为了适应这个模型，我们提出了一个完全贝叶斯抽样程序，使用Polya-Gamma数据增强，允许快速和共轭吉布斯抽样。通过各种合成和真实的例子，我们展示了这些模型如何在可解释性和预测能力方面优于现有的方法。
2019-06-04 cs.LG stat.ML
Sample size planning for conditional counterfactual mean estimation with a K-armed randomized experiment
Adobe Inc.（奥多比公司）
针对K臂随机实验中数据驱动子群体的条件反事实均值估计问题，提出将样本量规划转化为同时推断问题的方法，可推导对应样本量或反向求解可行的处理臂数与划分复杂度，并在公开数据集上验证了性能保证。
2024-03-06 cs.LG stat.ME stat.ML
Interpretable Rule Discovery Through Bilevel Optimization of Split-Rules of Nonlinear Decision Trees for Classification Problems
Michigan State University（密歇根州立大学）
对于涉及设计，控制，其他实际目的的监督分类问题，用户不仅有兴趣找到一个高精度的分类器，但他们也要求得到的分类器是容易解释的。虽然分类器的可解释性的定义可以因情况而异，但在这里，通过人类可解释的分类器，我们将其限制为用简单的数学术语表示。作为一种新的方法，我们表示一个简单的数学规则，使用非线性决策树（NLDT）的组合分类器。树的每个条件（非终端）节点表示涉及特征的非线性数学规则（分裂规则），以便将给定条件节点中的数据集划分为两个不重叠的子集。这种划分旨在最小化结果子节点的不纯性。通过限制每个条件节点上的分裂规则结构和决策树的深度，保证了分类器的可解释性。在一个给定的条件节点的非线性分裂规则是使用进化的双层优化算法，而上层集中在到达一个可解释的结构的分裂规则，较低的水平实现最合适的权重（系数）的规则的各个组成部分，以最大限度地减少净杂质的两个子节点。所提出的算法的性能证明了一些控制测试问题，现有的基准问题，和工业问题。两个到500个特征问题的结果是令人鼓舞的，并开辟了进一步的范围，应用所提出的方法，更具有挑战性和复杂的分类任务。
2020-08-02 cs.LG cs.NE stat.ML
Exponentially Increasing the Capacity-to-Computation Ratio for Conditional Computation in Deep Learning
Université de Montréal（蒙特利尔大学）
深度网络获得的许多最先进的结果都是通过可以训练的最大模型实现的，如果有更多的计算能力，我们可能能够利用更大的数据集来提高泛化能力。而在诸如决策树之类的学习算法中，参数的数量）与计算的比率是非常有利的（高达指数地多于计算的参数），对于深度神经网络，该比率基本上为1。条件计算已经被提出作为一种在不增加所需计算量的情况下增加深度神经网络的容量的方式，其通过在每个示例的基础上“按需”激活一些参数和计算。本文提出了一种新的神经网络权值矩阵参数化方法，它有可能使计算参数数的比率以指数方式增加。所提出的方法是基于打开一些参数（权重矩阵）时，获得特定的位模式的隐藏单元激活。为了更好地控制可能导致的过拟合，我们提出了一个参数化，是树结构的，其中树的每个节点对应于一个前缀的一个序列的符号位，或门控单元，与隐藏单元。
2014-06-28 cs.LG cs.NE stat.ML
Tree Variational Autoencoders
ETH Zurich（苏黎世联邦理工学院）
提出树变分自编码器（TreeVAE），通过层次聚类学习树状后验分布，自适应发现最优树结构，利用叶解码器提升生成性能，在多种数据集上揭示隐藏聚类并生成新样本。
2023-11-17 cs.CV cs.LG
Efficient distributional regression trees learning algorithms for calibrated non-parametric probabilistic forecasts
Swiss Data Science Center（瑞士数据科学中心）；EPFL（瑞士联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文提出高效算法用于校准非参数概率预测，通过min-max堆等数据结构提升计算效率，展示其在WIS和CRPS损失函数下的竞争力，并利用树结构实现可解释的群体条件覆盖保障。
2026-05-13 cs.DS cs.LG
Dynamic Vine Copulas: Detecting and Quantifying Time-Varying Higher-Order Interactions
Kempner Institute at Harvard University（哈佛大学凯普勒研究所）；Stanford University（斯坦福大学）
本文提出动态藤Copula模型，用于估计和诊断序列中非高斯依赖关系，通过比较完整藤与1截断版本区分灵活的首树成对依赖与更高树条件项的证据。
2026-05-07 cs.LG q-bio.QM stat.ME
Amortized Tree Generation for Bottom-up Synthesis Planning and Synthesizable Molecular Design
Massachusetts Institute of Technology（麻省理工学院）
分子设计和合成规划是分子发现过程中的两个关键步骤，我们建议将其制定为条件合成途径生成的单一共享任务。我们报告一个摊销的方法来产生合成途径作为一个马尔可夫决策过程的条件下，目标分子嵌入。这种方法使我们能够进行自自底向上的【形】的方式进行合成规划和设计合成的分子，从优化的条件代码解码，展示了潜在的同时解决设计和合成的问题。该方法利用神经网络概率建模的合成树，一个反应步骤的时间，根据反应规则编码在一个离散的行动空间的反应模板。我们在成千上万的人工路径上对这些网络进行训练，这些人工路径是从一个采购化合物池和一系列专家策划的模板中产生的。我们验证了我们的方法与（a）使用条件生成的分子的恢复，（b）可合成的结构类似物的鉴定，和（c）分子结构的优化给定的oracle功能相关的药物发现。
2022-03-12 cs.LG q-bio.QM
Efficient Sample-optimal Learning of Gaussian Tree Models via Sample-optimal Testing of Gaussian Mutual Information
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）；Fujitsu Research（富士通研究所）；Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子技术中心）
针对高斯分布的树结构学习问题，提出基于线性回归的高斯条件互信息测试器，实现了仅需 $\widetilde{Θ}(n\varepsilon^{-1})$ 样本的接近最优 $\varepsilon$-近似结构学习算法，并提供了理论保证与实验验证。
2024-11-18 cs.DS cs.LG stat.ML
Neural Probabilistic Model for Non-projective MST Parsing
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个概率分析模型，它定义了一个适当的条件概率分布的非投射依赖树为一个给定的句子，使用神经表示作为输入。神经网络架构基于双向LSTM-CNN，通过使用双向LSTM和CNN的组合，自动受益于单词和字符级表示。在神经网络之上，我们引入了一个概率结构层，定义了一个非投影树上的条件对数线性模型。我们在14种不同语言的17个不同数据集上评估了我们的模型。通过利用Kirchhoff的矩阵树定理（Tutte，1984），可以有效地计算分区函数和边缘，从而通过反向传播实现直接的端到端模型训练过程。我们的解析器在九个数据集上实现了最先进的解析性能。
2017-09-03 cs.CL cs.LG stat.ML
Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models
University of California, Irvine（加州大学欧文分校）
深度学习已经在ImageNet等数据集上显示出最先进的分类性能，这些数据集在每个图像中包含一个对象。然而，多目标分类更具挑战性。我们提出了一个统一的框架，利用多种机器学习方法的优势，即深度学习，概率模型和内核方法，以获得最先进的性能在Microsoft COCO上，由非图标图像。我们通过条件潜在树概率模型（CLTM）将上下文信息纳入自然图像中，其中对象同现以从预训练的Imagenet CNN中提取的fc 7特征为条件作为输入。我们学习的CLTM树结构使用条件成对概率的对象同现，通过内核方法估计，我们学习它的节点和边缘的潜力，通过训练一个新的3层神经网络，它需要FC 7功能作为输入。对象分类是通过对学习条件树模型的推理进行的，我们在MS-COCO上获得了显着的精度-召回率和F-措施，特别是对于困难的对象类别。此外，CLTM中的潜变量捕获场景信息：具有潜在节点的顶部激活的图像具有共同的主题，例如草原或食物场景等。此外，我们表明，仅对推断的潜在节点进行简单的k均值聚类显着提高了MIT-Indoor数据集上的场景分类性能，而无需任何重新训练，并且在训练期间不使用场景标签。因此，我们提出了一个统一的框架，多目标分类和无监督场景理解。
2015-05-02 cs.CV cs.LG
Augmented Functional Random Forests: Classifier Construction and Unbiased Functional Principal Components Importance through Ad-Hoc Conditional Permutations
Faculty of Technological and Innovation Sciences（技术与创新科学学院）；Faculty of Economics and Law（经济与法学院）
本研究将函数型数据分析与树模型结合，提出增强型函数型分类树和随机森林，通过特设条件置换实现无偏函数主成分重要性评估，在真实与模拟数据集上均提升了分类性能。
2024-08-23 cs.LG math.ST stat.ME
Random Forests as Statistical Procedures: Design, Variance, and Dependence
Department of Biostatistics and Data Science, Wake Forest University School of Medicine（生物统计学与数据科学系，沃森医学中心，威斯康星大学）
随机森林作为统计程序，通过引入PASR方法估计协方差地板，实现对预测不确定性的分解，并提供理论保证的置信区间。
2026-02-28 cs.LG math.ST stat.ML
Mixtures of All Trees
UCLA（加州大学洛杉矶分校）
树形图模型因其易处理性而被广泛使用。然而，不幸的是，它们缺乏表达能力，因为它们需要致力于特定的稀疏依赖结构。我们提出了一类新的生成模型称为所有树的混合物：也就是说，在所有可能的混合物（$n^{n-2}$）树形图形模型$n$变量。我们表明，它是可以参数化的所有树的混合（MoAT）模型companion（使用多项式大小表示）的方式，允许通过随机梯度下降的易处理的似然计算和优化。此外，通过利用树形模型的易处理性，我们设计了快速收敛的条件采样算法进行近似推理，即使我们的理论分析表明，精确计算的边缘在MoAT模型是NP-难的。从经验上讲，与包括隐藏Chow-Liu树在内的强大概率模型相比，MoAT在密度估计基准上实现了最先进的性能。
2023-03-29 cs.LG
