Score Equivalence for Staged Trees
阶段树是最近发展起来的一个强大的概率图模型家族。一个等价类的分级树现在已经被表征，和两个基本的统计算子已被定义为遍历一个给定的分级树的等价类。在这里，当两个阶段树表示相同的分布集时，它们被称为统计等效。概率图模型，如分期树越来越多地用于因果分析。在同一等价类中的阶段树可以编码非常不同的因果假设，但仅凭数据无法帮助我们区分这些假设。因此，在使用基于分数的方法从数据中学习模型结构和分布以进行因果分析时，我们应该期望合适的评分函数是将相同分数分配给统计学上等效的模型的函数。没有评分功能尚未被证明有这个理想的属性分期树。本文提出了一种基于路径一致性和质量守恒的贝叶斯Dirichlet评分函数，并证明了该评分函数对于分级树是评分等价的。
2023-01-17 stat.ME
The curved exponential family of a staged tree
阶段树模型是贝叶斯网络的离散推广。我们表明，这些形式弯曲的指数家庭，并获得其自然参数，充分统计量，和累积生成函数作为其图形表示的功能。我们给出了必要和充分的图形标准进行分类定期子家庭和讨论模型选择的影响。
2022-01-28 math.ST stat.ME stat.TH
Using Staged Tree Models for Health Data: Investigating Invasive Fungal Infections by Aspergillus and Other Filamentous Fungi
本文展示了机器学习的阶段树模型在健康数据中的应用，通过研究曲霉菌等引起的侵袭性真菌感染风险因素，揭示了复杂的非对称依赖结构，以支持医疗决策。
2023-07-30 stat.AP
Staged trees for discrete longitudinal data
本文研究阶段树模型在离散纵向数据中的应用，针对小样本和大图下模型选择与解释的困难，提出了带有 Markov 假设的纵向阶段树和边缘纵向阶段树两种方法。
2024-01-09 stat.ME
Scalable Model Selection for Staged Trees: Mean-posterior Clustering and Binary Trees
阶段树是贝叶斯网络的非对称扩展，已有几种结构学习算法被提出。然而，这些方法要么不能随着所考虑的变量数量的增加而有效地扩展，要么先验地限制了模型的集合，要么它们找不到与现有方法可比的模型。在这里，我们定义了一个替代算法的基础上全有序超阶段。我们演示了如何使用它来获得一个二次缩放结构学习算法的阶段树，限制模型空间的后验。通过比较分析，我们表明，通过平均后验分布提供的顺序，我们可以优于现有的方法在计算时间和模型得分。这种方法还使我们能够通过扩展模型空间来学习比现有的模型选择技术更复杂的关系，并说明了这是如何在实际研究中修饰推论的。
2022-11-14 stat.CO stat.ME
Robust learning of staged tree models: A case study in evaluating transport services
针对staged tree模型学习到的非对称关系缺乏稳健性评估方法的问题，提出基于非参数自助法重采样的验证技术及what-if敏感性分析，并应用于大规模调查数据评估交通服务。
2024-01-03 stat.AP
Bayesian Causal Effect Estimation for Categorical Data using Staged Tree Models
本文提出基于分阶段树模型的完全贝叶斯因果推断方法，通过灵活先验和分裂-合并MCMC算法处理多变量分类数据中的结构与参数不确定性，并推导平均处理效应及不确定性度量。
2025-11-05 stat.ME
The R Package stagedtrees for Structural Learning of Stratified Staged Trees
stagedtrees是一个R软件包，它包含了几种算法，用于从数据中学习阶段树和链事件图的结构。实现了基于分数和基于聚类的算法，以及绘制模型和执行推理的各种功能。stagedtree的功能主要使用两个数据集来说明，这两个数据集都包含在包中或捆绑在R中。
2020-10-31 stat.CO stat.ME stat.ML
Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；MIT（麻省理工学院）；Secondmind；University of Oxford（牛津大学）
本文研究基于诱导点的稀疏高斯过程数值稳定性，推导诱导点稳定的充分必要条件，并提出基于覆盖树修改的自动选点方法及一种更稳定的回归稀疏近似，在空间任务上验证了稳定性与预测性能的关系。
2024-01-16 cs.LG stat.ML
Staged Event Trees for Transparent Treatment Effect Estimation
本文提出在分段事件树框架内刻画并实现经典因果推断估计量，以可解释、可视化的方式利用观测数据估计处理效应，并检验正定性等假设。
2025-09-30 stat.ME stat.ML
Equations defining probability tree models
彩色概率树模型是对树图中描绘的事件之间的条件独立性进行编码的统计模型。它们比非常重要的一类特定于上下文的贝叶斯网络更一般。本文研究了他们的模型不变量理想的代数性质。这个理想的生成元可以很容易地从树图中读出，并且根据底层模型有一个简单的解释：它们是来自条件概率的优势比的差异。在这个分析中的一个关键发现是，树是一个方便的工具，用于理解精确的代数方式，其中参数空间上的和为1的条件转换为统计模型的联合概率上的和为1的条件。这使我们能够确定必要和充分的图形条件，分期树模型是一个复曲面品种的概率单纯形。
2020-06-15 math.AC math.PR math.ST
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
High-dimensional near-optimal experiment design for drug discovery via Bayesian sparse sampling
Chalmers University of Technology（查尔姆斯理工大学）；AstraZeneca AB（阿斯利康公司）
我们研究的问题进行自动化实验设计的药物筛选，通过贝叶斯推理和优化。特别是，我们比较和对比的线性高斯模型和高斯过程的行为，当与置信上限算法，汤普森采样，或有界水平树搜索。我们表明，非近视的复杂的探索技术，使用稀疏树搜索有一个明显的优势，如汤普森采样或置信上限在这种情况下的方法。我们证明了显着的优越性，该方法比现有的和合成的药物毒性数据集。
2021-04-23 cs.LG q-bio.QM stat.ML
A Max-Product EM Algorithm for Reconstructing Markov-tree Sparse Signals from Compressive Samples
提出了一种基于置信传播的马尔可夫树稀疏信号重构的贝叶斯期望最大化算法。测量遵循欠定线性模型，其中回归系数向量是未知的近似稀疏信号和具有未知方差的零均值高斯白噪声的和。该信号由二进制状态变量识别的大小分量组成，其概率依赖结构由马尔可夫树描述。高斯先验被分配给给定其状态变量的信号系数，Jeffreys的无信息先验被分配给噪声方差。我们的信号重建方案是基于EM迭代，其目的是最大化的后验分布的信号和它的状态变量给定的噪声方差。我们构造EM迭代的缺失数据，使得完整数据的后验分布对应于不包含循环的隐马尔可夫树（HMT）概率图模型，并通过最大乘积算法实现其最大化（M）步骤。该期望最大化算法估计状态变量的向量，以及迭代地求解线性方程组以获得相应的信号估计。我们选择噪声方差，使得EM迭代收敛后得到的相应估计信号和状态变量具有最大的边缘后验分布。我们通过信号和图像重建实验比较了建议和现有的最先进的重建方法。
2013-08-25 cs.IT math.IT stat.ML
Fitting sparse high-dimensional varying-coefficient models with Bayesian regression tree ensembles
提出稀疏贝叶斯回归树集成模型sparseVCBART，用于高维变系数模型，通过收缩先验实现稀疏性，后验收缩率接近最优，预测精度高且不确定性区间更窄，应用于偏见研究。
2025-10-09 math.ST stat.ME stat.TH
Sparse tree-based clustering of microbiome data to characterize microbiome heterogeneity in pancreatic cancer
人们对表征癌症患者微生物组的变化非常感兴趣，因为越来越多的证据表明其在决定治疗结果方面的重要作用。在这里，我们的目标是发现具有相似微生物组特征的患者亚组。我们提出了一种新的无监督聚类方法的贝叶斯框架，创新现有的基于模型的聚类方法，如狄利克雷多项式混合模型，在三个关键方面：我们将特征选择，学习适当数量的集群的数据，并整合信息的树结构相关的观察到的功能。我们比较了我们提出的方法与现有方法在模拟真实微生物组数据的模拟数据上的性能。然后，我们说明了我们的激励数据集获得的结果，这是一项旨在表征胰腺癌患者肿瘤微生物组的临床研究。
2022-12-03 stat.AP
Generalising Discrete Action Spaces with Conditional Action Trees
Queen Mary University of London（伦敦玛丽女王大学）
在强化学习（RL）环境中，有相对较少的惯例来构造动作空间。因此，将RL算法应用于具有多个组件的大动作空间的任务需要额外的努力来适应不同的格式。在本文中，我们引入{ \em条件动作树}有两个主要目标：（1）作为一种在RL中构造动作空间的方法，以推广到多个动作空间规范，以及（2）通过将其分解为多个子空间来形式化一个过程，以显着减少动作空间，有利于多阶段决策方法。我们展示了几个验证我们方案的概念验证实验，从基本离散动作空间的环境到RTS风格游戏中常见的大型组合动作空间。
2021-04-15 cs.AI cs.LG stat.ML
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT（麻省理工学院）；Cornell（康奈尔大学）；Stanford（斯坦福大学）
ControlBurn是一个Python包，用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合，优先考虑具有少量特征的基函数，然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此，ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性：例如，它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径（任何数量的选定特征的预测误差）。对于较大的数据集，运行时在样本和特征的数量上线性缩放（最多为对数因子），并且包支持使用草图加速。此外，ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的：它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
Generalized and Scalable Optimal Sparse Decision Trees
University of British Columbia（不列颠哥伦比亚大学）；Duke University（杜克大学）
从计算的角度来看，决策树优化是非常困难的，但对于可解释的机器学习领域来说是必不可少的。尽管在过去的40年里一直在努力，但直到最近才取得了优化突破，使实用算法能够找到最佳决策树。这些新技术有可能引发范式转变，其中可以构建稀疏决策树来有效地优化各种目标函数，而不依赖于贪婪分裂和修剪算法，这些算法通常会导致次优解。在这项工作中的贡献是提供一个通用的框架决策树优化，解决了两个重要的开放问题，在该地区：不平衡数据的处理和充分优化连续变量。我们提出的技术，产生最佳的决策树在各种目标，包括F-分数，AUC，和部分区域下的ROC凸包。我们还介绍了一个可扩展的算法，产生可证明的最佳结果，在连续变量的存在下，并加快了决策树建设的几个数量级相对于最先进的。
2022-11-22 cs.LG stat.ML
Beyond Trees: Classification with Sparse Pairwise Dependencies
Weizmann Institute of Science（魏茨曼科学研究所）；Princeton University（普林斯顿大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Texas A&M University（得克萨斯农工大学）
几种分类方法假设底层分布遵循树形结构的图形模型。事实上，树捕获变量对之间的统计依赖性，这对于实现低分类错误可能至关重要。所得分类器在对应于树边缘的对数变换的单变量和双变量密度中是线性的。然而，在实践中，观察到的数据可能无法很好地用树来近似。然而，出于精确分类的成对依赖关系的重要性，在这里，我们建议通过单变量和双变量对数变换密度的稀疏线性组合来近似最优决策边界。我们所提出的方法是半参数的性质：我们非参数估计的单变量和双变量密度，删除几乎独立使用希尔伯特-施密特独立性标准的变量对，并最终构建一个线性SVM上保留的对数转换密度。我们证明使用合成和真实的数据，我们得到的分类，表示SLB（稀疏对数双变量密度），是有竞争力的流行的分类方法。
2020-04-16 cs.LG stat.ML
Tree Search Network for Sparse Regression
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电气工程学院）
我们考虑经典的稀疏回归问题的恢复稀疏信号$x_0$给定的测量向量$y = Φx_0+w$。提出了一种基于深度神经网络的稀疏回归树搜索算法。TSN通过执行具有修剪的树搜索来提高为稀疏回归设计的深度神经网络的信号重构性能。在无噪声和有噪声的情况下都可以观察到，TSN恢复合成信号和真实信号的复杂度比传统的树搜索低，并且对于广泛用于稀疏回归的各种类型的感测矩阵$Φ$，TSN优于现有算法。
2019-04-01 cs.LG eess.SP stat.ML
Optimal Sparse Decision Trees
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；The University of British Columbia（不列颠哥伦比亚大学）
针对传统决策树缺乏最优性保证的问题，本文提出首个面向二值变量的实用最优稀疏决策树算法 OSDT，通过解析界与位向量等系统技术协同优化搜索，在可扩展性、速度和最优性证明上表现更优。
2023-09-26 cs.LG stat.ML
Sparse tree-based initialization for neural networks
Boston University（波士顿大学）；Sorbonne Université（索邦大学）；Ecole Polytechnique（巴黎综合理工学院）
专用的神经网络（NN）架构被设计用于处理特定的数据类型（例如用于图像的CNN或用于文本的RNN），这将它们列为处理这些数据的最先进方法之一。不幸的是，还没有发现处理表格数据的架构，树集成方法（树提升，随机森林）通常表现出最好的预测性能。在这项工作中，我们提出了一种新的稀疏初始化技术（潜在的深）多层感知器（MLP）：我们首先训练一个基于树的程序来检测功能的相互作用，并使用由此产生的信息来初始化网络，随后通过标准的随机梯度策略进行训练。在几个表格数据集上的数值实验表明，这种新的，简单易用的方法在泛化能力和计算时间方面都是默认MLP初始化甚至现有复杂深度学习解决方案的可靠并发。事实上，这种明智的MLP初始化将产生的NN方法提升到处理表格数据时梯度提升的有效竞争对手的水平。此外，这样的初始化能够保持通过训练在网络的第一层中引入的权重的稀疏性。这一事实表明，这个新的初始化器在NN训练期间操作隐式正则化，并强调第一层充当稀疏特征提取器（如CNN中的卷积层）。
2022-09-30 cs.LG stat.ML
A density peaks clustering algorithm with sparse search and K-d tree
Harbin University of Science and Technology（哈尔滨理工大学）
密度峰聚类算法由于其简单、实用而成为聚类算法中的一个新的研究热点。然而，有一个主要的缺点：它是耗时的，由于其高计算复杂度。为此，提出了一种基于稀疏搜索和K-d树的密度峰值聚类算法。首先，利用K-d树计算一个稀疏距离矩阵来代替原来的满秩距离矩阵，从而加快了局部密度的计算。其次，提出了一种稀疏搜索策略，利用$k$最近邻点集与局部密度较大的数据点集的交集来加速相对分离度的计算。采用决策值二阶差分法自适应地确定聚类中心。最后，在不同分布特征的数据集上进行了实验，并与其他六种聚类算法进行了比较。证明了该算法能有效地将原DPC的计算复杂度从$O(n^2K)$降低到$O(n(n^{1-1/K}+k))$。特别是对于较大的数据集，效率得到了更显著的提高。此外，聚类精度也得到了一定程度的提高。因此，可以得出结论，新提出的算法的整体性能是优秀的。
2022-07-19 cs.LG stat.ML
TRUST: Transparent, Robust and Ultra-Sparse Trees
University of Wisconsin -- Madison（威斯康星大学麦迪逊分校）
TRUST是一种结合随机森林准确性与浅层树和稀疏线性模型可解释性的新型回归树，利用大语言模型增强透明性，在基准测试中优于其他可解释模型并匹配随机森林性能。
2025-06-18 cs.AI cs.LG stat.ME
Sparse Oblique Decision Tree for Power System Security Rules Extraction and Embedding
University of Washington（华盛顿大学）；Tsinghua University（清华大学）
增加可变发电的渗透对电力系统的运行可靠性有实质性的影响。这种可变性所产生的更高程度的不确定性使得更难以确定给定的操作条件是安全的还是不安全的。数据驱动技术提供了一种有前途的方法来识别安全规则，可以嵌入到经济调度模型，以保持电力系统运行状态的安全。本文提出了使用稀疏加权斜决策树来学习准确，可理解和可嵌入的安全规则，这些规则是线性的，可以使用递归算法提取为稀疏矩阵。然后，这些矩阵可以很容易地嵌入作为安全约束的电力系统经济调度计算使用大M方法。在几个具有高可再生能源渗透率的大型数据集上的测试表明了该方法的有效性。特别是，稀疏加权斜决策树优于最先进的加权斜决策树，同时保持安全规则简单。当嵌入到经济调度中时，这些规则显着增加了安全状态的百分比，并减少了平均求解时间。
2020-04-20 cs.LG cs.SY eess.SY
Sparse Density Trees and Lists: An Interpretable Alternative to High-Dimensional Histograms
本文提出稀疏树和列表密度估计方法，作为高维直方图的可解释替代，通过贝叶斯先验控制复杂度，在稀疏性和准确性间取得平衡，并应用于犯罪分析。
2023-11-15 stat.ML
Tree-based Node Aggregation in Sparse Graphical Models
高维图形模型通常使用正则化来估计，其目的是减少网络中的边数。在这项工作中，我们展示了如何通过聚合图形模型的节点来生成更简单的网络。我们开发了一种新的凸正则化方法，称为树聚合图形套索或标签套索，估计图形模型，边缘稀疏和节点聚合。通过利用树形式的边信息以数据驱动的方式执行聚合，该边信息编码节点相似性并促进对所得聚合节点的解释。我们提供了一个有效的实现的标签套索，通过使用局部自适应交替方向方法的乘数，并说明我们的建议的实际优势，在模拟和金融和生物学中的应用。
2021-01-29 econ.EM stat.ME stat.ML
Sparse tree search optimality guarantees in POMDPs with continuous observation spaces
University of California, Berkeley（加州大学伯克利分校）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
针对连续状态与观测空间 POMDP 中观测似然加权缺乏理论证明的问题，本文提出并分析 POWSS，证明其能高概率准确估计 Q 值并随计算增加趋近最优。
2023-06-05 cs.LG cs.RO cs.SY
Classification Trees for Imbalanced and Sparse Data: Surface-to-Volume Regularization
当一个或多个类具有有限的训练数据时，分类算法面临困难。我们对分类树特别感兴趣，因为它们具有可解释性和灵活性。当数据被限制在一个或多个类中时，由于有限的样本量，估计的决策边界通常是不规则形状的，导致较差的泛化误差。我们提出了一种新的方法，惩罚决策集的表面积体积比（SVR），得到一类新的SVR树算法。我们开发了一个简单的和计算效率高的实现，同时证明估计的一致性的SVR树和收敛速度的一个理想化的经验风险最小化的SVR树。通过实际数据的应用，将SVR-Tree算法与多种处理不平衡问题的算法进行了比较。
2021-06-14 math.ST stat.ME stat.ML
Tree-Projected Gradient Descent for Estimating Gradient-Sparse Parameters on Graphs
Yale University（耶鲁大学）
研究了梯度稀疏参数向量$\boldsymbolθ^* \in \mathbb{R}^p$的估计问题，该向量在底层图$G$上具有强梯度稀疏性$s^*:=\|\nabla_G \boldsymbolθ^*\|_0$.给定观测$Z_1,\ldots,Z_n$和一个光滑的凸损失函数$\mathcal{L}$，其中$\boldsymbolθ^*$使人口风险$\mathbb{E}[\mathcal{L}(\boldsymbolθ;Z_1,\ldots,Z_n)]$最小化，我们建议通过投影梯度下降算法来估计$\boldsymbolθ^*$，该算法迭代地近似地将梯度步长投影到在$G$的低度生成树上具有小梯度稀疏性的向量空间上。我们表明，在适当的限制强凸性和光滑性假设的损失，由此产生的估计达到平方误差风险$\frac{s^*}{n} \log (1+\frac{p}{s^*})$的乘法常数是独立的$G$。相比之下，以前的多项式时间算法只被证明可以在更专门的设置中实现这种保证，或者在对$G$和/或$\nabla_G \boldsymbolθ^*$的稀疏模式的附加假设下实现这种保证。作为一般框架的应用，我们将所得结果应用于随机设计的线性模型和广义线性模型的例子。
2020-05-31 cs.LG math.ST stat.ME
On the Fundamental Limits of Recovering Tree Sparse Vectors from Noisy Linear Measurements
最近在压缩感知（CS）的突破性成果已经建立，许多高维信号可以准确地恢复从相对少量的非自适应线性观测，只要信号具有稀疏表示在一些基础上。随后的努力表明，CS的性能可以通过在推断期间利用非零信号系数的位置中的附加结构，或者通过在感测过程期间利用某种形式的数据相关的自适应测量聚焦来改善。据我们所知，我们自己以前的工作是第一个建立融合自适应感知和结构化稀疏概念时可以实现的潜在好处-该工作研究了从噪声线性测量中恢复支持的任务，并确定了专门针对树稀疏信号的自适应感测策略可以显著优于自适应和非自适应感测策略。对底层结构不可知的自适应感测策略。在这项工作中，我们建立了基本的性能限制的任务，支持恢复树稀疏信号从嘈杂的测量，在设置中，测量可以获得非自适应（使用随机高斯测量策略的初始CS调查的动机）或任何自适应传感策略。我们的主要结果在这里意味着，在我们以前的工作中分析的自适应树传感过程是接近最优的，在这个意义上，没有其他的传感和估计策略可以从根本上更好地识别树稀疏信号的支持。
2013-10-16 cs.IT math.IT math.ST
