Partially Interpretable Estimators (PIE): Black-Box-Refined Interpretable Machine Learning
University of Iowa(爱荷华大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了部分可解释估计器(PIE),它通过可解释模型将预测归因于单个特征,而PIE预测的一小部分(可能)归因于通过黑盒模型的特征相互作用,其目标是在保持可解释性的同时提高预测性能。因此,可解释的模型捕获特征的主要贡献,而黑盒模型试图通过捕获特征交互的“细微差别”作为细化来补充可解释的部分。我们设计了一个迭代训练算法来联合训练这两类模型。实验结果表明,PIE是非常有竞争力的黑箱模型,同时优于可解释的基线。此外,PIE的可理解性与通过人工评估验证的简单线性模型相当。
2021-05-06 cs.AI cs.LG
Falling Trees: A Model Class for Interpretable Risk Prioritization
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出倒下的树(falling trees)模型,在保持单调风险约束的同时允许树状分支,并通过GRAVITree算法学习,在临床和公开基准上优于或匹敌现有可解释模型,实现可解释性与表达能力的平衡。
2026-09-22 cs.LG
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习中神经网络策略缺乏可解释性的问题,提出决策树策略优化(DTPO)算法,利用策略梯度直接优化完整决策树,实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
Mixture of Decision Trees for Interpretable Machine Learning
University of Münster(明斯特大学);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA);Dresden University of Technology(德累斯顿工业大学);University of Stuttgart(斯图加特大学)
本文介绍了一种新的可解释的机器学习方法--混合决策树(MoDT)。它构成了混合专家模型集成体系结构的一个特殊情况,它利用线性模型作为门函数和决策树作为专家。我们提出的方法是理想的适合于问题,不能令人满意地学习由一个单一的决策树,但可以分为子问题。每个子问题都可以从单个决策树中很好地学习。因此,MoDT可以被认为是一种提高性能的方法,同时通过使每个决策都可以被人类理解和追踪来保持可解释性。我们的工作是伴随着一个Python的实现,它使用了一个可解释的门控功能,一个快速的学习算法,和一个直接的接口微调可解释的可视化方法。实验证实,实施工作,更重要的是,显示我们的方法相比,单一的决策树和随机森林类似的复杂性的优越性。
2022-11-26 cs.LG
Interpretable clustering via optimal multi-way decision trees
Graduate School of Science and Technology, University of Tsukuba(科学技术研究生院,东京大学);Institute of Systems and Information Engineering, University of Tsukuba(系统与信息工程研究所,东京大学)
本文提出基于最优多方式分割决策树的可解释聚类方法,通过整合一维K均值算法实现灵活分支,提升聚类准确性和可解释性。
2026-08-24 cs.LG
An Interpretable Rule Creation Method for Black-Box Models based on Surrogate Trees -- SRules
Universidad Politécnica de Madrid(马德里理工大学)
本文提出SRules方法,通过递归创建代理决策树近似黑盒模型决策边界,平衡准确率、覆盖率和可解释性,生成可量化置信度与覆盖率的规则,优于现有技术并支持模型局部高可解释性。
2024-07-29 cs.LG
Using Decision Trees for Interpretable Supervised Clustering
University of Amsterdam(阿姆斯特丹大学);Brest State Technical University(布列斯特国立技术大学)
针对带标签数据中类别一致且可解释的高密度簇发现问题,提出利用决策树分类器迭代提取簇并优化节点选择的监督聚类方法。
2023-07-16 cs.LG
Learning Hyperplane Tree: A Piecewise Linear and Fully Interpretable Decision-making Framework
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));University of Alberta(阿尔伯塔大学)
本研究提出新型可解释树模型学习超平面树(LHT),通过超平面连续划分数据、结合最小二乘拟合与模糊逻辑的分段线性隶属函数分类,在多公开数据集分类任务上优于SOTA树模型,且具备高度可解释性。
2025-01-15 cs.LG
Counterfactual Optimal Action Trees (COAT): Interpretable Prescriptive Policies from Observational Data
IBM Research(IBM研究院)
研究从观测数据学习可解释规范性策略的问题,核心方法是结合反事实结果估计与大规模混合整数优化的COAT框架,主要贡献是应用于航空公司辅助定价提升收入,推动扩大采用及相关决策举措。
2026-07-17 cs.LG
Explaining Kernel Clustering via Decision Trees
Technical University of Munich(慕尼黑工业大学);Amazon Research(亚马逊研究院)
本文研究可解释核聚类,提出用决策树逼近核k-means诱导的划分,并通过合适的特征选择在保持可解释性的同时不牺牲逼近保证。
2024-02-15 cs.LG
CLARITree: Cholesky and Lookahead Accelerations for Regression with Interpretable Piecewise Linear Trees
Department of Computer Science, Duke University, Durham, USA(杜克大学计算机科学系,美国达勒姆);Department of Computer Science, University of British Columbia, Vancouver, Canada(不列颠哥伦比亚大学计算机科学系,加拿大温哥华)
提出一种结合前瞻搜索和秩一Cholesky更新的算法,用于构建近最优稀疏分段线性回归树,在计算效率、预测精度和稀疏性之间取得良好平衡。
2026-06-12 cs.LG
Learning accurate and interpretable tree-based models
Carnegie Mellon University(卡内基梅隆大学)
本研究针对同领域数据重复访问场景,提出参数化节点分裂准则等树模型调优方法,给出样本复杂度理论界,拓展至回归、集成模型,实现了准确率与可解释性的同步提升。
2025-05-18 cs.LG
POETREE: Interpretable Policy Learning with Adaptive Decision Trees
ETH AI Center(ETH人工智能中心);ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);Cambridge Centre for AI in Medicine(剑桥人工智能医学中心);The Alan Turing Institute(艾伦·图灵研究所)
根据观察到的行为建立人类决策模型对于更好地理解、诊断和支持临床护理等现实政策至关重要。由于既定的策略学习方法仍然侧重于模仿绩效,它们无法解释演示的决策过程。通过决策树进行策略提取(POETREE)是一种用于可解释策略学习的新框架,与完全离线和部分可观察的临床决策环境兼容-并基于患者的观察和病史构建确定医生行为的概率树策略。完全可微的树架构在优化期间递增地增长,以使其复杂性适应建模任务,并通过递归学习患者历史的表示,从而产生随着时间的推移适应患者信息的决策树策略。这种策略学习方法在理解、量化和评估观察到的行为以及准确复制方面,都优于真实和合成医疗数据集的最新技术水平,并有可能改善未来的决策支持系统。
2022-09-30 cs.LG
Using Decision Tree as Local Interpretable Model in Autoencoder-based LIME
Amirkabir University of Technology(阿米尔卡比尔理工大学);Persian Gulf University(波斯湾大学)
如今,深度神经网络由于其高精度的结果而被用于许多领域。然而,它们被认为是“黑匣子”,意味着它们对人类来说是无法解释的。另一方面,在医疗、经济和自动驾驶汽车等任务中,用户希望模型具有可解释性,以决定他们是否可以信任这些结果。在这项工作中,我们提出了一个修改后的版本的自动编码器为基础的方法,称为ALIME的本地可解释性。ALIME本身的灵感来自于一个著名的方法,称为局部可解释模型不可知解释(LIME)。LIME通过在实例周围生成新数据并训练局部线性可解释模型来生成单个实例级解释。ALIME使用自动编码器来衡量样本周围的新数据。然而,ALIME使用线性模型作为本地训练的可解释模型,就像LIME一样。本文提出了一种新的方法,它使用一个决策树代替线性模型,作为可解释的模型。我们评估所提出的模型的情况下,稳定性,局部保真度和可解释性不同的数据集。实验结果表明,与ALIME相比,该算法在稳定性和局部保真度方面有显著的提高,在可解释性方面有明显的改善。
2022-04-07 cs.LG
Policy Trees for Prediction: Interpretable and Adaptive Model Selection for Machine Learning
Sloan School of Management(斯隆管理学院);Massachusetts Institute of Technology(麻省理工学院);Operations Research Center(运筹学中心)
本文提出了一种基于树的规范性方法OP2T,用于在机器学习中实现可解释和自适应的模型选择与预测拒绝,该方法仅依赖模型输出,适用于结构化和非结构化数据,并在真实数据集上展现出强劲性能与实用见解。
2024-05-30 cs.LG
Tree of Concepts: Interpretable Continual Learners in Non-Stationary Clinical Domains
Computer Science Department(计算机科学系);New York University(纽约大学);Department of Population Health(人口健康部);NYU Grossman School of Medicine(NYU Grossman医学院);School of Global Public Health(全球公共卫生学院)
本文提出Tree of Concepts框架,通过浅层决策树定义固定规则概念接口,并训练概念瓶颈模型预测概念,实现持续学习中的可解释性和稳定性平衡。
2026-04-18 cs.LG
LHT: Statistically-Driven Oblique Decision Trees for Interpretable Classification
Department of Automation(自动化系);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Department of Computing Science(计算机科学系);University of Alberta(阿尔伯塔大学)
本文提出学习超平面树(LHT),通过统计驱动方式直接计算斜分裂超平面,结合分段线性隶属函数进行可解释分类,并在基准数据集上验证了其竞争力和理论可行性。
2025-05-07 cs.LG
Interpretable Decision Trees Through MaxSAT
Universitat de Lleida(莱里达大学)
我们提出了一种方法来提高机器学习(ML)决策树(DT)的准确性和可解释性的权衡。特别是,我们应用最大可满足性技术来计算最小纯DT(MPDT)。我们改进了以前方法的运行时间,并表明这些MPDT可以优于使用ML框架sklearn生成的DT的准确性。
2022-07-14 cs.AI cs.LG
Concept Tree: High-Level Representation of Variables for More Interpretable Surrogate Decision Trees
AXA(安盛集团);OECD(经济合作与发展组织);Sorbonne Universite(索邦大学);CNRS(法国国家科学研究中心);Polish Academy of Science(波兰科学院)
在高维表格数据集上训练的黑盒预测器的可解释的代理人在相关变量存在的情况下很难生成可理解的解释。我们提出了一个模型不可知的可解释的代理,提供全球和本地的黑盒分类器的解释,以解决这个问题。我们引入的概念,直观的变量,要么是由一个领域的专家定义或自动发现使用相关系数分组的想法。概念被嵌入到一个代理决策树,以提高其可理解性。第一个实验FRED-MD,一个宏观经济数据库,134个变量,显示在人类的可解释性的改善,而准确性和保真度的代理模型被保留。
2019-06-04 cs.LG stat.ML
NeurCAM: Interpretable Neural Clustering via Additive Models
University of Toronto(多伦多大学)
提出NeurCAM,一种利用神经广义加性模型提供模糊簇隶属度和加性解释的可解释聚类方法,通过引入选择门促进解释稀疏性,在表格数据上性能媲美黑盒方法,在文本数据上显著优于其他可解释方法。
2024-08-23 cs.LG
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire(新罕布什尔大学)
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案,以解决强化学习问题。Boosting结合了几个回归树,以提高其准确性,而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上,但在可解释的强化学习方面进展甚微。我们的实验结果表明,增强回归树计算的解决方案既可解释,又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
Interpretable Local Tree Surrogate Policies
Stanford University(斯坦福大学)
高维策略,例如由神经网络表示的策略,不能被人类合理地解释。这种可解释性的缺乏降低了用户对策略行为的信任,限制了他们对视频游戏等低影响任务的使用。不幸的是,许多方法依赖于神经网络表示来进行有效的学习。在这项工作中,我们提出了一种方法来建立可预测的政策树作为代理的政策,如神经网络。策略树很容易被人类解释,并提供对未来行为的定量预测。我们证明了这种方法在几个模拟任务的性能。
2021-09-16 cs.AI cs.LG
MAVIPER: Learning Decision Tree Policies for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学);Army Research Lab(陆军研究实验室);University of California, Riverside(加州大学河滨分校)
多智能体强化学习(MARL)的许多最新突破需要使用深度神经网络,这对人类专家来说是一个解释和理解的挑战。另一方面,现有的可解释的强化学习(RL)的工作已经显示出从神经网络中提取更多的可解释的基于决策树的策略的希望,但仅在单代理设置。为了填补这一空白,我们提出了第一套算法,从用MARL训练的神经网络中提取可解释的决策树策略。第一个算法,IVIPER,扩展VIPER,最近的方法单代理可解释的RL,多代理设置。我们证明了IVIPER学习高质量的决策树政策,为每个代理。为了更好地捕捉代理之间的协调,我们提出了一种新的集中式决策树训练算法,MAVIPER。MAVIPER通过使用预期的树预测其他代理的行为来共同增长每个代理的树,并使用resception来关注对其与其他代理的交互至关重要的状态。我们表明,这两种算法通常优于基线和MAVIPER训练的代理实现更好的协调性能比IVIPER训练的代理在三个不同的多代理粒子世界环境。
2022-07-11 cs.LG cs.MA
Tree Space Prototypes: Another Look at Making Tree Ensembles Interpretable
Cornell University(康奈尔大学)
决策树的集合在许多问题上表现良好,但不可解释。在现有的方法,专注于解释功能和预测之间的关系的可解释性相比,我们提出了一种替代方法来解释树集成分类器的表面代表点为每个类-原型。我们为梯度提升树模型引入了新的距离,并提出了具有理论保证的新的自适应原型选择方法,可以灵活地在每个类中选择不同数量的原型。我们在随机森林和梯度提升树上展示了我们的方法,表明当用作最近原型分类器时,原型可以表现得与原始树集成一样好,甚至更好。在一项用户研究中,人类在使用原型时比使用Shapley值(一种流行的特征归因方法)时更善于预测树集成分类器的输出。因此,原型提出了一个可行的替代功能为基础的解释树合奏。
2020-08-25 cs.LG stat.ML
Interpretable and Editable Programmatic Tree Policies for Reinforcement Learning
TU Darmstadt(达姆施塔特工业大学);ATHENE;Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);Hessian AI(黑森人工智能研究所);DFKI(德国人工智能研究中心)
针对深度强化学习策略黑盒导致的目标错位问题,提出INTERPRETER快速蒸馏方法生成可解释可编辑的树程序,在多种任务上匹配基准性能,并能修正Atari游戏错位及解释农业策略。
2024-05-23 cs.AI cs.LG
A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming
University of Pavia(帕维亚大学);University of Seville(塞维利亚大学)
本研究针对树集成模型可解释性不足的问题,提出一种基于整数规划求解集合划分问题的统一规则提取方法,适用于多类数据与任务,在预测性能和保真度上表现优异且可有效提取时间序列树集成的可解释规则。
2025-01-13 cs.LG math.OC
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis(圣路易斯华盛顿大学)
提出部分监督强化学习(PSRL)框架,通过融合监督语义状态和无监督潜在表示作为策略网络输入,在部分可观测环境中提升模型可解释性,同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
A Fast Interpretable Fuzzy Tree Learner
School of Computer Science(计算机科学学院);Electronic Engineering University of Essex Colchester, United Kingdom(埃塞克斯大学电子工程学院伦敦郡,英国);Department of Mathematics Slovak Academy of Sciences Bratislava, Slovakia(数学系斯洛伐克科学院布拉迪斯拉发,斯洛伐克)
本文提出了一种结合贪心算法和模糊逻辑的快速可解释模糊树学习器,以提高计算效率和可解释性。
2025-12-12 cs.LG cs.SC
Interpretable Mixture Density Estimation by use of Differentiable Tree-module
Mobility Technologies Co., Ltd.(Mobility Technologies 有限公司)
为了使用机器学习开发可靠的服务,了解模型输出的不确定性非常重要。预测目标遵循的概率分布通常具有复杂的形状,并且混合分布被假定为不确定性遵循的分布。由于混合密度估计的输出是复杂的,当考虑其在实际服务中的使用时,其可解释性变得重要。在本文中,我们提出了一种混合密度估计的方法,利用可解释的树结构。此外,基于时不变信息缓存的快速推理过程实现了高速和可解释性。
2021-05-08 cs.LG stat.ML
Leveraging Model-based Trees as Interpretable Surrogate Models for Model Distillation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
该研究聚焦模型蒸馏中黑盒模型的可解释解释问题,对比四种基于模型的树算法作为代理模型的多方面性能,最终给出面向不同用户的使用建议。
2023-10-04 cs.LG stat.ML
Extracting Interpretable Concept-Based Decision Trees from CNNs
University of Southern California(南加州大学)
为了更深入地了解卷积神经网络(CNN)如何对人类可理解的概念进行推理,我们提出了一种从隐藏层激活中推断标记概念数据并通过浅层决策树解释概念的方法。决策树可以提供关于模型认为哪些概念重要的信息,以及提供对概念如何彼此交互的理解。实验表明,所提取的决策树能够准确地表示原始CNN的分类在低树深度,从而鼓励人类在回路中的歧视性概念的理解。
2019-06-16 cs.LG stat.ML
SPINN: Sparse, Physics-based, and partially Interpretable Neural Networks for PDEs
Indian Institute of Technology Bombay(印度理工学院孟买分校);Center for Machine Intelligence and Data Science (CMINDS), Indian Institute of Technology Bombay(印度理工学院孟买分校机器智能与数据科学中心(CMINDS))
我们介绍了一类稀疏的,基于物理的,和部分可解释的神经网络(SPINN)解决普通和偏微分方程(PDE)。通过重新解释一个传统的无网格表示的解决方案的偏微分方程,我们开发了一类稀疏的神经网络架构,部分可解释。我们在这里提出的SPINN模型作为一个无缝的桥梁,两个极端的建模工具偏微分方程,即密集的神经网络为基础的方法,如物理信息神经网络(PINNs)和传统的无网格数值方法,从而提供了一种新的手段来开发一类新的混合算法,建立在最好的这两个观点。SPINN模型的一个独特的特点,区别于其他基于神经网络的近似之前提出的是,它是(i)可解释的,在特定意义上精确的工作,和(ii)稀疏的意义上,它有更少的连接比典型的密集神经网络用于偏微分方程。此外,SPINN算法隐式地编码网格自适应性,并且能够处理解决方案中的不连续性。此外,我们证明了傅立叶级数表示也可以表示为一类特殊的SPINN,并提出广义神经网络类似的傅立叶表示。我们说明了所提出的方法的效用与各种例子,涉及常微分方程,椭圆,抛物,双曲和非线性偏微分方程,并在流体动力学的一个例子。
2021-07-28 cs.LG physics.comp-ph
Interpretable Fair Clustering
School of Software, Dalian University of Technology(大连理工大学软件学院)
本文提出了一种可解释且公平的聚类框架,通过整合公平性约束到决策树结构中,提升聚类的公平性和可解释性。
2025-11-26 cs.LG
Evolutionary learning of interpretable decision trees
University of Trento(特伦托大学)
在过去的十年中,强化学习技术在几项任务中取得了人类水平的表现。然而,近年来,对可解释性的需求出现了:我们希望能够理解一个系统是如何工作的,以及其决策背后的原因。我们不仅需要可解释性来评估生产系统的安全性,还需要它来提取关于未知问题的知识。虽然确实存在一些针对强化学习优化决策树的技术,但它们通常采用贪心算法,或者不利用环境给出的奖励。这意味着这些技术很容易陷入局部最优。在这项工作中,我们提出了一种新的方法来解释强化学习,使用决策树。我们提出了一个两级优化方案,结合了进化算法的优点与Q学习的优点。通过这种方式,我们将问题分解为两个子问题:找到状态空间的有意义和有用的分解的问题,以及将动作与每个状态相关联的问题。我们在三个著名的强化学习基准测试中测试了所提出的方法,在性能和可解释性方面,它与最先进的方法相比具有竞争力。最后,我们进行了消融研究,证实使用两级优化方案在非平凡环境中的性能相对于单层优化技术有所提高。
2021-04-21 cs.LG
Gradient boosting machine with partially randomized decision trees
Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
梯度提升机是一种用于解决回归问题的强大的基于集成的机器学习方法。然而,其使用的困难之一是回归函数可能出现不连续性,这是当训练数据区域没有被训练点密集覆盖时出现的。为了克服这一困难,并降低计算复杂性的梯度提升机,我们建议应用部分随机树,可以被视为一个特殊情况下的极端随机树应用于梯度提升。部分随机树的梯度提升机说明了许多数值例子,使用合成和真实的数据。
2020-06-19 cs.LG stat.ML
Optimization Methods for Interpretable Differentiable Decision Trees in Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);University of Toronto(多伦多大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
决策树因其易用性和可解释性而在机器学习中无处不在。然而,这些模型通常不用于强化学习,因为它们不能通过随机梯度下降在线更新。我们克服了这一限制,允许在整个树,提高样本的复杂性,提供可解释的政策提取梯度更新。首先,我们包括政策梯度学习的需要,通过检查梯度下降的性质可微决策树的理论动机。其次,我们证明了我们的方法在所有领域都等同于或优于神经网络,并且可以在线学习离散的决策树,其平均奖励比批量训练的决策树高出7倍。第三,我们进行了一项用户研究,以量化决策树,规则列表和神经网络的可解释性与统计上显着的结果($p < 0.001$)。
2020-06-25 cs.LG stat.ML
Iterative Bounding MDPs: Learning Interpretable Policies via Non-Interpretable Methods
Carnegie Mellon University(卡内基梅隆大学)
当前在可解释强化学习中的工作通常以状态空间上的决策树的形式产生策略。这些策略可用于正式的安全验证、代理行为预测和重要功能的手动检查。然而,现有的方法在训练之后拟合决策树,或者使用与新的学习技术(诸如使用神经网络的那些学习技术)不兼容的定制学习过程。为了解决这个问题,我们提出了一种新的马尔可夫决策过程(MDP)类型的学习决策树政策:迭代边界MDP(IBMDP)。IBMDP是围绕基本MDP构建的,因此在使用与方法无关的掩码过程时,保证每个IBMDP策略对应于基本MDP的决策树策略。由于这种决策树等价性,在训练期间可以使用任何函数近似器,包括神经网络,同时产生用于基本MDP的决策树策略。我们提出了所需的掩蔽过程,以及修改后的值更新步骤,允许IBMDP使用现有的算法来解决。我们应用这个过程来产生最近的强化学习方法的IBMDP变体。我们的经验表明,我们的方法的好处,通过解决IBMDP产生决策树政策的基础MDP。
2021-02-25 cs.AI cs.LG
Optimal Decision Trees For Interpretable Clustering with Constraints (Extended Version)
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出首个基于SAT的带约束可解释聚类框架,利用决策树在满足聚类约束的同时提供强理论保证,并揭示了可解释性与约束满足之间的权衡。
2023-05-16 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol(布里斯托大学);CortAIx, Thales(泰雷兹公司 CortAIx)
强化学习(RL)提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习(PbRL),其中奖励函数是从稀疏的人类反馈中推断出来的。然而,现有的PbRL方法缺乏学习的奖励结构的可解释性,这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的,主动的偏好学习算法,构造奖励函数的本质上可解释的,组成结构的树。使用合成和人工提供的反馈,我们在几种环境中展示了树结构奖励函数的样本有效学习,然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
AMBIT: Augmenting Mobility Baselines with Interpretable Trees
PingCAP, Data & AI-Innovation Lab(PingCAP数据与人工智能创新实验室)
AMBIT通过结合可解释的树模型和物理基线,提升OD流量预测的准确性和可解释性,为城市决策提供支持。
2025-12-27 cs.AI cs.LG
Mitigating Information Loss in Tree-Based Reinforcement Learning via Direct Optimization
University of Mannheim(曼海姆大学);Technical University of Clausthal(克劳斯塔尔工业大学);University of Rostock(罗斯托克大学)
本文提出 SYMPOL,将基于树的模型与策略梯度方法结合,实现在线策略强化学习中可解释轴对齐决策树的端到端梯度学习,并在基准任务上验证其性能与可解释性优势。
2025-03-11 cs.LG
Temporally Interpretable Differentiable Decision Trees
Purdue University(普渡大学);University of Southern California(南加州大学)
本文提出时间可解释性概念,通过动作分块和新型策略梯度算法及树重构算法,使可微决策树在序列决策中匹配神经网络性能,参数减少80%。
2026-10-08 cs.LG cs.RO
Interpretable Clustering Ensemble
School of Software, Dalian University of Technology(大连理工大学软件学院)
本文提出首个可解释聚类集成算法,将基划分视为类别变量,在原始特征空间中利用统计关联检验构建决策树,在取得与SOTA方法相当性能的同时提供可解释性。
2025-06-06 cs.LG
Distilling interpretable causal trees from causal forests
POLIS: The Centre for Social Policy and Research(POLIS:社会政策与研究中心);Australian National University(澳大利亚国立大学)
本文提出 Distilled Causal Tree,从因果森林蒸馏单棵可解释因果树,在噪声或高维相关特征场景下多数模拟优于原因果森林,并保持双重稳健与渐近正态。
2024-08-02 cs.LG econ.EM
Interpretable Categorization of Heterogeneous Time Series Data
Carnegie Mellon University Silicon Valley(卡内基梅隆大学硅谷校区);Stanford University(斯坦福大学);Johns Hopkins University Applied Physics Laboratory(约翰·霍普金斯大学应用物理实验室)
了解异构多变量时间序列数据在从灵巧家庭到航空的许多应用中非常重要。也是人类可解释的异质多变量时间序列的学习模型是具有挑战性的,现有文献没有充分解决。我们提出了基于语法的决策树(GBDTs)和学习它们的算法。GBDTs用语法框架扩展了决策树。从上下文无关文法导出的逻辑表达式用于分支,以代替属性上的简单阈值。增加的表达能力支持广泛的数据类型,同时保持决策树的可解释性。特别是,当使用基于时序逻辑的语法时,我们表明GBDTs可用于高维和异构时间序列数据的可解释分类。此外,我们还展示了如何将GBDTs用于分类,这是聚类和为每个聚类生成可解释的组合。我们应用GBDTs来分析经典的澳大利亚手语数据集以及近空中碰撞(NMAC)的数据。NMAC数据来自下一代机载防撞系统(ACAS X)开发中使用的飞机模拟。
2018-01-26 cs.LG
Hybrid Gaussian Process Regression with Temporal Feature Extraction for Partially Interpretable Remaining Useful Life Interval Prediction in Aeroengine Prognostics
Fudan University(复旦大学)
本文提出一种改进的高斯过程回归与深度自适应学习相结合的混合模型,用于航空发动机剩余使用寿命区间预测,通过时序特征提取和特征重要性评估提升预测准确性、可解释性与不确定性建模能力。
2024-11-19 cs.AI cs.LG stat.ML
TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Relativity Inc.(Relativity公司)
针对现有患者-临床试验匹配模型泛化性差、可解释性不足的问题,提出基于个性化动态树记忆网络的TREEMENT模型,通过临床本体扩展患者表征、注意力束搜索实现细粒度对齐,在真实数据集上匹配性能优于基线且具备可解释性。
2023-07-19 cs.AI cs.LG
An Interpretable Client Decision Tree Aggregation process for Federated Learning
University of Granada(格拉纳达大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所)
针对联邦学习中决策树难以聚合且易损失可解释性与精度的问题,提出一种聚合多决策路径的客户端决策树流程,适用于 ID3 和 CART,并在四个数据集上验证其优于局部模型和现有方法。
2024-04-03 cs.AI cs.LG
Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
可解释性和有效性是在现实中采用机器学习方法的两个基本且不可或缺的要求。在本文中,我们提出了一个知识蒸馏为基础的决策树扩展,被称为整流决策树(ReDT),探索同时满足这些要求的可能性。具体来说,我们扩展了标准决策树的分裂标准和结束条件,允许使用软标签进行训练,同时保留确定性的分裂路径。然后,我们训练的ReDT的基础上的软标签从一个训练有素的教师模型通过一种新的基于折刀的方法。因此,ReDT保留了决策树的优秀可解释性,同时具有相对良好的性能。本文还从理论和实证两方面分析了采用软标签替代硬标签的有效性。令人惊讶的是,实验表明,软标签的引入也减少了模型的大小相比,标准的决策树从总节点和规则的方面,这是一个意想不到的礼物,从“暗知识”从教师模型蒸馏。
2020-08-21 cs.LG stat.ML
Interpretable Clustering via Optimal Trees
Massachusetts Institute of Technology(麻省理工学院)
最先进的聚类算法使用聚类分析来划分特征空间,并且对聚类成员资格的基本原理提供很少的见解,从而限制了它们的可解释性。在医疗保健应用中,后者对采用这些方法构成了障碍,因为医学研究人员需要对其决定进行详细解释,以获得患者的信任并限制责任。我们提出了一种新的无监督学习算法,利用混合优化技术来生成可解释的基于树的聚类模型。利用最优树的灵活框架,我们的方法近似于全局最优解,从而获得高质量的特征空间分区。我们的算法,可以结合各种内部验证指标,自然地确定最佳数量的集群,并能够占混合的数值和分类数据。与K-Means相比,它在合成和真实世界数据集上实现了相当或更高的性能,同时提供了更高的可解释性。
2018-12-03 cs.LG stat.ML
Building Interpretable Interaction Trees for Deep NLP Models
Shanghai Jiao Tong University(上海交通大学)
本文提出了一种方法来解开和量化的字之间的相互作用,编码在一个DNN的自然语言处理。我们构建了一棵树来编码DNN提取的显着交互。提出了六个度量标准来分析句子中成分之间的相互作用的性质。基于单词的Shapley值定义交互作用,Shapley值被认为是单词对网络预测贡献的无偏估计。我们的方法用于量化BERT、ELMo、LSTM、CNN和Transformer网络内部编码的单词交互。实验结果为理解这些DNN提供了一个新的视角,并证明了我们方法的有效性。
2021-01-16 cs.CL cs.LG
De-paradox Tree: Breaking Down Simpson's Paradox via A Kernel-Based Partition Algorithm
University of Pittsburgh(匹兹堡大学)
De-paradox Tree通过核基核分区算法揭示隐藏的子组模式,解决西姆松悖论中的矛盾关联问题,提供更可解释的因果推断方法。
2026-03-02 cs.LG
Interpretable Machine Learning for Life Expectancy Prediction: A Comparative Study of Linear Regression, Decision Tree, and Random Forest
本研究对比线性回归、回归决策树与随机森林三种模型在WHO和UN真实数据集上的预期寿命预测效果,发现随机森林准确率最高(R²=0.9423),同时通过可解释性分析明确了关键影响因素,为公共卫生循证决策提供支撑。
2025-10-01 cs.LG
Interpretable DNA Sequence Classification via Dynamic Feature Generation in Decision Trees
University of Cambridge(剑桥大学);CU Anschutz Medical Campus(安舒茨医疗校区)
本文提出DEFT框架,通过动态生成高级序列特征提升决策树在DNA序列分类中的可解释性和预测性能。
2026-04-13 cs.AI cs.LG q-bio.GN