CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling
University of Science and Technology of China(科学技术大学);Peking University(北京大学);BeiHang University(北航大学)
CDRRM通过对比驱动的评分标准生成方法,实现可靠且可解释的奖励建模,有效缓解评估偏见并提升数据效率。
2026-03-09 cs.AI cs.LG
Interpretable Reward Modeling with Active Concept Bottlenecks
Department of Computer Science, ETH Zurich, Zurich, Switzerland(苏黎世联邦理工学院计算机科学系);Department of Applied Mathematics and Theoretical Physics, University of Cambridge, United Kingdom(剑桥大学应用数学与理论物理系)
本文提出概念瓶颈奖励模型CB-RM,通过主动学习动态选择最有信息量的概念标签,在保持偏好准确率的同时提升可解释性和样本效率。
2025-07-20 cs.LG
The Horcrux: Mechanistically Interpretable Task Decomposition for Detecting and Mitigating Reward Hacking in Embodied AI Systems
Berkeley AI Safety Initiative (BASIS) UC Berkeley(伯克利人工智能安全计划(BASIS)伯克利大学);Department of Electrical and Computer Engineering Johns Hopkins University(电气与计算机工程系约翰霍普金斯大学)
本研究提出MITD方法,通过可解释性任务分解有效检测和缓解具身AI系统中的奖励黑客行为,实验表明分解深度可显著降低奖励黑客频率。
2025-11-22 cs.LG
Interpretable Local Tree Surrogate Policies
Stanford University(斯坦福大学)
高维策略,例如由神经网络表示的策略,不能被人类合理地解释。这种可解释性的缺乏降低了用户对策略行为的信任,限制了他们对视频游戏等低影响任务的使用。不幸的是,许多方法依赖于神经网络表示来进行有效的学习。在这项工作中,我们提出了一种方法来建立可预测的政策树作为代理的政策,如神经网络。策略树很容易被人类解释,并提供对未来行为的定量预测。我们证明了这种方法在几个模拟任务的性能。
2021-09-16 cs.AI cs.LG
From Constitutions to Control: Interpretable Rewards for Aligning Language Models
本研究提出基于评分标准的框架,将宪法转化为可解释、可调的奖励模型,通过重新加权维度实现可控对齐,并缓解标签偏差。
2026-09-29 cs.LG
Iterative Bounding MDPs: Learning Interpretable Policies via Non-Interpretable Methods
Carnegie Mellon University(卡内基梅隆大学)
当前在可解释强化学习中的工作通常以状态空间上的决策树的形式产生策略。这些策略可用于正式的安全验证、代理行为预测和重要功能的手动检查。然而,现有的方法在训练之后拟合决策树,或者使用与新的学习技术(诸如使用神经网络的那些学习技术)不兼容的定制学习过程。为了解决这个问题,我们提出了一种新的马尔可夫决策过程(MDP)类型的学习决策树政策:迭代边界MDP(IBMDP)。IBMDP是围绕基本MDP构建的,因此在使用与方法无关的掩码过程时,保证每个IBMDP策略对应于基本MDP的决策树策略。由于这种决策树等价性,在训练期间可以使用任何函数近似器,包括神经网络,同时产生用于基本MDP的决策树策略。我们提出了所需的掩蔽过程,以及修改后的值更新步骤,允许IBMDP使用现有的算法来解决。我们应用这个过程来产生最近的强化学习方法的IBMDP变体。我们的经验表明,我们的方法的好处,通过解决IBMDP产生决策树政策的基础MDP。
2021-02-25 cs.AI cs.LG
Interpretable and Editable Programmatic Tree Policies for Reinforcement Learning
TU Darmstadt(达姆施塔特工业大学);ATHENE;Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);Hessian AI(黑森人工智能研究所);DFKI(德国人工智能研究中心)
针对深度强化学习策略黑盒导致的目标错位问题,提出INTERPRETER快速蒸馏方法生成可解释可编辑的树程序,在多种任务上匹配基准性能,并能修正Atari游戏错位及解释农业策略。
2024-05-23 cs.AI cs.LG
Optimal Decision Trees For Interpretable Clustering with Constraints (Extended Version)
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出首个基于SAT的带约束可解释聚类框架,利用决策树在满足聚类约束的同时提供强理论保证,并揭示了可解释性与约束满足之间的权衡。
2023-05-16 cs.AI cs.LG
AMBIT: Augmenting Mobility Baselines with Interpretable Trees
PingCAP, Data & AI-Innovation Lab(PingCAP数据与人工智能创新实验室)
AMBIT通过结合可解释的树模型和物理基线,提升OD流量预测的准确性和可解释性,为城市决策提供支持。
2025-12-27 cs.AI cs.LG
Interpretable Reward Model via Sparse Autoencoder
SARM通过整合预训练稀疏自编码器,提升奖励模型的可解释性和对齐性能。
2025-11-25 cs.LG
R2IF: Aligning Reasoning with Decisions via Composite Rewards for Interpretable LLM Function Calling
Shanghai Key Laboratory of Trustworthy Computing, East China Normal University, Shanghai, China(上海可信计算实验室,华东师范大学,上海,中国);Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学)
提出R2IF框架,通过复合奖励(格式/正确性约束、思维链有效性奖励和规范-修改-价值奖励)和GRPO优化,对齐推理过程与工具调用决策,在BFCL/ACEBench上提升函数调用准确性和可解释性。
2026-06-02 cs.LG
TreeRPO: Tree Relative Policy Optimization
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);ETH AI Center, ETH Zurich(苏黎世联邦理工学院人工智能中心);University of California, Merced(加州大学梅德福分校);Sun Yat-sen University(中山大学);MBZUAI
针对 RLVR 中轨迹级奖励难以指导中间推理步骤的问题,提出 TreeRPO,利用树采样估计步骤奖励并形成细粒度稠密信号,显著提升数学推理准确率与效率。
2025-09-27 cs.AI cs.LG
Interpretability Is Not Just a Tax: Sparsity and Diversity Yield Legible and Composable Reward Experts for Personalization
Saarland University(萨尔兰大学);Independent Researcher(独立研究者);Bielefeld University(比勒菲尔德大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息研究所)
提出稀疏混合专家奖励模型,通过稀疏路由和专家多样性训练,从二元偏好数据中学习可解释的专家模式,提升个性化偏好建模的测试时适应性和可解释性。
2026-10-30 cs.AI cs.CL cs.LG
TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Relativity Inc.(Relativity公司)
针对现有患者-临床试验匹配模型泛化性差、可解释性不足的问题,提出基于个性化动态树记忆网络的TREEMENT模型,通过临床本体扩展患者表征、注意力束搜索实现细粒度对齐,在真实数据集上匹配性能优于基线且具备可解释性。
2023-07-19 cs.AI cs.LG
An Interpretable Client Decision Tree Aggregation process for Federated Learning
University of Granada(格拉纳达大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所)
针对联邦学习中决策树难以聚合且易损失可解释性与精度的问题,提出一种聚合多决策路径的客户端决策树流程,适用于 ID3 和 CART,并在四个数据集上验证其优于局部模型和现有方法。
2024-04-03 cs.AI cs.LG
Interpretable Reward Redistribution in Reinforcement Learning: A Causal Approach
Eindhoven University of Technology(埃因霍温理工大学);University of California San Diego(加州大学圣迭戈分校);University College London(伦敦大学学院);University of Liverpool(利物浦大学)
本文提出一种基于因果生成模型的奖励再分配框架GRD,通过识别不可观测的马尔可夫奖励和因果关系,实现可解释的奖励分配并保持策略不变性,在延迟奖励场景中优于现有方法。
2023-11-10 cs.LG
Interpretable reinforcement learning with decision-tree pruning
Ludwig-Maximilians-University Munich(慕尼黑大学);Siemens AG(西门子公司)
该研究提出一种结合决策树剪枝的可解释强化学习方法,通过定义结构感知与使用感知算子简化策略,在经典控制及MuJoCo基准上验证其可保持高性能并提升可解释性。
2026-08-10 cs.AI cs.LG
Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning
Tsinghua University(清华大学);Meituan(美团)
针对深度强化学习智能体解释中动作匹配原则的不足,本文提出RL-in-RL框架,以奖励一致性为目标进行可解释特征发现,并在Atari 2600和Duckietown上验证了其有效性。
2023-09-04 cs.LG
RF-Agent: Automated Reward Function Design via Language Agent Tree Search
Beihang University(北航大学)
RF-Agent通过语言代理树搜索实现自动奖励函数设计,利用蒙特卡洛树搜索和LLMs的上下文推理能力,提升低层控制任务的奖励函数设计效率和效果。
2026-02-27 cs.AI cs.LG
Comparison of decision trees with Local Interpretable Model-Agnostic Explanations (LIME) technique and multi-linear regression for explaining support vector regression model in terms of root mean square error (RMSE) values
本文在5个数据集上比较决策树、LIME与多元线性回归对支持向量回归模型的解释能力,发现决策树在87%运行中RMSE更低且结果显著。
2024-04-10 cs.AI cs.LG
Interpretable Quantile Regression by Optimal Decision Trees
Euranova(埃鲁诺瓦);Université Catholique de Louvain(列日天主大学)
本文提出一种新的方法,通过最优决策树学习完整条件分布预测,无需假设分布,并提供可解释的预测结果,同时保持算法效率。
2026-04-22 cs.LG
Neural Prototype Trees for Interpretable Fine-grained Image Recognition
University of Twente(特文特大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
基于原型的方法使用可解释的表示来解决深度学习模型的黑盒性质,与仅近似此类模型的事后解释方法相反。我们提出了神经原型树(Prototype Tree),这是一种用于细粒度图像识别的内在可解释的深度学习方法。ProtoTree将原型学习与决策树相结合,从而通过设计产生全局可解释的模型。此外,Prototree可以通过勾勒出树中的决策路径来局部解释单个预测。二叉树中的每个节点都包含一个可训练的原型部分。在图像中存在或不存在这个学习的原型决定了通过节点的路由。因此,决策类似于人类的推理:鸟的喉咙是红的吗?以及细长的喙?那就是蜂鸟了我们调整的准确性,可解释性的权衡使用集成方法,修剪和二进制化。我们在不牺牲准确性的情况下进行修剪,得到一棵小树,沿着一条路径只有8个学习过的原型,可以从200个物种中分类一只鸟。5个Prototree的集合在CUB-200- 2011和Stanford Cars数据集上实现了具有竞争力的准确性。代码可在https://github.com/M-Nauta/ProtoTree上获得
2021-04-15 cs.AI cs.CV cs.LG
Conservative Q-Improvement: Reinforcement Learning for an Interpretable Decision-Tree Policy
Carnegie Mellon University(卡内基梅隆大学);University of South Carolina(南卡罗来纳大学)
在强化学习(以及一般的机器学习)领域,人们越来越希望从黑箱模型转向更“可解释的人工智能”。“我们通过提高通过强化学习学习的决策树策略的效用来提高强化学习的可解释性。这些策略由状态空间上的决策树组成,与传统的策略表示相比,它需要更少的参数来表示。用于经由强化学习创建决策树策略的现有方法集中于在训练期间准确地表示动作-价值函数,但是这导致比否则所需的树大得多的树。为了解决这一缺点,我们提出了一种新的算法,只有当估计的整体政策的折扣未来奖励将增加足够的金额时,才增加树的大小。通过在模拟环境中的评估,我们表明,它的性能相当或优于传统的基于树的方法,它产生一个更简洁的政策。此外,我们还讨论了调整参数,以控制优化较小的树大小或整体奖励之间的权衡。
2019-07-02 cs.AI cs.LG cs.RO
Interpretable Sequence Clustering
Dalian University of Technology(大连理工大学)
针对序列聚类缺乏可解释性的问题,提出可解释序列聚类树(ISCT),结合序列模式与树结构,通过随机投影和k-means初始化及提升式决策树构建,在14个数据集上实现快速准确且可解释的聚类。
2023-09-03 cs.AI cs.LG
Symbolic Branch Networks: Tree-Inherited Neural Models for Interpretable Multiclass Classification
Independent Researcher(独立研究者)
符号分支网络通过继承决策树结构实现多类分类的可解释性,结合符号结构与神经优化提升预测性能。
2026-02-22 cs.AI cs.LG
Extracting Expert's Goals by What-if Interpretable Modeling
University of Toronto(多伦多大学);Vector Institute(向量研究所);Hospital of Sickkids(病童医院);Microsoft Research(微软研究院)
尽管强化学习(RL)在许多领域都取得了巨大的成功,但当奖励难以指定且不允许探索时,将RL应用于医疗保健等现实环境是具有挑战性的。在这项工作中,我们专注于恢复临床医生在治疗患者时的奖励。我们结合假设推理来解释临床医生的治疗基于他们潜在的未来结果。我们使用广义加性模型(GAM)-一类准确的,可解释的模型-来恢复奖励。在模拟和现实世界的医院数据集中,我们显示我们的模型优于基线。最后,我们的模型的解释符合治疗患者时的几个临床指南,而我们发现常用的线性模型往往与它们相矛盾。
2022-06-13 cs.LG
Interpretable DNA Sequence Classification via Dynamic Feature Generation in Decision Trees
University of Cambridge(剑桥大学);CU Anschutz Medical Campus(安舒茨医疗校区)
本文提出DEFT框架,通过动态生成高级序列特征提升决策树在DNA序列分类中的可解释性和预测性能。
2026-04-13 cs.AI cs.LG q-bio.GN
Mixture of Decision Trees for Interpretable Machine Learning
University of Münster(明斯特大学);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA);Dresden University of Technology(德累斯顿工业大学);University of Stuttgart(斯图加特大学)
本文介绍了一种新的可解释的机器学习方法--混合决策树(MoDT)。它构成了混合专家模型集成体系结构的一个特殊情况,它利用线性模型作为门函数和决策树作为专家。我们提出的方法是理想的适合于问题,不能令人满意地学习由一个单一的决策树,但可以分为子问题。每个子问题都可以从单个决策树中很好地学习。因此,MoDT可以被认为是一种提高性能的方法,同时通过使每个决策都可以被人类理解和追踪来保持可解释性。我们的工作是伴随着一个Python的实现,它使用了一个可解释的门控功能,一个快速的学习算法,和一个直接的接口微调可解释的可视化方法。实验证实,实施工作,更重要的是,显示我们的方法相比,单一的决策树和随机森林类似的复杂性的优越性。
2022-11-26 cs.LG
Falling Trees: A Model Class for Interpretable Risk Prioritization
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出倒下的树(falling trees)模型,在保持单调风险约束的同时允许树状分支,并通过GRAVITree算法学习,在临床和公开基准上优于或匹敌现有可解释模型,实现可解释性与表达能力的平衡。
2026-09-22 cs.LG
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习中神经网络策略缺乏可解释性的问题,提出决策树策略优化(DTPO)算法,利用策略梯度直接优化完整决策树,实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
The configurable tree graph (CT-graph): measurable problems in partially observable and distal reward environments for lifelong reinforcement learning
Loughborough University(拉夫堡大学);UNIST(蔚山科学技术院);HRL Laboratories(HRL实验室);Vanderbilt University(范德堡大学)
针对强化学习算法提出了一组形式化定义的透明问题,这些问题具有以下特征:(1)可变的可观测度(非Markov观测),(2)远端稀疏奖励,(3)可变的分层奖励结构,(4)多任务生成,(5)可变的问题复杂度.环境提供1D或2D分类观测,并将操作作为输入。CT图的核心结构是一个多分支树图,具有任意的分支因子,深度和观察集,可以通过可控和可测量的方式来增加问题的维度。两个主要类别的状态,决策状态和等待状态,旨在创建一个层次的重要性之间的意见,典型的现实世界的问题。一个大的观察集可以产生一个庞大的历史集,损害记忆增强代理。可变奖励函数允许轻松创建多个任务,并允许代理在呈现具有可控相似度的任务的动态场景中有效适应的能力。由于图的指数增长,可以很容易地实现复杂性级别。问题公式和附带的代码提供了一组快速,透明和数学定义的可配置测试,以比较强化学习算法的性能,特别是在终身学习环境中。
2023-01-21 cs.AI cs.LG
Concept Tree: High-Level Representation of Variables for More Interpretable Surrogate Decision Trees
AXA(安盛集团);OECD(经济合作与发展组织);Sorbonne Universite(索邦大学);CNRS(法国国家科学研究中心);Polish Academy of Science(波兰科学院)
在高维表格数据集上训练的黑盒预测器的可解释的代理人在相关变量存在的情况下很难生成可理解的解释。我们提出了一个模型不可知的可解释的代理,提供全球和本地的黑盒分类器的解释,以解决这个问题。我们引入的概念,直观的变量,要么是由一个领域的专家定义或自动发现使用相关系数分组的想法。概念被嵌入到一个代理决策树,以提高其可理解性。第一个实验FRED-MD,一个宏观经济数据库,134个变量,显示在人类的可解释性的改善,而准确性和保真度的代理模型被保留。
2019-06-04 cs.LG stat.ML
Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对传统奖励模型黑箱不可解释的问题,提出结合多维度绝对评分多目标奖励模型ArmoRM与混合专家门控策略的两阶段方法,在RewardBench上取得SOTA,性能超GPT-4评判法且接近大参数量奖励模型。
2024-06-18 cs.CL cs.LG
Explanation through Reward Model Reconciliation using POMDP Tree Search
Department of Aerospace Engineering Sciences, University of Colorado Boulder(科罗拉多大学博尔德分校航空航天工程科学系);Applied Physics Laboratory, Johns Hopkins University(约翰霍普金斯大学应用物理实验室)
本文通过POMDP树搜索协调算法与用户隐式奖励模型差异,以提升用户对AI系统的信任度。
2023-05-01 cs.AI cs.HC cs.LG
Interpretable clustering via optimal multi-way decision trees
Graduate School of Science and Technology, University of Tsukuba(科学技术研究生院,东京大学);Institute of Systems and Information Engineering, University of Tsukuba(系统与信息工程研究所,东京大学)
本文提出基于最优多方式分割决策树的可解释聚类方法,通过整合一维K均值算法实现灵活分支,提升聚类准确性和可解释性。
2026-08-24 cs.LG
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire(新罕布什尔大学)
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案,以解决强化学习问题。Boosting结合了几个回归树,以提高其准确性,而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上,但在可解释的强化学习方面进展甚微。我们的实验结果表明,增强回归树计算的解决方案既可解释,又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
MAVIPER: Learning Decision Tree Policies for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学);Army Research Lab(陆军研究实验室);University of California, Riverside(加州大学河滨分校)
多智能体强化学习(MARL)的许多最新突破需要使用深度神经网络,这对人类专家来说是一个解释和理解的挑战。另一方面,现有的可解释的强化学习(RL)的工作已经显示出从神经网络中提取更多的可解释的基于决策树的策略的希望,但仅在单代理设置。为了填补这一空白,我们提出了第一套算法,从用MARL训练的神经网络中提取可解释的决策树策略。第一个算法,IVIPER,扩展VIPER,最近的方法单代理可解释的RL,多代理设置。我们证明了IVIPER学习高质量的决策树政策,为每个代理。为了更好地捕捉代理之间的协调,我们提出了一种新的集中式决策树训练算法,MAVIPER。MAVIPER通过使用预期的树预测其他代理的行为来共同增长每个代理的树,并使用resception来关注对其与其他代理的交互至关重要的状态。我们表明,这两种算法通常优于基线和MAVIPER训练的代理实现更好的协调性能比IVIPER训练的代理在三个不同的多代理粒子世界环境。
2022-07-11 cs.LG cs.MA
DT-PBO: an Interpretable Tree-based Surrogate Model for Preferential Bayesian Optimization
Data Science Center of Excellence, Faculty of Military Sciences, Breda, NL(数据科学卓越中心,军事科学学院,荷兰布雷达);NLR - Royal Netherlands Aerospace Centre, Amsterdam, NL(NLR-荷兰航空航天研究中心,荷兰阿姆斯特丹);Departement Intelligent Systems, Tilburg University, Tilburg, NL(智能系统部门,蒂尔堡大学,荷兰蒂尔堡)
本文提出DT-PBO,一种基于树的可解释替代模型,用于偏好贝叶斯优化,通过构建可解释的浅层决策树和拉普拉斯近似,实现高效的偏好建模,同时保持可解释性。
2026-05-08 cs.AI cs.LG math.OC
Tree Space Prototypes: Another Look at Making Tree Ensembles Interpretable
Cornell University(康奈尔大学)
决策树的集合在许多问题上表现良好,但不可解释。在现有的方法,专注于解释功能和预测之间的关系的可解释性相比,我们提出了一种替代方法来解释树集成分类器的表面代表点为每个类-原型。我们为梯度提升树模型引入了新的距离,并提出了具有理论保证的新的自适应原型选择方法,可以灵活地在每个类中选择不同数量的原型。我们在随机森林和梯度提升树上展示了我们的方法,表明当用作最近原型分类器时,原型可以表现得与原始树集成一样好,甚至更好。在一项用户研究中,人类在使用原型时比使用Shapley值(一种流行的特征归因方法)时更善于预测树集成分类器的输出。因此,原型提出了一个可行的替代功能为基础的解释树合奏。
2020-08-25 cs.LG stat.ML
Using Decision Tree as Local Interpretable Model in Autoencoder-based LIME
Amirkabir University of Technology(阿米尔卡比尔理工大学);Persian Gulf University(波斯湾大学)
如今,深度神经网络由于其高精度的结果而被用于许多领域。然而,它们被认为是“黑匣子”,意味着它们对人类来说是无法解释的。另一方面,在医疗、经济和自动驾驶汽车等任务中,用户希望模型具有可解释性,以决定他们是否可以信任这些结果。在这项工作中,我们提出了一个修改后的版本的自动编码器为基础的方法,称为ALIME的本地可解释性。ALIME本身的灵感来自于一个著名的方法,称为局部可解释模型不可知解释(LIME)。LIME通过在实例周围生成新数据并训练局部线性可解释模型来生成单个实例级解释。ALIME使用自动编码器来衡量样本周围的新数据。然而,ALIME使用线性模型作为本地训练的可解释模型,就像LIME一样。本文提出了一种新的方法,它使用一个决策树代替线性模型,作为可解释的模型。我们评估所提出的模型的情况下,稳定性,局部保真度和可解释性不同的数据集。实验结果表明,与ALIME相比,该算法在稳定性和局部保真度方面有显著的提高,在可解释性方面有明显的改善。
2022-04-07 cs.LG
An Interpretable Rule Creation Method for Black-Box Models based on Surrogate Trees -- SRules
Universidad Politécnica de Madrid(马德里理工大学)
本文提出SRules方法,通过递归创建代理决策树近似黑盒模型决策边界,平衡准确率、覆盖率和可解释性,生成可量化置信度与覆盖率的规则,优于现有技术并支持模型局部高可解释性。
2024-07-29 cs.LG
Interpretable Mixture Density Estimation by use of Differentiable Tree-module
Mobility Technologies Co., Ltd.(Mobility Technologies 有限公司)
为了使用机器学习开发可靠的服务,了解模型输出的不确定性非常重要。预测目标遵循的概率分布通常具有复杂的形状,并且混合分布被假定为不确定性遵循的分布。由于混合密度估计的输出是复杂的,当考虑其在实际服务中的使用时,其可解释性变得重要。在本文中,我们提出了一种混合密度估计的方法,利用可解释的树结构。此外,基于时不变信息缓存的快速推理过程实现了高速和可解释性。
2021-05-08 cs.LG stat.ML
Using Decision Trees for Interpretable Supervised Clustering
University of Amsterdam(阿姆斯特丹大学);Brest State Technical University(布列斯特国立技术大学)
针对带标签数据中类别一致且可解释的高密度簇发现问题,提出利用决策树分类器迭代提取簇并优化节点选择的监督聚类方法。
2023-07-16 cs.LG
Enhancing LIME using Neural Decision Trees
ENS Paris-Saclay, Centre Borelli, CNRS, Gif-Sur-Yvette, France(巴黎-萨克雷大学,Borelli中心,国家科学研究中心,法国吉夫-sur-埃瓦尔,法国);Le Crédit Lyonnais, Paris, France(巴黎银行,法国巴黎)
本文提出NDT-LIME,通过神经决策树作为替代模型,提升对复杂模型的局部解释精度,实验显示在表格数据集上解释忠实度优于传统LIME。
2026-03-21 cs.AI cs.LG
LearnAD: Learning Interpretable Rules for Brain Networks in Alzheimer's Disease Classification
Department of Computing(计算系);Imperial College London(伦敦帝国学院);School of Public Health(公共卫生学院)
LearnAD通过学习可解释的规则,实现了在阿尔茨海默病分类中识别脑网络的高可解释性方法。
2025-12-30 cs.AI cs.LG
Towards Scalable Meta-Learning of near-optimal Interpretable Models via Synthetic Model Generations
Capital One
本文提出一种通过合成采样近最优决策树生成大规模预训练数据的方法,结合MetaTree Transformer架构,以更低计算成本实现与真实数据或最优树预训练相当的性能,推动可解释决策树元学习的可扩展发展。
2026-10-09 cs.AI cs.CL cs.LG
Learning Hyperplane Tree: A Piecewise Linear and Fully Interpretable Decision-making Framework
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));University of Alberta(阿尔伯塔大学)
本研究提出新型可解释树模型学习超平面树(LHT),通过超平面连续划分数据、结合最小二乘拟合与模糊逻辑的分段线性隶属函数分类,在多公开数据集分类任务上优于SOTA树模型,且具备高度可解释性。
2025-01-15 cs.LG
POETREE: Interpretable Policy Learning with Adaptive Decision Trees
ETH AI Center(ETH人工智能中心);ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);Cambridge Centre for AI in Medicine(剑桥人工智能医学中心);The Alan Turing Institute(艾伦·图灵研究所)
根据观察到的行为建立人类决策模型对于更好地理解、诊断和支持临床护理等现实政策至关重要。由于既定的策略学习方法仍然侧重于模仿绩效,它们无法解释演示的决策过程。通过决策树进行策略提取(POETREE)是一种用于可解释策略学习的新框架,与完全离线和部分可观察的临床决策环境兼容-并基于患者的观察和病史构建确定医生行为的概率树策略。完全可微的树架构在优化期间递增地增长,以使其复杂性适应建模任务,并通过递归学习患者历史的表示,从而产生随着时间的推移适应患者信息的决策树策略。这种策略学习方法在理解、量化和评估观察到的行为以及准确复制方面,都优于真实和合成医疗数据集的最新技术水平,并有可能改善未来的决策支持系统。
2022-09-30 cs.LG
Extracting Interpretable Concept-Based Decision Trees from CNNs
University of Southern California(南加州大学)
为了更深入地了解卷积神经网络(CNN)如何对人类可理解的概念进行推理,我们提出了一种从隐藏层激活中推断标记概念数据并通过浅层决策树解释概念的方法。决策树可以提供关于模型认为哪些概念重要的信息,以及提供对概念如何彼此交互的理解。实验表明,所提取的决策树能够准确地表示原始CNN的分类在低树深度,从而鼓励人类在回路中的歧视性概念的理解。
2019-06-16 cs.LG stat.ML
On Tackling Explanation Redundancy in Decision Trees
University of Toulouse(图卢兹大学);Monash University(莫纳什大学);IRIT(图卢兹信息学研究所);CNRS(法国国家科学研究中心)
决策树是机器学习模型可解释性的理想体现。决策树的可解释性通过所谓的内在可解释性激发了可解释性方法,并且它是最近在高风险应用中应用可解释ML模型的建议的核心。对DT可解释性的信念是合理的,因为DT预测的解释通常被期望是简洁的。事实上,在DT的情况下,解释对应于DT路径。由于决策树在理想情况下是浅的,因此路径包含的特征比特征总数少得多,DT中的解释应该是简洁的,因此是可解释的。本文从理论和实验两方面论证了只要决策树的可解释性等同于解释的简洁性,那么决策树就不应该被认为是可解释的。本文引入了逻辑上严格的路径解释和路径解释冗余,证明了存在决策树必须显示具有任意大解释冗余的路径的函数。本文还证明了,只有一个非常有限的功能类可以表示与DT表现出没有解释冗余。此外,本文包括实验结果证实,路径解释冗余观察无处不在的决策树,包括使用不同的树学习算法,但也在广泛的公开可用的决策树。本文还提出了多项式时间算法消除路径解释冗余,这在实践中需要微不足道的时间来计算。因此,这些算法用于间接地获得不可约的,因此简洁的,决策树的解释。
2022-09-30 cs.AI cs.LG
Feature graphs for interpretable unsupervised tree ensembles: centrality, interaction, and application in disease subtyping
University of Urbino(乌尔比诺大学);Medical University of Graz(格拉茨医科大学)
本研究提出从无监督随机森林构建特征图并据此进行特征选择的方法,通过特征中心性和边权重评估特征相关性,在合成与组学数据中有效提升了聚类性能与可解释性。
2024-04-27 cs.AI cs.LG
Explaining the Predictions of Any Image Classifier via Decision Trees
Lenovo Research(联想研究院);University of Chinese Academy of Sciences(中国科学院大学)
尽管深度学习模型对人工智能(AI)的重大进展做出了突出贡献,但大多数仍然是黑箱,其推理过程和预测结果的可解释性非常弱。可解释性不仅是人工智能与社会之间的门户,也是检测模型缺陷和数据偏差的强大工具。局部可解释模型不可知解释(LIME)是最近的一种方法,它使用可解释模型来形成对单个预测结果的局部解释。LIME的当前实现采用线性回归作为其可解释函数。然而,由于受到限制并且通常过度简化关系,线性模型在特征和预测结果之间存在非线性关联和相互作用的情况下失败。本文实现了一种基于决策树的LIME方法,该方法使用决策树模型来形成局部忠实于原始模型的可解释表示。Tree-LIME方法可以捕获数据中特征之间的非线性相互作用,并创建合理的解释。各种实验表明,Tree-LIME对多个黑盒模型的解释在可理解性、保真度和效率方面可以实现更可靠的性能。
2020-02-10 cs.AI cs.LG stat.ML
Counterfactual Optimal Action Trees (COAT): Interpretable Prescriptive Policies from Observational Data
IBM Research(IBM研究院)
研究从观测数据学习可解释规范性策略的问题,核心方法是结合反事实结果估计与大规模混合整数优化的COAT框架,主要贡献是应用于航空公司辅助定价提升收入,推动扩大采用及相关决策举措。
2026-07-17 cs.LG
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida(中佛罗里达大学);Microsoft(微软);Intel Labs(英特尔实验室)
为稀疏目标学习有效策略是深度强化学习(RL)的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释,但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性,但是是高维的黑箱解决方案,几乎没有可解释性。在本文中,我们提出了一种以低维符号树的形式发现密集奖励的方法,从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励,然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现,密集奖励是RL策略解决基准任务的有效信号。值得注意的是,我们显着优于广泛使用的,当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG