BELLATREX: Building Explanations through a LocaLly AccuraTe Rule EXtractor
KU Leuven(鲁汶大学);imec(比利时微电子研究中心)
树集成算法,如随机森林,是一种有效的机器学习方法,因其灵活性、高性能和对过拟合的鲁棒性而流行。然而,由于多个学习器被组合,它们不像单个决策树那样可解释。在这项工作中,我们提出了一种新的方法,即通过LocalLy AccuraTe规则提取器(Bellatrex)建立解释,并且能够解释森林预测对于一个给定的测试实例,只有几个不同的规则。从随机森林生成的决策树开始,我们的方法1)预先选择用于进行预测的规则子集,2)创建此类规则的向量表示,3)将它们投影到低维空间,4)对此类表示进行聚类,以从每个聚类中选择一条规则来解释实例预测。我们在89个真实世界的数据集上测试了Bellatrex的有效性,并证明了我们的方法对于二进制分类,回归,多标签分类和事件时间任务的有效性。据我们所知,这是第一次一个可解释性工具箱可以在同一个框架内处理所有这些任务。我们还表明,我们提取的代理模型可以近似相应的集成模型在所有考虑的任务的性能,而选择只有少数树木从整个森林。我们还表明,我们提出的方法大大优于其他可解释的方法在预测性能。
2023-01-06 cs.AI cs.LG
Discovering Useful Compact Sets of Sequential Rules in a Long Sequence
Univ Rennes(雷恩大学);Advisor_SLA, Inc.(Advisor_SLA公司);Inria(法国国家信息与自动化研究所);University of Eastern Finland(东芬兰大学)
我们感兴趣的是理解符号事件长序列的潜在生成过程。为此,我们提出了COSSU,一个算法来挖掘小而有意义的顺序规则集。规则的选择使用一个MDL启发的标准,有利于紧凑性和依赖于一个新的基于规则的序列编码方案。我们的评估表明,COSSU可以成功地检索相关的封闭的顺序规则集从一个长的序列。这样的规则构成了一个可解释的模型,表现出有竞争力的准确性的任务,下一个元素的预测和分类。
2022-12-30 cs.AI cs.LG
Visualizing Rule Sets: Exploration and Validation of a Design Space
New York University(纽约大学)
规则集通常用于机器学习(ML)中,作为在需要透明度和可理解性的设置中传达模型逻辑的一种方式。规则集通常以基于文本的逻辑语句(规则)列表的形式呈现。令人惊讶的是,到目前为止,在探索视觉替代方案来呈现规则方面的工作有限。在本文中,我们探讨了设计规则的替代表示的想法,专注于一些视觉因素,我们认为有一个积极的影响规则的可读性和理解。本文提出了一个初始的设计空间可视化规则集和用户研究探索其影响。结果表明,一些设计因素对读者处理规则的效率有很大影响,而对准确性的影响最小。这项工作可以帮助从业者在使用规则作为理解ML模型的通信策略时采用更有效的解决方案。
2021-03-04 cs.AI cs.HC cs.LG
Preventing the Generation of Inconsistent Sets of Classification Rules
Federal University of São Carlos(圣保罗联邦大学);Department of Computer Science Federal University of São Carlos(圣保罗联邦大学计算机科学系)
近年来,对可解释分类模型的兴趣不断增长。改进基于规则的分类模型的可解释性的方法之一是使用规则集(无序集合),而不是规则列表(有序集合)。与集合相关的问题之一是,多个规则可能覆盖单个实例,但为它预测不同的类,因此需要冲突解决策略。在这项工作中,我们提出了两个算法,能够找到特征空间区域内的任何创建的规则将与现有的规则一致,防止出现不一致。我们的算法不生成分类模型,而是为了增强这样做的算法,例如学习分类器系统。这两种算法的描述和分析完全从理论的角度来看,因为我们还没有修改模型生成算法,将我们提出的解决方案。这项工作提出了新颖的冲突避免策略,而不是冲突解决策略。
2020-03-30 cs.AI cs.LG
Interpretable Locally Adaptive Nearest Neighbors
Bielefeld University(比勒费尔德大学);Honda Research Institute Europe GmbH(本田欧洲研究所)
在训练自动化系统时,已经证明通过学习特定于问题的度量来适应数据的表示是有益的。这个指标是全球性的。我们扩展了这个想法,并广泛使用的家庭的k近邻算法,开发一种方法,允许学习本地自适应指标。这些本地指标不仅提高了性能,而且自然是可解释的。为了展示我们的方法是如何工作的重要方面,我们进行了一些实验的合成数据集,我们在现实世界的基准数据集显示其实用性。
2021-09-29 cs.LG stat.ML
MOSS: Multi-Objective Optimization for Stable Rule Sets
Massachusetts Institute of Technology(麻省理工学院)
本研究提出MOSS多目标优化框架,整合稀疏性、准确性与稳定性标准,通过专用割平面算法快速计算帕累托前沿,在预测性能和稳定性上均优于现有规则集成方法。
2025-07-29 cs.LG math.OC stat.ML
A Nested Genetic Algorithm for Explaining Classification Data Sets with Decision Rules
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所(IPA));University of Stuttgart(斯图加特大学)
我们在本文中的目标是自动提取一组决策规则(规则集),最好地解释了分类数据集。首先,从在数据集上训练的一组决策树中提取大的决策规则集。规则集应简明、准确,具有最大的覆盖范围和最少的不一致性。这个问题可以被形式化为加权预算最大覆盖问题的修改版本,已知为NP-难。为了有效地解决组合优化问题,我们引入了一个嵌套的遗传算法,然后我们使用它来获得十个公共数据集的解释。
2022-08-23 cs.AI cs.LG cs.NE
SCR-Apriori for Mining `Sets of Contrasting Rules'
University of Luxembourg(卢森堡大学);National Technical University of Ukraine ‘Igor Sikorsky Kyiv Polytechnic Institute’(乌克兰国立技术大学“伊戈尔·西科斯基基辅理工学院”)
在本文中,我们提出了一个有效的算法挖掘新的“对比规则集”模式(SCR模式),其中包括多个关联规则。这种模式具有很高的兴趣,因为它保证了形成它的规则的质量,并且能够发现有用的知识。然而,SCR模式没有有效的挖掘算法。我们提出了SCR-Apriori算法,它的结果在相同的SCR模式的国家的最先进的approache,但计算量较小。实验结果表明,通过将模式结构的知识引入Apriori算法,SCR-Apriori算法可以有效地修剪待分析频繁项集的搜索空间。
2019-12-20 cs.LG stat.ML
Diverse Rule Sets
KTH Royal Institute of Technology(KTH皇家理工学院)
虽然机器学习模型正在蓬勃发展,并改变了日常生活的许多方面,但人类无法理解复杂的模型,这使得这些模型很难被完全信任和接受。因此,模型的可解释性被认为是与其预测能力同等重要的质量。特别是,基于规则的系统由于其直观的if-then表示而正在经历复兴。然而,仅仅基于规则并不能确保可解释性。例如,重叠的规则会产生歧义并妨碍解释。在这里,我们提出了一种新的方法来推断不同的规则集,通过优化决策规则之间的2-近似保证最大和多样化的框架下的小重叠。我们制定的问题最大化的区别质量和多样性的规则集的加权和。为了克服指数大小的搜索空间的关联规则,我们调查了几个自然的选择一个小的候选集的高质量的规则,包括频繁和准确的规则,并检查其硬度。利用我们的公式中的特殊结构,我们设计了一个有效的随机算法,该算法对具有高度区分性和小重叠的规则进行采样。所提出的采样算法分析目标的分布规则,是针对我们的目标。我们通过对强基线的全面实证研究证明了我们模型的卓越预测能力和可解释性。
2020-06-17 cs.AI cs.LG
Learning High Coverage Discriminative Parsimonious Rulesets
Indian Institute of Science(印度科学研究所);Compass
提出CDPR方法,通过子模最大化算法学习高覆盖、判别性且简约的规则集,在保持高准确率的同时显著提升可解释性,覆盖率比次优算法提升2.5倍以上。
2026-06-15 cs.AI cs.LG
Interpretable and Fair Boolean Rule Sets via Column Generation
Cornell University(康奈尔大学);IBM Research(IBM研究院)
本文提出基于列生成的整数规划方法学习可解释布尔规则集,并扩展公平性约束,在准确率、简洁性与公平性之间取得更优权衡。
2023-09-18 cs.AI cs.LG math.OC
Learning Interpretable Decision Rule Sets: A Submodular Optimization Approach
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
规则集是高度可解释的逻辑模型,其中用于决策的谓词以析取范式(DNF,OR of-AND)表示,或者等效地,整个模型包括if-then决策规则的无序集合。在本文中,我们考虑一个子模块优化的学习规则集的方法。学习问题被框定为一个子集选择任务,其中所有可能的规则的子集需要被选择,以形成一个准确的和可解释的规则集。我们采用了一个目标函数,表现出次模块化,因此是服从次模块化优化技术。为了克服处理指数大小的规则集所带来的困难,搜索规则的子问题被转换为另一个子集选择任务,要求一个子集的功能。我们表明,它是可以写的诱导子问题的目标函数作为两个submodular(DS)功能的差异,使其近似可解DS优化算法。总体而言,所提出的方法是简单的,可扩展的,并可能受益于进一步的研究子模块优化。在真实数据集上的实验证明了该方法的有效性。
2022-06-08 cs.AI cs.LG stat.ML
Separate and conquer heuristic allows robust mining of contrast sets in classification, regression, and survival data
Silesian University of Technology(西里西亚工业大学);Institute of Innovative Technologies, EMAG(EMAG创新技术研究所)
识别群体之间的差异是最重要的知识发现问题之一。该过程也称为对比集挖掘,应用于医学,工业或经济等广泛领域。在本文中,我们提出了RuleKit-CS,一个算法的对比集挖掘的基础上分离和征服-一个良好的启发式决策规则归纳。伴随着属性惩罚方案的多个通道提供了描述具有不同属性的相同示例的对比集,将所提出的方法与标准的分离和征服区分开来。该算法还被推广到回归和生存数据,允许识别标签属性/生存预后与预定义对比组的标签/预后一致的对比集。现有方法没有提供的此功能进一步扩展了RuleKit-CS的可用性。对来自不同地区的130多个数据集进行的实验和对选定案例的详细分析证实,RuleKit-CS是发现定义群体之间差异的有用工具。该算法作为RuleKit套件的一部分在GitHub上以GNU AGPL 3许可证(https://github.com/adaa-polsl/RuleKit)实现。关键词:对比集,分离与征服,回归,生存
2023-03-13 cs.AI cs.DB cs.LG
EVOTER: Evolution of Transparent Explainable Rule-sets
University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant AI Labs(高知特AI实验室)
本文提出 EVOTER,通过进化基于简单逻辑表达式的透明规则集,在多个分类与策略搜索任务中达到接近黑箱模型的性能,并支持洞察、偏见揭示与规则编辑。
2024-10-25 cs.AI cs.LG cs.NE
Visual Exploration of Machine Learning Model Behavior with Hierarchical Surrogate Rule Sets
New York University(纽约大学);Capital One(第一资本)
模型解释的一个潜在解决方案是训练一个代理模型:一个更透明的模型,它近似于要解释的模型的行为。通常,由于分类规则或决策树的基于逻辑的表达的可理解性而使用分类规则或决策树。但是,决策树可能会生长得太深,规则集可能会变得太大,无法近似复杂的模型。与决策树上必须共享祖先节点(条件)的路径不同,规则更加灵活。然而,规则的非结构化视觉表示使得很难进行跨规则的推理。为了解决这些问题,我们提出了一个工作流程,其中包括新的算法和交互式解决方案。首先,我们提出了分层代理规则(HSR),一个算法,生成分层规则的基础上,用户定义的参数。我们还贡献了SuRE,一个可视化分析(VA)系统,集成了HSR和交互式代理规则可视化。特别是,我们提出了一种新的特征对齐树,以克服现有的规则可视化的缺点。我们评估算法的参数敏感性,时间性能,并与代理决策树比较,发现它的规模合理,在许多方面优于决策树。我们还评估了可视化和VA系统的可用性研究与24名志愿者和观察性研究与7个领域的专家。我们的调查表明,参与者可以使用特征对齐树来执行非常高的准确性,非平凡的任务。我们还讨论了许多有趣的观察,可以为未来的研究设计有效的基于规则的VA系统是有用的。
2022-01-19 cs.AI cs.HC cs.LG