Interpretable multiclass classification by MDL-based rule lists
Leiden University（莱顿大学）
最近，可解释分类器受到了数据采掘界越来越多的关注，因为它们本质上比更复杂的分类器更容易理解和解释。可解释的分类模型的示例包括决策树、规则集和规则列表。学习这样的模型通常涉及优化超参数，这通常需要大量的数据，并可能导致相对较大的模型。在本文中，我们考虑的问题，学习紧凑而准确的概率规则列表的多类分类。具体来说，我们提出了一种新的形式化的基础上概率规则列表和最小描述长度（MDL）的原则。这导致了几乎无参数的模型选择，自然允许权衡模型复杂性与拟合优度，从而有效地避免了过度拟合和超参数调整的需要。最后，我们介绍了Classy算法，该算法根据所提出的标准，greetly发现规则列表。我们的经验表明，Classy选择的小概率规则列表在预测性能和可解释性的结合方面优于最先进的分类器。我们表明，Classy是不敏感的唯一参数，即，候选集，以及训练集上的压缩与分类性能相关，验证了我们基于MDL的选择标准。
2019-10-31 cs.AI cs.LG stat.ML
Neuro-Symbolic Rule Lists
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
针对高风险领域规则列表学习需预离散化且优化不稳定的问题，提出端到端可微框架 NeuRules，统一特征离散化、规则学习与排序，无需预处理且在多数据集上优于现有方法。
2024-11-10 cs.AI cs.LG stat.ML
Learning Fair Rule Lists
Université du Québec à Montréal（蒙特利尔魁北克大学）；LAAS-CNRS（法国国家科学研究中心自动化、计算机工程与信号实验室）；Université de Toulouse（图卢兹大学）
随着黑箱模型在高风险决策系统中的普遍使用，对公平和可解释模型的需求正在增加。虽然已经表明，可解释的模型可以在几个关键领域的黑箱模型一样准确，现有的公平分类技术，可解释的设计往往显示较差的准确性/公平性权衡与他们的非可解释的同行。在本文中，我们提出了FairCORELS，一个公平的分类技术解释的设计，其目标是学习公平的规则列表。我们的解决方案是一个多目标的变体CORELS，分支定界算法学习规则列表，支持几个统计公平的概念。这类措施的例子包括统计上的均等、机会均等和机会均等。FairCORELS在真实世界数据集上的实证评估表明，它优于最先进的公平分类技术，这些技术通过设计可解释，同时与不可解释的技术竞争。
2020-02-18 cs.LG stat.ML
Smooth Sensitivity for Learning Differentially-Private yet Accurate Rule Lists
本文针对利用Gini不纯度构建可解释模型的机器学习算法，建立了Gini不纯度的平滑敏感度，以在保证差分隐私的同时添加更小噪声，实验证明在相同隐私预算下其规则列表模型比基于全局敏感度的方法准确率更高。
2024-11-12 cs.AI cs.CR cs.LG
AutoFR: Automated Filter Rule Generation for Adblocking
University of California, Irvine（加州大学欧文分校）；University of California, Davis（加州大学戴维斯分校）
Adblocking依赖于过滤器列表，这些列表由过滤器列表作者社区手动策划和维护。过滤器列表管理是一个费力的过程，不能很好地扩展到大量网站或随着时间的推移。在本文中，我们介绍了AutoFR，一个强化学习框架，完全自动化的过滤规则创建和评估的过程中的网站的兴趣。我们设计了一种基于多臂强盗的算法来生成过滤规则，该过滤规则在阻止广告的同时控制阻止广告和避免视觉破坏之间的权衡。我们在数千个网站上测试了AutoFR，并证明它是有效的：只需几分钟即可为感兴趣的网站生成过滤规则。AutoFR有效：它生成的过滤规则可以阻止86%的广告，相比之下，EasyList的比例为87%，同时实现了类似的视觉破坏。此外，AutoFR生成的过滤规则可以很好地推广到新网站。我们设想AutoFR可以帮助广告拦截社区大规模地生成过滤规则。
2023-03-08 cs.LG cs.NI
Interpretable Machine Learning Classifiers for Brain Tumour Survival Prediction
Centre for Addiction and Mental Health（成瘾与心理健康中心）；University of Edinburgh（爱丁堡大学）；Royal Infirmary of Edinburgh（爱丁堡皇家医院）
由于肿瘤行为和治疗反应的异质性，预测诊断为脑肿瘤的患者的生存率具有挑战性。更好的预后估计将支持治疗计划和患者支持。机器学习的进步为临床预测模型的发展提供了信息，但它们与临床实践的整合几乎不存在。其中一个原因是模型缺乏可解释性。在本文中，我们使用一个新的脑肿瘤数据集比较两个可解释的规则列表模型对流行的机器学习方法的脑肿瘤生存预测。所有模型都使用标准性能指标进行定量评估。还对规则列表的可解释性和临床实用性进行了定性评估。黑盒机器学习模型的可解释性评估使用两个事后解释技术，石灰和SHAP。我们的结果表明，黑盒模型仅略微优于规则列表。我们证明了规则列表算法产生了与临床专业知识相一致的简单决策列表。相比之下，事后可解释性方法应用于黑箱模型可能会产生不可靠的解释本地模型的预测。模型的可解释性对于理解预测性能的差异和整合到临床实践中至关重要。
2021-06-17 cs.AI cs.LG
Distilling neural networks into skipgram-level decision lists
Computational Linguistics and Psycholinguistics Research Center (CLiPS)（计算语言学与心理语言学研究中心（CLiPS））；University of Antwerp（安特卫普大学）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
以往关于递归神经网络解释的研究主要集中在寻找网络最重要输入段作为解释的方法上。在这种情况下，这些输入片段相互结合以形成解释性模式的方式仍然未知。为了克服这一点，以前的一些工作试图在数据中找到解释神经输出的模式（称为规则）。然而，它们的解释往往对模型参数不敏感，这限制了文本解释的可扩展性。为了克服这些限制，我们提出了一个管道，通过skipgram上的决策列表（也称为规则）来解释RNN。为了评估解释，我们创建了一个合成的脓毒症识别数据集，并将我们的技术应用于其他临床和情感分析数据集。我们发现，我们的技术持续实现高解释保真度和定性可解释的规则。
2020-05-18 cs.CL cs.LG stat.ML
Interpretable classifiers using rules and Bayesian analysis: Building a better stroke prediction model
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）
我们的目标是生成不仅准确，而且可由人类专家解释的预测模型。我们的模型是决策列表，其中包括一系列的如果...然后...语句（例如，如果是高血压，则是中风），其将高维、多变量特征空间离散化为一系列简单、易于解释的决策语句。我们引入了一个生成模型称为贝叶斯规则列表，产生一个后验分布可能的决策列表。它采用了一种新的先验结构，以鼓励稀疏。我们的实验表明，贝叶斯规则列表的预测精度与当前机器学习中的顶级预测算法相当。我们的方法是由个性化医疗的最新发展，并可用于产生高度准确和可解释的医疗评分系统的动机。我们通过产生CHADS $_2$评分的替代方案来证明这一点，该评分在临床实践中被积极用于估计房颤患者的卒中风险。我们的模型与CHADS $_2$一样可解释，但更准确。
2015-11-05 cs.LG stat.AP stat.ML
ExMo: Explainable AI Model using Inverse Frequency Decision Rules
OneSpan（OneSpan公司）
在本文中，我们提出了一种新的方法来计算决策规则，建立一个更准确的解释机器学习模型，表示为ExMo。ExMo可解释的机器学习模型由一系列IF.然后...在条件中包含决策规则的语句。这样，ExMo自然会使用触发的决策规则为预测提供解释。ExMo使用一种新的方法，使用词频-逆文档频率（TF-IDF）特征从训练数据中提取决策规则。使用TF-IDF，提取与每个类更相关的特征值的决策规则。因此，ExMo获得的决策规则可以区分积极和消极的类比现有的贝叶斯规则列表（BRL）算法中使用的决策规则，使用频繁模式挖掘方法。本文还表明，ExMo学习一个比BRL更好的定性模型。此外，ExMo还证明了可以以人性化的方式提供文本解释，以便非专家用户可以轻松理解解释。我们在几个不同大小的数据集上验证了ExMo，以评估其有效性。对现实世界欺诈检测应用程序的实验验证表明，ExMo的准确度比BRL高20%，并且达到了与深度学习模型相似的准确度。
2022-05-20 cs.AI cs.LG
Directional Decision Lists
University of Chicago（芝加哥大学）；Robert Bosch LLC（罗伯特·博世有限责任公司）
在本文中，我们介绍了一系列新颖的决策列表，这些决策列表由高度可解释的模型组成，可以以贪婪的方式有效地学习。定义属性是所有规则都指向同一个方向。这个家族的特定例子是具有单调递减（或递增）概率的决策列表。在模拟数据上，我们根据经验证实，所提出的模型族比一般的决策表更容易训练。我们通过识别制造过程中的问题症状来验证我们方法的实际可用性。
2016-01-10 cs.LG stat.CO stat.ML
Fairwashing: the risk of rationalization
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；ENSTA ParisTech（国立高等先进技术学院巴黎高科）；Osaka University（大阪大学）；UdeM（蒙特利尔大学）；MILA（蒙特利尔学习算法研究所）
黑箱解释是解释机器学习模型如何产生结果的问题，该模型的内部逻辑对审计人员是隐藏的，通常是复杂的。目前解决这一问题的方法有模型解释、结果解释和模型检验。虽然这些技术可以通过提供可解释性而受益，但它们可以以负面的方式用于执行公平洗涤，我们将其定义为促进机器学习模型尊重某些道德价值观的错误感知。特别是，我们证明，它是可能的，系统合理化的决策，由一个不公平的黑箱模型使用模型的解释，以及结果的解释方法与给定的公平性度量。我们的解决方案，LaundryML，是基于正则化规则列表枚举算法，其目标是寻找公平的规则列表近似不公平的黑盒模型。我们在真实世界数据集上训练的黑盒模型上实证评估了我们的合理化技术，并表明可以获得对黑盒模型具有高保真度的规则列表，同时大大减少不公平。
2019-05-15 cs.LG stat.ML
S-SIRUS: an explainability algorithm for spatial regression Random Forest
University of Pavia（帕维亚大学）；University of Torino（都灵大学）；University of Bergamo（贝加莫大学）
针对现有随机森林解释方法无法处理空间依赖数据的问题，本研究提出SIRUS的空间扩展算法S-SIRUS，可从空间回归随机森林中提取规则，实验证明其在空间相关场景下预测准确率更高、规则更简洁。
2024-08-10 cs.LG stat.ML
SINBAD: Saliency-informed detection of breakage caused by ad blocking
EPFL（洛桑联邦理工学院）；Imperial College London（帝国理工学院）
本文提出 SINBAD 自动化故障检测器，结合用户报告数据、网页显著性和子树分析，检测广告拦截规则引发的动态及样式故障，准确率较现有方法提升 20%。
2024-05-08 cs.CR cs.LG
Unsupervised Ranking of Multi-Attribute Objects Based on Principal Curves
Hebei University（河北大学）
无监督排序在评估应用中面临一个关键挑战，即没有可用的基础事实。当PageRank及其变体在相关主题中显示出良好的解决方案时，它们仅适用于链接结构数据的排名。在这项工作中，我们专注于多属性数据的无监督排名，这在评估任务中也很常见。为了克服这一挑战，我们提出了无监督排名方法设计和评估的五个基本元规则：尺度和平移不变性、严格单调性、线性/非线性能力、平滑性和参数大小的显式性。这些元规则被认为是无监督排名任务的高级知识。受[8]和[14]中工作的启发，我们提出了一种排名主曲线（RPC）模型，该模型学习一维流形函数来对多属性观测执行无监督排名任务。此外，RPC被建模为一个三次Bézier曲线与控制点限制在一个超立方体的内部，从而遵守所有的五个元规则，推断出一个合理的排名列表。以控制点作为模型参数，人们能够理解所学习的流形并从语义上解释排名列表。在两个不同排序应用的开放数据集上进行了RPC模型的数值实验。与现有方法相比，新模型能够给出更合理的排序结果。
2014-02-19 cs.AI cs.LG stat.ML
TE2Rules: Explaining Tree Ensembles using Rules
LinkedIn AI（领英人工智能）
本文提出 TE2Rules，通过规则列表解释二分类树集成模型，尤其擅长少数类解释，能在数百棵树规模下以相当运行时间获得更高保真度。
2024-01-23 cs.AI cs.LG
Interpretable Random Forests via Rule Extraction
Safran Tech（赛峰科技）；Sorbonne Université（索邦大学）；Ecole Polytechnique（巴黎综合理工学院）
我们介绍了SIRUS（稳定和可解释的规则集）回归，一个稳定的规则学习算法，它采取了一个简短的规则列表的形式。最先进的学习算法通常被称为“黑盒”，因为它们的预测过程中涉及大量的操作。尽管它们具有强大的预测性，但这种缺乏可解释性的情况可能对具有关键决策的应用程序具有高度限制性。另一方面，具有简单结构的算法-通常是决策树、规则算法或稀疏线性模型-以其不稳定性而闻名。这一不受欢迎的特征使得数据分析的结论不可靠，并成为一个强大的操作限制。这激发了SIRUS的设计，它结合了简单的结构和数据扰动时显着的稳定行为。该算法是基于随机森林，其中的预测精度是保留的。我们证明了经验（通过实验）和理论（证明其渐近稳定性）的方法的效率。我们的R/C++软件实现sirus可从CRAN获得。
2021-02-10 cs.AI cs.LG stat.ML
On Trustworthy Rule-Based Models and Explanations
LAAS-CNRS, Université de Toulouse, CNRS, INSA Toulouse, France（法国图卢兹大学、CNRS、INSA图卢兹分校）；Universitat de Lleida（莱里达大学）；ICREA & University of Lleida（ICREA与莱里达大学）
本文研究了基于规则的机器学习模型在解释预测时存在的不良方面（如负重叠和冗余），开发了分析算法，并证明现有广泛使用的工具会诱导出具有不良方面的规则集。
2025-07-10 cs.AI cs.LG cs.LO
SIRUS: Stable and Interpretable RUle Set for Classification
Safran Tech（赛峰科技）；Sorbonne Université（索邦大学）；Ecole Polytechnique（巴黎综合理工学院）
最先进的学习算法，如随机森林或神经网络，通常被称为“黑盒”，因为它们的预测机制中涉及的操作的数量和复杂性很高。这种可解释性的缺乏是涉及关键决策的应用程序的一个很大的限制，通常是制造业中生产过程的分析。在这样的关键背景下，模型必须是可解释的，即，简单、稳定、可预测。为了解决这个问题，我们设计了SIRUS（稳定和可解释的规则集），一个新的分类算法的基础上随机森林，它采取了一个简短的规则列表的形式。虽然简单的模型通常不稳定的数据扰动，SIRUS实现了显着的稳定性改善了尖端的方法。此外，SIRUS继承了接近随机森林的预测准确性，并结合了决策树的简单性。这些属性进行评估，从理论和经验的角度来看，通过广泛的数值实验的基础上，我们的R/C++软件实现SIRUS可从CRAN。
2020-12-16 cs.LG math.ST stat.ML
