Dynamically Extracting Outcome-Specific Problem Lists from Clinical Notes with Guided Multi-Headed Attention
Texas A&M University（德克萨斯A&M大学）；Yale University（耶鲁大学）
问题列表旨在为临床医生提供患者医疗问题的相关摘要，并嵌入在许多电子健康记录系统中。尽管它们很重要，但问题列表中经常充斥着已解决或当前不相关的条件。在这项工作中，我们开发了一个新的端到端框架，首先从临床笔记中提取诊断和程序信息，然后使用提取的医疗问题来预测患者的预后。该框架比该领域内使用的现有模型性能更高，更可解释，对于ICU出院后发生的反弹再入院和院内死亡率，AU-ROC分别为0.710和0.869。我们确定了再入院和死亡率结果的风险因素，并证明我们的框架可以用来开发动态的问题列表，目前的临床问题及其定量的重要性。我们与医学专家进行了一项定性用户研究，并证明他们认为我们的框架产生的列表有利，并发现它们是一个更有效的临床决策支持工具，而不是一个强大的基线。
2020-07-25 cs.IR cs.LG
Scalable Rule Lists Learning with Sampling
University of Padova（帕多瓦大学）
针对现有最优规则列表学习方法难以处理大数据集的问题，提出基于采样、依托规则列表VC维新上下界的可扩展算法，可在严格近似保证下快速生成接近最优的高质量规则列表。
2024-06-18 cs.LG
Interpretable multiclass classification by MDL-based rule lists
Leiden University（莱顿大学）
最近，可解释分类器受到了数据采掘界越来越多的关注，因为它们本质上比更复杂的分类器更容易理解和解释。可解释的分类模型的示例包括决策树、规则集和规则列表。学习这样的模型通常涉及优化超参数，这通常需要大量的数据，并可能导致相对较大的模型。在本文中，我们考虑的问题，学习紧凑而准确的概率规则列表的多类分类。具体来说，我们提出了一种新的形式化的基础上概率规则列表和最小描述长度（MDL）的原则。这导致了几乎无参数的模型选择，自然允许权衡模型复杂性与拟合优度，从而有效地避免了过度拟合和超参数调整的需要。最后，我们介绍了Classy算法，该算法根据所提出的标准，greetly发现规则列表。我们的经验表明，Classy选择的小概率规则列表在预测性能和可解释性的结合方面优于最先进的分类器。我们表明，Classy是不敏感的唯一参数，即，候选集，以及训练集上的压缩与分类性能相关，验证了我们基于MDL的选择标准。
2019-10-31 cs.AI cs.LG stat.ML
Neuro-Symbolic Rule Lists
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
针对高风险领域规则列表学习需预离散化且优化不稳定的问题，提出端到端可微框架 NeuRules，统一特征离散化、规则学习与排序，无需预处理且在多数据集上优于现有方法。
2024-11-10 cs.AI cs.LG stat.ML
Smooth Sensitivity for Learning Differentially-Private yet Accurate Rule Lists
本文针对利用Gini不纯度构建可解释模型的机器学习算法，建立了Gini不纯度的平滑敏感度，以在保证差分隐私的同时添加更小噪声，实验证明在相同隐私预算下其规则列表模型比基于全局敏感度的方法准确率更高。
2024-11-12 cs.AI cs.CR cs.LG
Improving the Interpretability of Support Vector Machines-based Fuzzy Rules
The University of DaNang（岘港大学）；Hue University（顺化大学）
支持向量机和模糊规则系统在一定条件下是等价的。因此，在支持向量机领域中开发的学习算法可以用于自适应模糊系统的参数。从支持向量机中提取模糊模型具有固有的优点，即模型不需要事先确定规则的数量。然而，在支持向量机学习之后，复杂度通常较高，并且可解释性也受损。本文不仅提出了一个完整的框架，提取可解释的基于SVM的模糊模型，但也提供了模型的优化问题。仿真实例体现了本文的思想。
2014-08-22 cs.AI cs.LG
Learning Certifiably Optimal Rule Lists for Categorical Data
University of California, Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）；Duke University（杜克大学）
我们提出了一个自定义的离散优化技术的设计和实现，用于在分类特征空间上构建规则列表。我们的算法产生具有最佳训练性能的规则列表，根据正则化的经验风险，具有最优性证书。通过利用算法边界，高效的数据结构和计算重用，我们实现了几个数量级的时间加速和大量减少内存消耗。我们证明了我们的方法在几秒钟内就能产生实际问题的最佳规则列表。我们的研究结果表明，这是可能的，以构建最佳的稀疏规则列表，大约是准确的COMPAS专有的风险预测工具的数据从布劳沃德县，佛罗里达州，但完全可以解释。这个框架是一个新的替代CART和其他决策树方法的可解释的建模。
2018-08-03 cs.LG stat.ML
Extracting Rules from Event Data for Study Planning
RWTH Aachen University（亚琛工业大学）
本研究利用流程与数据挖掘及决策树，从校园事件数据中提取课程序列规则，为计算机科学本科生提供数据驱动的学习规划建议。
2023-10-04 cs.LG
Interpretable Machine Learning Classifiers for Brain Tumour Survival Prediction
Centre for Addiction and Mental Health（成瘾与心理健康中心）；University of Edinburgh（爱丁堡大学）；Royal Infirmary of Edinburgh（爱丁堡皇家医院）
由于肿瘤行为和治疗反应的异质性，预测诊断为脑肿瘤的患者的生存率具有挑战性。更好的预后估计将支持治疗计划和患者支持。机器学习的进步为临床预测模型的发展提供了信息，但它们与临床实践的整合几乎不存在。其中一个原因是模型缺乏可解释性。在本文中，我们使用一个新的脑肿瘤数据集比较两个可解释的规则列表模型对流行的机器学习方法的脑肿瘤生存预测。所有模型都使用标准性能指标进行定量评估。还对规则列表的可解释性和临床实用性进行了定性评估。黑盒机器学习模型的可解释性评估使用两个事后解释技术，石灰和SHAP。我们的结果表明，黑盒模型仅略微优于规则列表。我们证明了规则列表算法产生了与临床专业知识相一致的简单决策列表。相比之下，事后可解释性方法应用于黑箱模型可能会产生不可靠的解释本地模型的预测。模型的可解释性对于理解预测性能的差异和整合到临床实践中至关重要。
2021-06-17 cs.AI cs.LG
Extracting useful rules through improved decision tree induction using information entropy
分类是数据采掘领域中广泛使用的一种技术，而可扩展性和效率是大型数据库分类算法中亟待解决的问题。我们建议改进现有的C4.5决策树算法。本文将面向属性的归纳（AOI）和相关性分析与概念层次知识和HeightBalancePriority算法相结合，构造决策树并进行多层次挖掘。属性优先级的分配是通过评估不同抽象级别的信息熵来完成的，以便使用HeightBalancePriority算法构建决策树。使用改进的DMQL查询来理解和探索C4. 5分类器生成的决策树在教育数据集上的不足，并将结果与所提出的方法进行比较。
2013-02-11 cs.LG
Computing the Collection of Good Models for Rule Lists
NTT Communications Co.（NTT通信公司）；Fujitsu Ltd.（富士通有限公司）；Hokkaido University（北海道大学）
自从Breiman在2001年的开创性论文中指出了从可解释人工智能的角度来看预测多重性的潜在危害以来，对所有好模型的集合进行全局分析，也被称为“罗生门集”，在过去几年中受到了广泛关注。由于寻找这样一组好的模型是一个很难的计算问题，到目前为止，只有少数算法的问题，其中大多数是近似或不完整的。为了克服这一困难，我们研究有效枚举的所有良好的模型的子类的可解释的模型，称为规则列表。基于Angelino等人在2017年提出的最先进的最佳规则列表学习器CORELS，我们提出了一种高效的枚举算法CorelsEnum，用于在给定数据集和最佳模型的容错性的情况下，使用输入大小的多项式空间精确计算所有良好模型的集合。通过使用COMPAS数据集进行累犯预测的实验，我们的算法CorelsEnum在大约1,000秒内成功枚举了长度最多为$\ell = 3$的数万个良好规则列表，而Hara和Ishihata在2018年提出的基于Lawler方法结合CORELS的最先进的顶级$K$规则列表学习器，直到超时6，才找到40个模型，000秒。对于全局分析，我们进行了表征罗生门集的实验，并观察到模型在预测多重性和模型公平性方面的巨大差异。
2022-04-24 cs.LG
Learning Fair Rule Lists
Université du Québec à Montréal（蒙特利尔魁北克大学）；LAAS-CNRS（法国国家科学研究中心自动化、计算机工程与信号实验室）；Université de Toulouse（图卢兹大学）
随着黑箱模型在高风险决策系统中的普遍使用，对公平和可解释模型的需求正在增加。虽然已经表明，可解释的模型可以在几个关键领域的黑箱模型一样准确，现有的公平分类技术，可解释的设计往往显示较差的准确性/公平性权衡与他们的非可解释的同行。在本文中，我们提出了FairCORELS，一个公平的分类技术解释的设计，其目标是学习公平的规则列表。我们的解决方案是一个多目标的变体CORELS，分支定界算法学习规则列表，支持几个统计公平的概念。这类措施的例子包括统计上的均等、机会均等和机会均等。FairCORELS在真实世界数据集上的实证评估表明，它优于最先进的公平分类技术，这些技术通过设计可解释，同时与不可解释的技术竞争。
2020-02-18 cs.LG stat.ML
ExMo: Explainable AI Model using Inverse Frequency Decision Rules
OneSpan（OneSpan公司）
在本文中，我们提出了一种新的方法来计算决策规则，建立一个更准确的解释机器学习模型，表示为ExMo。ExMo可解释的机器学习模型由一系列IF.然后...在条件中包含决策规则的语句。这样，ExMo自然会使用触发的决策规则为预测提供解释。ExMo使用一种新的方法，使用词频-逆文档频率（TF-IDF）特征从训练数据中提取决策规则。使用TF-IDF，提取与每个类更相关的特征值的决策规则。因此，ExMo获得的决策规则可以区分积极和消极的类比现有的贝叶斯规则列表（BRL）算法中使用的决策规则，使用频繁模式挖掘方法。本文还表明，ExMo学习一个比BRL更好的定性模型。此外，ExMo还证明了可以以人性化的方式提供文本解释，以便非专家用户可以轻松理解解释。我们在几个不同大小的数据集上验证了ExMo，以评估其有效性。对现实世界欺诈检测应用程序的实验验证表明，ExMo的准确度比BRL高20%，并且达到了与深度学习模型相似的准确度。
2022-05-20 cs.AI cs.LG
E3: Entailment-driven Extracting and Editing for Conversational Machine Reading
University of Washington（华盛顿大学）
当用户不知道做出决定的确切规则（例如，他们是否需要特定的收入水平或退伍军人身份）时，对话式机器阅读系统可以帮助用户回答高级问题（例如，确定他们是否有资格获得特定的政府福利）。关键的挑战是，这些规则只以程序文本的形式提供（例如政府网站上的指南），系统必须阅读这些文本才能弄清楚向用户询问什么。我们提出了一个新的会话机器阅读模型，共同提取一组决策规则的过程中的文本，而推理所涉及的会话历史，仍然需要编辑，以创建问题的用户。在最近推出的ShARC对话机器阅读数据集上，我们的蕴涵驱动的提取和编辑网络（E3）实现了新的最先进的技术，优于现有系统以及新的基于BERT的基线。此外，通过明确强调哪些信息仍然需要收集，E3提供了一个更易于解释的替代方案。我们在https://github.com/vzhong/e3上发布了模型和实验的源代码。
2020-02-13 cs.AI cs.CL cs.LG
BlackBoxToBlueprint: Extracting Interpretable Logic from Legacy Systems using Reinforcement Learning and Counterfactual Analysis
IIIT Hyderabad
本文提出BlackBoxToBlueprint流水线，用强化学习探索黑盒遗留系统的决策边界，结合反事实状态转移、K-Means聚类和决策树提取可解释规则，并在三类虚拟系统上验证了其有效性。
2025-06-30 cs.AI cs.LG
Extracting Interpretable Models from Tree Ensembles: Computational and Statistical Perspectives
MIT（麻省理工学院）；University of Sydney（悉尼大学）
本文提出一种提取树集成中简洁决策规则的估计器，通过灵活控制规则数量和交互深度提升准确性，并建立非渐近预测误差界，实验表明其优于现有规则提取算法。
2026-03-30 cs.LG stat.ML
Extracting Rule-based Descriptions of Attention Features in Transformers
Princeton Language and Intelligence (PLI), Princeton University（普林斯顿语言与智能研究所（PLI）、普林斯顿大学）
针对Transformer注意力特征依赖主观样例检视的解读难题，本文提出三类基于规则的特征描述方法，可自动提取规则并在GPT-2 small上验证效果，为机制可解释性研究提供新路径。
2025-10-20 cs.CL cs.LG
AutoFR: Automated Filter Rule Generation for Adblocking
University of California, Irvine（加州大学欧文分校）；University of California, Davis（加州大学戴维斯分校）
Adblocking依赖于过滤器列表，这些列表由过滤器列表作者社区手动策划和维护。过滤器列表管理是一个费力的过程，不能很好地扩展到大量网站或随着时间的推移。在本文中，我们介绍了AutoFR，一个强化学习框架，完全自动化的过滤规则创建和评估的过程中的网站的兴趣。我们设计了一种基于多臂强盗的算法来生成过滤规则，该过滤规则在阻止广告的同时控制阻止广告和避免视觉破坏之间的权衡。我们在数千个网站上测试了AutoFR，并证明它是有效的：只需几分钟即可为感兴趣的网站生成过滤规则。AutoFR有效：它生成的过滤规则可以阻止86%的广告，相比之下，EasyList的比例为87%，同时实现了类似的视觉破坏。此外，AutoFR生成的过滤规则可以很好地推广到新网站。我们设想AutoFR可以帮助广告拦截社区大规模地生成过滤规则。
2023-03-08 cs.LG cs.NI
Feature Extraction Functions for Neural Logic Rule Learning
Deakin University（迪肯大学）
将符号人类知识与神经网络相结合，提供了对输出的基于规则的事前解释。在本文中，我们提出的特征提取功能集成人类知识抽象为逻辑规则的预测行为的神经网络。这些功能被实现为编程功能，其将可应用的领域知识表示为一组逻辑指令，并且提供输入数据上的独立特征的修改的分布。与其他现有的神经逻辑方法不同，这些函数的编程性质意味着它们不需要任何特殊的数学编码，这使得我们的方法在本质上非常通用和灵活。我们说明了我们的情感分类方法的性能，并将我们的结果与使用两个基线获得的结果进行比较。
2021-04-11 cs.AI cs.LG
Distilling neural networks into skipgram-level decision lists
Computational Linguistics and Psycholinguistics Research Center (CLiPS)（计算语言学与心理语言学研究中心（CLiPS））；University of Antwerp（安特卫普大学）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
以往关于递归神经网络解释的研究主要集中在寻找网络最重要输入段作为解释的方法上。在这种情况下，这些输入片段相互结合以形成解释性模式的方式仍然未知。为了克服这一点，以前的一些工作试图在数据中找到解释神经输出的模式（称为规则）。然而，它们的解释往往对模型参数不敏感，这限制了文本解释的可扩展性。为了克服这些限制，我们提出了一个管道，通过skipgram上的决策列表（也称为规则）来解释RNN。为了评估解释，我们创建了一个合成的脓毒症识别数据集，并将我们的技术应用于其他临床和情感分析数据集。我们发现，我们的技术持续实现高解释保真度和定性可解释的规则。
2020-05-18 cs.CL cs.LG stat.ML
VisRuler: Visual Analytics for Extracting Decision Rules from Bagged and Boosted Decision Trees
Linnaeus University（林奈大学）；Linköping University（林雪平大学）
针对袋装、提升类集成决策树模型可解释性差的问题，提出可视分析工具VisRuler，通过多步视觉检查工作流提取决策规则，经多维度评估验证了其适用性与有效性。
2024-04-18 cs.HC cs.LG stat.ML
Interpretable classifiers using rules and Bayesian analysis: Building a better stroke prediction model
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）
我们的目标是生成不仅准确，而且可由人类专家解释的预测模型。我们的模型是决策列表，其中包括一系列的如果...然后...语句（例如，如果是高血压，则是中风），其将高维、多变量特征空间离散化为一系列简单、易于解释的决策语句。我们引入了一个生成模型称为贝叶斯规则列表，产生一个后验分布可能的决策列表。它采用了一种新的先验结构，以鼓励稀疏。我们的实验表明，贝叶斯规则列表的预测精度与当前机器学习中的顶级预测算法相当。我们的方法是由个性化医疗的最新发展，并可用于产生高度准确和可解释的医疗评分系统的动机。我们通过产生CHADS $_2$评分的替代方案来证明这一点，该评分在临床实践中被积极用于估计房颤患者的卒中风险。我们的模型与CHADS $_2$一样可解释，但更准确。
2015-11-05 cs.LG stat.AP stat.ML
Adversarial Alignment of Multilingual Models for Extracting Temporal Expressions from Text
Bosch Center for Artificial Intelligence（博世人工智能中心）；Saarland University（萨尔大学）；Saarbrücken Graduate School of Computer Science（萨尔布吕肯计算机科学研究生院）
虽然时间标记仍然是基于规则的系统占主导地位，最近有神经时间标记器的尝试。然而，所有这些都集中在单语设置。在本文中，我们探索了从文本中提取时间表达式的多语言方法，并研究了将嵌入空间对齐到一个公共空间的对抗训练。有了这个，我们创建了一个单一的多语言模型，也可以转移到看不见的语言，并设置在这些跨语言迁移实验的新的艺术状态。
2020-05-19 cs.CL cs.LG
Directional Decision Lists
University of Chicago（芝加哥大学）；Robert Bosch LLC（罗伯特·博世有限责任公司）
在本文中，我们介绍了一系列新颖的决策列表，这些决策列表由高度可解释的模型组成，可以以贪婪的方式有效地学习。定义属性是所有规则都指向同一个方向。这个家族的特定例子是具有单调递减（或递增）概率的决策列表。在模拟数据上，我们根据经验证实，所提出的模型族比一般的决策表更容易训练。我们通过识别制造过程中的问题症状来验证我们方法的实际可用性。
2016-01-10 cs.LG stat.CO stat.ML
Extracting Weighted Finite Automata from Recurrent Neural Networks for Natural Languages
Peking University（北京大学）
循环神经网络（RNN）在序列数据处理方面取得了巨大的成功。然而，直接解释和验证RNN的行为是相当具有挑战性的。为此，已经做出了许多努力来从RNN中提取有限自动机。现有的方法，如精确学习是有效的，在提取有限状态模型来表征RNN的状态动态的形式语言，但在处理自然语言的可扩展性有限。可扩展到自然语言的组合方法在提取精度方面有所不足。在本文中，我们确定的过渡稀疏性问题，严重影响提取精度。为了解决这个问题，我们提出了一种转换规则提取方法，该方法可扩展到自然语言处理模型，并有效提高提取精度。具体来说，我们提出了一个经验的方法来补充在过渡图中缺失的规则。此外，我们进一步调整转移矩阵，以提高提取的加权有限自动机（WFA）的上下文感知能力。最后，我们提出了两种数据增强策略来跟踪目标RNN的更多动态行为。在两个流行的自然语言数据集上的实验表明，该方法可以从RNN中提取WFA用于自然语言处理，其精度优于现有方法。我们的代码可在https://github.com/weizeming/Extract_WFA_from_RNN_for_NL上获得。
2022-09-27 cs.CL cs.LG
Fairwashing: the risk of rationalization
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；ENSTA ParisTech（国立高等先进技术学院巴黎高科）；Osaka University（大阪大学）；UdeM（蒙特利尔大学）；MILA（蒙特利尔学习算法研究所）
黑箱解释是解释机器学习模型如何产生结果的问题，该模型的内部逻辑对审计人员是隐藏的，通常是复杂的。目前解决这一问题的方法有模型解释、结果解释和模型检验。虽然这些技术可以通过提供可解释性而受益，但它们可以以负面的方式用于执行公平洗涤，我们将其定义为促进机器学习模型尊重某些道德价值观的错误感知。特别是，我们证明，它是可能的，系统合理化的决策，由一个不公平的黑箱模型使用模型的解释，以及结果的解释方法与给定的公平性度量。我们的解决方案，LaundryML，是基于正则化规则列表枚举算法，其目标是寻找公平的规则列表近似不公平的黑盒模型。我们在真实世界数据集上训练的黑盒模型上实证评估了我们的合理化技术，并表明可以获得对黑盒模型具有高保真度的规则列表，同时大大减少不公平。
2019-05-15 cs.LG stat.ML
S-SIRUS: an explainability algorithm for spatial regression Random Forest
University of Pavia（帕维亚大学）；University of Torino（都灵大学）；University of Bergamo（贝加莫大学）
针对现有随机森林解释方法无法处理空间依赖数据的问题，本研究提出SIRUS的空间扩展算法S-SIRUS，可从空间回归随机森林中提取规则，实验证明其在空间相关场景下预测准确率更高、规则更简洁。
2024-08-10 cs.LG stat.ML
