Interpretable Two-level Boolean Rule Learning for Classification
Massachusetts Institute of Technology（麻省理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
作为对可解释的机器学习研究的贡献，我们开发了一种新的优化框架，用于学习精确和稀疏的两级布尔规则。我们考虑合取范式（AND-of-OR）和析取范式（OR-of-AND）中的规则。提出了一个原则性的目标函数，贸易分类的准确性和可解释性，其中我们使用汉明损失来表征准确性和稀疏性来表征可解释性。我们提出了有效的程序来优化这些目标的基础上线性规划（LP）松弛，块坐标下降，交替最小化。实验表明，我们的新算法提供了很好的准确性和可解释性之间的权衡。
2016-06-18 cs.LG stat.ML
Large-Margin Classification with Multiple Decision Rules
二元分类是一个常见的统计学习问题，其中模型是在一组协变量上估计的，用于指示两个类中的一个的成员资格的一些结果。在文献中，存在硬分类和软分类的区别。在软分类中，条件类概率被建模为协变量的函数。相比之下，硬分类方法只针对最佳预测边界。虽然硬分类和软分类方法已被广泛研究，但没有做太多的工作来比较硬分类和软分类的实际任务。在本文中，我们提出了一系列的统计学习问题，跨越硬和软分类任务的基础上拟合多个决策规则的数据。通过这样做，我们揭示了一个新的收集越来越复杂的学习任务。我们研究的问题使用的框架大利润分类器和一类分段线性凸代理人，我们推导出的统计特性和相应的次梯度下降算法。最后，我们将我们的方法应用于模拟设置和来自阿尔茨海默病神经成像倡议（ADNI）研究的磁共振成像（MRI）数据集。
2014-11-19 cs.LG stat.ML
Efficient learning of large sets of locally optimal classification rules
Johannes Kepler University Linz（林茨约翰·开普勒大学）
传统的规则学习算法的目标是找到一组简单的规则，其中每个规则覆盖尽可能多的例子。在本文中，我们认为，以这种方式发现的规则可能不是他们所涵盖的每个例子的最佳解释。相反，我们提出了一个有效的算法，旨在找到最好的规则，覆盖每个训练样本在一个贪婪的优化组成的一个专业化和一个泛化循环。这些局部最优的规则被收集，然后过滤的最终规则集，这是远远大于传统的规则学习算法学习的集合。通过选择覆盖该示例的规则中的最佳规则来对新示例进行分类。在我们对小到非常大的数据集的实验中，该方法的平均分类准确率高于最先进的规则学习算法。此外，该算法是高效的，可以固有地并行处理，而不影响学习的规则集，从而分类精度。因此，我们相信，它关闭了一个重要的差距，大规模的分类规则归纳。
2023-01-26 cs.LG
Learning Gradient Boosted Multi-label Classification Rules
TU Darmstadt（达姆施塔特工业大学）；JKU Linz（林茨约翰内斯·开普勒大学）；Paderborn University（帕德博恩大学）
在多标签分类中，预测的评估不如单标签分类直接，已经提出了各种有意义的，尽管不同的损失函数。理想情况下，学习算法应该是针对性能度量的特定选择可定制的。从这个角度来看，提升的现代实现，最突出的是梯度提升决策树，似乎很有吸引力。然而，它们大多限于单标签分类，因此不适合多标签丢失，除非这些是标签方式可分解的。在这项工作中，我们开发了一个泛化的梯度提升框架多输出问题，并提出了一种算法，用于学习多标签分类规则，能够最大限度地减少可分解以及不可分解的损失函数。以著名的汉明损失和子集0/1损失为代表，分析了该方法在合成数据上的能力和局限性，并在多标签基准测试上评估了其预测性能。
2020-06-23 cs.LG stat.ML
Interpretable multiclass classification by MDL-based rule lists
Leiden University（莱顿大学）
最近，可解释分类器受到了数据采掘界越来越多的关注，因为它们本质上比更复杂的分类器更容易理解和解释。可解释的分类模型的示例包括决策树、规则集和规则列表。学习这样的模型通常涉及优化超参数，这通常需要大量的数据，并可能导致相对较大的模型。在本文中，我们考虑的问题，学习紧凑而准确的概率规则列表的多类分类。具体来说，我们提出了一种新的形式化的基础上概率规则列表和最小描述长度（MDL）的原则。这导致了几乎无参数的模型选择，自然允许权衡模型复杂性与拟合优度，从而有效地避免了过度拟合和超参数调整的需要。最后，我们介绍了Classy算法，该算法根据所提出的标准，greetly发现规则列表。我们的经验表明，Classy选择的小概率规则列表在预测性能和可解释性的结合方面优于最先进的分类器。我们表明，Classy是不敏感的唯一参数，即，候选集，以及训练集上的压缩与分类性能相关，验证了我们基于MDL的选择标准。
2019-10-31 cs.AI cs.LG stat.ML
Rule Generation for Classification: Scalability, Interpretability, and Fairness
Amsterdam Business School, University of Amsterdam（阿姆斯特丹大学阿姆斯特丹商学院）；Erasmus School of Economics, Erasmus University Rotterdam（伊拉斯姆斯大学伊拉斯姆斯经济学院）
本文提出一种基于列生成的规则优化分类方法，通过决策树启发式加速NP难定价子问题求解，并引入成本系数与约束同时兼顾局部可解释性、公平性和准确率。
2025-02-06 cs.LG stat.ML
Employing Iterative Feature Selection in Fuzzy Rule-Based Binary Classification
Northwestern Polytechnical University（西北工业大学）；Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
针对传统二分类特征选择与规则模糊信息利用不足的问题，提出结合模糊相关族特征选择与双聚类规则挖掘的迭代特征选择模糊规则二分类算法，经Adaptive Boosting选优弱分类器构建强分类器，性能优于同类方法。
2024-01-26 cs.LG
Superior Scoring Rules for Probabilistic Evaluation of Single-Label Multi-Class Classification Tasks
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））；University of Exeter（埃克塞特大学）
提出PBS和PLL两种新型评分规则，通过引入对错误分类的惩罚改进概率分类评估，在满足严格评分属性的同时优先奖励正确预测，有效提升模型选择与早停效果并实现更高的F1分数。
2024-07-25 cs.LG stat.ML
Classification Based on Association Rules Algorithm for Breast Cancer
University of Sharjah（沙迦大学）
本文提出一种基于加权分类的关联规则数据挖掘方法用于乳腺癌分类，通过规则生成、剪枝和预测三个核心算法实现，并在测试样本上验证了其可行性和性能。
2026-10-02 cs.LG
Building a Competitive Associative Classifier
Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
随着深度学习的巨大成功，其他机器学习范式不得不退居二线。然而，其他模型，特别是基于规则的模型，更具可读性和可解释性，甚至在标记数据不丰富时具有竞争力。然而，现有的大多数基于规则的分类器都存在产生大量分类规则的问题，影响了模型的可读性。这妨碍了分类的准确性，因为噪声规则可能不会为分类添加任何有用的信息，并且还导致更长的分类时间。在这项研究中，我们提出了SigD2，它使用了一种新的，两阶段的修剪策略，修剪了大部分的噪音，冗余和无趣的规则，使分类模型更准确和可读。为了使SigDirect与最流行但不可解释的基于机器学习的分类器（如神经网络和支持向量机）相比更具竞争力，我们建议对SigDirect分类器的集成进行装袋和提升。所提出的算法的结果是相当有前途的，我们能够获得一个最小的统计上显着的分类规则，而不会危及分类精度。我们使用了15个UCI数据集，并将我们的方法与8个现有系统进行了比较。SigD2和提升的SigDirect（ACboost）集成模型不仅在分类精度方面，而且在规则数量方面都优于各种最先进的分类器。
2020-07-04 cs.LG stat.ML
Supervised classification via minimax probabilistic transformations
BCAM-Basque Center of Applied Mathematics（BCAM巴斯克应用数学中心）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
用于监督分类的常规技术约束所考虑的分类规则，并且使用用于分类0-1损失的替代损失。分类规则的Festival族是那些享有适合于代理损失最小化的参数表示和适合于过拟合控制的低复杂度特性的分类规则。本文提出了基于鲁棒风险最小化（RRM）的分类技术，我们称之为线性概率分类器（LPC）。所提出的技术考虑无约束的分类规则，优化分类0-1损失，并在学习过程中提供性能界限。LPC通过使用线性优化来实现有效的学习，并通过使用RRM在多面体不确定性分布集上避免过度拟合。我们还提供了有限样本的泛化界的LPC，并显示其竞争力的性能与国家的最先进的技术，使用基准数据集。
2019-05-31 cs.LG stat.ML
A Random Projection k Nearest Neighbours Ensemble for Classification via Extended Neighbourhood Rule
Abdul Wali Khan University（阿卜杜勒·瓦利·汗大学）；King Abdul Aziz University（阿卜杜勒·阿齐兹国王大学）
基于k近邻（kNN）的集成组合了大量的基础学习器，每个学习器都是在从给定的训练数据中获取的样本上构建的。典型的基于kNN的集成确定训练数据中的k个最接近的观测值，该训练数据通过球形区域被限制到测试样本点以预测其类别。本文提出了一种新的随机投影扩展邻域规则（RPExNRule）集成，其中从给定的训练数据的引导样本被随机投影到较低的维度，以增加基础模型中的随机性并保留特征信息。它使用扩展的邻域规则（ExNRule）来拟合kNN作为随机投影自举样本的基础学习器。
2023-03-21 cs.LG stat.ML
Error rate control for classification rules in multiclass mixture models
GQE - Le Moulon；UMR MIA-Paris；INRAE（法国国家农业食品与环境研究院）；CNRS（法国国家科学研究中心）；AgroParisTech（巴黎高等农业学院）；Université Paris-Saclay（巴黎萨克雷大学）；Laboratoire MAP5 (UMR CNRS 8145)（MAP5实验室（法国国家科学研究中心联合实验室8145））；Université Paris Descartes（巴黎笛卡尔大学）；Université de Paris（巴黎大学）；Institute of Plant Sciences Paris-Saclay (IPS2)（巴黎萨克雷植物科学研究所（IPS2））；Univ. Evry（埃夫里大学）；Laboratoire de Mathématiques d’Orsay（奥尔赛数学实验室）；Inria（法国国家信息与自动化研究所）
在有限混合模型的上下文中，考虑在感兴趣的类中对尽可能多的观测进行分类，同时控制这些相同类中的分类出错率的问题。类似于在统计测试理论的框架中所做的，可以定义不同的类型I和类型II类分类错误率，以及它们相关联的最优规则，其中最优性被定义为最小化类型II出错率，同时将类型I出错率控制在某个标称水平。它首先表明，找到一个最佳的分类规则归结为在观察空间中搜索一个最佳区域，在那里应用经典的最大后验概率（MAP）规则。根据要控制的误分类率，最佳区域的形状，以及一个启发式计算的最佳分类规则在实践中提供。特别是，一个多类FDR的最佳规则的定义和比较，在大多数应用程序中使用的阈值MAP规则。模拟和真实的数据集上示出的FDR样的最优规则可能是显着不太保守的阈值MAP规则。
2021-09-29 cs.LG math.ST stat.ML
Transfer Learning for Classification under Decision Rule Drift with Application to Optimal Individualized Treatment Rule Estimation
Department of Statistics and Data Science, Cornell University（统计与数据科学系，康奈尔大学）
本文提出面向决策规则漂移的迁移学习分类方法，利用 Bayes 决策边界几何变换将后验漂移建模转化为低维经验风险最小化，证明一致性与风险界，并在个体化治疗规则、模拟及真实数据中验证其优势。
2025-08-28 cs.LG math.ST stat.ME
Application of Fuzzy Rule based System for Highway Research Board Classification of Soils
RV College of Engineering（RV工程学院）；University Visveswaraya College of Engineering（维斯瓦拉亚大学工程学院）
基于模糊规则的模型是模仿人类思维方式和解决不确定性相关问题的有力工具，因为它允许可理解和可解释的规则库。本文的目的是研究的适用性模糊规则为基础的建模，以量化土壤分类的工程目的，定性考虑土壤指标的属性。公路研究委员会的分类系统被认为是说明一个模糊规则为基础的模型。利用三角函数对土壤指标属性进行模糊化，并计算模糊隶属度值。模糊算术运算符，然后施加到分类获得的成员值。采用模糊决策树分类算法，推导出模糊“若-则”规则，实现土壤分类的量化。该系统在MATLAB中实现。所获得的结果进行检查，并对实验室测试的结果测量所提出的模型的实施。
2020-05-10 cs.AI cs.LG
CFM-BD: a distributed rule induction algorithm for building Compact Fuzzy Models in Big Data classification problems
Institute of Smart Cities（智慧城市研究所）；Universidad Pública de Navarra（纳瓦拉公立大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
可解释性一直是模糊规则分类器的主要关注点。人类可读模型的使用使他们能够解释其预测和决策背后的推理。然而，当涉及到大数据分类问题时，基于模糊规则的分类器无法在准确性和可解释性之间保持良好的平衡，这是这些技术在非大数据环境中的特点。最精确的方法建立了由大量规则和模糊集组成的过于复杂的模型，而那些专注于可解释性的方法并不提供最先进的判别能力。在本文中，我们提出了一种新的分布式学习算法命名CFM-BD构建准确和紧凑的模糊规则为基础的分类系统的大数据。这种方法是专门为大数据问题从头开始设计的，不适应或扩展任何现有的算法。该学习过程包括3个阶段：1）基于概率积分变换定理的预处理; 2）基于CHI-BD和Apriori算法的规则归纳; 3）基于全局进化优化的规则选择。我们进行了一个完整的实证研究，以测试我们的方法在准确性，复杂性和运行时间方面的性能。将获得的结果与四种最先进的大数据模糊分类器（FBDT，FMDT，Chi-Spark-RS和CHI-BD）进行了比较和对比。根据这项研究，CFM-BD是能够提供竞争力的歧视能力，使用显着更简单的模型组成的一些规则少于3个前因，采用5个语言标签的所有变量。
2019-02-25 cs.LG stat.ML
A Voting Approach for Explainable Classification with Rule Learning
University of Innsbruck（因斯布鲁克大学）；Data Lab Hell GmbH（达尔实验室赫尔有限责任公司）
针对深度神经网络等最优分类方法不可解释、普通规则学习方法准确率偏低的问题，提出融合两类方法的投票方法，兼具可解释性与媲美最优方法的分类性能。
2024-03-08 cs.LG
Interpretable Rule Discovery Through Bilevel Optimization of Split-Rules of Nonlinear Decision Trees for Classification Problems
Michigan State University（密歇根州立大学）
对于涉及设计，控制，其他实际目的的监督分类问题，用户不仅有兴趣找到一个高精度的分类器，但他们也要求得到的分类器是容易解释的。虽然分类器的可解释性的定义可以因情况而异，但在这里，通过人类可解释的分类器，我们将其限制为用简单的数学术语表示。作为一种新的方法，我们表示一个简单的数学规则，使用非线性决策树（NLDT）的组合分类器。树的每个条件（非终端）节点表示涉及特征的非线性数学规则（分裂规则），以便将给定条件节点中的数据集划分为两个不重叠的子集。这种划分旨在最小化结果子节点的不纯性。通过限制每个条件节点上的分裂规则结构和决策树的深度，保证了分类器的可解释性。在一个给定的条件节点的非线性分裂规则是使用进化的双层优化算法，而上层集中在到达一个可解释的结构的分裂规则，较低的水平实现最合适的权重（系数）的规则的各个组成部分，以最大限度地减少净杂质的两个子节点。所提出的算法的性能证明了一些控制测试问题，现有的基准问题，和工业问题。两个到500个特征问题的结果是令人鼓舞的，并开辟了进一步的范围，应用所提出的方法，更具有挑战性和复杂的分类任务。
2020-08-02 cs.LG cs.NE stat.ML
Preventing the Generation of Inconsistent Sets of Classification Rules
Federal University of São Carlos（圣保罗联邦大学）；Department of Computer Science Federal University of São Carlos（圣保罗联邦大学计算机科学系）
近年来，对可解释分类模型的兴趣不断增长。改进基于规则的分类模型的可解释性的方法之一是使用规则集（无序集合），而不是规则列表（有序集合）。与集合相关的问题之一是，多个规则可能覆盖单个实例，但为它预测不同的类，因此需要冲突解决策略。在这项工作中，我们提出了两个算法，能够找到特征空间区域内的任何创建的规则将与现有的规则一致，防止出现不一致。我们的算法不生成分类模型，而是为了增强这样做的算法，例如学习分类器系统。这两种算法的描述和分析完全从理论的角度来看，因为我们还没有修改模型生成算法，将我们提出的解决方案。这项工作提出了新颖的冲突避免策略，而不是冲突解决策略。
2020-03-30 cs.AI cs.LG
Learning Qualitatively Diverse and Interpretable Rules for Classification
Harvard University（哈佛大学）
人们越来越有兴趣开发精确的模型，也可以解释给人类。不幸的是，如果某些数据集存在多个不同但准确的模型，当前的机器学习方法不太可能找到它们：标准技术可能会恢复一个组合它们的复杂模型。在这项工作中，我们介绍了一种方法来识别一个数据集的不同但准确的模型的最大集合。我们的经验表明，在数据支持多个准确的分类器的情况下，我们倾向于恢复更简单，更可解释的分类器，而不是更复杂的。
2018-07-19 cs.LG stat.ML
Unequal Covariance Awareness for Fisher Discriminant Analysis and Its Variants in Classification
Simula Metropolitan（西姆拉大都会中心）；AISIA Research Lab（AISIA研究实验室）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
Fisher判别分析是特征提取和分类的重要工具之一。此外，它还激励了许多基于FDA的改进技术的开发，以适应不同的问题或数据类型。然而，这些方法都没有利用FDA中的等协方差矩阵的假设在实际情况下通常不满足的事实。因此，我们提出了一种新的分类规则，FDA占这一事实，减轻不平等的协方差矩阵在FDA的影响。此外，由于我们只修改了分类规则，因此同样可以应用于许多FDA变体，从而进一步改进这些算法。理论分析表明，新的分类规则允许隐式使用类协方差矩阵，同时增加了少量的参数估计相比，从FDA到二次判别分析。我们通过实验来说明我们的想法，这表明了我们的新的分类规则的基础上，改进后的算法相比原来的性能优越。
2022-05-26 cs.LG stat.ML
Interpretable Two-level Boolean Rule Learning for Classification
Massachusetts Institute of Technology（麻省理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文提出了一种基于合取范式（CNF，即AND-of-OR）或析取范式（DNF，即OR-of-AND）的两级布尔规则的学习算法，旨在实现分类精度和规则简单性之间的良好平衡。提出了两种提法。第一种是整数规划，其目标函数是错误总数和规则中使用的特征总数的组合。我们推广了以前提出的线性规划（LP）松弛从一级到两级的规则。第二个公式取代0-1的分类误差与汉明距离从当前的两级规则的最接近的规则，正确分类的样本。基于这第二个配方，块坐标下降和交替最小化算法的开发。实验结果表明，两级规则的建模能力明显优于一级规则，基于汉明距离公式的两种算法总体上优于其他两级规则学习方法.一个建议的方法来二进制化任何分数值的LP松弛的最佳解决方案也被证明是有效的。
2015-11-23 cs.AI cs.LG
Rule-Mining based classification: a benchmark study
University Paris Descartes（巴黎笛卡尔大学）；Institut Hypercube（Hypercube研究所）
本研究提出了一个详尽的稳定/可重复的规则挖掘算法结合到一个分类器，以产生准确和可解释的模型。我们的方法首先提取规则（即，一个关于少量输入特征的值的条件的结合）与我们的穷举规则挖掘算法，然后基于称为“局部特征”的最相关的规则构造新的特征空间，最后，通过在新的局部特征空间上训练标准分类器来构建局部预测模型。这个局部特征空间是很容易解释的，通过提供一个人类可以理解的解释下明确的规则形式。此外，我们的本地预测方法是强大的全球经典的逻辑回归（LR），支持向量机（SVM）和规则为基础的方法，如随机森林（RF）和梯度提升树（GBT）。
2017-06-30 cs.LG
Neural-based classification rule learning for sequential data
IBM France Lab（IBM法国实验室）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；IBM Research（IBM研究院）
发现序列数据分类的可解释模式对于从基因组学到欺诈检测或更一般的可解释决策的各种领域都至关重要。在本文中，我们提出了一种新的微分完全可解释的方法，发现本地和全球的模式（即捕捉相对或绝对的时间依赖性）基于规则的二进制分类。它由一个卷积二进制神经网络与一个可解释的神经过滤器和训练策略的基础上动态强制稀疏。我们证明了该方法在合成数据集和开源肽数据集上的有效性和实用性。这种端到端可区分方法的关键在于，规则中使用的表达模式是与规则本身一起学习的。
2023-02-22 cs.AI cs.LG
A Nested Genetic Algorithm for Explaining Classification Data Sets with Decision Rules
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））；University of Stuttgart（斯图加特大学）
我们在本文中的目标是自动提取一组决策规则（规则集），最好地解释了分类数据集。首先，从在数据集上训练的一组决策树中提取大的决策规则集。规则集应简明、准确，具有最大的覆盖范围和最少的不一致性。这个问题可以被形式化为加权预算最大覆盖问题的修改版本，已知为NP-难。为了有效地解决组合优化问题，我们引入了一个嵌套的遗传算法，然后我们使用它来获得十个公共数据集的解释。
2022-08-23 cs.AI cs.LG cs.NE
FireGNN: Neuro-Symbolic Graph Neural Networks with Trainable Fuzzy Rules for Interpretable Medical Image Classification
Imperial College London（伦敦帝国学院）
提出FireGNN，将可训练模糊规则融入图神经网络，利用拓扑描述符实现可解释的医学图像分类，在多个基准上性能优异。
2025-10-09 cs.AI cs.CV cs.LG
Generation of Consistent Sets of Multi-Label Classification Rules with a Multi-Objective Evolutionary Algorithm
Universidade Federal de São Carlos（圣卡洛斯联邦大学）；Universidade Federal de São Paulo（圣保罗联邦大学）；University of Surrey（萨里大学）
多标签分类是指将一个实例同时分为两个或多个类别。这是一个非常具有挑战性的任务，目前在许多现实世界的应用，如分类的生物，图像，视频，音频和文本。最近，对可解释的分类模型的兴趣已经增长，部分是由于诸如通用数据保护条例之类的法规。在这种情况下，我们提出了一种多目标进化算法，生成多个基于规则的多标签分类模型，允许用户选择模型，提供不同的预测能力和可解释性之间的妥协。这项工作的一个重要贡献是，不同于大多数算法，通常生成模型的基础上列表（有序集合）的规则，我们的算法生成模型的基础上集（无序集合）的规则，增加可解释性。此外，通过在规则创建期间采用冲突避免算法，保证给定模型中的每个规则与同一模型中的每个其他规则一致。因此，不需要冲突解决策略，发展更简单的模型。我们在合成和真实世界的数据集上进行了实验，并将我们的结果与最先进的算法在预测性能（F-Score）和可解释性（模型大小）方面进行了比较，并证明我们最好的模型具有可比的F-Score和较小的模型大小。
2020-03-27 cs.AI cs.LG
Split Conformal Classification with Unsupervised Calibration
BCAM-Basque Center for Applied Mathematics and IKERBASQUE-Basque Foundation for Science（BCAM巴斯克应用数学中心和IKERBASQUE巴斯克科学基金会）
本文提出一种用于分类任务的无监督校准分裂共形预测方法，利用无监督校准样本和训练样本构建集合预测规则，在性能保证和计算效率适度下降的情况下达到与有监督校准相当的性能。
2025-10-14 cs.LG stat.ML
Neuro-symbolic Rule Learning in Real-world Classification Tasks
Imperial College London（帝国理工学院）
本文扩展了neural DNF模块以支持真实世界多分类和多标签任务，提出neural DNF-EO模型强制互斥性，在保持与神经网络相当性能的同时提供更好可解释性和可扩展性。
2023-03-29 cs.AI cs.LG
On Evaluating the Quality of Rule-Based Classification Systems
Mahidol University International College（玛希隆大学国际学院）
两个指标通常用于评估基于规则的分类系统的质量：预测准确性，即系统成功复制学习数据的能力和覆盖率，即构成系统的逻辑规则适用的可能情况的比例。在这项工作中，我们认为这两个指标可能是不够的，可能需要制定额外的质量措施。我们从理论上表明，分类系统呈现“良好”的预测精度和覆盖率，但是，可以微不足道的改进，并举例说明这一命题。
2020-04-06 cs.AI cs.LG cs.LO
Consistent Sufficient Explanations and Minimal Local Rules for explaining regression and classification models
LaMME（LaMME实验室）；University Paris Saclay（巴黎萨克雷大学）；Stellantis（斯泰兰蒂斯）；ENSIIE（法国国立高等工业工程学院）；Quantmetry（Quantmetry公司）
为了解释任何模型的决策，我们扩展了概率充分假设（P-SE）的概念。对于每个实例，该方法选择足以以高概率产生相同预测的特征的最小子集，同时去除其他特征。P-SE的关键是计算保持相同预测的条件概率。因此，我们引入了一个准确和快速的估计，通过随机森林的任何数据$(\boldsymbol{X}, Y)$，并通过其一致性的理论分析，显示其效率。因此，我们将P-SE扩展到回归问题。此外，我们处理非离散特征，而不需要学习$\boldsymbol{X}$的分布，也不需要进行预测的模型。最后，我们介绍了基于P-SE的回归/分类的基于局部规则的解释，并将我们的方法与其他可解释的AI方法进行了比较。这些方法在\url{www.github.com/salimamoukou/acv00}上作为Python包提供。
2022-10-14 cs.LG stat.ML
Fair Decision Rules for Binary Classification
School of Operations Research and Information Engineering（运筹学与信息工程学院）；Cornell University（康奈尔大学）
近年来，机器学习已经开始在大学招生、信贷和刑事判决等不同领域实现决策自动化。这些应用程序的社会敏感性，加上越来越多的监管限制，有必要对算法，是公平的和可解释的。在本文中，我们考虑的问题，建立布尔规则集的析取范式（DNF），一个可解释的二元分类模型，公平性约束。我们制定的问题作为一个整数规划，最大限度地提高分类精度与明确的限制两个不同的措施的分类奇偶性：平等的机会和均衡的赔率。列生成框架，与一个新的配方，用于有效地搜索指数许多可能的规则。当与更快的算法相结合时，我们的方法可以处理大型数据集。与其他公平和可解释的分类器相比，我们的方法能够找到满足更严格的公平概念的规则集，并在准确性方面进行适度的权衡。
2021-07-03 cs.AI cs.CY cs.LG
Truly Unordered Probabilistic Rule Sets for Multi-class Classification
Leiden University（莱顿大学）
规则集学习已经研究了很长时间，最近由于需要可解释的模型而经常被重新审视。然而，现有的规则学习方法仍存在一些不足：1）大多数方法需要二进制特征矩阵作为输入，而直接从数值型变量学习规则的研究还不够深入; 2）现有的规则学习方法在规则之间强加了显式或隐式的顺序，这损害了规则的可解释性;以及3）当前不存在用于学习多类目标变量的概率规则集的方法（仅存在一种用于概率规则列表的方法）。我们提出TURS，真正无序的规则集，它解决了这些缺点。我们首先正式学习真正无序规则集的问题。为了解决由重叠规则引起的冲突，即，实例覆盖的多个规则，我们提出了一种新的方法，利用我们的规则集的概率属性。接下来，我们开发了一个两阶段的启发式算法，学习规则集仔细增长的规则。一个重要的创新是，我们使用一个代理分数，以考虑到全局潜力的规则集学习时，当地的规则。最后，我们经验证明，与非概率和（显式或隐式）有序的最先进的方法相比，我们的方法学习的规则集不仅具有更好的可解释性，而且具有更好的预测性能。
2022-07-18 cs.LG
Adaptive Multi-view Rule Discovery for Weakly-Supervised Compatible Products Prediction
Georgia Institute of Technology（佐治亚理工学院）；The Home Depot（家得宝）
在电子商务平台上，预测两个产品是否相互兼容是为消费者提供可信的产品推荐和搜索体验的重要功能。然而，由于异构的产品数据和缺乏人工策划的训练数据，准确预测产品兼容性是困难的。我们研究发现有效的标签规则，可以使弱监督的产品兼容性预测的问题。我们开发了AMRule，一个多视图规则发现框架，它可以（1）自适应地和迭代地发现新的规则，可以补充当前的弱监督模型，以提高兼容性预测;（2）从结构化属性表和非结构化产品描述中发现可解释的规则。AMRule通过提升式策略自适应地从大误差实例中发现标记规则，高质量的规则可以弥补当前模型的弱点，并迭代地改进模型。从结构化的产品属性的规则发现，我们生成的组合高阶规则从决策树和规则发现从非结构化的产品描述，我们生成的规则为基础的规则从一个预先训练好的语言模型。在4个真实数据集上的实验表明，AMRule的平均性能优于基线5.98%，提高了规则质量和规则建议效率。
2022-06-28 cs.CL cs.LG
From Abductive Explanations to Global Logical Rules for Node Classification in SGCs
本研究针对SGC节点分类任务，提出以最小溯因解释为中间表示的逻辑框架，可提取紧凑且高保真的全局逻辑规则。
2026-08-19 cs.AI cs.LG cs.LO
Text Classification using the Concept of Association Rule of Data Mining
Stamford University Bangladesh（孟加拉国斯坦福德大学）；International Islamic University Chittagong（吉大港国际伊斯兰大学）；Bangladesh University of Engineering & Technology（孟加拉工程技术大学）
随着在线文本数量的增加，对文本分类以辅助文本分析和管理的需求也在增加。文本是廉价的，但信息，以知道文本属于什么类别的形式，是昂贵的。文本的自动分类可以以低成本提供这些信息，但是分类器本身必须通过昂贵的人工努力来构建，或者从本身已经手动分类的文本中进行训练。本文将讨论利用数据采掘中的关联规则概念对文本进行分类的过程。关联规则挖掘技术已被用于从预先分类的文本文档中提取特征集。朴素贝叶斯分类器，然后使用衍生功能的最终分类。
2010-09-23 cs.DB cs.IR cs.LG
Scalable Rule-Based Representation Learning for Interpretable Classification
Tsinghua University（清华大学）；East China Normal University（华东师范大学）
基于规则的模型，例如，决策树以其透明的内部结构和良好的模型表达能力被广泛应用于对模型可解释性要求较高的场景中。然而，基于规则的模型很难优化，特别是在大数据集上，由于其离散的参数和结构。通常使用包围方法和模糊/软规则来提高性能，但它们牺牲了模型的可解释性。为了获得良好的可扩展性和可解释性，我们提出了一种新的分类器，命名为基于规则的表示学习器（RRL），自动学习可解释的非模糊规则的数据表示和分类。为了有效地训练不可微RRL，我们将其投影到连续空间，并提出了一种新的训练方法，称为梯度嫁接，可以直接优化离散模型使用梯度下降。为了提高RRL的可扩展性，并使其能够端到端地离散化连续特征，还设计了一种改进的逻辑激活函数设计。在9个小数据集和4个大数据集上的详尽实验表明，RRL优于竞争性可解释方法，并且可以很容易地进行调整，以在不同场景下获得分类精度和模型复杂度之间的权衡。我们的代码可在https://github.com/12wang3/rrl上获得。
2021-09-30 cs.AI cs.LG
SIRUS: Stable and Interpretable RUle Set for Classification
Safran Tech（赛峰科技）；Sorbonne Université（索邦大学）；Ecole Polytechnique（巴黎综合理工学院）
最先进的学习算法，如随机森林或神经网络，通常被称为“黑盒”，因为它们的预测机制中涉及的操作的数量和复杂性很高。这种可解释性的缺乏是涉及关键决策的应用程序的一个很大的限制，通常是制造业中生产过程的分析。在这样的关键背景下，模型必须是可解释的，即，简单、稳定、可预测。为了解决这个问题，我们设计了SIRUS（稳定和可解释的规则集），一个新的分类算法的基础上随机森林，它采取了一个简短的规则列表的形式。虽然简单的模型通常不稳定的数据扰动，SIRUS实现了显着的稳定性改善了尖端的方法。此外，SIRUS继承了接近随机森林的预测准确性，并结合了决策树的简单性。这些属性进行评估，从理论和经验的角度来看，通过广泛的数值实验的基础上，我们的R/C++软件实现SIRUS可从CRAN。
2020-12-16 cs.LG math.ST stat.ML
Efficient Learning of Interpretable Classification Rules
National University of Singapore（新加坡国立大学）
机器学习在医疗、法律和交通等各种安全关键领域的应用中已经变得无所不在。在这些领域，机器学习提供的高风险决策要求研究人员设计可解释的模型，其中预测是人类可以理解的。在可解释的机器学习中，基于规则的分类器在通过包括输入特征的一组规则来表示决策边界方面特别有效。基于规则的分类器的可解释性通常与规则的大小有关，其中较小的规则被认为更具可解释性。为了学习这样的分类器，暴力直接方法是考虑一个优化问题，该问题试图学习具有接近最大准确度的最小分类规则。由于其组合性质，该优化问题在计算上是棘手的，因此，该问题在大型数据集中不可扩展。为此，在本文中，我们研究的准确性，可解释性和可扩展性的学习规则为基础的分类之间的三角关系。本文的贡献是一个可解释的学习框架IMLI，这是基于最大可满足性（MaxSAT）的综合分类规则表达的命题逻辑。尽管MaxSAT解决方案在过去十年中取得了进展，但基于MaxSAT的简单解决方案无法扩展。因此，我们将一个有效的增量学习技术内的MaxSAT配方，通过集成小批量学习和迭代规则学习。在我们的实验中，IMLI在预测准确性、可解释性和可扩展性之间实现了最佳平衡。作为一个应用程序，我们部署IMLI在学习流行的可解释的分类器，如决策列表和决策集。
2022-08-30 cs.AI cs.LG
Generating Hierarchical Explanations on Text Classification Without Connecting Rules
University of Chinese Academy of Sciences（中国科学院大学）
深度NLP模型的不透明性推动了解释深度模型如何预测的方法的发展。最近，工作已经引入了分层归因，它产生了一个分层聚类的话，随着每个集群的属性得分。然而，现有的工作层次属性都遵循连接规则，限制了输入文本中的连续跨度的集群。我们认为，连接规则作为一个额外的先验可能会破坏忠实地反映模型决策过程的能力。为此，我们建议生成层次的解释没有连接规则，并引入一个框架，生成层次聚类。实验结果和进一步分析表明，该方法能够为反映模型预测过程提供高质量的解释。
2022-10-24 cs.CL cs.LG
RCProb: Probabilistic rule extraction from classification tree ensembles
Department of Industrial Engineering（工业工程系）
本文提出RCProb，一种基于概率的方法，用于从树集成中提取规则，以减少计算成本并生成更紧凑的规则集，同时保持预测性能。
2026-09-04 cs.LG
Universal Rules for Fooling Deep Neural Networks based Text Classification
Kyushu University（九州大学）
最近，基于深度学习的自然语言处理技术被广泛用于处理垃圾邮件、社交网络中的审查评估等。然而，只有几个作品评估这种深层神经网络的脆弱性。在这里，我们超越了攻击，第一次调查，普遍的规则，即，规则是样本不可知的，因此可以将任何文本样本转换为对抗性的。事实上，通用规则不使用来自方法本身的任何信息（不使用来自方法的信息，梯度信息或训练数据集信息），使其成为黑盒通用攻击。换句话说，通用规则是样本和方法不可知的。通过提出一个协同进化优化算法，我们表明，它是可能的，可以创建通用的规则，可以自动工艺难以察觉的对抗样本（只有不到五个接近拼写错误的扰动被插入到文本样本）。与随机搜索算法的比较进一步证明了该方法的强度。因此，愚弄网络的普遍规则在这里被证明存在。希望这项工作的结果将影响更多样本和模型不可知攻击及其防御的发展，最终可能会进入人工智能的新时代。
2019-04-03 cs.CL cs.CR cs.LG
Apriori_Goal algorithm for constructing association rules for a database with a given classification
Tver State Technical University（特维尔国立技术大学）
针对给定分类数据库的关联规则构建问题，提出Apriori_Goal算法，通过单前提生成、扩展前提构建及多质量标准优化，可生成高频、稀有及负规则，以医疗数据库为例验证了效率。
2025-02-10 cs.DB cs.LG
Computer-Assisted Creation of Boolean Search Rules for Text Classification in the Legal Domain
Université de Montréal（蒙特利尔大学）；University of Pittsburgh（匹兹堡大学）；Hofstra University（霍夫斯特拉大学）
本研究开发了CASE交互式环境辅助构建布尔搜索规则形式的可解释文本分类器，在4个法律领域数据集上对比多种机器学习方法，探讨了规则可解释性与模型性能间的权衡。
2021-12-10 cs.AI cs.CL cs.IR
Bayes Risk Consistency of Nonparametric Classification Rules for Spike Trains Data
University of Manitoba（曼尼托巴大学）；AGH University of Krakow（克拉科夫AGH大学）
本文针对非参数强度函数刻画的脉冲序列二分类问题，推导最优贝叶斯规则并构造插件式非参数核分类器，证明其渐近收敛到贝叶斯规则，并用模拟实验验证。
2023-08-09 cs.IT cs.LG math.IT
Text Classification using Association Rule with a Hybrid Concept of Naive Bayes Classifier and Genetic Algorithm
International Islamic University Chittagong（吉大港国际伊斯兰大学）；School of Communication, Independent University Bangladesh（孟加拉独立大学传播学院）
文本分类是将自然语言文本根据其内容自动分配到预定义的类别。文本分类是文本检索系统和文本理解系统的主要要求，文本检索系统根据用户查询检索文本，文本理解系统以某种方式转换文本，例如生成摘要，回答问题或提取数据。文本分类的需求日益增长。考虑到这一需求，正在开发新的和更新的技术，用于自动文本分类的目的。本文提出了一种新的文本分类算法。该方法不使用词，而是使用词关系即关联规则从预先分类的文本文档中提取特征集。然后将朴素贝叶斯分类器的概念用于派生特征，最后添加了遗传算法的概念以进行最终分类。一个系统的基础上所提出的算法已经实施和测试。实验结果表明，该系统是一个成功的文本分类器。
2010-09-25 cs.DB cs.IR cs.LG
Rule Mining for Correcting Classification Models
Fujitsu Limited（富士通有限公司）；Osaka University（大阪大学）
针对模型修正需谨慎改变预测结果的场景，提出修正规则挖掘方法，结合频繁项集挖掘与剪枝技术，高效发现描述不准确子群体及修正方法的规则，助力数据补充、输出修正和概念漂移分析。
2023-10-14 cs.LG cs.SE
Fair Classification via Unconstrained Optimization
Google Research（谷歌研究院）
在某些情况下，实现贝叶斯最优二进制分类规则的组公平性约束是已知的，是可减少的，学习一个组明智的阈值规则的贝叶斯回归。在本文中，我们通过证明在更广泛的设置中，贝叶斯最优公平学习规则仍然是贝叶斯回归量上的分组阈值规则，但在阈值处具有（可能的）随机化来扩展这一结果。这为公平分类中的后处理方法提供了更强的理由，其中（1）首先学习预测器，然后（2）调整其输出以消除偏差。我们展示了如何在这两个阶段的方法后处理规则可以非常有效地学习解决无约束优化问题。该算法可以应用于任何黑盒机器学习模型，如深度神经网络，随机森林和支持向量机。此外，它可以容纳许多公平性标准，以前已经提出的文献中，如均衡的赔率和统计奇偶校验。我们证明了该算法是贝叶斯一致的，并激励它，此外，通过一个不可能的结果，量化跨多个人口统计群体的准确性和公平性之间的权衡。最后，我们通过在Adult基准数据集上验证算法得出结论。
2020-05-21 cs.AI cs.LG stat.AP
Interpretable Classification via a Rule Network with Selective Logical Operators
George Mason University（乔治梅森大学）
本文提出了一种利用选择性逻辑运算符的规则网络(RNS)，通过自适应选择AND/OR操作提升分类性能，实验显示其在13个数据集上优于25种现有方法。
2026-04-02 cs.AI cs.LG
Inducing Generalized Multi-Label Rules with Learning Classifier Systems
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；University of Edinburgh（爱丁堡大学）
近年来，多标签分类吸引了大量的研究，其动机是现实生活中的应用，如文本分类和医疗诊断。虽然在这方面的研究很少，学习分类器系统自然非常适合多标签分类问题，其搜索空间通常涉及多个高度特定的小生境。这是我们目前工作背后的动机，它引入了一种通用的多标签规则格式-允许灵活的标签依赖建模，不需要明确的知识来搜索哪些相关性-并将其用作进一步适应通用里根式监督学习分类器系统框架的指南。上述规则格式和框架适应的集成导致了一种新的多标签分类算法，其行为通过一组适当定义的人工问题进行研究。该算法还在一组多标签数据集上进行了全面评估，并发现与其他最先进的多标签分类方法相比具有竞争力。
2015-12-25 cs.LG cs.NE
LearnAD: Learning Interpretable Rules for Brain Networks in Alzheimer's Disease Classification
Department of Computing（计算系）；Imperial College London（伦敦帝国学院）；School of Public Health（公共卫生学院）
LearnAD通过学习可解释的规则，实现了在阿尔茨海默病分类中识别脑网络的高可解释性方法。
2025-12-30 cs.AI cs.LG
Optimal Pattern Detection Tree for Symbolic Rule-Based Classification
Amazon（亚马逊）
本文提出最优模式检测树（OPDT），通过混合整数规划发现数据中的最优模式，结合领域知识约束提升模型透明度和解释性。
2026-05-14 cs.AI cs.LG math.OC
UNFIS: A Novel Neuro-Fuzzy Inference System with Unstructured Fuzzy Rules for Classification
Faculty of Computer Science and Engineering（计算机科学与工程学院）；Shahid Beheshti University（沙希德·贝赫什提大学）
本文提出UNFIS神经模糊推理系统，通过自适应模糊选择神经元为每条规则选择不同输入变量，突破传统FIS结构化规则限制，并结合GqLM学习方法，在分类任务中以更简约的非结构化规则实现更好或相当的泛化性能。
2022-10-28 cs.AI cs.LG
Learning Accurate and Interpretable Decision Rule Sets from Neural Networks
University of California San Diego（加州大学圣迭戈分校）
本文提出了一种新的范式，用于学习一组独立的逻辑规则的析取范式作为一个可解释的分类模型。我们认为学习一个可解释的决策规则集的问题是训练一个神经网络在一个特定的，但非常简单的两层架构。第一层中的每个神经元在训练后直接映射到可解释的“若-则”规则，第二层中的输出神经元直接映射到第一层规则的析取以形成决策规则集。我们在第一个规则层中对神经元的表示使我们能够在决策规则中对特征的正关联和负关联进行编码。可以利用最先进的神经网络训练方法来学习高度准确的分类模型。此外，我们提出了一种基于稀疏性的正则化方法，以平衡分类精度和简单性之间的派生规则。我们的实验结果表明，我们的方法可以产生更准确的决策规则集比其他国家的最先进的规则-学习算法具有更好的准确性和简单性的权衡。此外，与随机森林和全精度深度神经网络等不可解释的黑箱机器学习方法相比，我们的方法可以轻松找到具有可比预测性能的可解释决策规则集。
2021-03-12 cs.LG
