Computing the Collection of Good Models for Rule Lists
NTT Communications Co.（NTT通信公司）；Fujitsu Ltd.（富士通有限公司）；Hokkaido University（北海道大学）
自从Breiman在2001年的开创性论文中指出了从可解释人工智能的角度来看预测多重性的潜在危害以来，对所有好模型的集合进行全局分析，也被称为“罗生门集”，在过去几年中受到了广泛关注。由于寻找这样一组好的模型是一个很难的计算问题，到目前为止，只有少数算法的问题，其中大多数是近似或不完整的。为了克服这一困难，我们研究有效枚举的所有良好的模型的子类的可解释的模型，称为规则列表。基于Angelino等人在2017年提出的最先进的最佳规则列表学习器CORELS，我们提出了一种高效的枚举算法CorelsEnum，用于在给定数据集和最佳模型的容错性的情况下，使用输入大小的多项式空间精确计算所有良好模型的集合。通过使用COMPAS数据集进行累犯预测的实验，我们的算法CorelsEnum在大约1,000秒内成功枚举了长度最多为$\ell = 3$的数万个良好规则列表，而Hara和Ishihata在2018年提出的基于Lawler方法结合CORELS的最先进的顶级$K$规则列表学习器，直到超时6，才找到40个模型，000秒。对于全局分析，我们进行了表征罗生门集的实验，并观察到模型在预测多重性和模型公平性方面的巨大差异。
2022-04-24 cs.LG
On the Existence of Simpler Machine Learning Models
Duke University（杜克大学）
找到一个准确但复杂的模型几乎总是比找到一个准确但简单的模型更容易。寻找各种形式的最优、稀疏、精确的模型（整数系数线性模型、决策集、规则列表、决策树）通常是NP难的。我们常常不知道寻找一个更简单的模型是否值得，因此我们不去寻找一个。在这项工作中，我们提出了一个重要的实际问题：在明确搜索之前，准确而简单的模型是否可以被证明存在，或者可能存在？我们假设有一个重要的原因，即简单而准确的模型往往确实存在。这个假设是罗生门集合的大小通常很大，其中罗生门集合是来自函数类的几乎同样准确的模型的集合。如果罗生门集合很大，那么它包含许多精确的模型，也许其中至少有一个是我们想要的简单模型。在这项工作中，我们正式提出了罗生门比作为一个新的衡量简单的学习问题，取决于一个函数类和数据集。罗生门比率是一组精确模型的体积与假设空间的体积之比，它不同于统计学习理论的标准复杂性度量。通过研究罗生门比率获得的见解提供了一种简单的方法，可以在发现问题之前检查是否存在更简单的模型，即几种不同的机器学习方法是否在数据上实现了相似的性能。从这个意义上说，罗生门比率是一个强大的工具，可以用来理解为什么以及何时可能存在一个准确而简单的模型。如果，正如我们在这项工作中假设的那样，许多真实世界的数据集承认大罗生门集，其含义是巨大的：这意味着简单或可解释的模型通常可以用于高风险决策而不会失去准确性。
2022-05-12 cs.LG stat.ML
Old Rules in a New Game: Mapping Uncertainty Quantification to Quantum Machine Learning
Quantum Security Technologies（量子安全技术）；Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与集成安全研究所）
本文针对量子机器学习黑箱问题，将经典不确定性量化方法映射到量子领域，通过理论构建与实证评估证明在设计量子模型时引入不确定性意识的必要性。
2025-07-20 cs.LG quant-ph
Falling Trees: A Model Class for Interpretable Risk Prioritization
Duke University（杜克大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出倒下的树（falling trees）模型，在保持单调风险约束的同时允许树状分支，并通过GRAVITree算法学习，在临床和公开基准上优于或匹敌现有可解释模型，实现可解释性与表达能力的平衡。
2026-09-22 cs.LG
NonZero: Interaction-Guided Exploration for Multi-Agent Monte Carlo Tree Search
The George Washington University（乔治华盛顿大学）；Northeastern University（东北大学）
NonZero通过交互引导的提议规则，在低维非线性表示中进行代理引导选择，提升多智能体MCTS的可扩展性与探索效率。
2026-05-01 cs.LG
Visualizing Rule Sets: Exploration and Validation of a Design Space
New York University（纽约大学）
规则集通常用于机器学习（ML）中，作为在需要透明度和可理解性的设置中传达模型逻辑的一种方式。规则集通常以基于文本的逻辑语句（规则）列表的形式呈现。令人惊讶的是，到目前为止，在探索视觉替代方案来呈现规则方面的工作有限。在本文中，我们探讨了设计规则的替代表示的想法，专注于一些视觉因素，我们认为有一个积极的影响规则的可读性和理解。本文提出了一个初始的设计空间可视化规则集和用户研究探索其影响。结果表明，一些设计因素对读者处理规则的效率有很大影响，而对准确性的影响最小。这项工作可以帮助从业者在使用规则作为理解ML模型的通信策略时采用更有效的解决方案。
2021-03-04 cs.AI cs.HC cs.LG
Exploration of the generative capabilities of Boltzmann machines applied to social systems under the majority rule
Centro de Modelamiento Matemático (CMM)（数学建模中心）
研究玻尔兹曼机在多数规则下恢复系统的生成能力，通过训练不同配置的深度信念网络，让其根据固定可见单元生成样本并测量偏差，还用离散温度计证实重建处于临界状态，表明DBN能恢复有噪声下仍临界的样本。
2026-07-28 cs.CY cs.LG
Neural Theorem Provers Do Not Learn Rules Without Exploration
University of Southern California（南加州大学）；Google AI（谷歌人工智能）
神经符号处理旨在将逻辑学习方法的推广和神经网络的性能相结合。Rocktaschel等人（2017）的神经定理证明（NTP）模型学习概念的嵌入并执行逻辑统一。虽然NTP在准确预测事实方面很有前途和有效，但我们对它如何提取数据之间的真实关系知之甚少。为此，我们创建了具有注入关系的合成逻辑数据集，这些数据集可以实时生成，以测试包括NTP在内的基于神经的关系学习算法。我们表明，它很难恢复关系，但最简单的设置。批判性分析和诊断实验表明，优化算法由于其贪婪的赢家通吃的策略，在确定最丰富的结构（证明路径）追求从穷人的局部极小值。我们改变了NTP算法，以增加探索，这大大提高了性能。我们认为并证明，这是有见地的基准与地面真理关系的合成数据，评估模型和揭示算法问题。
2019-06-17 cs.LG stat.ML
Computationally Efficient Reinforcement Learning: Targeted Exploration leveraging Simple Rules
Empa（瑞士联邦材料科学与技术研究所）；EPFL（洛桑联邦理工学院）
提出修改连续actor-critic框架以利用专家简单规则避开次优区域，显著加速RL智能体收敛且无计算开销。
2023-09-12 cs.AI cs.LG
Visual Exploration of Machine Learning Model Behavior with Hierarchical Surrogate Rule Sets
New York University（纽约大学）；Capital One（第一资本）
模型解释的一个潜在解决方案是训练一个代理模型：一个更透明的模型，它近似于要解释的模型的行为。通常，由于分类规则或决策树的基于逻辑的表达的可理解性而使用分类规则或决策树。但是，决策树可能会生长得太深，规则集可能会变得太大，无法近似复杂的模型。与决策树上必须共享祖先节点（条件）的路径不同，规则更加灵活。然而，规则的非结构化视觉表示使得很难进行跨规则的推理。为了解决这些问题，我们提出了一个工作流程，其中包括新的算法和交互式解决方案。首先，我们提出了分层代理规则（HSR），一个算法，生成分层规则的基础上，用户定义的参数。我们还贡献了SuRE，一个可视化分析（VA）系统，集成了HSR和交互式代理规则可视化。特别是，我们提出了一种新的特征对齐树，以克服现有的规则可视化的缺点。我们评估算法的参数敏感性，时间性能，并与代理决策树比较，发现它的规模合理，在许多方面优于决策树。我们还评估了可视化和VA系统的可用性研究与24名志愿者和观察性研究与7个领域的专家。我们的调查表明，参与者可以使用特征对齐树来执行非常高的准确性，非平凡的任务。我们还讨论了许多有趣的观察，可以为未来的研究设计有效的基于规则的VA系统是有用的。
2022-01-19 cs.AI cs.HC cs.LG
Adaptive Data Debiasing through Bounded Exploration
Ohio State University（俄亥俄州立大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
用于训练算法决策规则的现有数据集中的偏见可能会引起伦理和经济问题，因为这会导致对不同群体的不同对待。我们提出了一种算法，通过自适应和有界探索在一个昂贵的和审查反馈的分类问题，顺序去偏置这样的数据集。在这种情况下，探索意味着决策者有时会在明智选择的程度上偏离其（当前）损失最小化规则，而是接受一些否则会被拒绝的个体，以减少统计数据偏差。我们提出的算法包括可用于在消除数据偏差的最终目标（这反过来又会导致更准确和公平的决策）与实现这一目标所带来的探索风险之间进行平衡的参数。我们分析表明，这样的探索可以帮助debias数据在某些分布。我们进一步研究如何公平的标准可以与我们的数据去偏置算法。我们说明了我们的算法使用合成和真实世界的数据集上的实验的性能。
2023-01-10 cs.CY cs.LG
Structural Credit Assignment with Coordinated Exploration
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究提出利用玻尔兹曼机或循环网络实现协调探索，以改进结构化信用分配，实验证明其训练速度优于独立探索和STE反向传播。
2023-07-25 cs.AI cs.LG
Thompson Exploration with Best Challenger Rule in Best Arm Identification
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Kyoto University（京都大学）
针对固定置信度最佳臂识别问题，提出结合Thompson sampling与best challenger rule的新策略，无需强制探索且计算高效，在多臂问题上实现近最优并有竞争力的样本复杂度。
2025-08-11 cs.LG stat.ML
TRACE-CASH: Trial-History-Conditioned Reinforcement Learning for Adaptive Configuration Exploration in Time-Series CASH
本研究针对时间序列CASH的复杂搜索问题，提出TRACE-CASH方法，通过分组演员-评论家等技术优化配置探索，在41个任务变体上的MASE、WQL等指标表现最优，具备竞争力。
2026-08-18 cs.LG
Logarithmic Regret of Exploration in Average Reward Markov Decision Processes
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
本文提出一种改进的规则替代Doubling Trick，使平均奖励马尔可夫决策过程中的探索遗憾降低至对数级别，提升算法性能。
2025-11-27 cs.LG stat.ML
Delightful Exploration
Google DeepMind（谷歌DeepMind）
本文提出Delight-gated探索方法，通过衡量潜在愉悦度来优化探索策略，在不同带宽中表现优于传统方法。
2026-05-13 cs.AI cs.LG math.OC
Generative Adversarial Exploration for Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
探索是训练最优强化学习（RL）策略的关键，其中的关键是区分状态访问是否是新的。大多数以前的工作集中在设计启发式规则或距离度量来检查状态是否新颖，而不考虑可以学习的这种鉴别过程。在本文中，我们提出了一种称为生成对抗探索（GAEX）的新方法，通过从生成对抗网络中引入内在奖励输出来鼓励RL中的探索，其中生成器提供了状态的假样本，帮助机器人识别那些不太频繁访问的状态。因此，鼓励代理人访问那些州，而代理人不太有信心判断为访问过。GAEX易于实现，训练效率高。在我们的实验中，我们将GAEX应用到DQN和DQN-GAEX算法取得了令人信服的性能具有挑战性的探索问题，包括游戏冒险，蒙特祖玛的复仇和超级马里奥兄弟，没有进一步微调复杂的学习算法。据我们所知，这是第一个工作，采用GAN在RL探索问题。
2022-01-27 cs.AI cs.LG
Efficient contextual partial monitoring with general function approximation
University of Arizona（亚利桑那大学）；POSTECH（浦项科技大学）
该研究针对带侧信息的有限随机部分监控博弈，基于E2D元算法设计高效框架，提出两种探索规则，在合成博弈与LLM路由任务上验证其性能优于现有方法。
2026-10-15 cs.LG stat.ML
Sharp Non-Asymptotic Analysis of the Penalized Challenger in $β$-EB-TCI for Bernoulli Bandits
Hanoi University of Science and Technology（河内理工大学）；Center for AI Research, VinUniversity（文大人工智能研究中心）
本文对伯努利臂的 β-EB-TCI 算法进行尖锐非渐近分析，证明其停止时间上界并给出期望样本复杂度，同时指出处理相等次优均值证明策略的局限。
2026-11-02 cs.LG stat.ML
RuleExplorer: A Scalable Matrix Visualization for Understanding Tree Ensemble Classifiers
本文提出RuleExplorer，通过异常偏置的层次化规则组织与矩阵可视化，在不牺牲全面性的前提下解释包含数万条规则的树集成分类器，兼顾常见规则与关键异常规则。
2024-12-31 cs.GR cs.LG
Provable Traffic Rule Compliance in Safe Reinforcement Learning on the Open Sea
Technical University of Munich（慕尼黑工业大学）；TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对公海自动驾驶船舶的交通规则合规问题，提出将时序逻辑规范、集合预测谓词与状态图结合并通过动作掩码限制RL智能体的方法，可保证船舶始终遵守COLREGS且无碰撞，目标到达率高于传统RL方法。
2024-05-16 cs.LG cs.SY eess.SY
Computer-Assisted Creation of Boolean Search Rules for Text Classification in the Legal Domain
Université de Montréal（蒙特利尔大学）；University of Pittsburgh（匹兹堡大学）；Hofstra University（霍夫斯特拉大学）
本研究开发了CASE交互式环境辅助构建布尔搜索规则形式的可解释文本分类器，在4个法律领域数据集上对比多种机器学习方法，探讨了规则可解释性与模型性能间的权衡。
2021-12-10 cs.AI cs.CL cs.IR
Exploration of the search space of Gaussian graphical models for paired data
University of Padova（帕多瓦大学）；CSIRO Agriculture and Food（联邦科学与工业研究组织农业与食品部）
针对配对数据的高斯图模型学习问题，提出孪生序构建分配格结构的模型空间，给出高效邻接计算规则以优化搜索效率，实现后向消去过程并通过仿真和脑fMRI数据验证有效性。
2024-04-15 cs.LG q-bio.NC stat.ME
