Expert System Based On Neural-Fuzzy Rules for Thyroid Diseases Diagnosis
Benha University（本哈大学）；Cairo University（开罗大学）；Scientific Research Group in Egypt (SRGE)（埃及科学研究组（SRGE））
甲状腺是一种内分泌腺，在血液中分泌激素，将其产物循环到身体的所有组织，在那里它们控制每个细胞的重要功能。正常水平的甲状腺激素有助于大脑，心脏，肠道，肌肉和生殖系统正常运作。甲状腺激素控制身体的新陈代谢。甲状腺功能异常通常与甲状腺激素产生过少（甲状腺功能减退）或甲状腺激素产生过多（甲状腺功能亢进）有关。因此，正确诊断这些疾病是非常重要的课题。在这项研究中，语言模糊限制语神经模糊分类器与选择功能（LHNFCSF）的甲状腺疾病的诊断。利用分类精度和k折交叉验证对该系统的性能评估进行了估计。结果表明，在训练和测试阶段，不进行特征选择的分类正确率分别为98.6047%和97.6744%，RMSE为0.02335。在应用特征选择算法后，LHNFCSF在训练阶段对所有聚类大小都达到了100%。然而，在测试阶段，LHNFCSF实现了88.3721%，使用两个聚类，90.6977%，使用三个聚类和97.6744%，使用四个聚类为每个类和12个模糊规则。所获得的分类精度是非常有前途的其他分类应用文献中的这个问题。
2014-03-03 cs.AI
Capturing the security expert knowledge in feature selection for web application attack detection
Facultad de Ingeniería, Universidad de la República（乌拉圭共和国大学工程学院）；Universidad Católica del Uruguay（乌拉圭天主教大学）
本文提出利用互信息值复制安全专家知识进行特征选择，结合监督学习与半监督One-Class SVM模型训练，有效提升了Web应用防火墙的攻击检测性能并降低了误报。
2024-07-26 cs.AI cs.CR
Perspectives on Incorporating Expert Feedback into Model Updates
Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
机器学习（ML）从业者越来越多地承担着开发与非技术专家的价值观和目标相一致的模型的任务。然而，对于从业者如何将领域专业知识转化为ML更新的考虑还不够。在本文中，我们考虑如何系统地捕捉从业者和专家之间的互动。我们设计了一个分类，以匹配专家的反馈类型与从业者的更新。从业者可以在观察或域级别接收来自专家的反馈，并将该反馈转换为对数据集、损失函数或参数空间的更新。我们回顾了ML和人机交互的现有工作，以描述这种反馈更新分类法，并强调对纳入非技术专家反馈的考虑不足。最后，我们提出了一系列开放性问题，这些问题是从我们提出的分类法和随后的调查中自然产生的。
2022-07-16 cs.LG
Incorporating Expert Prior Knowledge into Experimental Design via Posterior Sampling
National University of Singapore（新加坡国立大学）；Deakin University（迪肯大学）；University of Oxford（牛津大学）
科学实验通常由于复杂的实验准备和处理而昂贵。因此，试验设计涉及的任务是通过使用尽可能少的实验来找到最佳的实验输入，从而产生期望的输出。实验者往往可以获得关于全局最优解的位置的知识。然而，他们不知道如何利用这些知识来加速试验设计。在本文中，我们采用了试验设计的贝叶斯优化技术，因为贝叶斯优化已经建立了自己作为一个有效的工具，优化昂贵的黑箱功能。同样，如何将专家关于全局最优解的先验知识结合到贝叶斯优化过程中是未知的。为了解决这个问题，我们表示专家知识的全局最优通过放置一个先验分布，然后我们推导出其后验分布。通过对全局最优解的后验分布进行后验抽样，提出了一种有效的贝叶斯优化方法。我们从理论上分析了算法的收敛性，并讨论了引入专家先验知识的鲁棒性。我们通过优化合成函数和调整分类器的超参数以及合成短聚合物纤维的真实实验来评估我们的算法的效率。结果清楚地表明了我们所提出的方法的优点。
2020-02-26 cs.LG stat.ML
Incorporating Experts' Judgment into Machine Learning Models
Sungkyunkwan University（成均馆大学）；IBM Research – Almaden（IBM阿尔马登研究中心）
针对机器学习模型预测与专家判断冲突的问题，提出基于生成对抗网络判断数据代表性、动态加权融合专家判断的修正框架，在多场景实验中以极小准确率损失提升了与专家判断的契合度。
2023-04-29 cs.AI cs.LG
KINN: Incorporating Expert Knowledge in Neural Networks
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；TU Kaiserslautern（凯泽斯劳滕工业大学）；National University of Sciences and Technology (NUST)（国立科学技术大学）；National Center of Artificial Intelligence（国家人工智能中心）
人工神经网络的承诺，自动发现和提取有用的特征/模式，从数据，而不停留在领域的专业知识，虽然似乎非常有前途，但代价是高度依赖于大量的准确标记的数据，这往往是很难获得和制定，特别是在时间序列领域，如异常检测，自然灾害管理，预测性维护和医疗保健。由于这些网络完全依赖于数据，而忽略了一个非常重要的模态，即专家，因此它们无法从专家知识中获得任何好处，而专家知识在许多情况下是非常有用的。在本文中，我们试图弥合这些数据驱动和专家知识为基础的系统之间的差距，通过引入一种新的框架，将专家知识的网络（KINN）。将专家知识集成到网络中具有三个关键优点：（a）减少训练模型所需的数据量，（b）通过获得两个世界中最好的，提供所得分类器的性能的下限，以及（c）改进模型参数的收敛（模型在较少的时期内收敛）。虽然专家在解决不同的任务方面非常出色，但也有一些趋势和模式，通常只隐藏在数据中。因此，KINN采用了一种新的剩余知识合并方案，该方案可以自动确定专家所做预测的质量，并通过从数据中学习趋势/模式来进行相应的校正。具体而言，该方法试图使用一种模态中包含的信息来补充另一种模态所遗漏的信息。我们评估KINN在现实世界的交通流量预测问题。KINN在单独评估时显著取代了专家网络和基础网络（在这种情况下为LSTM）的性能，突出了其在任务中的优越性。
2019-02-15 cs.LG stat.ML
Incorporating Expert Guidance in Epidemic Forecasting
Georgia Institute of Technology（佐治亚理工学院）；University of Iowa（爱荷华大学）；Virginia Tech（弗吉尼亚理工学院）
近年来，预测流感样疾病（ILI）已经从一门艺术迅速发展成为一门科学，并采用了大量的数据驱动方法。虽然这些方法取得了一定的成功，但它们的适用性有限，因为它们无法将专家反馈和指导系统地纳入预测框架。我们提出了一种利用人工智能安全的Seldonian优化框架的新方法，并演示了它如何适应流行病预测。我们研究了两种类型的指导：平滑性和区域一致性的错误，在那里我们表明，通过其成功的结合，我们不仅能够限制不良行为发生的概率，而且还可以将测试数据的RMSE降低高达17%。
2020-12-24 cs.LG
Incorporating Relational Background Knowledge into Reinforcement Learning via Differentiable Inductive Logic Programming
Georgia Institute of Technology（佐治亚理工学院）
关系强化学习（RRL）可以提供各种理想的功能。最重要的是，它允许将专家知识融入学习中，因此与标准的深度强化学习相比，它可以实现更快的学习和更好的泛化。然而，大多数现有的RRL方法要么不能结合专家背景知识（例如，以显式谓词语言的形式）或者不能直接从诸如图像的非关系数据学习。在本文中，我们提出了一种新的深度RRL的基础上可微归纳逻辑程序设计（ILP），可以有效地学习关系信息的图像和目前的状态的环境作为一阶逻辑谓词。此外，它可以采用专家背景知识，并使用适当的谓词将其纳入学习问题。可区分的ILP允许用于在RRL中学习策略的整个框架的端到端优化。我们使用BoxWorld，GridWorld以及CLEVR数据集的关系推理等环境来展示这种新型RRL框架的有效性。
2020-03-23 cs.LG stat.ML
Decision Rule Elicitation for Domain Adaptation
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
人在回路机器学习被广泛用于人工智能（AI）中，以从专家那里获取数据点的标签，或者提供关于预测结果与目标有多接近的反馈。这简化了专家决策过程的所有细节。在这项工作中，我们允许专家额外产生决策规则描述他们的决策，规则预计是不完美的，但提供额外的信息。特别地，规则可以扩展到新的分布，并且因此能够显著地提高训练和测试分布不同的情况下的性能，例如在领域自适应中。我们将所提出的方法应用于终身学习和领域自适应问题，并讨论在人工智能的其他分支，如专家系统中的知识获取问题的应用。在模拟和真实用户的研究中，我们表明，决策规则的启发提高了领域自适应的算法，并有助于传播专家的知识的AI模型。
2021-02-23 cs.AI cs.LG
Incorporating Expert Knowledge into Bayesian Causal Discovery of Mixtures of Directed Acyclic Graphs
Aalto University（艾罗大学）；University of Melbourne（墨尔本大学）；Manchester University（曼彻斯特大学）；Ellis Institute（埃利斯研究所）
本文提出基于贝叶斯实验设计原则和变分混合结构学习方法，用于处理异质领域的因果发现问题，通过专家反馈构建信息图先验，提升异质合成数据的结构学习性能，并在乳腺癌数据库中捕捉复杂分布。
2026-04-29 cs.LG stat.ME
SLEEPER: interpretable Sleep staging via Prototypes from Expert Rules
Georgia Institute of Technology（佐治亚理工学院）；IQVIA（艾昆纬）；Massachusetts General Hospital（马萨诸塞州综合医院）
睡眠分期是诊断睡眠障碍的关键任务。这是繁琐和复杂的，因为它可能需要一个训练有素的专家几个小时来注释一个病人的多导睡眠图（PSG）从一个晚上。尽管深度学习模型在自动化睡眠分期方面表现出了最先进的性能，但定义其他必要条件的可解释性在很大程度上仍未得到探索。在这项研究中，我们提出了通过专家规则原型的睡眠分期（SLEEPER），它使用原型学习框架将深度学习模型与专家定义的规则相结合，以生成简单的可解释模型。特别地，SLEEPER利用睡眠评分规则和专家定义的特征来导出原型，所述原型是经由卷积神经网络的PSG数据片段的嵌入。最终的模型是简单的可解释模型，就像在这些表型上定义的浅决策树。我们使用从睡眠研究中收集的两个PSG数据集对SLEEPER进行了评估，并证明SLEEPER可以提供与人类专家和深度神经网络相当的准确睡眠阶段分类，ROC-AUC约为85%，Kappa约为0.7。
2019-10-14 cs.LG eess.SP stat.ML
Scoring Rules for Performative Binary Prediction
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
我们构建了一个专家预测模型，预测可以影响世界的状态。在这个模型下，我们通过理论和数值结果表明，适当的评分规则可以激励专家用他们的预测来操纵世界。我们还构造了一个简单的类的评分规则，避免了这个问题。
2022-07-05 cs.AI cs.LG
DegreEmbed: incorporating entity embedding into logic rule learning for knowledge graph reasoning
Harbin Institute of Technology at Weihai（哈尔滨工业大学（威海））
提出DegreEmbed模型，结合实体嵌入与逻辑规则挖掘，从节点度视角解决异构知识图谱的缺失链接预测问题，在真实数据集上优于现有方法且具高可解释性。
2023-06-26 cs.AI cs.LG
A Multi-Objective Anytime Rule Mining System to Ease Iterative Feedback from Domain Experts
从软件存储库中提取的数据被广泛用于软件工程研究，例如，预测源代码中的缺陷。在我们对这一领域的研究中，我们使用了来自开源项目和工业合作伙伴的数据，我们注意到传统的数据采掘方法在分类问题上的几个缺点：（1）领域专家的接受是至关重要的，领域专家可以提供有价值的输入，但很难使用这种反馈。(2)模型的评估不是计算AUC或准确性的简单问题。相反，有多个目标，其重要性各不相同，但其重要性不容易量化。此外，在我们的例子中，模型的性能不能在每个实例的级别上进行评估，因为它与集合覆盖问题共享一些方面。为了克服这些问题，我们采取了一个整体的方法，并开发了一个规则挖掘系统，简化了领域专家的迭代反馈，可以很容易地将特定领域的评估需求。该系统的核心部分是一个新的多目标的任何时候规则挖掘算法。该算法是基于GRASP-PR元启发式，但扩展了它与其他几种方法的想法。我们成功地将该系统应用于工业领域。在当前的文章中，我们专注于算法的描述和系统的概念。我们提供了一个实现的系统重用。
2018-12-23 cs.LG cs.SE stat.ML
Incorporating Expert Prior in Bayesian Optimisation via Space Warping
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
贝叶斯优化是一个著名的样本有效的方法，用于优化昂贵的黑盒函数。然而，当处理大的搜索空间时，该算法在达到函数的最优值之前会经过几个低函数值区域。由于函数评估在金钱和时间方面都是昂贵的，因此可能希望缓解这个问题。平息这种冷启动阶段的一种方法是使用可以加速优化的先验知识。在其标准形式中，贝叶斯优化假设搜索空间中的任何点是最优的可能性是相等的。因此，任何可以提供关于函数的最优性的信息的先验知识都将提高优化性能。在本文中，我们表示的先验知识的函数最优通过一个先验分布。然后，先验分布被用来扭曲的搜索空间在这样一种方式，空间得到扩大周围的高概率区域的功能最优和收缩周围的低概率区域的最优。我们通过重新定义核矩阵，将此先验直接纳入函数模型（高斯过程），这使得该方法可以与任何采集函数一起工作，即采集不可知方法。我们通过优化的几个基准函数和超参数调整的两个算法：支持向量机（SVM）和随机森林，我们的方法优于标准贝叶斯优化方法。
2020-03-27 cs.LG stat.ML
Unsupervised Expressive Rules Provide Explainability and Assist Human Experts Grasping New Domains
IBM Research（IBM研究院）
接近新数据可能是相当令人生畏的;你不知道你感兴趣的类别是如何在其中实现的，通常，手头没有标记的数据，领域自适应方法的性能不令人满意。为了帮助领域专家在他们的第一步进入一个新的任务，在一个新的语料库，我们提出了一个无监督的方法来揭示复杂的规则，聚类未开发的语料库的突出类别（或方面）。这些规则是人类可读的，因此提供了一个重要的成分，最近变得短缺-可解释性。每一条规则都解释了它聚集在一起的所有文本的共性。我们提出了一个广泛的评估，这些规则的有用性，在确定目标类别，以及用户研究，评估其可解释性。
2020-10-19 cs.CL cs.HC cs.LG
FI-CBL: A Probabilistic Method for Concept-Based Learning with Expert Rules
Higher School of Artificial Intelligence Technologies（高等人工智能技术学院）；Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
FI-CBL通过图像分块、自编码嵌入和聚类，结合频率学派推断与专家逻辑规则，在少样本场景下实现透明且优于概念瓶颈模型的概念学习。
2024-06-28 cs.LG stat.ML
Capturing and incorporating expert knowledge into machine learning models for quality prediction in manufacturing
Fraunhofer Institute for Machine Tools and Forming Technology (IWU)（弗劳恩霍夫机床与成型技术研究所（IWU））；Fraunhofer Institute for Industrial Mathematics (ITWM)（弗劳恩霍夫工业数学研究所（ITWM））；Institute of Mechatronic Engineering Technische Universität Dresden（德累斯顿工业大学机电工程研究所）
数字化程度的提高使得机器学习方法能够用于分析和优化制造流程。机器学习的一个主要应用是质量预测模型的构建，除了别的以外，质量预测模型可以用于文档目的、作为过程操作员的辅助系统或用于自适应过程控制。这种机器学习模型的质量通常强烈依赖于用于训练的数据的数量和质量。在制造业中，在开始生产之前可用数据集的大小通常是有限的。与数据相反，专家知识通常在制造业中可用。因此，本研究介绍了一种通用的方法来建立质量预测模型与机器学习方法在小数据集上整合形状的专家知识，即先验知识的形状的输入输出关系的学习。所提出的方法被应用到刷涂过程中的$125$数据点预测的表面粗糙度作为一个函数的五个过程变量。相对于传统的小数据集的机器学习方法，所提出的方法产生的预测模型，严格遵守所涉及的过程专家指定的所有专家知识。特别是，过程专家直接参与模型的培训，导致非常清晰的解释，并推而广之，以高度接受的模型。所提出的方法的另一个优点是，与大多数传统的机器学习方法相比，它不涉及耗时且通常启发式的超参数调整或模型选择步骤。
2022-02-04 cs.LG
A Hybrid AI Framework for Academic Advising: Integrating Ensemble-Based Grade Prediction and a Rule-Based Expert System
University of Birjand（比尔詹德大学）
本研究提出一个混合AI框架，结合集成成绩预测与规则专家系统，在比尔詹德大学数据集上实现RMSE 2.35，提供实时学业建议。
2026-09-23 cs.AI cs.LG
MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model
Goethe University Frankfurt（法兰克福大学）；Siemens AG（西门子公司）；German Cancer Research Center (DKFZ)（德国癌症研究中心）
提出MoRE-LLM，结合数据驱动黑盒模型与LLM提取的知识，通过规则专家混合实现领域知识对齐的透明预测，测试时无需LLM，在表格数据集上验证了性能与可解释性。
2025-03-26 cs.LG
Forecasting electricity consumption by aggregating specialized experts
Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；EDF R&D（法国电力集团研发部）；HEC Paris（巴黎高等商学院）
我们考虑设置的顺序预测的任意序列的基础上，专门的专家。我们首先回顾了相关文献，并提出了两个理论贡献：Freund等人（1997）的专家聚集规则的一般分析和Herbster和Warrant（1998）在此设置中的固定份额规则的适应。然后，我们将这些规则应用于连续的短期（提前一天）预测的电力消耗量，这样做，我们考虑两个数据集，一个Escherakian的和法国的，分别与每小时和半小时的预测。我们遵循一个一般的方法来执行所述的实证研究，并详细介绍了学习参数的调整问题。引入的聚合规则表明，在手头的数据集的准确性提高，改进在于减少均方误差，但也在一个更强大的行为相对于大的偶然错误。
2012-07-09 cs.LG stat.AP stat.ML
A Generative Bayesian Model for Aggregating Experts' Probabilities
Stanford University（斯坦福大学）
为了改进预测，决策者通常将各种来源给出的概率结合起来，例如人类专家和机器学习分类器。当几乎没有训练数据可用时，可以通过合并关于被预测的事件和关于专家的显著属性的先验知识来改进聚合。为此，我们开发了一个生成贝叶斯聚集模型的概率分类。该模型包括一个事件特定的先验，个别专家的偏见，校准，准确性的措施，和专家之间的依赖性的措施。而不是需要绝对的措施，我们表明，聚合可以表示在专家之间的相对准确性。该模型的结果在一个加权对数意见池（LogOps），满足一致性标准，如外部贝叶斯属性。我们推导出独立的和可交换的专家的解析解。实证检验表明，该模型的使用，比较其准确性与其他聚合方法。
2012-07-11 cs.LG stat.ML
Incorporating Interpretable Output Constraints in Bayesian Neural Networks
Harvard University（哈佛大学）；ETH Zürich（苏黎世联邦理工学院）
部署监督模型的领域通常具有特定于任务的约束，例如关于地面真值函数的先验专家知识，或安全性和公平性等必要条件。我们引入了一种新的概率框架推理与这样的约束，并制定了一个先验，使我们能够有效地将它们纳入贝叶斯神经网络（BNN），包括一个变量，可以摊销的任务。由此产生的输出约束BNN（OC-BNN）是完全一致的贝叶斯框架的不确定性量化，并服从黑盒推理。与无法解释的参数空间中的典型BNN推理不同，OC-BNN拓宽了可以合并的函数知识的范围，特别是对于没有机器学习专业知识的模型用户。我们证明了OC-BNN在现实世界数据集上的有效性，这些数据集跨越了医疗保健、刑事司法和信用评分等多个领域。
2021-01-06 cs.LG stat.ML
An Interpretable Power System Transient Stability Assessment Method with Expert Guiding Neural-Regression-Tree
针对深度学习暂态稳定评估可解释性不足的问题，提出TSA-ENRT，用融合电力系统专家知识的非线性回归树解释神经网络概率预测，并通过平均决策长度正则化优化准确性与可解释性权衡。
2024-04-03 cs.LG cs.SY eess.SY
CheXbert: Combining Automatic Labelers and Expert Annotations for Accurate Radiology Report Labeling Using BERT
Stanford University（斯坦福大学）
从放射学文本报告中提取标签使得能够对医学成像模型进行大规模训练。现有的报告标记方法通常依赖于基于医学领域知识的复杂特征工程或专家的手动注释。在这项工作中，我们介绍了一种基于BERT的方法，利用现有的基于规则的系统的规模和质量的专家注释的医学图像报告标记。我们展示了一个生物医学预训练的BERT模型的优越性能，该模型首先在基于规则的标签的注释上进行训练，然后在一小部分专家注释上进行微调，并使用自动回译进行增强。我们发现，我们的最终模型CheXbert能够在统计学显著性上优于以前最好的基于规则的标记器，为最大的胸部X射线数据集之一的报告标记设置了新的SOTA。
2020-10-18 cs.CL cs.IR cs.LG
Determining Sentencing Recommendations and Patentability Using a Machine Learning Trained Expert System
University of Mount Union（芒特联合大学）；University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）；North Dakota State University（北达科他州立大学）
本文介绍了两项研究，使用机器学习专家系统（MLES）。其中一个重点是向美国联邦法官提供咨询意见的制度，以便根据联邦判刑准则和罪犯的特点，作出一致的联邦刑事判刑。另一项研究旨在开发一个系统，可以前瞻性地帮助美国专利商标局自动化他们的专利性评估过程。这两项研究都使用机器学习训练的规则-事实专家系统网络来接受用于训练和呈现的输入变量，并输出表示系统推荐的缩放变量（例如，（一）专利申请的期限（专利评估）。本文介绍并比较了这些项目已经开发的规则-事实网络。它解释了用于两个网络的结构的决策过程以及所需和执行的数据预处理。通过对两种系统的比较，讨论了如何将不同的方法应用于MLES系统。
2021-08-05 cs.AI cs.LG
Automating the Design and Development of Gradient Descent Trained Expert System Networks
North Dakota State University（北达科他州立大学）
以前的工作介绍了梯度下降训练的专家系统，概念上结合了神经网络的学习能力与专家系统的可理解性和可防御的逻辑。该系统被证明能够从数据中学习模式，并在与神经网络系统报告的水平相媲美的水平上进行决策。然而，这种方法的主要局限性是需要手动开发规则-事实网络（然后使用反向传播进行训练）。本文提出了一种技术，克服这一重大限制，相比神经网络。具体来说，本文提出使用比应用程序更大和更密集的规则-事实网络，这些网络经过训练，修剪，手动审查，然后重新训练以供使用。多种类型的网络在多种操作条件下进行评估，并提出和评估这些结果。基于这些单独的实验条件评估，所提出的技术进行评估。所提供的数据表明，出错率低至3.9%（平均值，1.2%的中位数），可以获得，证明了这种技术的许多应用的有效性。
2022-07-04 cs.AI cs.LG
Deriving Hematological Disease Classes Using Fuzzy Logic and Expert Knowledge: A Comprehensive Machine Learning Approach with CBC Parameters
University of Salford（索尔福德大学）
本研究针对传统二元医学诊断难以捕捉疾病细微差异的问题，结合医师专家知识构建模糊逻辑规则，与随机森林分类器结合后利用CBC参数预测血液疾病，在医院数据集上取得高准确率，推动了血液诊断技术发展。
2024-06-18 cs.AI cs.LG
A Self-Constructing Multi-Expert Fuzzy System for High-dimensional Data Classification
University of Technology Sydney（悉尼科技大学）；University of South Australia（南澳大学）
本文提出自构造多专家模糊系统SOME-FS，通过混合结构学习和多专家高级学习解决高维数据分类中的梯度消失、规则过多及先验知识缺乏问题，提升稳定性与预测性能，并能挖掘核心规则。
2024-10-17 cs.LG
Rule-based Evolutionary Bayesian Learning
The Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（帝国理工学院）；Newcastle University（纽卡斯尔大学）
在我们以前的工作中，我们介绍了基于规则的贝叶斯回归，这是一种利用两个概念的方法：（i）贝叶斯推断，用于一般框架和不确定性量化;（ii）基于规则的系统，用于将专家知识和直觉结合起来。由此产生的方法创建了一个惩罚相当于一个共同的贝叶斯先验，但它也包括信息，通常不会在一个标准的贝叶斯上下文中。在这项工作中，我们扩展了上述方法与语法进化，符号遗传编程技术，我们利用自动化的规则的推导。我们的动机是，语法进化可以潜在地检测模式的数据与有价值的信息，相当于专家知识。我们说明了使用基于规则的进化贝叶斯学习技术，将其应用到合成以及真实的数据，并检查点预测和相关的不确定性方面的结果。
2022-02-28 cs.LG cs.NE stat.ML
IDPS Signature Classification with a Reject Option and the Incorporation of Expert Knowledge
Nippon Telegraph and Telephone（日本电信电话公司）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
随着入侵检测和防御系统（IDS）重要性的增加，管理恶意通信模式文件生成的签名产生了巨大的成本。网络安全专家需要根据IDPS的重要性对签名进行分类。我们提出并评估了一个带有拒绝选项（RO）的机器学习签名分类模型，以降低建立IDPS的成本。为了训练所提出的模型，它是必不可少的设计特征，是有效的签名分类。专家用预定义的“若-则”规则对签名进行分类。“若-则”规则根据签名中元素的关键字匹配返回低、中、高或未知重要性的标签。因此，我们首先设计两种类型的特征，符号特征（SF）和关键字特征（KF），用于“若-则”规则的关键字匹配。接下来，我们设计Web信息和消息功能（WMF）来捕获不匹配“若-则”规则的签名的属性。提取的WMF作为词频-逆文档频率（TF-IDF）特征的消息文本中的签名。这些特征是通过从签名中描述的参考外部攻击识别系统中进行网络抓取而获得的。由于故障需要尽量减少在分类的IDPS签名，在医疗领域，我们考虑在我们提出的模型中引入RO。在实验中评估所提出的分类模型的有效性与两个真实的数据集组成的签名由专家标记：一个数据集，可以与“若-则”规则和数据集的元素，不匹配的“若-则”规则进行分类。在实验中，所提出的模型进行了评估。在这两种情况下，SF和WMF组合的性能优于SF和KF组合。此外，我们还进行了特征分析。
2022-07-19 cs.CR cs.LG
Towards Model-informed Precision Dosing with Expert-in-the-loop Machine Learning
National Sun Yat-sen University（中山大学）；Kaohsiung Medical University Hospital（高雄医科大学医院）
机器学习（ML）及其应用一直在改变我们的生活，但它也带来了与公平、负责任、透明和道德人工智能发展相关的问题。由于机器学习模型还不能完全理解，很明显，我们仍然需要人类参与算法决策过程。在本文中，我们考虑了一个ML框架，该框架可以通过将人类专家纳入模型学习循环来加速模型学习并提高其可解释性。我们提出了一种新的人在回路ML框架，旨在处理学习问题，数据注释的成本很高，缺乏适当的数据来建模目标任务和输入特征之间的关联。通过应用于精确给药，我们的实验结果表明，该方法可以从数据中学习可解释的规则，并可能通过用规则表示编辑代替数据注释来降低专家的工作量。该方法还可以通过将专家的反馈引入到迭代模型学习过程中来帮助消除算法偏差。
2021-06-29 cs.LG stat.AP stat.ML
Fake News and Phishing Detection Using a Machine Learning Trained Expert System
University of Alabama（阿拉巴马大学）；Dallas College – North Lake（达拉斯学院北湖分校）；North Dakota State University（北达科他州立大学）
专家系统已被用于使计算机能够作出建议和决定。本文介绍了使用机器学习训练的专家系统（MLES）的钓鱼网站检测和假新闻检测。这两个主题有一个相似的目标：设计一个规则-事实网络，允许计算机像每个领域的领域专家一样做出可解释的决策。钓鱼网站检测研究使用MLES通过分析网站属性（如URL长度和过期时间）来检测潜在的钓鱼网站。假新闻检测研究使用MLES规则-事实网络来衡量新闻故事的真实性，这些真实性是基于情感，说话者的政治派别地位和工作等因素。这两项研究使用不同的MLES网络实现，并在此进行比较。假新闻研究使用了更线性的设计，而网络钓鱼项目使用了更复杂的连接结构。这两个网络的输入都是基于共同可用的数据集。
2021-08-04 cs.AI cs.CL cs.CR
Expert Q-learning: Deep Reinforcement Learning with Coarse State Values from Offline Expert Examples
University of Oslo（奥斯陆大学）；Oslo Metropolitan University（奥斯陆都市大学）；Norwegian University of Science and Technology（挪威科技大学）；Oslo University Hospital（奥斯陆大学医院）；Centre for Artificial Intelligence Research, University of Agder（阿格德尔大学人工智能研究中心）
本文提出专家Q学习算法，通过离线专家粗粒度状态值分解Q值，融入半监督学习，在奥赛罗游戏中相比基线Q学习更稳健且抗过估计偏差。
2024-06-25 cs.AI cs.LG
Sample-Efficient Expert Query Control in Active Imitation Learning via Conformal Prediction
Department of Computer Science, University of Southern California（计算机科学系，南加州大学）；Department of Information Technology and Electrical Engineering, ETH Zurich（信息科技与电气工程系，苏黎世联邦理工学院）
CRSAIL通过置信预测实现高效的专家查询控制，在主动模仿学习中减少专家查询次数，提升机器人任务的训练效率。
2025-11-29 cs.AI cs.LG cs.RO
Retrosynthetic reaction prediction using neural sequence-to-sequence models
Stanford University（斯坦福大学）
我们描述了一个完全数据驱动的模型，该模型学习执行逆合成反应预测任务，该任务被视为序列到序列映射问题。端到端训练模型具有由两个递归神经网络组成的编码器-解码器架构，该架构先前在解决其他序列到序列预测任务（如机器翻译）方面取得了巨大成功。该模型基于来自美国专利文献的50，000个实验反应示例进行训练，这些示例涵盖了药物化学家常用的10种广泛的反应类型。我们发现，我们的模型执行与基于规则的专家系统基线模型，并克服了某些限制与基于规则的专家系统和任何机器学习方法，包含一个基于规则的专家系统组件。我们的模型提供了一个重要的第一步，解决具有挑战性的问题，计算逆合成分析。
2017-06-06 cs.LG q-bio.QM stat.ML
Extending Signature-based Intrusion Detection Systems WithBayesian Abductive Reasoning
UMBC（马里兰大学巴尔的摩县分校）
随着新的恶意软件不断发布，不断演变的网络安全威胁是systemadministry和安全专家面临的持续挑战。攻击者可能会在商业产品中寻找漏洞，或者执行复杂的侦察活动来了解目标网络，并收集防火墙和入侵检测/防御系统（基于网络或主机）等安全产品的信息。许多新的攻击往往是对现有攻击的修改。在这种情况下，基于规则的系统无法检测到攻击，即使识别新攻击和现有攻击的规则之间的条件/属性存在微小差异。为了检测这些差异，IDS必须能够隔离为真的条件子集，并预测必须观察的可能条件（与原始条件不同）。在本文中，我们提出了一种概率溯因推理方法，该方法增强了现有的基于规则的IDS（IDS [29]），通过（a）预测可能发生的规则条件（基于现有规则）和（b）在提供种子规则（即起始规则）时能够生成新的规则，以减少专家不断更新它们的负担，来检测这些进化的攻击。我们通过从MACDC 2012规则集生成新规则并在MACDC 2012数据集上进行测试来证明该方法的有效性[6]。
2019-03-28 cs.AI cs.CR cs.LG
Expert-Guided Class-Conditional Goodness-of-Fit Scores for Interpretable Classification with Informative Missingness
Department of Statistics and Operations Research, School of Mathematical Sciences, Tel Aviv University（统计与运筹学系，数学科学学院，特拉维夫大学）；Israel NDC, Soreq Nuclear Research Center（以色列NDC，Soreq核研究中心）
本文提出一种专家引导的类条件模型，用于构建可解释的良好适应度特征，应用于地震监测，通过减少专家分析工作量提升透明度。
2026-10-28 cs.LG stat.AP stat.ML
Improving VTE Identification through Adaptive NLP Model Selection and Clinical Expert Rule-based Classifier from Radiology Reports
Frost Institute for Data Science & Computing（弗罗斯特数据科学与计算研究所）；University of Miami（迈阿密大学）
本研究提出结合深度学习、数据增强、自适应预训练 NLP 模型选择及临床专家规则分类器的方法，从放射学报告中识别 VTE，在预测 DVT 和 PE 上分别达到 97% 和 98.3% 的准确率。
2023-10-20 cs.CL cs.IR cs.LG
Programming Every Example: Lifting Pre-training Data Quality Like Experts at Scale
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Sea AI Lab（Sea AI实验室）；Generative AI Research Lab (GAIR)（生成式人工智能研究实验室（GAIR））
针对传统预训练数据规则缺乏灵活性且人工定制不切实际的问题，提出ProX框架将数据精炼视为编程任务，通过小型模型为每个示例生成细粒度操作实现大规模精炼，提升模型下游表现超2%，特定领域预训练效果显著且节省FLOPs。
2025-02-14 cs.AI cs.CL cs.LG
Rule Based Learning with Dynamic (Graph) Neural Networks
University of Bonn（波恩大学）
本文提出基于规则的动态神经网络层，通过从知识生成规则函数来动态组织可学习参数，并构建RuleGNNs，实验证明其性能可比肩最先进图分类器，且能有效集成专家知识。
2024-06-14 cs.LG
Learning To Help: Training Models to Assist Legacy Devices
Rutgers, The State University of New Jersey（罗格斯大学（新泽西州立大学））
针对遗留设备计算能力受限问题，本文将其置于带弃权学习框架中，形式化了为固定客户端训练专家的逆向问题，推导出贝叶斯最优规则与一致替代损失函数，实验证明该方法优于基于置信度的拒绝规则。
2024-09-24 cs.LG
(Machine) Learning to Improve the Empirical Performance of Discrete Algorithms
UC Davis Computer Science（加州大学戴维斯分校计算机科学）；UC Davis Mathematics（加州大学戴维斯分校数学）
本文讨论了一个数据驱动的，基于算法的框架，使算法决策或建议，而无需专家知识。我们提高了两个算法的案例研究的性能：选择一个枢纽规则的单纯形方法和选择的所有对最短路径算法。我们训练机器学习方法，以在没有人类专家意见的情况下为给定数据选择最佳算法。我们使用两种类型的技术，神经网络和提升决策树。基于我们的实验，我们得出结论：1）我们的选择框架推荐了各种枢轴规则，这些规则与仅使用固定的默认枢轴规则相比，可以提高整体性能。多年来，专家们将最陡边枢轴规则确定为最受欢迎的枢轴规则。我们的数据分析证实，最陡边的迭代次数不超过4%，而最优选择证实了人类专家的知识，但这次的知识是使用机器学习获得的。在这里，我们的推荐系统在使用梯度提升树时是最好的。2)对于全对最短路径问题，训练的模型有很大的改进，我们的选择平均距离最优选择0.07%。结论似乎不受我们使用的机器学习方法的影响。我们试图对这两个算法问题进行并行分析，但很明显，它们存在内在差异。例如，在所有对最短路径问题中，图密度是一个合理的预测因子，但在单纯形方法中没有类似的单个参数用于决策。
2021-09-29 cs.LG math.CO math.OC
