Controlling Model Complexity in Probabilistic Model-Based Dynamic Optimization of Neural Network Structures
Yokohama National University(横滨国立大学);SkillUp AI Co., Ltd.(SkillUp AI株式会社)
在单个训练循环中同时优化神经网络结构和连接权值的方法可以减少神经结构搜索的巨大计算成本。研究了基于概率模型的动态神经网络结构优化方法,该方法考虑了网络结构参数的概率分布,并基于梯度法同时优化了网络的分布参数和连接权值。由于现有算法只搜索最小化训练损失的结构,因此该方法可能会发现过于复杂的结构。在本文中,我们提出了一个惩罚项的引入,以控制模型的复杂性得到的结构。我们制定了一个惩罚项使用的重量或单位的数量,并推导出其分析自然梯度。该方法基于随机梯度下降算法,使目标函数最小化并注入惩罚项。我们将所提出的方法应用于全连接神经网络的单元选择和卷积神经网络的连接选择。实验结果表明,该方法可以在保持性能的同时控制模型复杂度。
2019-07-15 cs.LG cs.NE stat.ML
Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum
Weizmann Institute of Science(魏茨曼科学研究所);Meta AI
针对宽神经网络学习偏置影响梯度下降收敛与可达函数的问题,提出利用MSKs近似核与预条件梯度下降方法改变GD轨迹,实现多项式或指数级训练加速且不改变最终解。
2024-03-20 cs.LG
Controlling Computation versus Quality for Neural Sequence Models
Google Research(谷歌研究院)
大多数神经网络对每个例子都使用相同的计算量,而与输入的固有复杂性无关。此外,使计算量适应示例的方法集中于每个示例找到固定的推理时间计算图,忽略任何外部计算预算或变化的推理时间限制。在这项工作中,我们利用条件计算,使神经序列模型(Transformer)更有效和计算感知推理。我们首先修改了Transformer架构,使每组操作都可以根据学习的控制网络的输出有条件地执行。然后,我们在多任务设置中训练该模型,其中每个任务对应于特定的计算预算。这允许我们训练单个模型,该模型可以被控制以在计算质量权衡曲线的不同点上操作,这取决于推断时的可用计算预算。我们在两个任务上评估我们的方法:(i)WMT英法翻译和(ii)无监督表示学习(BERT)。我们的实验表明,所提出的条件计算Transformer(CCT)是有竞争力的香草Transformers时,允许利用其全部计算预算,同时提高显着的计算等效基线时,较小的计算预算。
2020-04-16 cs.CL cs.LG stat.ML
Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks
NVIDIA Research(英伟达研究院)
我们考虑的问题,控制一个部分观察到的动态过程的图上的有限数量的干预。在安排病毒测试以遏制流行病;有针对性的营销以推广产品;手动检查帖子以检测社交网络上传播的假新闻等情况下,这个问题自然会出现。我们制定这个设置作为一个时序图过程中的顺序决策问题。针对时间图上的指数状态空间、组合动作空间和部分可观测性,设计了一种新的控制方案。我们成功地将我们的方法应用于两个流行的问题,属于我们的框架:优先考虑哪些节点应该进行测试,以遏制流行病的传播,和图上的影响力最大化。
2021-07-09 cs.LG cs.SI
Controlling the privacy loss with the input feature maps of the layers in convolutional neural networks
Samsung Electronics(三星电子)
我们提出了一种方法来净化输入特征映射(IFM)的隐私,这些IFM被馈送到CNN(卷积神经网络)的层。该方法引入了使使用CNN的应用能够控制隐私损失的净化程度,该隐私损失表示为原始IFM和净化后的IFM的概率准确度的比率。对于IFM的净化,设计了基于采样保持的近似方案以满足特定于应用的净化程度。该方案通过用最接近采样窗口均值的非零样本替换窗口中的所有样本来逼近IFM。它还通过将多维IFM张量展开为待近似的一维流来消除对CNN配置的依赖性。
2018-12-05 cs.CR cs.CV cs.LG
Sparseout: Controlling Sparsity in Deep Networks
University of Saskatchewan(萨斯喀彻温大学)
Dropout通常用于帮助减少深度神经网络中的过拟合。稀疏性是神经网络的一个潜在的重要属性,但并不被基于丢弃的正则化显式控制。在这项工作中,我们提出了Sparseout一个简单而有效的变体Dropout,可用于控制神经网络中激活的稀疏性。我们从理论上证明了Sparseout等价于广义线性模型特征的$L_q$惩罚,而Dropout是Sparseout在神经网络中的一个特例.我们的经验表明,Sparseout是计算成本低,能够控制所需的稀疏激活水平。我们在图像分类和语言建模任务上评估了Sparseout,以了解稀疏性对这些任务的影响。我们发现,稀疏的激活是有利的语言建模性能,而图像分类受益于密集的激活。Sparseout提供了一种在最先进的深度学习模型中研究稀疏性的方法。Sparseout的源代码可以在\url{https://github.com/najeebkhan/sparseout}上找到。
2019-04-17 cs.LG cs.NE stat.ML
Controlling Information Capacity of Binary Neural Network
Russian Research Center Huawei Technologies, Russia(华为技术有限公司俄罗斯研究中心);Department of Computer Science ETH Zurich, Switzerland(苏黎世联邦理工学院计算机科学系)
尽管深度学习技术越来越受欢迎,但高内存要求和功耗本质上限制了其在移动和物联网领域的应用。虽然二进制卷积网络可以缓解这些问题,但权重的有限位宽通常会导致预测精度的显着下降。在本文中,我们提出了一种训练二进制网络的方法,通过将基于香农熵的惩罚应用于卷积滤波器,在整个训练过程中保持其信息容量的稳定预定义水平。在SVHN、CIFAR和ImageNet数据集上进行的实验结果表明,该方法可以显著提高二进制网络的准确性。
2020-08-04 cs.CV cs.LG cs.NE
Knockoffs-based False Discovery Rate Control and Simplification for Deep Neural Networks
bnbu.edu.cn(北京理工大学)
本文基于knockoff方法和正则化神经网络,提出了三种在控制错误发现率条件下的变量筛选方法(单层过滤、多层过滤、变量权重聚合过滤),以简化深度神经网络并降低计算复杂度。
2026-06-18 cs.LG stat.ML
Controlling Neural Collapse Enhances Out-of-Distribution Detection and Transfer Learning
Rochester Institute of Technology(罗切斯特技术学院);University of Rochester(罗切斯特大学)
本文揭示了神经坍缩程度与OOD检测和泛化之间的反向权衡关系,提出通过熵正则化和固定ETF投影器在不同网络层控制神经坍缩,从而同时提升OOD检测与泛化性能。
2025-09-22 cs.LG
Understanding and Controlling Memory in Recurrent Neural Networks
Technion, Israel Institute of Technology(以色列理工学院);Weizmann Institute of Science(魏茨曼科学研究所)
为了有效地进行顺序数据处理,需要循环神经网络(RNN)通过创建记忆来跟踪过去的事件。虽然记忆和网络的隐藏状态动态之间的关系是在过去十年中建立的,但以前在这个方向上的工作主要是描述性的,主要集中在定位感兴趣的动态对象上。特别是,目前还不清楚动态可观测量如何影响性能,它们如何形成以及它们是否可以被操纵。在这里,我们利用不同的训练协议、数据集和架构来获得一系列网络,这些网络解决了具有类似性能的延迟分类任务,同时它们外推更长延迟的能力也有很大差异。我们分析了网络的隐藏状态的动态,并揭示了这种差异的原因。每个记忆被发现与一个几乎稳定的动态状态,我们称之为“慢点”。慢点速度预测所有测试数据集、协议和架构的外推性能。此外,通过跟踪慢点的形成,我们能够了解训练方案之间差异的来源。最后,我们提出了一种新的正则化技术,是基于隐藏状态的速度和内存寿命之间的关系。我们的技术操纵这些速度,从而导致随着时间的推移记忆鲁棒性的显着改善,并可能为一类新的正则化方法铺平道路。
2019-09-16 cs.LG stat.ML
ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets
Michigan Technological University(密歇根理工大学);Symbiosis Centre for Medical Image Analysis(共生医学图像分析中心);Symbiosis Institute of Technology(共生技术学院)
这项工作引入了一种新的激活单元,可以有效地用于深度神经网络(DNN),并且比传统的整流线性单元(ReLU)表现得更好。开发的函数是专门的理查德曲线的两个参数版本,我们称之为自适应理查德曲线加权激活(ARiA)。该函数是非单调的,类似于新引入的Swish,但是允许通过改变超参数来精确控制其非单调凸性。我们首先展示了两个参数ARiA的数学意义,然后将其应用于MNIST、CIFAR-10和CIFAR-100等基准问题,并将其与ReLU和Swish单元进行了性能比较。我们的研究结果表明,ARiA在所有这些数据集上都具有显著的优越性能,使其成为DNN中ReLU和其他激活的潜在替代品。
2018-05-22 cs.LG cs.NE
Design Rule Violation Hotspot Prediction Based on Neural Network Ensembles
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
设计规则检查是集成电路物理设计中确保可制造性的关键步骤。然而,这只能在耗时的详细布线过程之后才能完成,这大大增加了设计迭代的时间。随着先进的技术节点,全局布线和详细布线的结果变得不那么相关,这增加了从早期阶段预测设计规则违反的难度。本文提出了一种基于神经网络集成的框架,利用布局和全局布线信息预测设计规则违反热点。一个软投票结构和PCA为基础的子集选择方案的基础上开发的神经网络从最近的工作。实验结果表明,该架构实现了显着的改善模型的性能相比,基线的情况。对于一半的测试用例,性能甚至优于随机森林,一种常用的集成学习模型。
2018-11-09 cs.LG stat.ML
Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks
Apple Inc.(苹果公司);Florida State University(佛罗里达州立大学)
人工神经网络形成了非常强大的学习方法的基础。已经观察到,将全连接神经网络幼稚地应用于具有许多不相关变量的数据通常会导致过拟合。为了避免这个问题,可以将关于哪些特征是相关的以及它们可能的特征交互的先验知识编码到这些网络中。在这项工作中,我们使用决策树来捕捉这些相关的功能和它们的相互作用,并定义一个映射,以编码提取到一个神经网络的关系。这解决了全连接神经网络的初始化相关问题。同时,通过特征选择,与现有技术的基于树的方法相比,它能够学习紧凑表示。实证评估和仿真研究表明,这种方法优于完全连接的神经网络和基于树的方法
2020-02-11 cs.LG stat.ML
Controlling Neural Networks via Energy Dissipation
University of Siegen(锡根大学);TU Munich(慕尼黑工业大学)
在过去的十年中,在深度学习技术的帮助下,在解决各种计算机视觉问题方面取得了巨大的成功。最近,许多工作已经证明,基于学习的方法与合适的网络架构,甚至表现出优越的性能(不适定)图像重建问题的解决方案,如去模糊,超分辨率,或医学图像重建。然而,纯粹基于学习的方法的缺点是,它们不能为训练的网络提供可证明的保证,以在推理过程中遵循给定的数据形成过程。在这项工作中,我们提出了能量耗散网络,迭代计算下降方向相对于一个给定的成本函数或能量在当前估计的重建。因此,自适应步长规则(诸如线搜索)连同合适的迭代次数可以保证重建遵循以任意精度在能量中编码的给定数据形成模型,并且因此即使在测试时间期间也控制模型的行为。我们证明了在标准假设下,使用网络预测的方向下降收敛(线性)到能量的全局最小值。我们说明了所提出的方法的有效性,在实验中对单图像超分辨率和计算机断层扫描(CT)重建,并进一步说明凸可行性问题的扩展。
2019-08-20 cs.CV cs.LG stat.ML
StainFuser: Controlling Diffusion for Faster Neural Style Transfer in Multi-Gigapixel Histology Images
University of Warwick(华威大学);Histofy Ltd(Histofy有限公司)
本研究针对组织学图像染色外观不一致问题,提出基于条件潜在扩散架构的染色归一化方法StainFuser,构建超200万张图像的SPI-2M数据集,在图像质量和下游任务性能上均优于现有方法。
2024-07-12 cs.CV cs.LG eess.IV
Survival Regression with Proper Scoring Rules and Monotonic Neural Networks
University of Oxford(牛津大学)
我们考虑了右删失生存回归模型常用的评分规则,如时间依赖一致性、生存CRPS、综合Brier评分和综合二项式对数似然,并证明了它们都不是一个合适的评分规则。这意味着真实的生存分布可能比不正确的分布评分更差,导致估计不准确。我们证明,与这些分数相比,右删失对数似然是一个适当的评分规则,即,最高的期望分数由真实分布实现。尽管如此,现代前馈神经网络的生存回归模型无法训练和验证直接对右删失对数似然,由于其棘手性,并诉诸上述替代方案,即,不正确的评分规则。因此,我们提出了一个简单的新的生存回归方法,能够直接优化对数似然使用单调限制的时间依赖的权重,创造生存单调网(SuMo网)。SuMo-net在多个数据集上实现了最先进的对数似然分数,与现有的最先进的神经方法相比,在推理上具有20- 100 $\times$的计算加速,并且很容易适用于具有数百万个观测值的数据集。
2022-02-02 cs.LG stat.ML
Controlling mean exit time of stochastic dynamical systems based on quasipotential and machine learning
Nanjing University of Science and Technology(南京理工大学);Universität Augsburg(奥格斯堡大学)
本文提出结合准势与神经网络计算全局准势函数,并通过迭代数值算法设计控制器,实现对随机动力系统平均逃逸时间的精确控制。
2022-09-27 cs.LG math.DS stat.ML
Training Binary Neural Networks using the Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所革新智能综合研究中心);École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
具有二进制权重的神经网络是计算高效且硬件友好的,但它们的训练具有挑战性,因为它涉及离散优化问题。令人惊讶的是,忽略问题的离散性并使用基于梯度的方法,例如直通估计,在实践中仍然有效。这就提出了一个问题:是否有原则性的办法可以证明这种方法是合理的?在本文中,我们提出了这样一种方法,使用贝叶斯学习规则。当应用该规则来估计二进制权重上的伯努利分布时,会产生一种算法,该算法证明了先前方法所做的一些算法选择是合理的。该算法不仅获得了最先进的性能,但也使不确定性估计的持续学习,以避免灾难性遗忘。我们的工作为训练二进制神经网络提供了一种原则性的方法,它证明并扩展了现有的方法。
2020-08-18 cs.LG stat.ML
ReNN: Rule-embedded Neural Networks
LOHAS Technology (Beijing) Corporation Limited(乐活科技(北京)有限公司)
人工神经网络显示出强大的推理能力,但由于缺乏可解释性和对大数据集的前提要求,仍受到批评。本文提出了嵌入规则的神经网络(ReNN)来克服这些不足。ReNN首先进行基于局部的推理以检测局部模式,然后使用基于局部模式的领域知识的规则来生成规则调制图。然后,ReNN进行基于全局的推理,综合局部模式和规则调制的地图。为了解决由规则引起的优化问题,我们采用两阶段优化策略对ReNN模型进行训练。通过在ReNN中引入规则,我们可以增强传统神经网络的长期依赖性,从而提高推理精度。由于不使用神经连接对长期依赖性进行建模,因此可以降低神经网络的复杂性,并且因此可以减少优化神经网络所需的数据量。此外,ReNN的推理可以用局部模式和规则进行分析,因此具有更好的可解释性。在本文中,ReNN已经验证了时间序列检测问题。
2018-08-31 cs.LG cs.NE stat.ML
Neural Aspect and Opinion Term Extraction with Mined Rules as Weak Supervision
HKUST(香港科技大学)
基于神经网络的产品评论方面和观点词抽取的主要瓶颈是缺乏标注的训练数据。为了缓解这个问题,我们首先提出了一个算法,自动挖掘提取规则,从现有的训练样本的基础上依存句法分析的结果。然后将挖掘出的规则应用于标记大量辅助数据。最后,我们研究了训练过程,训练一个神经模型,该模型可以从规则自动标记的数据和少量人工精确标注的数据中学习。实验结果表明,虽然挖掘出的规则本身由于其有限的灵活性而表现不佳,但人类注释数据和规则标记辅助数据的组合可以改善神经模型,并使其实现比当前最先进的性能更好或与之相当的性能。
2019-07-07 cs.CL cs.LG stat.ML
Neural Logic Rule Layers
South Westfalia University of Applied Science(西南威斯特伐利亚应用科学大学)
尽管近年来取得了巨大的成功,但深度神经网络(DNN)主要是黑箱,通过网络运行获得的结果难以理解和解释。与例如决策树或贝叶斯分类器相比,DNN具有较差的可解释性,其中我们通过可解释性来理解,即人类可以容易地导出由网络建模的关系。为人类提供可解释性的一种合理方式是逻辑规则。在本文中,我们提出了神经逻辑规则层(NLRL),它能够表示任意逻辑规则的合取和析取范式。在一层中使用不同的NLRL,并相应地堆叠不同的层,我们能够表示任意复杂的规则所产生的神经网络架构。NLRL是端到端可训练的,允许直接从可用数据集学习逻辑规则。实验表明,NLRL增强的神经网络可以学习建模任意复杂的逻辑和执行算术运算的输入值。
2019-07-01 cs.AI cs.LG stat.ML
Continuous Diagnosis and Prognosis by Controlling the Update Process of Deep Neural Networks
Peking University(北京大学)
连续的诊断和预后是重症监护患者必不可少的。它可以为及时治疗和合理资源分配提供更多机会,特别是对于ICU死亡的主要原因脓毒症和新的全球流行病COVID-19。尽管深度学习方法在许多医疗任务中表现出了巨大的优越性,但当以连续模式进行诊断和预后时,它们往往会灾难性地忘记,过度拟合,并且太晚得到结果。本文总结了这一任务的三个要求,提出了时间序列连续分类(CCTS)的概念,设计了一种新的模型训练方法--神经网络约束更新策略(RU)。在连续预后的背景下,我们的方法优于所有基线,在脓毒症预后、COVID-19死亡率预测和八种疾病分类方面的平均准确率分别达到90%、97%和85%。此外,我们的方法还可以赋予深度学习可解释性,具有探索疾病机制的潜力,并为医学研究提供新的视野。我们已经实现了脓毒症和COVID-19的疾病分期,分别发现了四个阶段和三个阶段的典型生物标志物。此外,我们的方法是一个数据无关和模型无关的插件,它可以用来不断诊断其他疾病的分期,甚至在其他领域实现CCTS。
2022-10-06 cs.LG
Measuring and Controlling Solution Degeneracy across Task-Trained Recurrent Neural Networks
Harvard University(哈佛大学);Harvard Medical School(哈佛医学院);Kempner Institute(凯普纳研究所);EPFL(苏黎世联邦理工学院)
本研究开发了统一框架,量化和控制任务训练RNN中的解退化,揭示任务复杂性和网络规模对解退化的影响。
2025-11-20 cs.IT cs.LG cs.NE
Harnessing Deep Neural Networks with Logic Rules
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院)
将深度神经网络与结构化逻辑规则相结合是期望的,以利用灵活性并减少神经模型的不可解释性。我们提出了一个能够增强各种类型的神经网络(例如,CNN和RNN)与声明性一阶逻辑规则。具体来说,我们开发了一种迭代蒸馏方法,将逻辑规则的结构化信息转换为神经网络的权重。我们将框架部署在用于情感分析的CNN和用于命名实体识别的RNN上。通过一些高度直观的规则,我们获得了实质性的改进,并实现了最先进的或与以前性能最好的系统相当的结果。
2020-08-08 cs.AI cs.CL cs.LG
Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));USI(意大利瑞士大学);SUPSI(瑞士意大利语区应用科学大学);KAUST(阿卜杜拉国王科技大学)
神经元常微分方程作为深度残差神经网络的连续时间模型引起了人们的广泛关注,并对递归神经网络进行了大量的扩展。自20世纪80年代以来,常微分方程也被用于推导NN学习规则的理论结果,例如,Oja规则和主成分分析之间的著名联系。这样的规则通常表示为具有直接ODE对应物的加性迭代更新过程。在这里,我们引入了一种新的学习规则和神经ODE的组合,以构建连续时间序列处理网络,该网络学习在其他网络的快速变化的突触连接中操纵短期记忆。这就产生了快速加权编程器和线性Transformers的连续时间对应物。我们的新模型在各种时间序列分类任务上优于现有的基于神经控制微分方程的最佳模型,同时还解决了其基本的可扩展性限制。代码是公开的。
2022-10-14 cs.LG
Rule Based Learning with Dynamic (Graph) Neural Networks
University of Bonn(波恩大学)
本文提出基于规则的动态神经网络层,通过从知识生成规则函数来动态组织可学习参数,并构建RuleGNNs,实验证明其性能可比肩最先进图分类器,且能有效集成专家知识。
2024-06-14 cs.LG
An Empirical Evaluation of Rule Extraction from Recurrent Neural Networks
McGill University(麦吉尔大学);Pennsylvania State University(宾夕法尼亚州立大学)
从黑盒模型中提取规则对于需要在实现之前进行模型验证的领域至关重要,例如信用评分和医疗诊断。虽然在一般的统计学习中已经是一个具有挑战性的问题,但当高度非线性的递归模型(如循环神经网络(RNN))适合数据时,难度甚至更大。在这里,我们研究的规则提取二阶循环神经网络训练识别富田文法。我们表明,产生式规则可以稳定地从训练的RNN中提取,并且在某些情况下,规则优于训练的RNN。
2018-11-14 cs.LG
Rule-Extraction Methods From Feedforward Neural Networks: A Systematic Literature Review
École Mohammadia d’Ingénieurs(穆罕默迪亚工程师学院);Université du Québec à Rimouski(魁北克大学里穆斯基分校)
本文通过系统性文献综述,梳理了从前馈神经网络中提取规则的方法,涵盖二十多年来的发展,重点服务于神经网络可解释性,并展望了未来扩展方向。
2023-12-20 cs.LG
LEURN: Learning Explainable Univariate Rules with Neural Networks
在本文中,我们提出了LEURN:一个神经网络架构,学习单变量决策规则。LEURN是一个白盒算法,它可以生成单变量树,并在每个阶段做出可解释的决策。在每一层中,LEURN根据先前检查的规则及其相应响应的嵌入找到一组单变量规则。规则发现和最终决策机制都是这些嵌入的加权线性组合,因此所有规则的贡献都是明确的,可解释的。LEURN可以选择特征,提取特征重要性,提供一对样本之间的语义相似性,以生成的方式使用,并可以给出置信度得分。由于平滑参数,LEURN还可以像决策树或普通神经网络一样可控地表现。除了这些优点之外,LEURN在30个表格数据集上实现了与最先进的方法相当的性能,用于分类和回归问题。
2023-03-27 cs.LG
Learning Accurate and Interpretable Decision Rule Sets from Neural Networks
University of California San Diego(加州大学圣迭戈分校)
本文提出了一种新的范式,用于学习一组独立的逻辑规则的析取范式作为一个可解释的分类模型。我们认为学习一个可解释的决策规则集的问题是训练一个神经网络在一个特定的,但非常简单的两层架构。第一层中的每个神经元在训练后直接映射到可解释的“若-则”规则,第二层中的输出神经元直接映射到第一层规则的析取以形成决策规则集。我们在第一个规则层中对神经元的表示使我们能够在决策规则中对特征的正关联和负关联进行编码。可以利用最先进的神经网络训练方法来学习高度准确的分类模型。此外,我们提出了一种基于稀疏性的正则化方法,以平衡分类精度和简单性之间的派生规则。我们的实验结果表明,我们的方法可以产生更准确的决策规则集比其他国家的最先进的规则-学习算法具有更好的准确性和简单性的权衡。此外,与随机森林和全精度深度神经网络等不可解释的黑箱机器学习方法相比,我们的方法可以轻松找到具有可比预测性能的可解释决策规则集。
2021-03-12 cs.LG
Integrating Logical Rules Into Neural Multi-Hop Reasoning for Drug Repurposing
Siemens AG(西门子股份公司);Ludwig Maximilian University of Munich(慕尼黑大学)
生物医学数据的图结构与典型的知识图谱基准测试任务中的图结构不同。生物医学数据的一个特殊属性是存在长期依赖性,这可以通过描述为逻辑规则的模式来捕获。我们提出了一种新的方法,结合这些规则与神经多跳推理方法,使用强化学习。我们进行了实证研究的基础上,通过制定这个任务作为一个链接预测问题的药物再利用的现实世界的任务。我们将我们的方法应用于生物医学知识图谱Hetionet,并表明我们的方法优于几种基线方法。
2020-07-10 cs.AI cs.LG stat.ML
NN2Rules: Extracting Rule List from Neural Networks
LinkedIn AI(领英人工智能)
我们提出了一个算法,NN2Rules,将一个训练好的神经网络转换成一个规则列表。规则列表更容易解释,因为它们更符合人类做出决策的方式。NN2Rules是一种规则提取的分解方法,即,它从训练好的神经网络模型的参数中提取一组决策规则。我们表明,提取的决策规则具有相同的预测作为神经网络的任何输入,因此,相同的精度。NN2Rules的一个关键贡献是它允许隐藏神经元行为是软二进制的(例如,sigmoid激活)或校正线性(ReLU),这与利用软二进制激活的假设开发的现有分解方法相反。
2022-07-04 cs.AI cs.LG
Incorporating Expert Rules into Neural Networks in the Framework of Concept-Based Learning
Higher School of Artificial Intelligence Technologies(人工智能技术高等学院);Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
本文研究在基于概念的学习中把专家规则作为联合概率约束融入神经网络,通过凸多面体表示可行概率分布并保证概念概率不违反规则,从而结合归纳与演绎学习。
2024-02-22 cs.AI cs.LG stat.ML
Rule Extraction from Binary Neural Networks with Convolutional Rules for Model Validation
TU Kaiserslautern(凯泽斯劳滕工业大学);University of Mainz(美因茨大学);Johannes Gutenberg University of Mainz(约翰内斯·古腾堡大学美因茨分校);TU Darmstadt(达姆施塔特工业大学)
大多数深度神经网络被认为是黑匣子,这意味着它们的输出很难解释。相比之下,逻辑表达式被认为是更容易理解的,因为它们使用的符号在语义上接近自然语言,而不是分布式表示。然而,对于诸如图像的高维输入数据,各个符号(即,像素)不容易解释。我们引入了一阶卷积规则的概念,这是可以使用卷积神经网络(CNN)提取的逻辑规则,其复杂度取决于卷积滤波器的大小,而不是输入的维数。我们的方法是基于随机局部搜索的二进制神经网络的规则提取。我们展示了如何提取规则,不一定是短的,但输入的特点,易于可视化。我们的实验表明,所提出的方法是能够建模的神经网络的功能,而在同一时间产生可解释的逻辑规则。
2020-12-15 cs.AI cs.LG
Graph Neural Network-Based Reinforcement Learning for Controlling Biological Networks - the GATTACA Framework
Faculty of Mathematics, Informatics and Mechanics, University of Warsaw(数学、信息学与力学学院,华沙大学);IDEAS Research Institute(IDEAS研究机构);IDEAS NCBR Sp. z o.o.(IDEAS NCBR公司)
针对细胞重编程湿实验时间长、成本高的问题,本研究提出GATTACA框架,结合图神经网络与深度强化学习控制异步布尔生物网络模型,改进伪吸引子识别,在真实大规模生物网络上验证了可扩展性与有效性。
2026-10-14 cs.AI cs.LG q-bio.MN
Learning Compositional Rules via Neural Program Synthesis
MIT(麻省理工学院);NYU(纽约大学);Facebook AI(Facebook人工智能研究院(Facebook AI))
人类推理的许多方面,包括语言,都需要从很少的数据中学习规则。人类可以做到这一点,通常从很少的例子中学习系统规则,并将这些规则组合起来形成基于规则的组合系统。另一方面,当前的神经架构通常无法以组合的方式进行概括,特别是当以系统地从训练中变化的方式进行评估时。在这项工作中,我们提出了一个神经符号模型,从一个小的例子集学习整个规则系统。而不是直接预测输出的输入,我们训练我们的模型,以诱导规则的显式系统,管理一组以前看到的例子,从神经程序合成文献中的技术。我们的规则合成方法在三个领域优于神经元学习技术:用于评估人类学习的人工推理学习领域,SCAN挑战数据集,以及学习基于规则的数字词到整数的翻译,用于各种人类语言。
2020-10-22 cs.AI cs.LG
NEUROLOGIC: From Neural Representations to Interpretable Logic Rules
NEUROLOGIC提出从深度神经网络任意层神经表征直接提取可解释逻辑规则的新框架,支持丰富逻辑结构与人类先验知识,在Transformer情感分析上验证了有效性与可扩展性。
2025-10-15 cs.LG
Fast Rule-Based Decoding: Revisiting Syntactic Rules in Neural Constituency Parsing
Sun Yat-sen University(中山大学)
最近的研究集中在编码器结构的神经选区解析,而很少的发展致力于解码器。以前的研究表明,基于句法规则的概率统计方法在选区分析中特别有效,而在以前的工作中,可能由于其巨大的计算需求,在神经模型的训练过程中不使用句法规则。在本文中,我们首先实现了一个快速CKY解码过程利用GPU加速,在此基础上,我们进一步推导出一个语法规则为基础的(规则约束)CKY解码。在实验中,我们的方法在PTB和CTB数据集上分别获得了95.89和92.52的F1,与以前的方法相比,这表明了显着的改善。此外,我们的解析器实现强大的和有竞争力的跨域性能在zero-shot设置。
2022-12-16 cs.AI cs.CL cs.LG
Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression
UCI(加州大学欧文分校)
研究符号回归能否发现优于标准优化器的神经网络权重更新规则,通过固定深度符号表达式表示候选规则,在30个组合中25次找到更好规则,总均方误差降低44.47%,表明其可发现紧凑优化器变体但需大规模验证。
2026-07-27 cs.LG
Extracting Rules from Neural Networks with Partial Interpretations
University of Bergen(卑尔根大学)
本文研究了从神经网络模型中提取Horn逻辑表示的规则的问题。我们的工作是基于精确的学习模型,其中学习者通过查询与教师(神经网络模型)进行交互,以学习一个抽象的目标概念,在我们的情况下,这是一组霍恩规则。我们认为部分解释制定查询。这些可以被理解为世界的一种表征,其中关于命题真实性的部分知识是未知的。我们采用Angluin的算法通过查询学习霍恩规则,并评估我们的策略经验。
2022-04-01 cs.AI cs.LG
A New Interpretable Neural Network-Based Rule Model for Healthcare Decision Making
Nanyang Technological University(南洋理工大学)
本文提出TT-rules框架,将深度神经网络TTnet转化为精确可解释的规则模型,在医疗任务上达到或超越现有可解释方法,并首次实现可拟合超2万特征大型表格数据的准确规则建模。
2023-09-20 cs.AI cs.LG
Chaining Meets Chain Rule: Multilevel Entropic Regularization and Training of Neural Nets
Princeton University(普林斯顿大学);EPFL(洛桑联邦理工学院)
我们推导出的神经网络的泛化和过度风险的界限,使用一个家庭的复杂性措施的基础上,一个多级相对熵。通过引入神经网络的生成层次覆盖的概念并通过使用Asadi等人在NeurIPS'18中引入的链接互信息的技术来获得边界。由此产生的界限依赖于算法,并利用神经网络的多级结构。这反过来又导致了一个经验风险最小化问题的多级熵正则化。最小化问题的解决,通过引入一个多尺度的推广著名的吉布斯后验分布,证明派生的分布达到唯一的最小值。这导致了一种新的具有性能保证的神经网络训练过程,它利用了相对熵的链式规则,而不是导数的链式规则(如反向传播)。为了获得后者的有效实现,我们进一步开发了一个多层次的Metropolis算法模拟多尺度吉布斯分布,与实验的两层神经网络的MNIST数据集。
2019-06-26 cs.IT cs.LG math.IT
Federated Fuzzy Neural Network with Evolutionary Rule Learning
ShanghaiTech University(上海科技大学)
分布式模糊神经网络(DFNN)由于其在处理分布式场景中的数据不确定性方面的学习能力,近年来受到越来越多的关注。然而,对于DFNN来说,处理局部数据是非独立和同分布(非IID)的情况是具有挑战性的。在本文中,我们提出了一个联邦模糊神经网络(FedFNN)与进化规则学习(ERL),以应付非IID问题以及数据的不确定性。FedFNN在服务器中维护一组全局规则,并为每个本地客户端维护这些规则的个性化子集。ERL受到生物进化理论的启发;它鼓励规则变化,同时激活高级规则,并对具有非IID数据的本地客户端停用低级规则。具体地说,ERL由两个阶段的迭代过程:一个规则合作阶段,更新全局规则的激活状态的基础上聚合的本地规则和规则进化阶段,进化的全局规则和更新的激活状态的本地规则。该过程改进了FedFNN的泛化和个性化,以处理非IID问题和数据不确定性。在一系列数据集上进行的大量实验表明,FedFNN优于最先进的方法。
2022-10-26 cs.LG cs.NE
Neural Networks as Explicit Word-Based Rules
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
计算机视觉中使用的卷积网络的滤波器通常被可视化为最大化滤波器响应的图像块。我们使用相同的方法来解释自然语言处理任务的简单架构中的权重矩阵。我们将用于情感分类的卷积网络解释为基于单词的规则。使用该规则,我们恢复了原始模型的性能。
2019-07-10 cs.CL cs.LG
NeuroRule: Making Black-Box Neural Networks Explainable through Rule-set Evolution
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant AI Lab(高知特人工智能实验室)
本文提出NeuroRule框架,利用进化算法将黑箱神经网络蒸馏为简洁可解释的规则集,无需原始训练数据,兼顾性能与可解释性,适用于高信任度场景。
2026-10-14 cs.LG cs.NE
Neural NID Rules
EPFL(洛桑联邦理工学院)
抽象的物体属性和它们之间的关系深深植根于人类的常识中,使人们能够预测世界的动态,即使是在新奇但受熟悉的物理定律支配的情况下。基于模型的强化学习中的标准机器学习模型不足以以这种方式进行概括。受噪声不确定指示(NID)规则的经典框架的启发,我们在这里引入神经NID,一种学习抽象对象属性和对象之间的关系与适当正则化的图神经网络的方法。我们在专门设计用于评估模型学习到的过渡动态的简单基准上验证了神经NID的更大泛化能力。
2022-02-12 cs.AI cs.LG
Feature Extraction Functions for Neural Logic Rule Learning
Deakin University(迪肯大学)
将符号人类知识与神经网络相结合,提供了对输出的基于规则的事前解释。在本文中,我们提出的特征提取功能集成人类知识抽象为逻辑规则的预测行为的神经网络。这些功能被实现为编程功能,其将可应用的领域知识表示为一组逻辑指令,并且提供输入数据上的独立特征的修改的分布。与其他现有的神经逻辑方法不同,这些函数的编程性质意味着它们不需要任何特殊的数学编码,这使得我们的方法在本质上非常通用和灵活。我们说明了我们的情感分类方法的性能,并将我们的结果与使用两个基线获得的结果进行比较。
2021-04-11 cs.AI cs.LG
Neural-based classification rule learning for sequential data
IBM France Lab(IBM法国实验室);Inria Saclay(法国国家信息与自动化研究所萨克雷分部);IBM Research(IBM研究院)
发现序列数据分类的可解释模式对于从基因组学到欺诈检测或更一般的可解释决策的各种领域都至关重要。在本文中,我们提出了一种新的微分完全可解释的方法,发现本地和全球的模式(即捕捉相对或绝对的时间依赖性)基于规则的二进制分类。它由一个卷积二进制神经网络与一个可解释的神经过滤器和训练策略的基础上动态强制稀疏。我们证明了该方法在合成数据集和开源肽数据集上的有效性和实用性。这种端到端可区分方法的关键在于,规则中使用的表达模式是与规则本身一起学习的。
2023-02-22 cs.AI cs.LG
Checking extracted rules in Neural Networks
BTU Cottbus-Senftenberg(波茨坦-森芬根贝格应用技术大学)
本文从复杂性理论视角研究神经网络提取规则的形式化验证,聚焦规则适用性、一致性和穷尽性三个问题,针对ReLU激活网络和布尔网络证明多数问题为co-NP完全,填补验证空白。
2025-09-20 cs.AI cs.LG
A Memory-Augmented Neural Network Model of Abstract Rule Learning
Princeton University(普林斯顿大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
人类智能的特点是具有从经验中推断抽象规则并将这些规则应用于新领域的非凡能力。因此,设计具有这种能力的神经网络算法是开发具有更类似人类智能的深度学习系统的重要一步。然而,这样做是一个重大的挑战,一些人认为这将需要神经网络使用显式的符号处理机制。在这项工作中,我们专注于神经网络的能力,任意的角色填充绑定,能够关联抽象的“角色”上下文特定的“填充”,许多人认为这是一个重要的机制,学习和应用规则抽象的能力。使用一个简化版本的乌鸦的进步矩阵,人类智力的标志性测试,我们介绍了一个顺序制定的视觉解决问题的任务,需要这种形式的绑定。此外,我们介绍了新兴的符号绑定网络(ESBN),一个经常性的神经网络模型,学习使用外部存储器作为绑定机制。这种机制使符号类变量表示出现通过ESBN的训练过程,而不需要显式的符号处理机器。我们的经验表明,ESBN成功地学习了我们的任务的基本抽象规则结构,并完美地将此规则结构推广到新的填充物。
2020-12-15 cs.AI cs.LG
Neural Learning Rules from Associative Networks Theory
IBM Research – Europe(IBM欧洲研究院);University of Pisa(比萨大学)
本文利用多时间尺度能量联想网络理论,从生成函数推导神经学习规则,恢复赫布建模,并引入记忆动力学实现学习。
2025-03-11 cs.LG q-bio.NC
Partially Non-Recurrent Controllers for Memory-Augmented Neural Networks
DeNA Co., Ltd.(DeNA株式会社);The University of Tokyo(东京大学)
记忆增强神经网络(MANN)是一类配备有外部存储器的神经网络,并且据报道对于需要大的长期记忆及其选择性使用的任务是有效的。MANN的核心模块被称为控制器,其通常被实现为递归神经网络(RNN)(例如,LSTM),以便在控制其他模块时使用上下文信息。然而,这种基于RNN的控制器通常允许MANN通过使用控制器的(小的)内部存储器来直接解决给定的任务,并且阻止MANN最好地利用外部存储器,从而导致次优训练模型。为了解决这个问题,我们提出了一种新型的基于RNN的控制器,该控制器部分非递归,避免了直接使用其内部存储器来解决任务,同时保持了使用上下文信息控制其他模块的能力。我们使用神经图灵机和微分神经计算机的玩具和bAbI任务的实证实验表明,所提出的控制器比标准的基于RNN的控制器提供了更好的结果。
2018-12-30 cs.LG cs.NE
Efficient Decompositional Rule Extraction for Deep Neural Networks
University of Cambridge(剑桥大学)
近年来,通过提取近似其决策边界的基于规则的模型,在提高深度神经网络(DNN)的可解释性和可调试性方面进行了大量工作。然而,当前的DNN规则提取方法在提取规则时考虑了DNN的潜在空间,称为分解算法,要么局限于单层DNN,要么随着DNN或数据的大小增长而难以处理。在本文中,我们通过引入ECLAIRE来解决这些限制,ECLAIRE是一种新型的多项式时间规则提取算法,能够扩展到大型DNN架构和大型训练数据集。我们评估了ECLAIRE在各种各样的任务,从乳腺癌预后到粒子检测,并表明它始终提取更准确和更容易理解的规则集比目前最先进的方法,同时使用数量级更少的计算资源。我们通过开源的REMIX库(https://github.com/mateoespinosa/remix)提供了所有的方法,包括一个规则集可视化界面。
2021-11-24 cs.AI cs.LG
A Neural Model of Rule Discovery with Relatively Short-Term Sequence Memory
The Whole Brain Architecture Initiative(全脑架构倡议)
针对流体智力任务中依赖短期记忆发现事件序列规律的问题,提出一种神经认知模型,并通过延迟样本匹配任务加以实现与验证。
2024-12-07 cs.AI cs.LG