Uncovering a Universal Abstract Algorithm for Modular Addition in Neural Networks
McGill University（麦吉尔大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）；Leiden University（莱顿大学）
我们提出并验证了一个普适性假说：多层感知机和变压器在模加法任务中统一实现近似中国剩余定理，通过引入近似陪集解释神经元激活，并预测深度网络仅需O(log n)个特征，为多层网络求解模加法提供了首个理论支撑的解释。
2025-05-23 cs.AI cs.LG
Learning by Abstraction: The Neural State Machine
Stanford University（斯坦福大学）
我们引入神经状态机，寻求弥合人工智能的神经和符号视图之间的差距，并将它们的互补优势整合到视觉推理任务中。给定一个图像，我们首先预测一个概率图，表示其底层语义，并作为一个结构化的世界模型。然后，我们在图上执行顺序推理，迭代地遍历其节点以回答给定的问题或得出新的推理。与大多数旨在与原始感觉数据密切交互的神经架构相比，我们的模型在抽象的潜在空间中运行，通过将视觉和语言模态转换为基于语义概念的表示，从而实现增强的透明度和模块化。我们在VQA-CP和GQA上评估了我们的模型，这两个最近的VQA数据集涉及组合性，多步推理和多种推理技能，在这两种情况下都取得了最先进的结果。我们提供了进一步的实验来说明该模型在多个维度上的强大泛化能力，包括概念的新颖组合、答案分布的变化和看不见的语言结构，从而证明了我们方法的质量和有效性。
2019-11-25 cs.AI cs.CL cs.CV
Self-Abstraction Learning for Effective and Stable Training of Deep Neural Networks
Department of Mathematics, University of Seoul（首尔大学数学系）；Department of Applied Artificial Intelligence, Hansung University（翰 Sung 大学应用人工智能系）
本文提出自抽象学习框架，通过层级结构解决深度学习中的梯度消失、过拟合和不稳定问题，实验表明其在多种网络架构中表现优异，确保在数据稀缺场景下的鲁棒泛化能力。
2026-04-27 cs.AI cs.LG
Optimized Piecewise Affine Abstractions of Neural Networks with Learnable Activation Functions
Department of Computer Science, University of Colorado Boulder（计算机科学系，科罗拉多大学波尔得分校）
本文提出一种基于KAN结构的最优抽象方法，通过分段仿射函数近似实现属性验证，结合动态规划和背包优化以平衡精度与计算效率。
2026-08-04 cs.AI cs.LG cs.LO
Static analysis of ReLU neural networks with tropical polyhedra
LIX, Ecole Polytechnique, CNRS and Institut Polytechnique de Paris（巴黎综合理工学院与巴黎综合理工学院联盟计算机科学实验室）；University of Colorado at Boulder（科罗拉多大学博尔德分校）
本文研究了前馈神经网络的极差分析问题，它是研究神经网络的鲁棒性、规范遵从性和神经网络反馈系统的可达性分析等应用的基础。我们的方法专注于ReLU（整流线性单元）前馈神经网络，这些网络存在特定的困难：利用导数的方法通常不适用，即使对于小型网络，神经元激活模式的数量也可能相当大，凸近似通常过于粗糙。在本文中，我们采用基于集合的方法和抽象的解释，已经非常成功地应对类似的困难，在经典的程序验证。我们提出了一种使用热带多面体抽象ReLU前馈神经网络的方法。我们表明，热带多面体可以有效地抽象ReLU激活函数，同时能够控制由于线性计算而导致的精度损失。我们展示了ReLU网络和热带有理函数之间的联系如何为ReLU神经网络的范围分析提供方法。
2021-08-23 cs.AI cs.LG
Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization
SRMIST（SRM理工学院）
本文提出一种融合结构化、语义和神经方法的统一框架，通过词义消歧和深度注意力序列到序列模型实现抽象式文本摘要，在Gigaword等数据集上优于现有技术。
2024-04-08 cs.CL cs.LG
The Neural Race Reduction: Dynamics of Abstraction in Gated Networks
Sainsbury Wellcome Centre, UCL（伦敦大学学院塞恩斯伯里·韦尔科姆中心）；Meta AI；CIFAR（加拿大高等研究院）
我们对深度学习的理论理解并没有跟上它的经验成功。虽然网络架构是众所周知的关键，我们还不了解它对学习表征和网络行为的影响，或者这种架构应该如何反映任务结构。在这项工作中，我们开始通过引入门控深度线性网络框架来解决这一差距，该框架图示了信息流的路径如何影响架构内的学习动态。至关重要的是，由于门控，这些网络可以计算其输入的非线性函数。我们得到一个确切的减少，并在某些情况下，确切的解决方案的动态学习。我们的分析表明，结构化网络中的学习动态可以被概念化为一个神经竞赛，它对共享表示有隐含的偏见，然后控制模型系统概括，多任务和转移的能力。我们验证了我们对自然主义数据集的关键见解，并采用了宽松的假设。总的来说，我们的工作产生了神经结构与学习相关的一般假设，并提供了一种数学方法来理解更复杂的结构的设计以及模块化和组合性在解决现实问题中的作用。代码和结果可在https://www.saxelab.org/gated-dln上获得。
2022-07-21 cs.AI cs.LG
Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于一阶泰勒展开和余项界定的神经网络可达性分析方法，通过循环变换利用激活函数单调性，计算梯度和 Hessian 的解析界，并结合分支定界框架实现对大输入集合的精确分析。
2026-10-20 cs.LG cs.SY eess.SY
Optimization and Abstraction: A Synergistic Approach for Analyzing Neural Network Robustness
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
近年来，局部鲁棒性（或简称鲁棒性）的概念已经成为深度神经网络的理想属性。直观地说，鲁棒性意味着对输入的小扰动不会导致网络执行错误分类。提出了一种新的神经网络鲁棒性检验算法。我们的方法协同结合了基于梯度的优化方法的反例搜索与基于抽象的证明搜索，以获得一个健全的和（δ-）完整的决策过程。我们的方法还采用数据驱动的方法来学习验证策略，该策略在证明搜索期间指导抽象解释。我们已经实现了所提出的方法在一个工具，称为Charon和实验评估它的数百个基准。我们的实验表明，所提出的方法显着优于三个最先进的工具，即AI^2，Reluplex和Reluval。
2019-05-01 cs.LG cs.PL
Measuring abstract reasoning in neural networks
DeepMind（深度思维）
神经网络是否能够学习抽象推理，或者它们是否仅仅依赖于表面的统计数据，这是最近争论的一个话题。在这里，我们提出了一个数据集和挑战，旨在探索抽象推理，灵感来自一个著名的人类智商测试。为了在这一挑战中取得成功，模型必须应对各种泛化“制度”，其中训练和测试数据以明确定义的方式不同。我们发现，像ResNets这样的流行模型表现不佳，即使训练集和测试集只有最小的差异，我们提出了一种新的架构，其结构旨在鼓励推理，这一点要好得多。当我们改变测试问题和训练数据不同的方式时，我们发现我们的模型在某些形式的概括方面非常精通，但在其他方面却非常薄弱。我们进一步表明，该模型的概括能力显着提高，如果它被训练来预测其答案的符号解释。总之，我们介绍和探索的方法来衡量和诱导更强的抽象推理的神经网络。我们免费提供的数据集应该会推动这方面的进一步进展。
2018-07-11 cs.LG stat.ML
Neural Abstract Reasoner
Sofia High School of Mathematics（索菲亚数学高中）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Sciro Research（西罗研究中心）
抽象推理和逻辑推理是神经网络的难题，但对于它们在高度结构化领域的应用至关重要。在这项工作中，我们证明了一种众所周知的技术，如谱正则化，可以显着提高神经学习器的能力。我们介绍神经抽象推理机（NAR），一个记忆增强架构，能够学习和使用抽象规则。我们表明，当用谱正则化训练时，NAR在抽象和推理语料库上实现了$78.8\%$的准确性，比最著名的人类手工符号求解器提高了4倍。我们提供了一些直观的谱正则化的影响，在抽象推理领域的理论推广界和Solomonoff的理论归纳推理的基础上。
2020-11-12 cs.AI cs.LG
Neural Abstractive Text Summarization with Sequence-to-Sequence Models
Virginia Tech（弗吉尼亚理工大学）
在过去的几年里，使用序列到序列（seq 2seq）模型的神经抽象文本摘要已经非常流行。已经提出了许多有趣的技术来改进seq 2seq模型，使它们能够处理不同的挑战，例如显着性，流畅性和人类可读性，并生成高质量的摘要。一般来说，这些技术中的大多数在这三类中的一个方面有所不同：网络结构，参数推断和解码/生成。还有其他问题，例如训练模型的效率和并行性。在本文中，我们提供了一个全面的文献调查不同seq 2seq模型的抽象文本摘要的网络结构，训练策略和摘要生成算法的观点。最初提出的几种模型用于语言建模和生成任务，如机器翻译，后来应用于抽象文本摘要。因此，我们也对这些模型进行了简要的回顾。作为这项调查的一部分，我们还开发了一个开源库，即神经抽象文本摘要（NATS）工具包，用于抽象文本摘要。在广泛使用的CNN/Daily Mail数据集上进行了一组广泛的实验，以检查几个不同的神经网络组件的有效性。最后，我们在最近发布的两个数据集上对NATS中实现的两个模型进行了基准测试，即Newsroom和Bytecup。
2020-09-18 cs.CL cs.LG stat.ML
Multi-Level Feature Abstraction from Convolutional Neural Networks for Multimodal Biometric Identification
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个深度多模态融合网络，融合多模态（人脸，虹膜和指纹）的个人身份识别。所提出的深度多模态融合算法由多个模态特定的卷积神经网络（CNN）流组成，这些流在多个特征抽象级别上进行联合优化。从每个模态特定的CNN在几个不同的卷积层提取多个特征，用于联合特征融合、优化和分类。在特定于模态的CNN的不同卷积层处提取的特征表示在若干不同抽象表示级别处的输入。我们证明了一个有效的多模态分类可以通过利用从所有模态特定的CNN中提取的这些多级抽象表示来显著减少网络参数的数量。我们通过在我们的多模态融合中利用所提出的多级特征抽象表示来证明多模态人员识别性能的提高，而不是仅使用每个模态特定CNN的最后一层的特征。我们表明，我们的深度多模态CNN与多模态融合在几个不同的特征级别抽象可以显着优于单峰表示的准确性。我们还证明了所有模态特定CNN的联合优化优于独立优化CNN的分数和决策级融合。
2018-07-03 cs.LG stat.ML
Towards Global Neural Network Abstractions with Locally-Exact Reconstruction
University of Manchester（曼彻斯特大学）；Federal University of Amazonas（亚马逊联邦大学）
本文提出了一种新颖的神经网络抽象技术GINNACER，通过中心精确重构在整个输入域上提供可靠的过近似界限，同时保证局部输入的精确重构，实验证明其性能显著优于现有全局抽象技术。
2023-03-31 cs.LG
DeepAbstract: Neural Network Abstraction for Accelerating Verification
Technical University of Munich（慕尼黑工业大学）；Audi AG（奥迪股份公司）
虽然抽象是一个经典的验证工具，可以扩展它，但它并不经常用于验证神经网络。然而，它可以帮助完成将现有算法扩展到最先进的网络架构的仍然开放的任务。我们介绍了一个抽象的框架，适用于全连接前馈神经网络的基础上聚类的神经元，在一些输入的行为相似。对于ReLU的特定情况，我们还提供了抽象所引起的错误范围。我们展示了抽象如何减少网络的大小，同时保持其准确性，以及如何将抽象网络上的验证结果传输回原始网络。
2020-06-24 cs.AI cs.LG cs.LO
FAME: Formal Abstract Minimal Explanation for Neural Networks
FAME提出了一种基于抽象解释的新方法，通过专用扰动域和LiRPA界限，实现大规模神经网络的高效最小解释生成。
2026-03-11 cs.AI cs.LG
Abstraction Mechanisms Predict Generalization in Deep Neural Networks
深度神经网络（DNN）的一个长期问题是理解它们令人困惑的泛化能力。我们通过\textit{cognitive abstraction mechanisms}的非传统角度来处理这个问题，从最近的神经科学工作中汲取灵感，使我们能够定义DNN的认知神经激活度量（CNA），这是给定输入的信息复杂性（熵）与网络深层中较高激活值的集中度之间的相关性。CNA对泛化能力具有高度预测性，在对超过100个小网络和网络架构组合的广泛评估中，表现优于基于范数和边缘的泛化度量，特别是在存在加性噪声和/或训练标签损坏的情况下。这些强有力的实证结果表明了CNA作为泛化度量的有用性，并鼓励进一步研究信息复杂性与网络深层表示之间的联系，以便更好地理解DNN的泛化能力。
2020-04-17 cs.LG q-bio.NC stat.ML
Evolutionary Training and Abstraction Yields Algorithmic Generalization of Neural Computers
Intelligent Autonomous Systems, Technische Universität Darmstadt（达姆施塔特工业大学智能自主系统研究所）；Institute for Robotics and Cognitive Systems, Universität zu Lübeck（吕贝克大学机器人与认知系统研究所）；Robot Learning Group, Max-Planck Institute for Intelligent Systems（马克斯-普朗克智能系统研究所机器人学习组）
智能行为的一个关键特征是学习抽象策略的能力，这些策略可以扩展并转移到不熟悉的问题上。一个抽象的策略可以解决问题类中的每个样本，而不管它的表示或复杂性如何--就像计算机科学中的算法一样。神经网络是处理感官数据、发现隐藏模式和学习复杂函数的强大模型，但它们很难学习这种迭代、顺序或分层的算法策略。用外部存储器扩展神经网络增加了它们学习这些策略的能力，但它们仍然容易受到数据变化的影响，难以学习可扩展和可转移的解决方案，并且需要大量的训练数据。我们提出了神经哈佛计算机（NHC），一个内存增强的网络为基础的架构，采用抽象解耦算法操作从数据操作，实现分裂的信息流和分离的模块。这种抽象机制和进化训练使得能够学习鲁棒和可扩展的算法解决方案。在一组不同的11个算法具有不同的复杂性，我们表明，NHC可靠地学习算法的解决方案具有很强的泛化和抽象：完美的泛化和扩展到任意任务配置和复杂性远远超出了在训练过程中看到的，是独立的数据表示和任务域。
2021-05-17 cs.AI cs.LG cs.NE
Towards Interpreting Recurrent Neural Networks through Probabilistic Abstraction
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Huawei International Pte Ltd（华为国际私人有限公司）；National University of Singapore（新加坡国立大学）
神经网络正成为解决许多现实问题的流行工具，如对象识别和机器翻译，这要归功于其作为端到端解决方案的卓越性能。然而，神经网络是复杂的黑箱模型，这阻碍了人类解释并因此信任它们做出关键决策。为了解释神经网络，已经提出了几种方法来从神经网络中提取简单的确定性模型。结果并不令人鼓舞（例如，低准确性和有限的可扩展性），这主要是由于这种简单模型的有限表现力。在这项工作中，我们提出了一种方法来提取概率自动机解释一类重要的神经网络，即，循环神经网络我们的工作在两个重要方面区别于现有的方法。一是概率被用来弥补表现力的损失。这是由于观察到人类的推理往往是“概率论的”。另一个是我们自适应地识别正确的抽象级别，以便以特定于请求的方式提取简单的模型。我们使用最先进的架构（包括GRU和LSTM）在几个真实世界的数据集上进行实验。结果表明，我们的方法显着提高了现有的方法在准确性或可扩展性。最后，我们通过检测对抗性文本来证明提取模型的有用性。
2020-09-28 cs.LG stat.ML
Qualitative Projection Using Deep Neural Networks
University of Surrey（萨里大学）
深度神经网络（DNN）通过解调线性滤波器的输出进行抽象。在本文中，我们改进了抽象的定义，以表明DNN的输入是相对于过滤器抽象的。或者，重申一下，抽象是由过滤器限定的。这使我们引入定性投射的概念。我们使用定性投影抽象MNIST手写数字相对于各种狗，马，飞机和汽车的CIFAR数据集。然后，我们分类的MNIST数字根据他们的狗，马，平面和carness质量的大小，说明了定性投影的一般性。
2015-10-28 cs.LG cs.NE
A Memory-Augmented Neural Network Model of Abstract Rule Learning
Princeton University（普林斯顿大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
人类智能的特点是具有从经验中推断抽象规则并将这些规则应用于新领域的非凡能力。因此，设计具有这种能力的神经网络算法是开发具有更类似人类智能的深度学习系统的重要一步。然而，这样做是一个重大的挑战，一些人认为这将需要神经网络使用显式的符号处理机制。在这项工作中，我们专注于神经网络的能力，任意的角色填充绑定，能够关联抽象的“角色”上下文特定的“填充”，许多人认为这是一个重要的机制，学习和应用规则抽象的能力。使用一个简化版本的乌鸦的进步矩阵，人类智力的标志性测试，我们介绍了一个顺序制定的视觉解决问题的任务，需要这种形式的绑定。此外，我们介绍了新兴的符号绑定网络（ESBN），一个经常性的神经网络模型，学习使用外部存储器作为绑定机制。这种机制使符号类变量表示出现通过ESBN的训练过程，而不需要显式的符号处理机器。我们的经验表明，ESBN成功地学习了我们的任务的基本抽象规则结构，并完美地将此规则结构推广到新的填充物。
2020-12-15 cs.AI cs.LG
A Transition System Abstraction Framework for Neural Network Dynamical System Models
School of Computer and Cyber Sciences, Augusta University（奥古斯塔大学计算机与网络科学学院）；School of Computing, University of Nebraska-Lincoln（内布拉斯加大学林肯分校计算学院）；School of Electrical Engineering, Southwest Jiaotong University（西南交通大学电气工程学院）
本文提出一种基于最大熵划分和集值可达性分析的转移系统抽象框架，将黑盒神经网络动力系统模型转化为可解释的转移系统，并通过计算树逻辑验证其在手写动力学等复杂系统中的有效性。
2024-02-18 cs.LG cs.SY eess.SY
Outside the Box: Abstraction-Based Monitoring of Neural Networks
IST Austria（奥地利科学技术研究所）
神经网络在一系列分类任务中表现出无与伦比的性能。尽管研究界做出了许多努力，但新颖性检测仍然是神经网络的重要限制之一。将以前看不见的输入识别为新输入的能力对于我们理解神经网络做出的决策至关重要。在运行时，不属于在训练期间学习的任何类别的输入不能被神经网络正确分类。现有的方法将神经网络视为黑盒，并尝试基于输出预测的置信度来检测新的输入。然而，神经网络没有经过训练以降低它们对新输入的置信度，这限制了这些方法的有效性。我们提出了一个框架，通过观察隐藏层来监控神经网络。我们采用了一种来自程序分析的通用抽象--框--来识别监控层中的新行为，即，导致框外行为的输入。对于每个神经元，方框的范围涵盖了训练中看到的值。该框架是有效和灵活的，以实现所需的权衡之间提出错误的警告和检测新的输入。我们说明了流行的图像分类基准的性能和鲁棒性的未知类的变化。
2020-02-19 cs.AI cs.LG cs.LO
Joint Learning of Hierarchical Neural Options and Abstract World Model
Cornell University（康奈尔大学）；Google Deepmind（谷歌DeepMind）
本文提出AgentOWL方法，通过高效样本学习抽象世界模型和层级神经选项，使智能体在Object-Centric Ataris游戏中以更少数据学习更多技能。
2026-05-11 cs.AI cs.LG
Unsupervised Learning of Neural Networks to Explain Neural Networks (extended abstract)
Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种学习神经网络的无监督方法，即解释器，用于解释预训练的卷积神经网络（CNN），即，解释器使用可解释的视觉概念来解释CNN的中间卷积层中的特征。给定CNN的卷积层的特征图，解释器像自动编码器一样执行，其将特征图分解为对象部分特征。学习对象部分特征以重建CNN特征，而不会丢失太多信息。我们可以将对象部分的解纠缠表示视为CNN特征的释义，其帮助人们理解由CNN编码的知识。更重要的是，我们通过知识蒸馏学习解释器，而不使用对象部分或纹理的任何注释进行监督。在实验中，我们的方法被广泛用于解释不同基准CNN的特征，解释器在不损害CNN的辨别能力的情况下显著提高了特征的可解释性。
2019-01-21 cs.AI cs.LG stat.ML
Efficient Neural Hybrid System Learning and Transition System Abstraction for Dynamical Systems
School of Computer and Cyber Sciences, Augusta University（奥古斯塔大学计算机与网络科学学院）；School of Electrical Engineering, Southwest Jiaotong University（西南交通大学电气工程学院）
本文提出一种用于动力系统的神经网络混合建模框架，通过低层多神经网络模型学习局部动力学，并用高层模型将其抽象为支持计算树逻辑验证的转移系统，实现高效且可解释的动力学学习与系统辨识。
2024-11-15 cs.LG cs.SY eess.SY
Neural Flow Operators can Approximate any Operator: Abstract Frameworks and Universal Approximations
Qiuzhen College, Tsinghua University（清华大学齐遵学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学尤 mathematical sciences center）；Norwegian Research Center（挪威研究中心）
提出神经流抽象框架，涵盖组合与分离结构的连续深度模型，证明其在有限维和无限维空间中的通用逼近性质，并通过时间离散化统一残差与普通架构。
2026-05-26 cs.LG cs.NA math.NA
ART: Abstraction Refinement-Guided Training for Provably Correct Neural Networks
Purdue University（普渡大学）；Rutgers University（罗格斯大学）
人工神经网络（ANN）在各种具有挑战性的机器学习应用中已经表现出显著的实用性。虽然他们的行为的正式验证的属性是高度期望的，他们已经证明是出了名的难以推导和执行。现有的方法通常将此问题表述为事后分析过程。在本文中，我们提出了一种新的学习框架，确保这种正式的保证，强制执行的建设。我们的技术能够训练可证明正确的网络，这些网络具有广泛的安全属性，这种能力远远超出了现有的方法，而不会影响准确性。我们的关键见解是，我们可以将基于优化的抽象细化循环集成到学习过程中，并在动态构建的输入空间分区上进行操作，以协同考虑准确性和安全性目标。细化过程迭代地分割从中提取训练数据的输入空间，由这样的分区实现安全验证的功效指导。我们已经在一个工具（ART）中实现了我们的方法，并将其应用于无人驾驶飞行员防撞系统ACAS Xu数据集和碰撞检测数据集的一般安全属性。重要的是，我们的经验表明，实现安全并不以牺牲准确性为代价。我们的方法表明，抽象细化方法为构建准确和正确的机器学习网络提供了一条有意义的途径。
2020-10-01 cs.AI cs.LG cs.PL
Syntactic vs Semantic Linear Abstraction and Refinement of Neural Networks
Technische Universität Dresden（德累斯顿工业大学）；Technical University of Munich（慕尼黑工业大学）；Masaryk University（马萨里克大学）
针对现有神经网络抽象方法规模缩减效果有限的问题，提出基于神经元线性组合的句法与语义抽象框架及精化方法，可在缩减程度与精度间实现更优平衡。
2023-07-20 cs.AI cs.LG cs.LO
Causal Abstractions of Neural Networks
Stanford（斯坦福大学）
结构分析方法（例如，探测和特征属性）是神经网络分析的越来越重要的工具。我们提出了一种新的结构分析方法接地因果抽象的形式理论，提供了丰富的模型内部表示及其在输入/输出行为中的作用的特点。在该方法中，神经表征与可解释因果模型中的变量对齐，然后使用交换干预来实验验证神经表征具有其对齐变量的因果属性。我们将这种方法应用于案例研究中，以分析在多重量化自然语言推理（MQNLI）语料库上训练的神经模型，MQNLI语料库是一个高度复杂的NLI数据集，它是用树结构的自然逻辑因果模型构建的。我们发现，一个基于BERT的模型与国家的最先进的性能成功地实现了自然逻辑模型的因果结构的一部分，而一个更简单的基线模型未能显示任何这样的结构，表明BERT表示编码的MQNLI的组成结构。
2021-10-27 cs.AI cs.LG
Abstraction and Refinement: Towards Scalable and Exact Verification of Neural Networks
Shenzhen University（深圳大学）；ShanghaiTech University（上海科技大学）
深度神经网络（DNN）作为一种新的编程范式，在实践中得到了越来越多的应用，但其鲁棒性的不足阻碍了其在安全关键领域的应用。虽然有一些技术可以用正式的保证来验证DNN，但它们在可扩展性和准确性方面受到限制。在本文中，我们提出了一种新的抽象细化方法，用于可扩展和精确的DNN验证。具体来说，我们提出了一种新的抽象，通过过度近似来分解DNN的大小。如果没有虚假的反例，验证抽象DNN的结果总是结论性的。为了消除抽象引入的虚假反例，我们提出了一种新的反例引导的细化，该细化抽象DNN以排除给定的虚假反例，同时仍然过度近似原始反例。我们的方法是正交的，可以与许多现有的验证技术。为了演示，我们使用两个有前途的和精确的工具Marabou和Planet作为底层验证引擎来实现我们的方法，并在广泛使用的基准ACAS Xu，MNIST和CIFAR-10上进行评估。结果表明，我们的方法可以提高他们的性能，解决更多的问题，并减少高达86.3%和78.0%的验证时间，分别。与最相关的抽象细化方法相比，我们的方法快11.6-26.6倍。
2022-07-02 cs.LG cs.SE
Tighter Abstract Queries in Neural Network Verification
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Stanford University（斯坦福大学）
针对神经网络验证中的可扩展性难题，提出CEGARETTE机制，同时抽象和精化系统与属性，生成小而准确的抽象网络，在多个基准上显著提升验证性能。
2023-05-14 cs.LG cs.LO cs.NE
Robustness Verification of Support Vector Machines
University of Padova（帕多瓦大学）
我们研究的问题，正式验证的鲁棒性对抗的例子支持向量机（SVM），一个主要的机器学习模型的分类和回归任务。在最近的一系列关于（深度）神经网络的正式鲁棒性验证的工作之后，我们的方法依赖于一个给定SVM分类器的合理抽象版本来检查其鲁棒性。这种方法是一个给定的数值抽象的真实值的参数，类似于神经网络的情况下，既不需要抽象的最小上界，也不扩大运营商在这个抽象。标准的区间域提供了一个简单的实例，我们的抽象技术，这是增强与域的减少仿射形式，这是一个有效的抽象zonotope抽象域。这种鲁棒性验证技术已经在基于线性和非线性（多项式和径向基函数）内核的SVM上完全实现和实验评估，这些内核已经在流行的MNIST图像数据集和最近更具挑战性的Fashion-MNIST数据集上进行了训练。我们的原型SVM鲁棒性验证器的实验结果似乎是令人鼓舞的：这种自动化验证是快速的，可扩展的，并显示出显着高百分比的MNIST测试集上的可证明的鲁棒性，特别是相比类似的可证明的鲁棒性的神经网络。
2019-04-26 cs.LG stat.ML
Scalable Polyhedral Verification of Recurrent Neural Networks
ETH Zürich（苏黎世联邦理工学院）；VMWare Research（威睿研究部）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Hitachi Power Grids Research（日立电网研究院）
我们提出了一个可扩展的和精确的验证循环神经网络，称为证明基于两个新的想法：（i）一种方法来计算一组多面体抽象的非凸和非线性的经常性更新功能相结合的采样，优化和费马定理，和（ii）一个基于梯度下降的算法抽象细化的认证问题，结合多个抽象每个神经元的指导。使用Prover，我们提出了第一个证明循环神经网络的非平凡用例的研究，即语音分类。为了实现这一点，我们还为非线性语音预处理管道开发了自定义抽象。我们的评估表明，Prover成功地验证了计算机视觉，语音和运动传感器数据分类中的几个具有挑战性的经常性模型，超出了先前的工作。
2021-06-10 cs.LG cs.SD eess.AS
Learning Discrete State Abstractions With Deep Variational Inference
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
在具有大状态空间的域中，抽象对于有效的顺序决策至关重要。在这项工作中，我们提出了一个信息瓶颈的方法学习近似互模拟，一种类型的状态抽象。我们使用深度神经编码器将状态映射到连续嵌入。我们将这些嵌入映射到一个离散表示使用的动作条件隐马尔可夫模型，这是训练端到端的神经网络。我们的方法适用于高维状态的环境，并从马尔可夫决策过程中代理收集的经验流中学习。通过这种学习的离散抽象模型，我们可以在多目标强化学习设置中有效地规划看不见的目标。我们测试我们的方法在简化的机器人操作域的图像状态。我们还将其与以前的基于模型的方法进行比较，在离散网格世界的环境中找到互模拟。源代码可在https://github.com/ondrejba/discrete_abstractions上获得。
2021-01-11 cs.LG stat.ML
Abstract Diagrammatic Reasoning with Multiplex Graph Networks
University of Cambridge（剑桥大学）
抽象推理，特别是在视觉领域，是一种复杂的人类能力，但它仍然是人工神经学习系统的一个具有挑战性的问题。在这项工作中，我们提出了MXGNet，多层图神经网络的多面板图形推理任务。MXGNet结合了三个强大的概念，即对象级表示，图神经网络和多重图，用于解决视觉推理任务。MXGNet首先为图的所有面板中的每个元素提取对象级表示，然后形成一个多层多路复用图，捕获不同图面板中对象之间的多种关系。MXGNet总结了从任务图中提取的多个图，并使用此总结从给定的候选项中选择最可能的答案。我们已经在两种类型的图形推理任务上测试了MXGNet，即图三段论和Raven Progressive Matrices（RPM）。对于欧拉图三段论任务，MXGNet达到了99.8%的最高准确率。对于PGM和RAVEN这两个用于RPM推理的综合数据集，MXGNet的性能远远优于最先进的模型。
2020-06-19 cs.LG stat.ML
Modular meta-learning in abstract graph networks for combinatorial generalization
MIT（麻省理工学院）
模块化元学习是一种新的框架，它通过以不同的方式组合一小组神经模块来推广看不见的数据集。在这项工作中，我们提出了抽象的图形网络：使用图形作为系统的子部分的抽象，没有固定的节点分配到系统的子部分，我们需要监督。我们将这一想法与模块化元学习相结合，以获得一个灵活的框架，并将其组合推广到内置的的新任务。然后，我们用它来模拟推任意形状的物体从很少或没有训练数据。
2018-12-19 cs.LG stat.ML
Abstract Interpretation of Fixpoint Iterators with Applications to Neural Networks
ETH Zurich（苏黎世联邦理工学院）
本文提出面向数值不动点迭代器的抽象解释框架与 CH-Zonotope 域，并通过 CRAFT 在 monDEQ 上实现更快、更可扩展且更精确的验证。
2023-04-26 cs.AI cs.LG
Relational Weight Priors in Neural Networks for Abstract Pattern Learning and Language Modelling
深度神经网络已经成为自然语言处理（NLP）中的主导方法。然而，近年来，很明显，系统性方面存在缺陷，限制了NLP中深度学习的性能和数据效率。这些缺点可以在低级人工任务中清楚地显示出来，主要是在合成数据上。抽象模式是神经网络在对未知数据进行概括方面的最著名的难题。它们是由项目之间的关系定义的，比如相等，而不是它们的值。有人认为，这些低级问题表明神经网络无法系统地学习。在这项研究中，我们提出了嵌入式基于关系的模式（ERBP）作为一种新的方式来创建一个关系的归纳偏见，鼓励学习平等和基于距离的关系抽象模式。ERBP基于基于关系模式（RBP），但被建模为网络权重的贝叶斯先验，并在其他标准网络学习中作为正则化项实现。ERBP易于集成到标准神经网络中，并且不影响其学习能力。在我们的实验中，ERBP先验导致几乎完美的泛化时，从合成的无噪声序列学习抽象模式。ERBP还使用RNN、GRU和LSTM网络改进了单词和字符级别的自然语言模型以及旋律中的音高预测。我们还发现，在更复杂的任务学习图编辑距离和组合句子蕴涵的改进。ERBP始终优于RBP和标准网络，表明它能够实现抽象模式学习，这有助于自然语言任务的性能。
2021-03-10 cs.AI cs.CL cs.LG
An Abstraction-Based Framework for Neural Network Verification
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Intel Labs（英特尔实验室）
深度神经网络越来越多地被用作安全关键系统的控制器。由于神经网络是不透明的，因此验证其正确性是一项重大挑战。为了解决这个问题，最近提出了几种神经网络验证方法。然而，这些方法提供有限的可扩展性，并且将它们应用于大型网络可能具有挑战性。在本文中，我们提出了一个框架，可以提高神经网络验证技术，通过使用过度近似，以减少网络的大小-从而使其更适合验证。我们执行近似，使得如果该属性对较小的（抽象的）网络成立，那么它也对原始网络成立。过度近似可能太粗糙，在这种情况下，底层验证工具可能会返回一个虚假的反例。在这样的条件下，我们执行反例引导的细化来调整近似，然后重复该过程。我们的方法是正交的，并可以集成，许多现有的验证技术。为了评估的目的，我们将其与最近提出的Marabou框架，并观察到Marabou的性能显着改善。我们的实验表明，我们的方法验证较大的神经网络的巨大潜力。
2020-07-21 cs.FL cs.LG
Robustness Verification of Recurrent Neural Networks with Abstraction Refinement
National Science and Technology Council (NSTC), Taiwan（台湾国家科学与技术委员会）
提出抽象精化框架，通过分割预激活区间消除非线性松弛误差，并利用SHAP引导的时间步选择策略降低组合成本，显著提升RNN鲁棒性验证成功率。
2026-06-12 cs.LG
Causality in Neural Networks -- An Extended Abstract
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
因果推理是人类使用的主要学习和解释工具。人工智能系统应该具备因果推理能力，以便在现实世界中以信任和可靠的方式部署。将因果关系的思想引入机器学习有助于提供更好的学习和可解释的模型。可解释性、因果解纠缠是任何机器学习模型的一些重要方面。因果解释需要相信模型的决定，因果解纠缠学习对于迁移学习应用是重要的。我们利用因果关系的思想用于深度学习模型，以实现更好的和因果可解释的模型，这些模型在公平性，解纠缠表示等方面很有用。
2021-06-03 cs.AI cs.LG
Feature selection of neural networks is skewed towards the less abstract cue
University of Applied Sciences Koblenz（科布伦茨应用科学大学）
人工神经网络（ANN）已成为图像分类的重要工具，在研究和工业中有许多应用。然而，如何选择相关的图像特征以及数据属性如何影响这一过程在很大程度上仍然是未知的。特别是，我们感兴趣的抽象水平的图像线索与类成员关系的影响特征选择。我们进行实验与二进制图像，包含组合的线索，代表两个不同层次的抽象：一个是从一个随机分布的模式，其中类成员关系与统计的模式，其他一个组合的符号样的实体，其中的符号代码与类成员关系。当网络用两个线索同等重要的数据训练时，我们观察到较低抽象级别的线索，即，即使在具有许多层的网络中，模式也是学习的，而符号信息在很大程度上被忽略。只有当低级别线索的重要性低于高级别线索时，才能学习到类似符号的实体。这些发现提出了关于深度ANN学习的特征的相关性以及学习如何转向符号特征的重要问题。
2019-08-08 cs.CV cs.LG
A Relational Inductive Bias for Dimensional Abstraction in Neural Networks
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
本文提出关系瓶颈这一归纳偏置，使神经网络学习因子化、正交的低维表征，从而提升泛化与学习效率，并涌现类人规律性偏置和类符号灵活性。
2024-02-28 cs.AI cs.LG
Gradient-based inference of abstract task representations for generalization in neural networks
Massachusetts Institute of Technology（麻省理工学院）；Pontificia Universidad Catolica de Chile（智利天主教大学）；University of Warwick（华威大学）
提出基于梯度的推断（GBI）方法，通过优化任务表示层实现任务推断与重组，提升神经网络的学习效率、泛化能力并限制遗忘，同时具备不确定性估计和分布外检测优势。
2024-07-24 cs.LG cs.NE
Neural Abstraction-Based Controller Synthesis and Deployment
MPI-SWS（马克斯·普朗克软件系统研究所）；Newcastle University（纽卡斯尔大学）
本文提出基于神经网络压缩表示的抽象控制器综合与部署方法，通过在线算法和输出校正保证可靠性，并将控制器表示为神经网络与查找表组合，在基准实验中显著降低内存需求。
2023-07-07 cs.LG cs.SY eess.SY
Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian Approximation of Hidden Features
University of Liverpool（利物浦大学）；Defence Science and Technology Laboratory (Dstl)（国防科学与技术实验室）
深度神经网络（DNN）的验证和确认已经进行了深入的研究，旨在了解DNN是否以及如何应用于安全关键应用。然而，现有的验证和确认技术在DNN的大小和数据集的大小上都受到其可扩展性的限制。在本文中，我们提出了一种新的抽象方法，将DNN和数据集抽象为贝叶斯网络（BN）。我们利用降维技术来识别DNN的隐藏层已经学习的隐藏特征，并将每个隐藏特征与BN的节点相关联。在这个BN上，我们可以进行概率推理来理解DNN处理数据的行为。更重要的是，我们可以推导出一种运行时监控方法，以检测在操作时间罕见的输入和输入数据的协变量偏移。我们还可以调整现有的结构覆盖率引导测试技术（即，基于DNN的低级元素，例如神经元），以便生成更好地运用隐藏特征的测试用例。我们使用可在https://github.com/TrustAI/DeepConcolic上获得的DeepConcolic工具来实现和评估BN抽象技术。
2021-03-05 cs.LG cs.SE
Seeing Convolution Through the Eyes of Finite Transformation Semigroup Theory: An Abstract Algebraic Interpretation of Convolutional Neural Networks
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
研究人员正在积极尝试更好地了解卷积神经网络的代表性属性，以指导更好的网络设计和解释网络的计算性质。由于网络中参数的数量和网络架构的复杂性，获得这种见解可能是一项艰巨的任务。目前的神经网络解释方法包括贝叶斯概率解释和信息论解释。在这项研究中，我们采取了不同的方法来研究卷积神经网络，提出了一个抽象的代数解释，使用有限变换半群理论。具体来说，卷积层被分解并映射到有限空间。然后将所提出的有限变换半群的状态空间定义为卷积层内的单个元素，其中由周围的状态元素与卷积核元素组合定义的作用元素。定义了有限变换半群的生成元来完成这一解释。我们利用这种方法来分析所得到的有限变换半群的基本属性，以获得对卷积神经网络的表示属性的见解，包括对量化网络表示的见解。这样的有限变换半群解释还可以使得能够更好地理解固定格数据结构的界限之外，因此对于处理位于不规则格上的数据是有用的。此外，所提出的抽象代数解释被证明是可行的解释各种卷积神经网络架构内的卷积运算。
2019-05-26 cs.CV cs.LG cs.NE
Simpler is better: Multilevel Abstraction with Graph Convolutional Recurrent Neural Network Cells for Traffic Prediction
Gina Cody School of Engineering and Computer Science（吉娜·科迪工程与计算机科学学院）；Concordia University（康考迪亚大学）
近年来，图神经网络（GNNs）与递归神经网络（RNN）的变体相结合，在时空预测任务中达到了最先进的性能。对于交通预测来说尤其如此，其中GNN模型使用道路网络的图形结构来解释链路和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作，要么避免预定义的图形。本文提出了一种新的序列到序列架构，使用具有稀疏架构的GNN-RNN单元在多个抽象级别上提取时空相关性，以减少与更复杂设计相比的训练时间。通过多个编码器对相同的输入序列进行编码，并逐步增加编码器层，使网络能够通过多级抽象来学习一般和详细的信息。我们进一步提出了一个新的基准数据集的街道级段交通数据来自加拿大蒙特利尔。与高速公路不同，城市道路路段是循环的，具有复杂的空间依赖性。在METR-LA基准高速公路和我们的MSLTD街道级数据集上的实验结果表明，与基线方法相比，我们的模型在一小时预测中的性能提高了7%以上，同时与其他竞争方法相比，计算资源需求减少了一半以上。
2022-09-08 cs.CV cs.LG
Predicting Winning Regions in Parity Games via Graph Neural Networks (Extended Abstract)
German Aerospace Center (DLR)（德国航空航天中心（DLR））；University of Stuttgart（斯图加特大学）
针对奇偶博弈求解缺乏多项式最坏情况复杂度算法的问题，提出一种基于图神经网络的不完备多项式时间方法来确定获胜区域，在900个随机生成的博弈上验证了其有效性与高效性。
2023-07-27 cs.GT cs.LG
An Abstraction-Refinement Approach to Verifying Convolutional Neural Networks
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Stanford University（斯坦福大学）
卷积神经网络由于其在计算机视觉、图像处理等领域中的优异性能而获得了广泛的普及。不幸的是，现在众所周知，卷积网络经常产生错误的结果-例如，这些网络输入的微小扰动可能导致严重的分类错误。近年来，已经提出了许多验证方法来证明不存在此类错误，但这些方法通常适用于完全连接的网络，并且在应用于卷积网络时会遇到加剧的可扩展性问题。为了解决这一差距，我们在这里提出了Cnn-Abs框架，该框架特别针对卷积网络的验证。Cnn-Abs的核心是一种抽象-细化技术，它通过去除卷积连接来简化验证问题，这种方式可以完美地创建原始问题的过度近似;如果结果问题变得过于抽象，则恢复这些连接。Cnn-Abs旨在使用现有的验证引擎作为后端，我们的评估表明，它可以显着提高最先进的DNN验证引擎的性能，平均减少15.7%的运行时间。
2022-01-06 cs.CV cs.LG cs.LO
Combining Causal Models for More Accurate Abstractions of Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Pr(Ai)²R Group（Pr(Ai)²R 组）
针对单一高级算法难以忠实抽象神经网络的问题，本文提出组合多个简单因果模型并按输入建模计算状态，以在解释范围与交换干预准确率之间调节，提升对微调 GPT 2-small 的抽象准确性。
2025-03-14 cs.AI cs.LG
Temporal Embedding in Convolutional Neural Networks for Robust Learning of Abstract Snippets
CSIRO（澳大利亚联邦科学与工业研究组织）；Renmin University of China（中国人民大学）
由于各种类型的数据失真和错位，周期性时间序列的预测仍然具有挑战性。在这里，我们提出了一种新的模型，称为时间嵌入增强型卷积神经网络（TeNet），以学习周期性时间序列中重复出现但隐藏的结构元素，称为抽象片段，用于预测未来的变化。我们的模型使用卷积神经网络，并将时间序列与其在时间域中的潜在邻居嵌入，以将其与数据集中的主导模式对齐。该模型对时间域中的失真和错位具有鲁棒性，并对周期性时间序列具有较强的预测能力。我们进行了广泛的实验，发现所提出的模型显示出显着的和一致的优势，现有的方法对各种数据形态，从人类的流动性，家庭的功耗记录。实证结果表明，该模型是强大的各种因素，如样本数量，数据的方差，数据的数值范围等实验也验证了该模型背后的直觉可以推广到多个数据类型和应用程序，并承诺在整个研究的数据集的预测性能显着改善。
2015-02-18 cs.LG cs.NE
Learning Algorithmic Solutions to Symbolic Planning Tasks with a Neural Computer Architecture
Technische Universität Darmstadt（达姆施塔特工业大学）；Universität zu Lübeck（吕贝克大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
智能行为的一个关键特征是学习抽象策略的能力，这些策略可以转移到不熟悉的问题上。因此，我们提出了一种新的架构，基于内存增强网络，这是现代计算机的冯诺依曼和哈佛架构的启发。这种架构能够在强化学习环境中通过演化策略学习抽象算法解决方案。应用于推箱子，滑块拼图和机器人操作任务，我们表明，该架构可以学习算法的解决方案具有很强的泛化和抽象：扩展到任意任务配置和复杂性，并独立于数据表示和任务域。
2020-06-03 cs.AI cs.LG cs.NE
