Learning by Abstraction: The Neural State Machine
Stanford University（斯坦福大学）
我们引入神经状态机，寻求弥合人工智能的神经和符号视图之间的差距，并将它们的互补优势整合到视觉推理任务中。给定一个图像，我们首先预测一个概率图，表示其底层语义，并作为一个结构化的世界模型。然后，我们在图上执行顺序推理，迭代地遍历其节点以回答给定的问题或得出新的推理。与大多数旨在与原始感觉数据密切交互的神经架构相比，我们的模型在抽象的潜在空间中运行，通过将视觉和语言模态转换为基于语义概念的表示，从而实现增强的透明度和模块化。我们在VQA-CP和GQA上评估了我们的模型，这两个最近的VQA数据集涉及组合性，多步推理和多种推理技能，在这两种情况下都取得了最先进的结果。我们提供了进一步的实验来说明该模型在多个维度上的强大泛化能力，包括概念的新颖组合、答案分布的变化和看不见的语言结构，从而证明了我们方法的质量和有效性。
2019-11-25 cs.AI cs.CL cs.CV
Optimized Piecewise Affine Abstractions of Neural Networks with Learnable Activation Functions
Department of Computer Science, University of Colorado Boulder（计算机科学系，科罗拉多大学波尔得分校）
本文提出一种基于KAN结构的最优抽象方法，通过分段仿射函数近似实现属性验证，结合动态规划和背包优化以平衡精度与计算效率。
2026-08-04 cs.AI cs.LG cs.LO
Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于一阶泰勒展开和余项界定的神经网络可达性分析方法，通过循环变换利用激活函数单调性，计算梯度和 Hessian 的解析界，并结合分支定界框架实现对大输入集合的精确分析。
2026-10-20 cs.LG cs.SY eess.SY
Towards Global Neural Network Abstractions with Locally-Exact Reconstruction
University of Manchester（曼彻斯特大学）；Federal University of Amazonas（亚马逊联邦大学）
本文提出了一种新颖的神经网络抽象技术GINNACER，通过中心精确重构在整个输入域上提供可靠的过近似界限，同时保证局部输入的精确重构，实验证明其性能显著优于现有全局抽象技术。
2023-03-31 cs.LG
Improving the Universality and Learnability of Neural Programmer-Interpreters with Combinator Abstraction
School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）；ColorfulClouds Technology Co., Ltd（彩云科技有限公司）
为了克服神经程序员解释器（NPI）在其通用性和可学习性方面的局限性，我们提出将组合子抽象纳入神经编程和一个新的NPI架构来支持这种抽象，我们称之为组合神经程序员解释器（CNPI）。组合器抽象极大地减少了需要由CNPI的核心控制器解释的程序的数量和复杂性，同时仍然允许CNPI通过核心与其他组件的协作来表示和解释任意复杂的程序。我们提出了一个小的四个组合子，以捕捉最普遍的编程模式。由于这个组合子集的有限性和简单性，以及从核心中卸下一些解释负担，我们能够构造一个CNPI，它对于所有可组合程序的集合是通用的，这足以解决大多数算法任务。此外，除了对执行轨迹的监督训练外，CNPI还可以通过策略梯度强化学习和适当设计的课程进行训练。
2018-02-08 cs.LG
Robustness Verification of Recurrent Neural Networks with Abstraction Refinement
National Science and Technology Council (NSTC), Taiwan（台湾国家科学与技术委员会）
提出抽象精化框架，通过分割预激活区间消除非线性松弛误差，并利用SHAP引导的时间步选择策略降低组合成本，显著提升RNN鲁棒性验证成功率。
2026-06-12 cs.LG
Ideal Abstractions for Decision-Focused Learning
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种方法，制定简化抽象的机器学习系统，通过识别和利用决策的效用结构。机器学习任务通常涉及高维输出空间（例如，对图像中的每个像素或图中的节点的预测），即使较粗糙的输出通常足以用于下游决策（例如，图像的区域而不是像素）。开发人员经常手工设计输出空间的抽象，但许多抽象是可能的，并且不清楚模型的输出空间的选择如何影响其在下游决策中的有用性。我们提出了一种自动配置输出空间的方法，以尽量减少决策相关信息的损失。从几何的角度来看，我们制定了一个步骤的算法作为一个投影的概率单纯形，称为倍，最大限度地减少总损失的决策相关的信息在H-熵的意义。至关重要的是，在抽象的结果空间中学习需要更少的数据，从而导致决策质量的净改善。我们在两个领域展示了该方法：用于深度神经网络训练的数据采集和闭环野火管理任务。
2023-03-29 cs.AI cs.LG
DeepAbstract: Neural Network Abstraction for Accelerating Verification
Technical University of Munich（慕尼黑工业大学）；Audi AG（奥迪股份公司）
虽然抽象是一个经典的验证工具，可以扩展它，但它并不经常用于验证神经网络。然而，它可以帮助完成将现有算法扩展到最先进的网络架构的仍然开放的任务。我们介绍了一个抽象的框架，适用于全连接前馈神经网络的基础上聚类的神经元，在一些输入的行为相似。对于ReLU的特定情况，我们还提供了抽象所引起的错误范围。我们展示了抽象如何减少网络的大小，同时保持其准确性，以及如何将抽象网络上的验证结果传输回原始网络。
2020-06-24 cs.AI cs.LG cs.LO
Neural Causal Abstractions
Columbia University（哥伦比亚大学）
本文提出一种通过聚类变量及其域构建的神经因果抽象方法，结合神经因果模型与表示学习，在有限数据和高维图像场景下实现可学习的多粒度因果识别、估计与采样。
2024-02-23 cs.AI cs.LG
Causal Abstractions of Neural Networks
Stanford（斯坦福大学）
结构分析方法（例如，探测和特征属性）是神经网络分析的越来越重要的工具。我们提出了一种新的结构分析方法接地因果抽象的形式理论，提供了丰富的模型内部表示及其在输入/输出行为中的作用的特点。在该方法中，神经表征与可解释因果模型中的变量对齐，然后使用交换干预来实验验证神经表征具有其对齐变量的因果属性。我们将这种方法应用于案例研究中，以分析在多重量化自然语言推理（MQNLI）语料库上训练的神经模型，MQNLI语料库是一个高度复杂的NLI数据集，它是用树结构的自然逻辑因果模型构建的。我们发现，一个基于BERT的模型与国家的最先进的性能成功地实现了自然逻辑模型的因果结构的一部分，而一个更简单的基线模型未能显示任何这样的结构，表明BERT表示编码的MQNLI的组成结构。
2021-10-27 cs.AI cs.LG
Optimization and Abstraction: A Synergistic Approach for Analyzing Neural Network Robustness
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
近年来，局部鲁棒性（或简称鲁棒性）的概念已经成为深度神经网络的理想属性。直观地说，鲁棒性意味着对输入的小扰动不会导致网络执行错误分类。提出了一种新的神经网络鲁棒性检验算法。我们的方法协同结合了基于梯度的优化方法的反例搜索与基于抽象的证明搜索，以获得一个健全的和（δ-）完整的决策过程。我们的方法还采用数据驱动的方法来学习验证策略，该策略在证明搜索期间指导抽象解释。我们已经实现了所提出的方法在一个工具，称为Charon和实验评估它的数百个基准。我们的实验表明，所提出的方法显着优于三个最先进的工具，即AI^2，Reluplex和Reluval。
2019-05-01 cs.LG cs.PL
Causality by Abstraction: Symbolic Rule Learning in Multivariate Timeseries with Large Language Models
Arizona State University（亚利桑那州立大学）
ruleXplain利用大语言模型提取多变量时间序列中的因果规则，通过生成反事实输入轨迹和闭环细化确保规则的可验证性和有效性。
2026-02-19 cs.LG
Abstraction and Refinement: Towards Scalable and Exact Verification of Neural Networks
Shenzhen University（深圳大学）；ShanghaiTech University（上海科技大学）
深度神经网络（DNN）作为一种新的编程范式，在实践中得到了越来越多的应用，但其鲁棒性的不足阻碍了其在安全关键领域的应用。虽然有一些技术可以用正式的保证来验证DNN，但它们在可扩展性和准确性方面受到限制。在本文中，我们提出了一种新的抽象细化方法，用于可扩展和精确的DNN验证。具体来说，我们提出了一种新的抽象，通过过度近似来分解DNN的大小。如果没有虚假的反例，验证抽象DNN的结果总是结论性的。为了消除抽象引入的虚假反例，我们提出了一种新的反例引导的细化，该细化抽象DNN以排除给定的虚假反例，同时仍然过度近似原始反例。我们的方法是正交的，可以与许多现有的验证技术。为了演示，我们使用两个有前途的和精确的工具Marabou和Planet作为底层验证引擎来实现我们的方法，并在广泛使用的基准ACAS Xu，MNIST和CIFAR-10上进行评估。结果表明，我们的方法可以提高他们的性能，解决更多的问题，并减少高达86.3%和78.0%的验证时间，分别。与最相关的抽象细化方法相比，我们的方法快11.6-26.6倍。
2022-07-02 cs.LG cs.SE
Neural-guided, Bidirectional Program Search for Abstraction and Reasoning
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）；Boston University（波士顿大学）；Princeton University（普林斯顿大学）
当今人工智能研究面临的挑战之一是设计能够利用系统推理来概括新任务的系统。抽象和推理语料库（ARC）通过一组视觉推理任务来衡量这种能力。在本文中，我们报告了ARC的渐进式进展，并为两种不基于蛮力搜索的抽象和推理方法奠定了基础。我们首先应用现有的程序合成系统称为DreamCoder创建符号抽象的任务解决到目前为止，并显示它如何使解决越来越具有挑战性的ARC任务。其次，我们设计了一个推理算法的动机，人类的方式接近ARC。我们的算法构造了一个搜索图，并在此图结构的原因，发现任务的解决方案。更具体地说，我们扩展现有的执行引导的程序合成方法与演绎推理的基础上的功能逆语义，使神经引导的双向搜索算法。我们证明了算法的有效性三个域：ARC，24场比赛的任务，和一个“双加”算术难题。
2021-10-26 cs.AI cs.LG
Syntactic vs Semantic Linear Abstraction and Refinement of Neural Networks
Technische Universität Dresden（德累斯顿工业大学）；Technical University of Munich（慕尼黑工业大学）；Masaryk University（马萨里克大学）
针对现有神经网络抽象方法规模缩减效果有限的问题，提出基于神经元线性组合的句法与语义抽象框架及精化方法，可在缩减程度与精度间实现更优平衡。
2023-07-20 cs.AI cs.LG cs.LO
A Transition System Abstraction Framework for Neural Network Dynamical System Models
School of Computer and Cyber Sciences, Augusta University（奥古斯塔大学计算机与网络科学学院）；School of Computing, University of Nebraska-Lincoln（内布拉斯加大学林肯分校计算学院）；School of Electrical Engineering, Southwest Jiaotong University（西南交通大学电气工程学院）
本文提出一种基于最大熵划分和集值可达性分析的转移系统抽象框架，将黑盒神经网络动力系统模型转化为可解释的转移系统，并通过计算树逻辑验证其在手写动力学等复杂系统中的有效性。
2024-02-18 cs.LG cs.SY eess.SY
Abstraction Mechanisms Predict Generalization in Deep Neural Networks
深度神经网络（DNN）的一个长期问题是理解它们令人困惑的泛化能力。我们通过\textit{cognitive abstraction mechanisms}的非传统角度来处理这个问题，从最近的神经科学工作中汲取灵感，使我们能够定义DNN的认知神经激活度量（CNA），这是给定输入的信息复杂性（熵）与网络深层中较高激活值的集中度之间的相关性。CNA对泛化能力具有高度预测性，在对超过100个小网络和网络架构组合的广泛评估中，表现优于基于范数和边缘的泛化度量，特别是在存在加性噪声和/或训练标签损坏的情况下。这些强有力的实证结果表明了CNA作为泛化度量的有用性，并鼓励进一步研究信息复杂性与网络深层表示之间的联系，以便更好地理解DNN的泛化能力。
2020-04-17 cs.LG q-bio.NC stat.ML
Simpler is better: Multilevel Abstraction with Graph Convolutional Recurrent Neural Network Cells for Traffic Prediction
Gina Cody School of Engineering and Computer Science（吉娜·科迪工程与计算机科学学院）；Concordia University（康考迪亚大学）
近年来，图神经网络（GNNs）与递归神经网络（RNN）的变体相结合，在时空预测任务中达到了最先进的性能。对于交通预测来说尤其如此，其中GNN模型使用道路网络的图形结构来解释链路和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作，要么避免预定义的图形。本文提出了一种新的序列到序列架构，使用具有稀疏架构的GNN-RNN单元在多个抽象级别上提取时空相关性，以减少与更复杂设计相比的训练时间。通过多个编码器对相同的输入序列进行编码，并逐步增加编码器层，使网络能够通过多级抽象来学习一般和详细的信息。我们进一步提出了一个新的基准数据集的街道级段交通数据来自加拿大蒙特利尔。与高速公路不同，城市道路路段是循环的，具有复杂的空间依赖性。在METR-LA基准高速公路和我们的MSLTD街道级数据集上的实验结果表明，与基线方法相比，我们的模型在一小时预测中的性能提高了7%以上，同时与其他竞争方法相比，计算资源需求减少了一半以上。
2022-09-08 cs.CV cs.LG
Efficient Neural Hybrid System Learning and Transition System Abstraction for Dynamical Systems
School of Computer and Cyber Sciences, Augusta University（奥古斯塔大学计算机与网络科学学院）；School of Electrical Engineering, Southwest Jiaotong University（西南交通大学电气工程学院）
本文提出一种用于动力系统的神经网络混合建模框架，通过低层多神经网络模型学习局部动力学，并用高层模型将其抽象为支持计算树逻辑验证的转移系统，实现高效且可解释的动力学学习与系统辨识。
2024-11-15 cs.LG cs.SY eess.SY
Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian Approximation of Hidden Features
University of Liverpool（利物浦大学）；Defence Science and Technology Laboratory (Dstl)（国防科学与技术实验室）
深度神经网络（DNN）的验证和确认已经进行了深入的研究，旨在了解DNN是否以及如何应用于安全关键应用。然而，现有的验证和确认技术在DNN的大小和数据集的大小上都受到其可扩展性的限制。在本文中，我们提出了一种新的抽象方法，将DNN和数据集抽象为贝叶斯网络（BN）。我们利用降维技术来识别DNN的隐藏层已经学习的隐藏特征，并将每个隐藏特征与BN的节点相关联。在这个BN上，我们可以进行概率推理来理解DNN处理数据的行为。更重要的是，我们可以推导出一种运行时监控方法，以检测在操作时间罕见的输入和输入数据的协变量偏移。我们还可以调整现有的结构覆盖率引导测试技术（即，基于DNN的低级元素，例如神经元），以便生成更好地运用隐藏特征的测试用例。我们使用可在https://github.com/TrustAI/DeepConcolic上获得的DeepConcolic工具来实现和评估BN抽象技术。
2021-03-05 cs.LG cs.SE
Combining Causal Models for More Accurate Abstractions of Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Pr(Ai)²R Group（Pr(Ai)²R 组）
针对单一高级算法难以忠实抽象神经网络的问题，本文提出组合多个简单因果模型并按输入建模计算状态，以在解释范围与交换干预准确率之间调节，提升对微调 GPT 2-small 的抽象准确性。
2025-03-14 cs.AI cs.LG
Neural Episodic Control with State Abstraction
Kyushu University（九州大学）；Technical University of Munich（慕尼黑工业大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Singapore Management University（新加坡管理大学）；University of Alberta（阿尔伯塔大学）；The University of Tokyo（东京大学）；Tianjin University（天津大学）
现有的深度强化学习（Deep Reinforcement Learning，DRL）算法存在样本效率低的问题。通常，基于情景控制的方法是利用高回报的过去经验来提高DRL算法的样本效率的解决方案。然而，先前的基于情景控制的方法未能利用来自历史行为的潜在信息（例如，状态转换、拓扑相似性等）并且在DRL训练期间缺乏可扩展性。这项工作介绍了神经情节控制与状态抽象（NECSA），一个简单但有效的基于状态抽象的情节控制包含一个更全面的情景记忆，一个新的状态评估，和一个多步骤的状态分析。我们评估了OpenAI健身房领域中MuJoCo和Atari任务的方法。实验结果表明，NECSA实现了更高的样本效率比国家的最先进的基于情节控制的方法。我们的数据和代码可在项目网站\footnote{\url{https://sites.google.com/view/drl-necsa}}上获得。
2023-02-20 cs.AI cs.LG cs.NE
Towards Interpreting Recurrent Neural Networks through Probabilistic Abstraction
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Huawei International Pte Ltd（华为国际私人有限公司）；National University of Singapore（新加坡国立大学）
神经网络正成为解决许多现实问题的流行工具，如对象识别和机器翻译，这要归功于其作为端到端解决方案的卓越性能。然而，神经网络是复杂的黑箱模型，这阻碍了人类解释并因此信任它们做出关键决策。为了解释神经网络，已经提出了几种方法来从神经网络中提取简单的确定性模型。结果并不令人鼓舞（例如，低准确性和有限的可扩展性），这主要是由于这种简单模型的有限表现力。在这项工作中，我们提出了一种方法来提取概率自动机解释一类重要的神经网络，即，循环神经网络我们的工作在两个重要方面区别于现有的方法。一是概率被用来弥补表现力的损失。这是由于观察到人类的推理往往是“概率论的”。另一个是我们自适应地识别正确的抽象级别，以便以特定于请求的方式提取简单的模型。我们使用最先进的架构（包括GRU和LSTM）在几个真实世界的数据集上进行实验。结果表明，我们的方法显着提高了现有的方法在准确性或可扩展性。最后，我们通过检测对抗性文本来证明提取模型的有用性。
2020-09-28 cs.LG stat.ML
Multi-Level Feature Abstraction from Convolutional Neural Networks for Multimodal Biometric Identification
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个深度多模态融合网络，融合多模态（人脸，虹膜和指纹）的个人身份识别。所提出的深度多模态融合算法由多个模态特定的卷积神经网络（CNN）流组成，这些流在多个特征抽象级别上进行联合优化。从每个模态特定的CNN在几个不同的卷积层提取多个特征，用于联合特征融合、优化和分类。在特定于模态的CNN的不同卷积层处提取的特征表示在若干不同抽象表示级别处的输入。我们证明了一个有效的多模态分类可以通过利用从所有模态特定的CNN中提取的这些多级抽象表示来显著减少网络参数的数量。我们通过在我们的多模态融合中利用所提出的多级特征抽象表示来证明多模态人员识别性能的提高，而不是仅使用每个模态特定CNN的最后一层的特征。我们表明，我们的深度多模态CNN与多模态融合在几个不同的特征级别抽象可以显着优于单峰表示的准确性。我们还证明了所有模态特定CNN的联合优化优于独立优化CNN的分数和决策级融合。
2018-07-03 cs.LG stat.ML
Neural Abstraction-Based Controller Synthesis and Deployment
MPI-SWS（马克斯·普朗克软件系统研究所）；Newcastle University（纽卡斯尔大学）
本文提出基于神经网络压缩表示的抽象控制器综合与部署方法，通过在线算法和输出校正保证可靠性，并将控制器表示为神经网络与查找表组合，在基准实验中显著降低内存需求。
2023-07-07 cs.LG cs.SY eess.SY
Evolutionary Training and Abstraction Yields Algorithmic Generalization of Neural Computers
Intelligent Autonomous Systems, Technische Universität Darmstadt（达姆施塔特工业大学智能自主系统研究所）；Institute for Robotics and Cognitive Systems, Universität zu Lübeck（吕贝克大学机器人与认知系统研究所）；Robot Learning Group, Max-Planck Institute for Intelligent Systems（马克斯-普朗克智能系统研究所机器人学习组）
智能行为的一个关键特征是学习抽象策略的能力，这些策略可以扩展并转移到不熟悉的问题上。一个抽象的策略可以解决问题类中的每个样本，而不管它的表示或复杂性如何--就像计算机科学中的算法一样。神经网络是处理感官数据、发现隐藏模式和学习复杂函数的强大模型，但它们很难学习这种迭代、顺序或分层的算法策略。用外部存储器扩展神经网络增加了它们学习这些策略的能力，但它们仍然容易受到数据变化的影响，难以学习可扩展和可转移的解决方案，并且需要大量的训练数据。我们提出了神经哈佛计算机（NHC），一个内存增强的网络为基础的架构，采用抽象解耦算法操作从数据操作，实现分裂的信息流和分离的模块。这种抽象机制和进化训练使得能够学习鲁棒和可扩展的算法解决方案。在一组不同的11个算法具有不同的复杂性，我们表明，NHC可靠地学习算法的解决方案具有很强的泛化和抽象：完美的泛化和扩展到任意任务配置和复杂性远远超出了在训练过程中看到的，是独立的数据表示和任务域。
2021-05-17 cs.AI cs.LG cs.NE
An Abstraction-Based Framework for Neural Network Verification
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Intel Labs（英特尔实验室）
深度神经网络越来越多地被用作安全关键系统的控制器。由于神经网络是不透明的，因此验证其正确性是一项重大挑战。为了解决这个问题，最近提出了几种神经网络验证方法。然而，这些方法提供有限的可扩展性，并且将它们应用于大型网络可能具有挑战性。在本文中，我们提出了一个框架，可以提高神经网络验证技术，通过使用过度近似，以减少网络的大小-从而使其更适合验证。我们执行近似，使得如果该属性对较小的（抽象的）网络成立，那么它也对原始网络成立。过度近似可能太粗糙，在这种情况下，底层验证工具可能会返回一个虚假的反例。在这样的条件下，我们执行反例引导的细化来调整近似，然后重复该过程。我们的方法是正交的，并可以集成，许多现有的验证技术。为了评估的目的，我们将其与最近提出的Marabou框架，并观察到Marabou的性能显着改善。我们的实验表明，我们的方法验证较大的神经网络的巨大潜力。
2020-07-21 cs.FL cs.LG
Outside the Box: Abstraction-Based Monitoring of Neural Networks
IST Austria（奥地利科学技术研究所）
神经网络在一系列分类任务中表现出无与伦比的性能。尽管研究界做出了许多努力，但新颖性检测仍然是神经网络的重要限制之一。将以前看不见的输入识别为新输入的能力对于我们理解神经网络做出的决策至关重要。在运行时，不属于在训练期间学习的任何类别的输入不能被神经网络正确分类。现有的方法将神经网络视为黑盒，并尝试基于输出预测的置信度来检测新的输入。然而，神经网络没有经过训练以降低它们对新输入的置信度，这限制了这些方法的有效性。我们提出了一个框架，通过观察隐藏层来监控神经网络。我们采用了一种来自程序分析的通用抽象--框--来识别监控层中的新行为，即，导致框外行为的输入。对于每个神经元，方框的范围涵盖了训练中看到的值。该框架是有效和灵活的，以实现所需的权衡之间提出错误的警告和检测新的输入。我们说明了流行的图像分类基准的性能和鲁棒性的未知类的变化。
2020-02-19 cs.AI cs.LG cs.LO
Flexible task abstractions emerge in linear networks with fast and bounded units
Imperial College London（帝国理工学院）
本文通过联合优化线性门控网络的权重与受快速、非负、有界约束的门，揭示任务抽象模块化涌现及其加速切换与组合泛化机制。
2025-01-16 cs.LG q-bio.NC
How are linear representations learned? Exact solutions to the dynamics of abstraction
研究线性表示在训练中如何学习，开发框架研究训练时概念方向对齐即“抽象”过程，在最小线性网络获精确解，扩展到非线性网络分析其影响，证明衰减定律，为抽象提供动力学理论，用于改进大语言模型线性探针泛化。
2026-07-13 cs.LG
Operational Abstractions of Neural Network Concepts via Topological Representations
RPTU Kaiserslautern-Landau（莱茵兰-普法尔茨凯泽斯劳滕工业大学）；University of the Witwatersrand（威特沃特斯兰德大学）
提出拓扑概念表示（TCR），一种事后操作抽象，通过拓扑编码概念组织，统一干预框架，提升擦除方法最差组准确率21.89和概念迁移可恢复性5.54。
2026-10-06 cs.AI cs.LG
Learning Discrete State Abstractions With Deep Variational Inference
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
在具有大状态空间的域中，抽象对于有效的顺序决策至关重要。在这项工作中，我们提出了一个信息瓶颈的方法学习近似互模拟，一种类型的状态抽象。我们使用深度神经编码器将状态映射到连续嵌入。我们将这些嵌入映射到一个离散表示使用的动作条件隐马尔可夫模型，这是训练端到端的神经网络。我们的方法适用于高维状态的环境，并从马尔可夫决策过程中代理收集的经验流中学习。通过这种学习的离散抽象模型，我们可以在多目标强化学习设置中有效地规划看不见的目标。我们测试我们的方法在简化的机器人操作域的图像状态。我们还将其与以前的基于模型的方法进行比较，在离散网格世界的环境中找到互模拟。源代码可在https://github.com/ondrejba/discrete_abstractions上获得。
2021-01-11 cs.LG stat.ML
Scalable Polyhedral Verification of Recurrent Neural Networks
ETH Zürich（苏黎世联邦理工学院）；VMWare Research（威睿研究部）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Hitachi Power Grids Research（日立电网研究院）
我们提出了一个可扩展的和精确的验证循环神经网络，称为证明基于两个新的想法：（i）一种方法来计算一组多面体抽象的非凸和非线性的经常性更新功能相结合的采样，优化和费马定理，和（ii）一个基于梯度下降的算法抽象细化的认证问题，结合多个抽象每个神经元的指导。使用Prover，我们提出了第一个证明循环神经网络的非平凡用例的研究，即语音分类。为了实现这一点，我们还为非线性语音预处理管道开发了自定义抽象。我们的评估表明，Prover成功地验证了计算机视觉，语音和运动传感器数据分类中的几个具有挑战性的经常性模型，超出了先前的工作。
2021-06-10 cs.LG cs.SD eess.AS
A Relational Inductive Bias for Dimensional Abstraction in Neural Networks
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
本文提出关系瓶颈这一归纳偏置，使神经网络学习因子化、正交的低维表征，从而提升泛化与学习效率，并涌现类人规律性偏置和类符号灵活性。
2024-02-28 cs.AI cs.LG
Causal Mechanism Reduction: Mechanism Replacement for Neural Network Pruning and Abstraction
Vanderbilt University Medical Center（范德比尔特大学医学中心）
研究神经网络哪些内部机制可替换以保持计算，引入因果机制约简框架，将训练网络视为因果模型，替换变量并编译成更小网络，推导统一目标，其特殊情况涵盖多种方法，还揭示不变性要求，实验表明该框架有优势。
2026-07-07 cs.AI cs.LG
An Abstraction-Refinement Approach to Verifying Convolutional Neural Networks
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Stanford University（斯坦福大学）
卷积神经网络由于其在计算机视觉、图像处理等领域中的优异性能而获得了广泛的普及。不幸的是，现在众所周知，卷积网络经常产生错误的结果-例如，这些网络输入的微小扰动可能导致严重的分类错误。近年来，已经提出了许多验证方法来证明不存在此类错误，但这些方法通常适用于完全连接的网络，并且在应用于卷积网络时会遇到加剧的可扩展性问题。为了解决这一差距，我们在这里提出了Cnn-Abs框架，该框架特别针对卷积网络的验证。Cnn-Abs的核心是一种抽象-细化技术，它通过去除卷积连接来简化验证问题，这种方式可以完美地创建原始问题的过度近似;如果结果问题变得过于抽象，则恢复这些连接。Cnn-Abs旨在使用现有的验证引擎作为后端，我们的评估表明，它可以显着提高最先进的DNN验证引擎的性能，平均减少15.7%的运行时间。
2022-01-06 cs.CV cs.LG cs.LO
Learning Shape Features and Abstractions in 3D Convolutional Neural Networks for Detecting Alzheimer's Disease
Universität Rostock（罗斯托克大学）
深度神经网络-特别是卷积神经网络（ConvNet）已成为图像分类、模式识别和各种计算机视觉任务的最新技术。ConvNet在医疗领域具有巨大的潜力，可以有效地分析医疗数据以诊断疾病。基于ConvNet模型从MRI数据中提取的特征，早期诊断对于预防进展和治疗阿尔茨海默病至关重要。尽管有能力提供出色的性能，但模型决策的可解释性的缺乏可能导致误诊，这可能危及生命。在这篇论文中，学习的形状特征和抽象的3D ConvNets检测阿尔茨海默氏症进行了研究，使用各种可视化技术。还检查了网络结构、使用的过滤器大小和过滤器形状的变化如何影响模型的整体性能和学习特征。不同模型的LRP相关图揭示了大脑的哪些部分与分类决策更相关。通过激活最大化比较学习的过滤器，显示了模式如何在网络的不同层中编码。最后，实现了来自卷积自动编码器的迁移学习，以检查增加具有输入补丁的训练样本的数量以提取低级特征是否改善了学习的特征和模型性能。
2020-09-10 cs.CV cs.LG eess.IV
PLOT: Progressive Localization via Optimal Transport in Neural Causal Abstraction
Cornell University（康奈尔大学）
PLOT通过最优传输框架实现因果变量的定位，能够在不同复杂度的实验中高效定位因果抽象，提升因果解释的效率和准确性。
2026-10-06 cs.AI cs.LG stat.ML
Explaining, Fast and Slow: Abstraction and Refinement of Provable Explanations
Hebrew University of Jerusalem（希伯来大学）；Technical University of Munich（慕尼黑技术大学）
针对可证明充分解释计算的可扩展性难题，本文提出抽象—细化方法，利用缩减网络加速验证并迭代细化至收敛，提升效率且支持多层级细粒度解释。
2025-06-10 cs.AI cs.LG cs.LO
Supporting Context Monotonicity Abstractions in Neural NLI Models
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
自然语言语境显示了关于相关概念替换的逻辑冲突：这些被捕获在称为单调性的函数序理论属性中。对于某一类NLI问题，其中所产生的蕴涵标签仅取决于上下文单调性和替代概念之间的关系，我们建立在以前的技术，旨在提高这些问题的NLI模型的性能，因为即使对于最先进的模型，在向上和向下单调的上下文中的一致性能似乎仍然很难达到。为此，我们重新定义了上下文单调性分类的问题，使其与基于transformer的预训练NLI模型兼容，并将此任务添加到训练管道中。此外，我们介绍了一个健全的和完整的简化单调性逻辑形式主义，它描述了我们的处理上下文作为抽象单位。使用我们的形式主义中的概念，我们适应有针对性的挑战集，以调查是否中间上下文单调性分类任务可以帮助NLI模型的表现表现单调性推理的例子。
2021-05-17 cs.CL cs.LG
Customizable Reference Runtime Monitoring of Neural Networks using Resolution Boxes
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Verimag（Verimag实验室）；Inria（法国国家信息与自动化研究所）；LIG（格勒诺布尔计算机实验室）
分类神经网络无法检测不属于它们已被训练的类别的输入。可以使用对神经元激活模式的随机监测技术来检测这样的输入。我们提出了一种方法，通过数据抽象监测分类系统。数据抽象依赖于具有分辨率的框的概念。基于盒的抽象在于通过每个维度中的最小值和最大值来表示一组值。我们用分辨率的概念来增加盒子，并定义它们的聚类覆盖率，这是一个直观的量化指标，表明了抽象的质量。这允许研究不同的聚类参数对构造的盒子的影响，并估计次优参数的区间。此外，我们自动构建监视器，利用系统的正确和不正确的行为。这允许检查监视器抽象的大小并分析网络的可分性。通过组合放置在某些选定层的系统的每个类的子监视器来获得子监视器。我们的实验证明了我们的聚类覆盖估计的有效性，并显示如何评估的有效性和精度的监测器根据选定的聚类参数和监测层。
2021-07-12 cs.AI cs.CV cs.LG
Neural Constraint Satisfaction: Hierarchical Abstraction for Combinatorial Generalization in Object Rearrangement
UC Berkeley（加州大学伯克利分校）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；UT Austin（德克萨斯大学奥斯汀分校）
对象重排是一个挑战体现代理，因为解决这些任务需要概括在一个组合的大型集合的实体和它们的位置的配置。更糟糕的是，这些实体的表征是未知的，必须从感官知觉中推断出来。我们提出了一个层次化的抽象方法来揭示这些潜在的实体，并实现非结构化的视觉输入的组合泛化。通过构建一个因式分解的过渡图从像素推断的实体表示的集群，我们展示了如何学习干预代理模型中的实体状态和作用于环境中的对象之间的对应关系。我们使用这种对应关系来开发一种控制方法，该方法可以推广到不同数量和配置的对象，在模拟重排任务中进行评估时，其性能优于当前的离线深度RL方法。
2023-03-20 cs.AI cs.CV cs.LG
ART: Abstraction Refinement-Guided Training for Provably Correct Neural Networks
Purdue University（普渡大学）；Rutgers University（罗格斯大学）
人工神经网络（ANN）在各种具有挑战性的机器学习应用中已经表现出显著的实用性。虽然他们的行为的正式验证的属性是高度期望的，他们已经证明是出了名的难以推导和执行。现有的方法通常将此问题表述为事后分析过程。在本文中，我们提出了一种新的学习框架，确保这种正式的保证，强制执行的建设。我们的技术能够训练可证明正确的网络，这些网络具有广泛的安全属性，这种能力远远超出了现有的方法，而不会影响准确性。我们的关键见解是，我们可以将基于优化的抽象细化循环集成到学习过程中，并在动态构建的输入空间分区上进行操作，以协同考虑准确性和安全性目标。细化过程迭代地分割从中提取训练数据的输入空间，由这样的分区实现安全验证的功效指导。我们已经在一个工具（ART）中实现了我们的方法，并将其应用于无人驾驶飞行员防撞系统ACAS Xu数据集和碰撞检测数据集的一般安全属性。重要的是，我们的经验表明，实现安全并不以牺牲准确性为代价。我们的方法表明，抽象细化方法为构建准确和正确的机器学习网络提供了一条有意义的途径。
2020-10-01 cs.AI cs.LG cs.PL
Neural networks for abstraction and reasoning: Towards broad generalization in machines
University of Cambridge（剑桥大学）
本研究探索多种神经网络方法（包括改进的DreamCoder和大型语言模型）解决抽象与推理语料库（ARC）任务，通过新语言、识别模型、编码方案及集成分析提升广泛泛化能力，并发布arckit库。
2024-02-05 cs.AI cs.CL cs.LG
Program Synthesis using Inductive Logic Programming for the Abstraction and Reasoning Corpus
INESCTEC-FCUP
针对 ARC 对强泛化与推理的挑战，本文提出以手工对象中心 DSL 作为背景知识、用 ILP 从少量网格示例合成逻辑程序的系统，并验证其可解决多种不同推理任务。
2024-05-10 cs.AI cs.LG cs.PL
Softly Induced Functional Simplicity: Implications for Neural Network Generalisation, Robustness, and Distillation
European Organization for Nuclear Research (CERN)（欧洲核子研究中心（CERN））
本研究通过柔和对称性尊重的归纳偏置，揭示了低复杂度解决方案在高能物理分类任务中提升泛化、鲁棒性和蒸馏效率的机制。
2026-01-15 cs.LG hep-ex
Human-Guided Complexity-Controlled Abstractions
MIT（麻省理工学院）；UC Irvine（加州大学尔湾分校）
本文提出通过调节离散表示分布的熵来控制表示复杂度，并证明人类能够借助可视化选择适合任务的复杂度水平，从而利用人类洞察实现快速模型微调。
2023-10-27 cs.AI cs.LG
Qualitative Projection Using Deep Neural Networks
University of Surrey（萨里大学）
深度神经网络（DNN）通过解调线性滤波器的输出进行抽象。在本文中，我们改进了抽象的定义，以表明DNN的输入是相对于过滤器抽象的。或者，重申一下，抽象是由过滤器限定的。这使我们引入定性投射的概念。我们使用定性投影抽象MNIST手写数字相对于各种狗，马，飞机和汽车的CIFAR数据集。然后，我们分类的MNIST数字根据他们的狗，马，平面和carness质量的大小，说明了定性投影的一般性。
2015-10-28 cs.LG cs.NE
Interpretable and Explainable Logical Policies via Neurally Guided Symbolic Abstraction
Technical University of Darmstadt（达姆施塔特工业大学）；National Research Center for Applied Cybersecurity（国家应用网络安全研究中心）；Eindhoven University of Technology（埃因霍温理工大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）
本文提出NUDGE框架，通过神经引导的可微逻辑规则搜索，构建兼具可解释性与可说明性的策略，其性能优于纯神经网络且适应不同环境规模。
2023-10-25 cs.AI cs.CL cs.LG
Automated Deep Abstractions for Stochastic Chemical Reaction Networks
University of Konstanz（康斯坦茨大学）；Centre for the Advanced Study of Collective Behaviour（集体行为高级研究中心）
从分子相互作用的机械模型中预测随机细胞动力学是系统生物学中的一个长期挑战：低级化学反应网络（CRN）模型引发了高维连续时间马尔可夫链（CTMC），其计算要求很高，并且通常在实践中无法分析。最近提出的一种抽象方法使用深度学习来用离散时间连续空间过程取代CTMC，方法是用以规则时间间隔采样的迹线（可以通过模拟给定的CRN或从实验中获得的时间序列数据来获得）训练混合密度深度神经网络。这种抽象的主要优点是，它产生了一个计算模型，执行起来非常便宜，同时保留了训练数据的统计特征。一般来说，抽象准确性随着训练数据量的增加而提高。然而，根据CRN，方法的整体质量-效率增益和抽象精度-也将取决于由超参数（例如层类型和它们之间的连接）给出的神经网络架构的选择。因此，在实践中，建模人员必须通过繁琐而耗时的反复试验来手动为每个给定的CRN找到合适的架构。在本文中，我们建议通过学习最佳神经网络架构以及学习抽象过程的转换内核，进一步自动化随机CRN的深度抽象。对架构的自动搜索使该方法直接适用于任何给定的CRN，这对于深度学习专家来说是节省时间的，对于非专家来说是至关重要的。我们实现了该方法，并证明了其性能上的一些代表性的CRN与多模态紧急表型。
2020-01-30 cs.LG q-bio.MN stat.ML
Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic
Auckland University of Technology（奥克兰理工大学）
卷积神经网络（CNN），如ResNet-50，DenseNet-40和ResNeXt-56是严重过度参数化的，因此需要增加模型训练所需的计算资源，模型训练以指数方式增加模型深度。在本文中，我们提出了一个基于熵的卷积层估计（EBCLE）启发式算法，这是强大的，简单的，但有效地解决了过度参数化的问题，关于CNN模型的网络深度。EBCLE启发式算法采用输入数据集的熵数据分布的先验知识来确定卷积网络深度的上限，超过该上限，恒等变换是普遍的，为增强模型性能提供了微不足道的贡献。通过强制特征压缩和抽象来限制深度冗余，限制了过度参数化，同时减少了24.99% - 78.59%的训练时间，而不会降低模型性能。我们提出了经验证据来强调使用EBCLE启发式训练的较宽但较浅的模型的相对有效性，该模型保持或优于较窄但较深的模型的基线分类准确性。EBCLE启发式算法在架构上是不可知的，并且基于EBCLE的CNN模型限制深度冗余，从而增强了对可用计算资源的利用。提出的EBCLE启发式是一种令人信服的技术，研究人员可以分析证明他们对CNN的HyperParameter（HP）选择。EBCLE启发式训练CNN模型的经验验证是在五个基准数据集（ImageNet 32，CIFAR-10/100，STL-10，MNIST）和四个网络架构（DenseNet，ResNet，ResNeXt和EfficientNet B 0-…
2021-06-27 cs.CV cs.LG
Gradient-based inference of abstract task representations for generalization in neural networks
Massachusetts Institute of Technology（麻省理工学院）；Pontificia Universidad Catolica de Chile（智利天主教大学）；University of Warwick（华威大学）
提出基于梯度的推断（GBI）方法，通过优化任务表示层实现任务推断与重组，提升神经网络的学习效率、泛化能力并限制遗忘，同时具备不确定性估计和分布外检测优势。
2024-07-24 cs.LG cs.NE
AGNES: Abstraction-guided Framework for Deep Neural Networks Security
AUDI AG（奥迪股份公司）；University of Twente（特温特大学）；Utrecht University（乌得勒支大学）
本文提出AGNES工具，通过抽象引导方法检测图像识别DNN中的后门，在多个案例研究中优于现有方法。
2023-11-07 cs.CR cs.CV cs.LG
Robustness Verification of Support Vector Machines
University of Padova（帕多瓦大学）
我们研究的问题，正式验证的鲁棒性对抗的例子支持向量机（SVM），一个主要的机器学习模型的分类和回归任务。在最近的一系列关于（深度）神经网络的正式鲁棒性验证的工作之后，我们的方法依赖于一个给定SVM分类器的合理抽象版本来检查其鲁棒性。这种方法是一个给定的数值抽象的真实值的参数，类似于神经网络的情况下，既不需要抽象的最小上界，也不扩大运营商在这个抽象。标准的区间域提供了一个简单的实例，我们的抽象技术，这是增强与域的减少仿射形式，这是一个有效的抽象zonotope抽象域。这种鲁棒性验证技术已经在基于线性和非线性（多项式和径向基函数）内核的SVM上完全实现和实验评估，这些内核已经在流行的MNIST图像数据集和最近更具挑战性的Fashion-MNIST数据集上进行了训练。我们的原型SVM鲁棒性验证器的实验结果似乎是令人鼓舞的：这种自动化验证是快速的，可扩展的，并显示出显着高百分比的MNIST测试集上的可证明的鲁棒性，特别是相比类似的可证明的鲁棒性的神经网络。
2019-04-26 cs.LG stat.ML
