Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Episodic Memory Deep Q-Networks
Tsinghua University（清华大学）；Microsoft（微软）；Microsoft Research（微软研究院）
近年来，通过利用深度神经网络（DNN）的强大功能，强化学习（RL）算法取得了巨大进展。尽管取得了成功，但深度RL算法被认为是样本效率低下的，通常需要与环境进行多轮交互才能获得令人满意的性能。最近，基于情景记忆的强化学习由于其快速锁定好动作的能力而引起了人们的关注。在本文中，我们提出了一种简单而有效的生物启发RL算法，称为情景记忆深度Q网络（EMDQN），它利用情景记忆在训练过程中监督代理。实验表明，我们提出的方法可以导致更好的样本效率，更有可能找到好的政策。它只需要DQN的1/5的交互就可以在Atari游戏上实现许多最先进的性能，显著优于常规DQN和其他基于情景记忆的RL算法。
2018-05-19 cs.AI cs.LG stat.ML
Two-Memory Reinforcement Learning
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
本文提出双记忆强化学习智能体2M，通过结合情景记忆的快速学习能力与强化学习的最优性和泛化能力，提升数据效率并优于现有记忆增强方法。
2023-04-23 cs.AI cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI（索尼人工智能研究院）；Birkbeck, University of London（伦敦大学伯贝克学院）
深度强化学习（RL）涉及使用深度神经网络（DNN）来做出顺序决策，以最大化奖励。对于许多任务来说，深度强化学习策略产生的动作序列可能很长，人类很难理解。人类解释的一个关键组成部分是选择性，即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解，并生成一组简洁的指令来帮助未来代理的学习。为此，我们使用了一个深度RL代理与情景记忆系统，以确定和叙述在政策执行过程中的关键决策。我们表明，这些决策形成了一个简短的、人类可读的解释，也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
Improving the Universality and Learnability of Neural Programmer-Interpreters with Combinator Abstraction
School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）；ColorfulClouds Technology Co., Ltd（彩云科技有限公司）
为了克服神经程序员解释器（NPI）在其通用性和可学习性方面的局限性，我们提出将组合子抽象纳入神经编程和一个新的NPI架构来支持这种抽象，我们称之为组合神经程序员解释器（CNPI）。组合器抽象极大地减少了需要由CNPI的核心控制器解释的程序的数量和复杂性，同时仍然允许CNPI通过核心与其他组件的协作来表示和解释任意复杂的程序。我们提出了一个小的四个组合子，以捕捉最普遍的编程模式。由于这个组合子集的有限性和简单性，以及从核心中卸下一些解释负担，我们能够构造一个CNPI，它对于所有可组合程序的集合是通用的，这足以解决大多数算法任务。此外，除了对执行轨迹的监督训练外，CNPI还可以通过策略梯度强化学习和适当设计的课程进行训练。
2018-02-08 cs.LG
Reward Structure Shapes the Interaction Between Episodic Exploration and Neural Memory in Reinforcement Learning
该研究通过对照实验揭示，强化学习中情景探索奖励与神经记忆的交互受奖励结构调控，二者互补，奖励诱导暴露、记忆将其转化为回报，还形式化了奖励稀疏性相关概念。
2026-08-06 cs.LG
Neural Constraint Satisfaction: Hierarchical Abstraction for Combinatorial Generalization in Object Rearrangement
UC Berkeley（加州大学伯克利分校）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；UT Austin（德克萨斯大学奥斯汀分校）
对象重排是一个挑战体现代理，因为解决这些任务需要概括在一个组合的大型集合的实体和它们的位置的配置。更糟糕的是，这些实体的表征是未知的，必须从感官知觉中推断出来。我们提出了一个层次化的抽象方法来揭示这些潜在的实体，并实现非结构化的视觉输入的组合泛化。通过构建一个因式分解的过渡图从像素推断的实体表示的集群，我们展示了如何学习干预代理模型中的实体状态和作用于环境中的对象之间的对应关系。我们使用这种对应关系来开发一种控制方法，该方法可以推广到不同数量和配置的对象，在模拟重排任务中进行评估时，其性能优于当前的离线深度RL方法。
2023-03-20 cs.AI cs.CV cs.LG
Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning
UIUC（伊利诺伊大学厄巴纳-香槟分校）；UT Austin（德克萨斯大学奥斯汀分校）
深度强化学习算法的最新进展在解决许多具有挑战性的现实问题方面显示出巨大的潜力和成功，包括围棋游戏和机器人应用。通常，这些算法需要精心设计的奖励函数来指导每个时间步的训练。然而，在现实世界中，设计这样的奖励函数并不简单，并且唯一可用的信号通常是在轨迹的末端获得的，也称为情节奖励或返回。在这项工作中，我们引入了一个新的算法的时间信用分配，学习分解的情节返回到每个时间步的轨迹使用深神经网络。利用该学习的奖励信号，可以显著提高情景强化学习的学习效率。特别是，我们发现，表达语言模型，如Transformer可以用于学习的重要性和依赖性的状态的轨迹，从而提供高质量和可解释的学习奖励信号。我们已经进行了广泛的实验，一组MuJoCo连续机车控制任务，只有情节的回报，并证明了我们的算法的有效性。
2019-05-31 cs.LG stat.ML
Episodic Exploration for Deep Deterministic Policies: An Application to StarCraft Micromanagement Tasks
Facebook AI Research（Facebook人工智能研究院）
我们认为从实时战略游戏星际争霸的场景作为新的基准强化学习算法。我们提出了微观管理任务，这提出了短期的问题，低层次的控制军队成员在战斗中。从强化学习的角度来看，这些场景是具有挑战性的，因为状态-动作空间非常大，并且因为状态-动作评估函数没有明显的特征表示。我们描述了我们的方法来解决微观管理的情况下，深神经网络控制器从原始状态的游戏引擎提供的功能。此外，我们提出了一个启发式强化学习算法，它结合了直接探索的政策空间和反向传播。该算法允许使用确定性策略收集用于学习的轨迹，这看起来比例如ε-贪婪探索更有效。实验表明，使用该算法，我们成功地学习了多达15个代理的军队的情况下，其中Q学习和REINFORCE斗争的非平凡策略。
2016-11-26 cs.AI cs.LG
Memento 2: Learning by Stateful Reflective Memory
UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
Memento 2通过状态化反思记忆机制，实现无需参数更新的持续学习，提升代理在开放任务中的泛化能力。
2026-01-29 cs.AI cs.CV cs.LG
Interpretable and Explainable Logical Policies via Neurally Guided Symbolic Abstraction
Technical University of Darmstadt（达姆施塔特工业大学）；National Research Center for Applied Cybersecurity（国家应用网络安全研究中心）；Eindhoven University of Technology（埃因霍温理工大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）
本文提出NUDGE框架，通过神经引导的可微逻辑规则搜索，构建兼具可解释性与可说明性的策略，其性能优于纯神经网络且适应不同环境规模。
2023-10-25 cs.AI cs.CL cs.LG
Episodic Reinforcement Learning with Expanded State-reward Space
Xiamen University（厦门大学）
本文提出一种扩展状态-奖励空间的片段控制强化学习框架，通过将检索历史状态与蒙特卡洛回报分别融入输入状态和即时奖励，提升样本效率并缓解 Q 值高估，在 Box2d 和 Mujoco 任务上验证了其优越性。
2024-01-19 cs.AI cs.LG
Episodic memory governs choices: An RNN-based reinforcement learning model for decision-making task
School of Mathematics, South China University of Technology（华南理工大学数学学院）；Centre for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）
研究认知功能的典型方法是在动物执行行为任务的训练期间记录动物神经元的电活动。一个关键的问题是，他们未能记录动物大脑中所有相关的神经元。为了缓解这个问题，我们开发了一个基于RNN的Actor-Critic框架，该框架通过强化学习（RL）进行训练，以解决两个类似于猴子决策任务的任务。训练后的模型能够再现动物大脑记录的神经活动的某些特征，或动物实验中表现出的某些行为特性，这表明它可以作为探索其他认知功能的计算平台。此外，我们对我们的框架进行了行为实验，试图探索神经科学中的一个悬而未决的问题：海马体中的情景记忆应该被选择来最终控制未来的决策。我们发现，在决策过程中，提取情景记忆中的显著事件比提取普通事件能有效地缩短审议时间。结果表明，存储在海马体中的显著事件可以优先传播奖励信息，从而使决策者能够更快地学习策略。
2021-01-24 cs.LG q-bio.NC
A Proposal for Intelligent Agents with Episodic Memory
HP Labs – HP Inc.（惠普实验室 – 惠普公司）
在未来，我们可以预期，人工智能代理，一旦部署，将需要不断学习他们的经验，在其操作寿命。这些代理还需要与人类和其他代理就其经验的内容进行沟通，在传递其学习的背景下，为了解释其在特定情况下的行为，或者只是为了更自然地与人类有关代理获得的经验，这些经验不一定与其分配的任务有关。我们认为，为了支持这些目标，代理将受益于情景记忆，也就是说，记忆编码代理的经验，以这样一种方式，代理可以重温的经验，沟通，并使用其过去的经验，包括代理自己过去的行动，学习更有效的模型和政策。在这篇简短的论文中，我们提出了一种潜在的方法来提供一个具有这种能力的人工智能智能体。我们利用不断增长的身体的工作检查的功能和操作的内侧颞叶（MTL）在哺乳动物中，以指导我们添加一个情景记忆的能力，人工人工智能智能体组成的人工神经网络（ANN）。在此基础上，我们强调的重要方面要考虑的内存组织，我们提出了一个架构结合人工神经网络和标准的计算机科学技术支持存储和检索的情景记忆。尽管是初步的工作，我们希望这篇简短的论文可以引发围绕创建具有记忆的智能代理的讨论，或者至少提供一个不同的观点。
2020-05-07 cs.AI
Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习有效和可解释的策略一直是强化学习（RL）中具有挑战性的任务，特别是在具有复杂场景的视觉RL环境中。虽然神经网络已经实现了具有竞争力的性能，但由此产生的策略通常是过度参数化的黑匣子，难以有效地解释和部署。最近的符号RL框架表明，高级特定于领域的编程逻辑可以被设计为处理策略学习和符号规划。然而，这些方法依赖于编码原语，几乎没有特征学习，当应用于高维视觉场景时，它们可能会遇到可扩展性问题，并且当图像具有复杂的对象交互时表现不佳。为了解决这些挑战，我们提出了\textit{Differentiable Symbolic Expression Search}（DiffSES），一种新的符号学习方法，发现离散的符号策略，使用部分可微优化。通过使用对象级抽象而不是原始像素级输入，DiffSES能够利用符号表达式的简单性和可扩展性优势，同时还结合了神经网络的优势，用于特征学习和优化。我们的实验表明，DiffSES能够生成比最先进的符号RL方法更简单，更可扩展的符号策略，减少了符号先验知识的数量。
2022-12-30 cs.AI cs.LG
Disentangling Abstraction from Statistical Pattern Matching in Human and Machine Learning
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；DeepMind；Princeton University（普林斯顿大学）
获得抽象知识的能力是人类智能的标志，许多人认为这是人类与神经网络模型之间的核心差异之一。代理可以通过元学习被赋予对抽象的归纳偏见，在元学习中，他们被训练分配任务，这些任务共享一些可以学习和应用的抽象结构。然而，由于神经网络很难解释，因此很难判断代理是否已经学习了底层抽象，或者作为该抽象特征的统计模式。在这项工作中，我们比较了人类和代理的性能在Meta强化学习范式中，任务是从抽象规则生成的。我们定义了一种新的方法来构建“任务同色异谱”，紧密匹配的抽象任务的统计数据，但使用不同的底层生成过程，并评估性能的抽象和同色异谱任务。我们发现人类在抽象任务上的表现比同色异谱任务更好，而普通的神经网络架构在抽象任务上的表现通常比匹配的同色异谱差。这项工作为表征人类和机器学习之间的差异提供了基础，这些差异可以用于未来开发具有更像人类行为的机器的工作。
2023-03-03 cs.AI cs.HC
Learning Discrete State Abstractions With Deep Variational Inference
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
在具有大状态空间的域中，抽象对于有效的顺序决策至关重要。在这项工作中，我们提出了一个信息瓶颈的方法学习近似互模拟，一种类型的状态抽象。我们使用深度神经编码器将状态映射到连续嵌入。我们将这些嵌入映射到一个离散表示使用的动作条件隐马尔可夫模型，这是训练端到端的神经网络。我们的方法适用于高维状态的环境，并从马尔可夫决策过程中代理收集的经验流中学习。通过这种学习的离散抽象模型，我们可以在多目标强化学习设置中有效地规划看不见的目标。我们测试我们的方法在简化的机器人操作域的图像状态。我们还将其与以前的基于模型的方法进行比较，在离散网格世界的环境中找到互模拟。源代码可在https://github.com/ondrejba/discrete_abstractions上获得。
2021-01-11 cs.LG stat.ML
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
分层强化学习专注于发现时间上扩展的动作，例如选项，可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项，这就是选项批评（OC）框架。我们在本文中研究并表明，OC不会将问题分解为更简单的子问题，而是增加了策略空间上的搜索大小，每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性，包括样本学习效率低下。为了解决这个问题，我们引入了深度选项学习的上下文特定表示抽象（CRADOL），这是一个新的框架，它考虑了时间抽象和上下文特定表示抽象，以有效地减少策略空间上的搜索大小。具体来说，我们的方法学习一个因子化的信念状态表示，使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层，非分层和模块化的递归神经网络基线，证明显着的样本效率的改善，在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
Lifelong Learning of Spatiotemporal Representations with Dual-Memory Recurrent Self-Organization
Universität Hamburg（汉堡大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
人工自主智能体和机器人在复杂的环境中进行交互，需要在持续的时间内不断获取和微调知识。从连续的信息流中学习的能力被称为终身学习，并且由于灾难性遗忘而代表了神经网络模型的长期挑战。终身学习的计算模型通常在实验场景中用给定的静态图像数据集和有限的复杂性来减轻灾难性遗忘，从而与人工代理所暴露的条件显著不同。在更自然的环境中，顺序信息可能会随着时间的推移逐渐变得可用，并且对先前经验的访问可能会受到限制。在本文中，我们提出了一个双记忆自组织结构的终身学习的情况下。该架构包括两个不断增长的经常性网络与学习对象实例（情景记忆）和类别（语义记忆）的互补任务。这两个不断增长的网络可以扩大响应新的感官体验：情景记忆学习细粒度的时空表征的对象实例在一个无监督的方式，而语义记忆使用任务相关的信号来调节结构可塑性水平，并开发更紧凑的表征从情景经验。为了在没有外部感觉输入的情况下巩固知识，情景记忆周期性地重放神经再激活的轨迹。我们在CORe50连续对象识别基准数据集上评估了所提出的模型，表明我们在三种不同的增量学习场景中显着优于当前的终身学习方法
2018-12-19 cs.AI
Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks
Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；Department of Mathematics and Statistics（数学与统计系）
该研究提出用于解释RNN机理的情景记忆理论，通过设计变量绑定任务验证RNN会收敛到对应回路，并提出特权基算法提升RNN可解释性，为理解RNN机制和衔接人工神经网络与神经记忆模型提供了新路径。
2023-10-03 cs.AI cs.LG cs.NE
Hierarchic-EEG2Text: Assessing EEG-To-Text Decoding across Hierarchical Abstraction Levels
IIT Gandhinagar（印度冈德辛加尔理工学院）；NIMH, NIH（国家卫生研究院神经精神疾病研究所）
本研究提出分层EEG2Text方法，通过多级抽象层级评估EEG到文本解码，揭示抽象深度对分类性能的影响。
2026-02-24 cs.HC cs.LG eess.SP
Loss Bounds for Approximate Influence-Based Abstraction
Delft University of Technology（代尔夫特理工大学）
序贯决策技术在提高许多现实系统的性能方面有着巨大的潜力，但计算复杂性阻碍了其原则性应用。基于影响的抽象旨在通过对局部子问题以及系统其余部分对它们施加的“影响”进行建模来获得杠杆作用。虽然计算这种影响的精确表示可能是棘手的，但学习近似表示提供了一种有前途的方法来实现可扩展的解决方案。本文从理论的角度研究了这种方法的性能。的主要贡献是推导出的充分条件近似的影响表示，可以保证解决方案的小价值损失。特别是，我们表明，交叉熵训练的神经网络非常适合学习近似的影响表示。此外，我们提供了一个基于样本的制定的界限，这减少了差距的应用。最后，我们的理论见解的驱动下，我们提出了近似误差估计，经验显示，以及相关的价值损失。
2021-02-23 cs.AI
Planning with State Abstractions for Non-Markovian Task Specifications
Brown University（布朗大学）
通常，我们使用也可以跨越不同抽象级别的时态语言为机器人指定任务。示例命令"go to the kitchen before going to second floor“包含空间抽象，因为”floor“由单独的房间组成，这些房间也可以单独引用（例如“kitchen”）。还有一个时间顺序的事件，定义为“之前”一词。以前的工作已经使用线性时态逻辑（LTL）来解释时间语言（如“之前”），和抽象马尔可夫决策过程（AMDPs）解释层次抽象（如“厨房”和“二楼”），分别。为了同时处理这两种类型的命令，我们引入了抽象产品马尔可夫决策过程（AP-MDP），这是一种能够在不同抽象层次上表示非马尔可夫奖励函数的新方法。AP-MDP框架将LTL转换为相应的自动机，创建LTL规范和环境MDP的产品马尔可夫决策过程（MDP），并将问题分解为子问题，以实现具有抽象的有效规划。在超过95%的任务中，AP-MDP比解决LTL问题的非分层方法执行得更快，并且这个数字只会随着环境域的大小增加而增加。我们还提出了一个神经序列到序列模型训练语言命令翻译成LTL表达，和一个新的语料库的非马尔可夫语言命令跨越不同层次的抽象。我们测试我们的框架与收集的语言命令在无人机上，证明我们的方法使机器人能够有效地解决时间命令在不同的抽象层次。
2019-05-28 cs.AI cs.RO
Epi-Curriculum: Episodic Curriculum Learning for Low-Resource Domain Adaptation in Neural Machine Translation
University of South Florida（南佛罗里达大学）；Snap Inc.（Snap公司）
提出Epi-Curriculum方法，结合情节训练框架与去噪课程学习，提升神经机器翻译在低资源领域适应中的鲁棒性与适应性，实验验证其在英德、英罗翻译上的有效性。
2023-09-06 cs.CL cs.LG
Intrinsic Motivation and Episodic Memories for Robot Exploration of High-Dimensional Sensory Spaces
The BioRobotics Institute, Scuola Superiore Sant'Anna（圣安娜高等学校生物机器人研究所）；Scuola Superiore Sant'Anna（圣安娜高等学校）；Sony Computer Science Laboratories（索尼计算机科学实验室）
这项工作提出了一种架构，产生好奇心驱动的目标导向的探索行为的图像传感器的微型农业机器人。已经使用了用于从图像离线无监督学习低维特征的深度神经网络和表示系统的逆运动学和正运动学的浅神经网络的在线学习的组合。人工好奇心系统将兴趣值分配给一组预定义的目标，并将探索推向那些有望最大化学习进度的目标。我们提出了整合的情景记忆的内在动机系统，以面对灾难性遗忘的问题，通常经历了在线更新的人工神经网络。我们的研究结果表明，采用情景记忆系统不仅可以防止计算模型快速忘记以前获得的知识，但也提供了新的途径调节可塑性和稳定性之间的平衡的模型。
2020-01-07 cs.AI cs.LG cs.RO
Bidirectional Progressive Neural Networks with Episodic Return Progress for Emergent Task Sequencing and Robotic Skill Transfer
Bogazici University（博阿齐奇大学）；Ozyegin University（奥兹耶金大学）；Osaka University（大阪大学）
提出 ERP-BPNN 多任务强化学习框架，利用软性 ERP 内在动机自主切换任务，并通过 BPNN 支持形态不同机器人间的双向技能迁移，仿真显示其收敛更快且各项指标更优。
2024-03-06 cs.AI cs.LG cs.RO
Episodic Multi-Task Learning with Heterogeneous Neural Processes
University of Amsterdam（阿姆斯特丹大学）；United Imaging Healthcare, Co., Ltd.（联影医疗科技股份有限公司）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Kaiyuan Mathematical Sciences Institute（开元数学科学研究院）
本文提出异构神经过程（HNPs），在情景多任务学习中利用跨任务异构信息与跨情景元知识缓解数据不足，并通过 Transformer 推理模块提升对新异构任务的适应能力。
2023-10-28 cs.LG
DeepAbstract: Neural Network Abstraction for Accelerating Verification
Technical University of Munich（慕尼黑工业大学）；Audi AG（奥迪股份公司）
虽然抽象是一个经典的验证工具，可以扩展它，但它并不经常用于验证神经网络。然而，它可以帮助完成将现有算法扩展到最先进的网络架构的仍然开放的任务。我们介绍了一个抽象的框架，适用于全连接前馈神经网络的基础上聚类的神经元，在一些输入的行为相似。对于ReLU的特定情况，我们还提供了抽象所引起的错误范围。我们展示了抽象如何减少网络的大小，同时保持其准确性，以及如何将抽象网络上的验证结果传输回原始网络。
2020-06-24 cs.AI cs.LG cs.LO
Neural Causal Abstractions
Columbia University（哥伦比亚大学）
本文提出一种通过聚类变量及其域构建的神经因果抽象方法，结合神经因果模型与表示学习，在有限数据和高维图像场景下实现可学习的多粒度因果识别、估计与采样。
2024-02-23 cs.AI cs.LG
Evolutionary Training and Abstraction Yields Algorithmic Generalization of Neural Computers
Intelligent Autonomous Systems, Technische Universität Darmstadt（达姆施塔特工业大学智能自主系统研究所）；Institute for Robotics and Cognitive Systems, Universität zu Lübeck（吕贝克大学机器人与认知系统研究所）；Robot Learning Group, Max-Planck Institute for Intelligent Systems（马克斯-普朗克智能系统研究所机器人学习组）
智能行为的一个关键特征是学习抽象策略的能力，这些策略可以扩展并转移到不熟悉的问题上。一个抽象的策略可以解决问题类中的每个样本，而不管它的表示或复杂性如何--就像计算机科学中的算法一样。神经网络是处理感官数据、发现隐藏模式和学习复杂函数的强大模型，但它们很难学习这种迭代、顺序或分层的算法策略。用外部存储器扩展神经网络增加了它们学习这些策略的能力，但它们仍然容易受到数据变化的影响，难以学习可扩展和可转移的解决方案，并且需要大量的训练数据。我们提出了神经哈佛计算机（NHC），一个内存增强的网络为基础的架构，采用抽象解耦算法操作从数据操作，实现分裂的信息流和分离的模块。这种抽象机制和进化训练使得能够学习鲁棒和可扩展的算法解决方案。在一组不同的11个算法具有不同的复杂性，我们表明，NHC可靠地学习算法的解决方案具有很强的泛化和抽象：完美的泛化和扩展到任意任务配置和复杂性远远超出了在训练过程中看到的，是独立的数据表示和任务域。
2021-05-17 cs.AI cs.LG cs.NE
Causal Abstractions of Neural Networks
Stanford（斯坦福大学）
结构分析方法（例如，探测和特征属性）是神经网络分析的越来越重要的工具。我们提出了一种新的结构分析方法接地因果抽象的形式理论，提供了丰富的模型内部表示及其在输入/输出行为中的作用的特点。在该方法中，神经表征与可解释因果模型中的变量对齐，然后使用交换干预来实验验证神经表征具有其对齐变量的因果属性。我们将这种方法应用于案例研究中，以分析在多重量化自然语言推理（MQNLI）语料库上训练的神经模型，MQNLI语料库是一个高度复杂的NLI数据集，它是用树结构的自然逻辑因果模型构建的。我们发现，一个基于BERT的模型与国家的最先进的性能成功地实现了自然逻辑模型的因果结构的一部分，而一个更简单的基线模型未能显示任何这样的结构，表明BERT表示编码的MQNLI的组成结构。
2021-10-27 cs.AI cs.LG
Neural-guided, Bidirectional Program Search for Abstraction and Reasoning
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）；Boston University（波士顿大学）；Princeton University（普林斯顿大学）
当今人工智能研究面临的挑战之一是设计能够利用系统推理来概括新任务的系统。抽象和推理语料库（ARC）通过一组视觉推理任务来衡量这种能力。在本文中，我们报告了ARC的渐进式进展，并为两种不基于蛮力搜索的抽象和推理方法奠定了基础。我们首先应用现有的程序合成系统称为DreamCoder创建符号抽象的任务解决到目前为止，并显示它如何使解决越来越具有挑战性的ARC任务。其次，我们设计了一个推理算法的动机，人类的方式接近ARC。我们的算法构造了一个搜索图，并在此图结构的原因，发现任务的解决方案。更具体地说，我们扩展现有的执行引导的程序合成方法与演绎推理的基础上的功能逆语义，使神经引导的双向搜索算法。我们证明了算法的有效性三个域：ARC，24场比赛的任务，和一个“双加”算术难题。
2021-10-26 cs.AI cs.LG
Towards Global Neural Network Abstractions with Locally-Exact Reconstruction
University of Manchester（曼彻斯特大学）；Federal University of Amazonas（亚马逊联邦大学）
本文提出了一种新颖的神经网络抽象技术GINNACER，通过中心精确重构在整个输入域上提供可靠的过近似界限，同时保证局部输入的精确重构，实验证明其性能显著优于现有全局抽象技术。
2023-03-31 cs.LG
On the Trade-off Between Efficiency and Precision of Neural Abstraction
University of Oxford（牛津大学）；University of Birmingham（伯明翰大学）
本文研究神经抽象在效率与精度间的权衡，提出分段常数与 sigmoid 非线性非多项式模板，并通过形式化归纳综合和可达性验证评估其性能。
2023-10-02 cs.LG cs.LO cs.SY
Syntactic vs Semantic Linear Abstraction and Refinement of Neural Networks
Technische Universität Dresden（德累斯顿工业大学）；Technical University of Munich（慕尼黑工业大学）；Masaryk University（马萨里克大学）
针对现有神经网络抽象方法规模缩减效果有限的问题，提出基于神经元线性组合的句法与语义抽象框架及精化方法，可在缩减程度与精度间实现更优平衡。
2023-07-20 cs.AI cs.LG cs.LO
Self-Abstraction Learning for Effective and Stable Training of Deep Neural Networks
Department of Mathematics, University of Seoul（首尔大学数学系）；Department of Applied Artificial Intelligence, Hansung University（翰 Sung 大学应用人工智能系）
本文提出自抽象学习框架，通过层级结构解决深度学习中的梯度消失、过拟合和不稳定问题，实验表明其在多种网络架构中表现优异，确保在数据稀缺场景下的鲁棒泛化能力。
2026-04-27 cs.AI cs.LG
Combining Causal Models for More Accurate Abstractions of Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Pr(Ai)²R Group（Pr(Ai)²R 组）
针对单一高级算法难以忠实抽象神经网络的问题，本文提出组合多个简单因果模型并按输入建模计算状态，以在解释范围与交换干预准确率之间调节，提升对微调 GPT 2-small 的抽象准确性。
2025-03-14 cs.AI cs.LG
Abstraction based Output Range Analysis for Neural Networks
Kansas State University（堪萨斯州立大学）
在本文中，我们考虑了带有ReLU激活函数的前馈神经网络的输出范围分析问题。现有的方法将输出范围分析问题归结为可满足性和优化求解问题，这是NP难问题，其计算复杂性随着网络中神经元数目的增加而增加。为了解决计算复杂性，我们提出了一种新的抽象技术，构建了一个更简单的神经网络与更少的神经元，虽然与区间权重称为区间神经网络（INN），过度近似给定的神经网络的输出范围。我们减少了对INNs的输出范围分析，以解决一个混合整数线性规划问题。我们的实验结果突出了计算时间和计算输出范围的精度之间的权衡。
2020-07-18 cs.LG
Shared Visual Abstractions
School of Design（设计学院）；Victoria University of Wellington（惠灵顿维多利亚大学）
本文介绍了由神经网络创建的抽象艺术，并在各种计算机视觉系统中广泛识别。抽象形式的存在触发了独立于神经架构或训练集的特定标签，这表明卷积神经网络为它们所理解的类别构建了共享的视觉表示。遇到这些图纸的计算机视觉分类器通常会对特定标签做出强烈响应-在极端情况下比验证集中的所有示例都要强。通过对人类主体的调查，我们确认这些抽象艺术品也被人们广泛认可，这表明这些绘画引发的视觉表现在人类和计算机视觉系统中共享。
2019-11-19 cs.AI cs.CV cs.LG
Operational Abstractions of Neural Network Concepts via Topological Representations
RPTU Kaiserslautern-Landau（莱茵兰-普法尔茨凯泽斯劳滕工业大学）；University of the Witwatersrand（威特沃特斯兰德大学）
提出拓扑概念表示（TCR），一种事后操作抽象，通过拓扑编码概念组织，统一干预框架，提升擦除方法最差组准确率21.89和概念迁移可恢复性5.54。
2026-10-06 cs.AI cs.LG
Outside the Box: Abstraction-Based Monitoring of Neural Networks
IST Austria（奥地利科学技术研究所）
神经网络在一系列分类任务中表现出无与伦比的性能。尽管研究界做出了许多努力，但新颖性检测仍然是神经网络的重要限制之一。将以前看不见的输入识别为新输入的能力对于我们理解神经网络做出的决策至关重要。在运行时，不属于在训练期间学习的任何类别的输入不能被神经网络正确分类。现有的方法将神经网络视为黑盒，并尝试基于输出预测的置信度来检测新的输入。然而，神经网络没有经过训练以降低它们对新输入的置信度，这限制了这些方法的有效性。我们提出了一个框架，通过观察隐藏层来监控神经网络。我们采用了一种来自程序分析的通用抽象--框--来识别监控层中的新行为，即，导致框外行为的输入。对于每个神经元，方框的范围涵盖了训练中看到的值。该框架是有效和灵活的，以实现所需的权衡之间提出错误的警告和检测新的输入。我们说明了流行的图像分类基准的性能和鲁棒性的未知类的变化。
2020-02-19 cs.AI cs.LG cs.LO
Neural Abstractions
University of Oxford（牛津大学）；University of Birmingham（伯明翰大学）
我们提出了一种新的方法，使用神经网络来表示其动态的抽象的非线性动力学模型的安全验证。神经网络以前曾被广泛用作逼近器;在这项工作中，我们更进一步，首次将它们用作抽象。对于一个给定的动力学模型，我们的方法合成一个神经网络，通过确保一个任意紧，正式认证的近似误差的范围overapproximates其动态。为此，我们采用了一个反例引导归纳合成过程。我们表明，这产生了一个神经ODE与非确定性的干扰，构成了一个正式的抽象的具体模型进行分析。这保证了一个基本属性：如果抽象模型是安全的，即，没有达到不期望状态的任何初始化轨迹，则具体模型也是安全的。通过使用带有ReLU激活函数的神经常微分方程作为抽象，我们将非线性动力学模型的安全验证问题转化为带有仿射动力学的混合自动机的安全验证问题，并使用SpaceEx进行验证。我们证明了我们的方法在现有的基准非线性模型上对成熟的工具Flow* 进行了验证。我们还证明，它是有效的模型，不表现出局部Lipschitz连续性，这是遥不可及的现有技术。
2023-01-27 cs.LG cs.LO cs.SY
A Relational Inductive Bias for Dimensional Abstraction in Neural Networks
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
本文提出关系瓶颈这一归纳偏置，使神经网络学习因子化、正交的低维表征，从而提升泛化与学习效率，并涌现类人规律性偏置和类符号灵活性。
2024-02-28 cs.AI cs.LG
Causal Mechanism Reduction: Mechanism Replacement for Neural Network Pruning and Abstraction
Vanderbilt University Medical Center（范德比尔特大学医学中心）
研究神经网络哪些内部机制可替换以保持计算，引入因果机制约简框架，将训练网络视为因果模型，替换变量并编译成更小网络，推导统一目标，其特殊情况涵盖多种方法，还揭示不变性要求，实验表明该框架有优势。
2026-07-07 cs.AI cs.LG
PLOT: Progressive Localization via Optimal Transport in Neural Causal Abstraction
Cornell University（康奈尔大学）
PLOT通过最优传输框架实现因果变量的定位，能够在不同复杂度的实验中高效定位因果抽象，提升因果解释的效率和准确性。
2026-10-06 cs.AI cs.LG stat.ML
A Transition System Abstraction Framework for Neural Network Dynamical System Models
School of Computer and Cyber Sciences, Augusta University（奥古斯塔大学计算机与网络科学学院）；School of Computing, University of Nebraska-Lincoln（内布拉斯加大学林肯分校计算学院）；School of Electrical Engineering, Southwest Jiaotong University（西南交通大学电气工程学院）
本文提出一种基于最大熵划分和集值可达性分析的转移系统抽象框架，将黑盒神经网络动力系统模型转化为可解释的转移系统，并通过计算树逻辑验证其在手写动力学等复杂系统中的有效性。
2024-02-18 cs.LG cs.SY eess.SY
Explaining, Fast and Slow: Abstraction and Refinement of Provable Explanations
Hebrew University of Jerusalem（希伯来大学）；Technical University of Munich（慕尼黑技术大学）
针对可证明充分解释计算的可扩展性难题，本文提出抽象—细化方法，利用缩减网络加速验证并迭代细化至收敛，提升效率且支持多层级细粒度解释。
2025-06-10 cs.AI cs.LG cs.LO
Optimization and Abstraction: A Synergistic Approach for Analyzing Neural Network Robustness
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
近年来，局部鲁棒性（或简称鲁棒性）的概念已经成为深度神经网络的理想属性。直观地说，鲁棒性意味着对输入的小扰动不会导致网络执行错误分类。提出了一种新的神经网络鲁棒性检验算法。我们的方法协同结合了基于梯度的优化方法的反例搜索与基于抽象的证明搜索，以获得一个健全的和（δ-）完整的决策过程。我们的方法还采用数据驱动的方法来学习验证策略，该策略在证明搜索期间指导抽象解释。我们已经实现了所提出的方法在一个工具，称为Charon和实验评估它的数百个基准。我们的实验表明，所提出的方法显着优于三个最先进的工具，即AI^2，Reluplex和Reluval。
2019-05-01 cs.LG cs.PL
The Neural Race Reduction: Dynamics of Abstraction in Gated Networks
Sainsbury Wellcome Centre, UCL（伦敦大学学院塞恩斯伯里·韦尔科姆中心）；Meta AI；CIFAR（加拿大高等研究院）
我们对深度学习的理论理解并没有跟上它的经验成功。虽然网络架构是众所周知的关键，我们还不了解它对学习表征和网络行为的影响，或者这种架构应该如何反映任务结构。在这项工作中，我们开始通过引入门控深度线性网络框架来解决这一差距，该框架图示了信息流的路径如何影响架构内的学习动态。至关重要的是，由于门控，这些网络可以计算其输入的非线性函数。我们得到一个确切的减少，并在某些情况下，确切的解决方案的动态学习。我们的分析表明，结构化网络中的学习动态可以被概念化为一个神经竞赛，它对共享表示有隐含的偏见，然后控制模型系统概括，多任务和转移的能力。我们验证了我们对自然主义数据集的关键见解，并采用了宽松的假设。总的来说，我们的工作产生了神经结构与学习相关的一般假设，并提供了一种数学方法来理解更复杂的结构的设计以及模块化和组合性在解决现实问题中的作用。代码和结果可在https://www.saxelab.org/gated-dln上获得。
2022-07-21 cs.AI cs.LG
Robustness Verification of Recurrent Neural Networks with Abstraction Refinement
National Science and Technology Council (NSTC), Taiwan（台湾国家科学与技术委员会）
提出抽象精化框架，通过分割预激活区间消除非线性松弛误差，并利用SHAP引导的时间步选择策略降低组合成本，显著提升RNN鲁棒性验证成功率。
2026-06-12 cs.LG
Abstraction and Refinement: Towards Scalable and Exact Verification of Neural Networks
Shenzhen University（深圳大学）；ShanghaiTech University（上海科技大学）
深度神经网络（DNN）作为一种新的编程范式，在实践中得到了越来越多的应用，但其鲁棒性的不足阻碍了其在安全关键领域的应用。虽然有一些技术可以用正式的保证来验证DNN，但它们在可扩展性和准确性方面受到限制。在本文中，我们提出了一种新的抽象细化方法，用于可扩展和精确的DNN验证。具体来说，我们提出了一种新的抽象，通过过度近似来分解DNN的大小。如果没有虚假的反例，验证抽象DNN的结果总是结论性的。为了消除抽象引入的虚假反例，我们提出了一种新的反例引导的细化，该细化抽象DNN以排除给定的虚假反例，同时仍然过度近似原始反例。我们的方法是正交的，可以与许多现有的验证技术。为了演示，我们使用两个有前途的和精确的工具Marabou和Planet作为底层验证引擎来实现我们的方法，并在广泛使用的基准ACAS Xu，MNIST和CIFAR-10上进行评估。结果表明，我们的方法可以提高他们的性能，解决更多的问题，并减少高达86.3%和78.0%的验证时间，分别。与最相关的抽象细化方法相比，我们的方法快11.6-26.6倍。
2022-07-02 cs.LG cs.SE
Customizable Reference Runtime Monitoring of Neural Networks using Resolution Boxes
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Verimag（Verimag实验室）；Inria（法国国家信息与自动化研究所）；LIG（格勒诺布尔计算机实验室）
分类神经网络无法检测不属于它们已被训练的类别的输入。可以使用对神经元激活模式的随机监测技术来检测这样的输入。我们提出了一种方法，通过数据抽象监测分类系统。数据抽象依赖于具有分辨率的框的概念。基于盒的抽象在于通过每个维度中的最小值和最大值来表示一组值。我们用分辨率的概念来增加盒子，并定义它们的聚类覆盖率，这是一个直观的量化指标，表明了抽象的质量。这允许研究不同的聚类参数对构造的盒子的影响，并估计次优参数的区间。此外，我们自动构建监视器，利用系统的正确和不正确的行为。这允许检查监视器抽象的大小并分析网络的可分性。通过组合放置在某些选定层的系统的每个类的子监视器来获得子监视器。我们的实验证明了我们的聚类覆盖估计的有效性，并显示如何评估的有效性和精度的监测器根据选定的聚类参数和监测层。
2021-07-12 cs.AI cs.CV cs.LG
Abstraction Mechanisms Predict Generalization in Deep Neural Networks
深度神经网络（DNN）的一个长期问题是理解它们令人困惑的泛化能力。我们通过\textit{cognitive abstraction mechanisms}的非传统角度来处理这个问题，从最近的神经科学工作中汲取灵感，使我们能够定义DNN的认知神经激活度量（CNA），这是给定输入的信息复杂性（熵）与网络深层中较高激活值的集中度之间的相关性。CNA对泛化能力具有高度预测性，在对超过100个小网络和网络架构组合的广泛评估中，表现优于基于范数和边缘的泛化度量，特别是在存在加性噪声和/或训练标签损坏的情况下。这些强有力的实证结果表明了CNA作为泛化度量的有用性，并鼓励进一步研究信息复杂性与网络深层表示之间的联系，以便更好地理解DNN的泛化能力。
2020-04-17 cs.LG q-bio.NC stat.ML
Human-Guided Complexity-Controlled Abstractions
MIT（麻省理工学院）；UC Irvine（加州大学尔湾分校）
本文提出通过调节离散表示分布的熵来控制表示复杂度，并证明人类能够借助可视化选择适合任务的复杂度水平，从而利用人类洞察实现快速模型微调。
2023-10-27 cs.AI cs.LG
