A Direct Approximation of AIXI Using Logical State Abstractions
Australian National University（澳大利亚国立大学）
我们提出了一个实际的集成逻辑状态抽象与AIXI，贝叶斯优化概念的强化学习代理，显着扩展模型类，AIXI代理可以近似复杂的历史依赖和结构化的环境。状态表示和推理框架基于高阶逻辑，可用于定义和枚举非马尔可夫和结构化环境中的复杂特征。我们解决的问题，选择正确的子集的功能，形成状态抽象适应状态抽象理论的$Φ$ -MDP优化标准。精确的贝叶斯模型学习，然后实现使用适当的概括上下文树加权抽象状态序列。所得到的架构可以与不同的规划算法集成。在大规模接触网络上控制流行病的实验结果验证了该智能体的性能。
2022-10-13 cs.AI cs.LG
Delayed homomorphic reinforcement learning for environments with delayed feedback
Department of Convergence IT Engineering（融合信息科技系）；POSTECH（POSTECH大学）；Department of Electrical Engineering（电子工程系）
本文提出延迟同态强化学习框架，通过定义增广状态空间上的信念等价关系，解决延迟反馈下的状态空间爆炸问题，实现actor和critic的结构化抽象，提升连续域控制性能。
2026-05-02 cs.AI cs.LG
Realizable Abstractions: Near-Optimal Hierarchical Reinforcement Learning
Sapienza University of Rome（罗马萨皮恩扎大学）；King’s College London（伦敦国王学院）
本文提出可实现的抽象概念，通过定义新的关系解决HRL中抽象的表达能力和效率保证问题，并提出RARL算法生成近最优的低层策略。
2025-12-04 cs.AI cs.LG
Model-Invariant State Abstractions for Model-Based Reinforcement Learning
University of Alberta（阿尔伯塔大学）；FAIR（脸书人工智能研究院）
动力学模型的准确性和泛化性是基于模型的强化学习（MBRL）成功的关键。随着任务复杂性的增加，学习精确动力学模型的样本效率也会降低。然而，许多复杂的任务在动态中也表现出稀疏性，即，动作对系统动力学仅具有局部影响。在本文中，我们利用这个属性的因果不变性的角度来看，在单任务设置，引入一种新的类型的状态抽象称为\textit{model-invariance}。与先前形式的状态抽象不同，模型不变性状态抽象利用状态变量的因果稀疏性。这允许组合泛化到看不见的状态，这是状态抽象的非因子形式无法做到的。我们证明了一个最佳的政策，可以学习这个模型不变的状态抽象，并显示在一个简单的玩具域改进的泛化。接下来，我们提出了一种实用的方法来近似学习复杂域的模型不变表示，并通过在具有挑战性的任务（例如基于MuJoCo的Humanoid）上显示出比标准最大似然方法更好的建模性能来验证我们的方法。最后，在MBRL设置中，我们在其他连续控制任务的主机上显示出相对于样本效率的强大性能增益。
2021-06-07 cs.AI cs.LG cs.RO
Approximate Causal Abstraction
Utrecht University（乌得勒支大学）；Cornell University（康奈尔大学）
科学模型在不同的抽象层次上描述自然现象。抽象描述可以为系统的干预和对观察到的现象的解释提供基础，其粒度比系统的最基本的描述更粗糙。Beckers和Halpern（2019）在Rubenstein等人（2017）的工作基础上，开发了一种精确的因果模型抽象解释。在这里，我们将这个帐户扩展到更现实的情况下，一个抽象的因果模型只提供了一个近似的基本系统。我们将展示由此产生的帐户如何处理的差异，可能会出现低层次和高层次的因果模型之间的同一系统，并在此过程中提供一个帐户的因果模型如何近似另一个，一个独立的兴趣的话题。最后，我们将近似抽象的帐户扩展到概率因果模型，表明不确定性如何以及在何处可以进入近似抽象。
2019-06-29 cs.AI
Policy Gradient Methods in the Presence of Symmetries and State Abstractions
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；Harvard University（哈佛大学）；DeepMind
该研究将MDP同态拓展至连续状态动作空间，推导抽象MDP的策略梯度定理，提出可同时学习策略与同态映射的演员-评论家算法，在多类连续控制任务中实现了性能提升。
2024-03-07 cs.AI cs.LG
On the Sample Efficiency of Abstractions and Potential-Based Reward Shaping in Reinforcement Learning
AI Research Dept. JPMorganChase Madrid, ES（摩根大通西班牙马德里人工智能研究部）；AI Research Dept. JPMorganChase London, UK（摩根大通英国伦敦人工智能研究部）
本文分析了有限时间跨度下基于势函数的奖励塑形（PBRS）的偏差，提出利用抽象近似最优值函数作为势函数，在四个环境中显著提升了样本效率，并用简单全连接网络达到了CNN的性能。
2025-08-11 cs.AI cs.LG
Distillation of RL Policies with Formal Guarantees via Variational Abstraction of Markov Decision Processes (Technical Report)
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp – Flanders Make（安特卫普大学–法兰德斯制造）
我们认为，政策简化和验证的背景下，通过强化学习（RL）在连续环境中学习的政策的挑战。在行为良好的设置中，RL算法在极限内具有收敛保证。虽然这些保证是有价值的，但它们不足以用于安全关键型应用。此外，在应用深度RL等先进技术时，它们会丢失。为了在将高级RL算法应用于具有（i）可达性，（ii）安全约束可达性或（iii）折扣奖励目标的更复杂环境时恢复保证，我们基于Gelada等人提出的DeepMDP框架，推导出未知环境与其学习的离散潜在模型之间的新互模拟边界。我们的互模拟边界使形式化方法能够应用于马尔可夫决策流程.最后，我们展示了如何使用通过最先进的RL获得的策略来有效地训练一个变分自编码器，该编码器产生一个离散的潜在模型，具有可证明的近似正确的互模拟保证。此外，我们还获得了潜在模型的策略的一个精炼版本。
2022-06-14 cs.AI cs.LG
Value Iteration with Options and State Aggregation
Centre for Computational Statistics and Machine Learning（计算统计与机器学习中心）；University College London（伦敦大学学院）
本文提出了一种结合状态抽象和时间抽象的马尔可夫决策过程的求解方法。具体来说，我们结合状态聚合与选项框架，并证明它们可以很好地配合在一起，事实上，只有在两者结合之后，才能实现各自的全部好处。我们引入了一个层次值迭代算法，我们首先粗略地解决子目标，然后使用这些近似的解决方案，以准确地解决MDP。该算法比vanilla值迭代更快地解决了几个问题。
2015-01-16 cs.AI cs.LG stat.ML
Strategy Synthesis in POMDPs via Game-Based Abstractions
Albert-Ludwigs-Universität Freiburg（弗莱堡大学）；Concept Engineering GmbH（Concept Engineering有限公司）；RWTH Aachen University（亚琛工业大学）；Radboud University（拉德堡德大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究部分可观测马尔可夫决策过程（POMDPs）中的约束合成问题，其目标是计算一个代理的策略，保证满足一定的安全性和性能规范。然而，POMDPs的验证和策略合成一般在计算上是难以处理的。我们减轻这个困难，专注于规划应用程序和利用典型的结构特性，这样的情况下，例如，我们假设代理有能力观察自己的位置内的环境。我们提出了一个抽象的细化框架，把这样的POMDP模型变成一个（完全可观察的）概率两人游戏（PG）。对于所获得的PG，有效的验证和合成工具允许确定具有最佳安全性和性能措施的策略，这些措施近似于POMDP上的最佳参数。如果近似值太粗糙而不能满足给定的规范，则细化方案可以改进计算策略。作为一个运行的例子，我们使用的规划问题，代理移动的环境内随机移动的障碍物和有限的可观察性。我们证明了所提出的方法通过解决比现有POMDP求解器可以处理的问题大几个数量级的问题来推进最先进的技术。此外，该方法提供了安全约束的保证，这是不支持的大多数现有的求解器。
2019-05-27 cs.AI cs.RO
Learning Markov State Abstractions for Deep Reinforcement Learning
Brown University（布朗大学）
本文提出一组充分条件及结合逆模型估计与时间对比学习的训练方法，学习保持马尔可夫性质的抽象状态表示，在视觉网格世界和连续控制任务中提升样本效率，匹配或超越手工设计状态性能。
2024-03-15 cs.AI cs.LG stat.ML
Goal Space Abstraction in Hierarchical Reinforcement Learning via Set-Based Reachability Analysis
LIX, CNRS, École Polytechnique, Institut Polytechnique de Paris（法国国家科学研究中心、巴黎综合理工学院、巴黎理工学院 LIX 实验室）；Flowers Team, U2IS, ENSTA Paris, Institut Polytechnique de Paris & Inria（法国国立高等先进技术学院、巴黎理工学院 Flowers 团队与法国国家信息与自动化研究所）；IMT Atlantique, Lab-STICC（大西洋理工大学、STICC 实验室）
本文提出一种基于集合可达性分析的Feudal HRL算法，通过涌现表示自主发现并抽象具有相似作用的状态集合，同时学习目标表示与分层策略，实现可解释、可迁移且数据高效的学习。
2023-11-22 cs.AI cs.LG
Formal Verification of Unknown Dynamical Systems via Gaussian Process Regression
University of Colorado（科罗拉多大学）；TU Delft（代尔夫特理工大学）
本文提出一种基于高斯过程回归的形式化验证框架，用于从含噪数据中学习未知离散时间动力系统，并通过抽象为不确定马尔可夫决策过程及模型检查工具验证其满足时序逻辑规范，复杂度为多项式级。
2024-07-16 cs.AI cs.SY eess.SY
METRA: Scalable Unsupervised RL with Metric-Aware Abstraction
University of California, Berkeley（加州大学伯克利分校）
针对无监督强化学习在高维复杂环境中可扩展性不足的问题，提出基于度量感知抽象的METRA方法，通过覆盖与状态空间度量关联的紧凑潜在空间获取多样行为，实验证实其为首个在像素级四足、人形机器人环境中发现多样运动行为的无监督RL方法。
2024-03-10 cs.AI cs.LG cs.RO
Sound Abstraction of Probabilistic Actions in The Constraint Mass Assignment Framework
本文提供了一个正式的和实用的框架，合理的抽象概率行动。我们首先在有限时间规划（每个计划都是一个有限的行动序列）的背景下精确地定义了声音抽象的概念。接下来，我们表明，这种抽象不能在传统的概率动作表示，模型的世界与一个单一的概率分布的状态空间。然后，我们提出了约束质量分配表示，模型的世界与一组概率分布，是一个推广的质量分配表示。在这个框架内，我们提出了三种类型的动作抽象的声音抽象程序。最后，我们的讨论和相关工作的声音和近似抽象的文件。我们给指针的文件，我们讨论其他健全的抽象相关的问题，包括应用程序，估计损失由于抽象，自动生成抽象层次结构。
2013-02-13 cs.AI
A Sufficient Statistic for Influence in Structured Multiagent Environments
Delft University of Technology（代尔夫特理工大学）；Nissan Technical Center North America（北美日产技术中心）；Massachusetts Institute of Technology（麻省理工学院）
在复杂环境中做出决策是人工智能（AI）的一个关键挑战。涉及多个决策者的情况是特别复杂的，导致计算棘手的原则性解决方案的方法。人工智能领域的一系列工作试图通过将交互提取到本质来缓解这个问题：一个代理的策略如何影响另一个代理？如果我们能找到这种影响的更紧凑的表示，这可以帮助我们处理复杂性，例如通过搜索影响的空间而不是政策的空间。然而，到目前为止，这些影响的概念在它们对相互作用的特殊情况的适用性方面受到了限制。在本文中，我们形式化的影响为基础的抽象（IBA），这有利于消除潜在的状态因素，而没有任何损失的价值，为一类非常一般的问题，描述为因子化的部分可观察的随机游戏（fPOSGs）。一方面，这概括了现有的影响力描述，因此可以作为基础，在复杂的多智能体设置决策的可扩展性和其他见解的改进。另一方面，由于其他代理的存在可以被看作是一个单一的代理设置的泛化，我们制定的IBA也提供了一个足够的统计决策抽象下的一个单一的代理。我们还详细讨论了与这些以前的作品的关系，确定了这些方法的新见解和解释。通过这些方式，本文加深了我们对抽象的理解，在广泛的顺序决策设置，为一大类问题的新方法和算法提供了基础。
2021-03-01 cs.AI cs.MA
When Do Learned Blocks Preserve Causal Meaning? Block Identifiability and Constructive Causal Abstractions
University of Tübingen（蒂宾根大学）；ELLIS Institute Tübingen（ELLIS蒂宾根研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
该研究探讨学习模块的因果意义保留问题，关联模块可识别性与构造性因果抽象，证明特定变换类可保留因果抽象，实验显示高层干预可在独立学习的表示间近似转移效果。
2026-10-16 cs.AI cs.LG
Information-Theoretic Abstractions for Planning in Agents with Computational Constraints
Georgia Institute of Technology（佐治亚理工学院）；University of North Carolina, Charlotte（北卡罗来纳大学夏洛特分校）
在本文中，我们开发了一个框架，路径规划的抽象，不提供给代理先验，而是出现作为一个功能的可用计算资源。我们展示了如何在一个环境中的路径规划问题可以系统地近似解决一系列更容易解决的问题上的抽象的原始空间。对问题的性质进行了分析，并给出了一些理论结果和讨论。一个数值例子来显示该方法的实用性和证实的理论研究结果。最后，我们提供了一个讨论，详细介绍了所提出的方法，随时算法和有限理性的连接。
2021-02-23 cs.AI cs.IT cs.RO
Data-driven Abstractions with Probabilistic Guarantees for Linear PETC Systems
TU Delft（代尔夫特理工大学）
我们采用的情况下的方法来计算可能近似正确（PAC）的边界上产生的平均样本间时间（AIST）由一个未知的PETC系统，基于有限数量的样本。我们扩展的情况下的方法，多类SVM算法，以构建一个PAC映射之间的具体的，未知的状态空间和样本间的时间。然后，我们建立了一个流量模型，应用$\ell$ -完全关系，并找到，在底层图中，最小和最大的平均重量的周期：这些提供了上下限的AIST。数值基准测试表明，我们的方法，这是对基于模型的国家的最先进的工具进行比较的实用性。
2022-03-10 cs.AI cs.FL cs.SY
The Approximate Fisher Influence Function: Faster Estimation of Data Influence in Statistical Models
MIT（麻省理工学院）
本文将数据影响估计重构为加权经验风险最小化问题，利用信息几何提出近似 Fisher 影响函数算法，在非凸情况下仍有效，并显著降低计算成本。
2025-04-10 cs.AI cs.LG
LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Scale AI Research（Scale AI研究）
本文系统分析了GPT在抽象和推理语料库（ARC）上的表现，发现其识别和推理对象的能力受文本序列性影响，提出基于对象的表示方法，使任务解决率近乎翻倍，显著提升了LLM在非语言领域的推理能力。
2024-02-14 cs.AI cs.CL
Aligning Machine and Human Visual Representations across Abstraction Levels
Google DeepMind Machine Learning Group（谷歌DeepMind机器学习组）；Technische Universität Berlin（技术大学柏林）；BIFOLD；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Max Planck Institute for Human Cognitive and Brain Sciences（人类认知与脑科学Max Planck研究所）；Max Planck Institute for Human Development（人类发展Max Planck研究所）；TUD Dresden University of Technology（德累斯顿技术大学）；Anthropic；Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）；Max Planck Institute for Informatics（信息Max Planck研究所）
针对视觉模型与人类概念知识层级结构错位的问题，研究通过教师模型迁移人类对齐结构微调视觉基础模型，既提升了模型与人类行为的一致性，也增强了泛化与分布外鲁棒性。
2025-09-03 cs.AI cs.CV cs.LG
Toward Certified Robustness Against Real-World Distribution Shifts
Stanford University（斯坦福大学）；NRI Secure（NRI安全公司）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
我们考虑证明深度神经网络对现实世界分布偏移的鲁棒性的问题。要做到这一点，我们弥合手工制作的规范和现实的部署设置之间的差距，提出了一种新的神经符号验证框架，在该框架中，我们训练生成模型学习扰动数据和定义规范的输出学习模型。从这种设置中产生的一个独特的挑战是，现有的验证器不能紧密地近似sigmoid激活，这是许多最先进的生成模型的基础。为了解决这一挑战，我们提出了一个通用的元算法来处理sigmoid激活，它利用了经典的概念，反例指导的抽象细化。其关键思想是“懒惰地”细化sigmoid函数的抽象，以排除在先前抽象中发现的虚假反例，从而保证验证过程的进展，同时保持状态空间较小。在MNIST和CIFAR-10数据集上的实验表明，我们的框架在一系列具有挑战性的分布偏移方面显着优于现有方法。
2023-03-06 cs.AI cs.LG cs.LO
