LISA: Learning Interpretable Skill Abstractions from Language
Stanford University(斯坦福大学)
在复杂的多任务环境中有效利用语言指令的学习策略是顺序决策中的一个重要问题。虽然可以直接以整个语言教学为条件,但这种方法可能会出现泛化问题。在我们的工作中,我们提出了\emph{Learning Interpretable Skill Abstractions (LISA)},一个分层的模仿学习框架,可以学习不同的,可解释的原始行为或技能,从语言条件的演示,以更好地推广到看不见的指令。LISA使用矢量量化来学习与语言指令和学习策略的行为高度相关的离散技能代码。在导航和机器人操作环境中,LISA在低数据状态下优于强大的非分层决策Transformer基线,并且能够组合学习的技能来解决包含看不见的远程指令的任务。我们的方法展示了一种更自然的方式来处理顺序决策问题中的语言条件,并通过学习到的技能实现可解释和可控制的行为。
2022-12-06 cs.AI cs.CL cs.LG
Reconciling Spatial and Temporal Abstractions for Goal Representation
CNRS(法国国家科学研究中心);ENSTA Paris, IP Paris(巴黎高等国立先进技术学院、巴黎理工学院);IMT Atlantique(大西洋电信学院)
提出一种三层HRL算法,在层级结构中同时引入空间和时间目标抽象,有效解决了复杂连续控制任务并提供了策略遗憾界的理论保证。
2024-06-30 cs.AI cs.LG cs.RO
Causal Dynamics Learning for Task-Independent State Abstraction
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
准确地学习动态模型是基于模型的强化学习(MBRL)的一个重要目标,但大多数MBRL方法学习的是一个密集的动态模型,容易受到虚假相关性的影响,因此对不可见状态的泛化能力很差。在本文中,我们介绍了任务独立状态抽象(CDL)的因果动态学习,它首先学习一个理论上证明的因果动态模型,该模型消除了状态变量和动作之间不必要的依赖关系,从而很好地推广到看不见的状态。然后,可以从学习的动态中导出状态抽象,这不仅提高了样本效率,而且比现有的状态抽象方法适用于更广泛的任务。在两个模拟环境和下游任务上进行评估,所提出的方法学习的动力学模型和策略都很好地推广到不可见的状态,并且与没有它的学习相比,所导出的状态抽象提高了样本效率。
2022-06-27 cs.LG
Model-Invariant State Abstractions for Model-Based Reinforcement Learning
University of Alberta(阿尔伯塔大学);FAIR(脸书人工智能研究院)
动力学模型的准确性和泛化性是基于模型的强化学习(MBRL)成功的关键。随着任务复杂性的增加,学习精确动力学模型的样本效率也会降低。然而,许多复杂的任务在动态中也表现出稀疏性,即,动作对系统动力学仅具有局部影响。在本文中,我们利用这个属性的因果不变性的角度来看,在单任务设置,引入一种新的类型的状态抽象称为\textit{model-invariance}。与先前形式的状态抽象不同,模型不变性状态抽象利用状态变量的因果稀疏性。这允许组合泛化到看不见的状态,这是状态抽象的非因子形式无法做到的。我们证明了一个最佳的政策,可以学习这个模型不变的状态抽象,并显示在一个简单的玩具域改进的泛化。接下来,我们提出了一种实用的方法来近似学习复杂域的模型不变表示,并通过在具有挑战性的任务(例如基于MuJoCo的Humanoid)上显示出比标准最大似然方法更好的建模性能来验证我们的方法。最后,在MBRL设置中,我们在其他连续控制任务的主机上显示出相对于样本效率的强大性能增益。
2021-06-07 cs.AI cs.LG cs.RO
Learning to Reason as Action Abstractions with Scalable Mid-Training RL
Apple(苹果公司);Northwestern University(西北大学)
本文提出中期训练算法 RA3,通过强化学习迭代发现时间一致的潜在结构并在自举数据上微调,在多个代码生成基准上实现更快收敛与更高性能。
2025-10-11 cs.AI cs.CL cs.LG
Building Minimal and Reusable Causal State Abstractions for Reinforcement Learning
本文提出因果双模拟建模(CBM),通过学习任务动态与奖励中的因果关系,构建最小且可复用的任务特定状态抽象,从而在操作环境和Deepmind Control Suite中实现接近预言机的样本效率并优于基线。
2024-01-23 cs.AI cs.LG cs.RO
A Theory of Abstraction in Reinforcement Learning
Brown University(布朗大学)
强化学习定义了代理所面临的问题,这些代理仅通过行动和观察来学习做出良好的决策。为了成为有效的问题解决者,这些智能体必须有效地探索广阔的世界,从延迟反馈中分配信用,并推广到新的经验,同时利用有限的数据,计算资源和感知带宽。抽象对于所有这些努力都是必不可少的。通过抽象,智能体可以形成其环境的简洁模型,这些模型支持理性的、自适应的决策者所需的许多实践。在这篇论文中,我提出了一个强化学习的抽象理论。我首先为执行抽象过程的函数提供三个必要条件:它们应该1)保持接近最优行为的表示,2)有效地学习和构建,3)减少规划或学习时间。然后,我提出了一套新的算法和分析,澄清代理如何可以学习抽象根据这些desiderata。总的来说,这些结果提供了一条通往发现和使用抽象的部分路径,最大限度地减少了有效强化学习的复杂性。
2022-03-01 cs.AI cs.LG
Predictable MDP Abstraction for Unsupervised Model-Based RL
University of California, Berkeley(加州大学伯克利分校)
本文提出PMA,通过无监督学习仅包含可预测动作的变换MDP以提升动力学模型准确性,并支持零样本基于模型控制,在多个基准上显著优于先前方法。
2023-06-03 cs.AI cs.LG
Distillation of RL Policies with Formal Guarantees via Variational Abstraction of Markov Decision Processes (Technical Report)
Vrije Universiteit Brussel(布鲁塞尔自由大学);University of Antwerp – Flanders Make(安特卫普大学–法兰德斯制造)
我们认为,政策简化和验证的背景下,通过强化学习(RL)在连续环境中学习的政策的挑战。在行为良好的设置中,RL算法在极限内具有收敛保证。虽然这些保证是有价值的,但它们不足以用于安全关键型应用。此外,在应用深度RL等先进技术时,它们会丢失。为了在将高级RL算法应用于具有(i)可达性,(ii)安全约束可达性或(iii)折扣奖励目标的更复杂环境时恢复保证,我们基于Gelada等人提出的DeepMDP框架,推导出未知环境与其学习的离散潜在模型之间的新互模拟边界。我们的互模拟边界使形式化方法能够应用于马尔可夫决策流程.最后,我们展示了如何使用通过最先进的RL获得的策略来有效地训练一个变分自编码器,该编码器产生一个离散的潜在模型,具有可证明的近似正确的互模拟保证。此外,我们还获得了潜在模型的策略的一个精炼版本。
2022-06-14 cs.AI cs.LG
Markov Abstractions for PAC Reinforcement Learning in Non-Markov Decision Processes
Sapienza University of Rome(罗马第一大学)
我们的工作旨在开发不依赖于马尔可夫假设的强化学习算法。我们考虑一类非马尔可夫决策过程的历史可以抽象成一个有限的状态集,同时保持动态。我们称之为马尔可夫抽象,因为它在编码非马尔可夫动态的一组状态上诱导马尔可夫决策过程。这种现象是最近引入的规则决策过程(以及POMDP,其中只有有限数量的信念状态是可达的)的基础。在所有这些类型的决策过程中,使用马尔可夫抽象的代理可以依靠马尔可夫属性来实现最佳行为。我们表明,马尔可夫抽象可以在强化学习。我们的方法结合了自动机学习和经典的强化学习。对于这两个任务,可以采用标准算法。我们表明,我们的方法有PAC的保证时,所采用的算法有PAC的保证,我们还提供了一个实验评估。
2022-05-18 cs.AI cs.LG
CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);KAIST Graduate School of AI(韩国科学技术院人工智能学院)
元规划,或从经验中学习指导规划,是一种有前途的方法,以提高规划的计算成本。一般的元规划策略是学习对代理所考虑的状态和所采取的行动施加约束。我们观察到,(1)施加约束可以诱导特定于上下文的独立性,使域的某些方面不相关,(2)代理可以通过对自己的行为施加约束来利用这一事实。这些观察使我们提出了上下文特定的抽象马尔可夫决策过程(CAMP),一个抽象的因素MDP,提供有效的规划。然后,我们描述了如何学习约束,使CAMP优化奖励和计算成本之间的权衡。我们的实验考虑了四个领域的五个规划者,包括机器人在可移动障碍物之间的导航(NAMO),机器人任务和顺序操作的运动规划,以及经典规划。我们发现,使用学习过的CAMP进行规划,可以始终优于基线,包括Stilman的NAMO特定算法。视频:https://youtu.be/wTXt6djcAd4代码:https://git.io/JTnf6
2020-11-08 cs.AI cs.LG cs.RO
Using Natural Language and Program Abstractions to Instill Human Inductive Biases in Machines
Princeton Neuroscience Institute(普林斯顿神经科学研究所);DeepMind(深度思维);Princeton University(普林斯顿大学)
强烈的归纳偏见使人类能够快速学习执行各种任务。虽然元学习是一种赋予神经网络有用的归纳偏差的方法,但通过元学习训练的代理有时可能会获得与人类非常不同的策略。我们发现,共同训练这些代理预测表示从自然语言任务描述和程序诱导产生这样的任务引导他们走向更人性化的归纳偏见。人类生成的语言描述和程序归纳模型,添加新的学习原语都包含抽象的概念,可以压缩描述长度。这些表示的共同训练导致下游Meta强化学习代理的行为比不那么抽象的控制(合成语言描述,没有学习原语的程序归纳)更像人类,这表明这些表示支持的抽象是关键。
2023-02-05 cs.AI
Disentangling Abstraction from Statistical Pattern Matching in Human and Machine Learning
Princeton Neuroscience Institute(普林斯顿神经科学研究所);DeepMind;Princeton University(普林斯顿大学)
获得抽象知识的能力是人类智能的标志,许多人认为这是人类与神经网络模型之间的核心差异之一。代理可以通过元学习被赋予对抽象的归纳偏见,在元学习中,他们被训练分配任务,这些任务共享一些可以学习和应用的抽象结构。然而,由于神经网络很难解释,因此很难判断代理是否已经学习了底层抽象,或者作为该抽象特征的统计模式。在这项工作中,我们比较了人类和代理的性能在Meta强化学习范式中,任务是从抽象规则生成的。我们定义了一种新的方法来构建“任务同色异谱”,紧密匹配的抽象任务的统计数据,但使用不同的底层生成过程,并评估性能的抽象和同色异谱任务。我们发现人类在抽象任务上的表现比同色异谱任务更好,而普通的神经网络架构在抽象任务上的表现通常比匹配的同色异谱差。这项工作为表征人类和机器学习之间的差异提供了基础,这些差异可以用于未来开发具有更像人类行为的机器的工作。
2023-03-03 cs.AI cs.HC
RLlib: Abstractions for Distributed Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)算法涉及高度不规则计算模式的深度嵌套,其中每一个通常表现出分布式计算的机会。我们主张通过自上而下的分层控制算法,以可组合的方式分发RL组件,从而将并行性和资源需求封装在短期运行的计算任务中。我们通过RLlib证明了这一原则的好处:一个为RL提供可扩展软件原语的库。这些原语使广泛的算法能够以高性能、可伸缩性和大量的代码重用来实现。RLlib可在https://rllib.io/上获得。
2018-06-29 cs.AI cs.DC cs.LG
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning
McGill University(麦吉尔大学);Microsoft Research Montreal(微软研究院蒙特利尔分部);Université de Montréal(蒙特利尔大学);Mila(米拉研究所);Sony AI(索尼人工智能公司);Google DeepMind(谷歌DeepMind)
提出受人类意识启发的Skipper框架,通过时空抽象自动分解任务为子任务,以有向图代理问题端到端学习,在零样本泛化上优于现有分层规划方法。
2024-03-16 cs.AI cs.LG
Approximate Exploration through State Abstraction
虽然从理论的角度来看,强化学习的探索是很好的理解,可证明正确的方法仍然是不切实际的。在本文中,我们研究探索和近似之间的相互作用,我们称之为近似探索。我们的主要目标是进一步我们对基于伪计数的探索奖金的理论理解(Bellemare等人,2016年),一个基于密度建模的实用勘探方案。作为热身,我们量化的探索算法,MBIE-EB(Strehl和Littman,2008年),明确结合状态聚合时的性能。这使我们能够确认,正如预期的那样,近似允许代理在学习速度和学习策略的质量之间进行权衡。接下来,我们将展示一个给定的密度模型如何与抽象相关联,以及相应的伪计数奖金可以作为MBIE-EB中的替代品与此抽象相结合,但可能会导致探索不足或过度。然后,我们表明,一个给定的密度模型也定义了一个隐式的抽象,并找到一个令人惊讶的不匹配的伪计数隐式或显式派生。最后,我们得到了一个新的伪计数奖金缓解这个问题。
2019-01-24 cs.AI cs.LG stat.ML
Planning with Abstract Learned Models While Learning Transferable Subtasks
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Simmons University(西蒙斯大学)
我们介绍了一种基于模型的分层强化学习算法,以获得自包含的过渡和奖励模型适用于概率规划在多个抽象层次。我们称这个框架为抽象学习模型规划(PALM)。通过使用一种新的形式化结构,即提升抽象马尔可夫决策过程(L-AMDP)来象征性地表示子任务,PALM学习独立和模块化的模型。通过我们的实验,我们展示了PALM如何整合规划和执行,促进快速有效地学习抽象的层次模型。我们还展示了学习模型转移到新的相关任务的潜力。
2020-06-12 cs.AI cs.LG cs.RO
Semantic Exploration from Language Abstractions and Pretrained Representations
DeepMind(深度思维)
本文提出利用自然图像描述数据预训练的视觉-语言表示构建语义状态抽象以定义新颖性,从而改善高维3D环境中的强化学习探索,并通过两类任务与消融实验验证其有效性。
2023-04-26 cs.AI cs.LG
Policy Gradient Methods in the Presence of Symmetries and State Abstractions
McGill University(麦吉尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);Harvard University(哈佛大学);DeepMind
该研究将MDP同态拓展至连续状态动作空间,推导抽象MDP的策略梯度定理,提出可同时学习策略与同态映射的演员-评论家算法,在多类连续控制任务中实现了性能提升。
2024-03-07 cs.AI cs.LG
Uniform State Abstraction For Reinforcement Learning
University of York(约克大学);L3S Research Center, Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心)
基于潜力的奖励塑造结合基于适当定义的抽象知识的潜力函数已被证明可以显着提高强化学习的学习速度。多网格强化学习(MRL)进一步表明,这种抽象的知识,在一个潜在的功能的形式,可以学习几乎完全从代理与环境的互动。然而,我们发现,MRL面临着无法很好地扩展到深度学习的问题。在本文中,我们扩展和改进了MRL,以利用现代深度学习算法,如深度Q网络(DQN)。我们表明,DQN增强我们的方法在连续控制任务上的表现显着优于其香草对应物和DQN增强MRL。
2020-04-06 cs.AI cs.LG stat.ML
Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction
Tianjin University(天津大学);Netease Fuxi AI Lab(网易伏羲人工智能实验室);Nanjing University(南京大学)
多智能体强化学习(MARL)通常被认为是遭受非平稳环境和指数增长的政策空间。当奖励稀疏且在长轨迹上延迟时,这将更具挑战性。在本文中,我们研究了层次深MARL在稀疏和延迟奖励的合作多智能体问题。随着时间的抽象,我们分解成不同的时间尺度的层次结构的问题,并研究如何代理可以学习高层次的协调的基础上学习的独立技能在低级别。提出了三种层次化的深度MARL体系结构,以学习不同MARL范式下的层次化策略。此外,我们提出了一个新的经验重放机制,以减轻问题的稀疏过渡在高层次的抽象和多智能体学习的非平稳性。我们在两个反馈非常稀疏的领域中实证了我们的方法的有效性:(1)各种多智能体垃圾收集任务,以及(2)具有挑战性的在线手机游戏,即,发烧篮球防守
2019-07-04 cs.AI cs.LG cs.MA
RLAD: Training LLMs to Discover Abstractions for Solving Reasoning Problems
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
针对大模型推理中轨迹难复用、探索退化的问题,提出双智能体强化学习范式RLAD,联合训练抽象生成器与解法生成器,实现结构化探索,提升难问题泛化能力,且测试时侧重抽象生成更能提升性能。
2025-10-02 cs.AI cs.CL cs.LG
CodeSkill: Latent Skill Abstraction for Long-Horizon Code Agents
CodeSkill通过层次化潜在技能建模,将代码智能体的强化学习从令牌级提升至经验级,利用教师模型提炼轨迹并注入LLM,显著提升长程决策效率与跨域泛化能力。
2026-10-20 cs.AI
Disentangling Options with Hellinger Distance Regularizer
Seoul National University(首尔大学)
在强化学习(RL)中,时间抽象仍然是一个重要而未解决的问题.选项框架为RL中的时间抽象提供了线索,而选项批评架构则以端到端的方式优雅地解决了查找选项和学习RL代理这两个问题。但是,有必要检查通过这种方法学习的选项是否起着相互排斥的作用。在本文中,我们提出了一个海林格距离正则化,一种方法解开选项。此外,我们将从统计的角度阐明各种指标,以与通过现有的期权-评论家架构学习的期权进行比较。
2019-04-15 cs.LG stat.ML
Goal Space Abstraction in Hierarchical Reinforcement Learning via Reachability Analysis
École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);Institute Polytechnique de Paris(巴黎理工学院);ENSTA Paris(巴黎高等先进技术学院);Inria(法国国家信息与自动化研究所)
本文提出一种基于可达性分析的子目标发现机制,通过涌现表示抽象具有相似任务角色的环境状态,并创建了逐步学习该表示和策略的HRL算法,在导航任务中证明了其可解释性与数据效率。
2023-09-12 cs.AI cs.FL cs.LG
Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning
Microsoft Research(微软研究院)
我们提出了一个算法,HOMER,探索和强化学习在丰富的观察环境,可概括的一个未知的潜在状态空间。该算法交织表示学习,以确定一个新的概念的运动状态抽象与战略探索,以达到新的状态,使用学习的抽象。该算法可证明地探索环境与样本复杂性缩放多项式的数量的潜在状态和时间范围,并且,至关重要的是,与不依赖于的大小的观察空间,这可能是无限大的。这种探索保证进一步实现了任何奖励函数的样本有效全局策略优化。在计算方面,我们表明,该算法可以有效地实现某些监督学习问题是易处理的。从经验上讲,我们评估HOMER的一个具有挑战性的探索问题,在那里我们表明,该算法是指数更有效的样本比标准的强化学习基线。
2019-11-13 cs.LG stat.ML
Two-Stage Learned Decomposition for Scalable Routing on Multigraphs
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文提出多阶段学习分解方法,通过节点排列和边选择阶段解决多图路由的可扩展性问题,实验表明其在解的质量和速度上优于现有方法。
2026-09-29 cs.AI cs.LG
Learning Discrete State Abstractions With Deep Variational Inference
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院)
在具有大状态空间的域中,抽象对于有效的顺序决策至关重要。在这项工作中,我们提出了一个信息瓶颈的方法学习近似互模拟,一种类型的状态抽象。我们使用深度神经编码器将状态映射到连续嵌入。我们将这些嵌入映射到一个离散表示使用的动作条件隐马尔可夫模型,这是训练端到端的神经网络。我们的方法适用于高维状态的环境,并从马尔可夫决策过程中代理收集的经验流中学习。通过这种学习的离散抽象模型,我们可以在多目标强化学习设置中有效地规划看不见的目标。我们测试我们的方法在简化的机器人操作域的图像状态。我们还将其与以前的基于模型的方法进行比较,在离散网格世界的环境中找到互模拟。源代码可在https://github.com/ondrejba/discrete_abstractions上获得。
2021-01-11 cs.LG stat.ML
LEAGUE: Guided Skill Learning and Abstraction for Long-Horizon Manipulation
Georgia Institute of Technology(佐治亚理工学院)
针对深度强化学习难处理长程任务、任务与运动规划依赖预定义技能的问题,提出融合二者的LEAGUE框架,用规划器符号引导RL技能学习并构建抽象空间实现复用,在模拟任务中性能优于基线,且技能可跨域复用并迁移到实体机器人。
2023-08-22 cs.AI cs.RO
Loss Bounds for Approximate Influence-Based Abstraction
Delft University of Technology(代尔夫特理工大学)
序贯决策技术在提高许多现实系统的性能方面有着巨大的潜力,但计算复杂性阻碍了其原则性应用。基于影响的抽象旨在通过对局部子问题以及系统其余部分对它们施加的“影响”进行建模来获得杠杆作用。虽然计算这种影响的精确表示可能是棘手的,但学习近似表示提供了一种有前途的方法来实现可扩展的解决方案。本文从理论的角度研究了这种方法的性能。的主要贡献是推导出的充分条件近似的影响表示,可以保证解决方案的小价值损失。特别是,我们表明,交叉熵训练的神经网络非常适合学习近似的影响表示。此外,我们提供了一个基于样本的制定的界限,这减少了差距的应用。最后,我们的理论见解的驱动下,我们提出了近似误差估计,经验显示,以及相关的价值损失。
2021-02-23 cs.AI
Look-ahead Reasoning with a Learned Model in Imperfect Information Games
Artificial Intelligence Center, FEE Czech Technical University in Prague(人工智能中心,布拉格捷克技术大学)
LAMIR算法从不完美信息博弈交互中学习抽象模型,用于测试时向前看推理,使理论严谨的推理在大型博弈中可行,并提升预训练智能体性能。
2025-10-06 cs.AI cs.GT
Lyceum: An efficient and scalable ecosystem for robot learning
University of Washington(华盛顿大学);Roboti LLC(Roboti有限责任公司)
我们介绍Lyceum,一个用于机器人学习的高性能计算生态系统。Lyceum建立在Julia程序设计语言和MuJoCo物理模拟器之上,结合了高级程序设计语言的易用性和原生C的性能。此外,Lyceum有一个简单的API来支持跨多个核心和机器的并行计算。总体而言,根据环境的复杂性,Lyceum比其他流行的抽象(如OpenAI的Gym和DeepMind的dm-control)快5- 30倍。这大大减少了各种强化学习算法的训练时间;而且速度也足够快,可以通过MuJoCo支持实时模型预测控制。代码、教程和演示视频可以在www.lyceum.ml上找到。
2020-01-21 cs.AI cs.LG cs.RO
TriCEGAR: A Trace-Driven Abstraction Mechanism for Agentic AI
JetBrains Research(JetBrains研究)
TriCEGAR是一种基于跟踪的自动抽象机制,用于代理AI中在线构建MDP并进行概率模型检查,以提高验证效率和可靠性。
2026-01-30 cs.AI cs.SE
In-Context Planning with Latent Temporal Abstractions
Vanderbilt University(范德比大学);William & Mary(威廉与玛丽学院)
I-TAP通过学习离散时间抽象空间,实现高效且鲁棒的上下文规划,在部分可观测和随机动态环境中表现优异。
2026-02-21 cs.AI cs.LG
Topology-Aware State Abstraction with Tangle Cores for Markov Decision Processes
Department of Computer Science, Iowa State University(计算机科学系,爱荷华州立大学);Department of Civil, Construction & Environmental Engineering, Iowa State University(土木、建设与环境工程系,爱荷华州立大学)
提出纠缠核抽象框架,利用经验转移图的图纠缠构建重叠状态抽象,在动作一致性条件下保证价值保持,并通过实验证明其在瓶颈领域优于现有方法。
2026-05-29 cs.LG
Multi-layer Abstraction for Nested Generation of Options (MANGO) in Hierarchical Reinforcement Learning
Human Inspired Technology Research Center, Università di Padova, Padova, PD 35121 IT(人类启发技术研究中心,帕多瓦大学,帕多瓦,PD 35121 IT);Vrije Universiteit Amsterdam, Amsterdam, Netherlands(阿姆斯特丹自由大学,阿姆斯特丹,荷兰)
本文提出MANGO框架,通过多层抽象嵌套选项生成分解复杂任务,提升稀疏奖励环境下的样本效率与泛化能力,增强决策可解释性,实验在网格环境中验证其优势。
2025-08-25 cs.LG
Hierarchical Reinforcement Learning with Stable Temporal Abstraction for Language Model Agents
LinkedIn Corporation(领英公司);University of Maryland(马里兰大学)
提出STAC方法,通过约束边界策略优化解决分层强化学习智能体的时间抽象不稳定性,在ALFWorld和WebShop上显著提升成功率。
2026-10-06 cs.AI
Abstraction Alignment: Comparing Model-Learned and Human-Encoded Conceptual Relationships
CSAIL\ Institute of Technology Cambridge Massachusetts USA;IBM Research AI Cambridge Massachusetts USA;CSAIL\ Institute of Technology;IBM Research AI
提出抽象对齐方法,通过构建抽象图比较模型行为与形式化人类知识,评估模型是否学习到与人类对齐的抽象,从而区分相似错误并改进现有指标与人类抽象。
2025-11-01 cs.AI cs.CL cs.HC
Geometric Active Exploration in Markov Decision Processes: the Benefit of Abstraction
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Technion(以色列理工学院)
本文提出几何主动探索(GAE)算法,将MDP同态扩展到凸RL,利用状态空间的几何结构(如排列不变性)提升主动探索的样本效率,并在科学发现环境中验证其有效性。
2024-07-18 cs.LG
When Do Learned Blocks Preserve Causal Meaning? Block Identifiability and Constructive Causal Abstractions
University of Tübingen(蒂宾根大学);ELLIS Institute Tübingen(ELLIS蒂宾根研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
该研究探讨学习模块的因果意义保留问题,关联模块可识别性与构造性因果抽象,证明特定变换类可保留因果抽象,实验显示高层干预可在独立学习的表示间近似转移效果。
2026-10-16 cs.AI cs.LG
Temporal Abstraction in Reinforcement Learning with Offline Data
Indian Institute of Science(印度科学学院)
本文提出一种离线分层强化学习框架,从未知行为策略收集的离线数据中学习选项,解决分布不匹配问题,并在MuJoCo和机器人堆叠任务中验证了其有效性。
2024-07-21 cs.LG
Using Deep Learning to Bootstrap Abstractions for Hierarchical Robot Planning
Arizona State University(亚利桑那州立大学)
本文讨论了学习抽象的问题,提高机器人规划性能,同时提供强有力的可靠性保证。尽管最先进的分层机器人规划算法允许机器人有效地计算用于实现用户期望的任务的长期运动计划,但是这些方法通常依赖于需要由专家手工设计的环境依赖的状态和动作抽象。我们提出了一种新的方法,引导整个层次规划过程。这使我们能够使用深度神经网络预测的关键区域自动计算新环境的抽象状态和动作,该深度神经网络具有自动生成的机器人特定架构。我们表明,学习的抽象可以使用一种新的多源双向分层机器人规划算法,是健全的和概率完整的。使用完整和非完整机器人对20种不同设置进行的广泛的经验评估表明:(a)我们学习的抽象提供了有效的多源层次规划所需的信息;以及(b)这种学习、抽象和规划的方法在训练过程中没有看到的测试环境的规划时间方面比最先进的基线高出近10倍。
2022-04-24 cs.AI cs.LG cs.RO
Abstraction and Refinement: Towards Scalable and Exact Verification of Neural Networks
Shenzhen University(深圳大学);ShanghaiTech University(上海科技大学)
深度神经网络(DNN)作为一种新的编程范式,在实践中得到了越来越多的应用,但其鲁棒性的不足阻碍了其在安全关键领域的应用。虽然有一些技术可以用正式的保证来验证DNN,但它们在可扩展性和准确性方面受到限制。在本文中,我们提出了一种新的抽象细化方法,用于可扩展和精确的DNN验证。具体来说,我们提出了一种新的抽象,通过过度近似来分解DNN的大小。如果没有虚假的反例,验证抽象DNN的结果总是结论性的。为了消除抽象引入的虚假反例,我们提出了一种新的反例引导的细化,该细化抽象DNN以排除给定的虚假反例,同时仍然过度近似原始反例。我们的方法是正交的,可以与许多现有的验证技术。为了演示,我们使用两个有前途的和精确的工具Marabou和Planet作为底层验证引擎来实现我们的方法,并在广泛使用的基准ACAS Xu,MNIST和CIFAR-10上进行评估。结果表明,我们的方法可以提高他们的性能,解决更多的问题,并减少高达86.3%和78.0%的验证时间,分别。与最相关的抽象细化方法相比,我们的方法快11.6-26.6倍。
2022-07-02 cs.LG cs.SE
How are linear representations learned? Exact solutions to the dynamics of abstraction
研究线性表示在训练中如何学习,开发框架研究训练时概念方向对齐即“抽象”过程,在最小线性网络获精确解,扩展到非线性网络分析其影响,证明衰减定律,为抽象提供动力学理论,用于改进大语言模型线性探针泛化。
2026-07-13 cs.LG
Operational Abstractions of Neural Network Concepts via Topological Representations
RPTU Kaiserslautern-Landau(莱茵兰-普法尔茨凯泽斯劳滕工业大学);University of the Witwatersrand(威特沃特斯兰德大学)
提出拓扑概念表示(TCR),一种事后操作抽象,通过拓扑编码概念组织,统一干预框架,提升擦除方法最差组准确率21.89和概念迁移可恢复性5.54。
2026-10-06 cs.AI cs.LG
Scalable Polyhedral Verification of Recurrent Neural Networks
ETH Zürich(苏黎世联邦理工学院);VMWare Research(威睿研究部);UIUC(伊利诺伊大学厄巴纳-香槟分校);Hitachi Power Grids Research(日立电网研究院)
我们提出了一个可扩展的和精确的验证循环神经网络,称为证明基于两个新的想法:(i)一种方法来计算一组多面体抽象的非凸和非线性的经常性更新功能相结合的采样,优化和费马定理,和(ii)一个基于梯度下降的算法抽象细化的认证问题,结合多个抽象每个神经元的指导。使用Prover,我们提出了第一个证明循环神经网络的非平凡用例的研究,即语音分类。为了实现这一点,我们还为非线性语音预处理管道开发了自定义抽象。我们的评估表明,Prover成功地验证了计算机视觉,语音和运动传感器数据分类中的几个具有挑战性的经常性模型,超出了先前的工作。
2021-06-10 cs.LG cs.SD eess.AS
Flow Policies as Actions of Skill-Level World Models: Learned and Symbolic Abstractions for Long-Horizon Planning
Delft University of Technology(代尔夫特理工大学)
本文提出将流匹配策略的输入作为技能级动作,构建四种抽象(压缩种子、两种学习代码、符号标签),在块重排任务上验证,符号标签在六技能内成功率超90%,并分析搜索限制。
2026-10-06 cs.LG cs.RO
STAR: Learning Diverse Robot Skill Abstractions through Rotation-Augmented Vector Quantization
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Huawei Noah's Ark Lab(华为诺亚方舟实验室)
STAR通过旋转增强的向量量化和因果技能变压器,提升机器人技能学习与组合,实现复杂行为完成,在LIBERO基准和现实任务中表现优越。
2026-04-07 cs.LG cs.RO
Learning Shape Features and Abstractions in 3D Convolutional Neural Networks for Detecting Alzheimer's Disease
Universität Rostock(罗斯托克大学)
深度神经网络-特别是卷积神经网络(ConvNet)已成为图像分类、模式识别和各种计算机视觉任务的最新技术。ConvNet在医疗领域具有巨大的潜力,可以有效地分析医疗数据以诊断疾病。基于ConvNet模型从MRI数据中提取的特征,早期诊断对于预防进展和治疗阿尔茨海默病至关重要。尽管有能力提供出色的性能,但模型决策的可解释性的缺乏可能导致误诊,这可能危及生命。在这篇论文中,学习的形状特征和抽象的3D ConvNets检测阿尔茨海默氏症进行了研究,使用各种可视化技术。还检查了网络结构、使用的过滤器大小和过滤器形状的变化如何影响模型的整体性能和学习特征。不同模型的LRP相关图揭示了大脑的哪些部分与分类决策更相关。通过激活最大化比较学习的过滤器,显示了模式如何在网络的不同层中编码。最后,实现了来自卷积自动编码器的迁移学习,以检查增加具有输入补丁的训练样本的数量以提取低级特征是否改善了学习的特征和模型性能。
2020-09-10 cs.CV cs.LG eess.IV
A Scalable PyTorch Abstraction for Multi-GPU Gaussian Splatting
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
提出一种多GPU高斯泼溅方法,通过CUDA统一内存和NVLink在算子级别分布参数,实现大规模场景重建,支持超过10亿高斯泼溅。
2026-06-11 cs.CV cs.DC cs.GR
CubeletWorld: A New Abstraction for Scalable 3D Modeling
L3S Research Center(L3S研究所以);Leibniz University Hannover(汉诺威莱布尼茨大学);University of Tennessee at Chattanooga(田纳西大学查塔努加分校);PLRI Medical Informatics Institute(医学信息学研究所);Hannover Medical School(汉诺威医学院)
CubeletWorld通过离散3D网格空间单元实现可扩展的城市建模,提升隐私保护和跨区域通用性。
2025-11-21 cs.CV cs.CY cs.LG
Graph schemas as abstractions for transfer learning, inference, and planning
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
受认知科学启发,提出图模式作为迁移学习抽象机制,通过潜在图学习与模式组合实现感知混叠下新环境的快速学习,在多项任务中表现优于基线。
2023-12-13 cs.AI cs.LG q-bio.NC
Learning World Models With Hierarchical Temporal Abstractions: A Probabilistic Perspective
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Technische Universität Darmstadt (TU Darmstadt)(达姆施塔特工业大学)
针对状态空间模型作为世界模型的局限性,提出Hidden-Parameter SSMs和Multi-Time Scale SSMs两种概率形式化体系,实现可扩展的分层时间抽象与不确定性建模,在长程预测任务中超越Transformer变体。
2025-06-30 cs.AI cs.LG
SketchTransfer: A Challenging New Task for Exploring Detail-Invariance and the Abstractions Learned by Deep Networks
MILA(蒙特利尔学习算法研究所);Aalto University(阿尔托大学);Google Brain(谷歌大脑)
深度网络在感知任务中取得了优异的成绩,但它们在训练过程中没有看到的变化的能力受到了越来越多的关注。在这项工作中,我们专注于他们的能力,有不变性对存在或不存在的细节。例如,人类能够观看缺少许多视觉细节的卡通片,而无需进行明确的训练。作为另一个例子,3D渲染软件是一个相对较新的发展,但人们能够理解这样的渲染场景,即使他们缺少细节(考虑像玩具总动员电影)。机器学习算法未能做到这一点,表明人类能力和深度网络能力之间在泛化方面存在显著差距。我们提出了一个数据集,这将使它更容易具体地研究细节不变性问题。我们为此产生了一个具体的任务:SketchTransfer,我们表明,最先进的域转移算法仍然在努力完成这项任务。在MNIST $\xrightarrow{}$ SVHN转换上达到95%以上的最新技术在SketchTransfer任务上仅达到59%的准确率,这比随机(11%的准确率)好得多,但低于直接在标记草图上训练的分类器的87%的准确率。这表明,这项任务是接近今天的最好的方法,但有很大的改进空间。
2019-12-25 cs.CV cs.LG stat.ML