Fostering Intrinsic Motivation in Reinforcement Learning with Pretrained Foundation Models
TECNALIA(泰克纳尔利亚科技公司);University of the Basque Country(巴斯克大学)
本文研究如何利用 CLIP 等基础模型的预训练嵌入为强化学习提供内在动机,并证明完整状态信息和情节新颖性项能显著提升 MiniGrid 中的样本效率与学习速度。
2024-11-25 cs.AI cs.LG
TOMA: Topological Map Abstraction for Reinforcement Learning
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Department of Computer Science and Technology(计算机科学与技术系);Nanjing University(南京大学)
动物能够发现周围环境的拓扑图(图),这将用于导航。受这种生物现象的启发,研究人员最近提出为马尔可夫决策过程(MDP)生成图表示,并将这些图用于强化学习(RL)中的规划。然而,现有的图生成方法有许多缺点。一个缺点是现有的方法不学习图的抽象,这导致高存储器和计算成本。这个缺点也使得生成的图不健壮,这降低了规划性能。另一个缺点是,现有的方法不能用于促进探索,这在强化学习中很重要。在本文中,我们提出了一种新的方法,称为拓扑图抽象(TOMA),图生成。TOMA可以为MDP生成一个抽象的图表示,这比现有的方法花费更少的内存和计算成本。此外,TOMA可以用于促进探索。特别是,我们建议规划探索,其中TOMA是用来加速探索引导代理对未探索的状态。提出了一种称为顶点记忆的经验回放模块,以提高探索性能。实验结果表明,TOMA算法能够在较低的信噪比下达到最佳的性能。
2020-06-23 cs.AI cs.LG stat.ML
Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning
Microsoft Research(微软研究院)
我们提出了一个算法,HOMER,探索和强化学习在丰富的观察环境,可概括的一个未知的潜在状态空间。该算法交织表示学习,以确定一个新的概念的运动状态抽象与战略探索,以达到新的状态,使用学习的抽象。该算法可证明地探索环境与样本复杂性缩放多项式的数量的潜在状态和时间范围,并且,至关重要的是,与不依赖于的大小的观察空间,这可能是无限大的。这种探索保证进一步实现了任何奖励函数的样本有效全局策略优化。在计算方面,我们表明,该算法可以有效地实现某些监督学习问题是易处理的。从经验上讲,我们评估HOMER的一个具有挑战性的探索问题,在那里我们表明,该算法是指数更有效的样本比标准的强化学习基线。
2019-11-13 cs.LG stat.ML
RLAD: Training LLMs to Discover Abstractions for Solving Reasoning Problems
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
针对大模型推理中轨迹难复用、探索退化的问题,提出双智能体强化学习范式RLAD,联合训练抽象生成器与解法生成器,实现结构化探索,提升难问题泛化能力,且测试时侧重抽象生成更能提升性能。
2025-10-02 cs.AI cs.CL cs.LG
Geometric Active Exploration in Markov Decision Processes: the Benefit of Abstraction
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Technion(以色列理工学院)
本文提出几何主动探索(GAE)算法,将MDP同态扩展到凸RL,利用状态空间的几何结构(如排列不变性)提升主动探索的样本效率,并在科学发现环境中验证其有效性。
2024-07-18 cs.LG
In-Context Curiosity: Distilling Exploration for Decision-Pretrained Transformers on Bandit Tasks
University of California, Los Angeles(加州大学洛杉矶分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对决策预训练Transformer(DPTs)难以泛化到预训练数据分布外的问题,提出情境好奇心正则化项与PPT框架,用奖励预测误差作为内在信号鼓励探索,在高斯多臂老虎机实验中提升了分布外泛化鲁棒性。
2025-09-30 cs.AI cs.LG cs.MA
Action abstractions for amortized sampling
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Edinburgh(爱丁堡大学);Recursion(Recursion公司);CIFAR(加拿大高级研究院)
本研究针对摊销序贯采样中长轨迹带来的探索与泛化难题,提出将动作抽象融入策略优化的方法,提升了高奖励对象发现的样本效率,实现了分层规划的首次演示。
2026-09-03 cs.AI cs.LG
Discrete State-Action Abstraction via the Successor Representation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
虽然强化学习问题的难度通常与其状态空间的复杂性有关,但抽象提出解决方案通常位于更简单的潜在空间中。以前的工作集中在学习连续或密集的抽象,或者需要人类提供一个。信息密集表示捕捉与解决任务无关的特征,连续空间可能难以表示离散对象。在这项工作中,我们自动学习底层环境的稀疏离散抽象。我们使用基于后继表示和最大熵正则化的简单端到端可训练模型来实现。我们描述了一种算法来应用我们的模型,称为离散状态-动作抽象(DSAA),它以时间扩展动作的形式计算动作抽象,即,选项,在离散的抽象状态之间转换。从经验上讲,我们证明了不同的探索方案对我们所得到的抽象的影响,并表明它是有效的解决下游任务。
2022-10-18 cs.AI cs.LG cs.RO
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS(麻省理工学院信息与决策系统实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
分层强化学习专注于发现时间上扩展的动作,例如选项,可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项,这就是选项批评(OC)框架。我们在本文中研究并表明,OC不会将问题分解为更简单的子问题,而是增加了策略空间上的搜索大小,每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性,包括样本学习效率低下。为了解决这个问题,我们引入了深度选项学习的上下文特定表示抽象(CRADOL),这是一个新的框架,它考虑了时间抽象和上下文特定表示抽象,以有效地减少策略空间上的搜索大小。具体来说,我们的方法学习一个因子化的信念状态表示,使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层,非分层和模块化的递归神经网络基线,证明显着的样本效率的改善,在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
When Do Skills Help Reinforcement Learning? A Theoretical Analysis of Temporal Abstractions
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Stanford University(斯坦福大学)
本文针对有限动作空间下的确定性稀疏奖励环境,理论与实验刻画确定性技能的效用,指出状态方案可压缩性、探索收益及宏动作表达能力对RL性能的影响。
2024-06-12 cs.AI cs.LG
Planning to the Information Horizon of BAMDPs via Epistemic State Abstraction
Stanford University(斯坦福大学);DeepMind(深度思维)
贝叶斯-自适应马尔可夫决策过程(Bayes-Adaptive Markov Decision Process,BAMDP)形式主义追求强化学习中探索-利用权衡的贝叶斯最优解。由于贝叶斯学习问题的精确解的计算是棘手的,许多文献都集中在开发合适的近似算法。在这项工作中,在潜入算法设计,我们首先定义,温和的结构假设下,BAMDP规划的复杂性措施。由于BAMDPs中的有效探索取决于明智地获取信息,我们的复杂性度量突出了收集信息和耗尽认知不确定性的最坏情况下的困难。为了说明它的意义,我们建立了一个计算困难的,精确的规划算法,利用这一措施,以显示更有效的规划。然后,我们的结论是引入一种特定形式的状态抽象的潜力,以减少BAMDP的复杂性,并产生一个计算易处理的,近似的规划算法。
2022-10-30 cs.LG stat.ML
PORL: Pretrained Offline Reinforcement Learning for the Job Shop Scheduling Problem
Rosenheim University of Applied Sciences(罗森海姆应用科学大学)
本文提出PORL,一种结合在线预训练与离线微调的混合强化学习方法,用于作业车间调度,通过KL约束减少策略偏移,在分布偏移下优于独立离线强化学习,且对数据质量不敏感。
2026-09-28 cs.AI cs.LG
Efficient Monte Carlo Tree Search via On-the-Fly State-Conditioned Action Abstraction
AI Institute, Seoul National University(首尔国立大学AI研究院);Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
针对大组合动作空间下MCTS性能下降问题,提出状态条件动作抽象方法,通过学习潜在动力学模型即时构建节点抽象并舍弃冗余子动作,显著提升了样本效率。
2024-06-02 cs.AI cs.LG
Temporal Abstraction in Reinforcement Learning with the Successor Representation
DeepMind(深度思维);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学);Quebec AI Institute (Mila)(魁北克人工智能研究所(Mila));McGill University(麦吉尔大学)
本文提出后继表征可作为强化学习中时间抽象发现与使用的自然基础,通过表征与选项相互精炼的循环框架发现选项,并利用SR组合已有选项实现组合扩展,实验验证了其在探索中的有效性及不同SR方法的协同作用。
2023-04-11 cs.AI cs.LG
Online Abstraction with MDP Homomorphisms for Deep Learning
Czech Technical University(捷克技术大学);Northeastern University(东北大学)
马尔可夫决策过程的抽象是解决复杂问题的有用工具,因为它可以忽略环境中不重要的方面,简化学习最优策略的过程。在本文中,我们提出了一个新的算法,发现抽象的MDP环境中的连续状态空间。它基于MDP同态,MDP之间的结构保持映射。我们展示了我们的算法的能力,从收集的经验,学习抽象,并展示了如何重用的抽象,以指导探索代理遇到的新任务。在我们的大多数实验中,我们的新任务转移方法优于基于深度Q网络的基线。源代码位于https://github.com/ondrejba/aamas_19。
2019-04-03 cs.LG stat.ML
Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation
BCS, MIT(麻省理工学院脑与认知科学系);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
在稀疏反馈环境中学习目标导向行为是强化学习算法的主要挑战。主要的困难是由于探索不足,导致代理无法学习鲁棒的价值函数。内在动机的代理人可以探索新的行为本身的缘故,而不是直接解决问题。这种内在行为最终可以帮助智能体解决环境带来的任务。我们提出了层次DQN(h-DQN),一个框架,集成层次价值函数,在不同的时间尺度上操作,具有内在动机的深度强化学习。顶级价值函数学习内在目标上的策略,而低级函数学习原子操作上的策略以满足给定目标。h-DQN允许灵活的目标规范,例如实体和关系上的函数。这为复杂环境中的探索提供了有效的空间。我们证明了我们的方法在两个问题上的强度非常稀疏,延迟反馈:(1)一个复杂的离散随机决策过程,(2)经典的ATARI游戏'蒙特祖玛的Restaurant'。
2016-05-31 cs.AI cs.CV cs.LG
CodeSkill: Latent Skill Abstraction for Long-Horizon Code Agents
CodeSkill通过层次化潜在技能建模,将代码智能体的强化学习从令牌级提升至经验级,利用教师模型提炼轨迹并注入LLM,显著提升长程决策效率与跨域泛化能力。
2026-10-20 cs.AI
Semantic RL with Action Grammars: Data-Efficient Learning of Hierarchical Task Abstractions
Einstein Center for Neurosciences Berlin(柏林爱因斯坦神经科学中心);Technical University Berlin(柏林工业大学);Imperial College London(帝国理工学院)
分层强化学习算法已经成功地应用于具有稀疏奖励信号的时间信用分配问题。然而,国家的最先进的算法需要手动规范的子任务结构,一个样本效率低下的探索阶段或缺乏语义可解释性。另一方面,人类可以有效地检测由周围环境引起的层次子结构。有人认为,这种推理过程普遍适用于语言,逻辑推理以及运动控制。因此,我们提出了一个认知启发的强化学习架构,它使用语法归纳来识别子目标策略。通过将政策轨迹视为从环境的政策条件语言中采样的句子,我们在无监督语法推理的帮助下识别分层成分。由此产生的一组时间抽象被称为动作语法(Pastra & Aloimonos,2012),并将符号和连接主义方法统一到强化学习中。它可以用来促进有效的模仿、迁移和在线学习。
2019-09-23 cs.AI cs.CL cs.LG
Exploiting Multiple Abstractions in Episodic RL via Reward Shaping
University of Oxford(牛津大学);Banca d’Italia(意大利银行)
针对强化学习样本需求大的问题,提出基于MDP抽象层级的奖励塑造方法,利用抽象解指导复杂领域学习,设计要求低且容忍误差,保证最优收敛并经实验验证有效。
2023-08-04 cs.AI cs.LG
Spatio-temporal Value Semantics-based Abstraction for Dense Deep Reinforcement Learning
Shanghai Key Laboratory of Trustworthy Computing(上海可信计算重点实验室)
针对深度强化学习在智能信息物理系统中的效率与泛化挑战,提出基于时空值语义的抽象建模方法,构建抽象MDP并优化,经PRISM验证及多场景实验证明有效。
2024-05-24 cs.AI cs.LG
METRA: Scalable Unsupervised RL with Metric-Aware Abstraction
University of California, Berkeley(加州大学伯克利分校)
针对无监督强化学习在高维复杂环境中可扩展性不足的问题,提出基于度量感知抽象的METRA方法,通过覆盖与状态空间度量关联的紧凑潜在空间获取多样行为,实验证实其为首个在像素级四足、人形机器人环境中发现多样运动行为的无监督RL方法。
2024-03-10 cs.AI cs.LG cs.RO
Polychromic Objectives for Reinforcement Learning
Stanford University(斯坦福大学)
本文提出多色目标用于强化学习,通过强制探索和多样化生成来改进预训练策略,实验表明在多个任务中提升了成功率和泛化能力。
2026-04-26 cs.AI cs.LG
DF-ExpEnse: Diffusion Filtered Exploration for Sample Efficient Finetuning
Stanford University(斯坦福大学);Brown University(布朗大学)
提出DF-ExpEnse探索技术,利用生成控制策略的多模态建模能力和评论家集成,在微调中高效收集在线经验,提升样本效率。
2026-06-19 cs.LG cs.RO
Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning
Google, Paradigms of Intelligence Team(谷歌,智能范式团队)
自回归模型通过内部强化学习实现时间抽象,提升稀疏奖励下的分层强化学习效率。
2025-12-24 cs.AI cs.LG
Model Learning for Look-ahead Exploration in Continuous Control
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种探索方法,结合前瞻性搜索的基本学习技能和他们的动态,并使用它的强化学习(RL)的操作政策。我们的技能是使用现有的多目标RL公式在更简单的环境中孤立地学习多目标策略,类似于期权或宏动作。粗略的技能动态,即,学习由(完整的)技能执行引起的状态转换,并在前瞻搜索期间向前展开。策略搜索在探索期间受益于时间抽象,尽管其本身在低级别原始动作上操作,因此所产生的策略不会遭受由粗糙技能链引起的次优性和可扩展性。我们表明,所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略,并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略,而不是指导探索。我们表明,所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略,并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略,而不是指导探索。
2018-11-20 cs.AI cs.LG cs.RO
Policy Gradient from Demonstration and Curiosity
Tencent(腾讯);Pengcheng Laboratory(鹏城实验室)
通过强化学习,智能体可以从任务的高级抽象中学习复杂的行为。然而,探索和奖励塑造对于现有方法仍然具有挑战性,特别是在外部反馈稀疏的情况下。专家演示已被调查,以解决这些困难,但大量的高质量的演示通常需要。在这项工作中,提出了一个集成的策略梯度算法,以促进探索和促进内在奖励学习,只有有限的演示。我们实现了这一点,重新制定了原来的奖励函数与两个额外的条款,其中第一项测量当前政策和专家之间的詹森-香农分歧,第二项估计代理的不确定性环境。在一系列具有稀疏外部奖励信号的模拟任务上对所提出的算法进行了评估,其中每个任务只提供一个演示轨迹,在所有任务中均表现出优越的探索效率和高的平均回报。此外,研究发现,代理人可以模仿专家的行为,同时维持高回报。
2020-06-09 cs.AI cs.LG
Adapting the Exploration Rate for Value-of-Information-Based Reinforcement Learning
Naval Surface Warfare Center(海军水面作战中心);Naval Sea Systems Command(海军海上系统司令部);University of Florida(佛罗里达大学)
在本文中,我们考虑的问题,调整勘探率时,使用价值的信息为基础的勘探。我们这样做的信息优化的价值转化为一个问题,找到一个不断变化的勘探率的流量的平衡。然后,我们开发了一个有效的路径跟踪计划收敛到这些均衡,从而发现最佳的行动选择政策。在该方案下,探索率自动适应根据代理的经验。理论上保证了全球趋同。我们首先评估我们的探索率适应任天堂GameBoy游戏蜈蚣和千足虫。我们展示了搜索过程的各个方面,比如它产生了一个状态抽象的层次结构。我们还表明,我们的方法返回更好的政策,在更少的情节比传统的搜索策略依赖于启发式,基于退火的探索率调整。然后,我们说明,这些趋势持有深,价值的信息为基础的代理人,学会玩10个简单的游戏和40多个更复杂的游戏的任天堂GameBoy系统。观察到接近或远高于人类游戏水平的表现。
2022-12-31 cs.AI cs.IT cs.LG
Learning Abstract Models for Strategic Exploration and Fast Reward Transfer
Google Research(谷歌研究院)
基于模型的强化学习(RL)之所以有吸引力,是因为(i)它能够进行规划,从而进行更具战略性的探索,(ii)通过将动态与奖励解耦,它能够快速转移到新的奖励函数。然而,在高维状态(例如,原始像素)是极具挑战性的,因为它需要函数近似,这导致复合误差。相反,为了避免复合错误,我们建议在抽象状态上学习抽象MDP:状态的低维粗略表示(例如,捕获代理位置,忽略其他对象)。我们假设可以访问一个抽象函数,该函数将具体状态映射到抽象状态。在我们的方法中,我们构建了一个抽象的MDP,它通过规划进行战略探索而发展。与分层RL方法类似,抽象MDP的抽象操作由在抽象状态之间导航的学习子策略支持。我们的方法在三个最难的街机学习环境游戏(蒙特祖玛的复仇,陷阱!,和私家侦探),包括在陷阱超人的表现!没有示威。在对一个任务进行训练后,我们可以将学习到的抽象MDP重新用于新的奖励函数,从而在比从头开始训练的无模型方法少1000倍的样本中获得更高的奖励。
2020-07-12 cs.AI cs.LG stat.ML
From Curiosity to Competence: How World Models Interact with the Dynamics of Exploration
Human and Machine Cognition Lab, University of Tübingen(图宾根大学);Max Planck Institute for Biological Cybernetics(生物感知研究所)
该研究结合认知理论与强化学习,通过对比Tabular和Dreamer两种智能体,探讨了内部表征如何调节好奇心与胜任力之间的权衡,揭示了探索与表征学习的双向交互,并将自适应探索形式化为追求未知与可控之间的平衡。
2025-07-10 cs.AI
Language Reward Modulation for Pretraining Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
本研究提出LAMP方法,将视觉-语言模型的零样本能力作为强化学习预训练信号,结合探索奖励训练语言条件化预训练策略,可实现机器人操作任务的样本高效学习热启动。
2023-08-23 cs.AI cs.LG
Going Beyond State-Reaching: Learning Abstractions for Intrinsically Motivated Option Discovery
Amazon(亚马逊);Brown University(布朗大学)
提出一种为每个子目标识别相关特征子集的选项发现算法,学习抽象可迁移选项,在稀疏奖励图像领域加速探索。
2026-09-30 cs.AI cs.LG
StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Georgia(佐治亚大学);University of Oxford(牛津大学);Shenzhen Loop Area Institute(深圳河套学院)
本文提出StraTA框架,通过引入显式的轨迹级策略提升代理强化学习的样本效率和最终性能,实验显示其在ALFWorld、WebShop和SciWorld上均优于基线模型。
2026-09-28 cs.AI cs.CL
Memory Augmented Self-Play
MILA, Université de Montréal(蒙特利尔大学MILA)
自我游戏是一种无监督的训练过程,它使强化学习代理能够在不需要任何外部奖励的情况下探索环境。我们通过提供一个外部存储器来增强自我游戏设置,代理可以存储来自先前任务的经验。这使得智能体能够提出更多样化的自我游戏任务,从而更快地探索环境。在记忆增强的自我游戏设置中预训练的代理很容易胜过在无记忆自我游戏设置中预训练的代理。
2018-06-01 cs.LG stat.ML
Approximate Shielding of Atari Agents for Safe Exploration
Imperial College London(帝国理工学院)
本文针对强化学习安全探索问题,提出基于潜在世界模型并结合安全评判器的近似屏蔽算法,在带安全标签的 Atari 游戏中降低违规率并改善收敛与策略质量。
2023-04-21 cs.AI
What Information Buys in Active Inference
University of Southern Denmark(南丹麦大学)
该研究对比主动推理(AIF)与Bayes-UCBVI,发现校准后的AIF作为奖励无关的ℓ₁置信集,在奖励由对手从智能体数据中选择时比Bayes-UCBVI更优。
2026-10-15 cs.LG stat.ML
Improving Policy Learning via Language Dynamics Distillation
University of Washington(华盛顿大学);Meta AI Research(Meta人工智能研究院);Stanford University(斯坦福大学);University College London(伦敦大学学院);Cohere
最近的研究表明,用语言描述增强环境可以提高策略学习。然而,对于具有复杂语言抽象的环境,由于稀疏、延迟的奖励,学习如何将语言与观察相结合是困难的。我们提出了语言动态蒸馏(LDD),它预训练一个模型来预测环境动态,给出具有语言描述的演示,然后通过强化学习(RL)微调这些语言感知的预训练表示。通过这种方式,模型被训练为最大化预期奖励并保留关于语言如何与环境动态相关的知识。在SILG上,这是一个由五个任务组成的基准测试,这些任务具有语言描述,可以评估未知环境(NetHack、ALFWorld、RTFM、Messenger和Touchdown)上的不同泛化挑战,LDD的性能优于tabula-rasa RL、VAE预训练以及从反向RL和奖励塑造中的未标记演示中学习的方法。在我们的分析中,我们表明,演示中的语言描述提高了样本效率和跨环境的泛化能力,并且专家演示的动力学建模比非专家更有效。
2022-09-30 cs.AI cs.CL cs.LG
CFG-Policy: Unified Diffusion Policy Learning Framework via Classifier-free Guidance
ShanghaiTech University(上海科技大学);InstAdapt
本文提出即插即用的CFG-Policy框架,通过拆分探索与利用分支并结合无分类器引导,在5个MuJoCo、4个RoboTwin任务上结合对应算法提升了扩散策略的RL任务性能,同时保留行为多样性。
2026-10-14 cs.LG cs.RO
Unlocking Reasoning Capabilities in LLMs via Reinforcement Learning Exploration
Westlake University(西湖大学)
针对RLVR训练模型随采样预算增加优势减弱的问题,提出RAPO算法,通过前向KL惩罚和参考策略重加权促进更广泛且聚焦的探索,使模型超越基座性能上限并解决更多难题。
2025-10-31 cs.AI cs.CL cs.LG
Integrating Pretrained Language Model for Dialogue Policy Learning
The Chinese University of Hong Kong(香港中文大学)
强化学习(RL)已被证明其潜力,训练一个对话策略代理,以最大限度地提高用户的累积奖励。然而,奖励可能是非常稀疏的,因为它通常只在对话会话结束时提供,这导致了可接受的对话代理无法承受的交互要求。与许多致力于优化策略和回收奖励的努力不同,这些努力容易陷入局部最优和模型崩溃,我们将对抗训练分解为两个步骤:1)我们将预训练的语言模型整合为一个模型,以判断当前系统动作是否足够好用于最后一个用户动作(即,\textit{next action prediction}); 2)算法给出局部稠密奖励,以指导Agent的探索。实验结果表明,该方法显著提高了对话系统的完成率(~4.4\%)和成功率(~8.0\%)。
2021-11-02 cs.AI cs.CL
Exploratory Gradient Boosting for Reinforcement Learning in Complex Domains
Brown University(布朗大学);Microsoft Research(微软研究院)
高维观测和复杂的真实世界动力学对函数逼近和探索的强化学习提出了重大挑战。我们用两种互补的技术来解决这两个挑战:首先,我们开发了一种梯度提升风格的非参数函数逼近器,用于学习$Q$函数残差。其次,我们提出了一个探索策略的启发下的状态抽象和信息获取的不确定性原则。我们证明了这些技术的经验有效性,首先,作为一个初步的检查,在两个标准的任务(二十一点和$n$链),然后在两个更大,更现实的任务与高维观察空间。具体来说,我们介绍了两个基准内置游戏Minecraft中的观察是代理的视野的像素阵列。我们的两种算法技术的组合在标准的重复学习任务上表现出竞争力,同时在高维观测空间的两个任务上持续且大幅优于基线。新的函数逼近器,探索策略和评估基准都是追求扩展到现实世界领域的学习方法的独立兴趣。
2016-03-14 cs.AI cs.LG stat.ML
Goal Exploration Augmentation via Pre-trained Skills for Sparse-Reward Long-Horizon Goal-Conditioned Reinforcement Learning
University of Manchester(曼彻斯特大学)
针对稀疏奖励长程任务中GCRL目标探索效率低的问题,提出优化已实现与待探索目标熵的新学习目标,利用相似环境的目标转移模式预训练技能增强探索,在多基准任务上显著提升现有GCRL方法的探索效率与性能。
2023-12-19 cs.AI cs.LG cs.RO
Hybrid Recurrent Models Support Emergent Descriptions for Hierarchical Planning and Control
School of Engineering and Informatics, University of Sussex(萨塞克斯大学工程与信息学院);VERSES AI Research Lab(VERSES AI研究实验室)
提出一种基于rSLDS的层次模型算法,结合主动推断与离散MDP,通过时间抽象亚目标和信息论探索,在稀疏连续山地车任务中实现快速系统识别与非平凡规划。
2024-08-20 cs.AI cs.SY eess.SY
Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration
University of California, Berkeley(加州大学伯克利分校)
研究提出SUPE方法,通过VAE提取低级技能并用乐观奖励伪标注无标签轨迹,将其作为离策略数据训练高级策略,在42个稀疏奖励任务中显著提升在线探索效率。
2025-07-11 cs.AI cs.LG stat.ML
Increasing Information for Model Predictive Control with Semi-Markov Decision Processes
Université Paris-Saclay(巴黎-萨克雷大学);CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique(法国国家科学研究中心,跨学科数字科学实验室)
本文通过半马尔可夫决策过程框架,提升模型预测控制的样本复杂度,减少信息获取成本。
2025-01-28 cs.LG
Recursive Concept Evolution for Compositional Reasoning in Large Language Models
Purdue University(普渡大学)
递归概念演化(RCE)通过动态生成低秩概念子空间,使大语言模型在推理过程中能够构建新抽象,从而提升组合推理任务的性能。
2026-02-17 cs.AI cs.CL cs.LG
Pretrained Visual Representations in Reinforcement Learning
University of Lincoln(林肯大学)
比较视觉强化学习中从头训练CNN与使用预训练视觉表示(PVR)的性能,发现PVR能减少缓冲区大小并加快训练,且休眠比率与模型性能强相关。
2024-07-24 cs.LG cs.RO
Curious Hierarchical Actor-Critic Reinforcement Learning
Department of Informatics Knowledge Technology Institute(信息学知识技术研究所)
分层抽象和好奇心驱动的探索是当前强化学习方法中的两种常见范式,用于将困难的问题分解为一系列更简单的问题并克服奖励稀疏性。然而,缺乏结合这些范例的方法,目前还不知道好奇心是否也有助于执行分层抽象。作为一种新颖的科学贡献,我们解决了这个问题,并开发了一种将分层强化学习与好奇心相结合的方法。在这里,我们扩展了当代层次的演员批评的方法与前向模型,以发展层次的好奇心的概念。我们在几个连续空间环境中证明,对于大多数调查的基准问题,好奇心可以使学习性能和成功率增加一倍以上。我们还提供了源代码和补充视频。
2020-08-17 cs.LG cs.RO stat.ML
Hyperspherical Contrastive Representations Unlock Planning and Exploration
Seoul National University(首尔大学);Princeton University(普林斯顿大学)
该研究提出C-Slerp算法,利用超球面对比表征实现无需先验数据等的自监督强化学习,可自适应调整路径点,在长程导航等任务中优于固定路径点的基线方法。
2026-10-14 cs.LG
Learning Navigation Subroutines from Egocentric Videos
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
在更高的抽象级别而不是低级别的扭矩下进行规划,提高了强化学习中的样本效率和经典规划中的计算效率。我们提出了一种方法来学习这样的分层抽象,或从以自我为中心的专家执行任务的视频数据的子程序。我们在少量随机交互数据上学习了一个自监督逆模型,用代理动作来伪标记专家自我中心视频。通过学习潜在意图条件策略,从这些伪标记的视频中获取可视化子例程,该策略从相应的图像观察中预测推断出的伪动作。我们展示了我们提出的方法在导航的背景下,并表明,我们可以成功地学习一致的和不同的视觉子程序从被动的自我中心的视频。我们证明了我们获得的可视化子例程的效用,通过使用它们作为探索,并作为子策略在一个层次化的RL框架,以达到点目标和语义目标。我们还展示了我们的子程序在现实世界中的行为,通过部署在一个真正的机器人平台上。项目网址:https://ashishkumar1993.github.io/subroutines/。
2019-10-15 cs.AI cs.CV cs.LG
Multi-Armed Sampling Problem and the End of Exploration
Mila - Quebec AI Institute, McGill University(魁北克AI研究所,麦吉尔大学)
本文提出多臂采样框架,探讨采样场景下的探索-利用权衡,建立 regret 下界并提出近优算法,表明采样几乎无需探索,通过温度参数统一采样与多臂老虎机问题。
2026-05-12 cs.LG math.OC stat.ML
Queryable Self-Organizing Maps: A Database Abstraction for Topology-Driven Data Exploration
University of Sao Paulo(圣保罗大学);University of Münster(明斯特大学)
研究针对现代数据系统中SOM与关系数据脱节问题,引入可查询数据映射概念,通过MapDB原型实现,使SOM工件可查询,经实验验证其在适度规模下训练可行、查询具交互性且为探索性SQL提供有意义目标。
2026-07-28 cs.DB cs.LG
Playing Doom with SLAM-Augmented Deep Reinforcement Learning
University of Oxford(牛津大学)
在2D游戏领域中的策略学习的许多最近的方法已经成功地直接从原始输入图像到动作。然而,当在复杂的3D环境中使用时,它们通常会遇到与部分可观测性、组合探索空间、路径规划以及奖励场景稀缺相关的挑战。从人类认知的先前工作中获得灵感,表明人类如何使用各种语义概念和抽象(对象类别,本地化等)。为了推理世界,我们建立了一个代理模型,将这种抽象纳入其政策学习框架。我们将原始图像输入到深度Q学习网络(DQN)中,通过添加遇到的对象和结构元素的细节以及代理的本地化来增强。不同的组件被自动提取和组成的拓扑表示使用上的飞行目标检测和3D场景reconstruction.We评估我们的方法在毁灭战士,一个3D第一人称战斗游戏,表现出一些讨论的挑战,并表明我们的增强框架始终学习更好,更有效的政策的功效。
2016-12-01 cs.AI cs.CV stat.ML
Understanding Representations Pretrained with Auxiliary Losses for Embodied Agent Planning
Stanford University(斯坦福大学);Allen Institute for AI(艾伦人工智能研究所)
该研究探究在探索轨迹上额外自监督预训练能否优化通用视觉表征以支持具身规划,对比多种损失后发现探索轨迹上的模仿学习表现最优,且主流辅助损失经简单修改可提升对下游规划的支持。
2023-12-06 cs.CV cs.LG cs.RO
Temporal Abstractions-Augmented Temporally Contrastive Learning: An Alternative to the Laplacian in RL
Mila(米拉人工智能研究院);Université de Montréal(蒙特利尔大学);Amii(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学);McGill University(麦吉尔大学);Meta AI
在强化学习中,图拉普拉斯算子已被证明是任务不可知环境中的一个有价值的工具,其应用范围从技能发现到奖励塑造。最近,学习拉普拉斯表示已被框定为时间对比目标的优化,以克服其在大(或连续)状态空间中的计算限制。然而,这种方法需要统一访问状态空间中的所有状态,忽略了在表示学习过程中出现的探索问题。在这项工作中,我们提出了一种替代方法,能够恢复,在一个非均匀的先验设置,表现力和所需的性质的拉普拉斯表示。我们通过将表示学习与基于技能的覆盖策略相结合来实现这一点,该策略提供了更好的训练分布来扩展和细化表示。我们还表明,一个简单的增强表示目标与学习的时间抽象提高动态意识,并有助于探索。我们发现,我们的方法成功地作为一种替代拉普拉斯在非均匀设置和规模具有挑战性的连续控制环境。最后,即使我们的方法没有针对技能发现进行优化,学习到的技能也可以成功地解决具有稀疏奖励的困难的连续导航任务,而标准的技能发现方法并不那么有效。
2022-03-21 cs.LG