COvolve: Adversarial Co-Evolution of Large-Language-Model-Generated Policies and Environments via Two-Player Zero-Sum Game
Machine Perception and Interaction Lab, Örebro University(厄勒布鲁大学机器感知与交互实验室)
COvolve通过双人零和游戏实现环境与策略的对抗共演,利用大语言模型生成可执行代码,使环境和策略共同进化,提升持续学习和泛化能力。
2026-03-30 cs.AI
Small Language Models for Curriculum-based Guidance
Copenhagen Business School(哥本哈根商学院);Hanken School of Economics(汉肯经济学院)
本研究将RAG流水线应用于开源小型语言模型构建AI教学助手,测试发现经恰当提示与定向检索的70-170亿参数SLM,教学回复准确性可匹配GPT-4o,且更低碳低成本、可离线运行,适用于教育机构规模化个性化学习。
2025-09-27 cs.AI cs.CL
From Perception to Planning: Evolving Ego-Centric Task-Oriented Spatiotemporal Reasoning via Curriculum Learning
Zhejiang University(浙江大学);Tianjin University(天津大学);Qingdao University(青岛大学);Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
本文提出EgoTSR框架,通过课程学习提升任务导向的空间时间推理能力,解决静态感知和动态环境中的时空幻觉问题,实验显示其在长周期推理任务中准确率达92.4%。
2026-04-12 cs.AI
LeGo-Code: Can Modular Curriculum Learning Advance Complex Code Generation? Insights from Text-to-SQL
Mohammed VI Polytechnic University(穆莱·伊沙克二世理工学院);King Fahd University of Petroleum and Minerals(国王·法赫德石油矿物大学)
本文探讨模块化课程学习是否能提升代码生成模型在文本到SQL任务中的表现,提出模块化适配器策略,通过分层训练提升复杂查询性能,展示结构化模块化学习优于传统微调。
2026-04-20 cs.AI cs.DB cs.SE
Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies
Cornell University(康奈尔大学)
本文针对结构化参数环境提出重参数化课程生成框架,结合分布偏移正则化,在OpenAI Gym的两类连续控制环境中,显著优于多种基线方法,提升了导航策略的鲁棒性。
2026-08-11 cs.LG cs.RO
Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
Cornell University(康奈尔大学)
针对深度强化学习策略环境鲁棒性不足、人工设计课程耗费人力的问题,提出用贝叶斯优化推断课程-奖励函数以获取鲁棒课程,在自主竞速避障任务中性能优于普通深度强化学习与人工课程方案。
2023-12-16 cs.LG cs.RO
CuRLA: Curriculum Learning Based Deep Reinforcement Learning for Autonomous Driving
Birla Institute of Technology & Science, Pilani(毕拉理工与科学学院皮拉尼分校)
本文提出CuRLA,将PPO、VAE与双重课程学习结合,在CARLA中通过渐进难度和碰撞惩罚提升自动驾驶智能体的泛化性、安全性与多奖励平衡能力。
2025-01-09 cs.AI cs.LG cs.RO
ACuTE: Automatic Curriculum Transfer from Simple to Complex Environments
Tufts University(塔夫茨大学)
尽管最近在强化学习(RL)方面取得了进展,但许多问题,特别是现实世界的任务,学习起来仍然非常昂贵。为了解决这个问题,有几条研究路线探索了如何将任务或数据样本本身排序到课程中,以学习一个可能很难从头开始学习的问题。然而,在现实场景中生成和优化课程仍然需要与环境进行广泛的交互。为了应对这一挑战,我们制定了课程迁移问题,其中课程的模式在一个更简单,易于解决的环境中优化(例如,网格世界)被转换为复杂的、现实的场景(例如,基于物理的机器人仿真或真实世界)。我们提出了“ACuTE”,从简单到复杂环境的自动课程转换,一个解决这个问题的新框架,并通过将其与其他基线方法(例如,领域自适应),旨在加速学习。我们观察到,我们的方法产生改进的跳跃启动和时间阈值的性能,即使在添加任务元素,进一步增加现实场景的难度。最后,我们证明了我们的方法是独立的学习算法用于课程生成,是Sim2Real转移到一个现实世界的情况下,使用物理机器人。
2022-04-11 cs.RO
Embodied Visual Navigation with Automatic Curriculum Learning in Real Environments
Toshiba Europe Limited(东芝欧洲有限公司);University of Cambridge(剑桥大学)
我们提出了NavACL,一种自动课程学习的导航任务量身定制的方法。NavACL易于训练,并使用几何特征有效地选择相关任务。在我们的实验中,使用NavACL训练的深度强化学习代理显著优于使用统一采样(当前标准)训练的最先进代理。此外,我们的代理可以通过未知的杂乱的室内环境中导航到语义指定的目标,只使用RGB图像。避障策略和冻结特征网络支持转移到看不见的真实世界环境,而无需任何修改或重新训练要求。我们评估我们的政策在模拟,并在现实世界中的地面机器人和四旋翼无人机。补充材料中提供了真实结果的视频。
2021-01-06 cs.AI cs.CV cs.RO
Generating Automatic Curricula via Self-Supervised Active Domain Randomization
Mila(米拉);Université de Montréal(蒙特利尔大学);Element AI(元素人工智能公司);CIFAR AI Chair(加拿大高级研究院人工智能讲席)
目标导向的强化学习(RL)传统上认为智能体与环境交互,规定与完成某个目标成比例的真实价值奖励给智能体。目标导向的强化学习在样本效率方面有很大的提高,这是因为通过提出目标可以很容易地重用或生成新的经验。一种方法,自我游戏,允许代理通过交替设置和完成目标来与自己"玩",创建一个学习课程,通过该课程,代理可以学习逐步完成更困难的目标。然而,自我游戏仅限于目标课程学习或在单一环境中逐步学习更难的目标。最近关于机器人代理的工作表明,在训练期间改变环境(例如域随机化)可以导致更鲁棒的传输。因此,我们扩展了自我发挥的框架,共同学习的目标和环境课程,导致学习最富有成效的域随机化策略与自我发挥的方法。我们的方法,自我监督主动域随机化(SS-ADR),生成一个耦合的目标任务课程,代理学习通过逐步更困难的任务和环境变化。通过鼓励代理尝试其当前能力之外的任务,SS-ADR构建了一个域随机化课程,可以在各种sim2real传输任务上实现最先进的结果。我们的研究结果表明,一个共同发展的环境难度的课程,在每个环境中设定的目标的难度提供了实际的好处,在目标导向的任务测试。
2020-10-26 cs.AI cs.LG cs.RO
Teacher algorithms for curriculum learning of Deep RL in continuously parameterized environments
Inria(法国国家信息与自动化研究所);Microsoft Research(微软研究院)
我们考虑教师算法如何使未知的深度强化学习(DRL)学生能够在各种不同的环境中掌握技能的问题。为此,我们研究了教师算法如何学习生成学习课程,从而顺序采样控制随机程序生成环境的参数。因为它最初并不知道学生的能力,教师面临的一个关键挑战是发现哪些环境是容易的,困难的或不可学习的,以及以何种顺序提出它们以最大限度地提高学习效率。为了实现这一点,这个问题被转化为一个代理连续的强盗问题,教师样本的环境,以最大限度地提高绝对学习进度的学生。提出了一种基于高斯混合模型的绝对学习过程建模算法(ALP-GMM)。我们还适应现有的算法,并提供了一个完整的研究DRL的上下文中。使用参数化的双足步行环境的变体,我们研究他们的效率,个性化的学习课程,为不同的学习者(实施例),他们的鲁棒性的可学习/不可学习的环境的比例,和他们的可扩展性,非线性和高维参数空间。视频和代码可在https://github.com/flowersteam/teachDeepRL上获得。
2019-10-16 cs.LG cs.RO stat.ML
Evolutionary Curriculum Training for DRL-Based Navigation Systems
Institute for Robotics and Intelligent Machines(机器人与智能机器研究所);Georgia Institute of Technology(佐治亚理工学院)
本文提出进化课程训练方法,通过评估DRL碰撞避免模型在结构化环境中的能力并生成针对性课程来提升其导航与避障性能,在五个环境中验证了更高成功率和更低碰撞次数。
2023-06-15 cs.AI cs.LG cs.MA
Graph-Based Complexity Metrics for Multi-Agent Curriculum Learning: A Validated Approach to Task Ordering in Cooperative Coordination Environments
PES University(PES大学)
本文提出基于图的协调复杂度度量(整合依赖熵、空间干扰与目标重叠),经 rho=0.952 验证,在 MADDPG 下使紧密协调任务性能提升 56 倍,为多智能体课程设计提供有效排序依据。
2025-07-09 cs.MA cs.RO
Safe Reinforcement Learning via Curriculum Induction
ETH Zurich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
在安全关键型应用中,自主智能体可能需要在错误代价非常高昂的环境中学习。在这样的设置中,代理不仅需要在学习之后而且在学习期间安全地行为。为了实现这一点,现有的安全强化学习方法使智能体依赖于先验知识,使其在探索过程中以高概率避免危险情况,但先验知识中固有的概率保证和平滑假设在许多感兴趣的场景中都是不可行的,例如自动驾驶。本文提出了一种受人类教学启发的替代方法,在该方法中,代理在自动教练的监督下学习,从而避免代理在学习过程中违反约束。在这个模型中,我们引入了监视器,既不需要知道如何做好代理正在学习的任务,也不需要知道环境是如何工作的。相反,它有一个重置控制器库,当代理开始危险行为时,它会激活该库,以防止它造成损害。至关重要的是,选择在何种情况下应用哪种重置控制器会影响代理学习的速度。基于观察代理的进展,教师本身学习用于选择重置控制器的策略,课程,以优化代理的最终策略奖励。我们的实验使用这个框架在两个环境中诱导课程的安全和有效的学习。
2021-01-21 cs.AI cs.LG cs.RO
Towards Optimal Head-to-head Autonomous Racing with Curriculum Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Cleveland State University(克利夫兰州立大学)
针对头对头自主赛车的最优策略学习难题,提出基于课程学习的强化学习框架(从简单车辆模型过渡到复杂真实环境)及基于控制屏障函数的安全强化学习算法,在保障安全的同时提升策略最优性。
2023-08-25 cs.AI cs.RO
Accelerating Robot Learning of Contact-Rich Manipulations: A Curriculum Learning Study
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
强化学习(RL)范式已经成为机器人任务自动化的重要工具。尽管RL取得了进步,但由于需要昂贵的大量机器人与环境交互,因此它仍然没有在工业中广泛采用。课程学习是为了加快学习而提出的。然而,大多数研究工作仅在模拟环境中进行评估,从视频游戏到机器人玩具任务。本文提出了一种基于课程学习和领域随机化相结合的方法来加速机器人对接触丰富操作任务的学习。我们使用位置控制机器人处理复杂的工业装配任务,例如插入任务。我们比较了DR的不同课程设计和采样方法。基于这项研究,我们提出了一种方法,该方法显着优于以前的工作,仅使用DR(不使用CL),训练时间(样本)不到五分之一。结果还表明,即使只在模拟玩具任务中训练,我们的方法也可以学习可以转移到现实世界机器人的策略。学习的政策实现了高达86%的成功率在现实世界中复杂的工业插入任务(公差为$\pm 0.01~mm$)没有看到在培训期间。
2022-04-28 cs.AI cs.LG cs.RO
Follow the Object: Curriculum Learning for Manipulation Tasks with Imagined Goals
WMG;University of Warwick(华威大学)
在具有稀疏奖励的环境中通过深度强化学习来学习机器人操作是一项具有挑战性的任务。在本文中,我们解决这个问题,通过引入一个概念的假想对象的目标。对于给定的操纵任务,首先通过物理逼真的模拟来训练感兴趣的对象,使其在不被操纵的情况下自行到达期望的目标位置。然后,利用对象策略来构建合理对象轨迹的预测模型,为机器人提供在训练期间要达到的越来越困难的对象目标的课程。所提出的算法,跟随对象(FO),已评估7 MuJoCo环境需要增加程度的探索,并取得了更高的成功率相比,替代算法。在特别具有挑战性的学习场景中,例如,对象的初始位置和目标位置相距甚远,我们的方法仍然可以学习策略,而竞争方法目前失败了。
2021-11-11 cs.AI cs.LG cs.RO
Indoor Path Planning for an Unmanned Aerial Vehicle via Curriculum Learning
Yonsei University(延世大学);Electronics and Telecommunications Research Institute(电子通信研究院)
将强化学习应用于室内环境下无人机避障二维路径规划的学习。无人机的任务是在最短的时间内到达目标位置,不与任何障碍物相撞。强化学习是在使用Gazebo(一种虚拟环境模拟器)创建的虚拟环境中执行的,以减少学习时间和成本。课程学习,其中包括两个阶段进行了更有效的学习。作为两种奖励模型学习的结果,达到的最大目标率分别为71.2%和88.0%。
2021-08-23 cs.RO
Human-Aware Robot Navigation via Reinforcement Learning with Hindsight Experience Replay and Curriculum Learning
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
针对密集人群中无示范数据的机器人导航问题,提出融合HER与CL的强化学习方法,以克服稀疏奖励并学习安全、高效、无碰撞的人类感知导航策略。
2021-10-09 cs.AI cs.LG cs.RO
Mobile Robots through Task-Based Human Instructions using Incremental Curriculum Learning
University of Tsukuba(筑波大学)
本文提出将增量课程学习与深度强化学习结合,用于基于任务型人类指令的移动机器人导航,实验证明该方法能提升训练效率与泛化能力,优于无课程学习的方法。
2024-12-26 cs.AI cs.RO
No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery
University of Oxford(牛津大学)
本研究发现现有无监督环境设计(UED)方法的遗憾近似值与实际遗憾不相关,提出直接在高可学习性场景训练的新方法,在多个环境中性能更优,还引入了基于CVaR的对抗性鲁棒性评估流程并开源代码。
2024-10-29 cs.AI cs.LG cs.RO
ALLSTEPS: Curriculum-driven Learning of Stepping Stone Skills
University of British Columbia(不列颠哥伦比亚大学)
人类非常擅长在具有脚放置约束的环境中行走,包括脚步位置完全受限的踏脚石场景。寻找踏脚石运动的好的解决方案是动画和机器人技术的一个长期和基本的挑战。我们提出了充分学习的解决方案,这个困难的问题,使用强化学习。我们证明了有效学习的课程的重要性,并评估四种可能的课程选择相比,非课程基线。结果模拟的人的性格,一个现实的双足机器人模拟和怪物的性格,在每种情况下产生强大的,合理的运动具有挑战性的垫脚石序列和地形。
2020-08-30 cs.GR cs.LG cs.RO
Robust Reinforcement Learning via Genetic Curriculum
Carnegie Mellon University(卡内基梅隆大学)
在安全关键系统中应用深度强化学习(RL)时,实现鲁棒性能至关重要。一些最先进的方法试图解决对抗性代理的问题,但这些代理通常需要专家监督来微调并防止对手对受训代理变得过于具有挑战性。虽然其他方法涉及在训练期间自动调整环境设置,但它们仅限于可以使用低维编码的简单环境。受这些方法的启发,我们提出了遗传课程,一种算法,自动识别的情况下,代理目前失败,并生成一个相关的课程,以帮助代理学习解决的情况下,获得更强大的行为。作为一个非参数优化器,我们的方法使用一个原始的,非固定的编码方案,减少了对专家监督的需要,并允许我们的算法,以适应不断变化的代理性能。我们的实证研究表明,与现有的最先进的算法相比,鲁棒性有所提高,提供的培训课程使代理失败的可能性降低2 - 8倍,而不会牺牲累积奖励。我们包括一项消融研究,并分享我们的算法优于先前方法的原因。
2022-02-17 cs.LG cs.RO
Achieving Goals using Reward Shaping and Curriculum Learning
University of Bristol(布里斯托大学);University of the West of England(西英格兰大学)
本文结合课程学习、奖励塑造与高效并行环境,将多立方体堆叠任务分解为顺序子目标,并把最佳配置扩展到不同形状物体的高复杂度环境。
2023-04-20 cs.RO
MaMiC: Macro and Micro Curriculum for Robotic Reinforcement Learning
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Robert Bosch Center for Data Science and AI (RBCDSAI)(罗伯特·博世数据科学与人工智能中心(RBCDSAI))
与随机学习相比,人类和动物的塑形已被证明是学习复杂任务的强大工具。这使得问题不那么复杂,并使人们能够首先解决手头较容易的子任务。为这种引导式学习生成课程涉及使代理首先服从较容易的目标,然后逐渐增加其难度。本文采取了类似的方向,并提出了一个双课程计划,解决机器人操作任务的稀疏奖励,称为MaMiC。它包括一个宏课程计划,它将任务分成多个子任务,然后是一个微课程计划,使代理能够在这些发现的子任务之间学习。我们将展示如何结合宏观和微观课程策略,帮助克服机器人操作任务中考虑的主要探索性限制,而不必设计任何复杂的奖励。我们还说明了个别课程的意义,以及如何根据任务独立使用。这样一个双课程计划的性能进行了分析的获取环境。
2019-05-17 cs.AI cs.LG cs.RO
Robust Monocular Visual Odometry using Curriculum Learning
University of Haifa(海法大学)
本研究将多种课程学习策略整合进DPVO框架,提出CL-DPVO以提升单目视觉里程计的鲁棒性,在多个基准上超越现有最优方法,验证了课程学习在该领域的有效性。
2024-12-13 cs.AI cs.RO
An A* Curriculum Approach to Reinforcement Learning for RGBD Indoor Robot Navigation
Ford Greenfield Labs(福特格林菲尔德实验室)
训练机器人在不同的环境中导航是一个具有挑战性的问题,因为它涉及到几个不同的感知任务,如地图和定位,其次是最佳路径规划和控制的融合。最近发布的照片逼真模拟器(如Habitat)允许训练直接从感知输出控制动作的网络:代理使用深度强化学习(DRL)以端到端的方式直接从相机图像回归到控制输出。这是数据效率低下的,并且可能需要几天的时间在GPU上进行训练。本文试图通过分离感知和控制神经网络的训练,并使用课程方法逐渐增加路径复杂度来克服这个问题。具体地,预训练的双变分自编码器(VAE)用于将来自环境的RGBD(RGB &深度)感测压缩成潜在嵌入,其然后用于训练基于DRL的控制策略。传统的路径规划器A* 被用作策略的指南,并且随着训练的进行,起始位置和目标位置之间的距离沿着A* 路线逐渐增加。我们证明了所提出的方法的有效性,无论是在人居模拟环境中的PointNav任务的性能提高和训练时间减少。这种改进基于直接感知的DRL导航策略的策略预计将加速工业界特别感兴趣的机器人的部署,例如工厂车间的协作机器人和最后一英里交付机器人。
2021-01-05 cs.LG cs.RO
Reinforcement Learning with Adaptive Curriculum Dynamics Randomization for Fault-Tolerant Robot Control
Graduate School of Science and Engineering, Chiba University(千叶大学理工学研究科);Graduate School of Engineering, Chiba University(千叶大学工学研究科)
针对四足机器人执行器故障容错问题,提出带动力学随机化的自适应课程强化学习算法ACDR,通过hard2easy课程训练单一鲁棒策略,无需故障检测与策略切换模块,并在平均奖励和行走距离上优于传统算法。
2021-11-19 cs.AI cs.RO
SGN-CIRL: Scene Graph-based Navigation with Curriculum, Imitation, and Reinforcement Learning
Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院);Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心);Artificial Intelligence Research Institute (AIRI)(人工智能研究院)
本文提出SGN-CIRL框架,将可学习的开放词汇3D场景图与模仿学习和课程学习相结合,用于无地图强化学习机器人导航,实验表明其显著提升了困难导航任务的成功率。
2025-06-04 cs.LG cs.RO
Learning Multi-Objective Curricula for Robotic Policy Learning
McGill University(麦吉尔大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所);IBM Research(IBM研究院);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院);Beijing Academy of AI(北京人工智能研究院)
为了提高深度强化学习(DRL)的样本效率和最终性能,已经提出了各种自动课程学习(ACL)方法。它们旨在控制DRL代理如何收集数据,这是受到人类如何逐渐适应其学习过程以适应其能力的启发。例如,ACL可用于子目标生成、奖励塑造、环境生成或初始状态生成。然而,先前的工作只考虑课程学习以下的上述预定义的范例之一。目前还不清楚这些范例中哪些是互补的,以及如何从与环境的相互作用中学习它们的组合。因此,在本文中,我们提出了一个统一的自动课程学习框架,以创建多目标,但连贯的课程,是由一组参数课程模块生成。每个课程模块被实例化为一个神经网络,并负责生成特定的课程。为了在统一的参数空间中协调这些潜在冲突的模块,我们提出了一个多任务超网学习框架,该框架使用单个超网来参数化所有这些课程模块。除了现有的手工设计的课程范例,我们进一步设计了一个灵活的记忆机制来学习一个抽象的课程,否则可能很难手动设计。我们评估我们的方法上的一系列机器人操作任务,并证明其优越性比其他国家的最先进的ACL方法的样本效率和最终性能。
2022-10-20 cs.AI cs.LG cs.RO
AutoLoop: Fast Visual SLAM Fine-tuning through Agentic Curriculum Learning
University of Haifa(海法大学);Leon H. Charney School of Marine Sciences(莱昂·H·查尼海洋科学学院);Hatter Department of Marine Technologies(哈特海洋技术系);Swarm & AI Lab (SAIL)(群体与人工智能实验室(SAIL))
针对视觉SLAM系统回环处理效率与鲁棒性难平衡的问题,提出结合DDPG智能体动态调权与离线预计算回环对的自动化课程学习方法AutoLoop,可将训练时间减少一个数量级且性能更优。
2025-01-15 cs.AI cs.LG cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University(普渡大学)
针对紧急场景下社会感知导航的计算与适应难题,提出MIRACLE模型,利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
GACL: Grounded Adaptive Curriculum Learning with Active Task and Performance Monitoring
Department of Computer Science, George Mason University(乔治·马歇尔大学计算机科学系);Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系);Sony AI(索尼人工智能)
针对机器人课程学习依赖人工设计且难以适应复杂任务空间的问题,提出GACL框架,通过任务表示、主动性能跟踪和接地采样,在轮式导航和四足运动上分别提升成功率6.8%和6.1%。
2025-08-05 cs.AI cs.RO
Scenario-Based Curriculum Generation for Multi-Agent Autonomous Driving
Technische Universität Wien (TU Wien)(维也纳工业大学);AVL List GmbH(AVL List有限公司)
本文提出MATS-Gym多智能体交通场景训练框架,在CARLA中利用部分场景规范生成可变智能体数量的场景,并结合无监督环境设计实现自适应自动课程生成。
2025-02-06 cs.LG cs.MA cs.RO
Curriculum-Based Reinforcement Learning for Autonomous UAV Navigation in Unknown Curved Tubular Conduit
DGA Techniques Navales - Direction Générale de l’Armement(法国国防总局海军技术部);LIRMM, TETIS, CNRS, Université de Montpellier Paul-Valéry(蒙彼利埃大学保罗-瓦莱里耶大学);LIS, CNRS, Université de Toulon(土伦大学)
本文提出基于课程学习的强化学习方法,使无人机在未知弯曲管状环境中实现自主导航,通过结合激光雷达和视觉信息,克服部分可观测性挑战,提升导航稳定性与泛化能力。
2025-12-11 cs.LG cs.RO
Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge
Seoul National University(首尔大学)
提出一种无需任务特定知识的自主强化学习算法,通过自监督训练的成功判别器生成自适应课程,使智能体能高效解决稀疏奖励任务并显著减少手动重置次数。
2024-02-18 cs.LG cs.RO
Autonomous Exploration and Mapping for Mobile Robots via Cumulative Curriculum Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
深度强化学习(Deep Reinforcement Learning,DRL)已广泛应用于自主探索和地图绘制任务中,但通常面临采样效率、对未知地图大小的适应性差以及模拟速度慢等挑战。为了加快收敛速度,我们将课程学习(CL)与DRL相结合,首先提出了累积课程强化学习(CCRL)训练框架,以缓解一般CL面临的灾难性遗忘问题。此外,我们提出了一种新的状态表示,它考虑了局部自我中心地图和全球勘探地图调整到固定的维度,以便灵活地适应各种大小和形状的环境。此外,为了促进DRL模型的快速训练,我们开发了一个轻量级的基于网格的模拟器,与流行的机器人仿真平台(如Gazebo)相比,它可以大大加快仿真速度。基于定制的模拟器,进行了综合实验,结果表明,与一般CL和无课程的DRL模型相比,CCRL框架不仅缓解了灾难性遗忘问题,而且提高了样本效率和DRL模型的泛化能力。我们的代码可在https://github.com/BeamanLi/CCRL_Exploration上获得。
2023-02-25 cs.RO
CTSAC: Curriculum-Based Transformer Soft Actor-Critic for Goal-Oriented Robot Exploration
School of Information and Control Engineering, China University of Mining and Technology(中国矿业大学信息与控制工程学院)
针对强化学习机器人探索中推理弱、收敛慢和仿真到现实迁移难的问题,提出融合 Transformer、SAC 与周期性回顾课程学习的 CTSAC,并在仿真和真实实验中验证其更优探索与迁移性能。
2025-03-18 cs.AI cs.RO
Using Deep Reinforcement Learning with Automatic Curriculum Learning for Mapless Navigation in Intralogistics
University of Luebeck(吕贝克大学);KION Group AG(凯傲集团股份公司);Montanuniversität Leoben(莱奥本矿业大学)
我们提出了一种深度强化学习方法来解决仓库场景中的无地图导航问题。在我们的方法中,自动引导车辆配备了LiDAR和正面RGB传感器,并学习执行有针对性的导航任务。挑战在于用于学习的正样本的稀疏性、具有部分可观测性的多模态传感器感知、对精确转向机动的需求以及长训练周期。为了解决这些问题,我们提出NavACL-Q作为一种自动课程学习的方法,结合分布式版本的软演员-评论家算法。学习算法的性能在一个看不见的仓库环境中进行了详尽的评估,以验证学习策略的鲁棒性和通用性。NVIDIA Isaac Sim中的结果表明,经过训练的智能体的性能明显优于NVIDIA Isaac Sim提供的基于地图的导航管道,其智能体目标距离增加了3米,初始相对智能体目标旋转了45度。消融研究还表明,NavACL-Q极大地促进了学习过程,与随机开始的训练相比,性能增益约为40%,并且使用预训练的特征提取器明显提高了约60%的性能。
2022-03-16 cs.LG cs.RO
Curriculum Reinforcement Learning for Complex Reward Functions
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文针对多奖励项复杂奖励函数中难以平衡且易被利用的问题,提出一种两阶段奖励课程方法,先优化简单奖励再自动过渡到完整复杂奖励,并引入灵活replay buffer实现高效阶段迁移,在DeepMind control suite和移动机器人场景中显著提升了策略性能与约束满足能力。
2025-02-10 cs.LG cs.RO
BaRC: Backward Reachability Curriculum for Robotic Reinforcement Learning
Department of Mechanical Engineering, Stanford University(斯坦福大学机械工程系);School of Computing Science, Simon Fraser University(西蒙弗雷泽大学计算机科学学院)
本文提出BaRC方法,利用物理先验知识设计课程方案,通过逆向可达性策略加速连续控制MDP中模型无关RL算法的训练,提升性能并减少探索需求。
2018-09-17 cs.LG cs.RO cs.SY
Assessing Evolutionary Terrain Generation Methods for Curriculum Reinforcement Learning
CSIRO(联邦科学与工业研究组织);Monash University(莫纳什大学);Queensland University of Technology(昆士兰科技大学);University of Queensland(昆士兰大学)
通过课程学习,可以通过逐步超越"垫脚石"目标,掌握复杂的任务,最终达到理想的行为。典型的实现通过逐渐复杂化的地形网格通过参数化的噪声函数生成的具有挑战性的环境中学习运动策略。迄今为止,研究人员主要从有限范围的噪声函数生成地形,并且在文献中未充分说明生成器对学习过程的影响。我们比较流行的基于噪声的地形生成器的两个间接编码,CPPN和GAN。为了允许直接和间接表示之间的直接比较,我们评估了一系列表示不可知的MAP精英特征描述符的影响,这些特征描述符直接从生成的地形网格计算指标。接下来,性能和覆盖率进行评估时,训练人形机器人在物理模拟器中使用PPO算法。结果描述的发电机,告知他们在课程学习的使用之间的主要差异,并提出了一系列有用的功能描述符,由社区吸收。
2022-03-29 cs.NE cs.RO
HACL: History-Aware Curriculum Learning for Fast Locomotion
University of Maryland, College Park, MD, USA(马里兰大学);George Mason University(乔治·玛森大学)
针对四足和双足机器人的敏捷快速运动问题,提出历史感知课程学习(HACL)算法,通过RNN建模关节速度指令历史与奖励的关系,在多机器人上验证,峰值速度达6.7m/s且性能提升近20%。
2025-11-18 cs.RO
Curriculum Proximal Policy Optimization with Stage-Decaying Clipping for Self-Driving at Unsignalized Intersections
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院)
针对无信号交叉口自动驾驶难题,本文提出带阶段衰减裁剪的CPPO框架,结合课程学习与定制奖励,提升了复杂动态环境适应性和训练速度。
2023-08-31 cs.RO
HiFAR: Multi-Stage Curriculum Learning for High-Dynamics Humanoid Fall Recovery
Tsinghua University(清华大学);Booster Robotics Technology Co., Ltd(Booster机器人科技有限公司)
针对人形机器人在动态环境中跌倒恢复的难题,提出多阶段课程学习框架HiFAR,通过渐进式任务训练实现高效稳定恢复,并在真实机器人上验证了高成功率、快速、鲁棒和泛化性能。
2025-02-28 cs.RO
Implementation and Assessment of an Augmented Training Curriculum for Surgical Robotics
Department of Electrionics, Information and Bioengineering(电子信息与生物工程系)
本研究开发并验证了一款包含8项任务和高级触觉辅助接口的手术机器人触觉增强型虚拟现实模拟器,实验表明该增强辅助训练课程能显著提升训练表现并促进技能向无辅助临床场景的迁移。
2025-07-10 cs.RO
Hierarchical place recognition with omnidirectional images and curriculum learning-based loss functions
Institute for Engineering Research (I3E)(工程研究所);Miguel Hernández University(米格尔·希门内斯大学);Camí de Vera, Building 3Q(Camí de Vera, 建筑3Q)
针对移动机器人视觉地点识别需求,提出融合课程学习策略的三元组损失微调全景图像深度学习模型,采用粗细两级分层识别流程,在多种复杂场景下实现了优于传统方法的高准确率鲁棒识别。
2025-10-01 cs.AI cs.CV cs.RO
AURA: Autonomous Upskilling with Retrieval-Augmented Agents
AURA框架利用LLM作为自主设计者,通过检索增强反馈回路生成并优化多阶段强化学习课程,实现了直接从用户提示到人形机器人零样本部署的端到端策略学习。
2025-11-05 cs.RO
VertiSelector: Automatic Curriculum Learning for Wheeled Mobility on Vertically Challenging Terrain
Department of Computer Science, George Mason University(计算机科学系,乔治·马歇尔大学)
本文提出自动课程学习框架VertiSelector,通过优先采样高TD误差的垂直挑战地形,在VW-Chrono仿真和Verti-4-Wheeler平台上将成功率提升23.08%,显著提高样本效率和现实泛化能力。
2025-07-17 cs.RO