State Dropout-Based Curriculum Reinforcement Learning for Self-Driving at Unsignalized Intersections
Carnegie Mellon University(卡内基梅隆大学)
穿越交叉路口是自动驾驶车辆面临的一个挑战性问题,特别是在交叉路口没有交通控制的情况下。最近,深度强化学习由于其在处理自动驾驶任务方面的成功而受到广泛关注。在这项工作中,我们解决了穿越无信号交叉口使用深度强化学习的新课程的问题。所提出的课程导致:1)强化学习代理的更快的训练过程,以及2)与没有课程训练的代理相比,更好的性能。我们的主要贡献是两方面的:1)提出了一个独特的课程,用于训练深度强化学习代理,和2)显示所提出的课程的应用程序的无信号交叉路口遍历任务。该框架期望从自动驾驶车辆的感知系统对周围环境进行处理观察。我们测试我们的方法在T型交叉口和四路交叉口的CommonRoad运动规划模拟器。
2022-07-10 cs.AI cs.LG cs.RO
Accelerating Reinforcement Learning for Reaching using Continuous Curriculum Learning
University of Groningen(格罗宁根大学)
强化学习由于具有顺序决策的特点,在机器人行为训练中显示出巨大的潜力。然而,所需的大量互动和信息丰富的训练数据是取得进展的主要障碍。在这项研究中,我们专注于加速强化学习(RL)训练和提高多目标达成任务的性能。具体来说,我们提出了一个精确的基于连续课程学习(PCCL)的方法,在训练过程中的要求是逐步调整,而不是固定的参数在一个静态的时间表。为此,我们探索各种持续的课程策略,控制培训过程。使用通用机器人5e在模拟和现实世界的多目标到达实验中测试这种方法。实验结果支持静态训练时间表是次优的假设,并且使用适当的衰减函数用于课程学习以更快的方式提供优异的结果。
2020-12-21 cs.AI cs.RO
Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
Cornell University(康奈尔大学)
针对深度强化学习策略环境鲁棒性不足、人工设计课程耗费人力的问题,提出用贝叶斯优化推断课程-奖励函数以获取鲁棒课程,在自主竞速避障任务中性能优于普通深度强化学习与人工课程方案。
2023-12-16 cs.LG cs.RO
Sim-to-Real Gentle Manipulation of Deformable and Fragile Objects with Stress-Guided Reinforcement Learning
the division of Robotics, Perception and Learning, KTH Royal Institute of Technology(机器人、感知与学习部门,皇家理工学院);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(机器人与信息技术工业研究所)
针对机器人操作可变形易碎物体易损伤且现有方案泛化性差的问题,提出带应力惩罚奖励的视觉强化学习方法,结合离线演示与课程学习,实现仿真到现实零样本迁移,应力降低36.5%。
2025-10-29 cs.RO
Density-based Curriculum for Multi-goal Reinforcement Learning with Sparse Rewards
Xi’an Jiaotong University(西安交通大学)
多目标强化学习旨在使智能体有能力完成多目标任务,这对于学习可扩展的机器人操作技能具有重要意义。然而,在多目标强化学习中,奖励工程总是需要付出艰苦的努力。此外,它会引入不可避免的偏见,导致最终政策的次优。稀疏奖励提供了一种简单而有效的方法来克服这些限制。但是,这也损害了勘探效率,甚至阻碍了政策的趋同。在本文中,我们提出了一个基于密度的课程学习方法,有效的探索与稀疏的奖励和更好的推广所需的目标分布。直观地说,我们的方法鼓励机器人沿着方向逐渐扩大其能力的边界,以尽可能多和尽可能快地覆盖整个所需的目标空间。为了进一步提高数据效率和通用性,我们在训练过程中在允许的区域内增加目标和转换。最后,我们评估我们的方法对各种各样的基准操作任务,是具有挑战性的现有方法。实证结果表明,我们的方法在数据效率和成功率方面都优于最先进的基线。
2021-09-24 cs.RO
SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation
Carnegie Mellon University(卡内基梅隆大学)
由于可变形物体的高维状态表示和复杂的动力学特性,操纵可变形物体一直是机器人领域的一个挑战。最近在深度强化学习方面的成功为使用数据驱动方法学习操纵可变形对象提供了一个有希望的方向。然而,现有的强化学习基准测试仅涵盖具有直接状态可观测性和简单低维动力学或相对简单的基于图像的环境(例如具有刚性对象的环境)的任务。在本文中,我们介绍了SoftGym,这是一组用于操纵可变形对象的开源模拟基准,具有标准的OpenAI Gym API和用于创建新环境的Python接口。我们的基准将使这一重要领域的可重复研究成为可能。此外,我们评估了这些任务的各种算法,并强调了强化学习算法的挑战,包括处理具有高内在维度且部分可观察的状态表示。实验和分析表明,现有的方法的优势和局限性的背景下,可变形的对象操作,可以帮助指出未来的方法发展的方向。学习策略的代码和视频可以在我们的项目网站上找到。
2021-03-08 cs.LG cs.RO
Sim-To-Real Transfer for Visual Reinforcement Learning of Deformable Object Manipulation for Robot-Assisted Surgery
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Verona(维罗纳大学);Heidelberg University Hospital(海德堡大学医院)
本文提出基于像素级域自适应的图像强化学习流程,实现手术机器人可变形物体操作的视觉仿真到现实迁移,在真实机器人组织牵拉任务中无需重训练即达到50%成功率。
2024-06-10 cs.RO
Curriculum-Based Reinforcement Learning for Quadrupedal Jumping: A Reference-free Design
Delft University of Technology(代尔夫特理工大学);Institute of Robotics and Mechatronics, German Aerospace Center (DLR)(德国航空航天中心机器人与机电一体化研究所)
提出一种无参考轨迹的课程式DRL框架,使四足机器人由原地跳逐步学习全向跳和越障,真实实验实现90厘米前跳并能在未训练的软草地连续跳跃。
2024-03-04 cs.RO
Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles
School of Automation and Perception, Shanghai Jiao Tong University(自动化与感知学院,上海交通大学);Faculty of Aerospace Engineering, Delft University of Technology(航空航天工程学院,代尔夫特理工大学)
本文提出一种课程强化学习框架,通过多阶段学习和领域随机化提升四旋翼赛车在随机障碍物环境中的鲁棒性和速度
2026-02-27 cs.RO
Chance-Aware Lane Change with High-Level Model Predictive Control Through Curriculum Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Hong Kong University of Science and Technology(香港科技大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院)
针对密集交通下自动驾驶变道时机识别难题,提出一种基于课程强化学习的高层模型预测控制机会感知变道框架,通过神经网络策略生成状态参考与调节因子,在微小机会下实现96%汇入成功率,并验证了其实用性与泛化能力。
2024-02-16 cs.RO
Indoor Path Planning for an Unmanned Aerial Vehicle via Curriculum Learning
Yonsei University(延世大学);Electronics and Telecommunications Research Institute(电子通信研究院)
将强化学习应用于室内环境下无人机避障二维路径规划的学习。无人机的任务是在最短的时间内到达目标位置,不与任何障碍物相撞。强化学习是在使用Gazebo(一种虚拟环境模拟器)创建的虚拟环境中执行的,以减少学习时间和成本。课程学习,其中包括两个阶段进行了更有效的学习。作为两种奖励模型学习的结果,达到的最大目标率分别为71.2%和88.0%。
2021-08-23 cs.RO
LEACL: LLM-Enhanced Automatic Curriculum Learning for Reinforcement Learning in Long-Horizon Manipulation Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Nanyang Technological University(南洋理工大学);Sony AI(索尼人工智能)
针对长时程操作任务强化学习挑战,提出LEACL框架,结合大语言模型与自动课程学习,用大语言模型分解任务并生成规范,由自动课程学习算法仅依稀疏奖励信号指导学习,在相关任务上取得更好渐近性能。
2026-07-28 cs.RO
Mechanical Intelligence-Aware Curriculum Reinforcement Learning for Humanoids with Parallel Actuation
Department of Mechanical and Aerospace Engineering, UCLA(加州大学洛杉矶分校机械与航空航天工程系)
针对模拟器不支持闭式运动链导致忽略并联机构机械智能的问题,本文提出三种并联机构的仿真方法,并利用GPU加速的MuJoCo原生模拟闭链约束,通过课程强化学习为BRUCE机器人训练策略,在真实世界零样本部署中展现出优于MPC的性能。
2025-10-30 cs.RO
Reinforcement Learning with Adaptive Curriculum Dynamics Randomization for Fault-Tolerant Robot Control
Graduate School of Science and Engineering, Chiba University(千叶大学理工学研究科);Graduate School of Engineering, Chiba University(千叶大学工学研究科)
针对四足机器人执行器故障容错问题,提出带动力学随机化的自适应课程强化学习算法ACDR,通过hard2easy课程训练单一鲁棒策略,无需故障检测与策略切换模块,并在平均奖励和行走距离上优于传统算法。
2021-11-19 cs.AI cs.RO
Outcome-directed Reinforcement Learning by Uncertainty & Temporal Distance-Aware Curriculum Goal Generation
Seoul National University(首尔国立大学);Automation and Systems Research Institute(自动化与系统研究所);Artificial Intelligence Institute of Seoul National University(首尔国立大学人工智能研究所)
当前的强化学习(RL)在解决一个具有挑战性的探索问题时经常会遇到困难,因为在这个问题上很少能观察到期望的结果或高回报。尽管课程强化学习(一种通过提出一系列替代任务来解决复杂任务的框架)显示出合理的结果,但由于缺乏在没有任何先验领域知识的情况下获得校准指导以达到所需结果状态的机制,大多数以前的作品仍然难以提出课程。为了缓解这一问题,我们提出了一个不确定性和时间距离感知的课程目标生成方法的结果导向RL通过解决一个二分匹配问题。与以往的课程强化学习方法相比,该方法不仅可以提供精确校准的课程目标引导,而且具有更好的样本效率和几何不可知的课程目标建议能力。我们证明了我们的算法在各种具有挑战性的导航任务和机器人操作任务中以定量和定性的方式显着优于这些先前的方法。
2023-02-20 cs.AI cs.LG cs.RO
PhysReal: Learning Real-World Deformable Object Physics via Hybrid Constitutive Modeling
PhysReal提出视频驱动的混合本构建模框架,集成解析专家模型与神经残差及MPM模拟器,通过渐进课程从稀疏观察学习真实可变形物体物理,在动态重建和预测上表现优越。
2026-09-09 cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University(普渡大学)
针对紧急场景下社会感知导航的计算与适应难题,提出MIRACLE模型,利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
Catching Spinning Table Tennis Balls in Simulation with End-to-End Curriculum Reinforcement Learning
University of Shanghai for Science and Technology(上海理工大学);University of Hamburg(汉堡大学)
针对乒乓球机器人难以处理高速旋转球的问题,提出课程强化学习、旋转球碰撞分析、轨迹状态定义、有效回合轨迹选择及Real2Sim迁移等方法,提升了仿真训练效果并降低了部署成本。
2025-03-03 cs.RO
Towards Optimal Head-to-head Autonomous Racing with Curriculum Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Cleveland State University(克利夫兰州立大学)
针对头对头自主赛车的最优策略学习难题,提出基于课程学习的强化学习框架(从简单车辆模型过渡到复杂真实环境)及基于控制屏障函数的安全强化学习算法,在保障安全的同时提升策略最优性。
2023-08-25 cs.AI cs.RO
D3Grasp: Diverse and Deformable Dexterous Grasping for General Objects
Shanghai Jiao Tong University(上海交通大学)
D3Grasp提出多模态感知引导的强化学习框架,通过统一视觉触觉表示和非对称架构,实现通用及可变形物体的多样稳定灵巧抓取,真实世界成功率95.1%。
2025-09-24 cs.RO
Grasping Deformable Objects via Reinforcement Learning with Cross-Modal Attention to Visuo-Tactile Inputs
Dept. of Electronic Engineering at Sogang University(ソガン大学电子工程系);Dept. of Immersive Media and Engineering at Sungkyunkwan University(顺天大学沉浸媒体与工程系);College of Medicine, Yonsei University(延世大学医学院)
针对软壳可变形物体抓取易掉落或破裂的问题,提出基于深度强化学习与跨模态注意力的视触觉融合方法,生成机器人控制输入,其表现优于早期和晚期数据融合方法。
2025-10-12 cs.RO
Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge
Seoul National University(首尔大学)
提出一种无需任务特定知识的自主强化学习算法,通过自监督训练的成功判别器生成自适应课程,使智能体能高效解决稀疏奖励任务并显著减少手动重置次数。
2024-02-18 cs.LG cs.RO
SGN-CIRL: Scene Graph-based Navigation with Curriculum, Imitation, and Reinforcement Learning
Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院);Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心);Artificial Intelligence Research Institute (AIRI)(人工智能研究院)
本文提出SGN-CIRL框架,将可学习的开放词汇3D场景图与模仿学习和课程学习相结合,用于无地图强化学习机器人导航,实验表明其显著提升了困难导航任务的成功率。
2025-06-04 cs.LG cs.RO
Maneuver Decision-Making Through Automatic Curriculum Reinforcement Learning Without Handcrafted Reward functions
Aeronautics Engineering College, Air Force Engineering University(空军工程大学航空工程学院)
针对无人作战飞机自主空战机动决策问题,提出一种无需手工奖励函数的自动课程强化学习方法,按初始状态难度由易到难安排子任务,并验证其有效性与可解释性。
2023-07-12 cs.AI cs.LG cs.RO
Reverse Forward Curriculum Learning for Extreme Sample and Demonstration Efficiency in Reinforcement Learning
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出RFCL方法,通过逐示范反向课程生成初始策略以克服稀疏奖励探索困难,再用前向课程扩展到完整初始状态分布,显著提升示范与样本效率,并解决此前无法完成的高精度控制任务。
2024-05-06 cs.AI cs.LG cs.RO
Robust Reinforcement Learning via Genetic Curriculum
Carnegie Mellon University(卡内基梅隆大学)
在安全关键系统中应用深度强化学习(RL)时,实现鲁棒性能至关重要。一些最先进的方法试图解决对抗性代理的问题,但这些代理通常需要专家监督来微调并防止对手对受训代理变得过于具有挑战性。虽然其他方法涉及在训练期间自动调整环境设置,但它们仅限于可以使用低维编码的简单环境。受这些方法的启发,我们提出了遗传课程,一种算法,自动识别的情况下,代理目前失败,并生成一个相关的课程,以帮助代理学习解决的情况下,获得更强大的行为。作为一个非参数优化器,我们的方法使用一个原始的,非固定的编码方案,减少了对专家监督的需要,并允许我们的算法,以适应不断变化的代理性能。我们的实证研究表明,与现有的最先进的算法相比,鲁棒性有所提高,提供的培训课程使代理失败的可能性降低2 - 8倍,而不会牺牲累积奖励。我们包括一项消融研究,并分享我们的算法优于先前方法的原因。
2022-02-17 cs.LG cs.RO
Autonomous Overtaking in Gran Turismo Sport Using Curriculum Reinforcement Learning
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Sony AI Zurich(索尼AI苏黎世)
专业赛车手可以执行极端超车演习。然而,现有的自动超车算法要么依赖于车辆动力学的简化假设,要么试图在线解决昂贵的自动优化问题。当车辆接近其物理极限时,现有的基于模型的控制器难以处理高度非线性的动态特性,并且无法利用模拟或真实驾驶产生的大量数据。为了规避这些限制,我们提出了一种新的基于学习的方法来解决自主超车问题。我们在流行的赛车游戏Gran Turismo Sport中评估了我们的方法,该游戏以各种汽车和赛道的详细建模而闻名。通过利用课程学习,与普通强化学习相比,我们的方法可以更快地收敛并提高性能。因此,经过训练的控制器优于内置的基于模型的游戏AI,并实现了与经验丰富的人类驾驶员相当的超车性能。
2021-05-09 cs.AI cs.RO
Assessing Evolutionary Terrain Generation Methods for Curriculum Reinforcement Learning
CSIRO(联邦科学与工业研究组织);Monash University(莫纳什大学);Queensland University of Technology(昆士兰科技大学);University of Queensland(昆士兰大学)
通过课程学习,可以通过逐步超越"垫脚石"目标,掌握复杂的任务,最终达到理想的行为。典型的实现通过逐渐复杂化的地形网格通过参数化的噪声函数生成的具有挑战性的环境中学习运动策略。迄今为止,研究人员主要从有限范围的噪声函数生成地形,并且在文献中未充分说明生成器对学习过程的影响。我们比较流行的基于噪声的地形生成器的两个间接编码,CPPN和GAN。为了允许直接和间接表示之间的直接比较,我们评估了一系列表示不可知的MAP精英特征描述符的影响,这些特征描述符直接从生成的地形网格计算指标。接下来,性能和覆盖率进行评估时,训练人形机器人在物理模拟器中使用PPO算法。结果描述的发电机,告知他们在课程学习的使用之间的主要差异,并提出了一系列有用的功能描述符,由社区吸收。
2022-03-29 cs.NE cs.RO
Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation
University of Bologna(博洛尼亚大学)
提出自定进度课程深度强化学习框架,结合软演员-评论家算法,动态生成渐进任务,在物理精确模拟器中训练自主摩托车赛车,优于标准SAC。
2026-06-08 cs.AI cs.RO
Tracking Control for a Spherical Pendulum via Curriculum Reinforcement Learning
Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for AI(德国人工智能研究中心);Centre of Cognitive Science(认知科学中心);Aalto University(阿尔托大学)
本文将自动课程构建算法与并行仿真RL结合,利用尊重非欧几里得结构的优化生成轨迹课程,为机械臂球面摆学习跟踪控制器,并在真实系统上达到最优控制基线性能。
2023-09-25 cs.LG cs.RO
Sim-to-Real Reinforcement Learning for Deformable Object Manipulation
Imperial College London(帝国理工学院)
我们已经看到了最近的进展,在刚性物体的操作,但与可变形物体的相互作用显着落后。由于可变形物体的配置空间很大,使用传统建模方法的解决方案需要大量的工程工作。也许,绕过显式建模的需要,而是以端到端的方式学习控制是一种更好的方法?尽管越来越多的人对使用端到端的机器人学习方法感兴趣,但只有少量的工作集中在它们对可变形物体操纵的适用性上。此外,由于学习这些端到端解决方案需要大量数据,一个新兴的趋势是在仿真中学习控制策略,然后将其转移到现实世界中。到目前为止,还没有工作探讨是否有可能学习和转移可变形对象的政策。我们相信,如果要进一步采用模拟到真实的方法,那么应该可以学习与各种各样的物体进行交互,而不仅仅是刚性物体。在这项工作中,我们使用了最先进的深度强化学习算法的组合来解决操纵可变形物体(特别是布料)的问题。我们在三个任务上评估我们的方法-将毛巾折叠到一个标记处,对角折叠面巾,将一块布挂在衣架上。我们的代理在域随机化的模拟中进行了充分的训练,然后成功地部署在现实世界中,而没有看到任何真实的可变形物体。
2018-10-08 cs.AI cs.LG cs.RO
Humanoid Whole-Body Badminton via an Annealed Reinforcement Learning Curriculum
Beijing Phybot Technology Co., Ltd(北京 Phybot 技术有限公司)
本文提出多阶段强化学习框架,实现人形机器人羽毛球全身体术控制,通过三阶段课程学习协调步伐与击球,实验验证在仿真和硬件上均取得高精度击球性能。
2026-09-15 cs.RO
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST(韩国科学技术院);UNIST(蔚山国立科学技术院)
本文提出变分课程强化学习(VCRL)和价值不确定性变分课程(VUVC),将变分赋能重构为目标条件强化学习中的课程学习,以提升无监督技能发现的样本效率与状态覆盖速度,并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
DCUR: Data Curriculum for Teaching via Samples with Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
深度强化学习(RL)已经取得了巨大的经验成功,但存在脆性和样本效率低下的问题。一个潜在的补救措施是使用以前培训的政策作为监督的来源。在这项工作中,我们将这些政策称为教师,并研究如何通过关注数据使用将他们的专业知识转移到新的学生政策中。我们提出了一个框架,强化学习的数据库(DCUR),它首先使用在线深度RL培训教师,并存储记录的环境交互历史。然后,学生通过运行离线RL或使用教师数据结合少量自我生成的数据来学习。DCUR的中心思想涉及定义一类数据课程,作为训练时间的函数,限制学生从完整教师数据的固定子集中采样。我们使用最先进的深度RL算法测试教师和学生在各种数据课程中的表现。结果表明,数据课程的选择会显著影响学生的学习,并且在早期训练阶段限制数据,同时随着时间的推移逐渐增加数据可用性是有益的。我们确定学生何时可以离线学习并匹配教师的表现,而无需依赖于专门的离线RL算法。此外,我们表明,收集一小部分在线数据提供了与数据课程的互补优势。补充材料可在https://tinyurl.com/teach-dcur上查阅。
2021-09-15 cs.LG cs.RO
MaMiC: Macro and Micro Curriculum for Robotic Reinforcement Learning
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Robert Bosch Center for Data Science and AI (RBCDSAI)(罗伯特·博世数据科学与人工智能中心(RBCDSAI))
与随机学习相比,人类和动物的塑形已被证明是学习复杂任务的强大工具。这使得问题不那么复杂,并使人们能够首先解决手头较容易的子任务。为这种引导式学习生成课程涉及使代理首先服从较容易的目标,然后逐渐增加其难度。本文采取了类似的方向,并提出了一个双课程计划,解决机器人操作任务的稀疏奖励,称为MaMiC。它包括一个宏课程计划,它将任务分成多个子任务,然后是一个微课程计划,使代理能够在这些发现的子任务之间学习。我们将展示如何结合宏观和微观课程策略,帮助克服机器人操作任务中考虑的主要探索性限制,而不必设计任何复杂的奖励。我们还说明了个别课程的意义,以及如何根据任务独立使用。这样一个双课程计划的性能进行了分析的获取环境。
2019-05-17 cs.AI cs.LG cs.RO
Visual-Tactile Multimodality for Following Deformable Linear Objects Using Reinforcement Learning
University of Liverpool(利物浦大学);University of Washington(华盛顿大学);King’s College London(伦敦国王学院)
针对单一传感模态跟踪可变形线性物体的缺陷,提出视觉-触觉融合的强化学习方法,构建仿真基准并验证多模态结合本体感觉可将任务成功率提升至92%,为相关研究提供参考。
2022-03-31 cs.LG cs.RO
Curriculum-based Sample Efficient Reinforcement Learning for Robust Stabilization of a Quadrotor
Luleå University of Technology(吕勒奥理工大学)
本文提出一种样本高效课程学习方法,通过分阶段递增任务复杂度,提升四旋翼机在随机初始条件下的稳定控制性能,减少计算资源和训练时间。
2026-04-13 cs.AI cs.RO
Decoupling Task and Behavior: A Two-Stage Reward Curriculum in Reinforcement Learning for Robotics
Chalmers University of Technology(查尔姆斯理工大学);Gothenburg University(哥德堡大学)
本文提出了一种两阶段奖励课程方法,通过分离任务目标与行为术语,提升机器人强化学习中奖励函数设计的有效性和稳定性。
2026-03-05 cs.LG cs.RO
CuRLA: Curriculum Learning Based Deep Reinforcement Learning for Autonomous Driving
Birla Institute of Technology & Science, Pilani(毕拉理工与科学学院皮拉尼分校)
本文提出CuRLA,将PPO、VAE与双重课程学习结合,在CARLA中通过渐进难度和碰撞惩罚提升自动驾驶智能体的泛化性、安全性与多奖励平衡能力。
2025-01-09 cs.AI cs.LG cs.RO
Demonstration-free Autonomous Reinforcement Learning via Implicit and Bidirectional Curriculum
Seoul National University(首尔国立大学);Artificial Intelligence Institute of Seoul National University (AIIS)(首尔国立大学人工智能研究所(AIIS));Automation and Systems Research Institute (ASRI)(自动化与系统研究所(ASRI))
针对强化学习依赖回合重置、现有自主强化学习依赖先验数据且难应对稀疏交互的问题,提出基于隐式双向课程的无示范算法,通过条件激活辅助智能体与最优传输双向目标课程,性能超越含示范的现有方法。
2023-06-09 cs.AI cs.LG cs.RO
Comparing Task Simplifications to Learn Closed-Loop Object Picking Using Deep Reinforcement Learning
Autonomous Systems Lab, ETH(苏黎世联邦理工学院自主系统实验室)
使自主机器人能够在非结构化环境中与动态对象进行交互,需要能够处理混乱、变化和对象可变性的操纵能力。本文提出了一种比较不同的强化学习为基础的方法与机器人机械手的对象拾取。我们学习了将深度相机输入映射到运动命令的闭环策略,并比较了不同的方法来保持问题的易处理性,包括奖励塑造,课程学习以及使用在具有减少的动作集的任务上预先训练的策略来热启动整个问题。为了有效和更灵活的数据汇集,我们在仿真中进行训练,并将策略传输到真实的机器人上。我们表明,使用课程学习,政策学习与稀疏的奖励制定可以训练在类似的速度与形状的奖励。这些策略的成功率与在简化任务上初始化的策略相当。我们可以成功地将这些策略转移到真正的机器人上,只需要对深度图像过滤进行微小的修改。我们发现,使用启发式来热启动训练对于执行所需的行为是有用的,而使用课程从头开始训练的策略可以更好地应对对象被删除的不可见场景。
2019-01-31 cs.RO
Reinforcement Learning Compensated Model Predictive Control for Off-road Driving on Unknown Deformable Terrain
Department of Automotive Engineering, Clemson University(汽车工程系,克莱姆森大学);Ground Vehicle Systems Center, U.S. Army Combat Capabilities Development Command(地面车辆系统中心,美国陆军作战能力发展指挥部)
本文提出了一种结合深度强化学习和模型预测控制的AC2MPC控制器,用于未知变形地形的高速越野驾驶,通过减少训练数据和提高泛化能力,实现了更高效和安全的控制性能。
2026-01-22 cs.RO cs.SY eess.SY
Using Deep Reinforcement Learning with Automatic Curriculum Learning for Mapless Navigation in Intralogistics
University of Luebeck(吕贝克大学);KION Group AG(凯傲集团股份公司);Montanuniversität Leoben(莱奥本矿业大学)
我们提出了一种深度强化学习方法来解决仓库场景中的无地图导航问题。在我们的方法中,自动引导车辆配备了LiDAR和正面RGB传感器,并学习执行有针对性的导航任务。挑战在于用于学习的正样本的稀疏性、具有部分可观测性的多模态传感器感知、对精确转向机动的需求以及长训练周期。为了解决这些问题,我们提出NavACL-Q作为一种自动课程学习的方法,结合分布式版本的软演员-评论家算法。学习算法的性能在一个看不见的仓库环境中进行了详尽的评估,以验证学习策略的鲁棒性和通用性。NVIDIA Isaac Sim中的结果表明,经过训练的智能体的性能明显优于NVIDIA Isaac Sim提供的基于地图的导航管道,其智能体目标距离增加了3米,初始相对智能体目标旋转了45度。消融研究还表明,NavACL-Q极大地促进了学习过程,与随机开始的训练相比,性能增益约为40%,并且使用预训练的特征提取器明显提高了约60%的性能。
2022-03-16 cs.LG cs.RO
Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement Learning
CMU(卡内基梅隆大学);SJTU(上海交通大学);Facebook AI Research(脸书人工智能研究院);OpenAI(开放人工智能公司);UC Berkeley(加州大学伯克利分校);UCSD(加州大学圣地亚哥分校)
在多智能体游戏中,环境的复杂性会随着智能体数量的增加而呈指数级增长,因此当智能体数量很大时,学习好的策略特别具有挑战性。在本文中,我们介绍了进化人口课程(EPC),一个课程学习范式,逐步增加人口的训练代理在一个阶段明智的方式扩大了多智能体强化学习(MARL)。此外,EPC使用进化的方法来解决整个课程中的目标不一致问题:在早期阶段成功训练的小规模人口的代理不一定是适应后期规模人口的最佳候选人。具体而言,EPC在每个阶段维护多组代理,对这些代理执行混合匹配和微调,并将具有最佳适应性的代理提升到下一阶段。我们实现EPC上流行的MARL算法,MADDPG,经验表明,我们的方法始终优于基线的代理数量呈指数级增长的大幅度。
2020-03-23 cs.AI cs.LG cs.NE
Learning to Fly: Stable Vision-Guided UAV Servoing with Compact Target-Centric Cues and Reinforcement Learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本研究提出利用紧凑目标中心线索与低维传感器测量,结合课程强化学习实现无人机长时程视觉伺服,在鲁棒性和抗扰动方面优于经典控制器。
2026-09-10 cs.LG cs.RO
Deep Reinforcement Learning Based on Local GNN for Goal-conditioned Deformable Object Rearranging
Tencent Robotics X Lab(腾讯机器人X实验室);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
物体重排是最常见的可变形操作任务之一,机器人需要将可变形物体重排为目标构型。以往的研究主要集中在为每个特定任务设计一个专家系统,采用基于模型或数据驱动的方法,应用场景有限。一些研究一直试图设计一个通用的框架,以获得更先进的操作能力的变形重排任务,取得了大量的进展,在仿真。然而,由于端到端CNN架构的限制,从模拟到现实的转换是困难的。为了解决这些挑战,我们设计了一个基于局部GNN(图神经网络)的学习方法,该方法利用两个表示图来编码从图像中检测到的关键点。自注意力用于图的更新,交叉注意力用于生成操作动作。已经进行了大量的实验,以证明我们的框架是有效的,在多个1-D(绳,绳环)和2-D(布)重新安排任务的模拟,可以很容易地转移到一个真正的机器人微调的关键点检测器。
2023-02-21 cs.AI cs.LG cs.RO
Curriculum Reinforcement Learning for Complex Reward Functions
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文针对多奖励项复杂奖励函数中难以平衡且易被利用的问题,提出一种两阶段奖励课程方法,先优化简单奖励再自动过渡到完整复杂奖励,并引入灵活replay buffer实现高效阶段迁移,在DeepMind control suite和移动机器人场景中显著提升了策略性能与约束满足能力。
2025-02-10 cs.LG cs.RO
Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity
University of Southern California(南加州大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California Santa Cruz(加州大学圣克鲁兹分校);University of Cincinnati(辛辛那提大学)
本研究针对无视觉输入的三指仿真手抬球旋球任务,对比课程学习与触觉反馈对强化学习效果的影响,提出新型课程学习率调度器,发现课程选择的作用远大于触觉信息,且无触觉也可完成学习,结果可推广至不同球体。
2024-07-13 cs.AI cs.LG cs.RO
GOATS: Goal Sampling Adaptation for Scooping with Curriculum Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Baidu Research(百度研究院);The University of Hong Kong(香港大学)
针对机器人舀水中的复杂流体动力学与多模态目标空间问题,提出GOATS课程强化学习方法,通过目标因子化奖励及目标分布插值提升仿真与真实机器人性能。
2023-09-23 cs.AI cs.LG cs.RO
BaRC: Backward Reachability Curriculum for Robotic Reinforcement Learning
Department of Mechanical Engineering, Stanford University(斯坦福大学机械工程系);School of Computing Science, Simon Fraser University(西蒙弗雷泽大学计算机科学学院)
本文提出BaRC方法,利用物理先验知识设计课程方案,通过逆向可达性策略加速连续控制MDP中模型无关RL算法的训练,提升性能并减少探索需求。
2018-09-17 cs.LG cs.RO cs.SY
Collaborative Target Search with a Visual Drone Swarm: An Adaptive Curriculum Embedded Multistage Reinforcement Learning Approach
Nanyang Technological University(南洋理工大学)
针对视觉无人机集群在无先验信息下的协同目标搜索难题,提出自适应课程嵌入多阶段强化学习方法,通过任务分解与难度自适应调整实现高效训练,并在真实集群中验证了其有效性与泛化能力。
2023-11-25 cs.AI cs.RO
Curriculum Learning With Counterfactual Group Relative Policy Advantage For Multi-Agent Reinforcement Learning
School of Information and Communications Engineering, Xi'an Jiaotong University(西安交通大学信息与通信工程学院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系)
针对MARL在动态对抗环境中的适应与信用分配难题,提出结合自适应难度课程和CGRPA反事实优势的框架,提升非平稳条件下的训练稳定性与最终性能。
2025-06-09 cs.AI cs.RO
Reverse Curriculum Generation for Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Oxford Robotics Institute(牛津机器人研究所);OpenAI;ICSI(国际计算机科学研究所)
许多相关的任务需要一个代理达到一定的状态,或操纵对象到所需的配置。例如,我们可能想要一个机器人将齿轮对准并组装到轴上,或者将钥匙插入并转动锁中。这些面向目标的任务对强化学习提出了相当大的挑战,因为它们的自然奖励函数是稀疏的,并且需要大量的探索才能达到目标并接收一些学习信号。过去的方法解决这些问题,利用专家示范或手动设计一个特定于任务的奖励塑造功能,以指导学习代理。相反,我们提出了一种方法来学习这些任务,而不需要任何先验知识,而不是获得一个单一的状态,在其中实现的任务。机器人被反向训练,逐渐学习从一组越来越远离目标的开始状态到达目标。我们的方法自动生成一个课程的开始状态,适应代理的性能,导致有效的培训目标为导向的任务。我们展示了我们的方法对困难的模拟导航和细粒度的操作问题,无法解决的最先进的强化学习方法。
2018-07-23 cs.AI cs.LG cs.NE
An A* Curriculum Approach to Reinforcement Learning for RGBD Indoor Robot Navigation
Ford Greenfield Labs(福特格林菲尔德实验室)
训练机器人在不同的环境中导航是一个具有挑战性的问题,因为它涉及到几个不同的感知任务,如地图和定位,其次是最佳路径规划和控制的融合。最近发布的照片逼真模拟器(如Habitat)允许训练直接从感知输出控制动作的网络:代理使用深度强化学习(DRL)以端到端的方式直接从相机图像回归到控制输出。这是数据效率低下的,并且可能需要几天的时间在GPU上进行训练。本文试图通过分离感知和控制神经网络的训练,并使用课程方法逐渐增加路径复杂度来克服这个问题。具体地,预训练的双变分自编码器(VAE)用于将来自环境的RGBD(RGB &深度)感测压缩成潜在嵌入,其然后用于训练基于DRL的控制策略。传统的路径规划器A* 被用作策略的指南,并且随着训练的进行,起始位置和目标位置之间的距离沿着A* 路线逐渐增加。我们证明了所提出的方法的有效性,无论是在人居模拟环境中的PointNav任务的性能提高和训练时间减少。这种改进基于直接感知的DRL导航策略的策略预计将加速工业界特别感兴趣的机器人的部署,例如工厂车间的协作机器人和最后一英里交付机器人。
2021-01-05 cs.LG cs.RO