Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
Cornell University(康奈尔大学)
针对深度强化学习策略环境鲁棒性不足、人工设计课程耗费人力的问题,提出用贝叶斯优化推断课程-奖励函数以获取鲁棒课程,在自主竞速避障任务中性能优于普通深度强化学习与人工课程方案。
2023-12-16 cs.LG cs.RO
TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents
Tongyi Lab(通义实验室);Alibaba Group(阿里巴巴集团)
本文提出TCOD框架,通过时间课程策略缓解在线蒸馏在多轮任务中的KL不稳定性,提升代理性能,实验显示性能提升达18个百分点,甚至超越教师模型。
2026-04-29 cs.AI cs.LG
Temp-R1: A Unified Autonomous Agent for Complex Temporal KGQA via Reverse Curriculum Reinforcement Learning
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);ZJU-Ant Group Joint Lab of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室)
本文提出Temp-R1,首个通过强化学习训练的时间知识图谱问答自主代理,通过扩展动作空间和反向课程学习提升复杂问题的推理能力,在MultiTQ和TimelineKGQA上取得最佳性能。
2026-04-21 cs.AI cs.CL cs.LG
IoT-Enabled Autonomous Maritime Navigation in Smart Ports: A Curriculum-Guided Shared Policy Learning Framework
Nanyang Technological University(南洋理工大学);School of Civil and Environmental Engineering(土木与环境工程学院);School of Mechanical and Aerospace Engineering(机械与航空航天工程学院)
针对智能港口IoT自主海上设备的导航挑战,提出课程引导共享策略学习框架,经模拟验证其可靠性、避碰性等优于基线方法,可有效泛化到高密度场景。
2026-08-13 cs.LG cs.RO
Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge
Seoul National University(首尔大学)
提出一种无需任务特定知识的自主强化学习算法,通过自监督训练的成功判别器生成自适应课程,使智能体能高效解决稀疏奖励任务并显著减少手动重置次数。
2024-02-18 cs.LG cs.RO
Asynchronous Curriculum Experience Replay: A Deep Reinforcement Learning Approach for UAV Autonomous Motion Control in Unknown Dynamic Environments
Northwestern Polytechnical University(西北工业大学)
无人机(Unmanned Aerial Vehicles,UAV)在军事战争中得到了广泛的应用。在本文中,我们制定了自主运动控制(AMC)问题作为一个马尔可夫决策过程(MDP),并提出了一种先进的深度强化学习(DRL)方法,使无人机在大规模动态三维(3D)环境中执行复杂的任务。为了克服优先经验重放(PER)算法的局限性并提高性能,提出了异步课程经验重放(ACER)算法,该算法使用多线程异步更新优先级,分配真实优先级,并应用临时经验池来提供更高质量的学习经验。此外,还引入了先进无用经验池(FIUO),以确保存储的经验具有更高的使用价值。此外,结合课程学习(CL),为无人机训练设计了一种较为合理的由简到难的经验抽样训练范式。通过在基于真实无人机参数构建的复杂未知环境中进行训练,与现有的双延迟深度确定性策略梯度(TD 3)算法相比,该算法的收敛速度提高了24.66%,收敛结果提高了5.59%.在不同复杂环境下的测试实验表明,该代理具有较强的鲁棒性和泛化能力。
2022-07-04 cs.AI
Autonomous Overtaking in Gran Turismo Sport Using Curriculum Reinforcement Learning
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Sony AI Zurich(索尼AI苏黎世)
专业赛车手可以执行极端超车演习。然而,现有的自动超车算法要么依赖于车辆动力学的简化假设,要么试图在线解决昂贵的自动优化问题。当车辆接近其物理极限时,现有的基于模型的控制器难以处理高度非线性的动态特性,并且无法利用模拟或真实驾驶产生的大量数据。为了规避这些限制,我们提出了一种新的基于学习的方法来解决自主超车问题。我们在流行的赛车游戏Gran Turismo Sport中评估了我们的方法,该游戏以各种汽车和赛道的详细建模而闻名。通过利用课程学习,与普通强化学习相比,我们的方法可以更快地收敛并提高性能。因此,经过训练的控制器优于内置的基于模型的游戏AI,并实现了与经验丰富的人类驾驶员相当的超车性能。
2021-05-09 cs.AI cs.RO
Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation
University of Bologna(博洛尼亚大学)
提出自定进度课程深度强化学习框架,结合软演员-评论家算法,动态生成渐进任务,在物理精确模拟器中训练自主摩托车赛车,优于标准SAC。
2026-06-08 cs.AI cs.RO
Towards Optimal Head-to-head Autonomous Racing with Curriculum Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Cleveland State University(克利夫兰州立大学)
针对头对头自主赛车的最优策略学习难题,提出基于课程学习的强化学习框架(从简单车辆模型过渡到复杂真实环境)及基于控制屏障函数的安全强化学习算法,在保障安全的同时提升策略最优性。
2023-08-25 cs.AI cs.RO
Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments
Faculty of Engineering and Applied Sciences, Cranfield University(工程与应用科学学院,克兰菲尔德大学)
提出一种课程引导的适应框架,通过渐进暴露于梯度对抗观测扰动并对齐时序差分误差分布,提升无人机在GNSS欺骗攻击下的鲁棒性和泛化能力。
2026-10-14 cs.AI cs.LG
Curriculum-Based Adversarial Heterogeneous Agent Reinforcement Learning for Autonomous Quad-Copter Landing in Maritime Settings
Maastricht University(马斯特里赫特大学)
针对海上四旋翼无人机回收难题,提出基于课程学习和对抗风智能体的HAPPO强化学习方法,在分布外海况下显著提升成功率并降低坠毁率。
2026-09-14 cs.LG
Realistic Curriculum Reinforcement Learning for Autonomous and Sustainable Marine Vessel Navigation
本文提出基于现实课程强化学习的框架,结合数据驱动的海洋模拟和机器学习预测模块,以实现自主且可持续的船舶导航。
2026-01-15 cs.LG
Diverse and Adaptive Behavior Curriculum for Autonomous Driving: A Student-Teacher Framework with Multi-Agent RL
FZI Research Center for Information Technology(弗赖堡研究所信息科技研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出了一种学生-教师框架,通过自适应课程学习生成多样化交通行为,提升自动驾驶的鲁棒性和泛化能力。
2026-03-06 cs.LG cs.RO
Curriculum-Based Reinforcement Learning for Autonomous UAV Navigation in Unknown Curved Tubular Conduit
DGA Techniques Navales - Direction Générale de l’Armement(法国国防总局海军技术部);LIRMM, TETIS, CNRS, Université de Montpellier Paul-Valéry(蒙彼利埃大学保罗-瓦莱里耶大学);LIS, CNRS, Université de Toulon(土伦大学)
本文提出基于课程学习的强化学习方法,使无人机在未知弯曲管状环境中实现自主导航,通过结合激光雷达和视觉信息,克服部分可观测性挑战,提升导航稳定性与泛化能力。
2025-12-11 cs.LG cs.RO
Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity
University of Southern California(南加州大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California Santa Cruz(加州大学圣克鲁兹分校);University of Cincinnati(辛辛那提大学)
本研究针对无视觉输入的三指仿真手抬球旋球任务,对比课程学习与触觉反馈对强化学习效果的影响,提出新型课程学习率调度器,发现课程选择的作用远大于触觉信息,且无触觉也可完成学习,结果可推广至不同球体。
2024-07-13 cs.AI cs.LG cs.RO
Autonomous Reinforcement Learning via Subgoal Curricula
Stanford University(斯坦福大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
强化学习(RL)有望使不同的智能体自主获取复杂的行为。然而,当前强化学习算法的成功是基于一个经常被忽视的要求-每次试验都需要从固定的初始状态分布开始。不幸的是,在每次试验之后将环境重置到其初始状态需要大量的人类监督和对环境的广泛仪器化,这挫败了自主获得复杂行为的目标。在这项工作中,我们提出了价值加速的持久性强化学习(VaPRL),它生成一个初始状态的课程,使代理可以引导成功的简单任务,有效地学习更难的任务。智能体还学习达到课程提出的初始状态,最大限度地减少对人类干预学习的依赖。我们观察到,VaPRL减少了三个数量级相比,情节RL所需的干预,同时优于现有的最先进的方法重置免费RL的样本效率和渐近性能的各种模拟机器人问题。
2021-10-27 cs.AI cs.LG cs.RO
Safe Reinforcement Learning via Curriculum Induction
ETH Zurich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
在安全关键型应用中,自主智能体可能需要在错误代价非常高昂的环境中学习。在这样的设置中,代理不仅需要在学习之后而且在学习期间安全地行为。为了实现这一点,现有的安全强化学习方法使智能体依赖于先验知识,使其在探索过程中以高概率避免危险情况,但先验知识中固有的概率保证和平滑假设在许多感兴趣的场景中都是不可行的,例如自动驾驶。本文提出了一种受人类教学启发的替代方法,在该方法中,代理在自动教练的监督下学习,从而避免代理在学习过程中违反约束。在这个模型中,我们引入了监视器,既不需要知道如何做好代理正在学习的任务,也不需要知道环境是如何工作的。相反,它有一个重置控制器库,当代理开始危险行为时,它会激活该库,以防止它造成损害。至关重要的是,选择在何种情况下应用哪种重置控制器会影响代理学习的速度。基于观察代理的进展,教师本身学习用于选择重置控制器的策略,课程,以优化代理的最终策略奖励。我们的实验使用这个框架在两个环境中诱导课程的安全和有效的学习。
2021-01-21 cs.AI cs.LG cs.RO
Curriculum Learning with a Progression Function
University of York(约克大学);Phantasma Labs GmbH(Phantasma实验室有限公司);King’s College London(伦敦国王学院);L3S research center(L3S研究中心);Leibniz Universität Hannover(汉诺威莱布尼茨大学)
强化学习的课程学习是一种越来越流行的技术,它涉及在一系列中间任务上训练代理,称为课程,以提高代理的性能和学习速度。本文介绍了一种基于级数和映射函数的课程生成新范式。虽然级数函数指定了环境在任何给定时间的复杂度,但映射函数生成特定复杂度的环境。不同的进展功能,包括自主的在线任务进展的基础上代理的性能。我们的方法的好处和广泛的适用性是通过经验比较其性能的两个国家的最先进的课程学习算法上的六个领域。
2021-10-31 cs.LG stat.ML
Large Language Model-Driven Curriculum Design for Mobile Networks
Khalifa University(哈利法大学);Birmingham City University(伯明翰城市大学);Carleton University(卡尔顿大学)
针对移动网络中传统强化学习收敛慢、泛化差且课程设计依赖人工的问题,提出利用大语言模型自动生成强化学习课程的框架,在模拟网络环境中验证了其收敛、泛化及性能提升效果,为下一代自主网络运营提供新思路。
2024-06-21 cs.LG cs.NI
Maneuver Decision-Making Through Automatic Curriculum Reinforcement Learning Without Handcrafted Reward functions
Aeronautics Engineering College, Air Force Engineering University(空军工程大学航空工程学院)
针对无人作战飞机自主空战机动决策问题,提出一种无需手工奖励函数的自动课程强化学习方法,按初始状态难度由易到难安排子任务,并验证其有效性与可解释性。
2023-07-12 cs.AI cs.LG cs.RO
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST(韩国科学技术院);UNIST(蔚山国立科学技术院)
本文提出变分课程强化学习(VCRL)和价值不确定性变分课程(VUVC),将变分赋能重构为目标条件强化学习中的课程学习,以提升无监督技能发现的样本效率与状态覆盖速度,并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Curriculum-Based Iterative Self-Play for Scalable Multi-Drone Racing
Department of Mechatronics Engineering Faculty of Engineering Turkish-German University(机械工程系 工程学院 德土大学)
本文提出CRUISE框架,结合渐进课程与自博弈训练多无人机竞速策略,在高保真仿真中速度接近两倍于博弈论规划器,验证了课程结构的关键作用。
2025-10-26 cs.AI cs.MA cs.RO
SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment
Meituan(美团)
提出SkillC框架,基于对比技能信用分配(CSCA)将技能帮助性对比转化为直接学习信号,实现LLM智能体的自主技能内化,在ALFWorld和WebShop上分别超越最强基线5.5%和4.4%。
2026-05-27 cs.AI
Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies
Cornell University(康奈尔大学)
本文针对结构化参数环境提出重参数化课程生成框架,结合分布偏移正则化,在OpenAI Gym的两类连续控制环境中,显著优于多种基线方法,提升了导航策略的鲁棒性。
2026-08-11 cs.LG cs.RO
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(美国本田研究所)
在多智能体环境中,单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题,专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难:相互适应次优行为,我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先,代理利用策略梯度算法来学习能够实现多个目标的策略。其次,代理学习修改器策略,以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Rethinking Continual Learning for Autonomous Agents and Robots
Apprente, Inc.(Apprente公司);University of Hamburg(汉堡大学);PaigeAI(PaigeAI公司);Rochester Institute of Technology(罗切斯特理工学院);Cornell Tech(康奈尔科技学院)
持续学习是指生物或人工系统从连续的信息流中无缝学习同时防止灾难性遗忘的能力,即,新的信息强烈干扰先前学习的表征的情况。由于为人工智能提供所有必要的先验知识以在现实世界条件下有效运作是不现实的,因此它们必须表现出丰富的学习能力,使它们能够在复杂的环境中进行交互,以处理和理解连续的(通常不确定的)信息流。虽然绝大多数持续学习模型的目的是减轻灾难性遗忘简化分类任务,在这里,我们专注于持续学习的自主智能体和机器人需要在更具挑战性的实验设置操作。特别是,我们讨论了完善的生物学习因素,如发展和课程学习,迁移学习,和内在动机和他们的计算对应模型的逐步收购越来越复杂的知识和技能,在一个持续的时尚。
2019-07-02 cs.AI cs.LG
TeachMyAgent: a Benchmark for Automatic Curriculum Learning in Deep RL
Inria(法国国家信息与自动化研究所);Microsoft Research(微软研究院)
训练能够泛化到多个任务的自主智能体是深度强化学习(DRL)研究的一个关键目标。在改进DRL算法本身的同时,自动课程学习(ACL)研究教师算法如何通过使任务选择适应其不断发展的能力来更有效地训练DRL代理。虽然存在多个标准基准来比较DRL代理,但目前还没有ACL算法。因此,比较现有的方法是困难的,因为太多的实验参数不同的纸张。在这项工作中,我们确定了ACL算法面临的几个关键挑战。在此基础上,我们提出了TeachMyAgent(TA),一个基准的当前ACL算法利用程序任务生成。它包括1)使用程序化Box2D双足步行器环境变体的挑战特定单元测试,以及2)结合大多数ACL挑战的新程序化跑酷环境,使其成为全球性能评估的理想选择。然后,我们使用TeachMyAgent进行比较研究的代表性现有的方法,展示了一些ACL算法,不使用专家知识的竞争力。我们还表明,跑酷环境仍然是一个开放的问题。我们开源了我们的环境,所有学习ACL算法(从开源代码中收集或重新实现),并在https://github.com/flowersteam/TeachMyAgent上提供Python包中的DRL学生。
2021-06-09 cs.LG
Automatic Curriculum Learning for Driving Scenarios: Towards Robust and Efficient Reinforcement Learning
FZI Research Center for Information Technology(弗赖堡信息科技研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出了一种自动课程学习框架,通过动态生成适应性复杂的驾驶场景,提升强化学习在自动驾驶中的鲁棒性和效率。
2026-03-05 cs.AI cs.RO
Learning a High-quality Robotic Wiping Policy Using Systematic Reward Analysis and Visual-Language Model Based Curriculum
Georgia Institute of Technology(佐治亚理工学院);Electronics and Telecommunications Research Institute(电子通信研究院)
针对自主机器人擦拭任务中深度强化学习需大量奖励工程的问题,通过分析质量关键型擦拭的收敛性提出有界奖励公式,结合基于视觉语言模型的课程改进学习过程,在多条件表面上实现了基线方法无法学到的理想擦拭策略。
2025-02-18 cs.LG cs.RO
CTSAC: Curriculum-Based Transformer Soft Actor-Critic for Goal-Oriented Robot Exploration
School of Information and Control Engineering, China University of Mining and Technology(中国矿业大学信息与控制工程学院)
针对强化学习机器人探索中推理弱、收敛慢和仿真到现实迁移难的问题,提出融合 Transformer、SAC 与周期性回顾课程学习的 CTSAC,并在仿真和真实实验中验证其更优探索与迁移性能。
2025-03-18 cs.AI cs.RO
Curriculum-Based Multi-Tier Semantic Exploration via Deep Reinforcement Learning
Department of Electrical Engineering - Mohamed Khider, University of Biskra, Biskra (Algeria)(巴尔克拉大学电子工程系);Department of Engineering - University of Basilicata, Potenza (Italy)(巴塞里卡大学工程系);Department of Computer, Control, and Management Engineering ``Antonio Ruberti'', Sapienza University of Rome, Rome (Italy)(罗马萨皮恩扎大学计算机、控制与管理工程系)
本文提出一种新型深度强化学习架构,通过分层奖励整合视觉-语言模型常识,并将VLM查询建模为专用动作,结合课程学习,实现资源高效的语义探索,显著提升目标发现率与导航能力。
2025-09-11 cs.AI cs.RO
Tactical Decision Making for Autonomous Trucks by Deep Reinforcement Learning with Total Cost of Operation Based Reward
Department of Computer Science and Engineering, Chalmers University of Technology and and University of Gothenburg(计算机科学与工程系,查尔姆斯理工大学和哥德堡大学);Department of Mechanics and Maritime Sciences, Chalmers University of Technology(机械与海洋科学系,查尔姆斯理工大学);Safe and Efficient Driving, Volvo Group of Trucks Technology(安全高效驾驶,沃尔沃卡车技术集团)
提出一种深度强化学习框架,用于自动驾驶卡车在高速公路场景下的自适应巡航控制和变道战术决策,通过基于总运营成本的多目标奖励函数优化性能。
2025-11-07 cs.AI cs.LG cs.RO
LBGP: Learning Based Goal Planning for Autonomous Following in Front
Simon Fraser University(西蒙弗雷泽大学)
本文研究了一种结合深度强化学习(RL)和经典轨迹规划的混合解决方案,用于后续前端应用。在这里,自主机器人的目标是在人自由走动时保持领先。跟随在前面是一个具有挑战性的问题,因为用户的预期轨迹是未知的,需要由机器人显式或隐式地估计。此外,机器人还需要找到一种可行的方法,以安全地在人类轨迹之前导航。我们的深度RL模块隐式地估计人类轨迹并生成短期导航目标来引导机器人。轨迹规划器使用这些目标来平滑地将机器人导航到短期目标,并最终在用户面前。我们在深度RL模块中采用课程学习,以有效地实现高回报。我们的系统在跟踪方面优于最先进的技术,并且在模拟和现实世界的实验中与端到端的替代方案相比更可靠。与纯深度RL方法相比,我们展示了训练策略从模拟到现实世界的zero-shot转移。
2020-11-05 cs.AI cs.LG cs.RO
Autonomous Curriculum Design via Relative Entropy Based Task Modifications
NC State University(北卡罗来纳州立大学)
本文提出一种基于相对熵的自主课程设计方法,通过衡量学习者策略不确定性选择任务,引导智能体至高不确定状态,理论保证收敛,实验优于随机课程及现有标准。
2025-02-28 cs.LG
CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks
Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
本文提出CRAFT-GUI,通过课程学习框架和群体相对策略优化,解决GUI任务中难度差异和奖励信号单一的问题,实验表明在Android Control和内部基准上分别提升5.6%和10.3%。
2026-03-13 cs.AI cs.HC
Deep Reinforcement Learning for Multi-Agent Interaction
University of Edinburgh(爱丁堡大学)
自主智能体的开发是人工智能和机器学习的核心研究领域,它可以与其他智能体交互以完成给定的任务。为了实现这一目标,自主智能体研究小组开发了用于自主系统控制的新型机器学习算法,特别关注深度强化学习和多智能体强化学习。研究问题包括协调代理策略和代理间通信的可扩展学习;从有限的观察中推理其他代理的行为,目标和组成;以及基于内在动机,课程学习,因果推理和表示学习的样本有效学习。本文对该小组正在进行的研究组合进行了广泛的概述,并讨论了未来方向的开放问题。
2022-08-02 cs.AI cs.LG cs.MA
Exploring Autonomous Agentic Data Engineering for Model Specialization
Zhejiang University(浙江大学);Platform and Content Group, Tencent(腾讯平台与内容部)
本文提出自主智能体数据工程任务,让LLM作为自主数据工程师,通过端到端数据策划驱动模型专业化,实验显示GPT-5.2通过迭代数据适应使学生模型性能提升57.29%。
2026-09-01 cs.AI cs.CL cs.IR
CURIOUS: Intrinsically Motivated Modular Multi-Goal Reinforcement Learning
Flowers Team, Inria and Ensta ParisTech(Inria和Ensta巴黎科技大学)
CURIOUS通过内在动机探索和自动课程学习机制,实现模块化多目标强化学习的自组织发展。
2026-01-29 cs.AI
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research(伯克利人工智能研究所)
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习,但实际上,现实世界中的强化学习具有挑战性,并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统,用于在没有人为干预的情况下,以自主的方式一起学习导航和操作,从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习,无需任何环境仪器,无需人为干预,也无需访问特权信息,例如地图,对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航,操纵政策的不确定性驱动器的导航控制器的探索,和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务,机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后,ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
Language Grounding through Social Interactions and Curiosity-Driven Multi-Goal Learning
Cloud Temple(云庙);INSERM(法国国家健康与医学研究院);INRIA(法国国家信息与自动化研究所)
自主强化学习代理,如儿童,没有访问预定义的目标和奖励功能。他们必须发现潜在的目标,学习自己的奖励功能,并参与自己的学习轨迹。然而,儿童从接触语言中受益,帮助组织和调解他们的思想。我们提出了LE2(语言增强的探索),一个学习算法利用内在的动机和自然语言(NL)与描述性的社会伙伴(SP)的互动。使用来自SP的NL描述,它可以学习NL条件奖励函数来制定内在动机目标探索的目标,并学习目标条件策略。通过探索,从SP收集描述,并共同学习奖励函数和策略,代理将NL描述转化为真实的行为目标。从早期发现的简单目标到通过对简单目标进行实验发现的更复杂目标,我们的智能体自主构建自己的行为库。这种自然发生的课程是由代理人的内在动机产生的主动学习课程补充的。实验提出了一个模拟的机器人手臂,与几个对象,包括工具。
2019-11-08 cs.CL cs.LG stat.ML
CORAL: Curriculum-Optimized Reward Adaptation for LiDAR-Based Goal-Directed Urban Driving
Korea University of Technology and Education (KOREATECH)(韩国技术教育大学)
CORAL结合五阶段课程与阶段感知奖励,在CARLA中训练多流演员-评论家策略,实现基于激光雷达的城市驾驶,长路线约束下成功率显著优于PPO基线,且可零样本跨城镇迁移。
2026-08-17 cs.LG cs.RO
Discovering autonomous quantum error correction via deep reinforcement learning
Zhiyuan College, Shanghai Jiao Tong University, Shanghai 200240, P.R. China(上海交通大学玉泉学院);State Key Laboratory of Photonics and Communications, Institute for Quantum Sensing and Information Processing, Shanghai Jiao Tong University, Shanghai 200240, P.R. China(上海交通大学光子通信国家重点实验室);Hefei National Laboratory, Hefei, 230088, P.R. China(合肥国家实验室);Shanghai Research Center for Quantum Sciences, Shanghai, 201315, P.R. China(上海量子科学研究中心);AI Lab, Lenovo Research, Beijing 100094, P.R. China(联想AI实验室)
本文利用课程学习启发的深度强化学习,在近似自主量子纠错框架下发现抵抗单光子和双光子损失的玻色子码,并实现超越盈亏平衡点的最优码字。
2026-06-02 cs.LG quant-ph
Adversarial Environment Generation for Learning to Navigate the Web
Google Research(谷歌研究院)
学习自主浏览网页是一项困难的连续决策任务。状态空间和动作空间在本质上是大的和组合的,并且网站是由多个页面组成的动态环境。训练Web导航代理的瓶颈之一是提供一个可学习的训练环境课程,可以覆盖各种各样的现实世界的网站。因此,我们建议使用对抗环境生成(AEG)来生成具有挑战性的网络环境,在其中训练强化学习(RL)代理。我们提供了一个新的基准测试环境,gMiniWoB,它使RL对手能够使用组合原语来学习生成任意复杂的网站。为了训练对手,我们提出了一种新的技术,最大限度地利用一对导航代理所获得的分数的差异后悔。我们的研究结果表明,我们的方法显着优于以前的方法极小极大遗憾AEG。遗憾的目标训练对手设计的环境,是“公正的权利的挑战”的导航代理课程,我们的研究结果表明,随着时间的推移,对手学会生成越来越复杂的网络导航任务。用我们的技术训练的导航员代理学习完成具有挑战性的,高维的网络导航任务,如表单填写,预订航班等。我们表明,用我们提出的灵活的b-PAIRED技术训练的导航员代理在一组具有挑战性的看不见的测试环境中显着优于竞争力的自动课程生成基线-包括最先进的RL网络导航方法,并且在某些任务上达到80%以上的成功率。
2021-03-02 cs.AI cs.LG cs.MA
Leave no Trace: Learning to Reset for Safe and Autonomous Reinforcement Learning
Google Brain(谷歌大脑);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);UC Berkeley(加州大学伯克利分校)
深度强化学习算法可以学习复杂的行为技能,但这些方法的实际应用需要智能体收集大量的经验。在机器人等实际环境中,这涉及重复尝试一项任务,在每次尝试之间重置环境。然而,并非所有任务都是容易或自动可逆的。在实践中,这种学习过程需要大量的人为干预。在这项工作中,我们提出了一种安全有效的强化学习的自主方法,该方法同时学习转发和重置策略,重置策略为后续尝试重置环境。通过学习重置策略的价值函数,我们可以自动确定转发策略何时即将进入不可逆状态,从而提供不确定性感知的安全中止。我们的实验表明,正确使用重置策略可以大大减少学习任务所需的手动重置次数,可以减少导致不可逆状态的不安全动作的数量,并且可以自动诱导课程。
2017-11-18 cs.LG cs.RO
Crossing the Sim2Real Gap Between Simulation and Ground Testing to Space Deployment of Autonomous Free-flyer Control
U.S. Naval Research Laboratory Naval Center for Space Technology(美国海军研究实验室海军空间技术中心)
本文通过NASA Astrobee在国际空间站的实测,展示了基于强化学习的自主控制方法,验证了仿真到现实的训练管道,为未来在轨服务、组装和制造等任务提供可行性证明。
2025-12-03 cs.LG cs.RO cs.SY
Scenario-Based Curriculum Generation for Multi-Agent Autonomous Driving
Technische Universität Wien (TU Wien)(维也纳工业大学);AVL List GmbH(AVL List有限公司)
本文提出MATS-Gym多智能体交通场景训练框架,在CARLA中利用部分场景规范生成可变智能体数量的场景,并结合无监督环境设计实现自适应自动课程生成。
2025-02-06 cs.LG cs.MA cs.RO
IRL-DAL: Safe and Adaptive Trajectory Planning for Autonomous Driving via Energy-Guided Diffusion Models
Department of Electrical Engineering, Amirkabir University of Technology (Tehran Polytechnic)(电气工程系,阿米尔卡比尔技术大学(德黑兰理工大学))
本文提出IRL-DAL框架,通过能量引导扩散模型实现自动驾驶的安全自适应轨迹规划,结合模仿学习与强化学习,提升行驶安全性和鲁棒性。
2026-01-30 cs.AI cs.RO
Baby Sophia: A Developmental Approach to Self-Exploration through Self-Touch and Hand Regard
Robotics Institute, Athena Research Center(机器人研究所,阿提卡研究中心);HERON – Hellenic Robotics Center of Excellence(HERON – 希腊机器人 excellence 中心);Institute for Language and Speech Processing, Athena Research Center(语言和语音处理研究所,阿提卡研究中心)
受婴儿发育启发,提出强化学习框架Baby Sophia,在BabyBench环境中通过内在奖励和课程学习实现自触摸与手部注视的自主探索,证明纯好奇心信号可驱动多模态协调学习。
2025-11-12 cs.AI cs.LG cs.RO
Human-In-The-Loop Machine Learning for Safe and Ethical Autonomous Vehicles: Principles, Challenges, and Opportunities
IEEE
本文针对自动驾驶车辆面临的挑战,对人在回路机器学习进行教程式综述,涵盖课程学习、人在回路强化学习、人在回路大语言模型、主动学习等方法及道德原则,以推动安全且符合道德的自动驾驶发展。
2026-07-17 cs.LG
Interaction-aware Decision Making with Adaptive Strategies under Merging Scenarios
University of California, Berkeley(加州大学伯克利分校);Honda Research Institute(本田研究所)
为了在合并场景下安全有效地驾驶,自动驾驶汽车应该了解周围环境,并通过与其他道路参与者的交互来做出决策。此外,当自动驾驶车辆与具有不同合作水平的驾驶员交互时,应采取不同的策略。车辆是否在合并车道或主车道上也会影响驾驶操纵,因为驾驶员在有通行权时的行为与其他情况下不同。许多传统的方法已经被提出来解决合并场景下的决策问题。然而,这些工作要么是无法建模复杂的相互作用,或需要实现手工设计的规则,不能正确处理现实世界中的不确定性。在本文中,我们提出了一种交互感知决策与自适应策略(IDAS)的方法,可以让自动驾驶汽车与其他司机协商的道路,利用他们的合作下合并的情况。通过课程学习策略,在多智能体强化学习(MARL)环境下学习单个策略,使智能体能够自动推断其他驾驶员的各种行为并做出策略性决策.提出了一种屏蔽机制,以防止智能体探索违反人类判断常识的状态,提高学习效率。一个典型的合并方案被用来实现和检查所提出的方法。
2020-02-21 cs.AI cs.LG cs.RO
AutoGLM: Autonomous Foundation Agents for GUIs
Zhipu AI(智谱AI);Tsinghua University(清华大学)
AutoGLM是ChatGLM系列中面向GUI自主控制的基础智能体,通过中间接口分离规划与落地,并采用自进化在线课程强化学习,在网页和手机任务上取得显著成功率。
2024-10-28 cs.AI cs.CL cs.HC
Applying Neural Monte Carlo Tree Search to Unsignalized Multi-intersection Scheduling for Autonomous Vehicles
School of Computer Science and Statistics, Trinity College Dublin(都柏林圣三一大学计算机科学与统计学院)
本文提出用转换模型将无信号交叉口道路空间预留请求转化为类棋盘博弈问题,并结合PNMCTS与课程学习调度自动驾驶车辆,显著提升单交叉口和多交叉口通行效率。
2024-10-24 cs.AI
Agent0: Unleashing Self-Evolving Agents from Zero Data via Tool-Integrated Reasoning
Stanford University(斯坦福大学);Salesforce Research(Salesforce研究院)
Agent0通过多步骤共进化和工具集成,在无需外部数据的情况下自主提升代理性能,显著增强推理能力。
2026-09-23 cs.LG
DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);Google DeepMind(谷歌DeepMind)
针对视觉语言模型缺乏决策数据、真实设备控制表现不佳的问题,提出两阶段自主强化学习方法DigiRL,在AitW数据集上大幅超越现有方法,刷新真实环境设备控制数字智能体的最优性能。
2024-06-14 cs.LG