Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination
Tencent AI Lab(腾讯人工智能实验室)
针对合作多智能体强化学习中缺乏显式共识易致协调失误的问题,提出基于自监督生成模型的MAGI框架,通过想象共同高价值未来状态引导智能体达成共识,缓解维数灾难,在多个环境中提升了样本效率与性能。
2024-03-05 cs.AI cs.LG
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而,强化学习的机器人应用通常会损害学习过程的自主性,以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制,但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务,因为它们明显具有较高的样本复杂度。在本文中,我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务,并且可以有效地学习深度神经网络策略,以便在真实的物理机器人上进行训练。我们证明,训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明,我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Communication-Efficient Consensus Mechanism for Federated Reinforcement Learning
Zhejiang University(浙江大学);Zhejiang Lab(浙江实验室)
在联邦学习(FL)范式下,研究了独立强化学习(IRL)在多智能体决策过程中的应用。我们发现,FL可以明显提高IRL的培训效率和稳定性方面的政策性能。然而,由于策略参数是在本地训练的,并通过FL中的中央服务器迭代地聚合,因此频繁的信息交换会产生大量的通信开销。为了在提高模型的收敛性能和减少所需的通信和计算开销之间取得良好的平衡,本文提出了一个系统效用函数,并在周期平均法的基础上开发了一个基于共识的优化方案,该方案将共识算法引入FL中,用于交换模型的局部梯度。本文还提供了新的收敛性保证的发展方法,并通过理论分析和数值仿真结果表明,其优越的有效性和效率,提高系统的效用值。
2022-01-30 cs.AI cs.LG cs.MA
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University(杜克大学机械工程与材料科学系);Duke University(杜克大学)
在本文中,我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说,我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后,我们引入了一个额外的共识步骤,让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析,并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法,在这里的代理不共享有关他们的本地任务的信息,而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Consensus Multi-Agent Reinforcement Learning for Volt-VAR Control in Power Distribution Networks
电压无功控制(VVC)是有源配电网络管理系统中降低网损、改善电压分布的关键技术。为了消除对不准确和不完整网络模型的依赖,并增强对通信或控制器故障的弹性,我们提出了共识多智能体深度强化学习算法来解决VVC问题。将VVC问题描述为一个网络化的多智能体马尔可夫决策过程,采用最大熵强化学习框架和一种新的通信高效共识策略来解决。所提出的算法允许个体代理学习使用本地奖励的组控制策略。IEEE分布测试馈线的数值研究表明,我们提出的算法匹配的单智能体强化学习基准的性能。此外,该算法被证明是通信效率和弹性。
2020-07-06 cs.LG cs.SY eess.SY
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa(比萨大学);Institute of Information Science and Technologies (ISTI), National Research Council (CNR)(国家研究委员会信息科学与技术研究所)
本文提出持续策略蒸馏框架,通过策略蒸馏与样本回放缓解灾难性遗忘,训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
Scalable Constrained Multi-Agent Reinforcement Learning via State Augmentation and Consensus for Separable Dynamics
Department of Engineering University Pompeu Fabra(工程系庞培法布拉大学)
提出一种结合状态增强策略学习与对偶变量分布式共识的分布式约束多智能体强化学习方法,解决可分离动力学系统中全局资源约束的协调问题,实现线性可扩展性并保证约束满足。
2026-05-28 cs.AI cs.LG
Dialogue Diplomats: An End-to-End Multi-Agent Reinforcement Learning System for Automated Conflict Resolution and Consensus Building
School of Computing and Engineering(计算与工程学院);College of Engineering(工程学院);University of Wollongong(沃灵顿大学)
Dialogue Diplomats通过端到端多智能体强化学习框架,结合分层共识网络、渐进谈判协议和上下文感知奖励机制,实现复杂环境中的自动化冲突解决与共识构建。
2025-11-20 cs.AI cs.MA
Benchmarking Reinforcement Learning Methods for Dexterous Robotic Manipulation with a Three-Fingered Gripper
The University of Auckland(奥克兰大学);New Dexterity(新 Dexterity 研究机构)
本研究探讨了在真实环境中直接训练强化学习算法以执行灵巧操作,对三种RL算法在复杂手内操作任务上进行了基准测试,验证了真实世界训练的实用性并分享了实验经验。
2024-08-27 cs.AI cs.LG cs.RO
Composing Dextrous Grasping and In-hand Manipulation via Scoring with a Reinforcement Learning Critic
Learning AI for Dextrous Robots Lab, Technical University of Munich(灵巧机器人学习AI实验室,慕尼黑技术大学);DLR Institute of Robotics & Mechatronics(德意志航天中心机器人与机电研究所)
提出利用手内操作强化学习智能体的评论家网络对初始抓取进行评分和选择,无需额外训练即可显著提升操作成功率,并在真实系统上实现了自主抓取与重定向的完整流程。
2025-05-19 cs.AI cs.RO
A Minimalist Retargeting-Guided Reinforcement Learning Recipe for Dexterous Manipulation
Cornell University(康奈尔大学);Amazon FAR(亚马逊FAR)
研究如何将重定向引导强化学习用于灵巧操作,提出REGRIND方法,从单人演示学习策略,经重定向、模拟训练、零样本转移到硬件,在丰富接触任务中产生类人行为,还分析了模拟到现实转移的关键因素。
2026-07-14 cs.AI cs.LG cs.RO
Solving Challenging Dexterous Manipulation Tasks With Trajectory Optimisation and Reinforcement Learning
Warwick Manufacturing Group, University of Warwick(华威大学华威制造集团);University of Warwick(华威大学)
训练代理自主学习如何使用拟人机器人手有可能导致系统能够在非结构化和不确定的环境中执行多种复杂的操作任务。在这项工作中,我们首先介绍了一套具有挑战性的模拟操作任务,目前的强化学习和轨迹优化技术发现困难。其中包括两个模拟的手必须在彼此之间传递或投掷物体的环境,以及代理必须学习在手指之间旋转一支长笔的环境。然后,我们介绍了一个简单的轨迹优化,在这些环境中执行显着优于现有的方法。最后,在具有挑战性的PenSpin任务中,我们将通过轨迹优化生成的次优演示与离线强化学习相结合,获得了远远超过这两种方法的性能,有效地解决了环境问题。我们所有结果的视频可在以下网站获得:https://dexterous-manipulation.github.io/
2021-05-16 cs.AI cs.RO
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research(伯克利人工智能研究所)
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习,但实际上,现实世界中的强化学习具有挑战性,并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统,用于在没有人为干预的情况下,以自主的方式一起学习导航和操作,从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习,无需任何环境仪器,无需人为干预,也无需访问特权信息,例如地图,对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航,操纵政策的不确定性驱动器的导航控制器的探索,和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务,机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后,ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
Multi-Task Reinforcement Learning based Mobile Manipulation Control for Dynamic Object Tracking and Grasping
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院);University of Chinese Academy of Sciences(中国科学院大学);Heriot-Watt University(赫瑞-瓦特大学)
由于机器人系统的高度复杂性和工作环境的非结构化,使得移动机械手的敏捷控制具有挑战性。跟踪和抓取具有随机轨迹的动态对象甚至更难。本文提出了一种基于多任务强化学习的移动操作控制框架,实现了通用的动态目标跟踪和抓取。选择几种基本类型的动态轨迹作为任务训练集。为了提高策略在实际应用中的泛化能力,在训练过程中引入了随机噪声和动态随机化。大量实验表明,训练后的策略能够适应未知的随机动态轨迹,跟踪误差约为0.1m,动态目标的抓取成功率为75%.训练的策略也可以成功地部署在一个真正的移动机械手。
2020-06-07 cs.AI cs.LG cs.RO
Motion Planner Augmented Reinforcement Learning for Robot Manipulation in Obstructed Environments
Cognitive Learning for Vision and Robotics Lab(认知视觉与机器人学实验室);Robotic Embedded Systems Laboratory(机器人嵌入式系统实验室);University of Southern California(南加利福尼亚大学)
深度强化学习(RL)智能体能够通过最大化奖励信号来学习接触丰富的操作任务,但需要大量的经验,特别是在有许多障碍物的环境中,这些障碍物使探索变得复杂。相比之下,运动规划者使用代理和环境的显式模型来规划到遥远目标的无碰撞路径,但是在需要与环境接触的任务中遭受不准确的模型。为了结合这两种方法的优点,我们提出了运动规划增强RL(MoPA-RL),它增强了RL代理的动作空间与运动规划的长期规划能力。基于动作的大小,我们的方法在直接执行动作和调用运动规划器之间平滑地过渡。我们评估我们的方法在各种模拟操作任务,并比较它的学习效率和安全性方面的替代行动空间。实验表明,MoPA-RL提高了学习效率,导致更快的探索,并产生更安全的策略,避免与环境发生冲突。视频和代码可在https://clvrai.com/mopa-rl上获得。
2020-10-22 cs.AI cs.LG cs.RO
Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations
University of Washington(华盛顿大学);OpenAI;University of California Berkeley(加州大学伯克利分校);Istituto Italiano di Tecnologia(意大利理工学院)
灵巧的多指手是非常通用的,并提供了一种通用的方式来执行以人为中心的环境中的许多任务。然而,有效地控制它们仍然具有挑战性,因为它们的高维度和大量的潜在接触。深度强化学习(DRL)提供了一种模型不可知的方法来控制复杂的动力系统,但尚未被证明可以扩展到高维灵巧操作。此外,由于样本效率低下,在物理系统上部署DRL仍然具有挑战性。因此,迄今为止,DRL在机器人领域的成功仅限于简单的机械手和任务。在这项工作中,我们表明,无模型DRL可以有效地扩展到复杂的操作任务与高维24自由度的手,并解决他们从头开始在模拟实验。此外,通过使用少量的人类演示,可以显着降低样本的复杂性,这使得学习的样本大小相当于几个小时的机器人经验。使用示威导致政策表现出非常自然的运动,而且令人惊讶的是,也更加强大。
2018-06-26 cs.AI cs.LG cs.RO
REFINE-DP: Diffusion Policy Fine-tuning for Humanoid Loco-manipulation via Reinforcement Learning
The Institute for Robotics and Intelligent Machines(机器人与智能机械研究所)
本文提出REFINE-DP框架,通过联合优化扩散政策高层规划器和基于强化学习的低层动态-操作控制器,提升人形机器人在复杂环境中的任务成功率与执行稳定性。
2026-07-31 cs.AI cs.LG cs.RO
Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity
University of Southern California(南加州大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California Santa Cruz(加州大学圣克鲁兹分校);University of Cincinnati(辛辛那提大学)
本研究针对无视觉输入的三指仿真手抬球旋球任务,对比课程学习与触觉反馈对强化学习效果的影响,提出新型课程学习率调度器,发现课程选择的作用远大于触觉信息,且无触觉也可完成学习,结果可推广至不同球体。
2024-07-13 cs.AI cs.LG cs.RO
Ensemble Consensus-based Representation Deep Reinforcement Learning for Hybrid FSO/RF Communication Systems
Atlantic Technological University(大西洋理工大学);Al Yamamah University(亚马玛大学);Lahore Leads University(拉合尔利兹大学);National University of Technology(国立理工大学)
FSO/RF混合系统需要一种有效的FSO和RF链路切换机制,以实现两者的优势互补,从而提高系统容量。网络条件的动态变化,如雾、灰尘和沙尘暴,使链路切换问题和控制复杂性变得更加复杂。为了解决这个问题,我们开始研究深度强化学习(DRL)的混合FSO/RF系统的链路切换。具体来说,在这项工作中,我们专注于演员/评论称为演员/评论FSO/RF和深度Q网络(DQN)称为DQN-FSO/RF的FSO/RF链路切换下的大气干扰。要制定的问题,我们定义的状态,行动,和奖励功能的混合FSO/RF系统。DQN-FSO/RF频繁更新与混合FSO/RF系统中的环境交互的部署策略,导致高切换成本。为了克服这个问题,我们将这个问题提升到基于集成共识的表示学习来进行深度强化,称为DQNEnsemble-FSO/RF。所提出的新颖的DQNEnsemble-FSO/RF DRL方法使用基于异步线程集合的共识学习特征表示来更新部署的策略。实验结果证实,建议的DQNEnsemble-FSO/RF的共识学习功能切换实现更好的性能比演员/关键FSO/RF,DQN-FSO/RF,和MyOpic FSO/RF链路切换,同时保持切换成本显着较低。
2022-11-07 cs.LG
Reinforcement Learning in Topology-based Representation for Human Body Movement with Whole Arm Manipulation
Hong Kong University of Science and Technology(香港科技大学);Yale University(耶鲁大学);KTH Royal Institute of Technology(KTH皇家理工学院)
移动人体或大而笨重的物体可能需要整个手臂操作(WAM)的力量。这种类型的操作将负载放置在机器人的手臂上,并依赖于相互作用的全局属性来成功-而不是局部接触,如抓取或非弹性推动。在本文中,我们将学习如何生成运动,使WAM在某些救援或病人护理场景中保持和运输人类。我们将该任务建模为强化学习问题,以便提供可以直接响应外部干扰和人体运动的行为。为此,我们代表了全球性的机器人与人类的互动与拓扑为基础的坐标,从手臂和躯干的位置计算。这些坐标还允许将学习到的策略转移到其他身体形状和大小。为了训练和评估,我们模拟了一个动态的海上救援场景,并在定量实验中表明,该政策可以解决看不见的情况下,不同形状的人,漂浮的人,或感知噪声。我们的定性实验表明,随后的运输后,持有的实现,我们证明了政策可以直接转移到现实世界的设置。
2018-09-12 cs.AI cs.LG cs.RO
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley(加州大学伯克利分校伯克利人工智能研究中心);Open AI(OpenAI)
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而,当与环境的交互时间有限时,无模型方法的性能很差,就像大多数真实世界的机器人任务一样。在本文中,我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先,软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次,我们证明了使用软Q学习学习的策略可以组合以创建新的策略,并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具,通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明,软Q学习比以前的无模型深度强化学习方法具有更高的样本效率,并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University(卡迪夫大学)
这项工作重新实现了OpenAI Gym多目标机器人操作环境,最初基于商业Mujoco引擎,到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能,我们证明了我们成功地重新实现了原始环境。此外,我们为用户提供新的API,通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤,多目标,长视野和稀疏奖励的机器人操作任务,旨在启发新的目标条件强化学习算法,这样的挑战。我们使用一个简单的,基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
Exploiting Hybrid Policy in Reinforcement Learning for Interpretable Temporal Logic Manipulation
University of Science and Technology of China(中国科学技术大学);Chongqing University(重庆大学);Hunan University(湖南大学)
本文提出时序逻辑引导的混合策略框架HyTL,通过LTL编码任务规范并结合三层决策结构,提升长时程机器人操作的采样效率、性能与可解释性。
2024-12-29 cs.AI cs.LG cs.RO
Rearrangement with Nonprehensile Manipulation Using Deep Reinforcement Learning
Hong Kong University of Science and Technology(香港科技大学);HKUST Robotics Institute(香港科技大学机器人研究所);HKUST Institute for Advanced Study(香港科技大学高等研究院);KTH Royal Institute of Technology(瑞典皇家理工学院)
在桌面上重新安排对象通过non-promisile操纵是一项任务,需要熟练的互动与物理世界。通常,这是通过精确建模的对象,机器人和明确的规划环境的物理属性。相比之下,由于显式建模物理环境并不总是可行的,并且涉及各种不确定性,因此我们仅基于视觉反馈使用深度强化学习学习非随机重排策略。为此,我们用奖励对任务进行建模,并训练一个深度Q网络。我们基于势场的启发式探索策略减少了导致次优结果的冲突量,并且我们积极平衡训练集,以避免对不良示例的偏见。与统一探索和标准经验回放相比,我们的训练过程可以更快地学习和更好地执行任务。我们从模拟中展示了经验证据,表明我们的方法导致85%的成功率,表明我们的系统可以应对环境的突然变化,并将我们的性能与人类水平的性能进行比较。
2018-03-15 cs.AI cs.LG cs.RO
Transferring Knowledge for Reinforcement Learning in Contact-Rich Manipulation
Örebro University(厄勒布鲁大学)
在制造业中,装配任务由于不同环境的动态变化而对学习算法提出了挑战。强化学习(RL)是自动学习这些任务的有前途的框架,然而,即使部署条件仅略有不同,也仍然不容易将学习的策略或技能(即解决任务的能力)应用于类似的环境。在本文中,我们解决了利用多个技能先验知识在一系列类似任务中转移知识的挑战。我们建议学习先验分布在完成每个任务所需的特定技能,并组成家庭的技能先验指导学习的政策,为一个新的任务,通过比较目标任务和以前的相似性。我们的方法从每个先前任务的演示轨迹中学习一个潜在的动作空间,表示技能嵌入。我们已经在一组钉孔插入任务上评估了我们的方法,并证明了对训练过程中从未遇到过的新任务的更好的泛化。
2022-09-19 cs.AI cs.LG cs.RO
Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);University of California Berkeley(加州大学伯克利分校)
使用具有稀疏奖励的强化学习来学习机器人操作任务目前是不切实际的,因为数据要求非常高。许多实际任务需要操纵多个对象,并且这些任务的复杂性随着对象的数量而增加。从日益复杂的任务课程中学习似乎是一种自然的解决方案,但不幸的是,在许多情况下都不起作用。我们假设,最先进的算法无法有效地利用任务课程源于缺乏归纳偏见,从简单到复杂的任务转移知识。我们表明,基于图的关系架构克服了这一限制,并使学习复杂的任务时,提供了一个简单的课程的任务与越来越多的对象。我们演示了我们的框架上的模拟块堆叠任务的实用程序。从零开始,我们的智能体学习将六个街区堆叠成一座塔。尽管使用了逐步稀疏奖励,但我们的方法的数据效率要高出几个数量级,并且优于现有的利用人类演示的最先进方法。此外,学习到的策略表现出零射击(zero-shot)概括,无需任何进一步的训练即可成功地将积木堆叠成更高的塔楼和以前从未见过的配置,例如金字塔。
2019-12-23 cs.AI cs.LG cs.RO
Accelerating Reinforcement Learning of Robotic Manipulations via Feedback from Large Language Models
University of Hamburg(汉堡大学)
针对机器人操作强化学习中样本效率低、奖励设定难的问题,提出Lafite-RL框架,借助大语言模型自然语言反馈提升学习效率与成功率,在RLBench任务上表现优于基线。
2023-11-04 cs.AI cs.LG cs.RO
Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery
Seoul National University(首尔国立大学)
当前机器人强化学习(RL)由于固有的特定于任务的训练范式,在推广到新的下游任务时经常遇到困难。为了缓解这一问题,无监督强化学习(unsupervised RL)是一种以任务不可知的方式对智能体进行预训练的框架,而无需获得特定于任务的奖励,它利用积极的探索将各种经验提炼成基本技能或可重用的知识。为了在机器人操作中利用这些好处,我们提出了一种无监督的方法,用于可转移的操作技能发现,将结构化探索与交互行为和可转移的技能学习联系起来。它不仅使智能体能够学习交互行为,机器人操作学习的关键方面,没有访问的环境奖励,但也推广到任意下游的操作任务与学习的任务不可知的技能。通过比较实验,我们表明,我们的方法实现了最多样化的互动行为,并显着提高样本效率在下游任务,包括扩展到多对象,多任务问题。
2022-04-29 cs.LG cs.RO
Multi-Group Equivariant Augmentation for Reinforcement Learning in Robot Manipulation
本文针对机器人操作中视觉运动学习的采样效率问题,提出多群等变增强方法MEA,通过引入非等距对称性和体素视觉表示来提升离线强化学习效率,并在仿真与真实机器人实验中验证了有效性。
2025-08-15 cs.AI cs.RO
Reinforcement learning for the privacy preservation and manipulation of eye tracking data
本文提出了一种基于强化学习的眼动追踪数据处理方法。它基于两个对立的代理,其中一个试图正确分类数据,第二个代理在数据中寻找模式,这些模式被操纵以隐藏特定信息。我们表明,我们的方法是成功地适用于保护受试者的隐私。为此,我们迭代地评估我们的方法,以展示基于强化学习的方法的行为。此外,我们评估的时间,以及空间,信息的眼动追踪数据的特定分类目标的重要性。在我们评估的最后一部分,我们将该过程应用于进一步的公共数据集,而无需重新训练自动编码器或数据操纵器。结果表明,学习操纵是广义的,适用于看不见的数据以及。
2020-10-02 cs.AI cs.CV cs.LG
Towards Autonomous Reinforcement Learning for Real-World Robotic Manipulation with Large Language Models
Department of Information Engineering, University of Padova(帕多瓦大学信息工程系);ABB Corporate Research(ABB企业研究)
本文提出ARCHIE无监督流程,利用GPT-4从自然语言任务描述自动生成RL奖励函数与成功判定代码,并在ABB YuMi单臂及双臂操作任务中验证其有效性。
2025-06-10 cs.AI cs.LG cs.RO
TourPlanner: A Competitive Consensus Framework with Constraint-Gated Reinforcement Learning for Travel Planning
Xiaohongshu Inc.(小红书公司);Renmin University of China(中国人民大学);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS)
TourPlanner通过多路径推理和约束门控强化学习,解决旅行规划中候选点修剪、探索能力限制和约束优化难题,实现更高效的行程生成。
2026-01-08 cs.AI cs.CL cs.LG
Creativity in Robot Manipulation with Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
深度强化学习(DRL)已成为机器人科学中一种强大的控制技术。与控制理论相比,DRL在对环境的深入探索中具有更强的鲁棒性。DRL的这种能力在应用于机器人时会产生更多类似人类的行为和智能。为了探索这种能力,我们设计了具有挑战性的操作任务,以观察机器人处理复杂场景的策略。我们观察到,机器人不仅能成功地执行任务,而且还能产生创造性和非直觉的解决方案。我们还观察到机器人在接近成功的任务中的持久性,以及它在辨别继续或放弃方面的惊人能力。
2019-10-16 cs.LG cs.RO stat.ML
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG;University of Warwick(华威大学)
通过强化学习(RL)掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明,使用稀疏奖励,即只有在任务成功完成时才奖励代理,可以产生更好的策略。然而,在这种情况下,状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习,利用了高质量的人类演示来完成任务,但这些演示可能是昂贵的,耗时的,甚至不可能获得。在本文中,我们提出了一种新颖而有效的方法,不需要人类的示范。我们观察到,从被操纵对象的角度来看,每个机器人操纵任务都可以被视为涉及运动任务,即对象可以学习如何自行达到目标状态。为了利用这一想法,我们引入了一个框架,通过该框架,最初使用现实的物理模拟器获得对象运动策略。然后,该策略用于生成辅助奖励,称为模拟运动演示奖励(SLDR),使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加,并可以实现更高的成功率和更快的学习率相比,替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO
ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出 ArrayBot 触觉柱阵列系统,通过重塑空间局部与频域低频动作空间训练强化学习策略,实现仅靠触觉的可泛化物体操控,并成功零域随机化迁移到实体机器人。
2025-02-19 cs.LG cs.RO
Resilient Consensus-based Multi-agent Reinforcement Learning with Function Approximation
University of Notre Dame(圣母大学);Stony Brook University(石溪大学)
训练过程中的对抗攻击会严重影响多智能体强化学习算法的性能。因此,非常希望增强现有的算法,使得对抗攻击对合作网络的影响被消除,或者至少被限制。在这项工作中,我们考虑了一个完全分散的网络,其中每个代理都获得本地奖励并观察全局状态和动作。我们提出了一个弹性的共识为基础的演员批评算法,每个代理估计团队的平均奖励和价值函数,并传达相关的参数向量,其直接邻居。我们发现,在拜占庭代理,其估计和通信策略是完全任意的存在下,估计的合作代理收敛到一个有界的共识值的概率为1,提供了最多的$H$拜占庭代理在每个合作代理的邻居和网络是$(2H+1)$ -鲁棒的。此外,我们证明了合作代理人的政策收敛概率为1到一个有界的邻域周围的局部最大化的团队平均目标函数的假设下,敌对代理人的政策渐近成为固定的。
2021-11-18 cs.LG cs.SY eess.SY
Real-World Dexterous Object Manipulation based Deep Reinforcement Learning
Westlake University(西湖大学)
深度强化学习已经在基于智能体状态的实时决策中显示出了优势。在这个阶段,我们解决了使用真实机器人操纵立方体到给定轨迹的任务。该方法将任务分解为不同的过程,提出了一种分层结构,高层的深度强化学习模型选择合适的接触位置,底层的控制模块根据相应的轨迹进行位置控制。该框架克服了深度强化学习样本效率低和传统机器人控制方法适应性差的缺点。我们的算法在模拟中进行训练,并在没有微调的情况下迁移到现实中。实验结果表明,我们的方法的有效性仿真和现实。我们的代码和视频可以在https://github.com/42jaylonw/RRC2021ThreeWolves和https://youtu.be/Jr176xsn9wg上找到。
2021-11-22 cs.LG cs.RO
SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation
Carnegie Mellon University(卡内基梅隆大学)
由于可变形物体的高维状态表示和复杂的动力学特性,操纵可变形物体一直是机器人领域的一个挑战。最近在深度强化学习方面的成功为使用数据驱动方法学习操纵可变形对象提供了一个有希望的方向。然而,现有的强化学习基准测试仅涵盖具有直接状态可观测性和简单低维动力学或相对简单的基于图像的环境(例如具有刚性对象的环境)的任务。在本文中,我们介绍了SoftGym,这是一组用于操纵可变形对象的开源模拟基准,具有标准的OpenAI Gym API和用于创建新环境的Python接口。我们的基准将使这一重要领域的可重复研究成为可能。此外,我们评估了这些任务的各种算法,并强调了强化学习算法的挑战,包括处理具有高内在维度且部分可观察的状态表示。实验和分析表明,现有的方法的优势和局限性的背景下,可变形的对象操作,可以帮助指出未来的方法发展的方向。学习策略的代码和视频可以在我们的项目网站上找到。
2021-03-08 cs.LG cs.RO
Decentralized Consensus Inference-based Hierarchical Reinforcement Learning for Multi-Constrained UAV Pursuit-Evasion Game
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Zhejiang Lab(浙江省实验室);City University of Macau(澳门城市大学)
针对多约束追逃博弈中的合作逃避与编队覆盖任务,提出基于共识推理的分层强化学习框架,高层用ConsMAC感知全局,低层用AT-M控制,显著提升协同逃避与任务完成能力。
2025-06-22 cs.AI
Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments
Technical University of Munich(慕尼黑工业大学)
深度强化学习(RL)在机械手的运动规划中已经显示出有希望的结果。然而,没有方法保证高度动态的障碍物,如人类,在基于RL的机械手控制的安全。这种缺乏正式的安全保证阻止了RL在现实世界的人类环境中的机械手的应用。因此,我们提出了一种屏蔽机制,确保ISO验证的人类安全,同时在机械手上训练和部署RL算法。我们利用人类和机械手的快速可达性分析,以保证机械手在人类进入其范围之前完全停止。我们提出的方法通过防止情节结束冲突来保证安全性并显着提高RL性能。我们证明了我们提出的方法在模拟使用人体运动捕捉数据的性能。
2022-05-12 cs.AI cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
安全性是每个机器人平台的关键属性:任何控制策略都应始终遵守执行器限制,并避免与环境和人类碰撞。在强化学习中,安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案,但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台,并通过探索约束流形的切线空间,即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能,同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署,在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(矢量研究院);Georgia Institute of Technology(佐治亚理工学院)
SPIRE通过任务与运动规划分解长时程操作任务,并结合模仿学习与强化学习,在性能、数据效率和训练速度上显著超越已有方法。
2024-10-23 cs.AI cs.CV cs.LG
ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation
Stanford University(斯坦福大学);Nvidia(英伟达公司);Robotics at Google(谷歌机器人部门)
许多强化学习(RL)方法使用联合控制信号(位置、速度、扭矩)作为连续控制任务的动作空间。我们建议将动作空间提升到一个更高的水平,以运动生成器(运动规划器和轨迹执行器的组合)的子目标的形式。我们认为,通过提升动作空间和利用基于采样的运动规划器,我们可以有效地使用RL来解决复杂的,长时间的任务,这些任务在原始动作空间中无法用现有的RL方法解决。我们提出了ReLMoGen -一个框架,它结合了学习的策略来预测子目标和运动生成器来计划和执行达到这些子目标所需的运动。为了验证我们的方法,我们将ReLMoGen应用于两种类型的任务:1)交互式导航任务,需要与环境交互才能到达目的地的导航问题,以及2)移动操作任务,需要移动机器人底座的操作任务。这些问题是具有挑战性的,因为它们通常是长期的,难以在培训期间探索,并包括导航和交互的交替阶段。我们的方法是基准上的一组不同的七个机器人任务在照片般逼真的仿真环境。在所有设置中,ReLMoGen都优于最先进的强化学习和分层强化学习基线。ReLMoGen在测试时还显示出在不同运动发生器之间的出色可转移性,这表明它具有转移到真正机器人上的巨大潜力。
2021-03-26 cs.AI cs.CV cs.LG
Consensus-based Decentralized Multi-agent Reinforcement Learning for Random Access Network Optimization
The Ohio State University(俄亥俄州立大学);University of Wisconsin-Whitewater(威斯康星大学-惠特ewater分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对随机接入网络优化中集中式训练开销大的问题,提出一种基于共识的去中心化多智能体强化学习架构,通过仅交换局部奖励降低通信开销,并证明了全局收敛性,显著提升了网络性能。
2025-08-09 cs.AI cs.LG cs.NI
Reinforcement Learning for Vision-based Object Manipulation with Non-parametric Policy and Action Primitives
Samsung Research(三星研究院);Samsung Electronics(三星电子)
对象操作是服务机器人的一项重要能力,但由于样本效率等原因,强化学习难以解决。在本文中,为了解决这个对象操作,我们提出了一种新的框架,AP-NPQL(非参数Q学习与动作原语),可以有效地解决对象操作与视觉输入和稀疏奖励,通过利用非参数的强化学习和适当的行为之前的对象操作的政策。我们评估的效率和性能的建议AP-NPQL的四个对象操作任务的模拟(推板,堆垛箱,翻转杯,并挑选和放置板),事实证明,我们的AP-NPQL优于国家的最先进的算法的基础上参数化的政策和行为先验的学习时间和任务成功率。我们还成功地转移和验证学习策略的板拾取和放置任务的真实机器人在一个模拟到真实的方式。
2022-06-12 cs.RO
Morphologically Symmetric Reinforcement Learning for Ambidextrous Bimanual Manipulation
TU Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe(本田欧洲研究所);Istituto Italiano di Tecnologia(意大利理工学院);DFKI(德国人工智能研究中心);Robotics Institute Germany(德国机器人研究所)
本研究提出强化学习框架SYMDEX,以机器人双侧对称性为归纳偏置,通过等变神经网络复用双臂经验并蒸馏全局策略,提升双手及多臂操作的样本效率、鲁棒性与泛化能力。
2025-09-01 cs.LG cs.RO
QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation
Google Brain(谷歌大脑);University of California Berkeley(加州大学伯克利分校)
在本文中,我们研究的问题,学习基于视觉的动态操作技能,使用可扩展的强化学习方法。我们研究这个问题的背景下把握,机器人操作的一个长期的挑战。与选择抓取点然后执行所需抓取的静态学习行为相反,我们的方法实现了基于视觉的闭环控制,机器人根据最近的观察结果不断更新其抓取策略,以优化长期抓取成功。为此,我们引入了QT-Opt,这是一个可扩展的基于自监督视觉的强化学习框架,可以利用超过58万次的真实世界抓取尝试来训练一个具有超过120万个参数的深度神经网络Q函数,以执行闭环的真实世界抓取,从而在看不见的物体上实现96%的抓取成功率。除了获得非常高的成功率外,我们的方法还表现出与更标准的抓取系统截然不同的行为:仅使用来自肩扛式摄像机的基于RGB视觉的感知,我们的方法自动学习重新抓取策略,探测对象以找到最有效的抓取,学习重新定位对象并执行其他非可伸缩的预抓取操作,并动态响应干扰和扰动。
2018-11-28 cs.AI cs.CV cs.LG
Maglev-Pentabot: Magnetic Levitation System for Non-Contact Manipulation using Deep Reinforcement Learning
Department of Electrical and Computer Engineering, University of Wisconsin-Madison(电气与计算机工程系,威斯康星大学麦迪逊分校);Flexcompute;Department of Electrical Engineering, Stanford University(电气工程系,斯坦福大学)
Maglev-Pentabot通过深度强化学习实现克级非接触操控,解决微米尺度操控限制,支持泛化运输任务和更大重量物体操控。
2025-11-26 cs.AI cs.RO
Robust In-Hand Manipulation via Priors in Reinforcement Learning and Mechanical Design
Center for Robotics and Biosystems, Northwestern University(西北大学机器人与生物系统中心)
研究无外部传感的手中操作难题,引入全局抓握质量先验和局部接触几何先验两种互补物理先验,用于多指机器人手操作物体的手中滚动操作学习,显著提升了旋转效率、抓握稳定性和抗干扰能力,增强任务稳健性与模拟到现实的转移。
2026-07-15 cs.LG cs.RO
Sim-to-Real Brush Manipulation using Behavior Cloning and Reinforcement Learning
University of Maryland at College Park(马里兰大学帕克分校)
本研究提出结合行为克隆与强化学习的框架,训练绘画智能体以弥合仿真与现实的差距,并在配备机械臂的真实环境中验证了其向高维连续动作空间平滑转移画笔操作技术的有效性。
2023-09-15 cs.RO
Deep Reinforcement Learning for Dexterous Manipulation with Concept Networks
Bonsai
深度强化学习可以为大量问题产生很好的结果,但模型通常会为每个待解决的新问题重新训练。在训练新模型时,以前的学习和知识很难融入,随着问题变得越来越复杂,需要越来越长的训练时间。这对于奖励稀疏的问题尤其成问题。我们通过引入概念网络强化学习(CNRL)来解决这些问题,该框架允许我们使用多层次结构来分解问题。概念网络中的概念是可重用的,并且足够灵活以封装特征提取器、技能或其他概念网络。通过这种分层学习方法,深度强化学习可以通过问题分解以模块化方式解决复杂任务。我们通过训练模型抓住一个矩形棱柱并使用Kinova JACO手臂上的夹持器将其精确地堆叠在立方体顶部来展示CNRL的实力,在MuJoCo中模拟。我们的实验表明,我们使用的层次结构的结果减少了45倍的环境相互作用相比,国家的最先进的这项任务。
2017-09-20 cs.AI cs.RO
Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance
UC Berkeley(加州大学伯克利分校);Meta AI Research(Meta人工智能研究院);University of Washington(华盛顿大学)
复杂和接触丰富的机器人操作任务,特别是那些涉及多指手和欠驱动的对象操作,提出了一个重大的挑战,任何控制方法。基于强化学习的方法为这种设置提供了一个有吸引力的选择,因为它们可以使机器人学习微妙地平衡接触力并灵巧地重新定位物体,而无需强有力的建模假设。然而,在现实世界的灵巧操作系统上运行强化学习通常需要大量的人工工程。这否定了强化学习原则上应该提供的自主数据汇集和易用性的好处。在本文中,我们描述了一个基于视觉的灵巧操作系统,提供了一个“无编程”的方法,为用户定义新的任务,并使机器人与复杂的多指手,通过互动来学习执行它们。我们系统的核心原则是,在基于视觉的环境中,用户应该能够提供高水平的中间监督,以规避遥操作或动觉教学中的挑战,使机器人不仅能够有效地学习任务,而且能够自主练习。我们的系统包括一个框架,让用户定义一个最终的任务和中间的子任务与图像的例子,一个强化学习过程,学习任务自主没有干预,和实验结果与四指机器人手学习多阶段的对象操作任务直接在现实世界中,没有模拟,手动建模,或奖励工程。
2022-12-19 cs.AI cs.CV cs.LG
Reinforcement Learning with Parameterized Manipulation Primitives for Robotic Assembly
Singapore Centre for 3D Printing (SC3DP)(新加坡3D打印中心(SC3DP));School of Mechanical and Aerospace Engineering, NTU(南洋理工大学机械与航空航天工程学院);Eureka Robotics(尤里卡机器人公司)
针对机器人装配中人工设计的状态机式操作基元策略难以应对意外状况的问题,提出用强化学习学习参数化操作基元的动态序列,提升了装配性能与样本效率,在高精度插销任务上实现了优异的零样本仿真到现实迁移效果。
2023-06-11 cs.RO
Coinbot: Intelligent Robotic Coin Bag Manipulation Using Deep Reinforcement Learning And Machine Teaching
Microsoft(微软);Neal Analytics
考虑到在银行现金中心移动沉重的实物货币袋的困难,对培训和部署能够在协作工作空间中执行此类任务的安全自主系统的需求很大。然而,随着大量的刚性体硬币包含在它的袋子的变形特性,显着增加了袋检测,抓取和操纵的机器人夹具和arm.In本文中,我们应用深度强化学习和机器学习技术的任务控制的协作机器人自动卸载硬币袋从手推车的挑战。为了完成抓取硬币袋等柔性材料的特定任务过程,在操作过程中质量中心发生变化,在仿真中实现了一种特殊的夹持器,并在物理硬件中设计。利用深度相机和使用深度学习的目标检测,已经完成了包检测和姿态估计以选择最佳抓取点。提出了一种基于深度强化学习的智能方法,用于提出机器人末端执行器的最佳配置,以最大限度地提高抓取成功率。一种增强的运动规划被用来提高机器人操作期间的运动规划的速度。在实际环境中,使用拟议管道进行的实际试验表明成功率超过96%。
2020-12-02 cs.LG cs.RO