Flexible Gear Assembly With Visual Servoing and Force Feedback
Fraunhofer Institute for Manufacturing Engineering and Automation（弗劳恩霍夫制造工程与自动化研究所）；Technical University of Munich（慕尼黑工业大学）
齿轮装配是工业自动化中必不可少但具有挑战性的任务。本文提出了一种新的两阶段的方法来实现高精度和灵活的齿轮装配。所提出的方法集成YOLO粗定位工件在搜索阶段和深度强化学习（DRL）完成插入。具体而言，DRL解决了手腕摄像头距离工件太近时部分可见性的挑战。此外，力反馈用于将过程从第一阶段平滑地过渡到第二阶段。为了减少训练深度神经网络的数据汇集工作，我们使用合成RGB图像来训练YOLO，并利用采样的真实世界数据构建离线交互环境来训练DRL代理。我们评估所提出的方法在齿轮装配实验的精度公差为0.3mm。实验结果表明，该方法可以在平均15秒内鲁棒、高效地完成从任意位置的搜索和插入。
2023-03-06 cs.RO
Scalable Multi-Robot Informative Path Planning for Target Mapping via Deep Reinforcement Learning
Purdue University（普渡大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文提出一种基于深度强化学习的多机器人信息路径规划方法，通过协调图优先探索未访问区域，在资源约束下显著提升目标发现数量并支持扩展到64个机器人。
2025-06-02 cs.CV cs.RO
Scalable, Decentralized Multi-Agent Reinforcement Learning Methods Inspired by Stigmergy and Ant Colonies
University of California, Berkeley（加州大学伯克利分校）
支持多智能体学习算法来处理复杂的协调和控制任务一直是正在进行的研究的长期挑战。已经提出了许多方法来帮助减少非平稳性和不可伸缩性的影响。在这项工作中，我们研究了一种新的方法来分散多智能体学习和规划，试图解决这两个挑战。特别是，这种方法的灵感来自于蚁群的凝聚力，协调性和行为。因此，这些算法被设计为自然可扩展到具有众多代理的系统。虽然不能保证最优性，但该方法旨在在实践中工作良好，并且在存在的药剂数量下比其他药剂的功效更好。该方法结合了单智能体RL和蚁群启发的分散，stigmergic算法的多智能体路径规划和环境修改。具体来说，我们将此算法应用于代理必须导航到目标位置的设置中，学习将矩形框推入孔中以产生新的可遍历路径。结果表明，虽然这种方法在这个特定的环境中产生有前途的成功，它可能不容易推广到其他人。该算法的设计是值得注意的是可扩展到许多代理，但由于其相对简单，基于规则的方法是有限的，在其性能。此外，RL训练的策略的可组合性受到质疑，虽然策略在其训练环境中是成功的，但将训练的策略应用于更大规模的多代理框架会导致不可预测的行为。
2021-05-08 cs.AI cs.LG cs.MA
Sim2Real View Invariant Visual Servoing by Recurrent Control
University of Washington（华盛顿大学）；Google Brain（谷歌大脑）
人类非常擅长从各种视角和角度控制他们的肢体和工具，即使在存在光学扭曲的情况下也是如此。在机器人技术中，这种能力被称为视觉伺服：主要使用视觉反馈将工具或端点移动到所需位置。在本文中，我们研究如何视点不变的视觉伺服技能可以自动学习机器人操作的情况下。为此，我们训练一个深度递归控制器，它可以自动确定哪些动作将机器人手臂的端点移动到所需的对象。这个控制器必须解决的问题从根本上是模糊的：在严重变化的观点，它可能是不可能的，以确定在一个单一的前馈操作的行动。相反，我们的视觉伺服系统必须利用其对过去运动的记忆，从当前视点了解这些动作如何影响机器人运动，纠正错误并逐渐接近目标。这种能力与大多数视觉伺服方法形成鲜明对比，后者要么假设已知的动态特性，要么需要校准阶段。我们展示了如何使用模拟数据和强化学习目标来学习这种经常性控制器。然后，我们描述了如何将所得到的模型转移到现实世界的机器人，从控制中分离感知，只调整视觉层。经过调整的模型可以在现实世界的Kuka IIWA机器人手臂上从新的视角伺服到以前看不见的物体。https://fsadeghi.github.io/Sim2RealViewInvariantServo
2017-12-20 cs.CV cs.LG cs.RO
A Fast Initialization Method for Neural Network Controllers: A Case Study of Image-based Visual Servoing Control for the multicopter Interception
State Key Laboratory of Fluid Power and Mechatronic Systems, School of Mechanical Engineering, Zhejiang University, Hangzhou, China（流体动力与机械系统国家重点实验室，机械工程学院，浙江大学，杭州，中国）；Zhiyuan Research Institute, Hangzhou, China（智远研究院，杭州，中国）
本文提出一种神经网络快速初始化方法，通过构建符合稳定性条件的数据集，实现控制器的初始训练，并通过多旋翼拦截实验验证其有效性。
2025-09-23 cs.LG cs.RO cs.SY
Robotic Grasping using Deep Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
在这项工作中，我们提出了一种基于深度强化学习的方法来解决机器人抓取问题，使用机器人电机反馈。基于深度学习的方法的使用降低了由使用手工设计的特征引起的复杂性。我们的方法使用一个离政策强化学习框架来学习抓取政策。我们使用双深度Q学习框架和一个新的Grasp-Q-Network来输出抓取概率，用于学习抓取，以最大限度地提高抓取成功率。我们提出了一个视觉伺服机制，使用多视图摄像机设置，观察包含感兴趣的对象的场景。我们使用Baxter Gazebo模拟环境以及实际机器人进行实验。结果表明，我们提出的方法优于基线Q学习框架，并通过适应多视图模型相比，单视图模型，提高了抓取精度。
2020-07-09 cs.RO
Combining Learning from Demonstration with Learning by Exploration to Facilitate Contact-Rich Tasks
Universität Hamburg（汉堡大学）；Agile Robots AG（思灵机器人公司）；Technische Universität München（慕尼黑工业大学）
协作机器人有望能够与人类一起工作，在某些情况下直接取代现有的人类工人，从而有效地应对快速的装配线变化。目前用于编程接触丰富的任务的方法，特别是在严重受限的空间中，往往是相当低效的。因此，迫切需要更快、更直观的机器人示教方法。这项工作的重点是结合基于视觉伺服的示教学习（LfD）和基于力的学习探索（LbE），使快速和直观的编程接触丰富的任务与最小的用户所需的努力。开发了两种学习方法并将其集成到一个框架中，一种依赖于人到机器人的运动映射（视觉伺服方法），另一种依赖于基于力的强化学习。该框架实现了基于视觉伺服的非接触示教方法，并根据检测到的接触状态优化了被示教机器人的目标位置。该框架与两种最常用的基线技术，基于吊坠的教学和手指导教学进行了比较。该框架的效率和可靠性已被验证，通过比较实验涉及教学和执行接触丰富的任务。本文提出的框架在教学时间、执行成功率、损坏风险和易用性方面表现最好。
2021-10-26 cs.RO
Offline Goal-Conditioned Reinforcement Learning for Shape Control of Deformable Linear Objects
Chalmers University of Technology（查尔姆斯理工大学）；CNRS（法国国家科学研究中心）；Clermont Auvergne INP（克莱蒙奥弗涅国立综合理工学院）；Institut Pascal（帕斯卡尔研究所）；Université Clermont Auvergne（克莱蒙奥弗涅大学）；Lund University（隆德大学）
本研究提出一种基于离线目标条件强化学习的方法，用于可变形线性物体的形状控制，通过数据增强和TD3+BC算法，在曲率反转实验中优于形状伺服基线。
2024-03-15 cs.RO cs.SY eess.SY
Self-Curriculum Model-based Reinforcement Learning for Shape Control of Deformable Linear Objects
Department of Mechanical Engineering, Tsinghua University（清华大学机械工程系）
提出两阶段框架，结合基于模型强化学习与在线视觉伺服，通过自课程目标生成机制实现可变形线性物体高效精确的形状控制，在仿真和真实任务中优于主流方法。
2026-06-23 cs.RO
Scalable Multi-Task Data Generation via Reinforcement Learning for Language-Conditioned Bimanual Dexterous Manipulation
TU Darmstadt（达姆施塔特工业大学）；Honda Research Institute Europe GmbH（本田欧洲研究院有限公司）；DFKI（德国人工智能研究中心）
提出基于强化学习的系统化数据生成流程，结合通用奖励设计、域随机化和语言条件任务标注，合成高质量双手灵巧操作数据集，训练语言条件多任务策略，提升跨任务泛化能力。
2026-06-23 cs.RO
Viewpoint Optimization for Autonomous Strawberry Harvesting with Deep Reinforcement Learning
California Polytechnic State University（加州州立理工大学）
自动收获可能为美国草莓行业日益增加的劳动力压力提供一个可行的解决方案。然而，由于机器感知和经济可行性的瓶颈，一个有利可图的和商业上采用的草莓收获系统仍然难以捉摸。在这项研究中，我们探索了使用深度强化学习来克服这些瓶颈的可行性，并开发了一种实用的算法来解决视点优化的子目标，或者开发一种控制策略来引导相机到有利的有利位置进行自主收获。我们评估算法的性能在一个自定义的，开源的模拟环境，并观察到令人鼓舞的结果。经过训练的智能体产生的回报比随机行为高8.7倍，比我们使用视觉伺服的最佳基线策略快8.8%。视觉调查显示，智能体能够专注于有利的观点，尽管没有明确的方法来传播信息。总的来说，我们得出结论，深度强化学习是一个很有前途的研究领域，以推进最先进的自主草莓收获。
2019-05-02 cs.CV cs.LG cs.RO
AquaOrbit: Sim-to-Real Reinforcement Learning for Underwater Target Orbiting under Intermittent Visual Feedback
Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；Harbin Engineering University（哈尔滨工程大学）；Tongji University（同济大学）
针对水下环绕中视觉中断问题，提出带恢复模块的强化学习控制器AquaOrbit，经仿真训练后零样本部署，在移动目标下视线误差降低46%，并成功完成多种轨迹。
2026-09-22 cs.RO
Visual Geometric Skill Inference by Watching Human Demonstration
University of Alberta（阿尔伯塔大学）
研究了通过几何特征之间的关联关系来学习人体演示视频中的操作技能的问题。这项工作的动机源于观察，人类执行眼手协调任务，使用几何图元定义一个任务，而几何控制错误驱动的任务，通过执行。提出了一种基于图的核回归方法，利用增量最大熵逆强化学习（InMaxEnt IRL）从人体演示视频中直接推断出潜在的关联约束。学习的技能推理提供人类可读的任务定义，并输出可以直接插入传统控制器的控制错误。我们的方法消除了繁琐的特征选择和强大的功能跟踪器需要在传统的方法（例如，基于特征的视觉伺服）。实验表明，即使只有一个人的演示视频，我们的方法推断正确的几何关联，并能很好地推广方差。
2020-03-05 cs.RO
Ant-inspired Walling Strategies for Scalable Swarm Separation: Reinforcement Learning Approaches Based on Finite State Machines
School for Engineering of Matter, Transport and Energy, Arizona State University, Tempe, AZ 85287, USA（1 工程物质、运输与能量学院，亚利桑那州立大学，Tempe, AZ 85287, USA）；School of Computing and Augmented Intelligence, Arizona State University, Tempe, AZ 85281, USA（2 计算与增强智能学院，亚利桑那州立大学，Tempe, AZ 85281, USA）；School of Life Sciences, Arizona State University, Tempe, AZ 85281, USA（3 生命科学学院，亚利桑那州立大学，Tempe, AZ 85281, USA）
受行军蚁筑墙行为启发，提出基于有限状态机和深度Q网络的两种去中心化控制器，用于异构机器人群体在并发任务中维持空间隔离，仿真显示DQN增强型控制器将混合率降低40-50%并加快收敛。
2025-10-26 cs.RO
Merging and Disentangling Views in Visual Reinforcement Learning for Robotic Manipulation
UC San Diego（圣迭戈大学）
本文提出 MAD 算法，在视觉强化学习机器人操作中合并多相机视图以提升 Q-learning 样本效率，并通过单视图特征增强实现视图解耦，从而在 Meta-World 与 ManiSkill3 上获得鲁棒且轻量的策略。
2025-08-29 cs.CV cs.LG cs.RO
Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts
University of Washington（华盛顿大学）
面对不确定性，明智和稳健的决策对于与人类一起执行物理任务的机器人至关重要。我们将其表述为潜在马尔可夫决策过程（MDP）上的贝叶斯强化学习。虽然贝叶斯最优性在理论上是黄金标准，但现有算法不能很好地扩展到连续状态和动作空间。我们的建议基于以下见解：在没有不确定性的情况下，每个潜在的MDP更容易解决。我们首先获得一组专家，每个潜在的MDP一个，并融合他们的建议来计算基线策略。接下来，我们训练贝叶斯残差策略来改进集合的建议并学习减少不确定性。我们的算法，贝叶斯残差策略优化（BRPO），进口的可扩展性的策略梯度方法和特定于任务的专家技能。BRPO显著提高了专家的集合，并大大优于现有的自适应RL方法。
2020-02-07 cs.LG cs.RO
GzDRL: Reproducible and Scalable Deep Reinforcement Learning with Gazebo
GzDRL提出无中间件的单进程RL框架，实现Gazebo中确定性、高吞吐、可复现的训练，并验证了四旋翼的仿真到现实迁移。
2026-09-15 cs.LG cs.RO
From Multi-agent to Multi-robot: A Scalable Training and Evaluation Platform for Multi-robot Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）
多智能体强化学习（MARL）在过去的几十年里得到了学术界和工业界的广泛关注。MARL的一个基本问题是如何对不同的方法进行综合评价。大多数现有的MARL方法在视频游戏或简单的模拟场景中进行评估。这些方法在现实世界的场景中，特别是多机器人系统中的表现如何仍然是未知的。本文介绍了一个可扩展的多机器人强化学习（MRRL）仿真平台SMART，以满足这一需求。准确地说，SMART由两个部分组成：1）一个仿真环境，提供了各种复杂的交互场景的培训和2）现实世界的多机器人系统的现实性能评估。此外，SMART提供了代理环境API，这些API是用于算法实现的即插即用。为了说明我们的平台的实用性，我们进行了一个案例研究的合作驾驶车道变换的情况下。在案例研究的基础上，我们总结了MRRL的几个独特的挑战，这是以前很少考虑。最后，我们开源了仿真环境、相关的基准任务和最先进的基线，以鼓励和支持MRRL研究。
2022-06-20 cs.AI cs.MA cs.RO
A Scalable Reinforcement Learning Approach for Attack Allocation in Swarm to Swarm Engagement Problems
Istanbul Technical University（伊斯坦布尔技术大学）；Artificial Intelligence and Data Science Application and Research Center（人工智能与数据科学应用研究中心）
在这项工作中，我们提出了一个强化学习（RL）的框架，控制一个大规模的群体的密度从事对抗性群体攻击。虽然有大量的现有工作在应用人工智能方法来控制群体，分析两个敌对群体之间的相互作用是一个相当欠研究的领域。在这个主题中，大多数现有的工作都是通过对敌对群体的策略和动态做出严格的假设来制定策略。我们的主要贡献是制定的群到群的参与问题作为一个马尔可夫决策过程和RL算法的发展，可以计算参与策略，而不知道的战略/动态的敌对群。仿真结果表明，开发的框架可以处理各种各样的大规模的参与情况下，以有效的方式。
2022-10-15 cs.AI cs.LG cs.RO
Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文提出了一种基于多步准度量学习的离线目标导向强化学习方法，通过多步蒙特卡洛回报提升长视野任务的性能，并在现实世界机器人操作中实现了多步拼接。
2026-02-22 cs.LG cs.RO
A Scalable Decentralized Reinforcement Learning Framework for UAV Target Localization Using Recurrent PPO
University of Moratuwa（莫拉图瓦大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）
针对感知退化环境下的无人机目标定位问题，提出基于Recurrent PPO的去中心化强化学习框架，支持单/双无人机模式，双机模式虽准确率略低但定位步数更少，为无人机集群目标定位提供了高效方案。
2024-12-09 cs.LG cs.RO
Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions
Google DeepMind（谷歌DeepMind）
提出 Q-Transformer 方法，利用 Transformer 对离散化动作维度的 Q 值进行自回归序列建模，实现从大型离线数据集中训练多任务策略，在真实机器人操作任务上优于现有离线 RL 和模仿学习算法。
2023-10-17 cs.AI cs.LG cs.RO
Hilbert-Augmented Reinforcement Learning for Scalable Multi-Robot Coverage and Exploration
本文提出一种基于Hilbert空间的强化学习方法，用于提高多机器人覆盖与探索的效率和可扩展性。
2026-02-23 cs.AI cs.MA cs.RO
Scalable Multi-Task Reinforcement Learning for Generalizable Spatial Intelligence in Visuomotor Agents
针对视觉运动强化学习易过拟合、泛化性差的问题，提出基于Minecraft的自动化任务合成与分布式RL框架，实现交互成功率4倍提升及跨环境零样本空间推理泛化。
2025-07-31 cs.AI cs.RO
QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation
Google Brain（谷歌大脑）；University of California Berkeley（加州大学伯克利分校）
在本文中，我们研究的问题，学习基于视觉的动态操作技能，使用可扩展的强化学习方法。我们研究这个问题的背景下把握，机器人操作的一个长期的挑战。与选择抓取点然后执行所需抓取的静态学习行为相反，我们的方法实现了基于视觉的闭环控制，机器人根据最近的观察结果不断更新其抓取策略，以优化长期抓取成功。为此，我们引入了QT-Opt，这是一个可扩展的基于自监督视觉的强化学习框架，可以利用超过58万次的真实世界抓取尝试来训练一个具有超过120万个参数的深度神经网络Q函数，以执行闭环的真实世界抓取，从而在看不见的物体上实现96%的抓取成功率。除了获得非常高的成功率外，我们的方法还表现出与更标准的抓取系统截然不同的行为：仅使用来自肩扛式摄像机的基于RGB视觉的感知，我们的方法自动学习重新抓取策略，探测对象以找到最有效的抓取，学习重新定位对象并执行其他非可伸缩的预抓取操作，并动态响应干扰和扰动。
2018-11-28 cs.AI cs.CV cs.LG
Scalable Exploration for High-Dimensional Continuous Control via Value-Guided Flow
Tsinghua University（清华大学）
Qflex通过价值引导流在高维动作空间中实现高效探索，优于现有方法并在复杂控制任务中表现出色。
2026-01-27 cs.LG cs.RO
Vintix II: Decision Pre-Trained Transformer is a Scalable In-Context Reinforcement Learner
Applied AI Institute（应用人工智能研究所）；Innopolis University（因诺波利斯大学）；HSE（高等经济学院）；ITMO University（ITMO大学）；NUST MISIS（国立科技大学MISIS）；MSU（莫斯科国立大学）；Humanoid（Humanoid公司）
本文提出Vintix II，通过Flow Matching扩展DPT，实现跨多领域任务的强化学习，提升泛化能力。
2026-04-06 cs.AI cs.LG cs.RO
Scalable Multi-Agent Reinforcement Learning through Intelligent Information Aggregation
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
针对局部观测下的多智能体导航与避障问题，提出基于图神经网络聚合局部信息的MARL架构InforMARL，以去中心化方式计算路径，具有更高的样本效率并能扩展至任意数量智能体和障碍物的环境。
2023-05-16 cs.AI cs.MA cs.RO
Heterogeneous Multi-Agent Reinforcement Learning for Zero-Shot Scalable Collaboration
Tsinghua University（清华大学）
本文提出SHPPO框架，通过隐变量网络和异构层为参数共享PPO引入个体间与时间异构性，在SMAC和GRF中实现零样本可扩展协作并提升性能。
2024-10-02 cs.AI cs.LG cs.MA
Safe and Scalable Multi-Drone Payload Transport via CBF-based Reinforcement Learning with Zero-Shot Sim-to-Real Transfer
Reliable Autonomous Systems Lab, Massachusetts Institute of Technology（可靠自主系统实验室，麻省理工学院）
研究多无人机载荷运输问题，提出基于学习的框架，引入二维抽象，用离散图控制障碍函数近端策略优化训练全分布式策略，实现零样本模拟到现实的迁移，能在不同团队规模和任务场景泛化，在动态环境安全运行。
2026-07-24 cs.MA cs.RO cs.SY
Provably Safe, Yet Scalable Reinforcement Learning
MIT（麻省理工学院）
提出PS2-RL框架，通过两阶段架构（学习备份策略隐式构造控制不变集，再通过可微投影层训练RL策略）实现可证明安全且可扩展的强化学习，在高达10维状态空间中保持性能与安全性。
2026-11-05 cs.LG cs.RO cs.SY
Scalable Decentralized Cooperative Platoon using Multi-Agent Deep Reinforcement Learning
German University in Cairo（开罗德国大学）
针对智能交通中车辆队列行驶的性能与安全需求，提出基于Unity 3D和深度强化学习的可扩展去中心化协作队列方法，通过“共享与关怀”通信框架提升车队及单车性能鲁棒性，改善道路安全与拥堵。
2023-12-11 cs.AI cs.MA cs.RO
Scalable Task-Driven Robotic Swarm Control via Collision Avoidance and Learning Mean-Field Control
Technische Universität Darmstadt（达姆施塔特工业大学）
近年来，强化学习及其多智能体模拟在解决各种复杂控制问题方面取得了巨大的成功。然而，多智能体强化学习在其理论分析和算法的经验设计方面仍然具有挑战性，特别是对于大量的具体机器人代理，其中确定的工具链仍然是积极研究的一部分。我们使用新兴的国家的最先进的平均场控制技术，以转换成更经典的单代理控制的分布多代理群体控制。这允许从单智能体强化学习的进步中获利，代价是假设智能体之间的弱交互。然而，平均场模型是违反了真实系统的本质体现，物理碰撞代理。因此，我们结合避免碰撞和学习的平均场控制到一个统一的框架，可追溯地设计智能机器人群体行为。在理论方面，我们提供了新的近似保证一般的平均场控制在连续空间和避免碰撞。在实践方面，我们表明，我们的方法优于多智能体强化学习，并允许分散的开环应用，同时避免碰撞，无论是在模拟和真实的无人机群。总的来说，我们提出了一个框架，设计的群体行为，这是数学上有充分的依据和实际有用的，否则难以解决的群体问题的解决方案。
2023-02-09 cs.AI cs.LG cs.RO
Scalable Multi-Agent Reinforcement Learning for Warehouse Logistics with Robotic and Human Co-Workers
Dematic（德马泰克）；University of Edinburgh（爱丁堡大学）
本文提出分层多智能体强化学习算法，通过管理者分配目标并与工人策略联合训练，解决机器人与人类协同仓库中的订单拣选问题，在多种配置和拣选范式下显著提升样本效率和拣选速率。
2024-08-30 cs.AI cs.LG cs.MA
