Sim2Real for Peg-Hole Insertion with Eye-in-Hand Camera
Arrival(Arrival公司)
尽管钉孔插入是机器人技术中研究得很好的问题之一,但它仍然是机器人的一个挑战,特别是在灵活性和泛化能力方面。成功完成这项任务需要结合几种模式,以应对现实世界的复杂性。在我们的工作中,我们专注于问题的视觉方面,并采用在模拟器中学习插入任务的策略。我们使用深度强化学习来端到端学习策略,然后将学习到的模型传输到真实机器人,而无需任何额外的微调。我们表明,转移的政策,它只需要RGB-D和关节信息(本体感觉)可以在真实的机器人上表现良好。
2020-05-29 cs.LG cs.RO eess.IV
Failure Forecasting Boosts Robustness of Sim2Real Rhythmic Insertion Policies
Department of Computer Science, Rutgers University(计算机科学系,罗格斯大学)
本文提出一种结合强化学习插入策略与故障预测模块的仿真到现实框架,通过将扳手姿态表示在螺母坐标系中,实现毫米级精度的节律性插入任务,并在长时间重复操作中保持高鲁棒性。
2025-07-09 cs.AI cs.RO
DETERRENT: Detecting Trojans using Reinforcement Learning
Texas A&M University(德克萨斯农工大学)
在集成电路中插入硬件木马(HT)是一种恶性威胁。由于HT在罕见的触发条件下被激活,因此使用随机逻辑模拟来检测它们是不可行的。在这项工作中,我们设计了一个强化学习(RL)代理,绕过指数搜索空间,并返回一个最小的模式集,这是最有可能检测HT。各种基准的实验结果表明,我们的RL代理,它获得了显着减少($169\times$)的测试模式的数量,同时保持或提高覆盖率($95.75\%$)相比,国家的最先进的技术。
2022-08-26 cs.AI cs.CR cs.LG
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University(斯坦福大学)
多任务学习理想地允许机器人获得各种有用的技能。然而,许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上,机器人学习的任务是顺序到达的,这取决于用户和机器人当前的环境。在这项工作中,我们研究了一个实际的顺序多任务RL问题,该问题的动机是物理机器人系统的实际约束,并推导出一种方法,有效地利用以前的任务学习的数据和政策,以累积增长机器人的技能。在一系列的模拟机器人操作实验中,我们的方法需要不到一半的样本比从头开始学习每个任务,同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上,我们的方法逐步学习十项具有挑战性的任务,包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning
VisLab - University of Parma(帕尔马大学 VisLab);VisLab srl, an Ambarella Inc. company(VisLab 有限公司,安霸公司旗下企业)
深度强化学习已被证明能够解决不同领域的许多控制任务,但这些系统在部署到现实场景中时,其行为并不总是像预期的那样。这主要是由于模拟和真实世界数据之间缺乏领域自适应,以及训练和测试数据集之间缺乏区别。在这项工作中,我们调查这些问题在自动驾驶领域,特别是为回旋插入的机动规划模块。特别是,我们提出了一个基于多个环境的系统,其中代理同时进行训练,评估模型在不同场景中的行为。最后,我们分析了旨在减少模拟和真实世界数据之间差距的技术,表明这增加了系统在不可见和真实世界场景中的泛化能力。
2021-04-28 cs.AI cs.LG cs.RO
HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning
HydroShear通过建模粘滞滑动和路径依赖的力与剪切,实现更真实的触觉仿真,提升强化学习策略在四个任务中的成功率。
2026-10-19 cs.AI cs.RO
Transferring Knowledge for Reinforcement Learning in Contact-Rich Manipulation
Örebro University(厄勒布鲁大学)
在制造业中,装配任务由于不同环境的动态变化而对学习算法提出了挑战。强化学习(RL)是自动学习这些任务的有前途的框架,然而,即使部署条件仅略有不同,也仍然不容易将学习的策略或技能(即解决任务的能力)应用于类似的环境。在本文中,我们解决了利用多个技能先验知识在一系列类似任务中转移知识的挑战。我们建议学习先验分布在完成每个任务所需的特定技能,并组成家庭的技能先验指导学习的政策,为一个新的任务,通过比较目标任务和以前的相似性。我们的方法从每个先前任务的演示轨迹中学习一个潜在的动作空间,表示技能嵌入。我们已经在一组钉孔插入任务上评估了我们的方法,并证明了对训练过程中从未遇到过的新任务的更好的泛化。
2022-09-19 cs.AI cs.LG cs.RO
Potential-Field Action Representation for Reinforcement Learning in Contact-Rich Manipulation
Istituto Italiano di Tecnologia(意大利理工学院);Università di Genova(热那亚大学)
提出PA-RL框架,以人工势场作为动作表示,通过调整势场参数生成引导方向,在插轴入孔任务中实现100%仿真成功率,并减少运动变化,且可迁移至真实机器人。
2026-09-21 cs.AI cs.RO
Reinforcement Learning for Photonic Component Design
The University of British Columbia(不列颠哥伦比亚大学);Stewart Blusson Quantum Matter Institute(斯图尔特·布卢森量子物质研究所)
提出一种制造在环强化学习算法,通过考虑纳米加工缺陷优化纳米光子组件设计,在绝缘体上硅平台的光栅耦合器实验中将插入损耗降至3.24 dB并实现150 nm带宽。
2024-01-09 cs.LG physics.app-ph physics.optics
Zero-Shot Policy Transfer with Disentangled Task Representation of Meta-Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Intrinsic Innovation LLC(Intrinsic创新有限责任公司);Tsinghua University(清华大学)
人类能够将各种任务抽象为多个属性的不同组合。这种组合性的视角对于人类的快速学习和适应至关重要,因为相关任务的先前经验可以结合起来,在新的组合设置中进行概括。在这项工作中,我们的目标是通过利用任务组合性来实现强化学习(RL)代理的零触发(zero-shot)策略泛化。我们提出的方法是一个Meta强化学习算法与解开任务表示,明确编码任务的不同方面。然后,通过推断看不见的组合任务表示,通过所获得的解纠缠,而无需额外的探索,来执行策略泛化。评估是在三个模拟任务和一个具有挑战性的现实世界的机器人插入任务。实验结果表明,该方法以zero-shot的方式实现了对不可见组合任务的策略泛化。
2022-10-01 cs.LG cs.RO
RLDG: Robotic Generalist Policy Distillation via Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
针对机器人通用策略训练数据质量限制性能的问题,提出RLDG方法,用强化学习生成高质量数据微调通用策略,在真实精密操作任务中成功率最高提升40%且泛化性更好,为开发兼具灵活性与高性能的机器人系统提供新路径。
2024-12-13 cs.AI cs.LG cs.RO
Normalization and effective learning rates in reinforcement learning
Google DeepMind(谷歌DeepMind)
本文针对归一化导致有效学习率随参数范数增长而隐式衰减的问题,提出 NaP 重参数化方法,使学习率显式恒定并提升强化学习与持续学习的非平稳鲁棒性。
2024-07-01 cs.AI cs.LG
Variable Compliance Control for Robotic Peg-in-Hole Assembly: A Deep Reinforcement Learning Approach
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
工业机器人在现代制造业中发挥着越来越重要的作用。虽然销孔装配是一个常见的工业任务,已被广泛研究,安全地解决复杂的高精度装配在非结构化环境中仍然是一个悬而未决的问题。强化学习(RL)方法已被证明在自主解决操作任务方面是成功的。然而,RL仍然没有被广泛采用在真正的机器人系统,因为与真正的硬件工作带来了额外的挑战,特别是当使用位置控制的机械手。这项工作的主要贡献是一个基于学习的方法来解决钉在孔的位置不确定性的任务。我们提出了一种非策略无模型强化学习方法的使用,并通过使用几种迁移学习技术(sim2real)和域随机化来提高训练速度。我们提出的位置控制机器人的学习框架进行了广泛的评估接触丰富的插入任务在各种环境中。
2020-11-21 cs.LG cs.RO
A Reinforcement Learning Based R-Tree for Spatial Data Indexing in Dynamic Environments
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
已经提出了学习索引来用机器学习(ML)模型代替经典的索引结构,如B树。它们需要替换数据库目前部署的索引和查询处理算法,这种彻底的偏离可能会遇到挑战和障碍。相比之下,我们提出了一种根本不同的方法,使用ML技术来提高经典R树的查询性能,而不需要改变其结构或查询处理算法。具体来说,我们开发了基于强化学习(RL)的模型来决定如何选择插入的子树以及如何在构建R树时拆分节点,而不是依赖于R树及其变体目前使用的手工启发式规则。在包含超过1亿个空间对象的真实和合成数据集上的实验清楚地表明,我们基于RL的索引在查询处理时间方面优于R-Tree及其变体。
2021-10-11 cs.AI cs.DB
Learning on the Job: Self-Rewarding Offline-to-Online Finetuning for Industrial Insertion of Novel Connectors from Vision
机器人学中基于学习的方法有望推广,但如果学习的策略不能推广到新的情况,该怎么办?原则上,如果代理至少可以评估自己的成功(即,利用即使在策略不能很好地概括时也能很好地概括的奖励分类器),在这种情况下,它可以积极地实践任务并微调策略。我们在工业插入任务的设置中研究这个问题,例如将连接器插入插座和安装螺钉。现有的算法依赖于连接器或插座的精确定位和精心管理的物理设置,如装配线,以成功完成任务。但在非结构化环境中,如家庭甚至一些工业环境,机器人无法依赖精确的定位,并且可能需要使用以前看不见的连接器。对各种连接器插入任务进行离线强化学习是一种潜在的解决方案,但如果机器人的任务是插入以前看不见的连接器呢?在这种情况下,我们仍然需要能够通过在线实践稳健地解决这些任务的方法。我们在这项工作中的主要观察结果之一是,通过合适的表示学习和领域泛化方法,奖励函数可以更容易地泛化到新的但结构相似的任务(例如,插入新类型的连接器)。这意味着,在策略未能在zero shot中推广但奖励函数成功推广的情况下,学习的奖励函数可以用于促进机器人策略的微调。我们表明,这种方法可以在现实世界中实例化,在50个不同的连接器上进行预训练,并通过学习的奖励函数成功地微调到新的连接器。视频可以在https://sites.google.com/view/learningonthejob上观看
2023-02-27 cs.LG cs.RO
Leveraging Demonstrations for Deep Reinforcement Learning on Robotics Problems with Sparse Rewards
Deepmind(深度思维)
我们提出了一个通用的和无模型的方法,强化学习(RL)在真正的机器人稀疏奖励。我们建立在深度确定性策略梯度(DDPG)算法使用演示。演示和实际交互都用于填充重放缓冲区,演示和转换之间的采样率通过优先级重放机制自动调整。通常,需要精心设计的成形奖励,以使智能体能够有效地探索高维控制问题,如机器人。依赖于本地求解器的基于模型的加速方法也需要它们,例如iLQG(例如,引导策略搜索和归一化优势函数)。这些演示取代了对精心设计的奖励的需求,并减少了经典RL方法在这些领域遇到的探索问题。演示是由一个机器人动觉力控制的人类演示收集。四个模拟插入任务的结果表明,DDPG从演示DDPG的表现,并不需要工程奖励。最后,我们展示了一个真正的机器人任务,包括插入一个剪辑(灵活的对象)到一个刚性的对象上的方法。
2018-10-08 cs.AI
Economical Precise Manipulation and Auto Eye-Hand Coordination with Binocular Visual Reinforcement Learning
National University of Singapore(新加坡国立大学)
在许多情况下,需要精确的机器人操作任务(插入,拧紧,精确拾取,精确放置)。以前的方法在这样的操作任务上取得了良好的性能。然而,这种方法通常需要繁琐的校准或昂贵的传感器。3D/RGB-D相机和扭矩/力传感器增加了机器人应用的成本,并且可能并不总是经济的。在这项工作中,我们的目标是解决这些问题,但只使用弱校准和低成本的网络摄像头。我们提出了双目对齐学习(BAL),它可以自动学习的眼手协调和点对齐能力,以解决这四个任务。我们的工作重点是未知的眼手协调工作,并提出了不同的方法来执行手眼相机自动校准。该算法在仿真中进行了训练,并使用一个实际的流水线实现了sim 2 real,并在真实机器人上进行了测试。我们的方法在四个任务上以最小的成本取得了有竞争力的好结果。
2022-09-15 cs.AI cs.CV cs.RO
Reinforcement Learning Enhanced Weighted Sampling for Accurate Subgraph Counting on Fully Dynamic Graph Streams
Nanyang Technological University(南洋理工大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);University of Michigan(密歇根大学)
随着图形数据的流行度增加,对于各种应用,越来越需要对感兴趣的子图模式的出现进行计数。许多图是大规模的,也是完全动态的(插入和删除边),使这些计数的精确计算是不可行的。通常的做法是使用一小部分边缘作为样本来估计计数。现有的完全动态图的采样算法以均匀的概率对边进行采样。在本文中,我们表明,我们可以做得更好,如果我们采样的基础上,他们的个别属性的边缘。具体来说,我们提出了一个加权采样算法称为WSD估计的子图计数在一个完全动态的图形流,根据其权重,表明其重要性和反映其属性的边缘进行采样。我们使用一种基于强化学习的新方法,以数据驱动的方式确定边缘的权重。我们进行了广泛的实验,以验证我们的技术可以产生更小的误差估计,同时往往运行速度比现有的算法。
2022-11-13 cs.DB cs.LG
SVGym (SciVerseGym): An Environment for Reinforcement Learning and Bayesian Optimization in Crystal Discovery
Bin Cao(包超)
提出一个兼容Gymnasium的晶体发现环境SciVerseGym,将晶体设计建模为马尔可夫决策过程,支持局部和全局编辑操作,为强化学习、贝叶斯优化等提供可复现的测试平台。
2026-06-23 cond-mat.mtrl-sci cs.AI
Bi-Manual Manipulation and Attachment via Sim-to-Real Reinforcement Learning
Google Research(谷歌研究院)
机器人操作的大多数成功都局限于单臂机器人,这将可解决的任务范围限制在拾取和放置,插入和对象重排。相比之下,双臂和多臂机器人平台可以解决各种各样的问题,例如衣物折叠和烹饪技能。然而,开发多臂机器人的控制器是复杂的一些独特的挑战,如需要协调双手的行为,和机器人之间的碰撞避免。考虑到这些挑战,在这项工作中,我们研究如何使用在模拟中训练的强化学习(RL)来解决双手动任务,这样所产生的策略就可以在真正的机器人平台上执行。我们的RL方法由于使用实时(4 Hz)联合空间控制并直接将未过滤的观察结果传递给神经网络策略,从而实现了显着的简化。我们还广泛讨论了我们的模拟环境,导致有效的培训RL政策的修改。除了设计控制算法外,一个关键的挑战是如何为强调双手协调的双手机器人设计公平的评估任务,同时消除正交复杂因素,如高级感知。在这项工作中,我们设计了一个连接任务,其目标是两个机器人手臂拿起并连接两个具有磁性连接点的块。我们使用两个xArm 6机器人和带有磁性附件的3D打印块来验证我们的方法,并发现我们的系统在拾取块时具有100%的成功率,在连接任务中具有65%的成功率。
2022-03-15 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Contact-Rich Skills Using Compliant Movement Primitives
Faculty of Mechanical Engineering(机械工程学院)
近年来,工业机器人已被安装在各个行业,以处理先进制造和高精度任务。然而,与人类操作员相比,工业机器人的进一步集成受到其有限的灵活性,适应性和决策技能的阻碍。装配任务对机器人来说尤其具有挑战性,因为它们具有丰富的接触性,对即使很小的不确定性也很敏感。虽然强化学习(RL)提供了一个很有前途的框架,从头开始学习接触丰富的控制策略,其适用性高维连续状态动作空间仍然相当有限,由于高脆性和样本的复杂性。为了解决这些问题,我们提出了不同的修剪方法,促进收敛和推广。特别是,我们将任务分为自由和接触丰富的子任务,在笛卡尔空间而不是关节空间中执行控制,并参数化控制策略。这些修剪方法自然地在动态运动基元(dynamic movement primitives,简称HMM)的框架内实现。为了处理接触丰富的任务,我们通过引入一个耦合项来扩展RISK框架,该耦合项的作用类似于人类手腕,并在与环境接触时提供主动顺应性。我们证明了所提出的方法可以学习对空间,大小,形状和密切相关的场景不变的插入技能,同时处理大的不确定性。最后,我们证明了学习的政策可以很容易地从模拟转移到现实世界中,并实现类似的性能UR5e机器人。
2020-10-25 cs.LG cs.RO
A Distributed Model-Free Ride-Sharing Approach for Joint Matching, Pricing, and Dispatching using Deep Reinforcement Learning
Purdue University(普渡大学);Qualcomm(高通公司)
拼车服务的显著发展为城市交通转型提供了大量机会,可以提供个性化和便捷的交通,同时确保大规模拼车的效率。然而,这样的服务的核心问题是为每个驱动程序的路线规划,以满足动态到达的请求,同时满足给定的约束。目前的模型大多局限于静态路线,每辆车只有两个游乐设施(最佳)或三个(有自动驾驶仪)。在本文中,我们提出了一个动态的,需求感知的,基于定价的车辆-乘客匹配和路线规划框架,(1)动态生成最佳路线为每辆车的基础上在线需求,定价与每个乘坐,车辆容量和位置。这种匹配算法使用插入操作随着时间的推移进行优化,(2)通过允许驾驶员基于特定乘车的预期奖励以及未来乘车的目的地位置提出不同的价格,使驾驶员参与决策过程,这受到Deep Q网络计算的供需的影响,(3)允许客户基于他们关于定价和延迟窗口、车辆类型和拼车偏好的偏好集合来接受或拒绝乘坐,以及(4)基于需求预测,我们的方法通过使用深度强化学习(RL)将闲置车辆调度到预期的高需求区域来重新平衡闲置车辆。我们的框架使用纽约市出租车公共数据集进行验证;然而,我们考虑不同的车辆类型并设计客户效用函数来验证设置并研究不同的设置。实验结果表明,我们的方法在实时和大规模设置的有效性。
2021-06-14 cs.AI cs.LG cs.MA
Robust Multi-Modal Policies for Industrial Assembly via Reinforcement Learning and Demonstrations: A Large-Scale Study
Google X(谷歌X);DeepMind(深度思维)
在过去的几年里,已经有相当大的研究投资到基于学习的方法,以工业组装,但尽管取得了重大进展,这些技术尚未被采用的行业。我们认为,深度强化学习(DRL)的设计空间过大,而不是算法本身的限制,才是导致这种缺乏采用的真正原因。将这些技术推向工业主流需要一个与学术思维截然不同的面向工业的范式。在本文中,我们定义了面向行业的DRL的标准,并进行了彻底的比较,根据这些标准的一个家庭的学习方法,DRL从示范,对专业的工业集成商在最近建立的NIST组装基准。我们解释的设计选择,代表了几年的调查,使我们的日间行车灯系统,以一贯优于集成商的速度和可靠性方面的基线。最后,我们得出结论,我们的DRL系统和人类之间的竞争插入到一个随机移动的目标的挑战性任务。这项研究表明,DRL不仅能够超越已建立的工程方法,而且还能够超越人类运动系统,并且仍然有很大的改进空间。视频可以在我们的项目网站上找到:https://sites.google.com/view/shield-nist。
2021-07-31 cs.AI cs.RO
Accelerating Robotic Reinforcement Learning with Agent Guidance
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);PKU-PsiBot Joint Lab(北京大学- PsiBot 联合实验室)
AGPS通过多模态代理替代人类监督,提升机器人强化学习的样本效率和可扩展性。
2026-03-07 cs.AI cs.RO
Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University(亚利桑那州立大学);Google DeepMind(谷歌DeepMind)
深度确定性策略梯度(DDPG)等无模型强化学习算法通常需要额外的探索策略,特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时,训练的潜像嵌入。此外,DDPG的扩展派生使用价值函数作为评论家,利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家,后者受益于规划器生成的增强探索。两个连续的控制任务,一个在模拟和一个在现实世界中的方法进行评估。特别是,Baxter机器人被训练来执行插入任务,同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
Hierarchical DLO Routing with Reinforcement Learning and In-Context Vision-language Models
Department of Electrical and Computer Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系);Princeton University(普林斯顿大学)
本文提出了一种自主分层框架,利用视觉-语言模型进行上下文高层推理,结合强化学习训练的低层技能,解决长视距DLO路由任务,实现92%的成功率。
2026-04-15 cs.LG cs.RO
HALO-WA: Hybrid-Attention Latent-Guided Online Reinforcement Learning for World-Action Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);GigaAI(极佳科技);Tsinghua University(清华大学)
针对世界-动作模型在现实精度任务中易受多种误差影响的问题,提出HALO-WA框架,利用潜在特征和动作先验,通过混合注意力结构实现快速在线适应,提升动作块精度,实验验证效果显著。
2026-09-22 cs.AI cs.RO
Preference-Conditioned Multi-Objective Reinforcement Learning for Runtime-Tunable Transit Signal Priority
研究公交信号优先中平衡多目标的问题,提出偏好条件TSP控制器,能在运行时通过偏好参数调整权衡公交与整体交通延误,无需重训练。通过扩展场景生成实现,实验表明该控制器优于基线,保持约束可行性,且能揭示不同偏好下的非公交外部性情况。
2026-07-22 cs.AI cs.LG cs.SY
Vision-Language-Action Jump-Starting for Reinforcement Learning Robotic Agents
University of Applied Science and Arts of Southern Switzerland, Department of Innovative Technologies(瑞士南方应用科学与艺术大学创新技术系);Università della Svizzera Italiana, Faculty of Informatics, Lugano, Switzerland(瑞士意大利大学信息学院,卢加诺,瑞士)
提出VLAJS方法,通过稀疏的VLA高层动作建议引导PPO探索,结合方向性动作一致性正则化,提升强化学习在长时域操作任务中的样本效率,并在仿真和真实机器人上验证。
2026-06-11 cs.AI cs.LG cs.RO
Multi-Phase Spacecraft Trajectory Optimization via Transformer-Based Reinforcement Learning
Aeronautics & Astronautics, Massachusetts Institute of Technology(航空与宇航科学系,麻省理工学院);Department of Computer Systems Engineering, Universidad Politécnica de Madrid(计算机系统工程系,马德里理工大学)
针对航天器多阶段自主控制需分阶段设置独立策略的问题,提出基于GTrXL的Transformer强化学习框架,用单一策略实现跨动力学区间的多阶段轨迹优化,在多类基准与火箭上升任务中验证了有效性。
2025-11-14 cs.LG
Robo-ValueRL: Reliable Value Estimation for Offline-to-Online Reinforcement Learning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心);Beijing Forestry University(北京林业大学);Peking University(北京大学);Microsoft Research(微软研究院)
研究离线到在线强化学习中价值函数可靠性对策略优化的影响,提出Robo-ValueRL框架,通过特定指标评估价值估计可靠性并用于策略预训练和在线改进,实验显示其能有效提升下游策略性能,突出价值引导数据利用对策略改进的重要性。
2026-07-14 cs.AI cs.RO
Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations
University of Southern California(南加州大学)
强化学习(RL)在机器人、游戏和医疗保健等应用领域取得了巨大成功。然而,训练RL代理非常耗时。目前的实现表现出性能不佳,由于挑战,如不规则的内存访问和线程级同步开销的CPU。在这项工作中,我们提出了一个框架,用于在多核系统上生成可扩展的强化学习实现。重播缓冲区是RL算法的关键组件,它有助于存储从环境相互作用中获得的样本以及学习过程的数据采样。我们定义了一个新的数据结构的优先级重放缓冲区的基础上$K$ -ary和树,支持异步并行插入,采样,和优先级更新。为了解决不规则内存访问的挑战,我们提出了一种新的数据布局来存储和树的节点,减少了缓存未命中的数量。此外,我们提出了$\textit{lazy writing}$机制,以减少线程级的同步开销的重放缓冲区操作。我们的框架采用并行演员同时收集数据,通过环境的相互作用,并行学习者执行随机梯度下降使用收集的数据。我们的框架支持广泛的强化学习算法,包括DQN,DDPG等。我们通过使用OpenAI基准测试在CPU + GPU平台上进行实验,证明了我们的框架在加速RL算法方面的有效性。
2021-12-22 cs.LG cs.SY eess.SY
PassGoodPool: Joint Passengers and Goods Fleet Management with Reinforcement Learning aided Pricing, Matching, and Route Planning
Purdue University(普渡大学)
乘客和货物交付的按需移动服务的普遍增长在运输系统领域内带来了各种挑战和机遇。因此,正在开发智能交通系统,以最大限度地提高运营盈利能力,用户便利性和环境可持续性。最后一英里交付的增长以及拼车需要一个高效和有凝聚力的系统来运输乘客和货物。现有的方法使用静态路由方法解决这个问题,既不考虑请求的需求,也不考虑在路线规划期间车辆之间的货物转移。在本文中,我们提出了一个动态的和需求感知的车队管理框架,结合货物和乘客运输,能够(1)参与乘客和司机在决策过程中,允许司机谈判到一个相互合适的价格,乘客接受/拒绝,(2)匹配的货物车辆,和货物的多跳转移,(3)基于插入成本为每个车辆动态地生成最优路线,该插入成本考虑沿着它们的路径的需求,然后确定匹配,(4)使用深度强化学习(RL)将空闲车辆调度到预期的高乘客和货物需求的区域,(5)允许在每个车辆处进行分布式推理,同时共同优化车队目标。我们提出的模型可在每辆车内独立部署,因为这最大限度地减少了与分布式系统增长相关的计算成本,并使每个人的决策民主化。对各种车辆类型,货物和乘客效用函数的仿真表明,我们的方法相比,不考虑组合负载运输或动态多跳路线规划的其他方法的有效性。
2021-11-11 cs.AI cs.SY eess.SY
A Comparison of Action Spaces for Learning Manipulation Tasks
Harvard University(哈佛大学);School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院)
设计强化学习(RL)问题,可以产生微妙和精确的操作策略,需要仔细选择奖励函数,状态和动作空间。许多先前的工作应用RL的操作任务已经定义了直接关节扭矩或参考位置的关节空间比例微分(PD)控制器的动作空间。在实践中,通常可以通过利用基于模型的控制器来添加附加结构,该控制器支持精确定位和操纵器的动态响应的控制。在本文中,我们评估如何选择动态操作任务的动作空间影响样本的复杂性,以及学习的政策的最终质量。我们比较了三种任务(插钉、锤击和推动)、四种动作空间(扭矩、关节PD、逆动力学和阻抗控制)以及两种现代强化学习算法(近端策略优化和Soft Actor-Critic)的学习性能。我们的研究结果支持这一假设,即任务空间阻抗控制器的学习参考显着减少了在所有任务和算法中实现良好性能所需的样本数量。
2019-08-23 cs.LG cs.RO
Visual Spatial Attention and Proprioceptive Data-Driven Reinforcement Learning for Robust Peg-in-Hole Task Under Variable Conditions
R&D Group, Hitachi, Ltd(日立公司研发集团);Graduate School of Fundamental Science and Engineering, Waseda University(早稻田大学基础科学与工程研究生院)
本文提出一种结合空间注意力点网络与深度强化学习的视觉-本体感觉控制模型,以离线样本高效方式训练,在多变光照和孔条件下实现更高成功率、更短完成时间的鲁棒锚栓插入。
2024-03-29 cs.AI cs.RO
Short-Term-to-Long-Term Memory Transfer for Knowledge Graphs under Partial Observability
本文研究了在部分可观测性下知识图谱中的短期到长期记忆转移问题,提出了一种基于神经符号价值决策的方法,通过在长期插入前决定保留或丢弃观察到的三元组,从而提升记忆效率,并在RoomKG基准测试中优于符号和神经基线方法。
2026-07-29 cs.AI cs.LG
Geometry-aware RL for Manipulation of Varying Shapes and Deformable Objects
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对机器人操纵不同形状和可变形物体的挑战,提出基于异构图的统一表示,构建异构等变策略HEPi利用几何对称性,在新基准上的平均回报、样本效率和泛化能力优于现有方法。
2025-04-16 cs.LG cs.RO