WheelArm-Sim: A Manipulation and Navigation Combined Multimodal Synthetic Data Generation Simulator for Unified Control in Assistive Robotics
Aerospace and Mechanical Engineering Department, Saint Louis University(圣路易斯大学航空航天与机械工程系);Computer Science Department, Saint Louis University(圣路易斯大学计算机科学系)
WheelArm-Sim 是一种用于辅助机器人统一控制的多模态合成数据生成模拟器,通过集成轮椅和机械臂控制,为数据驱动的机器学习模型提供支持。
2026-01-29 cs.RO
ManiSoft: Towards Vision-Language Manipulation for Soft Continuum Robotics
Beihang University(北京航空航天大学);National University of Singapore(新加坡国立大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
本文提出ManiSoft基准,用于研究柔软连续机器人的视觉-语言操控,通过定制模拟器结合真实柔软体动力学和丰富的接触交互,定义了四个任务以展示变形控制的不同方面,并通过自动化流程生成6300个多样场景和专家轨迹,评估了三种代表性策略模型的性能。
2026-05-18 cs.AI cs.CV cs.RO
On The Effects of The Variations In Network Characteristics In Cyber Physical Systems
Ericsson Research(爱立信研究院);Budapest University of Technology and Economics(布达佩斯技术与经济大学);Pernambuco Federal Institute of Education, Science, and Technology(伯南布哥联邦教育、科学与技术学院)
本文针对 Gazebo 无法模拟控制延迟的问题,提出可延迟内外部控制与状态消息、并对接网络模拟器的插件,用于评估网络条件对远程控制 UR5 机械臂 QoC 的影响。
2023-09-26 cs.RO
AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System
UC San Diego(加州大学圣迭戈分校);NVIDIA(英伟达公司)
针对现有视觉遥操作系统适配性差的问题,提出通用系统AnyTeleop,支持多类硬件、虚实场景和相机配置,在真实与模拟实验中性能均优于专用系统。
2024-05-16 cs.CV cs.LG cs.RO
A Comparison Between Joint Space and Task Space Mappings for Dynamic Teleoperation of an Anthropomorphic Robotic Arm in Reaction Tests
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
远程操作(即,控制具有人的运动的机器人)在使人形机器人能够像人一样动态地移动方面证明是有希望的。但如何将人类运动映射到人形机器人很重要,因为人类和人形机器人很少有相同的拓扑结构和尺寸。这项工作提出了一个实验研究,利用反应测试,比较拟议的关节空间映射和拟议的任务空间映射的动态遥操作的拟人机器人手臂,具有人类水平的动态运动能力。实验结果表明,机器人实现了类似的,在某些情况下,人类水平的动态性能与映射的六个参与人类受试者。所有的科目成为熟练的遥控机器人与两个映射实践后,尽管科目和机器人的大小和链接长度比不同,遥控操作需要的科目移动不直观。然而,大多数受试者开发他们的遥操作更快地与任务空间映射比联合空间映射后,类似的实践量。这项研究还表明了潜在的价值的三维任务空间映射,遥操作训练模拟器,和力反馈给人类飞行员直观和动态遥操作的人形机器人的手臂。
2020-11-04 cs.RO
PACC: A Passive-Arm Approach for High-Payload Collaborative Carrying with Quadruped Robots Using Model Predictive Control
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);TU Darmstadt(达姆施塔特工业大学);Sao Paulo University (USP)(圣保罗大学)
本文提出一种基于内在阻抗被动臂的四足机器人协同搬运方法,采用去中心化模型预测控制器融合机械臂动力学与外力估计,在保障运动能力的同时提升负载效率并降低能耗,经人机与机器人协同搬运实验验证有效。
2025-03-07 cs.RO
Learning the Right Abstraction: Neural Reduced Dynamics for Complex Robot Control
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出神经简化动力学(NRD)框架,学习保留控制相关物理特性的简化状态,训练的策略可迁移至高保真模拟器,在三项控制任务中实现高精度且速度大幅提升的机器人控制。
2026-08-21 cs.RO
Optimal Scheduling of a Dual-Arm Robot for Efficient Strawberry Harvesting in Plant Factories
ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University, Hangzhou, China(浙大杭州国际科技成果转化中心,浙江大学,杭州,中国);Department of Mechanical and Aerospace Engineering, University of California, Davis(加州大学戴维斯分校机械与航空航天工程系);Department of Biological and Agricultural Engineering, University of California, Davis(加州大学戴维斯分校生物与农业工程系);College Of Biosystems Engineering And Food Science, Zhejiang University, Hangzhou, China(浙江大学生物系统工程与食品科学学院)
本文针对植物工厂草莓采摘,提出基于MILP的双臂机器人优化调度框架,通过末端执行器位姿覆盖分析最大化可达性,仿真表明相比单臂和未优化方法,吞吐量提升10-20%且停车次数显著减少。
2025-07-06 cs.RO
DexPBT: Scaling up Dexterous Manipulation for Hand-Arm Systems with Population Based Training
本文提出DexPBT算法,利用去中心化基于种群的训练(PBT)大规模放大深度强化学习的探索能力,使模拟单臂或双臂多指手机器人能学习重新抓取、抓取并投掷等极具挑战性的灵巧操作任务,显著优于常规端到端学习并能发现鲁棒控制策略。
2023-05-20 cs.AI cs.RO
Towards Proprioception-Aware Embodied Planning for Dual-Arm Humanoid Robots
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);AgiBot;School of Computer Science, Peking University(北京大学计算机学院)
针对双臂人形机器人长时程规划中仿真平台缺失和具身感知不足的问题,提出DualTHOR仿真器和Proprio-MLLM模型,通过本体感觉信息增强规划,性能平均提升19.75%。
2025-10-15 cs.RO
Redundancy Parameterization of the ABB YuMi Robot Arm
Department of Electrical, Computer, and Systems Engineering, Rensselaer Polytechnic Institute(电气、计算机与系统工程系,拉特塞尔理工学院)
本文提供了 ABB YuMi 机械臂 SEW 角的首个完整且经验证的定义,推导了其雅可比矩阵与算法奇点条件,并利用 IK-Geo 求解器通过 2D 搜索求解所有逆运动学解。
2025-05-29 cs.RO
Bilevel Multi-Armed Bandit-Based Hierarchical Reinforcement Learning for Interaction-Aware Self-Driving at Unsignalized Intersections
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本文提出BiM-ACPPO框架,将无信号交叉口自动驾驶决策建模为双层课程学习问题,通过基于Exp3.S的双层多臂老虎机算法动态调整训练课程,并结合高层交互感知策略与低层MPC,在CARLA中验证了其优于基线方法的性能与泛化能力。
2025-02-06 cs.RO
Becoming a Fruit Ninja: Real-Time Probabilistic Kinodynamic Planning for Manipulator Projectile Interception
Purdue University(普渡大学)
提出FRUITNINJA,一种GPU上的任意时间采样规划器,通过精确三次曲线和并行搜索满足执行器限制,在实时模拟中显著提升机械臂抛射物拦截成功率。
2026-09-22 cs.RO
DiSECt: A Differentiable Simulator for Parameter Inference and Control in Robotic Cutting
University of Southern California(南加州大学);NVIDIA(英伟达);University of Washington(华盛顿大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Sydney(悉尼大学)
软材料的机器人切割对于食品加工、家庭自动化和手术操作等应用至关重要。与机器人的其他领域一样,仿真器可以促进控制器验证、策略学习和数据集生成。此外,可微分仿真器可以实现基于梯度的优化,这对于校准仿真参数和优化控制器是非常宝贵的。在这项工作中,我们提出了DiSECt:第一个微分模拟器切割软材料。该模拟器增强了有限元法(FEM)与连续接触模型的基础上签署的距离场(SDF),以及一个连续的损伤模型,插入弹簧的切割平面的相对两侧,并允许他们削弱,直到零刚度,使裂纹形成。通过各种实验,我们评估的模拟器的性能。我们首先表明,模拟器可以进行校准,以匹配来自最先进的商业求解器和现实世界的切割数据集的合力和变形场,具有切割速度和对象实例的通用性。然后,我们表明,贝叶斯推理可以有效地利用模拟器的可微性,估计后验在一小部分的时间的衍生自由的方法超过数百个参数。接下来,我们说明了在模拟中的控制参数可以优化,以尽量减少通过横向切片运动的切削力。最后,我们进行实验,一个真正的机器人手臂配备切片刀推断力的测量仿真参数。通过优化刀的切片运动,我们在水果切割场景中显示,与垂直切割运动相比,平均刀力可以减少40%以上。我们在项目网站https://diff-cutting-sim.github.io上发布代码和其他材料。
2022-03-19 cs.AI cs.RO
SliceIt! -- A Dual Simulator Framework for Learning Robot Food Slicing
OMRON SINIC X Corporation(欧姆龙SINIC X公司)
提出SliceIt!框架,通过real2sim2real方法结合双模拟器,使用强化学习训练机器人柔顺控制策略,实现安全高效的食物切片任务学习。
2024-09-26 cs.AI cs.RO
Energy-Efficient Arm Reaching for a Humanoid Robot via Deep Reinforcement Learning with Identified Power Models
Harper Adams University(哈珀亚当斯大学);Lincoln Institute for Agri-Food Technology(林肯农业食品技术研究所);Lincoln Centre for Autonomous Systems(林肯自主系统中心)
提出一种端到端能量感知强化学习框架,结合物理实验识别的电功率模型与SAC策略,在Unitree G1人形机器人上实现节能手臂伸展,仿真成功率69.9%,实物验证平均能耗71.5 J。
2026-06-16 cs.RO
Integrating Trustworthy Artificial Intelligence with Energy-Efficient Robotic Arms for Waste Sorting
University of East London(东伦敦大学);University of Greenwich(格林威治大学);University College Birmingham(伯明翰大学学院)
提出融合可信 AI 与节能机械臂的垃圾分类框架,采用基于 MobileNetV2 的迁移学习 CNN 识别六类垃圾,并通过仿真器按欧几里得距离优化分拣能耗。
2025-10-20 cs.RO cs.SY eess.SY
Predicting the Post-Impact Velocity of a Robotic Arm via Rigid Multibody Models: an Experimental Study
Eindhoven University of Technology(埃因霍温理工大学);Auctus, Inria - IMS (Univ. Bordeaux / Bordeaux INP / CNRS UMR 5218)(奥克图斯,法国国家信息与自动化研究所 - IMS(波尔多大学 / 波尔多国立理工学院 / 法国国家科学研究中心 UMR 5218))
准确的碰撞后速度预测是必不可少的,在开发的影响感知的机器人操作策略,其中接触是故意建立在非零速度模仿人类的操作能力,在动态抓取和推动的对象。从记录的动态响应的7自由度扭矩控制的机器人,故意影响刚性表面,我们调查的可能性和准确性预测的碰撞后的机器人速度从预碰撞速度和碰撞配置。速度预测是通过一个冲击地图,使用非光滑力学的框架,使利用已知的刚体机器人模型和假设的无摩擦非弹性impact.The主要贡献是提出了一种方法,允许一个有意义的定量比较记录后的冲击数据,表现出阻尼振荡响应后的影响,以及通过容易获得的刚体机器人模型导出的碰撞后速度预测,该模型没有振荡,并且通常通过主流机器人模拟器软件获得。这种新方法的结果是有前途的预测精度,从而为日益增长的领域的影响感知机器人控制相关。记录的撞击数据(18次实验)连同用于进行定量比较的数值程序一起公布于众,以进一步激发对这一领域的兴趣/研究。
2021-03-31 cs.RO
Immersive Human-in-the-Loop Control: Real-Time 3D Surface Meshing and Physics Simulation
University of Alberta(阿尔伯塔大学)
本文提出TTI系统,结合SLAM与空间雕刻方法构建实时3D表面网格,并集成物理模拟器与数字孪生,为人在环机器人控制提供预测性视觉和触觉反馈,解决延迟问题并提升视觉沉浸感与操作速度。
2024-12-18 cs.RO
Learning Humanoid Arm Motion via Centroidal Momentum Regularized Multi-Agent Reinforcement Learning
Department of Mechanical Engineering, Massachusetts Institute of Technology(机械工程系,麻省理工学院)
本文提出肢体级多智能体强化学习框架,通过质心角动量正则化引导手臂运动,实现人形机器人在平地、崎岖地形和楼梯等任务中的鲁棒全身协调控制。
2025-07-05 cs.RO cs.SY eess.SY
Off Environment Evaluation Using Convex Risk Minimization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在机器人上应用强化学习(RL)方法通常涉及在模拟中训练策略并将其部署在现实世界中的机器人上。由于现实世界和模拟器之间的模型不匹配,以这种方式部署的RL代理往往表现不佳。为了解决这个问题,研究人员已经开发出依赖于合成噪声干扰的鲁棒策略学习算法。但是,这些方法不能保证在目标环境中的性能。我们提出了一个凸风险最小化算法来估计模型之间的不匹配的模拟器和目标域使用两个环境中的轨迹数据。我们表明,该估计器可以与模拟器一起使用,以评估目标域中的RL代理的性能,有效地弥合了这两个环境之间的差距。我们还表明,我们的估计的收敛速度是${n^{-1/4}}$的顺序,其中$n$是训练样本的数量。在模拟中,我们展示了我们的方法如何有效地近似和评估性能的Gridworld,Cartpole和Reacher环境的一系列政策。我们还表明,我们的方法是能够估计性能的7自由度机械臂使用模拟器和远程收集的数据,从机器人在现实世界中。
2021-12-21 cs.LG cs.RO
Imitation Learning for Autonomous Trajectory Learning of Robot Arms in Space
University of Surrey(萨里大学);Karlshule Institute of Technology(卡尔斯鲁厄理工学院)
这项工作增加了正在进行的为太空机器人提供更多自主权的努力。本文将演示编程或模仿学习的概念用于小型航天器上机械手的轨迹规划。为了在未来的空间飞行任务中实现更大的自主性,并通过地面控制尽量减少人为干预,设想使用一个具有7个自由度的机器人手臂来执行碎片清除、在轨维修和组装等多种任务。由于微重力环境的实际硬件实现是极其昂贵的,轨迹学习的演示数据是使用模型预测控制器(MPC)在基于物理的模拟器中生成的。然后通过概率运动基元(ProMPs)对数据进行压缩编码。这种离线轨迹学习允许更快的再现,并且还避免了在空间环境中部署后的任何计算上昂贵的优化。它表明,概率分布可以用来生成轨迹,以前看不见的情况下,通过调节分布。机器人(或机械手)臂的运动在航天器毂上产生反作用力,因此其姿态变化促使姿态确定和控制系统(ADCS)采取大的校正动作,从系统中消耗能量。通过具有冗余DoF的机器人手臂,有助于从同一起点到同一目标找到几个可能的轨迹。这允许ProMP轨迹生成器采样出无障碍物的轨迹,并且具有最小的姿态干扰,从而减少ADCS上的负载。
2020-08-10 cs.AI cs.LG cs.RO
Using an Improved Output Feedback MPC Approach for Developing a Haptic Virtual Training System
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学));Sharif University of Technology(谢里夫理工大学)
触觉训练模拟器通常由三个主要部分组成,即操作员、触觉接口和虚拟环境。对这些组件中的每一个进行适当的动态建模可以对整个系统在透明度、与真实环境的类比和稳定性方面的性能改进产生深远的影响。在本文中,我们开发了一个基于虚拟的触觉训练模拟器内窥镜鼻窦手术(ESS)的动态特性的现象学窦组织骨折在虚拟环境中,使用输入约束的线性参数变量模型。一个并联机器人机械手配备了校准的力传感器被用作触觉接口。一个集总的五参数单自由度的质量刚度阻尼阻抗模型被分配给操作员的手臂动态。提出了一种鲁棒的在线输出反馈准最小最大模型预测控制(MPC)框架,用于在虚拟环境的分段线性动态之间切换时稳定系统。仿真和实验结果表明,所提出的控制算法的有效性,在鲁棒性和收敛到所需的阻抗量。
2023-03-12 cs.RO
An Open MuJoCo Simulation Framework for a Quadrotor Carrying a Tendon-Driven Soft Continuum Arm
Egypt-Japan University of Science and Technology (E-JUST)(埃及-日本科学技术大学)
本文提出一种基于MuJoCo的开源仿真框架,用于研究搭载肌腱驱动软连续体机械臂的四旋翼无人机,经多场景仿真验证其可高效完成任务,运行速度达实时的15倍,相关代码已公开。
2026-10-14 cs.RO cs.SY eess.SY
Safe Reinforcement Learning in a Simulated Robotic Arm
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Comenius University Bratislava(布拉迪斯拉发夸美纽斯大学)
本文构建基于Panda机械臂的Safety Gym定制环境,并通过PPO初步实验验证约束版本可在不降低策略性能的同时更好满足安全约束。
2024-02-28 cs.AI cs.LG cs.RO
MobileH2R: Learning Generalizable Human to Mobile Robot Handover Exclusively from Scalable and Diverse Synthetic Data
Tsinghua University(清华大学);Galbot;Peking University(北京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院)
提出 MobileH2R 框架,通过可扩展的多样化合成人体运动、安全演示生成与 4D 模仿学习,训练移动机器人闭环交接策略,无需真实演示且成功率较基线至少提升 15%。
2025-01-09 cs.RO
Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本研究提出利用无迹卡尔曼滤波器更新神经网络参数,以少量数据学习机器人动力学或仿真模型与真实机器人间的残差误差,并在机械臂和轮式机器人上验证,有效缩小了现实差距。
2023-05-08 cs.LG cs.RO cs.SY
Combined Physics and Event Camera Simulator for Slip Detection
Technische Universität Berlin(柏林技术大学);Robotics Institute Germany(德国机器人研究所);Einstein Center for Digital Future(爱因斯坦数字未来研究中心);Science of Intelligence Excellence Cluster(智能科学卓越集群)
本文提出一种用于机械臂滑移检测的物理与事件相机联合仿真流水线,生成了逼真的滑移数据集,并通过视觉检查和人工神经网络验证了其高准确率与泛化能力。
2025-03-10 cs.CV cs.RO
Real-time Teaching Cues for Automated Surgical Coaching
Johns Hopkins University(约翰斯·霍普金斯大学);Intuitive Surgical Inc.(直觉外科公司)
随着达芬奇手术系统等新技术在手术室的引入,培训外科医生有效地使用它们对于提供更好的患者护理至关重要。专家外科医生的指导在教授相关技术技能方面是有效的,但目前提供有效指导的方法是有限的,并且不可扩展。我们提出了一个虚拟现实模拟为基础的框架,在外科教育的自动虚拟教练。我们在达芬奇技能模拟器中实现了我们的框架。我们提供三种辅导模式,从动手教师(持续指导)到handsoff指南(应要求提供帮助)。我们提出了六个教学线索针对关键的学习元素的一个穿针任务,这是显示给用户的指导模式的基础上。这些提示是图形叠加,引导用户,告知他们低于标准的性能,并显示相关的视频演示。我们在一项随机对照试验中评估了我们的框架,每组16名受试者,在研究后的问卷调查中,参与者报告了对反馈的高度理解,并认为表现有所改善。在三次重复练习任务后,控制臂(独立学习)表现出更好的运动效率,而实验臂(接受实时的【形】指导)在学习元素方面表现更好(根据ACS住院医师技能课程)。我们观察到,基于其中一个指标(与针抓取方向相关),实验组的改善程度在统计学上更高。总之,我们开发了一个自动教练,提供实时的【形】提示手术培训,并证明了其可行性。
2017-04-24 cs.HC cs.RO
DayDreamer: World Models for Physical Robot Learning
University of California, Berkeley(加州大学伯克利分校)
为了解决复杂环境中的任务,机器人需要从经验中学习。深度强化学习是机器人学习的一种常见方法,但需要大量的试错来学习,限制了它在物理世界中的部署。因此,机器人学习的许多进步都依赖于模拟器。另一方面,模拟器内部的学习无法捕捉真实世界的复杂性,容易出现模拟器不准确,并且由此产生的行为不适应世界的变化。Dreamer算法最近通过在学习世界模型中进行规划,在从少量交互中学习方面表现出了很大的希望,在视频游戏中的表现优于纯强化学习。学习一个世界模型来预测潜在行动的结果,可以在想象中进行规划,减少现实环境中所需的尝试和错误。然而,目前还不清楚Dreamer是否可以促进物理机器人的快速学习。在本文中,我们将Dreamer应用于4个机器人,在没有模拟器的情况下,直接在现实世界中在线学习。梦想家训练一个四足机器人从它的背上滚下来,站起来,从零开始走路,只有1个小时没有重置。然后,我们推动机器人,发现梦想家在10分钟内适应承受扰动或迅速翻身并重新站起来。在两个不同的机器人手臂上,Dreamer学习直接从相机图像和稀疏的奖励中拾取和放置多个物体,接近人类的表现。在一个轮式机器人上,梦想家纯粹从摄像机图像中学习导航到目标位置,自动解决机器人方向的模糊性。在所有实验中使用相同的超参数,我们发现梦想家能够在现实世界中进行在线学习,建立一个强大的基线。我们发布了我们的基础设施,用于将来将世界模型应用于机器人学习。
2022-06-28 cs.AI cs.LG cs.RO
3-Survivor: A Rough Terrain Negotiable Teleoperated Mobile Rescue Robot with Passive Control Mechanism
North South University(北南大学);TF-ROS Lab, North South University(北南大学TF-ROS实验室)
本文介绍了3幸存者的设计和集成,一个粗糙的地形可协商的远程移动救援和服务机器人。3 Survivor是两个先前研究的监视机器人Sigma 3和Alpha N的改进版本。在3幸存者,修改后的双履带与履带机构被纳入机构设计。在车身平衡中建立的被动调节使前后车身能够以出色的同步操作。该动力学方法不使用驱动器,而是以6自由度机械臂为例,通过平面机构、空间机构、旋转矩阵、逆运动学旋转运动控制和角动量控制机械臂的功耗来实现。该机器人使用手持射频RF发射器进行远程控制。3 Survivor配备了Raspberry Pi 12 MP摄像头,用于直播机器人操作。对实况视频流运行目标检测算法。目标检测方法使用具有CNN的VGGNet 16架构的Faster RCNN构建。机器人的整个操作通过Web控制窗口进行监控。因此,控制门户提供了运行、控制和操纵机器人的环境的简要场景,以实现更精确的操作。在一次救援行动中,该模块获得了令人印象深刻的88.25%的准确率。与ODM一起,机器人的传感器系统提供有关危险地形的信息。3幸存者的可行性进行了测试,并提出了不同的实验在整个文件。
2020-03-11 cs.RO cs.SY eess.SY
Learning Cross-Domain Correspondence for Control with Dynamics Cycle-Consistency
Shanghai Jiao Tong University(上海交通大学);UC Berkeley(加州大学伯克利分校);New York University(纽约大学);UC San Diego(加州大学圣迭戈分校)
许多机器人问题的核心是跨领域学习对应关系的挑战。例如,模仿学习需要获得人类和机器人之间的对应关系;模拟到真实需要物理模拟器和现实世界之间的对应关系;迁移学习需要不同机器人环境之间的对应关系。本文旨在学习不同领域的对应关系,这些领域在表示(视觉与内部状态),物理参数(质量和摩擦力)和形态(肢体数量)方面有所不同。重要的是,使用来自两个域的未配对和随机收集的数据来学习对应关系。我们提出了\textit{dynamics cycles},调整动态机器人的行为在两个域使用周期一致性约束。一旦找到这种对应关系,我们就可以直接将在一个域上训练的策略转移到另一个域,而不需要在第二个域上进行任何额外的微调。我们在各种问题域进行实验,无论是在模拟和真实的机器人。我们的框架是能够调整一个真正的机器人手臂的未校准的单眼视频的动态状态动作轨迹的模拟手臂没有配对的数据。我们的结果的视频演示可在:https://sjtuzq.github.io/cycle_dynamics.html。
2020-12-17 cs.CV cs.LG cs.RO
Sim-to-Real Transfer of Robotic Control with Dynamics Randomization
OpenAI
本文提出一种简单方法通过随机化仿真动力学来弥合现实与仿真的差距,使策略能适应不同动态,从而在无需真实系统训练的情况下实现现实世界泛化。
2018-03-03 cs.RO cs.SY eess.SY
Graph Neural Network-Based Predictive Modeling for Robotic Plaster Printing
Academy of Architecture USI(瑞士意大利语区大学建筑学院)
提出一种基于图神经网络的编码器-处理器-解码器模型,利用机械臂轨迹特征和打印参数预测机器人石膏打印的表面结果,在多场景下显著优于基准模型,助力实现自主抹灰。
2025-03-31 cs.AI cs.CE cs.LG