Design and Validation of an Under-actuated Robotic Finger with Synchronous Tendon Routing
ShanghaiTech University(上海科技大学);School of Information Science and Technology(信息科学与技术学院);ShanghaiTech Automation and Robotics (STAR) Center(上海科技大学自动化与机器人中心);King’s College London(伦敦大学国王学院)
本文提出了一种同步肌腱路由的欠驱动机器人手指,通过单执行器驱动实现轻量化结构,提升抓取性能与操控能力。
2025-12-11 cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology(奥凯多科技);University of Genoa(热那亚大学)
本研究借鉴人类抓取零散果蔬的操作策略,开发配备多指柔性夹爪的机器人抓取装置,通过物流行业KPIs验证其性能,为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Machine Learning for Robotic Manipulation
UCSD(加州大学圣地亚哥分校)
在过去的十年中,机器学习技术在监督学习范式中取得了巨大的成功,在这种范式中,训练和测试之间有着明确的界限。在监督学习范式中,学习本质上是被动的,寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后,机器学习研究人员已经超越了这种范式,并对更具动态性的任务感兴趣。对他们来说,机器人技术是一个很好的测试平台,因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中,机器人操作已经成为研究人员展示新算法的最受欢迎的领域,因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议,并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute(阿兰·图灵研究所)
机器人控制任务通常首先在仿真中运行,用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务,但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言,用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面,我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性,用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
APEX: Ambidextrous Dual-Arm Robotic Manipulation Using Collision-Free Generative Diffusion Models
本文提出 APEX,将双臂操作抽象为双向量对齐,并用分类器引导的潜在扩散模型生成无碰撞、可行且安全的双臂轨迹,硬件实验证明其优于传统运动规划方法。
2024-04-02 cs.RO
Quantifying the Reality Gap in Robotic Manipulation Tasks
Queensland University of Technology (QUT)(昆士兰科技大学);Data61/CSIRO(Data61/联邦科学与工业研究组织);Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心)
我们量化了各种模拟器的准确性相比,现实世界的机器人达到和互动任务。模拟器在机器人技术中用于为现实世界的硬件设计解决方案,而无需物理访问。“现实差距”妨碍了在模拟中开发或学习的解决方案在转移到现实世界的硬件时表现良好,或根本无法表现。利用Kinova机器人机械手和运动捕捉系统,我们记录了地面实况,使各种模拟器的比较,并提出了各种面向操作的机器人任务的定量数据。我们展示了许多当代模拟器的相对优势和弱点,突出了显著差异的领域,并帮助该领域的研究人员为他们的用例选择合适的模拟器。所有代码和参数列表都可以从https://bitbucket.csiro.au/scm/~col549/quantifying-the-reality-gap-in-robotic-manipulation-tasks.git公开获得。
2018-11-08 cs.RO
Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer
University of Central Florida(中佛罗里达大学)
本文提出一种结合CycleVAE与人类行为Transformer的跨具身机器人操作合成方法,通过无监督跨具身对齐和人类示范动力学学习,在灵巧操作任务中生成平滑轨迹并优于先前方法。
2025-03-11 cs.RO
RGBManip: Monocular Image-based Robotic Manipulation through Active Object Pose Estimation
Hyperplane Lab, School of CS, Peking University(北京大学计算机学院超平面实验室);National Key Laboratory for Multimedia Information Processing(多媒体信息处理国家重点实验室);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系)
本文提出RGBManip框架,利用夹爪上的单目相机进行主动多视角6D物体位姿估计,并通过强化学习平衡位姿精度与操作效率,在仿真和真实环境中取得先进性能。
2024-09-09 cs.RO
Audio-Visual Grounding Referring Expression for Robotic Manipulation
Tsinghua University(清华大学)
在人们的日常对话中,指称语通常用于指称特定的对象。在本文中,我们开发了一个新的任务,视听接地指表示机器人操作。机器人利用音频和视觉信息来理解给定操作指令中的指称表达式,并执行相应的操作。为了解决这个问题,提出了一个视听框架,用于视觉定位和声音识别。我们还建立了一个数据集,其中包含视觉数据,听觉数据和操作指令进行评估。最后,大量的实验进行了离线和在线,以验证所提出的视听框架的有效性。实验结果表明,机器人在有视听数据的情况下比只有视觉数据的情况下表现得更好。
2021-09-22 cs.RO
T-DOM: A Taxonomy for Robotic Manipulation of Deformable Objects
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出T-DOM分类体系,首次系统分类可变形物体操作中的机器人运动、力、抓持交互及物体变形,并通过十个任务验证其能识别以往分类体系无法区分的操作技能,为可变形物体机器人操作提供更细粒度的理论框架。
2024-12-30 cs.RO
Robotic Dexterous Manipulation via Anisotropic Friction Modulation using Passive Rollers
Northeastern University(东北大学);RAI Institute(RAI研究所)
本文提出一种通过被动滚轮调节接触摩擦和约束方向的机器人指尖设计,实现了多样化的灵巧操作,包括滑动、旋转和多物体 manipulation,展示了低复杂度机械高效摩擦调节方法的优越性。
2026-03-29 cs.RO
STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation
Ecole Centrale de Lyon, LIRIS(里尔森中央理工大学,LIRIS实验室)
提出STORM模块,通过多阶段训练策略将冻结的视觉基础模型与语义感知槽结合,生成面向对象的任务感知表示,提升机器人操作在视觉干扰下的泛化性和控制性能。
2026-06-26 cs.RO
Towards advanced robotic manipulation
Dublin City University(都柏林城市大学);Insight SFI Research Centre for Data Analytics(Insight SFI数据分析研究中心);University College Dublin(都柏林大学学院)
近年来,机器人操作和控制的重要性日益增加。然而,当需要在现实世界应用中操作时,现有技术仍然具有限制。本文探讨了在模拟和真实环境中的后见之明经验重演,突出其弱点,并提出基于奖励和目标塑造的替代方案。此外,还确定了几个研究问题以及可以探索解决这些问题的潜在研究方向。
2022-09-26 cs.RO
Learning Smooth and Robust Space Robotic Manipulation of Dynamic Target via Inter-frame Correlation
Research Center for Intelligent Robotics, School of Astronautics, Northwestern Polytechnical University(西北工业大学航天学院智能机器人研究中心);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);School of Aeronautics and Astronautics, Sichuan University(四川大学空天科学与工程学院)
本文提出一种数据驱动的空间机械臂操作方法,通过利用历史帧与当前帧的时序相关性,实现对未知和非结构化空间环境中动态目标的精确操控。
2026-03-29 cs.RO
Real Garment Benchmark (RGBench): A Comprehensive Benchmark for Robotic Garment Manipulation featuring a High-Fidelity Scalable Simulator
针对机器人服装操作缺乏合适模拟工具的问题,提出包含6000+服装网格模型、高性能模拟器及评估协议的RGBench基准,其模拟器较现有工具误差降20%且速度快3倍,将公开以推动该领域研究。
2025-11-12 cs.RO
VQ-ACE: Efficient Policy Search for Dexterous Robotic Manipulation via Action Chunking Embedding
ETH Zurich(苏黎世联邦理工学院)
VQ-ACE通过压缩人类手部运动到量化潜在空间,结合MPC和RL,在灵巧操作任务中实现高效策略搜索,提升成功率并加速学习。
2024-11-05 cs.RO
Visual Robotic Manipulation with Depth-Aware Pretraining
Shanghai University(上海大学);Midea Group(美的集团);East China Normal University(华东师范大学)
本文提出深度感知预训练方法DPR,利用大规模3D数据以自监督对比学习增强RGB视觉骨干的3D场景表征能力,并引入本体感知注入策略网络,在仿真与真实机器人操作任务中提升对未见物体和环境的泛化性能。
2024-01-17 cs.RO
Safety filtering of robotic manipulation under environment uncertainty: a computational approach
Department of Physics, Umeå University(物理系,乌梅学院);Algoryx Simulation AB(Algoryx模拟公司)
针对动态非结构化环境中机器人操作的安全问题,提出基于物理的安全过滤方案,利用高保真仿真结合密集展开与稀疏重评估,有效识别并过滤不安全轨迹。
2025-09-16 cs.RO
Standardization of Cloth Objects and its Relevance in Robotic Manipulation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
针对机器人操作可变形布料物体时难以理解和标准化其属性的问题,本研究提出适用于机器人应用的布料表征框架,初步验证了其表征能力并揭示布料属性对机器人操作任务的影响,提出相关测量方法。
2024-03-07 cs.RO
VIDP: Variable Impedance Diffusion Policy for Compliant Robot Manipulation from Diverse Demonstrations
该研究针对接触丰富的机器人操作问题,提出基于模仿学习的可变阻抗控制框架VIDP,利用TP-DAMM从多样本演示中提取物理一致的轨迹分布,无需力传感器即可联合预测位姿与柔顺性,在真实实验中任务成功率及力、跟踪误差表现均优于基线方法。
2026-08-07 cs.RO
Soft, Round, High Resolution Tactile Fingertip Sensors for Dexterous Robotic Manipulation
Massachusetts Institute of Technology(麻省理工学院)
高分辨率触觉传感器通常体积庞大,并且具有使它们难以用于操纵的形状轮廓。当使用诸如用于灵巧的多指手的指尖的传感器时,这变得重要,其中方形或平面指尖限制了可用的平滑操纵策略集。高分辨率的光学传感器,如GelSight,由于照明几何形状的限制,到目前为止一直被限制在相对平坦的几何形状。在这里,我们展示了如何构建一个圆形的指尖,利用一种形式的光管道定向照明。我们的传感器可以取代Allegro手的标准圆形指尖。它们可以捕获接触表面的高分辨率地图,并可用于支持各种灵巧的操作任务。
2020-05-18 cs.RO
Benchmarking Simulated Robotic Manipulation through a Real World Dataset
Data61, Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织(CSIRO)Data61研究所);Queensland University of Technology (QUT)(昆士兰科技大学(QUT))
我们提出了一个基准,以促进模拟操作,试图克服物理基准的障碍,通过一个真实的世界,地面实况数据集的分布。用户被赋予各种模拟操作任务,所分配的协议具有复制所记录的数据集的真实世界结果的目标。该基准包含一系列用于验证提交的环境的成功的指标,同时提供对其缺陷的洞察。我们将我们的基准测试应用于两个仿真环境,PyBullet和V-Rep,并发布结果。基准测试环境所需的所有材料,包括协议和数据集,都可以在基准测试网站https://research.csiro.au/robotics/manipulation-benchmark/上找到。
2019-11-27 cs.RO
Practice Makes Policies: Bootstrapping and Consolidating Robotic Capabilities from Zero Human Demonstrations
本研究提出HERO自改进层级具身智能体,通过整合启发式推理等技术,实现机器人从零人类演示自主演进操作能力,减少数据收集人工干预并提升多样化任务操作稳健性。
2026-07-30 cs.RO
BulletArm: An Open-Source Robotic Manipulation Benchmark and Learning Framework
我们提出了BulletArm,一个新的机器人操作基准和学习环境。BulletArm的设计围绕两个关键原则:可重复性和可扩展性。我们的目标是通过在模拟中提供一组标准化的基准任务以及一系列基线算法,鼓励机器人学习方法之间进行更直接的比较。该框架由31个不同难度的操作任务组成,从简单的伸手和拾取任务到更现实的任务,如装箱和托盘堆垛。除了提供的任务外,BulletArm还提供了一套工具来帮助用户在框架中添加新任务。此外,我们引入了一组五个基准,并使用一系列最先进的基线算法进行评估。通过将这些算法作为我们框架的一部分,我们希望鼓励用户根据这些基线对任何新任务进行基准测试。
2022-10-17 cs.RO
Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA
Osaka University(大阪大学);Waseda University(早稻田大学);Kyoto University(京都大学)
提出了一种基于FPGA的神经网络的人形机器人柔性物体操作系统。虽然使用机器人操纵柔性物体吸引了越来越多的关注,因为这些任务是我们日常生活中的基本和必不可少的活动,但直到最近才在深度神经网络的帮助下付诸实践。然而,这样的系统依赖于GPU加速器,其不能被实施到空间有限的机器人身体中。虽然现场可编程门阵列(FPGA)被认为是节能的并且适合于嵌入式系统,但是由于FPGA具有有限的片上存储器,因此模型大小应该被大幅减小。为此,我们提出了“部分”二进制化深度卷积自动编码器技术,其中只有编码器部分被二进制化以压缩模型大小,而不会降低推理精度。在Xilinx ZCU 102上实现的模型实现了每秒41.1帧,功耗为3.1 W,{ \awano {,分别相当于在Core i7 6700 K和RTX 2080 Ti上实现的系统的10倍和3.7倍改进。
2021-07-01 cs.RO
Incorporating Task Progress Knowledge for Subgoal Generation in Robotic Manipulation through Image Edits
University of Virginia(弗吉尼亚大学)
本文提出TaKSIE框架,通过联合循环网络与潜在扩散模型生成视觉子目标,利用任务进度知识提升机器人操作策略的鲁棒性,在CALVIN基准上取得最先进性能。
2024-12-17 cs.RO
Evaluating Model-Agnostic Meta-Learning on MetaWorld ML10 Benchmark: Fast Adaptation in Robotic Manipulation Tasks
MetaWorld ML10 Benchmark(MetaWorld ML10基准)
本文在MetaWorld ML10机器人操控基准上评估结合TRPO的MAML算法,验证其少样本适配效果,分析其泛化差距与性能方差,指出该类方法的潜力与局限。
2025-11-15 cs.RO
Learning Robotic Manipulation of Granular Media
University of Washington(华盛顿大学);Google, Inc.(谷歌公司);University of California Berkeley(加州大学伯克利分校)
在本文中,我们研究的问题,机器人操作的颗粒介质。我们评估了多个预测模型,用于推断挖掘和倾销行动的动态。这些模型在涉及操纵媒体以使其变形成所需形状的任务上进行评估。我们的最佳性能模型是基于高度定制的卷积网络架构,具有特定领域的优化,我们准确地模拟了机器人铲与底层媒体的物理交互。我们的经验表明,明确预测物理力学的结果在一个政策,执行手工制作的动态基线,和“价值网络”,否则必须隐含地预测相同的力学,以产生准确的价值估计。
2017-10-25 cs.RO
RAFAIL: Relationship-Aware Failure Detection for Robotic Manipulation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对机器人操作中的故障检测,提出RAFAIL框架,通过检测实体间任务相关关系的异常来识别故障,无需故障数据,在三个真实任务上达到73.4%的平衡准确率。
2026-09-17 cs.RO
Generative Visual Foresight Meets Task-Agnostic Pose Estimation in Robotic Table-Top Manipulation
Southern University of Science and Technology(南方科技大学);LimX Dynamics(LimX动力学);The University of Hong Kong(香港大学)
该研究提出结合生成式视觉预见与任务无关姿态估计的闭环框架GVF-TAPE,通过生成视频预测与姿态解耦提取实现机器人桌面操作的实时自适应与跨任务泛化,降低对任务特定数据的依赖。
2025-08-30 cs.RO
Action Planning for Packing Long Linear Elastic Objects into Compact Boxes with Bimanual Robotic Manipulation
The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们提出了一个新的行动规划方法,自动包装长线性弹性物体到共同大小的箱子与双手机器人系统。为此,我们开发了一种混合几何模型来处理大规模的遮挡,结合在线基于视觉的方法和离线参考模板。然后,一个参考点生成器被引入到自动规划的参考位姿为预先设计的动作基元。最后,一个行动计划集成这些组件,使执行高层次的行为和包装操作任务的完成。为了验证所提出的方法,我们进行了详细的实验研究与多种类型和长度的对象和包装盒。
2022-07-19 cs.RO
Robotic in-hand manipulation with relaxed optimization
Sorbonne Universite(索邦大学);TheEngineRoom;University of Genoa(热那亚大学)
本文提出基于人类演示生成运动基元字典,并通过松弛优化组合基元生成指尖轨迹,使机器人手无需显式建模稳定性约束即可实现灵巧手内操作。
2024-06-07 cs.RO
Human-in-the-loop Robotic Manipulation Planning for Collaborative Assembly
Osaka University(大阪大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
提出了一种面向人机协同装配的机器人操作规划器。与以往研究一个独立的、完全配备人工智能的自主系统的方法不同,本文探讨了机器人和人之间的子任务分配,并研究了一个用于协同装配的人在回路机器人系统。该系统通过利用机器人和人类的优势,避免他们的缺点,分配装配的子任务。系统中的机器人将执行拾取和放置任务,并为人类提供工件。人类合作者将工作的精细操作,如对齐,固定,拧,等约束为基础的增量操作规划方法,提出了产生的机器人的运动。所提出的系统的性能证明,要求一个人和双臂机器人协作组装一个内阁。实验结果表明,所提出的系统和规划器是有效的,高效的,可以帮助人类舒适地完成装配任务。
2019-09-25 cs.RO
CloudGripper: An Open Source Cloud Robotics Testbed for Robotic Manipulation Research, Benchmarking and Data Collection at Scale
CloudGripper是一个由32个低成本机器人臂工作单元组成的开源云机器人测试平台,支持高吞吐量远程实验与数据收集,并发布了包含超百小时推绳交互和约400万张图像的CloudGripper-Rope-100数据集以验证其大规模数据收集能力。
2023-09-22 cs.RO
Learning Geometrically-Grounded Amodal 3D Representations for View-Generalizable Robotic Manipulation
Tongji University(同济大学);The University of Hong Kong(香港大学)
本文提出MethodName框架,通过单视角3D预训练和多步蒸馏实现机器人操作的视图通用性,实验显示其在成功率和视图泛化能力上优于现有方法。
2026-09-29 cs.RO
The Importance and the Limitations of Sim2Real for Robotic Manipulation in Precision Agriculture
Istituto Italiano di Tecnologia(意大利理工学院);Università Cattolica del Sacro Cuore(圣心天主教大学)
近年来,Sim2Real方法为机器人技术带来了巨大的成果。基于模型的学习或域随机化等技术可以帮助克服模拟与现实之间的差距,但在某些情况下仍然需要模拟精度。农业机器人就是一个例子,它需要在动力学和视觉方面进行详细的模拟。然而,仿真软件仍然无法达到这样的质量和准确性。目前的Sim2Real技术有助于缓解这一问题,但对于这些特定任务来说,它们还不够。
2020-08-10 cs.RO
Maintenance automation: methods for robotics manipulation planning and execution
Machines and Manufacturing Units (ISW), University Stuttgart(斯图加特大学机床与制造单元研究所);Institute of Control Engineering of Tool(工具控制工程研究所)
本文针对维护自动化需求,提出一套基于CAD与RGBD数据规划方法、可处理环境不确定性的完整机器人系统,能实现拆卸装配操作自动化并完成实验验证,为理论成果转化为实用方案迈出第一步。
2025-08-25 cs.RO
Jigsaw-based Benchmarking for Learning Robotic Manipulation
Southern University of Science and Technology(南方科技大学);Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
本文提出基于拼图游戏的机器人操作基准评测方法,通过可定制的结构化协议衡量时空推理能力,并在功能、任务和系统层面提供可比的实验证据。
2023-06-08 cs.RO
A Single Multi-Task Deep Neural Network with a Multi-Scale Feature Aggregation Mechanism for Manipulation Relationship Reasoning in Robotic Grasping
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出一种带多尺度特征聚合机制的操作关系推理网络,通过融合跨尺度信息与交叉特征,准确预测多物体堆叠场景中的操作关系,显著提升了机器人抓取的推理速度与准确率。
2023-05-23 cs.RO
BeBOP -- Combining Reactive Planning and Bayesian Optimization to Solve Robotic Manipulation Tasks
ABB Robotics(ABB机器人公司);Lund University(隆德大学);Royal Institute of Technology (KTH)(皇家理工学院(KTH))
针对机器人操作任务快速配置需求,提出结合反应式规划构建行为树结构、贝叶斯优化学习参数的BeBOP方法,还改进随机森林不确定性估计,在基准测试中速度最高达现有强化学习算法的46倍且更不依赖奖励塑形。
2023-10-02 cs.RO
iManip: Skill-Incremental Learning for Robotic Manipulation
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Pengcheng Lab(鹏城实验室)
本文针对机器人操作中的技能增量学习问题,提出iManip框架,通过时序回放策略和可扩展PerceiverIO缓解灾难性遗忘,并在RLBench上验证其有效性。
2025-03-10 cs.RO
Robotic manipulation of a rotating chain
Air Traffic Management Research Institute(空中交通管理研究院);Singapore Centre for 3D Printing(新加坡3D打印中心);Nanyang Technological University(南洋理工大学)
本文考虑的问题,操纵一个均匀旋转的链:链是在一个恒定的角速度绕一个固定的轴使用机器人机械手旋转。操纵是准静态的,在这个意义上,过渡是足够慢的链总是在“旋转”平衡。链在旋转平面上的曲线--其形函数--可以通过简单的力分析来确定,但它具有非线性系统典型的复杂多解行为。我们证明了均匀旋转链的位形空间同胚于一个嵌入在$\mathbb{R}^3$中的二维曲面。使用该表示,我们设计了一种操作策略,用于以稳定和受控的方式在不同的旋转模式之间转换。我们展示了一个物理机械臂操纵旋转链的战略。最后,我们讨论了如何在这里开发的想法可能会发现富有成效的应用在其他灵活的对象,如弹性杆或同心管的研究。
2017-09-05 cs.RO
FlatLab: A Unified Methodology Framework and Simulation-Based Benchmark for Robotic Manipulation of Flat Objects
Jilin University(吉林大学);Peking University(北京大学);Chinese Academy of Sciences(中国科学院);University of Birmingham(伯明翰大学)
该研究针对扁平物体机器人操作泛化能力有限的问题,提出含策略生成器与执行模块的统一框架,并构建FlatLab仿真基准,方法泛化效果优于现有基线。
2026-08-17 cs.RO
Learning Stable Normalizing-Flow Control for Robotic Manipulation
Royal Institute of Technology(皇家理工学院);ASEA Brown Boveri (ABB) Corporate Research(ASEA布朗勃法瑞(ABB)公司研究部)
尽管机器人操作技能的强化学习(RL)取得了令人印象深刻的成功,但它将受益于从控制理论中融入领域知识。最重要的特性之一是控制稳定性。理想情况下,人们希望在保持最先进的深度RL算法框架的同时实现稳定性保证。这样的解决方案通常不存在,特别是可扩展到复杂操作任务的解决方案。我们通过引入$\textit{normalizing-flow}$控制结构来缩小这一差距,该控制结构可以部署在任何最新的深度RL算法中。虽然不能保证稳定的探索,我们的方法的目的是最终产生确定性的控制器与可证明的稳定性。除了在具有挑战性的接触丰富的操作任务上展示我们的方法外,我们还表明,在不失去学习效率的情况下,可以实现相当大的探索效率-减少状态空间覆盖和驱动工作。
2021-03-02 cs.RO
SyncTwin: Fast Digital Twin Construction and Synchronization for Safe Robotic Manipulation
University of California, Riverside(加州大学河滨分校);University of Southern California(南加州大学)
SyncTwin通过快速构建和同步数字孪生,提升动态和遮挡环境下机器人操作的安全性和效率。
2026-02-20 cs.RO
Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation
针对现有VLA模型扁平策略难以处理长时程操作的问题,提出HiRoC分层后训练框架,通过解耦规划与执行并对齐分布,在机器人操作基准上取得优于强基线的性能。
2026-08-07 cs.RO
Towards Effective Utilization of Mixed-Quality Demonstrations in Robotic Manipulation via Segment-Level Selection and Optimization
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院)
针对机器人操作演示数据质量不一的问题,提出 S2I 框架,通过片段分割、对比学习选择和轨迹优化提升混合质量数据的训练效果。
2025-03-17 cs.RO
Deep Reinforcement Learning for the Control of Robotic Manipulation: A Focussed Mini-Review
ICube Lab Robotics Department Strasbourg University UMR 7357 CNRS(斯特拉斯堡大学ICube实验室机器人系 UMR 7357 CNRS);ICube Lab UMR 7357 Centre National de la Recherche Scientifique CNRS(ICube实验室 UMR 7357 法国国家科学研究中心)
深度学习提供了操纵、处理和分析数据的新方法。它有时可能达到与人类专家表现相当或超过人类专家表现的结果,并已成为人工智能时代的灵感来源。机器学习的另一个子领域称为强化学习,试图通过与环境的交互来找到最佳行为策略。结合深度学习和强化学习可以解决与稀疏奖励信号任务(如机器人操作和控制任务)中数据的维度和可扩展性相关的关键问题,这两种方法都不允许单独应用。本文介绍了深度强化学习算法的最新进展,这些算法试图解决机器人操作控制领域的应用问题,如样本效率和泛化能力。尽管有这些不断的改进,目前,学习强大的和通用的操作技能的机器人与深度强化学习的挑战仍然远远没有解决现实世界的应用。
2021-02-08 cs.RO
Towards Super-Nominal Payload Handling: Inverse Dynamics Analysis for Multi-Skill Robotic Manipulation
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对机器人受额定负载限制的问题,本文通过 Franka Emika Panda 的逆动力学实证分析,证明其可处理两倍以上额定负载,并指出结合非抓握原语可提升超重操作成功率。
2024-12-01 cs.RO
Learning Instruction-Guided Manipulation Affordance via Large Models for Embodied Robotic Tasks
Shandong University(山东大学);Meituan(美团)
针对语言指令无法动态改变操作区域的问题,提出IGANet利用预训练视觉语言编码器预测指令引导的可供性图,结合VLMs数据增强与LLMs执行动作,在真实实验中表现更优且泛化能力更强。
2024-08-20 cs.RO
Towards Online Safety Corrections for Robotic Manipulation Policies
U.S. Naval Research Laboratory(美国海军研究实验室)
针对强化学习机器人控制器在执行时遇新障碍物易碰撞的安全问题,提出iKinQP-RL混合方法,用逆运动学二次规划控制器在线校正RL策略动作,实验证明其可在高任务成功率下完全消除新障碍物碰撞。
2024-09-12 cs.RO
Trajectory-Level Continuous Action Representation for Robotic Manipulation
Fudan University(复旦大学);TeleAI, China Telecom(中国电信TeleAI)
该研究提出CAT轨迹级连续动作表示框架,通过频率感知位置编码等技术解决现有视觉运动系统的动作表示冗余问题,在LIBERO等数据集上显著提升机器人操作任务成功率。
2026-08-27 cs.RO
Research Challenges and Progress in Robotic Grasping and Manipulation Competitions
University of South Florida(南佛罗里达大学);National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院);German Aerospace Center (DLR)(德国航空航天中心);Worcester Polytechnic Institute (WPI)(伍斯特理工学院)
本文结合最新的机器人抓取与操作竞赛(RGMCs)讨论了机器人抓取与操作的研究进展。我们首先提供了一个概述过去的基准和竞争有关的机器人操作领域。然后,我们讨论了在RGMC中设计操作任务的方法。我们对每项任务的关键挑战进行了详细分析,并根据竞争团队近年来的表现确定了最困难的方面。我们相信,这样的分析是有见地的,以确定未来的研究方向的机器人操作域。
2021-12-09 cs.AI cs.RO
Learning Actions from Human Demonstration Video for Robotic Manipulation
Shandong University(山东大学);Shanghai Jiao Tong University(上海交通大学)
从人的演示中学习动作是设计智能机器人系统的一个新兴趋势,这可以被称为视频命令。这种方法的性能高度依赖于视频描述的质量。然而,一般的视频描述方法更多地关注于对全帧的理解,缺乏对机器人操作中感兴趣的特定对象的考虑。我们提出了一种新的深度模型,从人类演示视频中学习机器人操作的动作。它由两个深度网络组成,抓取检测网络(GNet)和视频描述网络(CNet)。GNet执行两个功能:提供抓取解决方案和提取机器人操作中感兴趣对象的局部特征。CNet通过融合全帧和局部对象的特征来输出字幕结果。UR5机器人手臂上的实验结果表明,我们的方法可以产生更准确的命令,从视频演示比国家的最先进的工作,从而导致更强大的抓取性能。
2019-09-10 cs.CV cs.RO