Robotic Arm Manipulation to Perform Rock Skipping in Simulation
Massachusetts Institute of Technology (MIT)（麻省理工学院）
本项目在仿真环境中构建了由机械臂和动态环境组成的系统来执行打水漂任务，通过改变释放速度等参数探究最大化弹跳次数的关键因素，并提供了更严格的测试方法，同时指出抓取效率和轨迹问题限制了项目表现。
2023-10-23 cs.AI cs.RO
FOCUS: Object-Centric World Models for Robotics Manipulation
Ghent University（根特大学）
本文提出 FOCUS，一个学习对象中心世界模型的智能体，利用对象中心表示驱动的探索奖励提升机器人操作中的对象交互探索效率，并在仿真和 Franka Emika 机械臂上验证了其有效性。
2023-07-07 cs.AI cs.RO
SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty
SPIRIT通过结合深度学习的不确定性估计与触觉遥控，实现安全稳健的机器人操作，提升性能与可靠性。
2026-03-05 cs.AI cs.RO
Lifelong Language-Conditioned Robotic Manipulation Learning
本文提出SkillsCrafter框架，通过操作技能适应和技能专业化聚合，实现持续学习多种技能并减少旧技能的灾难性遗忘。
2026-03-05 cs.AI cs.RO
ManiAgent: An Agentic Framework for General Robotic Manipulation
Beijing University of Technology（北京理工大学）；Nanjing University（南京大学）；University of Science and Technology of China（中国科学技术大学）；Dexmal
ManiAgent提出多智能体协作框架，通过环境感知、子任务分解与动作生成，实现端到端机器人操作，在SimplerEnv和真实任务上分别达到86.8%和95.8%成功率。
2025-10-14 cs.AI cs.RO
ConceptTree: Bringing Semantic Transparency to Black-Box Decision Making for Robotic Manipulation
Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）
研究长期机器人操作中可解释决策问题，提出ConceptTree框架，将高级技能选择重构为基于视觉观察的概念推理。该方法学习归一化概念空间并训练决策树，实验表明其优于现有基线，支持细粒度干预以纠正决策错误。
2026-07-21 cs.AI cs.RO
Hybrid Framework for Robotic Manipulation: Integrating Reinforcement Learning and Large Language Models
Jamia Millia Islamia（贾米亚米利亚伊斯兰大学）；University of Brighton（布莱顿大学）
本文提出一种结合强化学习与大语言模型的混合框架，用于提升机器人操作任务。通过强化学习实现精确的低层控制，利用大语言模型进行高层任务规划和自然语言理解，有效连接低层执行与高层推理。实验显示任务完成时间减少33.5%，精度和适应性提升18.1%和36.4%。
2026-03-31 cs.AI cs.RO
Robustness of Robotic Manipulation: Foundations and Frontiers
Duke University（杜克大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Organifarms
本文系统研究机器人操作鲁棒性，提出正式定义、概率与控制理论框架，并综述感知、规划、控制、策略学习和硬件中的鲁棒性机制及评估方法，展望实现人类级鲁棒性的未来方向。
2026-07-01 cs.AI cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)（电气与计算机工程系，国王 Abdullah 科学与技术大学）
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架，通过动态维护场景图提供空间感知，结合多模态感知与通用推理模型实现稳健任务排序，在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Equivariant Descriptor Fields: SE(3)-Equivariant Energy-Based Models for End-to-End Visual Robotic Manipulation Learning
Yonsei University（延世大学）；Samsung Research（三星研究院）
针对视觉机器人操作端到端学习样本效率低的问题，提出基于李群表示理论的SE(3)-等变能量基模型，仅需5~10次演示即可从零学习，且在新位姿、新实例、有干扰的任务中泛化性良好。
2023-02-27 cs.AI cs.RO
The Impact of Time Step Frequency on the Realism of Robotic Manipulation Simulation for Objects of Different Scales
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Michigan Technological University（密歇根理工大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本研究评估时间步频率和组件尺度对机器人操作仿真精度的影响，发现提高小尺度物体时间步频率可改善精度，并为机器人装配中的Sim2Real迁移改进提供起点。
2023-10-12 cs.AI cs.RO
RoboWM-Bench: A Benchmark for Evaluating World Models in Robotic Manipulation
Peking University（北京大学）；Tsinghua University（清华大学）；Lightwheel
本文提出RoboWM-Bench，用于评估视频世界模型在机器人操作中的执行能力，发现视觉合理性与实际执行性不一致，并分析了影响执行性能的因素。
2026-05-14 cs.AI cs.RO
RoboInspector: Unveiling the Unreliability of Policy Code for LLM-enabled Robotic Manipulation
Zhejiang University（浙江大学）；Xi’an Jiaotong University（西安交通大学）
研究基于大语言模型的机器人操作中策略代码不可靠问题，设计RoboInspector从任务复杂性和指令粒度揭示其不可靠性，通过实验识别四种不可靠行为及原因，还引入优化方法，可提高策略代码生成可靠性达35%。
2026-07-22 cs.AI cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战，重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展，并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
MEMOBench: A Process Level Memory Benchmark for Robotic Manipulation
Zhejiang University（浙江大学）
MEMOBench提出过程级内存基准，含30个任务和4,200个检查点，定义存储、更新、压缩率指标，发现现有VLA策略内存能力不足，并提供诊断与训练监督。
2026-09-09 cs.AI cs.RO
Value-Based Reinforcement Learning for Continuous Control Robotic Manipulation in Multi-Task Sparse Reward Settings
Brown University（布朗大学）
在高维稀疏奖励设置（如机器人操作）中学习连续控制是一个具有挑战性的问题，因为通常需要大量的样本来获得准确的最优值和策略估计。虽然许多深度强化学习方法旨在通过重放或改进的探索技术来提高样本效率，但是现有技术的演员-评论家和策略梯度方法仍然遭受稀疏奖励设置中的硬探索问题。受最近成功的基于值的方法近似状态-动作值，如RBF-DQN的启发，我们探索了基于值的强化学习在多任务稀疏奖励设置中学习连续机器人操作任务的潜力。在机器人操作任务中，我们的经验表明RBF-DQN比当前最先进的算法（如TD 3，SAC和PPO）收敛得更快。我们还使用RBF-DQN进行了消融研究，并表明一些用于香草深度Q学习的增强技术，如后见之明经验重放（HER）和优先经验重放（PER）也可以应用于RBF-DQN。我们的实验分析表明，基于值的方法可能是更敏感的数据增强和重放缓冲区采样技术比政策梯度方法，这些方法的机器人操作的好处是在很大程度上依赖于所产生的子目标状态的过渡动态。
2021-07-28 cs.AI cs.RO
Robot Collapse: Supply Chain Backdoor Attacks Against VLM-based Robotic Manipulation
City University of Hong Kong（香港城市大学）；Huazhong University of Science and Technology（华中科技大学）；Beihang University（北京航空航天大学）；Griffith University（格里菲斯大学）
本文提出TrojanRobot框架，通过在模块化机器人策略中嵌入恶意模块，操控LLM到VLM路径，验证了在18个真实任务和4个VLM上的优越性。
2026-04-02 cs.AI cs.RO
Eq.Bot: Enhance Robotic Manipulation Learning via Group Equivariant Canonicalization
Beijing Key Laboratory of Light Industrial Robot and Safety Verification, Capital Normal University（北京工业机器人与安全验证重点实验室，首都师范大学）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Software, Beihang University（北航软件学院）
针对现有机器人操作多模态学习框架缺乏几何一致性保证的问题，提出模型无关的SE(2)群等变规范化框架Eq.Bot，无需修改架构即可赋予模型空间等变性，在多类架构的操作任务上性能最高提升50%。
2025-11-19 cs.AI cs.RO
FLAME: A Federated Learning Benchmark for Robotic Manipulation
KTH Royal Institute of Technology（皇家理工学院）
本文提出首个面向机器人操作的联邦学习基准FLAME，包含超16万条多环境专家演示及训练评估框架，通过评估标准联邦学习算法揭示分布式策略学习的潜力与关键挑战。
2025-09-22 cs.RO
Hierarchical Audio-Visual-Proprioceptive Fusion for Precise Robotic Manipulation
Harbin Institute of Technology, China（哈尔滨工业大学）；Nanyang Technological University, Singapore（南洋理工大学）
本文提出层次化多模态融合框架，通过整合音频、视觉和本体感知信息，提升机器人精确操作性能。
2026-02-14 cs.AI cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China（浙江大学杭州技术创新中心）；College of Biosystems Engineering（生物系统工程学院）；Food Science, Zhejiang University, Hangzhou, 310058, China（食品科学学院）
本文提出了一种开源设备SROI，用于收集机器人草莓种植中灵巧操作数据，通过模块化末端执行器和立体摄像头实现野外环境下的数据采集，并发布数据集促进相关研究。
2025-01-28 cs.RO
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University（萨班哲大学）
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明，与一些方法，感知和规划的紧密结合提高了计划的质量，以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology（奥凯多科技）；University of Genoa（热那亚大学）
本研究借鉴人类抓取零散果蔬的操作策略，开发配备多指柔性夹爪的机器人抓取装置，通过物流行业KPIs验证其性能，为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Deep Imitation Learning for Bimanual Robotic Manipulation
Northeastern University（东北大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个深度的模仿学习框架，机器人双手操作在一个连续的状态-动作空间。一个核心挑战是将操作技能推广到不同位置的对象。我们假设，在环境中的关系信息建模可以显着提高泛化。为了实现这一点，我们建议（i）分解的多模态动力学元素的运动原语，（ii）参数化每个原语使用一个经常性的图神经网络捕捉相互作用，和（iii）集成一个高层次的计划，组成原语顺序和低层次的控制器，结合原始动力学和逆运动学控制。我们的模型是一个深层次的，模块化的架构。与基线相比，我们的模型更好地推广，并在几个模拟双手机器人操作任务上实现了更高的成功率。我们在https://github.com/Rose-STL-Lab/HDR-IL上开源了模拟、数据和模型的代码。
2020-11-30 cs.AI cs.LG cs.RO
Machine Learning for Robotic Manipulation
UCSD（加州大学圣地亚哥分校）
在过去的十年中，机器学习技术在监督学习范式中取得了巨大的成功，在这种范式中，训练和测试之间有着明确的界限。在监督学习范式中，学习本质上是被动的，寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后，机器学习研究人员已经超越了这种范式，并对更具动态性的任务感兴趣。对他们来说，机器人技术是一个很好的测试平台，因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中，机器人操作已经成为研究人员展示新算法的最受欢迎的领域，因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议，并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
Attention-Guided Integration of CLIP and SAM for Precise Object Masking in Robotic Manipulation
National Institute of AIST（日本国立AIST研究所）
本文提出一种集成CLIP与SAM并利用梯度注意力机制和定制数据集的流水线，以提高便利店商品场景下机器人操作的物体掩码精度，实现更精确的自适应操作。
2025-02-28 cs.AI cs.CV cs.RO
ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory
针对机器人操作领域数据稀缺、现有视频生成方法依赖2D轨迹存在3D空间歧义的问题，提出ManipDreamer3D框架，结合3D占据感知轨迹规划与轨迹到视频扩散模型，生成高质量可信机器人操作视频，减少人工干预。
2025-11-13 cs.AI cs.CV cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute（阿兰·图灵研究所）
机器人控制任务通常首先在仿真中运行，用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务，但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言，用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面，我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性，用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
APEX: Ambidextrous Dual-Arm Robotic Manipulation Using Collision-Free Generative Diffusion Models
本文提出 APEX，将双臂操作抽象为双向量对齐，并用分类器引导的潜在扩散模型生成无碰撞、可行且安全的双臂轨迹，硬件实验证明其优于传统运动规划方法。
2024-04-02 cs.RO
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
Quantifying the Reality Gap in Robotic Manipulation Tasks
Queensland University of Technology (QUT)（昆士兰科技大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）；Australian Centre for Robotic Vision (ACRV)（澳大利亚机器人视觉中心）
我们量化了各种模拟器的准确性相比，现实世界的机器人达到和互动任务。模拟器在机器人技术中用于为现实世界的硬件设计解决方案，而无需物理访问。“现实差距”妨碍了在模拟中开发或学习的解决方案在转移到现实世界的硬件时表现良好，或根本无法表现。利用Kinova机器人机械手和运动捕捉系统，我们记录了地面实况，使各种模拟器的比较，并提出了各种面向操作的机器人任务的定量数据。我们展示了许多当代模拟器的相对优势和弱点，突出了显著差异的领域，并帮助该领域的研究人员为他们的用例选择合适的模拟器。所有代码和参数列表都可以从https://bitbucket.csiro.au/scm/~col549/quantifying-the-reality-gap-in-robotic-manipulation-tasks.git公开获得。
2018-11-08 cs.RO
Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer
University of Central Florida（中佛罗里达大学）
本文提出一种结合CycleVAE与人类行为Transformer的跨具身机器人操作合成方法，通过无监督跨具身对齐和人类示范动力学学习，在灵巧操作任务中生成平滑轨迹并优于先前方法。
2025-03-11 cs.RO
RGBManip: Monocular Image-based Robotic Manipulation through Active Object Pose Estimation
Hyperplane Lab, School of CS, Peking University（北京大学计算机学院超平面实验室）；National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）
本文提出RGBManip框架，利用夹爪上的单目相机进行主动多视角6D物体位姿估计，并通过强化学习平衡位姿精度与操作效率，在仿真和真实环境中取得先进性能。
2024-09-09 cs.RO
Audio-Visual Grounding Referring Expression for Robotic Manipulation
Tsinghua University（清华大学）
在人们的日常对话中，指称语通常用于指称特定的对象。在本文中，我们开发了一个新的任务，视听接地指表示机器人操作。机器人利用音频和视觉信息来理解给定操作指令中的指称表达式，并执行相应的操作。为了解决这个问题，提出了一个视听框架，用于视觉定位和声音识别。我们还建立了一个数据集，其中包含视觉数据，听觉数据和操作指令进行评估。最后，大量的实验进行了离线和在线，以验证所提出的视听框架的有效性。实验结果表明，机器人在有视听数据的情况下比只有视觉数据的情况下表现得更好。
2021-09-22 cs.RO
T-DOM: A Taxonomy for Robotic Manipulation of Deformable Objects
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出T-DOM分类体系，首次系统分类可变形物体操作中的机器人运动、力、抓持交互及物体变形，并通过十个任务验证其能识别以往分类体系无法区分的操作技能，为可变形物体机器人操作提供更细粒度的理论框架。
2024-12-30 cs.RO
Robotic Dexterous Manipulation via Anisotropic Friction Modulation using Passive Rollers
Northeastern University（东北大学）；RAI Institute（RAI研究所）
本文提出一种通过被动滚轮调节接触摩擦和约束方向的机器人指尖设计，实现了多样化的灵巧操作，包括滑动、旋转和多物体 manipulation，展示了低复杂度机械高效摩擦调节方法的优越性。
2026-03-29 cs.RO
STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation
Ecole Centrale de Lyon, LIRIS（里尔森中央理工大学，LIRIS实验室）
提出STORM模块，通过多阶段训练策略将冻结的视觉基础模型与语义感知槽结合，生成面向对象的任务感知表示，提升机器人操作在视觉干扰下的泛化性和控制性能。
2026-06-26 cs.RO
Towards advanced robotic manipulation
Dublin City University（都柏林城市大学）；Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；University College Dublin（都柏林大学学院）
近年来，机器人操作和控制的重要性日益增加。然而，当需要在现实世界应用中操作时，现有技术仍然具有限制。本文探讨了在模拟和真实环境中的后见之明经验重演，突出其弱点，并提出基于奖励和目标塑造的替代方案。此外，还确定了几个研究问题以及可以探索解决这些问题的潜在研究方向。
2022-09-26 cs.RO
Learning Smooth and Robust Space Robotic Manipulation of Dynamic Target via Inter-frame Correlation
Research Center for Intelligent Robotics, School of Astronautics, Northwestern Polytechnical University（西北工业大学航天学院智能机器人研究中心）；School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）；School of Aeronautics and Astronautics, Sichuan University（四川大学空天科学与工程学院）
本文提出一种数据驱动的空间机械臂操作方法，通过利用历史帧与当前帧的时序相关性，实现对未知和非结构化空间环境中动态目标的精确操控。
2026-03-29 cs.RO
Real Garment Benchmark (RGBench): A Comprehensive Benchmark for Robotic Garment Manipulation featuring a High-Fidelity Scalable Simulator
针对机器人服装操作缺乏合适模拟工具的问题，提出包含6000+服装网格模型、高性能模拟器及评估协议的RGBench基准，其模拟器较现有工具误差降20%且速度快3倍，将公开以推动该领域研究。
2025-11-12 cs.RO
Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation
NAVER LABS Europe（NAVER欧洲实验室）；TU Darmstadt（达姆施塔特工业大学）；EPITA Research Laboratory (LRE)（EPITA研究实验室）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Center for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；Hessian Center for Artificial Intelligence (Hessian.ai)（黑森州人工智能中心）
针对机器人操作技能学习需求，提出一种通过自动生成大量任务、结合非对称自博弈与乘法组合策略的无监督技能发现方法，可生成交互性更强的可组合技能，适配仿真与真实平台的未知操作任务。
2024-10-07 cs.AI cs.LG cs.RO
DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室）；National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）；Xi’an Jiaotong University（西安交通大学）
针对机器人操作策略泛化性不足的问题，提出DynaRend框架，通过可微体渲染的掩码重建与未来预测学习3D动力学三平面特征，在基准测试与真实实验中均提升了操作成功率与泛化性。
2025-10-28 cs.AI cs.CV cs.RO
VQ-ACE: Efficient Policy Search for Dexterous Robotic Manipulation via Action Chunking Embedding
ETH Zurich（苏黎世联邦理工学院）
VQ-ACE通过压缩人类手部运动到量化潜在空间，结合MPC和RL，在灵巧操作任务中实现高效策略搜索，提升成功率并加速学习。
2024-11-05 cs.RO
Learning Actions from Human Demonstration Video for Robotic Manipulation
Shandong University（山东大学）；Shanghai Jiao Tong University（上海交通大学）
从人的演示中学习动作是设计智能机器人系统的一个新兴趋势，这可以被称为视频命令。这种方法的性能高度依赖于视频描述的质量。然而，一般的视频描述方法更多地关注于对全帧的理解，缺乏对机器人操作中感兴趣的特定对象的考虑。我们提出了一种新的深度模型，从人类演示视频中学习机器人操作的动作。它由两个深度网络组成，抓取检测网络（GNet）和视频描述网络（CNet）。GNet执行两个功能：提供抓取解决方案和提取机器人操作中感兴趣对象的局部特征。CNet通过融合全帧和局部对象的特征来输出字幕结果。UR5机器人手臂上的实验结果表明，我们的方法可以产生更准确的命令，从视频演示比国家的最先进的工作，从而导致更强大的抓取性能。
2019-09-10 cs.CV cs.RO
Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；University of Maryland, College Park（马里兰大学帕克分校）；Tsinghua University（清华大学）
针对人类视频预训练机器人视觉表示存在分布偏移、缺动力学信息的问题，提出融合视觉与动作等动力学信息的MCR框架，在仿真和真实机器人操作任务上均显著提升性能。
2024-10-30 cs.AI cs.CV cs.RO
Visual Robotic Manipulation with Depth-Aware Pretraining
Shanghai University（上海大学）；Midea Group（美的集团）；East China Normal University（华东师范大学）
本文提出深度感知预训练方法DPR，利用大规模3D数据以自监督对比学习增强RGB视觉骨干的3D场景表征能力，并引入本体感知注入策略网络，在仿真与真实机器人操作任务中提升对未见物体和环境的泛化性能。
2024-01-17 cs.RO
RoboFlamingo-Plus: Fusion of Depth and RGB Perception with Vision-Language Models for Enhanced Robotic Manipulation
针对3D环境中深度与RGB融合及语言引导操作难题，提出RoboFlamingo-Plus，通过预训练ViT、重采样及交叉注意力融合深度与RGB，提升操作性能10-20%。
2025-03-25 cs.AI cs.CV cs.RO
MQA: Answering the Question via Robotic Manipulation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
在本文中，我们提出了一种新的任务，操纵问答（MQA），其中机器人执行操作动作，以改变环境，以回答给定的问题。为了解决这个问题，提出了一个框架，包括一个QA模块和操纵模块。对于问答模块，我们采用了可视化问答任务的方法。对于操作模块，设计了一个深度Q网络（DQN）模型来生成机器人与环境交互的操作动作。我们考虑机器人在一个箱子中连续操作物体直到找到问题的答案的情况，并在仿真环境中建立了一个包含各种物体模型、场景和相应问答对的新数据集。已经进行了大量的实验，以验证所提出的框架的有效性。
2023-02-21 cs.AI cs.CV cs.RO
Safety filtering of robotic manipulation under environment uncertainty: a computational approach
Department of Physics, Umeå University（物理系，乌梅学院）；Algoryx Simulation AB（Algoryx模拟公司）
针对动态非结构化环境中机器人操作的安全问题，提出基于物理的安全过滤方案，利用高保真仿真结合密集展开与稀疏重评估，有效识别并过滤不安全轨迹。
2025-09-16 cs.RO
Diffusion-EDFs: Bi-equivariant Denoising Generative Modeling on SE(3) for Visual Robotic Manipulation
Yonsei University（延世大学）；University of California, Berkeley（加州大学伯克利分校）；Samsung Research（三星研究院）；Massachusetts Institute of Technology（麻省理工学院）；Ewha Womans University（梨花女子大学）
本文提出 Diffusion-EDFs，一种基于 SE(3) 等变扩散的视觉机器人操作方法，仅需 5 到 10 个人类演示即可在一小时内完成端到端训练，并在泛化性、鲁棒性及真实硬件实验中优于现有方法。
2023-11-28 cs.AI cs.LG cs.RO
Standardization of Cloth Objects and its Relevance in Robotic Manipulation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）
针对机器人操作可变形布料物体时难以理解和标准化其属性的问题，本研究提出适用于机器人应用的布料表征框架，初步验证了其表征能力并揭示布料属性对机器人操作任务的影响，提出相关测量方法。
2024-03-07 cs.RO
Active Exploration for Robotic Manipulation
Technical University of Darmstadt（达姆施塔特工业大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
尽管近年来机器人技术和机器学习取得了重大进展，但机器人操作仍然是一个很大程度上未解决的问题。操纵中的关键挑战之一是当被操纵的对象之间存在连续接触时对环境的动态的探索。本文提出了一种基于模型的主动探索方法，使有效的学习稀疏奖励机器人操作任务。所提出的方法估计的信息增益目标使用的概率模型的合奏和部署模型预测控制（MPC）计划的行动，最大限度地提高预期的回报，同时也执行定向探索。我们评估我们提出的算法在模拟和一个真正的机器人，从头开始训练我们的方法，在一个具有挑战性的球推任务倾斜的桌子上，目标球的位置是不知道代理先验。我们的真实世界的机器人实验作为一个基本的应用程序的积极探索基于模型的强化学习的复杂的机器人操作任务。
2022-10-23 cs.LG cs.RO
ARMBench: An Object-centric Benchmark Dataset for Robotic Manipulation
Amazon Robotics（亚马逊机器人公司）；Rutgers University（罗格斯大学）
本文介绍了Amazon Robotic Manipulation Benchmark（ARMBench），这是一个大规模的、以对象为中心的基准数据集，用于在仓库环境中进行机器人操作。现代仓库中的操作自动化需要机器人机械手来处理各种各样的对象，非结构化存储和动态变化的库存。这样的设置对在操纵期间感知对象的身份、物理特性和状态提出了挑战。用于机器人操作的现有数据集考虑有限的对象集合或利用3D模型来生成合成场景，在捕获各种对象属性、杂波和交互方面具有限制。我们提出了一个大规模的数据集，收集在亚马逊仓库使用机器人机械手执行对象从容器与异构内容分离。ARMBench包含图像、视频和元数据，对应于190K+唯一对象上的235K+拾取和放置活动。数据在不同的操作阶段被捕获，即，预拾取、转移期间和放置之后。基准任务提出凭借高质量的注释和基线性能评估提出了三个视觉感知的挑战，即1）在混乱中的对象分割，2）对象识别，和3）缺陷检测。ARMBench可以在http://armbench.com上访问
2023-03-29 cs.CV cs.RO
Reflective Planning: Vision-Language Models for Multi-Stage Long-Horizon Robotic Manipulation
Cornell University（康奈尔大学）；Yale University（耶鲁大学）
本文提出一种反思式测试时计算框架，通过生成模型想象未来状态并批判性反思，增强视觉语言模型在多阶段长时程机器人操作中的物理推理能力，显著优于现有商业VLM及MCTS等方法。
2025-02-23 cs.AI cs.LG cs.RO
