Mani-GPT: A Generative Model for Interactive Robotic Manipulation
Southern University of Science and Technology(南方科技大学);PLA General Hospital(中国人民解放军总医院);National Clinical Research Center for Orthopedics, Sports Medicine and Rehabilitation(国家骨科、运动医学与康复医学临床研究中心)
本文提出 Mani-GPT 生成式预训练 Transformer,通过融合环境理解、对话意图识别与操作规划,实现更自然的人机交互,在意图识别与动作决策上准确率达 84.6%,真实对话测试平均回应准确率为 70%。
2023-08-08 cs.RO
Correct Me if I am Wrong: Interactive Learning for Robotic Manipulation
University of Freiburg(弗赖堡大学)
从视觉观察中学习解决复杂的操作任务是现实世界机器人学习的主要挑战。尽管深度强化学习算法最近在这方面取得了令人印象深刻的结果,但它们仍然需要大量耗时的试错迭代。在这项工作中,我们认为有前途的替代范式的交互式学习中,一个人类教师提供反馈的政策在执行过程中,而不是模仿学习,使用预先收集的数据集完美的演示。我们提出的CEILing(纠正和评价的互动学习)框架结合了纠正和评价的反馈,从教师训练的随机政策,在异步的方式,并采用了一个专门的机制来权衡人类的更正与机器人自己的经验。我们在广泛的模拟和真实世界的实验中展示了我们的框架所获得的结果,以证明CEILing可以在不到一个小时的真实世界训练中直接从原始图像有效地解决复杂的机器人操作任务。
2022-01-19 cs.RO
Interactive Perception for Deformable Object Manipulation
KTH(瑞典皇家理工学院);The Hong Kong Polytechnic University(香港理工大学)
针对可变形物体操作中的视觉遮挡与操控难题,提出基于序贯决策、耦合主动相机与操控器的交互式感知框架,并通过 DAVS 子空间利用运动规律,仿真与真实双臂实验验证了其有效性。
2024-06-11 cs.RO
Interactive Navigation with Adaptive Non-prehensile Mobile Manipulation
University of California, Berkeley(加州大学伯克利分校);The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出一种基于SE(2)动力学学习的自适应非抓取移动操作框架,集成MPPI控制,在Shmoobot机器人上实现了可移动物体间的高效交互导航。
2024-10-17 cs.RO
SM2ITH: Safe Mobile Manipulation with Interactive Human Prediction via Task-Hierarchical Bilevel Model Predictive Control
Department of Computer, Control and Management Engineering, of Sapienza University of Rome(意大利萨皮恩扎大学计算机、控制与管理工程系);University of Toronto Institute for Aerospace Studies (UTIAS) and the Vector Institute for Artificial Intelligence(多伦多大学航空航天研究所(UTIAS)和向量人工智能研究所);Learning Systems and Robotics lab at the Technical University of Munich and the Munich Institute for Robotics and Machine Intelligence (MIRMI)(慕尼黑技术大学学习系统与机器人实验室及慕尼黑机器人与机器智能研究所(MIRMI));School of Computing Science, Faculty of Applied Sciences, Simon Fraser University(西蒙·弗雷泽大学应用科学学院计算机科学系)
提出SM$^2$ITH框架,结合分层任务模型预测控制与双层优化的人机交互预测,实现动态人机环境中的安全高效移动操作。
2026-05-28 cs.RO
Soft Vision-Based Tactile-Enabled SixthFinger: Advancing Daily Objects Manipulation for Stroke Survivors
Center of Autonomous Robotics Systems, Khalifa University(哈利法大学自主机器人系统中心);Mechanical Engineering Department, Khalifa University(哈利法大学机械工程系)
针对脑卒中患者抓取缺陷问题,本文提出带视觉触觉感知的柔性额外机器人手指系统,基于Transformer框架实现滑动自适应调力,经真实场景验证可有效操作日常物品,有望提升患者生活质量。
2025-01-12 cs.RO
Interactive Open-Ended Object, Affordance and Grasp Learning for Robotic Manipulation
IEETA - University of Aveiro(阿威罗大学电子与电信研究所);University of Groningen(格罗宁根大学)
服务机器人被期望在以人为中心的环境中自主和高效地工作。对于这种类型的机器人,由于需要准确和实时的响应,物体感知和操纵是具有挑战性的任务。本文提出了一种交互式的开放式学习方法,同时认识到多个对象和他们的把握启示。这是服务机器人领域的一个重要贡献,因为无论用于批量学习的训练数据有多广泛,机器人在以人为中心的环境中操作时可能总是会遇到未知物体。本文介绍了系统的体系结构和学习和识别能力。抓取学习关联抓取配置(即,末端执行器位置和方向)来掌握示能表示类别。分别通过口头和动觉教学来教授抓握示能类别和抓握配置。贝叶斯方法被用于学习和识别的对象类别和基于实例的方法被用于学习和识别的启示类别。已经进行了一组广泛的实验,以评估所提出的方法在具有挑战性的数据集和现实世界的情况下的识别精度,可扩展性和把握成功率的性能。
2019-04-04 cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景,探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
Interactive Human-in-the-loop Coordination of Manipulation Skills Learned from Demonstration
College of Engineering, Peking University(北京大学工学院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
示教学习(LfD)提供了一种快速、直观和有效的机器人技能编程框架,在研究和工业应用中获得了越来越多的兴趣。大多数复杂的操作任务是长期的,涉及一组技能原语。因此,至关重要的是要有一个可靠的协调方案,选择正确的序列的技能原语和正确的参数为每个技能,在各种情况下。而不是依赖于一个精确的模拟器,这项工作提出了一个人在回路协调框架LfD技能:从动觉演示建立参数化的技能模型;构建一个几何任务网络(GTN)的飞行从人类的指令;学习分层控制策略在执行过程中递增。该框架可以大大减少人工设计的工作量,同时提高对新场景的适应性。我们在一个7自由度的机器人机械手上展示了所提出的方法可以在不到30分钟的时间内教授复杂的工业任务,如垃圾箱分拣和装配。
2022-03-01 cs.RO
Language-Grounded Dynamic Scene Graphs for Interactive Object Search with Mobile Manipulation
Toyota Motor Europe (TME)(丰田汽车欧洲公司);Department of Computer Science, University of Freiburg(弗莱堡大学计算机科学系)
提出MoMa-LLM方法,将语言模型与动态更新的开放词汇场景图结合,实现零样本的移动抓取交互式目标搜索,显著提升搜索效率。
2024-07-31 cs.RO
AgentWorld: An Interactive Simulation Platform for Scene Construction and Mobile Robotic Manipulation
Tencent Robotics X(腾讯机器人X);Shanghai Jiao Tong University(上海交通大学)
AgentWorld 是一个面向家庭移动机器人操作的交互式仿真平台,集成自动化场景构建与双模式遥操作数据收集系统,并提供多任务数据集,通过广泛基准测试验证了其在 sim-to-real 迁移中的有效性。
2025-08-13 cs.RO
Everyday Finger: A Robotic Finger that Meets the Needs of Everyday Interactive Manipulation
Massachusetts Institute of Technology(麻省理工学院)
本文提出基于串联弹性驱动的紧凑型机器人手指Everyday Finger,并通过双指手在三十种日常任务中验证其操作能力。
2024-08-08 cs.RO
Learning with Object-centric Representations of Tactile Interactive Perception for Robot Manipulation
提出一种物体中心情境感知操作框架,通过触觉探索学习任务无关表示,利用标记学习器和对比对齐捕获物体属性,在视觉模糊任务中将成功率从41%提升至92%(已见物体)和从19%提升至67%(未见物体)。
2026-09-29 cs.RO
RoDyn: Taming Interactive Robot-Dynamic 2.5D World Model for Robotic Manipulation
Nanyang Technological University, Singapore(南洋理工大学,新加坡);Tsinghua University, Beijing, China(清华大学,北京,中国)
提出RoDyn,一种几何感知的2.5D世界模型,通过机器人动态分词器和掩码引导自回归架构,在高效潜在空间中建模环境动态,提升生成保真度并显著改善下游强化学习和模仿学习性能。
2026-06-25 cs.RO
ArtGS:3D Gaussian Splatting for Interactive Visual-Physical Modeling and Manipulation of Articulated Objects
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);National University of Singapore(国立新加坡大学);Princeton University(普林斯顿大学);Stanford University(斯坦福大学);Hefei University of Technology(合肥工业大学)
ArtGS将3D高斯泼溅与视觉-物理建模结合,通过VLM提取关节骨骼信息并进行可微渲染优化,实现了关节物体建模与操纵的高精度和强泛化能力。
2025-07-03 cs.RO
Accelerating Interactive Human-like Manipulation Learning with GPU-based Simulation and High-quality Demonstrations
University of Bonn(波恩大学)
由于机器人的状态空间、动作空间和接触空间都是高维的,拟人机器人手的灵巧操作一直是机器人学中的一个难题。然而,需要熟练的闭环操纵,使人形机器人在非结构化的现实世界的环境中操作。强化学习(RL)传统上对优化此类复杂控制问题施加了巨大的交互数据需求。我们引入了一个新的框架,该框架利用了基于GPU的模拟的最新进展以及模仿学习在引导策略搜索方面的优势,使RL训练在这些领域变得可行。为此,我们提出了一个沉浸式的虚拟现实遥操作界面设计的交互式人性化的操作接触丰富的任务和一套操作环境的启发任务的日常生活。最后,我们展示了大规模并行RL和模仿学习的互补优势,产生了强大而自然的行为。经过训练的策略、我们的源代码和收集的演示数据集的视频可以在https://maltemosbach.github.io/interactive_ human_like_manipulation/上找到。
2022-12-05 cs.AI cs.LG cs.RO
SInViG: A Self-Evolving Interactive Visual Agent for Human-Robot Interaction
ByteDance Research(字节跳动研究院);Tsinghua University(清华大学)
本文提出自进化交互式视觉智能体SInViG,通过多轮视觉-语言对话消解语言歧义,并利用无标注图像与大语言模型自动持续学习,在多个交互式视觉定位基准上达到最先进性能,并在Franka机器人上验证了自然交互与多样化指令执行能力。
2024-02-20 cs.RO
LLM-based Interactive Imitation Learning for Robotic Manipulation
Knowledge Technology, Department of Informatics University of Hamburg(信息学院知识技术部汉堡大学)
本文提出LLM-iTeach框架,利用LLM作为交互式教师,通过分层提示生成Python策略并基于相似度提供反馈,在机器人操作任务中降低对人类依赖的同时性能超越BC并媲美CEILing。
2025-04-30 cs.RO
Object Structure from Manipulation via Particle Filter and Robot-based Active Learning
为了学习机器人操作的对象模型,无监督的方法不能提供准确的对象结构信息,而有监督的方法需要大量的人工标记的训练样本,因此交互式对象分割被开发来自动化对象建模。在这篇文章中,我们制定了一个新的动态过程的交互式对象分割,并开发了一个基于粒子滤波和主动学习的解决方案,使机器人可以操纵和学习对象结构增量和自动。我们证明了我们的方法与humanoidrobot对不同类型的对象,并比较其分割performancewith选定的对象上建立的方法。实验结果表明,该方法能够更准确地对目标进行建模,并揭示出更丰富的目标结构信息。
2015-04-18 cs.RO
Embodied Referring Expression for Manipulation Question Answering in Interactive Environment
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出远程具身操作问答(REMQA)任务,结合具身指代表达与操作,在AI2-THOR中构建基准数据集,并采用3D语义重建与模块化网络框架验证其有效性。
2022-10-06 cs.AI cs.RO
PLEXUS Hand: Lightweight Four-Motor Prosthetic Hand Enabling Precision-Lateral Dexterous Manipulation
OMRON SINIC X Corporation(OMRON SINIC X公司)
本研究提出PLEXUS Hand轻量四电机假手,通过单轴拇指与优化定位实现精确-侧向抓取间的手内重定向,实验成功率90-100%,并完成盖章、插USB及旋螺丝刀等任务。
2025-10-10 cs.RO
Design of an Optoelectronically Innervated Gripper for Rigid-Soft Interactive Grasping
Southern University of Science and Technology(南方科技大学);University of Hong Kong(香港大学)
在过去的几十年里,已经努力实现鲁棒的机器人抓取,因此灵巧的操作。柔性手爪由于其固有的低成本、控制复杂性和高适应性等特点,在鲁棒抓取方面显示出了巨大的潜力。然而,柔性手爪在与物体交互时的变形带来了抓取物体的不准确性,这导致了鲁棒抓取和进一步操作的不稳定性。在本文中,我们提出了一个全方位的自适应软手指,可以感知基于嵌入式光纤和应用机器学习方法来解释透射光强度的变形。此外,利用软手指提供的触觉信息,我们设计了一种低成本的多自由度夹持器,以主动顺应物体的形状,优化抓取策略,这就是所谓的刚性-柔性交互抓取。这种抓取策略的两个主要优点是:一是通过主动适应可以实现更鲁棒的抓取;二是所收集的触觉信息有助于进一步的操作。
2020-12-06 cs.RO
Robust Peg-in-Hole Assembly under Uncertainties via Compliant and Interactive Contact-Rich Manipulation
Department of Computer Science, Rice University(计算机科学系, Rice大学);U.S. National Institute of Standards and Technology(美国国家标准与技术研究院)
本文提出一种基于柔顺与交互式富接触操作的轴孔装配系统,通过包含碰撞的交互迭代定位目标孔并利用环境接触约束细化插入运动,无需精确感知即可在紧公差下实现鲁棒装配。
2025-06-28 cs.RO
GeniWorld: A Generalizable Interactive World Model for Robotic Manipulation via Visual Actions
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent Robotics X(腾讯Robotics X实验室);The Hong Kong University of Science and Technology(香港科技大学);Shenzhen Technology University(深圳技术大学)
针对通用机器人策略在复杂环境中鲁棒性不足的问题,提出GeniWorld交互式世界模型,通过解耦本体与环境动态、构建自回归视频预测模型实现泛化,可用于策略评估并提升下游操作性能。
2026-10-09 cs.RO
Gaze2Act: Gaze-Conditioned Vision-Language-Action Policies for Interactive Robot Manipulation
MARS Lab, Nanyang Technological University(MARS实验室,南洋理工大学)
提出Gaze2Act框架,通过将人类注视作为动态意图信号,结合跨视角语义匹配和策略级条件化,实现机器人对复杂交互任务的精确操作。
2026-05-28 cs.RO
Prompting with the Future: Open-World Model Predictive Control with Interactive Digital Twins
Cornell University(康奈尔大学)
针对视觉语言模型物理理解不足、难以预测低层机器人控制的问题,提出融合VLM语义推理与交互式数字孪生的开放世界模型预测控制框架,通过模拟生成轨迹、未来提示选优及多视点合成提升性能,在复杂操作任务上优于基线方法。
2025-06-16 cs.RO
Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models
Fudan University(复旦大学)
针对大语言模型缺乏视觉定位制约机器人实体交互的问题,提出融合GPT-4与视觉模型的Polaris框架及Syn2Real位姿估计流程,在桌面操作任务中表现优异且具备泛化潜力。
2024-08-15 cs.CL cs.CV cs.RO
DeltaWorld: Physically Consistent Interactive World Simulators via Action-Conditioned Latent Increment Learning
Imprintx Robotics(印迹机器人);Electric Power Research Institute of State Grid Jibei Electric Power Co., Ltd.(国网冀北电力有限公司电力科学研究院);North China Electric Power Research Institute Co., Ltd.(华北电力科学研究院有限责任公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
DeltaWorld通过Delta-LTM预测动作引起的潜在增量并添加至当前状态,结合交互感知对齐,实现物理一致的机器人操作世界模拟,显著降低FVD和LPIPS。
2026-10-05 cs.RO
FlowCorrect: Efficient Interactive Correction of Generative Flow Policies for Robotic Manipulation
Institute for Material Handling and Logistics (IFL), Karlsruhe Institute of Technology(物料处理与物流研究所,卡尔斯鲁厄技术大学)
FlowCorrect通过交互式模仿学习在部署时高效修正生成流策略,提升机器人操作的成功率与效率。
2026-08-31 cs.LG cs.RO
IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks
Xiaoya Lu 1, 2(某大学);Zeren Chen 2, 3(某大学);Xuhao Hu 2, 4(某大学);Yijin Zhou 2(某大学);Weichen Zhang 2(某大学);Dongrui Liu 2(某大学);Lu Sheng 3(某研究所);Jing Shao 2(某研究所)
IS-Bench通过多模态基准评估视觉语言模型驱动的具身智能体在日常家务任务中的交互安全性,揭示现有智能体缺乏安全意识的问题。
2025-12-05 cs.AI cs.CL cs.CV
Closed Loop Interactive Embodied Reasoning for Robot Manipulation
Huawei Noah’s Ark London(华为诺亚方舟实验室伦敦分部);Czech Technical University in Prague(布拉格捷克技术大学);Imperial College London(伦敦帝国学院)
本文提出闭环交互式具身推理方法CLIER,通过多模态推理与动作规划应对环境变化和动作不确定性,在仿真与真实机器人操作中分别取得76%和64%以上的成功率。
2025-03-10 cs.CV cs.RO
SWIM: Vision-Language-Grounded Soft Whole-Body Interactive Manipulation
Nanyang Technological University(南洋理工大学);Institute of Advanced Intelligence and Computing, A*STAR(A*STAR先进智能与计算研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);National University of Singapore(新加坡国立大学)
SWIM框架通过视觉-语言-动作策略结合扩散头和软体本体感觉,将RGB观察和语言指令映射为驱动序列,在软体机器人上实现高成功率操作。
2026-09-16 cs.RO
LangGrasp: Leveraging Fine-Tuned LLMs for Language Interactive Robot Grasping with Ambiguous Instructions
School of Computer Science and Technology(计算机科学与技术学院);Hubei Province Key Laboratory of Intelligent Information Processing and Real-time Industrial System(湖北省智能信息处理与实时工业系统重点实验室);Institute of Robotics and Intelligent Systems(机器人与智能系统研究院);Wuhan University of Science and Technology(武汉理工大学)
针对现有语言驱动抓取方法难处理含隐含意图的模糊指令的问题,提出整合微调LLM与2D分割引导点云定位模块的LangGrasp框架,可解析隐含意图、实现物体到部件级的高精度抓取,提升机器人非结构化环境适应性与效率。
2025-10-02 cs.RO
Understanding Contexts Inside Robot and Human Manipulation Tasks through a Vision-Language Model and Ontology System in a Video Stream
University of Alberta(阿尔伯塔大学)
日常生活中的操作任务,如倒水,在特定的操作情境下有意识地展开。随着时间的推移,能够处理这些日常生活活动(ADL)中的上下文知识可以帮助我们理解操纵意图,这对于智能机器人在各种操纵动作之间平稳过渡至关重要。在本文中,建模的预期概念的操作,我们提出了一个视觉数据集下的严格约束的知识域的机器人和人类的操作,其中操作的概念和关系存储在一个本体系统的分类方式。此外,我们提出了一个计划,以产生一个组合的视觉注意力和不断发展的知识图谱充满常识知识。我们的计划与现实世界的摄像机流和融合基于注意力的视觉语言模型与本体系统。实验结果表明,该方案可以成功地代表一个预期的对象操作过程的机器人和人类的演变。该方案允许机器人通过观看实时视频来模仿人类的有意行为。我们的目标是进一步发展这个计划,为现实世界的机器人智能人机交互。
2020-03-02 cs.CV cs.RO
SkillBlender: Towards Versatile Humanoid Whole-Body Loco-Manipulation via Skill Blending
University of Southern California(南加州大学);Stanford University(斯坦福大学);Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校)
针对人形机器人移动操作方法需逐任务调优、通用性不足的问题,提出分层强化学习框架SkillBlender,通过预训练并动态融合任务无关基础技能实现多功能操作,同时推出仿真基准SkillBench,实验表明其性能优于基线且行为更可靠。
2025-06-11 cs.LG cs.RO
Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
针对双臂移动机器人家务操作数据匮乏问题,提出BRMData数据集,涵盖10项多样化家务任务并引入操作效率评分MES指标,以推动双臂移动操作技术发展。
2024-06-06 cs.RO
Vision-based Robot Manipulation Learning via Human Demonstrations
Beihang University(北京航空航天大学)
基于视觉的学习方法为机器人学习复杂的操作任务提供了希望。然而,如何将学习到的操作技能推广到现实世界的交互仍然是一个悬而未决的问题。在这项工作中,我们研究了机器人操作技能的学习,从一个单一的第三人称视图演示使用活动识别和目标检测在计算机视觉。为了促进跨对象和环境的泛化,我们建议使用文本语料库形式的先验知识库来推断在机器人的上下文中要与之交互的对象。我们评估我们的方法在现实世界中的机器人,使用几个简单和复杂的操作任务,在日常生活中经常执行。实验结果表明,即使在少量训练数据的情况下,该方法也能取得良好的泛化性能。
2020-03-01 cs.RO
Audio-Visual Grounding Referring Expression for Robotic Manipulation
Tsinghua University(清华大学)
在人们的日常对话中,指称语通常用于指称特定的对象。在本文中,我们开发了一个新的任务,视听接地指表示机器人操作。机器人利用音频和视觉信息来理解给定操作指令中的指称表达式,并执行相应的操作。为了解决这个问题,提出了一个视听框架,用于视觉定位和声音识别。我们还建立了一个数据集,其中包含视觉数据,听觉数据和操作指令进行评估。最后,大量的实验进行了离线和在线,以验证所提出的视听框架的有效性。实验结果表明,机器人在有视听数据的情况下比只有视觉数据的情况下表现得更好。
2021-09-22 cs.RO
Learning Hierarchical Interactive Multi-Object Search for Mobile Manipulation
University of Freiburg(弗莱堡大学)
针对非结构化环境中机器人需结合操作与导航完成多目标搜索的问题,提出分层强化学习方法HIMOS,通过语义地图和高层动作空间组合多类技能,实现零样本环境迁移且鲁棒性优异。
2023-10-19 cs.AI cs.LG cs.RO
Bimanual High-Density EMG Control for In-Home Mobile Manipulation by Users with Quadriplegia
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
针对颈椎脊髓损伤用户,提出双侧高密度肌电(HDEMG)前臂袖套,结合共享自主框架实现实时手势控制移动操作器,经12天居家研究验证日常任务有效性。
2026-06-16 cs.RO
Interactive OT Gym: A Reinforcement Learning-Based Interactive Optical tweezer (OT)-Driven Microrobotics Simulation Platform
Department of Bioengineering, Imperial-X Initiative, Imperial College London(生物工程系、Imperial-X计划、帝国理工学院伦敦)
针对光镊协同微操作难题,提出基于强化学习的Interactive OT Gym仿真平台,集成触觉反馈与上下文感知共享控制策略,实现人机控制自适应混合,在细胞操作任务中将完成时间缩短约67%且成功率达100%。
2025-05-30 cs.AI cs.RO
RoboEXP: Action-Conditioned Scene Graph via Interactive Exploration for Robotic Manipulation
Peking University(北京大学);National University of Singapore(新加坡国立大学);Columbia University(哥伦比亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司)
本研究提出交互式场景探索任务与RoboEXP系统,融合LMM和显式记忆,让机器人自主探索并构建动作条件场景图,可高效支撑多种真实世界物体操作任务。
2024-10-08 cs.AI cs.CV cs.LG
M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming
针对现有驾驶世界生成方法局限,提出M$^\text{4}$World模型,通过灵活接口与多阶段训练实现对象操纵及长时流稳定,引入后训练与生成模型,并用新管道评估,实验证明其在驾驶模拟中有高质量、可控性与稳定性。
2026-07-16 cs.CV cs.RO
RoboSimStudio: An Interactive Toolkit for Human and Agent Rapid Real2Sim of Robot Manipulation Tasks
University of California, Berkeley(加州大学伯克利分校);NVIDIA(英伟达)
针对机器人操作任务中物理交互建模困难的问题,提出交互式工具包RoboSimStudio,基于Newton系统实现,支持迭代优化仿真,经多类实验验证可用于现实到仿真迁移。
2026-10-15 cs.AI cs.GR cs.LG
An Interactive LLM-Based Simulator for Dementia-Related Activities of Daily Living
Worcester Polytechnic Institute(伍斯特理工学院);University of California Davis(加州大学戴维斯分校);MGH Institute of Health Professionals(麻省总医院健康专业学院);University of New Hampshire(新罕布什尔大学)
本文提出一个交互式模拟器,利用大语言模型生成痴呆患者在日常活动中的多轮行为,通过专家反馈优化策略,提升辅助AI和机器人在痴呆护理中的应用效果。
2026-03-06 cs.GR cs.HC cs.RO
ABot-PhysWorld: Interactive World Foundation Model for Robotic Manipulation with Physics Alignment
ABot-PhysWorld通过物理对齐的交互世界模型,生成物理合理且可控的视频,解决了传统方法在物理仿真中的不足,通过新框架和基准测试提升了性能。
2026-03-27 cs.CV cs.RO
Interactive Navigation for Legged Manipulators with Learned Arm-Pushing Controller
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出一种腿式机械臂交互式导航框架,通过强化学习臂推控制器和两阶段奖励策略在狭窄空间中重新定位可移动障碍物,实现更短路径和更高通行效率。
2025-07-21 cs.RO
CIDER: Continual Interactive Distillation for Embodied Reinforcement Learning
AgiBot;Shanghai Jiao Tong University(上海交通大学)
本文提出CIDER框架,通过冻结历史策略为教师策略并引入梯度路由,解决具身强化学习的灾难性遗忘问题,在6个现实世界操作任务上实现了新技能获取与旧技能保留的平衡。
2026-08-25 cs.RO
Kinematically-Informed Interactive Perception: Robot-Generated 3D Models for Classification
Robotics Institute(机器人研究所);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Electrical Engineering and Computer Science(电子工程与计算机科学学院)
为了在日常环境中发挥作用,机器人必须能够观察和学习物体。最近的数据集使将数据分类为已知对象类别的进展成为可能;然而,目前还不清楚如何在混乱的、部分可观察的环境中操作时收集可靠的对象数据。在本文中,我们解决了使用机器人平台为现实世界的物体构建完整的3D模型的问题,该平台可以从杂乱中去除物体,以便更好地分类。此外,我们能够在遇到全新的对象类别时学习它们,使机器人能够在未来的交互中对以前无法识别的对象进行分类。我们建立模型的把握对象,同时操作和观察,我们指导视觉数据的处理,使用机器人的运动学描述,结合观察从不同的观点,并消除背景噪声。为了测试我们的框架,我们使用配备RGBD相机的移动操作机器人来构建未知对象的体素化表示,然后将其分类为新的类别。然后,我们让机器人从杂乱中移除物体,以实时操作,观察和分类它们。
2019-01-17 cs.RO
Collaborative Bimanual Manipulation Using Optimal Motion Adaptation and Interaction Control
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);University of Sussex(萨塞克斯大学)
本研究提出含最优运动适配与分形阻抗交互控制的协作双臂操作框架,可将多操作员指令适配为机器人可行运动,经多场景实验验证能实现安全可靠的人机协同双臂操作。
2023-07-18 cs.RO
Manipulation Motion Taxonomy and Coding for Robots
University of South Florida(南佛罗里达大学)
本文介绍了一种分类的操作,特别是在烹饪1)分组操作从机器人的角度来看,2)巩固别名和消除运动类型的歧义,和3)提供了一条路径,将学习的操作新的未学习的操作。使用教学视频作为参考,我们选择了一个列表中常见的操作动作在烹饪活动中看到的分组为类似的运动的基础上的几个轨迹和接触属性。操作代码,然后开发的分类属性的基础上表示的操作运动。操作分类,然后用于比较日常交互式操作(DIM)数据集中的运动数据,以揭示它们的运动相似性。
2020-07-31 cs.CV cs.RO
Predictive and Robust Robot Assistance for Sequential Manipulation
Honda Research Institute Europe(本田欧洲研究院)
提出一种预测模型,将用户操作序列和机器人干预构建为分层多目标优化问题,通过预测用户姿态并主动重排物体,实现鲁棒的机器人辅助操作。
2023-09-08 cs.RO
Dual-arm Coordinated Manipulation for Object Twisting with Human Intelligence
Imperial College London(伦敦帝国理工学院);University of Pennsylvania(宾夕法尼亚大学)
机器人双臂扭转是工业生产和日常服务中常见但非常具有挑战性的任务,因为它通常需要灵巧的协作,大范围的末端执行器旋转,以及对物体操作的良好适应性。同时,安全性和效率是机器人双臂协调操作的首要考虑因素。因此,通常采用的基于环境感知和运动规划技术的全自动任务执行方法对于艰巨的扭转任务仍然是不够的和有问题的。为此,本文提出了一种新的扭体操作双臂协调控制策略,该策略将一只手臂的优化运动规划与另一只手臂的实时遥控和人工智能相结合。分析和仿真结果表明,该方法能够实现双臂无碰撞和无奇异性,提高了机器人的灵活性、安全性和效率。
2021-08-26 cs.RO
Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA
Osaka University(大阪大学);Waseda University(早稻田大学);Kyoto University(京都大学)
提出了一种基于FPGA的神经网络的人形机器人柔性物体操作系统。虽然使用机器人操纵柔性物体吸引了越来越多的关注,因为这些任务是我们日常生活中的基本和必不可少的活动,但直到最近才在深度神经网络的帮助下付诸实践。然而,这样的系统依赖于GPU加速器,其不能被实施到空间有限的机器人身体中。虽然现场可编程门阵列(FPGA)被认为是节能的并且适合于嵌入式系统,但是由于FPGA具有有限的片上存储器,因此模型大小应该被大幅减小。为此,我们提出了“部分”二进制化深度卷积自动编码器技术,其中只有编码器部分被二进制化以压缩模型大小,而不会降低推理精度。在Xilinx ZCU 102上实现的模型实现了每秒41.1帧,功耗为3.1 W,{ \awano {,分别相当于在Core i7 6700 K和RTX 2080 Ti上实现的系统的10倍和3.7倍改进。
2021-07-01 cs.RO