Ego4WAM: What Matters When Scaling Egocentric Human Data for Robot Learning?
Fudan University(复旦大学);Horizon Robotics(地平线机器人);Huazhong University of Science & Technology(华中科技大学);Zhejiang University of Technology(浙江工业大学)
Ego4WAM系统研究了以自我为中心的人类数据在人机对齐、时长、多样性和监督方式等因素对机器人学习的影响,发现对齐演示提升泛化并降低数据需求,视频监督有效,为数据扩展提供指导。
2026-10-01 cs.CV cs.RO
What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos?
Massachusetts Institute of Technology(麻省理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard University(哈佛大学)
研究利用日常互联网视频协同训练机器人操作策略时,手部姿态质量和运动差距对迁移的影响,提出一种协同训练方法,在低机器人数据场景下六个操作任务中绝对成功率提升29.7%。
2026-06-04 cs.AI cs.CV cs.LG
Show Me What You Can Do: Capability Calibration on Reachable Workspace for Human-Robot Collaboration
UCLA Center for Vision, Cognition, Learning, and Autonomy (VCLA)(加州大学洛杉矶分校视觉、认知、学习与自主中心(VCLA));Massachusetts Institute of Technology(麻省理工学院);UCLA Department of Psychology(加州大学洛杉矶分校心理学系);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院(BIGAI));Peking University(北京大学);Tsinghua University(清华大学)
将人类对机器人能力的评估与其真实能力相结合,对于在人类和机器人合作伙伴之间建立共同点至关重要。在这项工作中,我们提出了一种方法来校准人类的机器人的可达工作空间的估计,通过少量的示范合作之前。我们开发了一种新型的运动规划方法REMP,它联合优化了机器人运动的物理成本和表现力,以揭示机器人对人类观察者的可达性。我们对人类参与者的实验表明,使用REMP进行的简短校准可以有效地弥合非专家用户认为机器人可以达到的距离与地面实况之间的差距。我们表明,这种校准过程不仅会导致更好的用户感知,而且还促进了更有效的人机协作在随后的联合任务。
2022-01-27 cs.AI cs.RO
Cross-Embodiment Robot Manipulation Skill Transfer using Latent Space Alignment
University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出一种基于潜在空间对齐的跨本体机器人操作技能迁移方法,通过将源与目标机器人的状态和动作空间投影至共享潜在空间,实现无需目标域奖励的仿真到真实策略迁移。
2024-06-04 cs.AI cs.RO
Effective Explanations for Belief-Desire-Intention Robots: When and What to Explain
LASR Lab, TU Dresden(德累斯顿技术大学LASR实验室);Department of Computing Science, Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西特齐克大学计算机科学系)
本文研究BDI机器人在日常清洁任务中何时及如何向用户解释其行为,通过用户偏好调查提出识别意外行为并生成简洁有效解释的两种算法,以提升人机交互体验。
2025-07-02 cs.AI cs.RO
A Framework for Closed-Loop Robotic Assembly, Alignment and Self-Recovery of Precision Optical Systems
Research Laboratory of Electronics, Massachusetts Institute of Technology(麻省理工学院电子研究实验室);NSF Institute for Artificial Intelligence and Fundamental Interactions (IAIFI) and the Department of Physics, Massachusetts Institute of Technology(国家科学基金会人工智能与基本相互作用研究所(IAIFI)和麻省理工学院物理系);Nokia Bell Labs(诺基亚贝尔实验室);School of Electrical, Computing and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算与能源工程学院)
本文提出一个机器人框架,实现精密光学系统的自动构建、对齐与维护,通过层级计算机视觉、优化和定制工具实现闭环自主操作,展示了桌面激光腔的全自动构建及自我恢复能力。
2026-03-23 cs.AI cs.RO physics.optics
Learning User-Preferred Mappings for Intuitive Robot Control
Stanford University(斯坦福大学)
当人类控制无人机、汽车和机器人时,我们通常对我们的输入应该如何使系统表现有一些先入为主的概念。现有的遥操作方法通常采用一种通用的方法,设计人员预先定义了人类输入和机器人动作之间的映射,每个用户都必须在重复的交互中适应这种映射。相反,我们提出了一个个性化的方法来学习人类的首选或先入为主的映射从一些机器人查询。给定一个机器人控制器,我们确定一个对齐模型,转换人类的输入,使控制器的输出符合他们的期望。我们通过认识到人类映射具有很强的先验知识,使这种方法具有数据效率:我们期望输入空间是成比例的,可逆的和一致的。验证这些先验知识可以确保机器人从很少的例子中学习到直观的映射。我们测试我们的学习方法在机器人操作任务的启发辅助设置,其中每个用户有不同的个人喜好和物理能力的遥操作机器人arm.Our模拟和实验结果表明,学习输入和机器人动作之间的映射,提高了客观和主观的性能相比,手动定义的路线或学习路线没有直观的先验知识。显示这些用户研究的补充视频可以在https://youtu.be/rKHka0_48-Q上找到。
2020-07-22 cs.AI cs.RO
Skill Composition for Legged Robot Reinforcement Learning
Sapienza University of Rome(罗马大学)
本文提出将腿式机器人强化学习中的独立子策略组合作为独立研究问题,通过可靠技能组合实现可验证的机器人行为控制。
2026-09-15 cs.AI cs.RO
OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics
New York University(纽约大学);Meta
本文提出OK-Robot框架,通过组合视觉-语言模型、导航原语和抓取原语实现无需训练的拾取-放置操作,在真实家庭环境中达到58.5%成功率,刷新OVMM领域纪录,并揭示了集成开放知识系统时细节处理的关键作用。
2024-02-29 cs.AI cs.CV cs.LG
Pixel Motion Diffusion is What We Need for Robot Control
Stony Brook University(石溪大学)
DAWN框架通过结构化像素运动表示连接高层运动意图与底层机器人动作,实现端到端可训练系统,展示多任务性能和现实迁移能力。
2026-04-01 cs.CV cs.RO
What Matters in Language Conditioned Robotic Imitation Learning over Unstructured Data
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
机器人技术的一个长期目标是建造能够通过机载传感器获得的感知执行各种日常任务的机器人,这些感知仅通过自然语言指定。虽然最近通过利用从像素的端到端学习,在语言驱动的机器人技术方面取得了实质性的进展,但由于设置的潜在变化,没有明确和充分理解的过程来做出各种设计选择。在本文中,我们对从离线自由形式模仿数据集学习语言条件策略的最关键挑战进行了广泛的研究。我们进一步确定架构和算法技术,提高性能,如机器人控制学习的分层分解,多模态Transformer编码器,离散的潜在计划和自我监督的对比损失,对齐视频和语言表示。通过将我们的调查结果与我们改进的模型组件相结合,我们能够提出一种新的方法,该方法在具有挑战性的语言条件长视野机器人操作CALVIN基准上显着优于现有技术。我们已经开源了我们的实现,以促进未来的研究,在学习执行许多复杂的操作技能,在一排指定的自然语言。代码库和训练模型可在http://hulc.cs.uni-freiburg.de上获得
2022-08-30 cs.AI cs.CL cs.CV
On the Effectiveness of Retrieval, Alignment, and Replay in Manipulation
Imperial College London(帝国理工学院)
针对端到端行为克隆方法处理视觉模仿学习效率低的问题,本文提出将推理分解为检索、对齐、重放三阶段的范式,真实场景实验验证其能显著提升学习效率与泛化能力。
2023-12-19 cs.LG cs.RO
OASIS: Observation-Action Space Alignment via SE(3) Trajectory Prediction for Robotic Manipulation
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence(人机混合增强智能国家重点实验室);Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所)
提出OASIS视觉运动策略,通过SE(3)末端执行器轨迹预测对齐中间表示与动作空间,在仿真和真实实验中优于VLA和WAM基线。
2026-11-10 cs.AI cs.RO
Toward Physically Grounded JEPA World Models for Goal-Conditioned Robotic Planning
GENISOM AI
该研究提出结合逆动力学模型与状态对齐的端到端JEPA世界模型,在四个机器人规划基准任务中多数达到最优成功率,验证了状态对齐对提升规划效果的作用。
2026-09-22 cs.AI cs.LG cs.RO
Unveiling the Impact of Data and Model Scaling on High-Level Control for Humanoid Robots
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学);University of Michigan(密歇根大学)
SCHUR通过大规模数据集和可扩展学习框架,提升了双足机器人高层控制的运动生成和文本-运动对齐性能。
2025-12-07 cs.RO
Few-Shot In-Context Imitation Learning via Implicit Graph Alignment
Imperial College London(帝国理工学院)
本文将模仿学习形式化为物体图表示间的条件对齐问题,使机器人能在无先验知识和额外训练下,仅凭少量演示即可对新物体执行任务,并在真实日常任务中优于基线。
2023-10-18 cs.AI cs.LG cs.RO
Singing the Body Electric: The Impact of Robot Embodiment on User Expectations
University of Southern California(南加州大学)
本文提出利用机器人具身形态的多模态特征预测用户对其社交与物理能力的期望,并展示这些模型可泛化到不同社交机器人,从而为交互与物理设计提供指导。
2024-01-13 cs.AI cs.HC cs.RO
Informative Communication of Robot Plans
Ume University(乌梅大学)
针对机器人计划语言描述未考虑用户先验知识的问题,提出基于二阶心智理论信息增益的策略,实验证明其比递增/递减顺序策略更快帮助用户理解目标,并揭示了信息性沟通的核心要素。
2025-11-17 cs.AI
What Is Working Memory and Mental Imagery? A Robot that Learns to Perform Mental Computations
本文追溯到Turing(1936),将他的机器视为一个认知模型(W,D,B),其中W是由记忆装置(分成方块的带子)表示的“外部世界”,(D,B)是由感觉运动装置D和大脑B组成的简单机器人。机器人的感觉运动装置(“眼睛”、“手”和“语言器官”)允许机器人模拟任何图灵机的工作。机器人通过“自言自语”来模拟图灵机的内部状态。“在训练阶段,教师迫使机器人(通过直接作用于其运动中心)使用磁带上呈现的不同输入数据执行算法的几个示例。实现了两个效果:1)机器人学习使用磁带用任何输入数据执行所示的算法。2)机器人学习使用“想象的磁带”在“脑海中”执行算法。该模型说明了通用学习神经计算机的最简单概念,证明了联想学习作为编程机制的普遍性,并提供了一个简化的,但非平凡的神经生物学合理解释工作记忆和心理意象的现象。该模型被实现为一个用户友好的程序为Windows称为EROBOT。该程序可在www.brain0.com/software.html上获得。
2003-09-08 cs.AI cs.NE
What Foundation Models can Bring for Robot Learning in Manipulation : A Survey
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Southeast University(东南大学);Universität Hamburg(汉堡大学)
本文综述了基础模型在机器人操作学习中的应用,提出一个类似自动驾驶的多模块总体框架,分析各模块中基础模型的作用、现有方法、挑战与未来方向。
2025-11-08 cs.RO
What Would You Do? Acting by Learning to Predict
Queensland University of Technology(昆士兰科技大学)
我们建议直接从视觉演示中学习任务,通过学习预测人类和机器人对环境的行为结果。我们使机器人能够在不了解人类思维过程或行为的情况下,仅在视觉上观察到状态转换的情况下,物理地执行人类演示的任务。我们评估我们的方法在两个桌面上,对象操作任务,并展示概括到以前看不见的状态。与现有的示教学习、强化学习和逆强化学习方法相比,我们的方法减少了实现机器人任务学习系统所需的先验知识。
2017-03-08 cs.RO
Arc-Length-Based Warping for Robot Skill Synthesis from Multiple Demonstrations
Faculty of Electrical Engineering, Mathematics and Computer Science, University of Twente(代尔夫特理工大学电子工程、数学和计算机科学学院);Department of Electrical Engineering, Wright State University(威斯汀豪斯大学电气工程系)
本文提出基于弧长的变形方法,用于提升多示教机器人技能合成的轨迹同步和技能提取质量。
2025-02-28 cs.RO
What do we learn about development from baby robots?
Inria(法国国家信息与自动化研究所)
了解婴儿的发展是当代科学最大的科学挑战之一。一个很大的困难来源于这样一个事实,即婴儿技能的发展是多个时空尺度上多种机制相互作用的结果。“先天”或“后天”的概念不再是更充分的解释工具,这要求从还原论转向系统解释。为了应对这一挑战,建造和试验机器人来模拟成长中的婴儿大脑和身体至关重要。在感觉运动,认知和社会发展中的模式形成的系统解释,被视为一个复杂的动力系统,需要使用基于数学,算法和机器人的正式模型。使用这些模型制定关于发展的假设,并通过实验进行探索,使我们能够详细考虑许多机制和参数之间的相互作用。这补充了心理学和神经科学中传统的实验方法,在这些方法中,只能同时研究少数变量。此外,机器人的使用特别重要。物理定律在我们周围的无机世界中产生了自发的模式。它们还强烈地影响生活,特别是通过其(变化的)身体与物理环境的相互作用来限制和指导婴儿的发展。能够将身体视为一个实验变量,可以系统地改变以研究对技能形成的影响,这一直是许多发展科学家的梦想。这在今天的发展机器人技术中已经成为可能。
2015-01-20 cs.AI cs.CY
RoboTAG: End-to-end Robot Configuration Estimation via Topological Alignment Graph
Tsinghua University(清华大学);Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出RoboTAG,通过结合3D和2D分支,利用拓扑对齐图缓解对标签的依赖,提升机器人姿态估计的鲁棒性。
2026-04-15 cs.CV cs.RO
SO(3) attitude controllers and the alignment of robots with non-constant 3D vector fields
本研究面向机器人领域,提出用于实现三维机器人与非恒定三维向量场对齐的SO(3)几何姿态控制器,并详尽推导了控制器分析与实现所需的全部计算过程,为相关应用提供技术支撑。
2024-06-21 cs.RO
Comparison of Lexical Alignment with a Teachable Robot in Human-Robot and Human-Human-Robot Interactions
University of Pittsburgh(匹兹堡大学)
说话者在调整彼此的会话行为的过程中建立融洽关系。融洽产生的可教代理,而指导域材料已被证明是促进学习。过去的工作在教育领域的词汇对齐遭受的局限性,在这两个措施来量化对齐和对齐与代理人的互动类型进行了研究。在本文中,我们应用基于共享表达式(可能由多个单词组成)的数据驱动概念的对齐措施,并将一对一人机(H-R)交互中的对齐与协作人机(H-R)的H-R部分进行比较机器人(H-H-R)交互。我们发现,学生在H-R设置对齐可教机器人比在H-H-R设置和词汇对齐和融洽之间的关系是更复杂的比以前的理论和实证工作预测。
2022-09-23 cs.CL cs.HC cs.RO
What we see and What we don't see: Imputing Occluded Crowd Structures from Robot Sensing
Univ Rennes, Inria, CNRS, IRISA(雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、雷恩第一大学计算机科学研究所);CIMAT, A.C.(墨西哥数学研究中心)
我们认为,在拥挤的环境中的移动机器人的导航,其中车载传感的人群通常是有限的闭塞。我们解决的问题,推断人类占用的机器人周围的空间,在盲点,超出其传感能力的范围。这个问题是相当未探索的,尽管它对机器人人群导航的效率和安全性,这需要估计和预测周围的人群状态it.In这项工作中,我们提出了第一个解决方案的样本预测可能的人类存在的基础上的状态的一组较少的感知到的人周围的机器人以及以前的观察人群活动的重要影响。
2021-09-17 cs.CV cs.RO
Reflective-AR Display: An Interaction Methodology for Virtual-Real Alignment in Medical Robotics
Johns Hopkins University(约翰斯·霍普金斯大学);Department of Computer Science, Johns Hopkins University(约翰斯·霍普金斯大学计算机科学系);Laboratory for Computer Aided Medical Procedures, Johns Hopkins University(约翰斯·霍普金斯大学计算机辅助医疗程序实验室)
机器人辅助微创手术已被证明可以改善患者的预后,并减少并发症和恢复时间。虽然越来越多的可配置机器人手臂可以在混乱的环境中最大限度地达到并避免碰撞,但在手术过程中适当定位它们是复杂的,因为安全法规阻止了自动驾驶。我们提出了一种基于盔装显示器(HMD)的增强现实(AR)系统,旨在指导最佳手术臂设置。配备HMD的工作人员将机器人与其计划的虚拟对手对齐。在这种以用户为中心的环境中,主要的挑战是阻碍这种协作机器人解决方案的视角模糊性。为了克服这一挑战,我们引入了一种新的注册概念,通过反射式AR显示器提供多视图AR体验,同时显示来自多个视点的增强,将AR内容直观地对齐到其物理对应物。使用该系统,用户可以可视化不同的角度,同时主动调整姿势,以确定最接近的虚拟叠加到真实的注册变换。实验结果表明,在使用反射AR显示器时,虚拟和真实机器人的交互式对准的改善。我们还提出了测量配置机器人机械手在模拟套管针放置手术中使用AR指导方法。
2020-03-04 cs.CV cs.RO
TCAFF: Temporal Consistency for Robot Frame Alignment
MIT Department of Aeronautics and Astronautics(麻省理工学院航空与宇航科学系)
针对无全局定位、里程计漂移下的机器人坐标系对齐难题,提出利用时间一致性、基于稀疏开集物体地图的多假设算法TCAFF,在多机器人协作行人跟踪任务中达到接近真值定位的跟踪精度。
2025-05-19 cs.RO
TwinAligner: Visual-Dynamic Alignment Empowers Physics-aware Real2Sim2Real for Robotic Manipulation
CFCS, School of Computer Science, Peking University(计算机学院,北京大学CFCS);PKU-AgiBot Lab(北京大学AgiBot实验室);State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机学院,北京大学)
TwinAligner通过视觉和动态对齐技术,解决仿真与现实之间的差距,提升机器人操控的可扩展学习能力。
2025-12-22 cs.CV cs.GR cs.RO
GenTrack: Physical Alignment for Robot-Native Motion Generation and Zero-Shot Humanoid Tracking
GenTrack是一种在线生成器-跟踪器框架,通过协同训练缩小重定向参考与机器人原生运动的可执行性差距,在Unitree G1机器人上实现了零样本人形机器人跟踪性能提升。
2026-08-06 cs.CV cs.RO
Value Alignment and Trust in Human-Robot Interaction: Insights from Simulation and User Study
University of Michigan(密歇根大学);Air Force Research Laboratory(空军研究实验室);University of Miami(迈阿密大学)
本研究通过仿真与用户实验,探讨人机协作中价值对齐对信任的影响,提出基于逆强化学习的自适应对齐策略,并验证其在无先验时提升信任与感知性能。
2024-05-28 cs.RO
What Matters for Simulation to Online Reinforcement Learning on Real Robots
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind)
本研究探讨了在真实机器人上实现稳定在线强化学习的关键设计选择,发现某些默认设置可能有害,而稳健的设计选择能提高学习稳定性。
2026-07-24 cs.AI cs.RO
A Taxonomy of Conceptual Alignment in Human-Robot Dialogue
College of Design and Innovation, Tongji University(同济大学设计创意学院);School of Design, Southern University of Science and Technology(南方科技大学设计学院)
提出一种分类法,从触发因素和理解层次两个维度刻画人机对话中的概念对齐过程,并设计对话行为模式作为分析工具,为交互设计提供结构化基础。
2026-06-23 cs.CL cs.HC cs.RO
An Avatar Robot Overlaid with the 3D Human Model of a Remote Operator
Massachusetts Institute of Technology(麻省理工学院);Harvard Medical School(哈佛医学院);Spaulding Rehabilitation Hospital(斯波尔丁康复医院)
虽然远程呈现辅助机器人已经取得了重大进展,但它们仍然缺乏远程操作员的真实感和物理存在感。这导致了对这种机器人缺乏信任和采用。在本文中,我们介绍了一个化身机器人系统,这是一个混合的真实/虚拟的机器人系统,物理上与一个人在机器人附近的互动。机器人结构与远程护理人员的3D模型重叠,并通过增强现实(AR)进行可视化。通过这种方式,人接收触觉反馈,因为机器人触摸他/her. We进一步提出了一个最佳的非迭代对齐求解器,解决了最佳对齐姿态的3D人体模型的机器人(肩到手腕非迭代)。拟议的对齐求解器是无状态的,实现了最佳对齐,比基线求解器更快(在我们的评估中证明)。我们还提出了一个评估框架,通过多方面的指标量化的求解器的对齐质量。我们表明,我们的求解器可以始终如一地产生类似或优越的路线作为IK-based基线,而没有潜在的缺点。
2023-03-05 cs.RO
Monocular One-Shot Metric-Depth Alignment for RGB-Based Robot Grasping
Department of Computer Science, Rutgers University(计算机科学系,罗格斯大学)
提出MOMA框架,通过一次性自适应对齐从单张RGB图像恢复度量深度,无需额外训练,在透明物体和真实抓取任务中表现优异。
2025-06-20 cs.CV cs.RO
Learning Reward for Robot Skills Using Large Language Models via Self-Alignment
National University of Singapore(新加坡国立大学);The University of Hong Kong(香港大学)
针对机器人奖励函数学习瓶颈,提出基于LLM自对齐的无人工奖励学习方法,通过LLM生成奖励特征与参数、迭代自对齐更新参数,在2个仿真环境9项任务上提升训练效果与效率,且GPT token消耗显著低于变异法。
2024-05-16 cs.AI cs.RO
What Makes a Place? Building Bespoke Place Dependent Object Detectors for Robotics
Oxford Robotics Institute, Department of Engineering Science, University of Oxford(牛津大学工程科学系牛津机器人研究所)
本文是关于使机器人通过在其操作环境中重复使用来提高其感知性能,创建适合机器人移动的地方的本地专家检测器。我们利用机器人视觉感知中的“经验”概念,通过将对象检测器模型拟合到特定位置来解释机器人看到的数据中的偏差。我们在本文中试图回答的关键问题很简单:我们如何定义一个地方?我们为自动驾驶构建定制的行人检测器模型,强调在概括和模型容量之间的必要权衡,因为我们改变了我们适合的地方的范围。我们展示了一个相当大的性能增益超过当前最先进的检测器时,使用计算轻量级定制的地方拟合检测器模型。
2017-08-07 cs.CV cs.RO
What you see is (not) what you get: A VR Framework for Correcting Robot Errors
KTH Royal Institute of Technology(KTH皇家理工学院)
针对虚拟、增强和混合(VAM)现实系统的直观可视化或远程操作而定制的许多解决方案对于机器人故障(例如无法检测和识别环境中的对象或规划不安全的轨迹)并不鲁棒。在本文中,我们提出了一种新的虚拟现实(VR)框架,用户可以(i)识别机器人何时未能检测到真实世界的对象,(ii)纠正VR中的错误,(iii)修改建议的对象轨迹,(iv)在真实世界的机器人上实现行为。最后,我们提出了一个用户研究,旨在测试我们的框架的有效性。项目资料可以在OSF资源库中找到。
2023-01-17 cs.RO
Pragmatic-Pedagogic Value Alignment
University of California, Berkeley(加利福尼亚大学伯克利分校)
随着智能系统获得自主性和能力,确保其目标与人类用户的目标相匹配变得至关重要;这被称为价值对齐问题。在机器人技术中,价值对齐是协作机器人设计的关键,这些机器人可以集成到人类工作流程中,成功地推断和适应用户的目标。我们认为,一个有意义的解决方案,价值对齐必须结合多智能体决策理论与丰富的数学模型的人类认知,使机器人利用人类的自然协作能力。基于决策的认知模型和心理理论,提出了一种合作逆强化学习(CIRL)动态博弈的解决方案。该解决方案抓住了一个关键的互惠关系:人类不会孤立地计划她的行动,而是从教学上推理机器人如何从中学习;机器人反过来可以预测这一点,并务实地解释人类的行动。据我们所知,这项工作构成了第一个正式的分析价值对齐的经验验证的认知模型。
2018-02-05 cs.AI cs.HC cs.LG
Tell me what this is: Few-Shot Incremental Object Learning by a Robot
The Pennsylvania State University(宾夕法尼亚州立大学)
对于许多应用程序,机器人将需要进行增量训练,以识别应用程序所需的特定对象。本文提出了一种实用的系统,用于增量训练机器人识别不同的对象类别,只使用一小部分由人类提供的视觉示例。本文使用了最近开发的最先进的方法,用于对象的Few-Shot增量学习。在增量学习对象类之后,机器人执行将对象组织成由人类指定的类别的桌子清洁任务。我们还展示了系统的能力,学习对象的安排和预测丢失或错误放置的对象。实验评估表明,我们的方法实现了几乎相同的性能与所有的例子在同一时间(批量训练),这构成了理论上的上限训练系统。
2020-07-15 cs.CV cs.RO
SYNERGAI: Perception Alignment for Human-Robot Collaboration
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
提出SYNERGAI系统,利用3D场景图作为显式表示,结合大型语言模型分解任务并分配工具,通过在线交互更新场景图自动纠正人机感知错位,在真实场景中显著提升了任务对齐与执行的成功率。
2024-09-24 cs.RO
VisTacAlign: Co-Training Dexterous Policies on Tactile Human and Robot Demonstrations using Visual-Tactile Alignment
ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学)
VisTacAlign通过对齐人类与机器人演示的视觉和触觉模态,共同训练灵巧策略,在精确力任务上优于仅机器人策略。
2026-10-14 cs.RO
Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment
The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学)
手术手势自动识别在机器人辅助微创手术中具有重要意义。然而,现有的方法假设训练和测试数据来自同一个域,这遭受严重的性能下降时,域间隙存在,如模拟器和真实的机器人。在本文中,我们提出了一种新的无监督领域自适应框架,可以同时转移多模态知识,即,从模拟器到真实机器人的运动学和视觉数据。它通过使用视频中的时间线索和多模态中的固有相关性来识别手势,从而利用增强的可转移特征来弥补域差距。具体来说,我们首先提出了一个MDO-K来对齐运动学,它利用时间连续性来传输具有较小间隙而不是位置值的运动方向,从而减轻适应负担。此外,我们提出了一个KV-Relation-ATT来传递运动学和视觉的共生信号。这些特征伴随着相关相似性,为增强模型的域不变性提供了更多的信息。两种特征对齐策略在端到端学习过程中使模型相互受益。我们广泛地评估我们的手势识别方法,使用DESK数据集与peg传输过程。实验结果表明,在不使用任何注释的情况下,该方法在ACC和F1评分中分别提高了12.91%和20.16%。
2021-07-17 cs.CV cs.LG cs.RO
The Impact of Adaptive Emotional Alignment on Mental State Attribution and User Empathy in HRI
University of Turin(都灵大学);University of Salerno(萨莱诺大学);ICAR-CNR(国家研究委员会认知科学与技术研究所);University of Eastern Piedmont(东皮埃蒙特大学)
本研究在人机交互场景下借助NAO机器人开展实验,对比中性沟通与情绪适配回应的效果,发现情绪对齐虽不影响用户沟通风格与说服效果,但会显著提升对机器人的心理状态归因与感知共情度。
2025-09-02 cs.RO
UMI-Bridge: Action-Anchored Latent Alignment across Human and Robot Manipulation Data
Tsinghua University(清华大学);Simple AI
UMI-Bridge利用UMI作为中间域,通过动作锚定潜在对齐,在无机器人演示下训练双视角潜在动作模型,实现数据高效的机器人学习,平均成功率提升至91.7%。
2026-09-29 cs.RO
Evaluating the Impact of Personalized Value Alignment in Human-Robot Interaction: Insights into Trust and Team Performance Outcomes
University of Michigan(密歇根大学);Air Force Research Laboratory(美国空军研究实验室);Miami Herbert Business School(迈阿密赫伯特商学院)
本文研究了机器人奖励函数实时个性化对齐人类价值观对信任和团队绩效的影响,提出三种交互策略并在54人参与的威胁搜索实验中通过信任感知MDP和贝叶斯IRL进行评估,发现当缺乏知情先验时,价值对齐能提升信任和感知绩效且不损害客观绩效。
2023-11-27 cs.RO
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
University of Virginia(弗吉尼亚大学)
本文针对预训练机器人策略微调时易出现表示漂移、泛化能力下降的问题,提出RARA方法,经两阶段适配后在13项机器人操纵任务及真实机器人上,分布内、外成功率均显著优于基线。
2026-10-20 cs.CV cs.LG cs.RO
What Can I Do Around Here? Deep Functional Scene Understanding for Cognitive Robots
University of Maryland(马里兰大学)
对于具有通过其末端执行器与物理环境交互的能力的机器人,理解周围场景不仅仅是图像分类或对象识别的任务。为了执行实际任务,机器人对视觉场景有功能性的理解是至关重要的。在这里,我们解决了从任意室内场景中定位和识别功能区域的问题,制定为基于两阶段深度学习的检测管道。一个新的场景功能测试床,这是从两个公开的室内场景数据集编译,用于评估。我们的方法在新的数据集上进行了定量评估,证明了从任意室内场景中有效识别功能区域的能力。我们还证明,我们的检测模型可以推广到新的室内场景,通过交叉验证它与来自两个不同的数据集的图像。
2016-02-02 cs.CV cs.RO
iCub! Do you recognize what I am doing?: multimodal human action recognition on multisensory-enabled iCub robot
Tilburg University(蒂尔堡大学)
本研究使用多传感器数据(即,颜色和深度)来识别多模态人机交互环境中的人类动作。在这里,我们采用了iCub机器人观察人类合作伙伴的预定义的行动,使用四种不同的工具对20个对象。我们表明,所提出的多模态集成学习利用了三个彩色摄像头和一个深度传感器的互补特性,在大多数情况下,与使用单一模态训练的模型相比,提高了识别精度。结果表明,所提出的模型可以部署在iCub机器人,需要多模态动作识别,包括社会任务,如合作伙伴特定的适应,和上下文行为理解,仅举几例。
2022-12-17 cs.CV cs.LG cs.RO
TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment
Meta FAIR
TactAlign通过触觉对齐方法实现了人到机器人的政策转移,无需配对数据或人工标注,适用于多种接触丰富任务并具备良好的泛化能力。
2026-02-14 cs.RO
Admittance-Based Surface Alignment for Human-in-the-Loop Robotic Visual Inspection
University of Washington(华盛顿大学)
提出一种基于导纳的实时闭环控制框架,融合操作员输入与感知驱动,实现机器人末端执行器与局部表面的精确对齐,在6自由度机械臂上验证了稳定法向跟踪和0.4°的平均定向误差。
2026-06-18 cs.RO
Temporal Representation Alignment: Successor Features Enable Emergent Compositionality in Robot Instruction Following
University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
针对如何自动学习实现组合性的任务表示问题,提出基于时间对齐损失关联当前与未来状态表示的方法,无需显式子任务规划或强化学习即可提升组合泛化能力,在机器人操作任务及模拟中验证了对语言或目标图像指定任务的显著改进。
2025-02-13 cs.LG cs.RO
What Robots Do Matters More Than What They Look Like: Task Context Shapes Trust in Educational HRI
LIRES Robotics Lab, University of Macedonia(马其顿大学LIRES机器人实验室)
通过视频实验(N=81)发现,任务类型(教学、指导、索要个人信息)对信任有显著主效应,而机器人外观无显著影响,表明任务背景比物理外观更关键。
2026-06-15 cs.RO