Tangles: Unpacking Extended Collision Experiences with Soma Trajectories
School of Computer Science, The University of Nottingham(诺丁汉大学计算机学院);Media Technology and Interaction Design, KTH Royal Institute of Technology(瑞典皇家理工学院媒体技术与交互设计系);Faculty of Technology, Malmö University(马尔默大学技术学院);Digital Design Department, IT University of Copenhagen(哥本哈根信息技术大学数字设计系);School of Electronics and Computer Science, The University of Southampton(南安普顿大学电子与计算机科学学院)
该研究重新审视人机碰撞的价值,通过身体设计工作坊提出soma轨迹分析框架,将碰撞拆解为多阶段延展体验,并结合实际案例分析碰撞的轨迹纠缠特性,为人机交互设计和伦理探讨提供新视角。
2025-03-20 cs.HC cs.RO
Learning Skills from Demonstrations: A Trend from Motion Primitives to Experience Abstraction
Italian Institute of Technology(意大利理工学院);Irish Manufacturing Research(爱尔兰制造研究院);University of Siena(锡耶纳大学)
机器人的使用正在从工厂中的静态环境转变为包括非结构化环境中的人机协作等新概念。为机器人预编程所有功能变得不切实际,因此,机器人需要学习如何像人类一样自主地对新事件做出反应。然而,与机器不同,人类天生擅长根据经验或观察来应对意外情况。因此,将这种行为嵌入机器人需要开发神经认知模型,在机器人学习范式下模仿运动技能。这些技能的有效编码必然要选择适当的工具和技术。本文研究了不同的运动和行为学习方法,从运动原语(MP)到经验抽象(EA),适用于不同的机器人任务。这些方法进行审查,然后通过重建一个标准的pick-n-place任务实验基准。除了为策略和算法的选择提供一个标准的指导方针外,本文还旨在对其可能的扩展和改进进行展望
2022-10-14 cs.RO cs.SY eess.SY
I Can Tell What I am Doing: Toward Real-World Natural Language Grounding of Robot Experiences
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
本文提出基于大语言模型的RONAR系统,将多模态机器人经验转化为自然语言叙述,用于行为公告、故障分析与恢复,并在真实机器人数据集上验证其优于现有方法。
2024-11-20 cs.RO
Automatic Diary Generation System including Information on Joint Experiences between Humans and Robots
The University of Tokyo(东京大学)
提出一种利用大规模语言模型和过去共同经历信息自动生成日记的系统,以提升人对机器人的好感度;实验表明包含共同经历信息的日记在舒适度和表现上得分更高,且更受青睐。
2023-09-05 cs.RO
Beyond Task Performance: Human Experience in Human-Robot Collaboration
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);University of Freiburg(弗莱堡大学)
本研究通过木工车间人机协作实验发现,中等自动化水平比高自动化更能提升心流、能动感和具身感,并指出握力可作为能动感的实时代理指标,为兼顾绩效与体验的自动化设计提供依据。
2025-05-07 cs.HC cs.RO cs.SY
Using Focus Group Interviews to Examine Biased Experiences in Human-Robot-Interaction
Ruhr West University of Applied Sciences(鲁尔西区应用科学大学)
本研究针对公共空间社交机器人部署需适配多样化用户群体的需求,通过焦点小组访谈分析引发偏见的用户体验,重点探讨了人机交互领域多样性的研究方法与测量方式。
2023-09-27 cs.RO
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University(斯坦福大学)
多任务学习理想地允许机器人获得各种有用的技能。然而,许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上,机器人学习的任务是顺序到达的,这取决于用户和机器人当前的环境。在这项工作中,我们研究了一个实际的顺序多任务RL问题,该问题的动机是物理机器人系统的实际约束,并推导出一种方法,有效地利用以前的任务学习的数据和政策,以累积增长机器人的技能。在一系列的模拟机器人操作实验中,我们的方法需要不到一半的样本比从头开始学习每个任务,同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上,我们的方法逐步学习十项具有挑战性的任务,包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
Effects of Faults, Experience, and Personality on Trust in a Robot Co-Worker
University of Bristol(布里斯托大学)
为了设计出值得信赖的机器人,我们需要了解信任的影响因素:人们的态度、经验和特征;机器人的物理设计、可靠性和性能;任务的规格以及执行任务的环境,例如在闲暇时或在时间压力下。由于机器人被用于各种各样的任务和应用,机器人设计师应该提供证据和指导,以告知他们的决策,以实现安全,可信和高效的人机交互。在这项工作中,信任的影响因素,在协同制造的情况下进行了研究,与一个真正的机器人和参与者的物理对象组装,然后拆卸的实验。客观和主观的措施,以评估发展的信任,故障和非故障的机器人条件下,和以前的经验与机器人的影响,和人格特质。我们的研究结果突出了与其他更具社会性的机器人助理(如家庭护理助理)场景相比的差异,因为条件(故障与否)不会对人类对机器人的感知产生显着影响,包括人类的喜好,可爱性,可信度,甚至能力。然而,个性和先前的经验确实会影响参与者对机器人的看法,尽管这种影响相对较小。
2017-03-09 cs.HC cs.RO
Collaborative Radio SLAM for Multiple Robots based on WiFi Fingerprint Similarity
Singapore University of Technology and Design(新加坡科技设计大学);Southwest University of Science and Technology(西南科技大学);Nanyang Technological University(南洋理工大学)
同时定位与地图构建(SLAM)使自主机器人能够在未知环境中导航和执行任务。然而,利用单个机器人在大型环境中执行SLAM是低效的,并且视觉或基于LiDAR的SLAM需要计算上昂贵的特征提取和匹配算法。在本文中,我们提出了一种协作SLAM方法与多个机器人使用的普及WiFi无线电信号。提出了一种集中式的解决方案,以优化轨迹的基础上里程计和无线电指纹收集从多个机器人。为了提高定位精度,引入了一种新的相似性模型,该模型结合了接收信号强度(RSS)和接入点(AP)的检测可能性。我们进行了大量的实验,以证明所提出的相似性模型和协作SLAM框架的有效性。
2021-10-20 cs.RO
Locomotion Variability and User Experience in Smart Wheelchair Human-Robot Interaction
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Université de Sherbrooke(谢布鲁克大学)
该研究在智能轮椅共享控制场景中,提出保留自然运动结构的支持自主辅助策略,发现其在任务表现相当的情况下,能提升用户感知自主感与有用性,凸显设计辅助机器人需尊重人类运动结构的重要性。
2026-08-13 cs.HC cs.RO cs.SY
The Unboxing Experience: Exploration and Design of Initial Interactions Between Children and Social Robots
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
社交机器人越来越多地被引入儿童的生活中,作为教育和社交伙伴,但人们对如何将这些产品最好地引入他们的环境知之甚少。媒体中“开箱”现象的出现表明,在形成最初印象的地方,介绍是技术采用的关键。为了更好地理解这一现象,以便在儿童社交机器人的背景下设计积极的开箱体验,我们对8至13岁儿童的家庭进行了三项实地研究:(1)探索性自由游戏活动($n=12$);(2)共同设计会议($n=11$),告知原型盒的开发和策划的拆箱体验;(3)用户研究($n=9$),评估儿童的经验。我们的研究结果表明,社交机器人的开箱体验可以通过设计一种创造性的美学体验来改善,这种体验可以让孩子在社交上引导最初的互动,并培养积极的儿童-机器人关系。
2022-02-17 cs.HC cs.RO
User Experience of a Smart Factory Robot: Assembly Line Workers Demand Adaptive Robots
Vienna University of Technology(维也纳技术大学)
本文报告了一个案例研究的用户体验(UX)的工业机器人原型的背景下,人机合作的汽车装配线。我们的目标是找出实际使用新机器人系统的装配线工人提出了什么样的建议,以改善人机交互(HRI)。使用机器人原型的操作员在部署后三周接受了采访,使用既定的UX叙事采访指南。我们的研究结果表明,与执行预定义的工作步骤的机器人的合作实际上阻碍了用户的灵活性和个人速度。这导致操作员的工作程序发生变化,影响用户体验,并可能导致生产率下降。我们提出了采访的结果以及对技术解决方案的初步想法,以提高人类与机器人合作的适应性和随后的用户体验。
2016-06-13 cs.HC cs.RO
ExAug: Robot-Conditioned Navigation Policies via Geometric Experience Augmentation
UC Berkeley(加州大学伯克利分校);Toyota Motor North America(丰田汽车北美公司)
机器学习技术依赖于大型且多样化的数据集进行泛化。计算机视觉、自然语言处理和其他应用程序通常可以重用公共数据集来训练许多不同的模型。然而,由于物理配置的差异,利用公共数据集在新的机器人平台或新的任务上训练机器人控制策略是具有挑战性的。在这项工作中,我们提出了一个新的框架,ExAug,以增强不同环境中多个数据集的不同机器人平台的经验。ExAug利用了一个简单的原则:通过以点云的形式提取3D信息,我们可以创建更复杂和结构化的增强,利用生成合成图像和几何感知惩罚,这将适用于不同机器人的相同情况,具有不同的大小,转弯半径和摄像头放置。在两个新的机器人平台上,三个不同的摄像头在室内和室外环境中的障碍物的训练政策进行评估。
2022-10-14 cs.AI cs.CV cs.LG
Integrating Flow Theory and Adaptive Robot Roles: A Conceptual Model of Dynamic Robot Role Adaptation for the Enhanced Flow Experience in Long-term Multi-person Human-Robot Interactions
MIT Media Lab(麻省理工学院媒体实验室)
本文提出一种整合心流体验原则与动态角色自适应的机器人行为概念模型,通过分层交互目标平衡活动挑战与用户技能,旨在提升长期多人HRI中的用户体验并推动自适应社交机器人发展。
2024-01-05 cs.HC cs.RO
Deep Episodic Memory: Encoding, Recalling, and Predicting Episodic Experiences for Robot Action Execution
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Halmstad University(哈尔姆斯塔德大学)
我们提出了一种新的深度神经网络架构,用于表示机器人的经验,在一个类似情节的记忆,有利于编码,回忆和预测的行动经验。我们提出的无监督深度情景记忆模型1)在潜在向量空间中对观察到的动作进行编码,并且基于这种潜在编码,2)推断以前经历过的最相似的情节,3)重建原始情节,以及4)以端到端的方式预测未来的帧。结果表明,概念上相似的动作映射到同一区域的潜在向量空间。基于这些结果,我们引入了一个动作匹配和检索机制,基准测试其性能的两个大规模的行动数据集,20 BN的东西和ActivityNet和评估其泛化能力在现实世界中的场景上的人形机器人。
2018-07-14 cs.AI cs.CV cs.RO
Assessing Similarity Measures for the Evaluation of Human-Robot Motion Correspondence
Commonwealth Center for Advanced Manufacturing(联邦先进制造中心);University of Richmond(里士满大学)
针对人机运动对应问题评估依赖耗时且结果易变的定性调查的问题,本文提出用异构时间序列相似性度量作为定量指标,通过行为克隆模型验证,发现Gromov动态时间规整是有前景的定量度量。
2024-12-06 cs.HC cs.RO
Back-stepping Experience Replay with Application to Model-free Reinforcement Learning for a Soft Snake Robot
Michigan State University(密歇根州立大学)
提出回溯经验回放(BER)技术,通过构建反向轨迹并蒸馏回放经验提升近似可逆系统的离策略强化学习效率,在软体蛇形机器人导航中实现100%成功率和48%的速度提升。
2024-09-23 cs.LG cs.RO
Experience-Learning Inspired Two-Step Reward Method for Efficient Legged Locomotion Learning Towards Natural and Robust Gaits
Shanghai Jiao Tong University(上海交通大学)
该研究受动物渐进学习启发,提出基于自获取经验的两阶段两步奖励框架,结合步态奖励与对抗模仿学习,实现四足和六足机器人在复杂地形上的自然鲁棒运动,并成功迁移至实体GO1。
2024-01-22 cs.RO
Mental state attribution to educational robots: an experience with children in primary school
University of Turin(都灵大学);CINI(意大利国家大学间计算科学联盟)
本文介绍的工作是在都灵市与都灵大学共同推动的“女孩和男孩:大学一天”项目的背景下开展的。我们负责在计算机科学系举办的两个关于机器人和编码的教育活动,该系的一个实验室可用于此类课程。在实验室的会议结束时,孩子们编写了精神状态归因(AMS)问卷,这是一个衡量参与者归因于机器人的精神状态的指标,即与人类相比,用户对机器人精神品质的感知。我们向参加教育机器人实验室的儿童和进行编码活动的儿童分发了调查问卷。结果表明,与没有直接接触机器人的儿童相比,第一组儿童将更高的心理素质归因于机器人。
2023-03-07 cs.HC cs.RO
Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(人机学与机器人研究所,卡尔斯鲁厄理工学院);Computer Science Department, Columbia University(计算机科学系,哥伦比亚大学)
本文提出了一种基于分层表示的机器人长期经验语言化方法,利用大规模预训练模型实现零样本学习,通过构建树状数据结构实现事件记忆的自然语言抽象,提升人机交互能力。
2025-08-14 cs.AI cs.RO
Remember Smarter: Visual History Compressor and Hyperbolic Experience Space for Robotic Memory
Xidian University(西安电子科技大学)
该研究提出即插即用模块 RS,通过双分支结构压缩视觉历史并组织经验,适配 pi0 后显著提升机器人任务成功率,在真实机器人实验中表现优异。
2026-08-18 cs.RO
Efficient Transfer Learning of Robot Dynamic Models Using Morphological Similarity
Tallinn University of Technology(塔林理工大学);University of Bonn(波恩大学)
研究针对形态相似但规模和水动力特性不同的水下机器人,提出基于神经网络的迁移学习框架,通过自动编码器的域自适应方法,在无标记数据下准确估计目标平台机体坐标系速度,实现高效跨机器人动力学迁移。
2026-07-08 cs.RO
MAER-Nav: Bidirectional Motion Learning Through Mirror-Augmented Experience Replay for Robot Navigation
Hong Kong Polytechnic University(香港理工大学);Eastern Institute of Technology(宁波东方理工大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出MAER-Nav框架,通过结合镜像增强经验回放机制与课程学习,从成功轨迹生成合成后退导航经验,实现无需修改奖励函数的双向运动学习,有效解决了传统DRL导航在狭小复杂环境中因缺乏后退灵活性而易受困的问题。
2025-03-31 cs.RO
Robot Action Diagnosis and Experience Correction by Falsifying Parameterised Execution Models
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用技术大学);RWTH Aachen University(亚琛工业大学)
当面临执行失败时,智能机器人应该能够识别失败的可能原因,并相应地调整其执行策略。本文讨论的问题是如何利用知识的执行过程中,表示在学习的约束条件,以指导诊断和经验的获取过程。特别是,我们提出了两种方法,用于创建故障诊断和执行模型学习之间的协同作用。首先,我们提出了一种方法,用于诊断参数化的动作执行模型的执行失败,搜索动作参数,违反了学习的先决条件模型。然后,我们开发了一种策略,该策略使用诊断过程的结果来生成更有可能导致成功执行的合成数据,从而增加了可供学习的经验集。的诊断和经验校正方法进行评估处理抓持的问题,这样,我们实验证明了诊断算法的有效性,并表明,纠正失败的经验,可以有助于提高机器人的执行成功。
2021-05-20 cs.RO
Evo-RL: Iterative Robot Reinforcement Learning from Selective Experience
School of AI, Shanghai Jiao Tong University(上海交通大学人工智能学院);Central South University(中南大学);South China Normal University(华南师范大学);Boden AI(Boden AI公司)
Evo-RL 是结合人工干预与优势引导经验选择的迭代强化学习方法,引入含四种机器人超千小时数据的 RW-RL-Dataset,在高精度操作任务中较 RECAP 提升成功率 30.46%,相关资源公开。
2026-10-12 cs.RO
Leveraging Robotic Prior Tactile Exploratory Action Experiences For Learning New Objects's Physical Properties
Technische Universität München(慕尼黑工业大学)
重复使用一些以前探索过的物体的触觉知识可以帮助我们人类轻松识别新物体的触觉属性。在这篇硕士论文中,我们使机器人手臂配备多模态人工皮肤,像人类一样,主动转移以前的触觉探索行动经验时,它学习新对象的详细物理属性。这些先前的触觉体验是当机器人对具有不同动作参数的物体施加按压、滑动和静态接触运动并感知来自多个感觉模态的触觉反馈时建立的。我们的方法进行了系统的评价,通过几个实验。结果表明,机器人可以持续提高判别准确率超过10%,当它利用先验触觉知识相比,没有使用传输方法,和25%,当它只使用一个训练样本。实验结果还表明,该方法对传递不相关的先验触觉知识具有鲁棒性。
2018-07-03 cs.RO
Improving User Experience in Preference-Based Optimization of Reward Functions for Assistive Robots
University of Southern California(南加州大学)
针对辅助机器人偏好学习中生成轨迹未反映用户偏好的问题,提出CMA-ES-IG算法,优先考虑用户体验,在物理和社交任务中比现有方法更直观易用。
2024-11-17 cs.AI cs.HC cs.LG
SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks
Columbia University Robotics Group(哥伦比亚大学机器人学小组)
深度强化学习(RL)的最新进展已经证明了其学习复杂机器人操作任务的潜力。然而,RL仍然需要机器人收集大量的真实世界经验。为了解决这个问题,最近的工作已经提出了从专家演示(LfD),特别是通过逆强化学习(IRL)的学习,因为它能够实现强大的性能,只有少量的专家演示。然而,在真实机器人上部署IRL仍然具有挑战性,因为它需要大量的机器人经验。本文的目的是解决这个可扩展性的挑战,一个强大的,采样效率高,和一般的元IRL算法,SQUIRL,执行一个新的,但相关的长期任务,鲁棒地给出了只有一个视频演示。首先,该算法使用行为克隆(BC)引导任务编码器和任务条件策略的学习。然后,它收集真实的机器人经验,并通过直接从组合的机器人和专家轨迹中恢复Q函数来绕过奖励学习。然后,该算法使用Q函数重新评估机器人收集的所有累积经验,以快速改进策略。最后,该策略在新任务上比BC执行得更健壮(90%以上的成功率),同时在测试时不需要试错。最后,我们的真实机器人和模拟实验证明了我们的算法在不同的状态空间,动作空间和基于视觉的操作任务,例如,pick-pour-place和pick-carry-drop。
2020-03-10 cs.LG cs.RO
From Passive Video to Editable Experience: Physically Grounded Experience Synthesis for Embodied Intelligence
针对具身AI的数据瓶颈,提出Pegasus低资源框架,通过结构化知识传递将人类操作视频转化为机器人可学习数据,经多基准与机器人评估验证其跨具身翻译及数据生成的有效性。
2026-07-30 cs.AI cs.RO
Model-based Behavioral Cloning with Future Image Similarity Learning
Indiana University Bloomington(印第安纳大学伯明顿分校);Stony Brook University(石溪大学)
我们提出了一个可视化的模仿学习框架,使机器人的动作策略的学习完全基于专家样本,没有任何机器人试验。在现实世界环境中进行机器人探索和政策试验通常是昂贵/危险的。我们提出了一种新的方法来解决这个问题,通过学习未来的场景预测模型只在一个集合的专家轨迹组成的未标记的示例视频和动作,并通过使广义的动作克隆使用未来的图像相似性。机器人学习在视觉上预测采取行动的后果,并通过评估预测的未来图像与专家图像的相似程度来获得策略。我们开发了一个随机动作条件卷积自动编码器,并介绍了我们如何利用未来的图像进行机器人学习。我们进行实验,在模拟和现实生活中的环境中使用地面移动机器人有和没有障碍物,并比较我们的模型,多个基线方法。
2019-10-08 cs.CV cs.RO
Experience-based Subproblem Planning for Multi-Robot Motion Planning
Texas A&M University(德克萨斯农工大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Instituto Tecnológico Autónomo de México (ITAM)(墨西哥自治技术学院)
提出基于经验的子问题规划方法,通过构建低维子问题解的数据库并应用于大规模场景,解决了多机器人运动规划在复杂任务中的可扩展性与效率问题。
2024-11-13 cs.RO
The experience of humans' and robots' mutual (im)politeness in enacted service scenarios: An empirical study
Umeå University(于默奥大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本研究通过模拟服务员机器人与顾客的互动,探讨人类对机器人的对待方式如何影响旁观者对机器人行为的社会感知,发现机器人受到不礼貌对待时,其不礼貌行为被视为更合理。
2024-06-25 cs.HC cs.RO
Real-Time Service Robot Replanning via Simple Button Interaction for Improved Task Success and User Experience
Kyushu Institute of Technology(九州工业大学);Research Center for Neuromorphic AI Hardware(神经形态AI硬件研究中心)
针对服务机器人无法检测所有任务失败的问题,提出基于平板单按钮的实时人工反馈机制,使机器人据此重规划动作,实验证明该功能同时提升任务成功率与用户体验。
2026-09-17 cs.HC cs.RO
Learning to Retrieve Relevant Experiences for Motion Planning
Rice University(莱斯大学)
最近的工作表明,运动规划器的性能可以显着提高检索过去的经验,从数据库。通常,使用在运动规划问题上定义的相似性函数来查询经验数据库以查找过去的相似问题。然而,到目前为止,大多数作品都依赖于简单的手工制作的相似性函数,并且无法在相应的训练数据集之外进行推广。为了解决这个问题,我们提出了(火),一个框架,提取规划问题的局部表示,并学习他们的相似性函数。为了生成的训练数据,我们引入了一种新的自我监督的方法,识别相似和不相似的本地原语对过去的解决方案路径。利用这些对,用对比度损失训练一个连体网络,并在网络的潜空间中实现相似性函数。我们评估消防8自由度机械手在五个类别的运动规划问题与感知环境。我们的实验表明,消防检索相关的经验,可以提供信息指导抽样为基础的规划者,即使在训练分布以外的问题,优于其他基线。
2022-04-18 cs.RO
Experience-based Refinement of Task Planning Knowledge in Autonomous Robots
School of Computing and Engineering, University of Huddersfield(哈德斯菲尔德大学计算与工程学院);School of Human and Health Sciences, University of Huddersfield(哈德斯菲尔德大学人类与健康科学学院)
本文提出利用机器人动作执行经验来细化任务规划领域知识,并在NAO机器人上验证,以提高任务计划成功率并随时间降低失败率。
2025-04-19 cs.AI cs.RO
REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction
Columbia University(哥伦比亚大学)
本文提出REFLECT框架,利用LLM基于多感官经验的分层总结进行机器人失败解释,并指导语言规划器纠正失败,通过RoboFail数据集验证其有效性。
2023-10-16 cs.AI cs.CL cs.CV
Improving Cross-embodiment Transfer in Latent Action Models with Action-Similarity Supervision
The University of Tokyo(东京大学)
针对潜在动作模型跨实体迁移中背景噪声和潜在编码不一致的问题,提出动作相似性监督方法,在RoboTwin 2.0上使跨实体成功率翻倍以上。
2026-09-18 cs.AI cs.RO
Robot Manipulation with GPT-6-Astra: Body Knowledge, Experience Reuse, Emergent Skills, and Sim2Real Transfer
本研究利用GPT-6-Astra控制机器人完成电梯按钮任务,通过提供身体知识、经验复用和技能涌现,显著提升效率,并验证了模拟到真实的迁移能力。
2026-09-29 cs.AI cs.CL cs.CV
Experience-Based Feasibility-Aware Generative Adversarial Imitation from Observation under Embodiment Mismatch
Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学);University of Trento(特伦托大学)
针对人机具身差异导致演示不可行的问题,提出基于经验的可行性感知生成对抗模仿学习(EF-GAIfO),动态扩展可行区域,并在模拟运动任务和真实四足机器人抓取任务中验证有效性。
2026-10-02 cs.RO
Human-Centric Aware UAV Trajectory Planning in Search and Rescue Missions Employing Multi-Objective Reinforcement Learning with AHP and Similarity-Based Experience Replay
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科中心);University of Luxembourg(卢森堡大学)
本文提出融合AHP与基于相似性经验回放的多目标强化学习框架,以兼顾作业、舒适与安全来规划搜救无人机轨迹,并调查性别线索和拟人化设计对公众接受与信任的影响。
2024-02-28 cs.AI cs.HC cs.LG
Offline Learning from Demonstrations and Unlabeled Experience
DeepMind;Google Brain(谷歌大脑)
行为克隆(BC)对于机器人学习通常是实用的,因为它允许通过专家演示的监督学习在没有奖励的情况下离线训练策略。然而,BC并没有有效地利用我们将称为未标记体验的东西:没有奖励注释的混合和未知质量的数据。这种未标记的数据可以由各种来源生成,例如人类远程操作,脚本策略和同一机器人上的其他代理。为了实现数据驱动的离线机器人学习,我们引入了离线强化模仿学习(ORIL)。ORIL首先通过对比来自演示者和未标记轨迹的观察来学习奖励函数,然后用学习到的奖励来注释所有数据,最后通过离线强化学习来训练智能体。在一组不同的连续控制和模拟机器人操作任务,我们表明,ORIL始终优于可比的BC代理有效地利用未标记的经验。
2020-11-27 cs.AI cs.LG cs.RO
Scaling Robot Learning with Semantically Imagined Experience
Robotics at Google(谷歌机器人学部门);Google Research(谷歌研究院)
机器人学习的最新进展已经显示出使机器人能够执行各种操作任务并推广到新场景的希望。这一进展的关键因素之一是用于训练模型的机器人数据的规模。为了获得大规模的数据集,先前的方法依赖于需要高度人工参与的演示或工程繁重的自主数据汇集方案,这两者都具有规模化的挑战。为了缓解这个问题,我们提出了一种替代路线,并利用广泛用于计算机视觉和自然语言处理的文本到图像基础模型,以获得有意义的数据,用于机器人学习,而不需要额外的机器人数据。我们称我们的方法机器人学习与语义想象的经验(ROSIE)。具体来说,我们利用最先进的文本到图像扩散模型,并通过修复各种看不见的对象进行操作,背景和干扰物与文本指导,在我们现有的机器人操作数据集之上执行积极的数据增强。通过广泛的现实世界的实验,我们表明,在这种方式增强的数据上训练的操纵策略能够用新对象解决完全看不见的任务,并且可以在w.r.t.新奇的干扰物此外,我们发现,我们可以通过基于扩散的数据增强训练来提高高级机器人学习任务(如成功检测)的鲁棒性和泛化能力。该项目的网站和视频可以在diffusion-rosie.github.io上找到
2023-02-22 cs.AI cs.CL cs.CV
Non-verbal Interaction and Interface with a Quadruped Robot using Body and Hand Gestures: Design and User Experience Evaluation
Seoul National University(首尔大学);University of Florida(佛罗里达大学);Morgan State University(摩根州立大学);University of Toronto(多伦多大学)
本文通过初步研究和原型实验,探究人与四足机器人的非语言交互方式,发现用户更偏好身体手势而非手部手势或语音,且身体手势交互具有更高满意度和任务完成效率。
2024-08-30 cs.RO
"It's Not a Replacement:" Enabling Parent-Robot Collaboration to Support In-Home Learning Experiences of Young Children
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文研究家长与机器人协作以支持幼儿家庭学习,开发了学习陪伴机器人原型并在10个家庭中进行用户研究,发现家长希望机器人作为协作者增强育儿活动,提出了家长与机器人协作的概念及设计见解。
2024-03-20 cs.HC cs.RO
XPACE: Joint World and Action Modeling from Heterogeneous Experience
XPACE提出统一具身世界模型,通过共享视频骨干联合预测动作与未来视频,利用异构经验训练并自生成恢复数据,提升人形机器人任务完成与技能迁移能力。
2026-09-16 cs.RO
Learning Arbitrary-Goal Fabric Folding with One Hour of Real Robot Experience
Queensland University of Technology(昆士兰科技大学);CSIRO-Data61(英联邦科学与工业研究组织数据61研究所);Monash University(莫纳什大学)
操纵可变形物体(如织物)是机器人技术中的一个长期存在的问题,其中状态估计和控制对传统方法提出了重大挑战。在本文中,我们表明,只有一个小时的自我监督的真实机器人经验,没有人的监督或模拟学习织物折叠技能是可能的。我们的方法依赖于完全卷积网络和对视觉输入的操纵来利用学习到的特征,使我们能够创建一个表达性的目标条件拾取和放置策略,该策略可以仅使用真实世界的机器人数据进行有效训练。折叠技能仅通过稀疏奖励函数来学习,因此不需要奖励函数工程,仅需要目标配置的图像。我们展示了我们的方法上的一组毛巾折叠任务,并表明,我们的方法是能够发现顺序折叠策略,纯粹从试错。我们实现了最先进的结果,而不需要演示或模拟,在以前的方法中使用。视频网址:https://sites.google.com/view/learningtofold
2020-10-07 cs.RO
Human-Aware Robot Navigation via Reinforcement Learning with Hindsight Experience Replay and Curriculum Learning
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
针对密集人群中无示范数据的机器人导航问题,提出融合HER与CL的强化学习方法,以克服稀疏奖励并学习安全、高效、无碰撞的人类感知导航策略。
2021-10-09 cs.AI cs.LG cs.RO
Temporal and Semantic Evaluation Metrics for Foundation Models in Post-Hoc Analysis of Robotic Sub-tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对机器人轨迹质量标签数据稀缺问题,提出利用基础模型自动将轨迹分解为时间边界子任务的框架,并设计 SIMILARITY 算法生成时间与语义相似度指标进行评估,在多机器人环境中取得超 90% 的得分,助力构建大规模语言监督数据集。
2025-04-01 cs.LG cs.RO
Project-Based Learning for Robot Control Theory: A Robot Operating System (ROS) Based Approach
Robotics Engineering Department(机器人工程系);Worcester Polytechnic Institute(沃斯特理工学院)
本文提出六个项目式任务,利用ROS和Gazebo模拟环境,帮助学生通过实践掌握控制理论和机器人技术,弥补理论与实践的差距。
2023-05-18 cs.RO cs.SY eess.SY
MemER: Scaling Up Memory for Robot Control via Experience Retrieval
Stanford University(斯坦福大学)
MemER通过分层策略框架,利用经验检索选择关键帧,为机器人控制扩展记忆,在长时程操作任务中优于现有方法。
2025-10-23 cs.AI cs.LG cs.RO
Parameter-Free Segmentation of Robot Movements with Cross-Correlation Using Different Similarity Metrics
Persistent Autonomy and Robot Learning (PeARL) Lab, University of Massachusetts Lowell(持久自主与机器人学习实验室,马萨诸塞大学洛厄尔分校)
本文提出一种基于互相关且无需参数设置的机器人运动分割方法,通过引入适用于机器人运动特征的相似性度量,在仿真和真实实验中验证了其快速准确的分割效果。
2025-05-09 cs.RO
CAPEX: Efficiently Distilling Foundation Model Behavior into Deployable Robot Policies through Experience-Adaptive Reasoning
CAPEX利用基础模型作为自主演示者,通过经验自适应调整推理频率,高效生成机器人演示数据,使成功演示增加4.3倍、成本降低80%,训练的策略接近人类演示效果。
2026-09-29 cs.AI cs.LG cs.RO
Experience Recommendation for Long Term Safe Learning-based Model Predictive Control in Changing Operating Conditions
Dynamic Systems Lab(动态系统实验室);University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
学习将机器人控制性能的前沿推向了新的高度,使机器人能够在以前无法想象的条件下以高性能运行。然而,大多数工作都假设未知部分是静态的或缓慢变化的。这就限制了他们在静态或缓慢变化的环境中工作。然而,在现实世界中,机器人可能会经历各种未知的条件。本文提出了一种方法来扩展现有的单模式GP为基础的安全学习控制器学习越来越多的非线性模型的机器人动力学。我们表明,这种方法使机器人能够重新使用过去的经验,从大量以前访问的操作条件,并安全地适应时,遇到一个新的和不同的操作条件。这使得机器人能够在无需提前指定的大量操作条件下实现安全性和高性能。我们的方法独立于控制器运行,不施加额外的计算时间的控制回路上,无论以前的操作条件考虑的数量。我们证明了我们的方法的有效性,在实验上的900\,kg的地面机器人与物理和人为的变化,其动力学。我们所有的实验都是使用视觉定位进行的。
2018-03-11 cs.RO
Scaling data-driven robotics with reward sketching and batch reinforcement learning
Deepmind(深度思维)
我们提出了一个数据驱动的机器人框架,该框架利用记录机器人经验的大型数据集,并使用学习的奖励函数扩展到多个任务。我们展示了如何应用这个框架来完成三个不同的对象操作任务在一个真正的机器人平台上。给定任务的演示以及与任务无关的记录经验,我们使用一种特殊形式的人类注释作为监督来学习奖励函数,这使我们能够处理无法直接获得奖励信号的现实任务。学习奖励与来自不同任务的经验的大型数据集结合使用,以使用批RL离线学习机器人策略。我们表明,使用我们的方法,它是可能的训练代理执行各种具有挑战性的操作任务,包括堆叠刚性物体和处理布。
2020-06-04 cs.LG cs.RO