Making Sense of Robots in Public Spaces: A Study of Trash Barrel Robots
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院);Southern Denmark University(南丹麦大学);Jacobs Technion-Cornell Institute(雅各布斯以色列理工学院-康奈尔理工学院)
本研究通过分析大型公共空间中两个垃圾桶机器人的部署数据,揭示了人们对公共空间机器人的意义建构活动,并为人机交互设计提供了启示。
2025-04-01 cs.HC cs.RO
Microscopic Robots That Sense, Think, Act, and Compute
本研究构建了尺寸如草履虫的微型机器人,具备机载计算、感知、记忆、运动和通信能力,可执行数字算法并自主响应环境,为低成本、可多次编程的通用微型机器人铺路。
2025-03-29 cs.RO
A Human-in-the-loop Approach to Robot Action Replanning through LLM Common-Sense Reasoning
Human-Robot Interfaces and Interaction (HRII) Laboratory, Istituto Italiano di Tecnologia(人机交互(HRII)实验室,意大利技术研究院);Dept. of Informatics, Bioengineering, Robotics, and Systems Engineering, University of Genoa(信息学、生物工程、机器人学和系统工程系,热那亚大学)
针对单次 RGB 演示生成的机器人执行计划易失败的问题,提出结合自然语言指令与 LLM 常识推理的人在回路重规划框架,可纠正视觉错误并增强鲁棒性。
2025-07-28 cs.RO
SensorPerch: Sense Wherever and Whenever it Matters
Cornell University(康奈尔大学)
针对机器人感知视角受限问题,提出SensorPerch,通过将传感器视为独立实体实现主动感知。它由可重构传感器平台和视角选择框架组成,能按需构建与任务相关的视角。在对象耦合和策略耦合感知任务中验证了该范式的有效性。
2026-11-04 cs.RO
Enabling the Sense of Self in a Dual-Arm Robot
School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
针对机器人缺乏自我感知的问题,受人类自我意识发展启发提出神经网络架构,通过视觉与本体感觉输入让双臂机器人区分自身与环境,杂乱干扰场景下平均准确率达88.7%。
2020-11-13 cs.AI cs.RO
Extracting Zero-shot Common Sense from Large Language Models for Robot 3D Scene Understanding
Massachusetts Institute of Technology(麻省理工学院)
语义三维场景理解是机器人领域的一个重要问题。虽然在同时定位与地图构建算法方面已经取得了重大进展,但机器人仍然远不具备普通人关于家庭物体及其位置的常识知识。我们介绍了一种新的方法,利用常识嵌入在大语言模型的标签房间内包含的对象。该算法具有以下额外好处:(i)不需要特定于任务的预训练(完全在zero-shot机制中操作);(ii)推广到任意房间和对象标签,包括以前未见过的标签-这两者都是机器人场景理解算法中非常理想的特征。所提出的算法在由现代空间感知系统产生的3D场景图上操作,我们希望它将为机器人技术的更通用和可扩展的高级3D场景理解铺平道路。
2022-06-19 cs.CL cs.RO
SENSE-STEP: Learning Sim-to-Real Locomotion for a Sensory-Enabled Soft Quadruped Robot
Delft University of Technology(代尔夫特理工大学);German Aerospace Center (DLR)(德国航空航天中心)
本文提出了一种基于学习的控制框架,通过仿真训练使软四足机器人在现实环境中实现更稳定的闭环运动,显著提升了在不同地形上的运动速度和稳定性。
2026-02-13 cs.RO
Sense and Sensibility: What makes a social robot convincing to high-school students?
Dept. of Intelligent Systems, KTH Royal Institute of Technology, Stockholm, Sweden(智能系统系,皇家理工学院);Dept. of Education, Stockholm University, Stockholm, Sweden(教育系,斯德哥尔摩大学)
本研究发现社交教育机器人会显著影响高中生的答题决策,AI使用经验越多的学生越易受其错误信息影响,且机器人的确定性展示程度越高学生认同度越高,据此提出教育机器人应根据信息可靠性调整确定性展示以培养学生批判性思维。
2025-06-14 cs.RO
GRACE: Generating Socially Appropriate Robot Actions Leveraging LLMs and Human Explanations
University of Cambridge(剑桥大学);Middle East Technical University(中东技术大学);Bilkent University(毕尔肯大学)
本文提出GRACE方法,通过生成网络将LLM的常识知识与人类解释相结合,双向优化机器人动作预测并生成解释,显著提升了社会规范动作生成的性能。
2025-04-03 cs.RO
Exploring Large Language Models as a Source of Common-Sense Knowledge for Robots
Honda Research Institute Europe(欧洲本田研究院)
本文探讨大型语言模型作为机器人常识知识来源,发现其在选择性提取情境知识上效果有限,但大规模提取通用知识有潜力,可辅助构建机器人本体。
2023-10-19 cs.AI cs.RO
Motion Planning Combines Psychological Safety and Motion Prediction for a Sense Motive Robot
Shandong University(山东大学)
人的安全是人机交互与协作的最重要需求,不仅指身体安全,还包括心理安全。虽然许多不同配置的机器人已经进入我们的生活和工作环境,但在人机共存场景中,人类安全问题仍然是一个正在研究的问题。本文从人的身体安全和心理安全两个方面论述了人的安全问题。首先,我们介绍了一种自适应机器人速度控制和步长调整方法,根据人类的面部表情,使机器人可以调整其运动,以保持安全时,人类的情绪是异常的。其次,通过检测人体头部姿态和注视方向的突然变化来预测人体的运动,使机器人能够推断出人体的注意力是否分散,预测人体的下一步动作,并重建排斥力以避免潜在的碰撞。最后,我们证明了我们的想法,使用7自由度TIAGo机器人在动态HRIC环境中,这表明,机器人成为感觉动机,并响应人类的行动和情感的变化迅速,有效。
2020-10-23 cs.CV cs.HC cs.RO
Making Sense of the Robotized Pandemic Response: A Comparison of Global and Canadian Robot Deployments and Success Factors
University of Toronto Robotics Institute(多伦多大学机器人研究所)
从消毒和远程分诊,到物流和交付,世界各国都在利用机器人来应对COVID-19疫情带来的独特挑战。在加拿大,机器人也被用来管理这一流行病,但相对于其他地区,我们在采用机器人方面更为谨慎-尽管加拿大机器人目前在全球舞台上发挥着重要作用。本白皮书讨论了为什么会出现这种情况,并认为迫切需要对加拿大机器人产业进行战略投资和支持,以将机器人技术的好处带回家,我们在塑造这种改变游戏规则的技术的未来方面拥有更多的控制权。这些投资不仅有助于支持加拿大目前的大流行应对和大流行后的复苏,而且还将使该国做好应对未来危机的准备。如果没有这样的支持,加拿大可能会落后于目前正在大力投资硬件自动化的其他发达国家。
2020-09-21 cs.CY cs.RO
Human Autonomy and Sense of Agency in Human-Robot Interaction: A Systematic Literature Review
Chair for Communication Science(沟通科学系)
本文通过系统综述22项实证研究,识别出影响人机交互中人类自主性和主体感的五类因素(机器人适应性、沟通风格、拟人化、机器人存在和个体差异),并指出当前研究在定义和操作化上的不足,为设计支持自主性的机器人提供了指导。
2026-02-27 cs.HC cs.RO
Empirical Investigation of Factors that Influence Human Presence and Agency in Telepresence Robot
The Graduate University for Advance Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics, NII(国立信息学研究所)
如今,一个社区开始发现需要人类在场的替代方式,有大量的研究和发展,在先进的远程呈现机器人。人们倾向于感觉更接近和更舒适的远程呈现机器人,因为许多人在机器人中感觉到人类的存在。一般来说,许多人从机器人的脸上感受到代理感,但一些没有手臂和身体运动的远程呈现机器人往往会给人一种存在感。重要的是识别和配置远程呈现机器人如何通过包括人脸和轻微的面部和手臂运动来影响人的存在感和代理感。因此,我们通过基于网络的实验进行了广泛的研究,以确定原型,可以导致舒缓的人类与机器人的互动。实验的特点是视频的远程呈现机器人n = 128,2 × 2之间的参与者研究机器人的脸因素:视频会议,机器人一样的脸;手臂运动因素:移动与静态),以调查显着影响人类的存在和代理与机器人的因素。我们使用了两个远程呈现机器人:一个是负担得起的机器人平台,另一个是用于增强人机交互的修改版本。研究结果表明,当机器人的脸被替换为人类的脸并且没有运动时,参与者感觉到更接近人类的代理。机器人的动作唤起了人类存在的感觉,无论面部是人类还是机器人。
2021-05-25 cs.HC cs.RO
Whisker-Inspired Tactile Sensing for Contact Localization on Robot Manipulators
Stanford University(斯坦福大学)
通过触摸感知环境对于机器人在混乱的环境中到达很重要,但是设计一种在不干扰物体的情况下感知的方法是具有挑战性的。这项工作提出了胡须启发传感器的设计和建模,这些传感器附着在机器人操纵器的表面上,通过光接触来感知周围环境。我们获得一个传感器模型使用的校准过程,适用于直和弯曲的胡须。然后,我们提出了一个传感算法,使用贝叶斯滤波定位接触点。该算法结合了准确的本体感觉的机器人和传感器读数从胡须的偏转。我们的研究结果表明,我们的算法能够跟踪接触点与亚毫米精度,优于基线方法。最后,我们展示了我们的传感器和感知方法在现实世界中的系统中,机器人之间的移动独立的对象,并使用触须传感器跟踪接触跟踪对象轮廓。
2022-10-22 cs.RO
ToolTango: Common sense Generalization in Predicting Sequential Tool Interactions for Robot Plan Synthesis
Imperial College London(帝国理工学院);Stanford University(斯坦福大学);Indian Institute of Technology Delhi(印度理工学院德里分校)
在工厂或家庭等环境中帮助我们的机器人必须学会使用物体作为工具来执行任务,例如使用托盘来搬运物体。我们考虑的问题,学习常识的知识,当一个工具可能是有用的,以及如何使用它可以组成与其他工具,以完成一个高层次的任务指示的人。具体来说,我们引入了一种新的神经模型,称为TOOLTANGO,它首先预测下一个要使用的工具,然后使用这些信息来预测下一个动作。我们表明,这种联合模型可以通知学习的细粒度的政策,使机器人使用特定的工具在序列中,并增加了显着的价值,使模型更准确。TOOLTANGO使用图神经网络编码世界状态,包括对象和它们之间的符号关系,并使用人类教师在物理模拟器中指导虚拟机器人的演示进行训练。该模型使用目标和动作历史的知识学习参与场景,最终解码要执行的符号动作。至关重要的是,我们解决泛化到一些已知的工具丢失,但替代看不见的工具存在的看不见的环境。我们表明,通过使用来自知识库的预训练嵌入来增强环境的表示,该模型可以有效地推广到新的环境。实验结果显示,在具有不可见物体的新型环境中,预测模拟移动机械手的成功符号计划比基线至少有48.8-58.1%的绝对改进。这项工作朝着使机器人能够快速合成复杂任务的鲁棒计划的方向迈出了一步,特别是在新的环境中
2022-06-18 cs.RO
RoboCAP: Robotic Classification and Precision Pouring of Diverse Liquids and Granular Media with Capacitive Sensing
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Department of Computer Science, Colby College(科尔比学院计算机系);Department of Computer Science, University of Virginia(弗吉尼亚大学计算机系)
本文提出集成电容传感阵列的RoboCAP夹爪,使机器人能感知容器内液体与颗粒介质并实现高精度倾倒。
2025-03-11 cs.RO
Mapping at First Sense: A Lightweight Neural Network-Based Indoor Structures Prediction Method for Robot Autonomous Exploration
Beijing University of Technology(北京工业大学);Tsinghua University(清华大学);Peking University(北京大学);Southwest Minzu University(西南民族大学)
本文提出轻量级神经网络方法 Mapping at First Sense 及 SenseMapNet,通过预测局部地图未观测区域提升机器人室内自主探索效率,并构建 SenseMapDataset 数据集,实验表明其重建质量更优且探索时间较传统前沿方法缩短 46.5%。
2025-04-05 cs.AI cs.RO
Modeling the sense of presence of remote participants in hybrid communication and its application to the design of avatar robot behavior
Graduate School of Engineering, The University of Tokyo(东京大学工学研究生院)
本研究用贝叶斯框架建模混合通信中远程参与者的临场感,结合主动推理框架设计化身机器人的注视行为,实验发现该行为提升临场感但抑制本地参与者发言,证实临场感对发言意愿的重要影响。
2023-05-02 cs.HC cs.RO q-bio.NC
Polymander II: an amphibious salamander-inspired robot with contact and flow sensors
Biorobotics Laboratory, EPFL(生物机器人实验室,瑞士联邦理工学院);CREATE Lab, EPFL(CREATE实验室,瑞士联邦理工学院);Innobridge Services Sàrl(Innobridge Services公司)
本文提出一种基于霍尔效应传感器的两栖机器人,用于感知足部接触力和侧向水动力,实现陆水环境感知与反馈控制。
2026-05-26 cs.RO
Giving Sense to Inputs: Toward an Accessible Control Framework for Shared Autonomy
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
提出一种将2D摇杆输入动态映射到6D机器人运动的框架,通过管状曲面轨迹定义控制框架,用户研究表明其降低了工作负荷并提升了可用性,且在轮椅用户的探索性研究中验证了可行性。
2025-01-28 cs.HC cs.RO
Sense-Assess-eXplain (SAX): Building Trust in Autonomous Vehicles in Challenging Real-World Driving Scenarios
University of Oxford(牛津大学);Aalborg University(奥尔堡大学)
本文讨论了正在进行的工作,在具有挑战性的驾驶场景中的移动自动驾驶示范研究。在我们的方法中,我们解决了基本的技术问题,以克服大规模部署自治系统的保证和监管的关键障碍。为此,我们介绍了我们如何构建机器人,(1)可以使用传统和非传统的传感器强大地感知和解释他们的环境;(2)可以评估自己的能力;(3)为了保证和信任,可以提供解释和评估的因果解释。由于机器人的安全性和可靠性至关重要,我们设计,开发和展示了现实世界应用中的基础技术,以克服阻碍当前在经济和社会重要领域部署机器人的关键障碍。最后,我们描述了一个不寻常的,罕见的,非常有价值的数据集的收集正在进行的工作。
2020-05-05 cs.CY cs.RO
Making Sense of Vision and Touch: Learning Multimodal Representations for Contact-Rich Tasks
Stanford University(斯坦福大学);Nvidia(英伟达)
非结构化环境中的接触丰富的操作任务往往需要触觉和视觉反馈。这是不平凡的手动设计一个机器人控制器,结合这些模态,具有非常不同的特点。虽然深度强化学习在学习高维输入的控制策略方面取得了成功,但由于样本复杂性,这些算法通常难以部署在真实机器人上。在这项工作中,我们使用自我监督来学习我们的感官输入的紧凑和多模态表示,然后可以用来提高我们的策略学习的样本效率。评估我们的方法上的钉插入任务,我们表明,它概括了不同的几何形状,配置和间隙,同时是强大的外部扰动。我们还系统地研究了不同的自监督学习目标和表示学习架构。结果在模拟和物理机器人。
2019-07-28 cs.LG cs.RO
Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks
Stanford University(斯坦福大学);Nvidia(英伟达)
非结构化环境中的接触丰富的操作任务往往需要触觉和视觉反馈。然而,这是不平凡的手动设计的机器人控制器,结合模态非常不同的特点。虽然深度强化学习在学习高维输入的控制策略方面取得了成功,但由于样本复杂性,这些算法通常难以部署在真实机器人上。我们使用自我监督来学习我们的感官输入的紧凑和多模态表示,然后可以用来提高我们的策略学习的样本效率。我们评估我们的方法上钉插入任务,概括不同的几何形状,配置和间隙,同时对外部扰动是强大的。模拟和真实的机器人实验结果。
2019-03-08 cs.AI cs.LG cs.RO
Sixth-Sense: Self-Supervised Learning of Spatial Awareness of Humans from a Planar Lidar
Dalle Molle Institute for Artificial Intelligence (IDSIA)(达勒莫利人工智能研究所(IDSIA))
本文提出基于1D激光雷达和RGB-D相机的自监督方法,实现对人类的检测与2D姿态估计,提升机器人在共享空间中的全方位感知能力。
2026-04-16 cs.LG cs.RO
Design and Development of Autonomous Delivery Robot
Visvesvaraya National Institute of Technology(维斯瓦瓦拉亚国家理工学院)
自主机器人领域正在快速发展。在车辆中使用越来越多传感器的趋势是由立法和消费者对更高安全性和可靠服务的需求推动的。如今,机器人随处可见,从家庭,医院到工业和军事行动。自主机器人被开发得足够强大,可以与人类一起工作,并有效地完成工作。人类对周围的物理力量有一种自然的理解,比如重力,运动感等,这些都不是明确教授的,而是自然发展的。但机器人却不是这样。为了使机器人完全自主并有能力与人类一起工作,机器人必须能够感知情况并设计一个平稳运行的计划,考虑执行任务时可能发生的所有逆境。在这篇论文中,我们提出了一个自主的移动机器人平台,提供VNIT校园内的包没有任何人的相互沟通。从一个初始的用户提供的地理目标位置,该系统规划一个优化的路径,并自主导航通过它。
2021-03-16 cs.CV cs.RO
Act, Sense, Act: Learning Active Perception from Large-Scale Egocentric Human Data
School of Artificial Intelligence, Shanghai Jiao Tong University(人工智能学院,上海交通大学)
研究如何让机器人在无约束环境中实现可泛化操作,提出CoMe - VLA框架,利用大规模人类自我中心数据学习主动感知,集成认知辅助头和双轨记忆系统,经三个阶段训练模型,实验证明该方法在多场景长期任务中有强鲁棒性和适应性。
2026-07-13 cs.RO
Monitoring Over the Long Term: Intermittent Deployment and Sensing Strategies for Multi-Robot Teams
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
在本文中,我们制定和解决间歇性的部署问题,产生的战略,夫妇\emph{when}异构机器人应该感觉到一个环境的过程中,与部署的团队应该在环境中的感觉。作为一种动机,假设时空过程正在缓慢演变,并且必须由多机器人团队监控,例如,无人驾驶飞行器监测精准农业背景下的牧场。在这种情况下,间歇性部署战略是必要的,因为持续部署或监测对于缓慢演变的进程来说不具有成本效益。与此同时,一旦部署,在哪里感测的问题必须得到解决,因为过程观察产生有用的反馈,以确定有效的未来部署和监测决策。在这种情况下,我们的环境过程进行监测的时空高斯过程与互信息作为衡量我们对环境的理解的标准。为了使传感资源有效,我们演示了如何使用拟阵约束施加一组不同的同质和异构的约束。此外,为了反映现实世界的应用程序的成本敏感性,我们应用部署异构机器人团队的成本预算。为了解决这个问题,我们利用次模优化和拟阵的理论,并提出了一个贪心算法的次优界。最后通过蒙特卡罗仿真验证了该方法的正确性。
2021-11-17 cs.DS cs.MA cs.RO
DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity
Dongguk University(东国大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
针对无视觉场景下的物体操作问题,本文提出DexTouch多手指机器人系统,通过强化学习在仿真中训练触觉引导的盲操作策略并迁移至真实环境,验证了触觉感知的关键作用。
2024-11-26 cs.LG cs.RO
Leveraging Large (Visual) Language Models for Robot 3D Scene Understanding
Massachusetts Institute of Technology(麻省理工学院)
针对机器人缺乏家居场景常识的问题,本文评估多种基于语言及视觉语言模型的3D场景分类范式,最佳方法房间分类准确率约70%,并具有良好泛化与迁移能力。
2023-11-08 cs.CL cs.CV cs.LG
FusionSense: Bridging Common Sense, Vision, and Touch for Robust Sparse-View Reconstruction
New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学);University of Illinois(伊利诺伊大学)
本文提出FusionSense框架,通过融合基础模型先验与视觉触觉稀疏观测,利用3D Gaussian Splatting和分层优化策略,解决了透明、反光等挑战性物体的鲁棒3D重建问题。
2024-10-10 cs.AI cs.CV cs.GR
The Impact of Virtual Reality and Viewpoints in Body Motion Based Drone Teleoperation
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
远程机器人系统的操作可能是一项具有挑战性的任务,需要直观和高效的界面,以使没有经验的用户能够达到高水平的熟练程度。身体-机器接口(BoMI)代表了标准控制设备(如鼠标)的一种有前途的替代方案,因为它们利用了直观的身体运动和手势。已经表明,使用虚拟现实(VR)和第一人称视角可以增加用户在化身中的存在感。然而,目前还不清楚这些有益的影响是否也发生在显示不同于人类的运动模式的非拟人机器人的遥操作中。在这里,我们描述的非拟人无人机的远程操作的实验结果表明,VR与更高的空间存在感相关,而与机器人一致移动的视点与更高的意义上的实施例。此外,实验结果表明,自发身体运动模式在可变性、幅度和机器人相关性方面受到VR和视点条件的影响,这表明无人机遥操作BoMI的设计必须考虑到虚拟现实的使用和选择。观点。
2021-01-30 cs.HC cs.RO
Narrative based Postdictive Reasoning for Cognitive Robotics
University of Bremen(不来梅大学)
在存在异常、不可观察的过程和其他现实世界考虑的情况下,理解不完整和冲突的叙事知识是认知机器人系统的一个挑战和关键要求。一个额外的挑战,即使在适当的专业行动语言和推理系统存在,是实际的集成和应用程序中的大规模机器人控制框架。在一个自主轮椅机器人控制任务的背景下,我们报告应用程序驱动的工作,以实现预测触发异常检测和重新规划的实时机器人控制:(a)叙事为基础的知识,通过一个更大的智能环境框架的环境中获得;和(b)异常预测从稳定模型的答案集程序对应的机器人的认知模型。整体推理的背景下,通过翻译的答案集编程实现的近似认知行动理论为基础的计划。
2013-06-04 cs.AI cs.RO
Robust Sound Source Localization Using a Microphone Array on a Mobile Robot
Université de Sherbrooke(舍布鲁克大学)
移动机器人的听觉很重要,因为它是全方位的,不需要与声源保持直接的视线。这些功能可以很好地补充视觉,帮助定位环境中的人或有趣的事件。要做到这一点,机器人听觉系统必须能够在嘈杂的,未知的和多样化的环境条件下工作。在本文中,我们提出了一个强大的声源定位方法在三维空间中使用的阵列的8个麦克风。该方法是基于到达时间延迟估计。实验结果表明,移动机器人可以在3米范围内对不同类型的声源进行实时的定位,定位精度为3度。
2016-02-26 cs.RO cs.SD
Towards Robot-Centric Conceptual Knowledge Acquisition
Otto-von-Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);Jacobs University Bremen(不来梅雅各布大学)
机器人需要关于物体的知识,以便有效地执行涉及物体的各种家庭任务。现有的机器人知识库获取符号知识的对象从手动编码的外部常识知识库,如概念网,字网等,这种方法的问题是人类为中心的符号知识和机器人为中心的对象感知之间的差异,由于其有限的感知能力。最终,知识库中的大部分知识仍然没有被机器人感知。为了克服这种差异,我们提出了一种方法,使机器人能够生成机器人为中心的符号知识的对象从自己的感官数据,从而使他们能够组装自己的概念理解的对象。考虑到这一目标,本文件详细介绍了拟议方法的进展情况以及初步结果。
2018-10-08 cs.AI cs.RO
RoboBrain: Large-Scale Knowledge Engine for Robots
Cornell University(康奈尔大学);Stanford University(斯坦福大学)
在本文中,我们介绍了一个知识引擎,它学习和共享知识表示,机器人进行各种任务。构建这样一个引擎带来了处理多种数据形式的挑战,包括符号、自然语言、触觉、机器人轨迹、视觉特征等。存储在引擎中的\textit{knowledge}来自多个来源,包括机器人在执行任务(感知、规划和控制)时的物理交互、来自互联网的知识库以及来自多个机器人研究小组的学习表示。我们讨论了各种技术方面和相关的挑战,如知识的正确性建模,推断潜在的信息和制定不同的机器人任务作为查询的知识引擎。我们描述的系统架构,以及它如何支持不同的机制,用户和机器人与引擎进行交互。最后,我们展示了它在三个重要的研究领域的使用:接地自然语言,感知和规划,这是许多机器人任务的关键组成部分。这个知识引擎是一个合作的努力,我们称之为机器人大脑。
2015-04-12 cs.AI cs.RO
IPPON: Common Sense Guided Informative Path Planning for Object Goal Navigation
Robotic Systems Lab, ETH Zurich(苏黎世联邦理工学院机器人系统实验室);Google DeepMind(谷歌DeepMind)
本文提出 IPPON,一种结合语义分割、Bayes 滤波器、LLM 常识先验与信息路径规划的零样本 ObjectNav 方法,在 Habitat 2023 中以 SPL 和 Soft SPL 取得领先性能并完成真机验证。
2024-10-25 cs.AI cs.CL cs.RO