A Survey of Deep Learning Techniques for Mobile Robot Applications
多年来,深度学习的进步吸引了对人工神经网络在机器人系统中的深度的研究。本研究综述将对当前的研究进行总结,特别关注深度学习应用于移动机器人的收益和障碍。
2018-03-20 cs.CV cs.RO
A Survey of FPGA-Based Robotic Computing
Georgia Institute of Technology(佐治亚理工学院);Harvard University(哈佛大学);PerceptIn Inc(佩塞普特因公司);South China University of Technology(华南理工大学);University of Rochester(罗切斯特大学);Tsinghua University(清华大学)
最近的机器人研究已经取得了显着的进步,从算法,机械到硬件架构。包括机械手、足式机器人、无人机和自动驾驶汽车在内的机器人技术现在广泛应用于各种场景。然而,机器人算法的高计算量和数据复杂度对其应用提出了很大的挑战。一方面,CPU平台灵活,可以处理多个机器人任务。GPU平台具有较高的计算能力和易于使用的开发框架,因此在许多应用中被广泛采用。另一方面,基于FPGA的机器人加速器正在成为越来越有竞争力的替代方案,特别是在延迟关键和功率受限的场景中。通过专门设计的硬件逻辑和算法内核,基于FPGA的加速器可以在性能和能效方面超越CPU和GPU。在本文中,我们概述了以前的工作,基于FPGA的机器人加速器涵盖不同阶段的机器人系统管道。分析了软件和硬件优化技术和主要技术问题,以及一些商业和空间应用,作为未来工作的指导。
2021-03-05 cs.AI cs.AR cs.RO
Industry Best Practices in Robotics Software Engineering
Jet Propulsion Laboratory, California Institute of Technology(喷气推进实验室,加州理工学院);Robert Bosch Corporate Research(罗伯特·博世企业研究院);Waymo;XITASO GmbH(XITASO有限公司);Mälardalen University(梅拉达伦大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Stuttgart(斯图加特大学)
机器人软件正在推动软件工程实践的极限。第三届机器人软件工程国际研讨会举行了关于“机器人软件工程最佳做法“的小组讨论。本文分享了小组成员和研讨会讨论中出现的关键要点,包括NASA/加州理工学院喷气推进实验室的架构实践,博世的模型驱动开发,Waymo的自动驾驶系统开发和测试,以及XITASO的机器人软件测试。研究人员和从业者可以在本文内容的基础上,对他们的活动获得新的视角,并专注于当今开发机器人软件中最紧迫的实践和挑战。
2022-12-09 cs.RO cs.SE
Perspective, Survey and Trends: Public Driving Datasets and Toolsets for Autonomous Driving Virtual Test
Beihang University(北京航空航天大学)
与真实场景下的闭环测试相比,自动驾驶虚拟测试具有早期安全性和可靠性保证的优点,近年来受到越来越多的关注。虽然自动驾驶数据集和工具集的可用性和质量是诊断自动驾驶系统瓶颈和提高系统性能的前提,但由于数据集和工具集的多样性和隐私性,收集和表征它们的视角和质量不仅耗时而且越来越具有挑战性。本文首先提出了自动驾驶测试(SLA)的系统文献综述方法,然后概述了2000年至2020年现有的公开数据集和工具集。通过35个自动驾驶测试工具集和70个测试数据集,给出了相关场景的定量结果、观点和趋势推断以及建议。据我们所知,我们是第一个使用基于SLA的调查方法对数据集和工具集进行这种最新的实证调查。我们的多方面分析和新发现不仅揭示了我们认为对系统设计者,从业者和用户有用的见解,而且还可以促进更多关于数据集和工具集的自动驾驶调查系统调查分析的研究。
2021-06-30 cs.AI cs.RO
Dissecting Robotics - historical overview and future perspectives
Acutronic Robotics(Acutronic机器人公司)
机器人技术被称为下一次技术革命,估计它将引发第四次工业革命。本文回顾了过去几十年来机器人技术中发生的一些最相关的里程碑事件,并展望了未来。尽管如今机器人是一个新兴领域,但在许多技术方面,更重要的是为市场带来创新解决方案的挑战仍然存在。减少集成时间,成本和一个共同的硬件基础设施的需要进行了讨论,并在这项工作中进一步分析。最后,我们讨论了机器人技术作为一门工程学科的未来前景,并对未来的研究方向提出了建议。
2017-04-27 cs.RO
Deep Reinforcement Learning for Robotics: A Survey of Real-World Successes
The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Virginia(弗吉尼亚大学);Sony AI(索尼人工智能)
该综述梳理了深度强化学习在机器人领域的真实应用成果,分析了成功关键因素与研究空白,提出未来研究方向,为打造通用真实世界机器人系统提供参考。
2024-09-16 cs.LG cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景,探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
Secure Robotics: A Definition and a Brief Review from a Cybersecurity Control and Implementation Methodology Perspective
Bluerydge Cybersecurity and Technology(布鲁里奇网络安全与技术公司);University of Canberra(堪培拉大学);The Australian National University(澳大利亚国立大学)
安全机器人是一个多学科的努力,以改善机器人和具体的人工智能系统的网络安全态势。本文调查了封装安全机器人概念的新兴概念和想法,并确定了五个安全机器人网络安全控制实施层作为从业人员考虑的关键起点。它还认识到需要进一步研究人机信任与实施既定和新颖的网络安全控制之间的关系。
2022-11-14 cs.CR cs.RO
Machine Learning in Robotic Ultrasound Imaging: Challenges and Perspectives
Technical University of Munich(慕尼黑工业大学)
本文综述了智能机器人超声成像系统的最新进展,重点介绍了机器学习在提升系统智能和自主动作推理中的应用,并讨论了数据稀缺等挑战及未来研究方向。
2024-01-04 cs.RO
A Perspective on Robotic Telepresence and Teleoperation using Cognition: Are we there yet?
在过去的10年里,远程呈现和远程操作机器人吸引了大量的关注。随着人工智能(AI)革命的开始,我们可以看到广泛的机器人应用正在实现。智能机器人系统正在工业和家庭环境中部署。远程呈现是指虚拟地或通过机器人化身出现在远程位置的想法。类似地,从远程位置操作机器人执行各种任务的想法被称为遥操作。这些技术在医疗保健、教育、监控、灾难恢复和企业/政府部门有着重要的应用。但问题仍然是他们的成熟度,安全性和安全水平。我们还需要考虑如何增强用户体验,以及对进入下一代计算的此类技术的信任。
2022-03-06 cs.AI cs.CV cs.HC
Results of the Survey: Failures in Robotics and Intelligent Systems
Research Institute for Cognition and Robotics (CoR-Lab)(认知与机器人研究所);Center of Excellence Cognitive Interaction Technology (CITEC)(认知交互技术卓越中心);Bielefeld University(比勒费尔德大学)
2015年1月,我们在机器人研究人员中分发了一份关于机器人和智能系统故障的在线调查。这项调查的目的是找出目前存在哪些类型的故障,它们的起源是什么,以及如何监控和调试系统-特别关注性能错误。本报告概述了调查结果。
2017-08-24 cs.RO cs.SE
Generative Modeling Perspective for Control and Reasoning in Robotics
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田理工学院)
本论文提出用生成建模视角处理机器人控制与推理问题,通过学习多模态分布而非确定性一对一映射,以应对一对多关系场景,并探讨其在三个机器人主题中的优势。
2024-08-30 cs.RO
Robotic Grasping from Classical to Modern: A Survey
Xi’an Jiaotong University(西安交通大学)
机器人抓取一直是机器人学中的一个活跃的话题,因为抓取是机器人最基本但最具挑战性的技能之一。它要求协调机器人的感知,规划和控制的鲁棒性和智能性。然而,目前的解决方案仍然远远落后于人类,特别是在面对非结构化场景时。在本文中,我们调查的机器人抓取的进展,从经典的配方和解决方案的现代。通过回顾机器人抓取的历史,我们希望提供一个完整的视图,这个社区,也许启发不同的想法的组合和融合,我们认为这将有助于触摸和探索机器人抓取问题的本质。详细地,我们首先给出了机器人抓取的分析方法的概述。在此之后,我们提供了一个最新的国家的最先进的数据驱动的抓取方法,近年来兴起的讨论。随着计算机视觉的发展,语义抓取得到了广泛的研究,并有望成为未来自主机器人系统智能操作和技能学习的基础。因此,在我们的调查中,我们也简要回顾了这一主题的最新进展。最后,我们讨论了开放的问题和未来的研究方向,可能是重要的人类水平的鲁棒性,自主性和智能的机器人。
2022-02-08 cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
A Survey of research in Deep Learning for Robotics for Undergraduate research interns
Maulana Azad National Institute of Technology(莫拉纳·阿扎德国家技术研究院);JNResearch Labs LLP(JN研究实验室有限责任公司)
在过去的几年里,基于机器人的解决方案的用例已经从工厂车间到家庭应用多样化。与此同时,深度学习方法正在取代计算机视觉、自然语言处理、语音处理等领域的传统技术,并提供稳健的结果。我们的目标是调查“应用于机器人的深度学习”这一广泛领域的一些研究实习项目,并为有抱负的学生实习生提供一个简明的观点。本文介绍了CMU机器人研究所暑期学者(RISS)的研究工作。我们特别关注使用深度学习来解决核心机器人问题以及机器人解决方案的论文。我们相信这将是有用的,特别是对实习的机器人研究所,CMU的抱负
2023-01-23 cs.AI cs.RO
Internet of Things Meets Robotics: A Survey of Cloud-based Robots
Oklahoma State University(俄克拉荷马州立大学)
本文综述了物联网与机器人融合形成的机器人物联网(IoRT),重点分析其在医疗和农业中的应用,并通过企业调查揭示了物联网在提升客户体验、降本和加速开发方面的价值及安全隐私挑战。
2024-02-21 cs.NI cs.RO
Affordances in Robotic Tasks -- A Survey
Edinburgh Centre for Robotics(爱丁堡机器人中心);University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学)
示能是自主机器人代理必须感知的关键属性,以便有效地与新对象进行交互。从历史上看,这一概念来源于心理学和认知科学的文献,其中对启示的讨论使得定义很难直接转移到对机器人有用的计算规范。这篇综述文章特别关注机器人技术,因此我们从这个角度讨论相关文献。在这次调查中,我们对文献进行分类,并试图找到不同方法之间的共同点,以期在机器人技术中的应用。我们提出了一个分类的基础上的先验知识的水平,假设建立一个特定的机器人任务的重要的不同的启示组件之间的关系。我们还确定了未来改进的领域,并讨论了可能对机器人实践产生影响的可能方向。
2020-04-15 cs.RO
Accessible Survey of Evolutionary Robotics and Potential Future Research Directions
Bournemouth University(伯恩茅斯大学)
本文综述了应用于进化机器人领域的各种进化方法,旨在解决机器人设计和控制领域的难题。进化机器人是一个快速发展的领域,近年来吸引了大量的研究关注。因此,本文整理了最近的研究结果以及一些预期的应用。所审查的文献有系统地组织起来,对最近的事态发展作了分类概述,并以表格形式提出,以供快速参考。我们从ER的角度讨论了机器人技术中存在的突出潜力和挑战,相信这些将在不久的将来通过应用进化方法得到解决。本研究的主要目的是探讨进化方法在机器人应用程序开发中的适用性。我们相信,这项研究将使研究人员能够利用进化方法来解决机器人技术中复杂的突出问题。
2022-10-21 cs.RO
Robotics Software Engineering: A Perspective from the Service Robotics Domain
University of Gothenburg(哥德堡大学);Radboud University Nijmegen(拉德堡德大学);University of Bergamo(贝加莫大学)
通过执行有用的任务来支持人类的机器人(又称,服务机器人)在全球范围内蓬勃发展。与工业机器人相比,服务机器人的发展带来了严重的软件工程挑战,因为它们需要高水平的鲁棒性和自主性,以便在高度异构的环境中运行。作为一个具有关键安全影响的领域,服务机器人面临着对良好软件开发实践的需求。在本文中,我们提出了第一个大规模的实证研究,以评估国家的艺术和机器人软件工程的实践。我们对来自9个不同国家的15家公司的工业从业者进行了18次半结构化访谈,并对来自机器人领域的156名受访者(来自26个国家)进行了调查。我们的研究结果提供了一个全面的图片(i)机器人工业和学术从业者应用的实践,包括过程,范例,语言,工具,框架和重用的做法,(ii)机器人软件工程的显着特点,(iii)经常面临的挑战,以及采用的解决方案。本文最后讨论的意见,推导出的假设,并提出行动的研究人员和从业人员。
2020-09-08 cs.RO cs.SE
Comprehensive Survey of Evolutionary Morphological Soft Robotic Systems
University of Bridgeport(布里奇波特大学);King Saud University(沙特国王大学)
进化机器人旨在自动设计自主自适应形态机器人,这些机器人可以进化以完成特定任务,同时适应环境变化。软机器人技术已经证明了进化机器人技术用于机器人控制和形态综合的可行性。发展进化软计算技术,可以产生面向任务的结构形态机器人的动机,使软机器人领域值得认真调查和研究,因此,本文总结了一个重要的研究量的计算和软件体系结构的角度。本文回顾了文献,并讨论了进化机器人学的各个方面,包括形态软体机器人的应用,使自我组装,自我重构,自我修复,自我繁殖。然后,主要的里程碑概述了重要的形态软机器人原型,由于其在该领域的重要性。最后,评估了该领域的当前最新技术水平。
2017-05-30 cs.RO
A New Wave in Robotics: Survey on Recent mmWave Radar Applications in Robotics
University of Colorado Boulder(科罗拉多大学博尔德分校);Seoul National University(首尔大学);University of Toronto(多伦多大学)
本文综述76–81 GHz FMCW毫米波雷达在机器人学中的最新应用,梳理雷达原理、定位建图、检测分类及数据集与校准技术,并展望其抗恶劣视觉条件的独特优势。
2024-10-28 cs.RO
A Survey on Imitation Learning for Contact-Rich Tasks in Robotics
该综述全面梳理了机器人接触丰富型任务的模仿学习研究,涵盖示教收集方法、学习算法及多模态/基础模型带来的性能提升,明确了现有挑战,为该领域后续发展提供基础。
2025-06-16 cs.HC cs.LG cs.RO
Robotic Speech Synthesis: Perspectives on Interactions, Scenarios, and Ethics
University of Edinburgh(爱丁堡大学)
近年来,许多工作已经调查了会话机器人执行特定任务的可行性,例如医疗保健和面试。伴随着这一发展而来的是一个实际问题:我们应该如何合成机器人的声音,以满足不同情况的需求?在本文中,我们讨论了这个问题,从三个方面:1)合成非语言和面向交互的语音信号,特别是反向通道的困难; 2)的场景分类的机器人语音合成; 3)伦理问题的设计机器人语音的情感和身份。我们提出了相关文献的研究结果和我们以前的工作,试图引起人类与机器人交互研究人员的注意,以设计更好的对话机器人在未来。
2022-03-17 cs.CL cs.HC cs.RO
Structured learning of rigid-body dynamics: A survey and unified view from a robotics perspective
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);RWTH Aachen University(亚琛工业大学)
机械系统动力学的精确模型对于基于模型的控制和强化学习通常是至关重要的。完全数据驱动的动态模型有望简化建模和分析过程,但需要大量的数据进行训练,并且通常不能很好地推广到状态空间中看不见的部分。将数据驱动的建模与先前的分析知识相结合是一种有吸引力的替代方案,因为将结构知识纳入回归模型可以提高模型的数据效率和物理完整性。在这篇文章中,我们调查了将刚体力学与数据驱动建模技术相结合的监督回归模型。我们分析了不同的潜在功能(如动能或耗散力)和运营商(如微分算子和投影矩阵)的刚体力学的共同描述。基于这种分析,我们提供了一个统一的视图数据驱动的回归模型,如神经网络和高斯过程,与分析模型先验的组合。此外,我们审查和讨论的关键技术,如自动微分设计结构化的模型。
2021-04-16 cs.LG cs.RO
Formal Specification and Verification of Autonomous Robotic Systems: A Survey
University of Liverpool(利物浦大学)
本文针对自主机器人系统形式化规约与验证缺乏最新综述的问题,系统梳理了该领域的挑战、形式化体系及验证方法,填补了相关研究概述的空白。
2019-05-01 cs.FL cs.RO
Compare Contact Model-based Control and Contact Model-free Learning: A Survey of Robotic Peg-in-hole Assembly Strategies
Tsinghua University(清华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
在本文中,我们提出了一个概述的机器人销孔装配和分析两个主要的战略:接触模型为基础的和接触模型的战略。更具体地说,我们首先介绍了接触模型的控制方法,包括接触状态识别和顺应控制两个步骤。此外,我们专注于整个机器人装配系统的全面分析。其次,在没有接触状态识别过程的情况下,我们将接触无模型学习算法分解为两个主要的子领域:从演示中学习示教学习和从环境中学习(主要基于强化学习)。对于每个子领域,我们调查了标志性研究和正在进行的研究,以比较不同的类别。我们希望通过揭示潜在的联系来加强这两个研究群体之间的关系。最后,剩余的挑战和开放的问题,在该领域的机器人钉孔装配社区进行了讨论。展望了未来的研究方向和可能的工作。
2019-04-10 cs.RO
Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey
University of Turku(图尔库大学)
深度强化学习最近在机器人领域的多个领域取得了巨大成功。由于收集真实世界数据的局限性,即,样本的低效率和收集它的成本,模拟环境被用于训练不同的代理。这不仅有助于提供潜在的无限数据源,而且还消除了真实机器人的安全问题。尽管如此,一旦模型被转移到真实的机器人中,模拟世界和真实世界之间的差距会降低策略的性能。因此,目前正在进行多种研究努力,以缩小这种模拟与实际之间的差距,实现更有效的政策转移。近年来,出现了适用于不同领域的多种方法,但据我们所知,缺乏对不同方法进行总结和分析的全面审查。在这篇调查论文中,我们涵盖了深度强化学习中的仿真到现实迁移背后的基本背景,并概述了目前使用的主要方法:域随机化,领域自适应,模仿学习,元学习和知识蒸馏。我们对一些最相关的近期作品进行了分类,并概述了主要的应用场景。最后,我们讨论了不同方法的主要机遇和挑战,并指出了最有前途的方向。
2021-07-08 cs.LG cs.RO
Simulation for Planetary Robotic Perception and Autonomy: A Concise Survey of Recent Capabilities and Gaps
DGIST(大邱庆北科学技术院)
本文综述行星机器人感知与自主性仿真,从开放性、场景覆盖、传感器支持和环境真实性四维度评估,指出公共可用性不均、漫游车中心覆盖及操作约束报告不足等差距。
2026-09-29 cs.RO
Augmented Reality and Robotics: A Survey and Taxonomy for AR-enhanced Human-Robot Interaction and Robotic Interfaces
University of Calgary(卡尔加里大学);University College London(伦敦大学学院)
本文基于对460篇研究论文的调查,对增强现实和机器人技术进行了分类。增强和混合现实(AR/MR)已经成为增强人机交互(HRI)和机器人接口(例如,致动的和形状改变的界面)。最近,越来越多的HCI、HRI和机器人研究已经证明了AR如何实现人与机器人之间更好的交互。然而,研究往往仍然集中在个人的探索和关键的设计策略,研究问题很少进行系统的分析。在本文中,我们综合和分类这一研究领域在以下方面:1)增强现实的方法; 2)机器人的特点; 3)目的和好处; 4)分类的信息; 5)设计组件和策略的视觉增强; 6)交互技术和方式; 7)应用领域;和8)评估策略。我们制定了关键的挑战和机遇,以指导和通知未来的研究在AR和机器人。
2022-03-07 cs.CV cs.HC cs.RO
Rethinking Temporal Object Detection from Robotic Perspectives
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Innovation Center for Engineering Science and Advanced Technology, Peking University(北京大学工程科学与先进技术北京创新中心);Beihang University(北京航空航天大学)
视频目标检测(VID)已经被大力研究多年,但是几乎所有的文献都采用基于静态精度的评估,即,平均精度(AP)。从机器人的角度来看,召回连续性和定位稳定性的重要性与准确性相同,但AP不足以反映检测器在时间上的性能。本文提出了一种基于对象轨迹的连续性和稳定性的非参考评估方法。这些时间评估可以作为静态AP的补充。此外,我们开发了一个在线的轨迹细化,通过短轨迹抑制,片段填充和时间位置融合来提高检测器的时间性能。此外,我们提出了一个小的重叠抑制扩展VID方法的单目标跟踪(SOT)任务,使一个灵活的SOT的检测框架,然后形成。在ImageNet VID数据集和真实世界的机器人任务上进行了大量的实验,验证了我们提出的方法的优越性。代码将公开提供。
2020-03-04 cs.CV cs.RO
A Survey of Decision-Theoretic Approaches for Robotic Environmental Monitoring
该综述首次全面梳理了机器人环境监测领域的决策论方法,明确了环境表示方式与任务求解思路,归纳了决策优化的六大维度,指出了领域现存挑战与发展机遇。
2023-11-06 cs.RO
Survey and Perspective on Social Emotions in Robotics
Osaka University(大阪大学);The University of Electro-Communications(电气通信大学)
本文综述了机器人社会情感的研究进展。在机器人技术中,对情感的研究已经进行了很长一段时间,包括对情感的识别,表达和基本机制的计算建模的研究。研究已经根据著名的心理学发现,如类别和维度理论。许多研究都是基于这些基本理论,只涉及基本的情绪。然而,社会情绪,也被称为更高层次的情绪,已经在心理学中进行了研究。我们相信,这些更高层次的情感值得在下一代具有社会意识的机器人机器人中加以追求。在这篇综述论文中,我们总结了心理学和神经科学中关于社会情绪的研究结果,以及迄今为止对机器人社会情绪研究的调查。此后,对机器人的社会情感的实现的研究方向进行了讨论。
2022-01-14 cs.AI cs.RO
AdvGrasp: Adversarial Attacks on Robotic Grasping from a Physical Perspective
Department of Automation, University of Science and Technology of China(中国科学技术大学自动化系);SmartMore Corporation(SmartMore公司);Cyberspace Institute of Advanced Technology, Guangzhou University(广州大学网络空间技术研究院);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
本文提出AdvGrasp框架,从物理视角通过变形物体形状以增加重力扭矩并减小力旋空间稳定裕度,系统降低机器人抓取的提升能力与稳定性,有效生成对抗性物体并经实验验证了其鲁棒性与实用性。
2025-07-14 cs.CR cs.RO
Perspectives on Sim2Real Transfer for Robotics: A Summary of the R:SS 2020 Workshop
Amazon Robotics AI(亚马逊机器人人工智能);Rutgers University(罗格斯大学);NVIDIA Robotics(英伟达机器人);McGill University(麦吉尔大学);Mila;ElementAI;University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Georgia Tech(佐治亚理工学院);Technische Universität Darmstadt(达姆施塔特工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Columbia University(哥伦比亚大学);OpenAI;University of Alberta(阿尔伯塔大学)
本报告介绍了与2020年版“机器人:科学与系统”会议同时举行的Sim2Real研讨会的辩论、海报和讨论。该领域的12位领导人就机器人问题的定义、可行性和将技能从模拟转移到现实世界的重要性展开了激烈的辩论。辩论者还参加了一个大型小组讨论,回答观众的问题,并概述了Sim2Real在机器人领域的未来。此外,我们邀请了扩展摘要参加本次研讨会,并在本报告中进行了总结。在研讨会的基础上,本报告最后为利用这项技术的从业人员和研究人员进一步探索这一领域的开放问题提供了方向。
2020-12-07 cs.AI cs.CV cs.LG
Embodied Neuromorphic Artificial Intelligence for Robotics: Perspectives, Challenges, and Research Development Stack
New York University (NYU) Abu Dhabi(纽约大学阿布扎比分校);Khalifa University(哈利法大学)
本文针对机器人技术缺乏具身智能的问题,提出通过神经形态AI(SNN)实现具身智能的六个视角,涵盖学习规则、跨层优化、基准、可靠性、安全隐私及协同发展,并指出挑战与未来方向。
2024-09-12 cs.AI cs.LG cs.NE
Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations
German Research Center for AI(德国人工智能研究中心);Nvidia(英伟达);Massachusetts Institute of Technology(麻省理工学院);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学);Technische Universität Darmstadt(达姆施塔特工业大学);Georgia Institute of Technology(佐治亚理工学院)
本文综述了深度生成模型在机器人多模态演示学习中的应用,涵盖模型类型、应用场景及泛化改进,并指出研究挑战与未来方向。
2024-08-21 cs.LG cs.RO
Semantics for Robotic Mapping, Perception and Interaction: A Survey
Queensland University of Technology(昆士兰科技大学);Monash University(莫纳什大学);University of Adelaide(阿德莱德大学);Australian National University(澳大利亚国立大学)
为了让机器人能够更丰富地与周围的世界进行导航和互动,它们可能需要对它们所处的世界有更深入的了解。在机器人和相关研究领域,理解的研究通常被称为语义学,它规定了世界对机器人的“意义”,并且与如何表示该意义的问题密切相关。随着人类和机器人越来越多地在同一个世界中操作,人机交互的前景也带来了自然语言的语义和本体。在需求的驱动下,以及通过增加训练数据和计算资源的可用性等推动因素,语义是机器人技术中一个快速发展的研究领域。迄今为止,该领域在研究文献中受到了极大的关注,但大多数评论和调查都集中在该主题的特定方面:关于其在特定机器人主题(如映射或分割)中使用的技术研究问题,或其与自动驾驶等特定应用领域的相关性。因此,需要一种新的治疗方法,这也是及时的,因为自从许多关键调查发表以来,已经进行了如此多的相关研究。因此,这项调查提供了一个全面的快照,语义在机器人技术的立场今天。我们建立了一个分类的语义研究或相关的机器人技术,分为四大类的活动,其中语义提取,使用,或两者兼而有之。在这些广泛的类别中,我们调查了数十个主要主题,包括计算机视觉领域的基础知识和利用语义的关键机器人研究领域,包括地图绘制,导航和与世界的交互。该调查还涵盖了关键的实际考虑因素,包括提高数据可用性和改进计算硬件等推动因素,以及...
2021-01-02 cs.CV cs.HC cs.LG
3D Gaussian Splatting in Robotics: A Survey
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);Imperial College London(伦敦帝国学院)
本综述全面回顾了3D Gaussian Splatting (3DGS) 在机器人学中的应用与技术进展,涵盖场景理解、交互任务、数据集评估及未来挑战。
2024-12-19 cs.RO
A Survey of Robotics and Emotion: Classifications and Models of Emotional Interaction
Georgia Tech Center for Music Technology(佐治亚理工学院音乐技术中心)
随着情感在机器人研究中发挥越来越大的作用,开发方法来分析和比较各种方法至关重要。为此,我们提出了一个调查1427 IEEE和ACM出版物,包括机器人和情感。这包括情感输入分析,机器人情感表达,情感交互研究和内部处理模型的广泛分类趋势。然后,我们专注于232篇论文,提出了内部处理的情绪,如使用人类的情感更好的互动或把环境刺激到情感驱动机器人路径规划。我们对232篇论文进行了持续的比较分析,得出了三个广泛的分类指标:情绪智力,情绪模型和实施,每个都包括两个或三个子类别。这些子类别涉及所使用的算法、情感映射、历史、情感模型、情感类别、情感的作用、情感的目的和平台。我们的研究结果显示了一个不同的研究领域,主要是由情感在系统中的作用,无论是改善互动,或改善机器人的性能。我们还提出了多个未来的研究机会,并描述了所有出版物中常见的内在挑战。
2020-07-29 cs.RO
Robot Policy Evaluation for Sim-to-Real Transfer: A Benchmarking Perspective
NVIDIA(英伟达)
本文探讨了通用机器人操作策略在sim-to-real迁移评估中的挑战,提出利用高视觉保真度仿真、系统增加任务复杂度与场景扰动以及量化虚实性能对齐三项基准设计原则。
2025-08-14 cs.RO
A Comprehensive Survey on Physical Risk Control in the Era of Foundation Model-enabled Robotics
The University of Tokyo(东京大学);Japan AI Safety Institute(日本人工智能安全研究所)
本综述系统总结了基础模型赋能机器人在部署前、事件前和事件后三个阶段减轻物理风险的控制方法,并指出了未来在风险缓解、人机物理交互及模型本质问题上的研究空间。
2025-05-30 cs.AI cs.LG cs.RO
Active Inference in Robotics and Artificial Agents: Survey and Challenges
Robotics Institute, Delft University of Technology(代尔夫特理工大学机器人研究所);MRC Brain Networks Dynamics Unit, Oxford University(牛津大学MRC脑网络动力学研究中心);Oxford Robotics Institute, Oxford University(牛津大学牛津机器人研究所);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
主动推理是一个数学框架,起源于计算神经科学,作为大脑如何实现动作,感知和学习的理论。最近,它已被证明是一个很有前途的方法,状态估计和不确定性下的控制问题,以及在机器人和人工智能体的目标驱动行为的建设一般的基础。在这里,我们回顾了状态估计,控制,规划和学习的主动推理的最新理论和实现;描述了当前的成就,特别关注机器人技术。我们展示了相关实验,说明了它在适应性、泛化和鲁棒性方面的潜力。此外,我们将这种方法与其他框架,并讨论其预期的好处和挑战:一个统一的框架与功能的生物相容性,使用变分贝叶斯推理。
2021-12-03 cs.AI cs.LG cs.RO
3D Move to See: Multi-perspective visual servoing for improving object views with semantic segmentation
Queensland University of Technology(昆士兰科技大学)
在本文中,我们提出了一种新的方法,视觉伺服的机器人,被称为3D移动到看到(3DMTS)的基础上,找到下一个最好的看法,使用3D相机阵列和机器人机械手从不同的角度获得多个样本的场景的原则。该方法使用语义视觉和应用于每个视角的目标函数来采样表示下一个最佳视图的方向的梯度。该方法在模拟和一个真正的机器人平台上进行了演示,该平台包含一个自定义的3D相机阵列,用于在高度闭塞和非结构化的环境中进行机器人收获的挑战性场景。在一个真实的机器人平台上显示,通过使用目标函数的梯度移动末端执行器,即使在遮挡之间,也会导致感兴趣对象的局部最佳视图。与使用单个RGB-D相机的基线方法相比,3DMTS方法的总体性能获得了目标尺寸平均增加29.3%,基线方法获得了9.17%。结果表明,定性和定量的3DMTS方法在大多数情况下表现更好,并产生三倍的目标大小相比,基线方法。在最终视图中增加的目标尺寸将改善对感兴趣对象的关键特征的检测,以用于进一步操纵,例如抓取和收获。
2018-09-21 cs.RO
Diffusing in Someone Else's Shoes: Robotic Perspective Taking with Diffusion
University of Hamburg(汉堡大学)
针对机器人从第三人称演示学习动作需制作第一人称演示成本高的问题,提出一种新型扩散模型,可实现第三人称到第一人称视角的物体与环境尺寸、旋转转换,让机器人直接从第三人称演示学习,兼顾两种视角的优势。
2024-10-04 cs.AI cs.RO
Accelerating Discovery in Natural Science Laboratories with AI and Robotics: Perspectives and Challenges from the 2024 IEEE ICRA Workshop, Yokohama, Japan
University of Liverpool(利物浦大学);SiLA Consortium(SiLA联盟);Acceleration Consortium(加速联盟);University of Toronto(多伦多大学);Technical University of Munich(慕尼黑工业大学);University of Tokyo(东京大学);University of British Columbia(不列颠哥伦比亚大学);Roche Diagnostics GmbH(罗氏诊断有限公司);Unchained Labs(Unchained实验室);University of Rostock(罗斯托克大学);Argonne National Laboratory(阿贡国家实验室);Takeda(武田药品工业);Óbuda University(欧布达大学);Institute of Science Tokyo(东京科学大学);Florida State University(佛罗里达州立大学)
本文基于2024年日本横滨IEEE ICRA研讨会,梳理了科学实验室自动化需跨学科协作应对的自主能力、可复现性等多方面挑战,呈现了各学科顶尖专家的相关观点。
2025-01-12 cs.RO
A Survey of Embodied Learning for Object-Centric Robotic Manipulation
The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
该综述系统梳理了面向以物体为中心的机器人操作的具身学习领域最新进展,将现有工作分为具身感知、策略、任务导向学习三大分支,同时讨论了数据集、挑战与未来方向,并上线了相关项目。
2024-08-21 cs.AI cs.CV cs.LG
Graph learning in robotics: a survey
Polytechnic of Turin(都灵理工大学)
该综述从机器人学视角梳理图神经架构的基础、进展与应用挑战,总结其在多类机器人任务中的应用,为理解该技术的优劣势及未来研究方向提供参考。
2023-10-06 cs.CV cs.RO
A Survey on Integration of Large Language Models with Intelligent Robots
Korea Advanced Institute of Science and Technology(韩国科学技术院)
该综述梳理GPT-3.5后大语言模型在机器人通信、感知、规划、控制领域的应用,提供提示工程指南与实践示例,为LLM与智能机器人的融合研究提供路线图与实操参考。
2024-08-15 cs.RO
A Survey of Robotic Harvesting Systems and Enabling Technologies
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Centre for Research and Technology Hellas(希腊研究与技术中心)
本文对地面农业机器人系统和应用进行了全面的回顾,特别关注跨越研究和商业产品和成果的收获,以及它们的使能技术。大多数文献关注作物检测的发展,通过视觉的田间导航及其相关的挑战。健康监测、产量估计、水状况检查、播种和除草是经常遇到的任务。关于机器人收割,苹果、草莓、西红柿和甜椒主要是出版物、研究项目和商业产品中考虑的作物。所报道的收割农业机器人解决方案通常由移动平台、单个机械臂/机械手和各种导航/视觉系统组成。本文回顾了特定功能和硬件的发展,通常需要由一个操作的农业机器人收割机,它们包括(a)视觉系统,(b)运动规划/导航方法(机器人平台和/或手臂),(c)人机交互(HRI)战略与三维可视化,(d)系统操作规划和抓取策略和(e)机器人末端执行器/抓手设计。显然,自动化农业,特别是通过机器人系统进行自动收割是一个仍然开放的研究领域,提供了一些可以做出新贡献的挑战。
2023-02-01 cs.RO
Teach Me How to Learn: A Perspective Review towards User-centered Neuro-symbolic Learning for Robotic Surgical Systems
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Saarland Informatics Campus(萨尔兰信息学园区);University of Bremen(不来梅大学)
本文提出面向机器人手术的以用户为中心神经符号学习范式,综述人在环路手术机器人研究,并展望基于专家外科医生隐式与显式反馈的在线学徒学习以解决自主手术机器人交互挑战。
2023-07-07 cs.AI cs.HC cs.RO
Robotic Ultrasound Imaging: State-of-the-Art and Future Perspectives
Technische Universität München(慕尼黑工业大学);Technical University of Munich(慕尼黑工业大学);University of British Columbia(不列颠哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文综述了机器人超声成像系统的最新进展,将其分为遥操作与自主式两类,重点探讨机器学习与人工智能在实现智能、运动感知的自主超声采集中的作用,并提出恢复“超声语言”这一关键研究方向。
2023-08-07 cs.RO
Industry 4.0 and Prospects of Circular Economy: A Survey of Robotic Assembly and Disassembly
尽管他们的贡献,金融效率和环境的可持续性的工业流程,机器人装配和拆卸已在现有的文献研究不足。这与它们在实现第四次工业革命中的重要性相矛盾。更具体地说,尽管大多数文献广泛讨论了如何最佳地组装或拆卸给定的产品,其他因素的作用被忽视了。例如,执行顺序计划所涉及的机器人类型,理想情况下,应该在设计、装配、拆卸和重新装配的整个链条中考虑到这一点。将上述操作与相关生态系统的其他组成部分隔离开来,可能会导致对基本程序的必要性和效率的错误推断。在本文中,我们试图减轻这些缺点,全面调查的国家最先进的机器人装配和拆卸。我们考虑和审查制造和再制造框架的各个方面,同时特别关注它们对支持循环经济的可取性。
2021-06-14 cs.RO
A Survey of Recent Scalability Improvements for Semidefinite Programming with Applications in Machine Learning, Control, and Robotics
Princeton University(普林斯顿大学);INSEAD(欧洲工商管理学院)
从历史上看,可扩展性一直是半定编程在机器学习、控制和机器人等领域成功应用的主要挑战。在本文中,我们调查了最近解决这一挑战的方法,包括(i)利用结构的方法(例如,稀疏性和对称性),(ii)产生半定程序的低秩近似解的方法,(iii)依赖于增广拉格朗日技术和乘法器的交替方向法的更可扩展的算法,以及(iv)权衡可扩展性与保守性的方法(例如,通过用线性和二阶锥规划近似半定规划)。对于每一类方法,我们都提供了一个高层次的阐述,相应文献的入口点,以及从机器学习,控制或机器人技术中提取的例子。我们还提出了一个软件包,实现了许多在本文中讨论的技术。我们的希望是,本文将作为一个门户,丰富和令人兴奋的文学可扩展的半定规划的理论家和实践者。
2019-12-16 cs.LG cs.RO cs.SY
Bio-inspired Intelligence with Applications to Robotics: A Survey
University of Guelph(圭尔夫大学)
在过去的几十年里,生物智能及其在机器人技术中的应用受到了相当大的关注。本文提供了一个全面的调查生物启发的智能,重点是神经动力学方法,各种机器人应用,特别是自主机器人系统的路径规划和控制。首先,介绍了仿生分流模型及其变体(加性模型和门控偶极子模型),并给出了它们的主要特点。然后,回顾了神经动力学在各种机器人系统实时路径规划和控制中的两个主要应用。一个生物启发的神经网络框架,其中神经元的神经动力学模型的特点,讨论了移动机器人,清洁机器人,水下机器人。生物启发神经网络已被广泛应用于实时无碰撞导航和合作,没有任何学习过程,全球成本函数,和先验知识的动态环境。此外,生物启发的反推控制器的各种机器人系统,这是能够消除速度跳时,一个大的初始跟踪误差发生,进一步讨论。最后,本文讨论了当前面临的挑战和未来的研究方向。
2022-06-17 cs.RO cs.SY eess.SY