Autonomously Navigating a Surgical Tool Inside the Eye by Learning from Demonstration
Johns Hopkins University（约翰斯·霍普金斯大学）；Wilmer Eye Institute at the Johns Hopkins Hospital（约翰斯·霍普金斯医院威尔默眼科研究所）
视网膜手术的一个根本挑战是安全地将手术工具导航到视网膜表面上所需的目标位置，同时避免对周围组织造成损伤，这一过程通常需要数十微米的精度。在实践中，外科医生依赖于深度估计技能来相对于视网膜定位工具尖端，以便执行工具导航任务，这可能容易出现人为错误。为了减轻这种不确定性，先前的工作已经引入了通过估计工具尖端到视网膜的距离并提供触觉或听觉反馈来辅助外科医生的方法。然而，自动化工具导航任务本身仍然没有解决，而且在很大程度上没有探索。这种能力，如果可靠地自动化，可以作为简化复杂程序和减少组织损伤机会的基础。为此，我们建议自动化的工具导航任务，通过学习模仿专家演示的任务。具体地，训练深度网络以基于记录的对用户指定的给定目标的视觉伺服来模仿朝向视网膜上的各个位置的专家轨迹。建议的自主导航系统进行了评估，在模拟和物理实验中使用硅树脂的眼睛幻影。我们表明，该网络可以可靠地将针手术工具导航到各种所需的位置，在物理实验中的精度为137微米，在模拟中的平均精度为94微米，并且可以很好地推广到看不见的情况，例如存在辅助手术工具，可变的眼睛背景和亮度条件。
2020-11-16 cs.AI cs.RO
Grow Your Limits: Continuous Improvement with Real-World RL for Robotic Locomotion
Berkeley AI Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
本文提出策略正则化框架APRL，通过调节探索过程，使四足机器人能在真实世界中高效学会行走并持续提升性能，突破先前方法的性能饱和限制。
2023-10-26 cs.AI cs.LG cs.RO
Pheno-Robot: An Auto-Digital Modelling System for In-Situ Phenotyping in the Field
College of Engineering, South China Agriculture University（华南农业大学工程学院）；Monash University（莫纳什大学）
本研究提出Pheno-Robot自动数字化建模系统，通过环境理解、运动规划和原位表型分析三个模块实现田间植物数据自主采集与高质量模型重建，提升了农业环境表型分析的效率与鲁棒性。
2024-02-15 cs.RO
Walking in Narrow Spaces: Safety-critical Locomotion Control for Quadrupedal Robots with Duality-based Optimization
University of California, Berkeley（加州大学伯克利分校）
本文提出一种结合指数离散控制屏障函数与对偶避障约束的四足机器人安全运动控制框架，利用多面体精确描述形状，实现真实世界中狭窄空间的安全自主导航。
2023-08-09 cs.RO
NavDreams: Towards Camera-Only RL Navigation Among Humans
ETH Zürich（苏黎世联邦理工学院）
在日常拥挤的空间中自主导航机器人需要解决复杂的感知和规划挑战。当仅使用单目图像传感器数据作为输入时，不能使用经典的二维规划方法。虽然图像在感知和规划方面存在重大挑战，但它们也允许捕获潜在的重要细节，例如复杂的几何形状，身体运动和其他视觉线索。为了仅从图像成功地解决导航任务，算法必须能够仅使用该信息通道来对场景及其动态进行建模。我们调查是否世界模型的概念，这表明了国家的最先进的结果，在雅达利游戏的建模和学习政策，以及有前途的结果，在二维激光雷达为基础的人群导航，也可以应用到基于摄像头的导航问题。为此，我们创建了模拟环境，机器人必须在不发生碰撞的情况下通过静态和移动的人类才能到达目标。我们发现，国家的最先进的方法是能够成功地解决导航问题，并可以产生梦幻般的预测未来的图像序列，显示一致的几何形状和移动的人。我们还能够通过在真实机器人上测试策略来证明我们的高保真sim2real仿真场景中的策略性能转移到真实世界中。我们在www.example.com上提供我们的模拟器、模型和实验。
2022-03-23 cs.LG cs.RO
MOAR Planner: Multi-Objective and Adaptive Risk-Aware Path Planning for Infrastructure Inspection with a UAV
ICRA_Louis_Petit（ICRA_路易·佩蒂）
提出MOAR路径规划器，通过风险感知成本函数和自适应速度规划，在接近障碍物时实时优化安全、时间和能量，实现无人机自主导航。
2026-06-29 cs.RO
Intent Prediction-Driven Model Predictive Control for UAV Planning and Navigation in Dynamic Environments
Carnegie Mellon University（卡内基梅隆大学）
针对动态环境下无人机导航感知不可靠、轨迹易失效的问题，提出整合感知、MDP意图预测与MPC规划的导航框架，经仿真与实物实验验证，其碰撞次数少于基准方法，提升了导航安全性。
2025-03-23 cs.RO
Alpha-N: Shortest Path Finder Automated Delivery Robot with Obstacle Detection and Avoiding System
North South University（北南大学）
本文介绍了一种自供电轮式自动送货机器人Alpha N A。ADR能够通过检测和避开路径中的物体或障碍物来自主导航，它使用路径的矢量地图，并通过Dijkstra算法的网格计数方法来计算最短路径。具有射频识别标签的地标确定被放置在路径中，用于源和目的地的识别和验证，并且还用于当前位置的重新校准。另一方面，一个目标检测模块是由VGGNet 16架构的Faster RCNN构建的，用于通过检测和识别障碍物来支持路径规划。路径规划系统与GCM的输出、RFID读取系统以及ODM的二进制结果相结合。该PPS要求机器人的最低速度为200 RPM，持续时间为75秒，以便通过读取RFID标签成功重新定位其位置。在结果分析阶段，ODM的准确率为83.75%，RRS的准确率为92.3%，PPS的准确率为85.3%。将所有这3个模块堆叠起来，构建、测试和验证了ADR，与其他服务机器人相比，ADR在性能和可用性方面都有显着提高。
2020-04-28 cs.RO
Towards Computer-Vision Based Vineyard Navigation for Quadruped Robots
Istituto Italiano di Tecnologia（意大利理工学院）
现代葡萄园的熟练劳动力严重短缺。Vinum项目正在开发一种移动机器人解决方案，用于在葡萄园中自动导航，进行冬季葡萄修剪。这就需要一个自主导航堆栈，用于修剪葡萄园的机器人。Vinum项目正在使用四足机器人HyQReal。本文介绍了一种四足机器人的架构，通过识别和接近葡萄修剪葡萄园自主移动。更高级别的控制是一个状态机，在搜索目的地位置、自主导航到这些位置以及停下来让机器人完成任务之间切换。通过使用来自基于掩码区域的卷积神经网络（Mask-RCNN）的实例分割来识别葡萄树树干来确定目的地点。这些检测通过滤波器发送，以避免冗余并去除噪声检测。这些功能的组合是所提出的架构的基础。
2023-01-02 cs.RO
Developing a Simple Model for Sand-Tool Interaction and Autonomously Shaping Sand
Carnegie Mellon University（卡内基梅隆大学）
与沙子互动的机器人的自主性将实现广泛的有益行为，从建筑和农业车辆的地球移动到火星漫游者的崎岖地形。这项工作的目的是将沙子塑造成所需的形状。与实现机器人的期望状态的其他常见自主任务不同，实现连续可变形环境（如沙子）的期望形状是更具挑战性的任务。机器人的运动状态可以用x、y、z、roll、pitch、yaw等几个状态来描述，但是沙子的形状不能用几个值来描述。沙子是由数十亿个小颗粒聚集而成的。在通过只看高度图的表面来简化沙子和工具交互的模型之后，我们可以将问题公式化为仍然是高维的（数百到数千个状态维度），但更容易解决。我们展示了如何将这个问题转化为图搜索问题，并使用A-star算法解决它，并报告了使用深度强化学习方法（如深度Q网络和深度确定性策略梯度）的初步结果。
2019-08-07 cs.RO
Reprogrammable sequencing for physically intelligent under-actuated robots
J.A.Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·保尔森工程与应用科学学院）；KULeuven（鲁汶大学）；Flanders Make（佛兰德制造机构）
针对资源受限机器人的物理智能实现问题，提出利用多稳态和环境机械刺激被动重编程自由度运动时序的方法，并以仅含单个线性致动器的四自由度迷宫导航机器人验证其有效性。
2024-09-05 cond-mat.other cs.RO
Self-Reconfigurable V-shape Formation of Multiple UAVs in Narrow Space Environments
VNU University of Engineering and Technology（越南国立大学工程技术大学）；Fulbright University Vietnam（越南富布赖特大学）
本文提出了一种用于多无人机在密集障碍物环境中穿越狭窄空间的自重构V型编队控制器，通过分布式行为控制算法实现无人机自主调整位置与动态重构，仿真验证了其适应性和有效性。
2024-02-13 cs.RO
Learning to Navigate Autonomously in Outdoor Environments : MAVNet
Indian Institute of Science（印度科学学院）；National Institute of Technology, Srinagar（斯利那加国立理工学院）
在自动化和机器人技术的现代时代，自动驾驶汽车目前是学术和工业研究的焦点。随着越来越多的无人驾驶飞行器参与民用和商业领域的活动，这些系统也越来越需要自主性。由于政府制定的关于民用无人机操作上限的指导方针，基于道路跟踪的导航正在引起人们的兴趣。为了实现上述任务，我们提出了一种基于模仿学习的、数据驱动的无人机自主导航解决方案，通过模仿专家飞行员学习飞行来在城市街道上导航。从经典的图像分类算法，我们的分类器已被构造在一个快速的39层的Inception模型的形式，使用输入帧的断层重建评估道路的存在。基于Inception-v3架构，我们的系统在处理复杂性和准确性方面比许多现有的模仿学习模型表现得更好。用于训练系统的数据是由至少有6-8年飞行经验的专家通过在城市和半城市街道内和周围飞行无人机捕获的。这些数据来自确保数据汇集过程中（对行人）风险最小的相关部门。凭借我们收集的大量无人机数据，我们已经能够成功地在道路上导航，而不会发生碰撞或超调，准确率为98.44%。MAVNet的计算效率使无人机能够以高达6米/秒的高速飞行。我们在这项研究中提出了相同的结果，并将其与其他最先进的视觉和基于学习的导航方法进行了比较。
2018-09-02 cs.RO
PEPA: a Persistently Autonomous Embodied Agent with Personalities
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；Shanghai Innovation Institute（上海创新研究院）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；State Key Laboratory of Intelligent Manufacturing Equipment and Technology, Huazhong University of Science and Technology（华中科技大学智能制造装备与技术国家重点实验室）
本文提出PEPA框架，通过三层认知架构实现持续自主，利用个性特质自主生成目标并维持行为演化，实验证明其在动态环境中稳定运行。
2026-05-07 cs.AI cs.RO
Walking Posture Adaptation for Legged Robot Navigation in Confined Spaces
ETH Zürich（苏黎世联邦理工学院）；CSIRO（澳大利亚联邦科学与工业研究组织）
足式机器人由于其高自由度而具有适应其行走姿态以在受限空间中导航的能力。然而，这在大多数常见的多腿平台中还没有被利用。本文提出了一种可变形的限界框抽象的机器人模型，伴随着映射和规划策略，使一个足式机器人自主改变其身体形状，以浏览有限的空间。该映射是使用机器人为中心的多海拔地图与机器人携带的距离传感器生成的。路径规划基于轨迹优化算法CHOMP，该算法在避开障碍物的同时创建平滑的轨迹。所提出的方法已在仿真和六足机器人韦弗，这是33厘米高，82厘米宽正常行走时，实施测试。我们演示了在25厘米的悬垂障碍物下导航，通过70厘米宽的间隙和超过22厘米高的障碍物，在人工测试空间和现实环境中，包括地下采矿隧道。
2019-01-31 cs.RO
Autonomous Navigation for Quadrupedal Robots with Optimized Jumping through Constrained Obstacles
UC Berkeley（加州大学伯克利分校）
四足动物是导航具有挑战性的环境，因为他们的敏捷和动态的设计强有力的候选人。本文提出了一种方法，通过创建一个端到端的导航框架，利用步行和跳跃模式，扩展四足机器人的探索范围。为了获得一个动态的跳跃动作，同时避免障碍物，动态可行的轨迹优化离线通过基于配置的优化，其中施加安全约束。这样的优化示意图允许机器人通过考虑空中和地面上的障碍物来跳过窗口形障碍物。由此产生的跳跃模式中使用的自主导航管道，利用基于搜索的全局规划器和本地规划器，使机器人通过步行到达目标位置。状态机与决策策略一起允许系统在绕过障碍物或跳过障碍物之间切换行为。所提出的框架进行了实验部署和验证的四足机器人，迷你猎豹，使机器人能够自主导航通过环境，同时避免障碍物和跳跃的最大高度为13厘米，通过一个窗口形的开口，以达到其目标。
2021-07-01 cs.AI cs.RO cs.SY
Bifurcation Identification for Ultrasound-driven Robotic Cannulation
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh School of Medicine（匹兹堡大学医学院）
针对超声图像中血管分叉自动提取缺乏算法及活体训练数据不足的问题，提出融合专家知识与深度学习的BIFURC算法，可检测股部血管分叉并提供最优进针位点，经体模和活体猪实验验证，结果与临床专家识别一致。
2024-09-10 cs.AI cs.CV cs.LG
Visual Language Maps for Robot Navigation
University of Freiburg（弗赖堡大学）；Google Research（谷歌研究院）；University of Technology Nuremberg（纽伦堡工业大学）
可以使用在互联网规模数据上预训练的现成视觉语言模型（例如，图像字幕）。虽然这对于将图像匹配到对象目标的自然语言描述是有用的，但是它仍然与映射环境的过程不相交，因此它缺乏经典几何地图的空间精度。为了解决这个问题，我们提出了VLMaps，这是一种空间地图表示，它直接将预先训练的视觉语言特征与物理世界的3D重建融合在一起。VLMaps可以使用标准的探索方法从机器人上的视频源自主构建，并支持地图的自然语言索引，而无需额外的标记数据。具体地，当与大语言模型（LLM）结合时，VLMaps可以用于（i）将自然语言命令翻译成开放词汇导航目标的序列（其超出先前的工作，可以通过构造而空间化，例如，“在沙发和电视之间”或“椅子右边三米”），以及（ii）可以在具有不同实施例的多个机器人之间共享，以在运行中生成新的障碍物地图（通过使用障碍物类别的列表）。在模拟和真实世界环境中进行的大量实验表明，VLMaps能够根据比现有方法更复杂的语言指令进行导航。视频可在https://vlmaps.github.io上获得。
2023-03-08 cs.AI cs.CL cs.CV
HI-DWA: Human-Influenced Dynamic Window Approach for Shared Control of a Telepresence Robot
University of Oulu（奥卢大学）
本文考虑的问题，使用户修改的遥现机器人的路径。机器人能够自主导航到用户预定义的目标，但用户可能仍然想要修改路径，例如，远离其他人，或者更接近她想在路上看到的地标。我们提出了人为影响的动态窗口方法（HI-DWA），一个共享的控制方法，旨在基于动态窗口方法（DWA），允许用户影响的控制输入给机器人的远程呈现机器人。为了验证所提出的方法，我们在虚拟现实（VR）中进行了用户研究（N=32），比较HI-DWA与自主导航和手动控制之间的切换，用于控制在虚拟环境中移动的模拟临场感机器人。结果表明，用户使用HI-DWA控制器更快地达到了他们的目标，并发现它更容易使用。这两种方法的偏好是平分的。定性分析显示，参与者更喜欢在两种模式之间切换的一个主要原因是控制感。我们还分析了不同的输入方法，操纵杆和手势，对偏好和感知工作量的影响。
2022-07-25 cs.HC cs.MM cs.RO
Walk along: An Experiment on Controlling the Mobile Robot 'Spot' with Voice and Gestures
Delft University of Technology（代尔夫特理工大学）
本研究通过218人实验比较语音与手势控制Spot机器人，发现语音控制配合随行行走最直观高效，并指出优化手势设计可提升手势控制效果。
2025-04-14 cs.HC cs.RO
High-speed control and navigation for quadrupedal robots on complex and discrete terrain
Robotics & Artificial Intelligence Lab, KAIST, Daejeon, Korea（机器人与人工智能实验室，韩国KAIST）
本文提出一种由规划器与跟踪器组成的分层导航流水线，结合采样优化、神经网络滤波和竞争式生成训练，使四足机器人 Raibo 能在复杂离散地形上实现高速敏捷运动。
2025-06-03 cs.RO
Multimodal Spatial Language Maps for Robot Navigation and Manipulation
University of Technology Nuremberg（图恩堡技术大学）；UC Berkeley（伯克利大学）；Google Research（谷歌研究）
提出融合预训练多模态特征与三维重建的VLMaps及AVLMaps空间语言地图，实现零样本开放词汇与多模态目标导航，并可跨机器人平台用于导航和操作。
2025-06-07 cs.AI cs.CV cs.LG
Online Efficient Safety-Critical Control for Mobile Robots in Unknown Dynamic Multi-Obstacle Environments
Technical University of Munich（慕尼黑工业大学）；University of Science and Technology Beijing（北京科技大学）
本文提出基于LiDAR的在线安全控制框架，通过DBSCAN聚类、最小包围椭圆和卡尔曼滤波在线构建动态控制屏障函数，并引入缓冲区减少激活数量，实现未知动态多障碍环境中的高效安全导航。
2024-02-26 cs.AI cs.RO
