Lifelong Federated Reinforcement Learning: A Learning Architecture for Navigation in Cloud Robotic Systems
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong University of Science and Technology（香港科技大学）
针对机器人如何融合迁移经验以快速适应新环境的问题，提出用于云机器人系统导航的终身联邦强化学习（LFRL）架构，包含知识融合算法与迁移学习方法，实验证明其显著提升了导航学习效率并有效融合先验知识。
2019-05-13 cs.AI cs.DC cs.LG
Enhancing Robotic Navigation: An Evaluation of Single and Multi-Objective Reinforcement Learning Strategies
University of San Francisco（旧金山大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本研究对比单目标与多目标强化学习的机器人导航效果，指出传统DQN、DDPG、TD3等方法在多冲突目标复杂场景的局限，提出基于奖励向量的MORL方法以实现帕累托最优，验证了其在复杂动态导航任务中的潜力。
2023-12-14 cs.LG cs.RO
Deep Learning for Visual Navigation of Underwater Robots
Texas A&M University（德克萨斯A&M大学）
本文综述了深度学习在水下机器人视觉导航中的应用，涵盖视觉感知、水下数据集、模仿学习与强化学习方法，并按训练范式对相关工作进行了分类。
2023-10-30 cs.CV cs.LG cs.RO
PRM-RL: Long-range Robotic Navigation Tasks by Combining Reinforcement Learning and Sampling-based Planning
Google Brain（谷歌大脑）；University of New Mexico（新墨西哥大学）
我们提出了PRM-RL，远程导航任务完成的分层方法，结合基于采样的路径规划与强化学习（RL）。RL代理学习短距离，点对点的导航策略，捕获机器人动态和任务约束，而无需大规模拓扑结构的知识。接下来，基于采样的规划者提供连接机器人配置的路线图，这些配置可以由RL代理成功导航。相同的RL代理用于在规划的指导下控制机器人，从而实现远程导航。我们使用概率路线图（PRM）的抽样为基础的规划。RL代理是在连续状态和动作空间中使用基于特征的深度神经网络策略构建的。我们评估PRM-RL，无论是在模拟和机器人上，在两个导航任务与非平凡的机器人动力学：端到端的差分驱动室内导航在办公室环境中，在城市环境中的空中货物交付与负载位移的限制。我们的研究结果表明，在任务完成的RL代理自己和传统的抽样为基础的规划。在室内导航任务中，PRM-RL在嘈杂的传感器条件下成功完成了长达215米的轨迹，而空中货物交付在比训练中使用的环境大6300万倍的环境中完成了超过1000米的飞行，而没有违反任务限制。
2018-05-16 cs.AI cs.LG cs.RO
Causality-Aware Transformer Networks for Robotic Navigation
University of New South Wales（新南威尔士大学）；Macquarie University（麦考瑞大学）；Commonwealth Scientific and Industrial Research Organisation（英联邦科学与工业研究组织）
针对现有视觉导航方法忽略具身智能特性、泛化性不足的问题，提出带因果理解模块的因果感知Transformer网络，无任务特定归纳偏置、可端到端训练，在多环境多任务中性能优于基准。
2024-10-05 cs.AI cs.LG cs.RO
Cardiac ultrasound simulation for autonomous ultrasound navigation
King’s College London（伦敦国王学院）；Siemens Healthcare Limited（西门子医疗有限公司）；Siemens Healthineers（西门子医疗）；Siemens Healthineers AG（西门子医疗股份公司）
针对自主超声导航数据缺乏问题，提出基于分割、优化体积表示和GPU蒙特卡洛路径追踪的超声模拟流程，可快速生成患者特异性图像，并验证其能有效训练导航网络。
2024-02-09 cs.CV cs.LG eess.IV
Deep Kernel and Image Quality Estimators for Optimizing Robotic Ultrasound Controller using Bayesian Optimization
All India Institute of Medical Sciences (AIIMS)（全印度医学科学学院）；Purdue University（普渡大学）；Indian Institute of Technology (IIT), Delhi（印度理工学院德里分校）
针对自主机器人超声高维探头控制样本效率低的问题，提出结合深度核的贝叶斯优化方法与两种深度卷积神经网络图像质量估计器，在膀胱体模实验中实现6D控制样本效率超50%提升，且具备跨患者适应性。
2023-10-11 cs.LG cs.RO
RUSOpt: Robotic UltraSound Probe Normalization with Bayesian Optimization for In-plane and Out-plane Scanning
IIT, Goa（果阿印度理工学院）；Purdue University（普渡大学）；Indian Institute of Technology (IIT), Delhi（德里印度理工学院）
针对自主机器人超声系统图像质量受探头朝向影响的问题，提出基于贝叶斯优化的探头法向校准方法RUSOpt，结合力测量与力学原理构建目标函数并加入正则化处理噪声，经体模与仿真验证角度误差低，可高效提升成像质量。
2023-10-05 cs.LG cs.RO
S-CycleGAN: Semantic Segmentation Enhanced CT-Ultrasound Image-to-Image Translation for Robotic Ultrasonography
School of Information Science, Japan Advanced Institute of Science and Technology（日本先进科学技术学院信息科学学院）
提出S-CycleGAN模型，通过在CycleGAN框架中引入语义判别器，将CT数据转换为高质量合成超声图像，解决训练数据短缺问题，并用于增强机器人辅助超声扫描系统。
2024-08-23 cs.CV cs.LG eess.IV
Bifurcation Identification for Ultrasound-driven Robotic Cannulation
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh School of Medicine（匹兹堡大学医学院）
针对超声图像中血管分叉自动提取缺乏算法及活体训练数据不足的问题，提出融合专家知识与深度学习的BIFURC算法，可检测股部血管分叉并提供最优进针位点，经体模和活体猪实验验证，结果与临床专家识别一致。
2024-09-10 cs.AI cs.CV cs.LG
Learning rewards for robotic ultrasound scanning using probabilistic temporal ranking
Monash University（莫纳什大学）；University of Edinburgh（爱丁堡大学）
本文提出概率时间排序方法，从探索性演示中推断奖励函数，用于自主超声扫描的信息路径规划，改进现有奖励推断方法。
2023-06-22 cs.LG cs.RO
Avoidance of Manual Labeling in Robotic Autonomous Navigation Through Multi-Sensory Semi-Supervised Learning
Ball State University（波尔州立大学）
模仿学习有望解决具有挑战性的机器人任务，如自主导航。然而，它需要一个人类监督员来监督训练过程，并在没有反馈的情况下向机器人发送正确的控制命令，这总是容易出错，而且成本高昂。为了最大限度地减少人工参与和避免人工标记的数据在机器人自主导航与模仿学习，本文提出了一种新的半监督模仿学习解决方案的基础上的多传感器设计。该解决方案包括基于传感器融合的次优传感器策略，以自动标记机器人遇到的状态，以避免训练期间的人类监督。此外，开发了一种记录策略，以抑制从次优传感器策略中学习太多的对抗性影响。该解决方案允许机器人以自我监督的方式学习导航策略。通过在室内环境中的大量实验，该解决方案可以在大多数任务中实现接近人类的性能，甚至在硬件故障或人为操作错误等意外事件中超过人类的性能。据我们所知，这是第一个综合传感器融合和模仿学习的工作，使机器人自主导航在现实世界中没有人的监督。
2018-02-20 cs.LG cs.RO
Deep Learning based acoustic measurement approach for robotic applications on orthopedics
University of Twente（特温特大学）；Radboud University Medical Center（拉德堡德大学医学中心）
针对全膝关节置换术现有骨骼追踪方式有创有辐射的问题，提出基于CasAtt-UNet的A型超声骨骼定位方法，经尸体实验验证多数骨骼区域达亚毫米精度，为骨科手术提供安全高效的追踪方案。
2024-03-09 cs.LG cs.RO eess.SP
Learning Robotic Navigation from Experience: Principles, Methods, and Recent Results
UC Berkeley（加州大学伯克利分校）
导航是机器人学中研究最多的问题之一，通常被视为几何映射和规划问题。然而，现实世界的导航提出了一组复杂的物理挑战，挑战简单的几何抽象。机器学习提供了一种超越几何和传统规划的有希望的方法，允许导航系统根据实际的先前经验做出决策。这样的系统可以以超越几何学的方式推理可穿越性，解释其行为的物理结果并利用现实世界环境中的模式。随着更多数据的收集，它们还可以得到改进，从而可能提供强大的网络效应。在这篇文章中，我们提出了一个通用的机器人导航技能的经验学习工具包，统一了最近的几种方法，描述了基本的设计原则，总结了我们最近的几篇论文的实验结果，并讨论了开放的问题和未来的工作方向。
2022-12-13 cs.AI cs.LG cs.RO
Deep Inertial Navigation using Continuous Domain Adaptation and Optimal Transport
Bell Labs（贝尔实验室）；Invenia Labs（英维尼亚实验室）
在本文中，我们提出了一种新的策略学习惯性机器人导航模型。所提出的策略增强了端到端的惯性建模的通用性，并针对轮式机器人部署。具体而言，本文对以下几个方面进行了阐述。(1)使用精密机器人技术，我们凭经验证明了在导航过程中改变传感器位置对原始惯性信号分布的影响，以及对学习的潜在空间的相应影响。(2)我们提出了神经架构和算法，以吸收知识的索引集的传感器位置，以提高机器人惯性跟踪的鲁棒性和概括性在该领域。我们选择的方案使用连续领域自适应（DA）和最优传输（OT）。(3)在我们的评估中，连续OT DA优于连续对抗DA基线，同时也显示出比简单数据增强可量化的学习优势。我们将发布我们的数据集，以帮助促进未来的研究。
2021-09-19 cs.LG cs.RO
Constrained Robotic Navigation on Preferred Terrains Using LLMs and Speech Instruction: Exploiting the Power of Adverbs
McGill University（麦吉尔大学）
本文提出结合 Whisper、LLM、语义分割与 MPC 的无地图越野导航框架，从语音指令中提取地形、地标和副词并转化为速度约束，实现偏好地形上的受限导航。
2024-04-02 cs.LG cs.RO
LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action
Google（谷歌）；UC Berkeley（加州大学伯克利分校）；University of Warsaw（华沙大学）
机器人导航的目标条件策略可以在大型的未注释的数据集上训练，从而提供对现实世界设置的良好泛化。然而，特别是在基于视觉的设置中，指定目标需要图像，这会导致不自然的界面。语言为与机器人的通信提供了更方便的方式，但现代方法通常需要昂贵的监督，以语言描述注释的轨迹形式。我们提出了一个系统，LM-Nav，机器人导航，享受训练的好处，在未注释的大型数据集的轨迹，同时仍然提供了一个高层次的界面给用户。我们证明，这样的系统可以完全由预先训练的导航模型（ViNG）、图像语言关联模型（CLIP）和语言建模模型（GPT-3）构建，而不需要任何微调或语言注释的机器人数据，而不是使用标记的指令遵循数据集。我们实例LM-导航在现实世界中的移动机器人，并通过复杂的，户外环境演示长视野导航从自然语言指令。有关我们的实验、代码发布以及在浏览器中运行的交互式Colab Notebook的视频，请查看我们的项目页面https://sites.google.com/view/lmnav
2022-07-26 cs.AI cs.CL cs.LG
Robotic Testbed for Rendezvous and Optical Navigation: Multi-Source Calibration and Machine Learning Use Cases
Stanford University（斯坦福大学）；Robo-Technology GmbH（机器人技术有限公司）
这项工作介绍了斯坦福大学的Renaissance和光学导航机器人试验台（TRON）的最新进展-第一个能够验证星载光学导航机器学习算法的机器人试验台。TRON设备由两个6自由度KUKA机器人手臂和一组Vicon运动跟踪摄像机组成，用于重新配置摄像机和目标实体模型之间的任意相对姿态。该设施包括多个地球光箱和一个太阳灯，以重现高保真的星载照明条件。在概述了该设施后，这项工作详细介绍了多源校准程序，该程序能够估计物体与相机之间的相对姿态，具有毫米级位置和毫米级方向精度。最后，使用在合成图像上预训练的卷积神经网络（CNN）对合成图像和TRON模拟图像进行比较分析。结果显示，CNN的性能存在相当大的差距，这表明TRON模拟图像可用于验证任何机器学习算法的鲁棒性，这些算法是在更容易获得的计算机图形合成图像上训练的。
2021-12-09 cs.CV cs.LG cs.RO
MVP: Unified Motion and Visual Self-Supervised Learning for Large-Scale Robotic Navigation
Queensland University of Technology（昆士兰科技大学）；Universidad Nacional de Ingeniería（国立工程大学）
自主导航出现在现实世界环境中的运动和局部视觉感知。然而，大多数成功的机器人运动估计方法（例如，VO、SLAM、SfM）和视觉系统（例如，CNN、视觉位置识别-VPR）通常分别用于映射和定位任务。相反，最近的基于强化学习（RL）的视觉导航方法依赖于GPS数据接收的质量，当直接将其用作大型环境中多个月间隔的遍历的地面实况时，这可能不可靠。在本文中，我们提出了一种新的运动和视觉感知的方法，称为MVP，统一这两个传感器的大规模，目标驱动的导航任务的方式。我们的基于MVP的方法可以更快地学习，并且比相应的仅视觉导航方法更准确和鲁棒性更强，可以应对极端环境变化和不良GPS数据。MVP在时间上将使用VPR获得的紧凑图像表示与优化的运动估计数据（包括但不限于来自VO或优化的雷达测距（RO）的那些）结合，以经由RL有效地学习自监督导航策略。我们评估我们的方法在两个大型的现实世界的数据集，牛津Robotcar和Nordland铁路，在一系列的天气（如阴天，夜晚，雪，太阳，雨，云）和季节性（如冬季，春季，秋季，夏季）的条件下使用新的CityLearn框架;一个交互式的环境，有效地训练导航代理。我们的实验结果，在没有GPS数据的牛津RobotCar数据集的遍历上，显示MVP可以分别使用VO和RO实现53%和93%的导航成功率，而仅视觉方法的导航成功率为7%。我们还报告了RL成功率和运动估计精度之间的权衡。
2020-03-02 cs.CV cs.LG cs.RO
Language and Planning in Robotic Navigation: A Multilingual Evaluation of State-of-the-Art Models
本研究首次将阿拉伯语引入机器人视觉-语言导航领域，采用NavGPT框架结合R2R数据集，评估多款前沿多语言及阿拉伯语大模型的导航规划能力，发现部分模型阿拉伯语推理存在局限，为相关模型优化指明方向。
2025-06-17 cs.AI cs.CL cs.CV
