DOPE: Dual Object Perception-Enhancement Network for Vision-and-Language Navigation
针对VLN任务中指令细节利用不足和跨模态物体关系建模缺失的问题,提出双重物体感知增强网络DOPE,通过TSE、TOPA和IOPA模块增强指令细节与跨模态物体线索的利用,在R2R和REVERIE数据集上验证了有效性。
2025-04-30 cs.CV cs.RO
4D-based Robot Navigation Using Relativistic Image Processing
Leibniz Supercomputing Centre(莱布尼茨超级计算中心)
针对动态环境中机器人安全导航的感知需求,提出基于4D的相对论图像处理导航方法,通过构造性4D空间张量处理时序传感信息,拓展机器人因果理解与交互半径。
2024-10-29 cs.CV cs.RO
TartanGround: A Large-Scale Dataset for Ground Robot Perception and Navigation
Robotic Systems Lab, ETH Zurich(苏黎世联邦理工学院机器人系统实验室);Robotics Institute of Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本研究提出大规模多模态数据集TartanGround,含70个环境的910条轨迹共150万样本,覆盖多类感知数据,可支撑多种机器人学习任务,助力提升地面机器人感知与自主能力的场景泛化性。
2025-07-30 cs.CV cs.RO
ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments
Robotics and Control Laboratory, the School of Advanced Manufacturing and Robotics, and the State Key Laboratory of Turbulence and Complex Systems, Peking University(机器人与控制实验室、先进制造与机器人学院、湍流与复杂系统国家重点实验室,北京大学);Defense Innovation Institute, Academy of Military Sciences(国防创新研究院,军事科学院);Tianjin Artificial Intelligence Innovation Center(天津人工智能创新中心);Harbin Institute of Technology(哈尔滨工业大学)
ST-Booster通过多粒度感知和指令感知推理提升连续环境中视觉-语言导航的性能。
2025-12-02 cs.CV cs.RO
Safe Navigation in Unstructured Environments by Minimizing Uncertainty in Control and Perception
Agency for Defense Development(国防发展局)
本文提出一个最小化控制与感知不确定性的导航框架,结合认知不确定性量化的车辆动力学模型与元学习可通行性预测模型,优化轨迹避开不确定区域,提升了非结构化环境中的导航安全性与稳定性。
2023-06-26 cs.CV cs.LG cs.RO
Fast Human Attention Prediction for Fixation-guided Active Perception in Autonomous Navigation
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
提出GazeLNN,一种基于液态神经网络和MobileNetV3的轻量级扫描路径预测模型,在MIT低分辨率数据集上达到最优性能,计算成本降低99.40%,推理速度提升6倍,并集成到强化学习训练的主动相机-机器人控制策略中,实现自主导航中的注视引导感知。
2026-06-19 cs.CV cs.RO
Competency-Aware Planning for Probabilistically Safe Navigation Under Perception Uncertainty
Department of EECS, UC Berkeley(电子工程与计算机科学系,伯克利大学)
本文提出PaRCE方法,通过估计模型对输入图像的整体和局部熟悉度,提升在感知不确定性下的导航安全性与效率。
2025-07-26 cs.AI cs.CV cs.RO
Private Multiparty Perception for Navigation
Columbia University(哥伦比亚大学)
我们引入了一个框架,通过将多个摄像头连接在一起,同时保护隐私,在混乱的环境中导航。大型环境中的遮挡和障碍物对于导航代理来说通常是具有挑战性的情况,因为环境不能从单个相机视图完全观察到。给定环境的多个摄像机视图,我们的方法学习生成只能用于导航的多视图场景表示,可以证明防止一方推断输出任务之外的任何内容。在我们将公开发布的一个新的导航数据集上,实验表明,私人多方表示允许在复杂场景和障碍物周围导航,同时共同保护隐私。我们的方法可以扩展到任意数量的相机视点。我们认为,开发保护隐私的视觉表示对于导航等许多应用越来越重要。
2022-12-02 cs.CR cs.CV cs.LG
NavigScene: Bridging Local Perception and Global Navigation for Beyond-Visual-Range Autonomous Driving
Center for Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学)
提出辅助导航数据集 NavigScene 及三种融合全局导航信息的范式,通过增强视觉语言模型的超视距推理与泛化能力,显著提升自动驾驶在感知、预测、规划和问答任务上的性能。
2025-07-07 cs.CV cs.LG cs.MM
GPU-Accelerated 3D Polygon Visibility Volumes for Synergistic Perception and Navigation
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Air Force Research Laboratory(空军研究实验室)
本文提出一种GPU加速方法,计算从任意3D位置完整观察2D凸多边形区域的可见性体积,并结合导航约束,生成满足感知与导航需求的协同解。
2024-02-05 cs.CG cs.CV cs.RO
DeepIPCv2: LiDAR-powered Robust Environmental Perception and Navigational Control for Autonomous Vehicle
Department of Computer Science and Electronics, Universitas Gadjah Mada(计算机科学与电子系,加查马达大学);Department of Computer Science and Engineering, Toyohashi University of Technology(计算机科学与工程系,toyohashi技术大学)
提出DeepIPCv2端到端自动驾驶框架,通过融合LiDAR点云分割与多视图投影构建鲁棒场景表示,结合门控循环单元、命令特定多层感知器和PID控制器实现路径点与导航控制命令的联合估计,在光照变化下取得最低总指标误差和最少驾驶干预。
2026-05-31 cs.AI cs.CV cs.RO
Online Navigation Refinement: Achieving Lane-Level Guidance by Associating Standard-Definition and Online Perception Maps
Amap, Alibaba Group(阿里的Amap部门);School of Aerospace, BUAA(北京航空航天大学航空学院);Key Laboratory of Spacecraft Design Optimization and Dynamic Simulation Technology, Ministry of Education(教育部航天器设计优化与动态仿真技术重点实验室);State Key Laboratory of High-Efficiency Reusable Aerospace Transportation Technology(高效可重复使用航天运输技术国家重点实验室)
本文提出在线导航优化方法,通过关联标准定义地图与在线感知地图,实现车道级导航,提升导航精度与实时性。
2026-01-30 cs.CV
Navigation Instruction Generation with BEV Perception and Large Language Models
Zhejiang University(浙江大学)
本文提出BEVInstructor,将鸟瞰图特征融入多模态大语言模型,通过视角-BEV提示调优和实例引导迭代细化,在R2R、REVERIE和UrbanWalk数据集上实现高性能导航指令生成。
2024-07-21 cs.CV
Rule-VLN: Bridging Perception and Compliance via Semantic Reasoning and Geometric Rectification
Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Beijing Normal University(北京师范大学);Guangzhou University(广州大学)
本文提出Rule-VLN,首个大规模城市规则合规导航基准,通过语义推理和几何校正模块提升导航安全性,实验表明该模块显著提升导航能力。
2026-07-02 cs.AI cs.CV cs.RO
A Vision-Based Navigation System for Arable Fields
Lincoln Agri-Robotics Centre(林肯农业机器人中心);Lincoln Institute for Agri-Food Technology(林肯农业食品技术研究所);University of Lincoln(林肯大学)
针对农田视觉导航的挑战,提出一套基于深度学习的感知算法和综合数据集,实现作物行检测与跟随,并在商业农田中验证,平均航向误差1.24°、横向误差3.32厘米。
2024-05-28 cs.CV cs.RO
Situational Fusion of Visual Representation for Visual Navigation
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院)
一个复杂的视觉导航任务把一个代理在不同的情况下,要求不同范围的视觉感知能力。例如,为了“去最近的椅子”,智能体可能需要使用语义来识别客厅中的椅子,使用消失点线索沿着走廊走,并使用深度来避开障碍物。因此,利用适当的视觉感知能力的基础上的视觉环境的情境理解可以使这些导航模型在看不见的视觉环境。我们建议训练一个代理融合一个大的视觉表示,对应于不同的视觉感知能力。为了充分利用每个表示,我们开发了一个动作级表示融合方案,该方案从每个表示中预测动作候选,并自适应地将这些动作候选合并到最终动作中。此外,我们采用数据驱动的任务间亲和度正则化来减少冗余并提高泛化能力。与ImageNet预训练基线和其他融合方法相比,我们的方法在新的环境中显着提高了性能。
2021-08-03 cs.CV
SplitNet: Sim2Sim and Task2Task Transfer for Embodied Visual Navigation
University of Washington(华盛顿大学);Facebook AI Research(脸书人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了SplitNet,一种解耦视觉感知和策略学习的方法。通过结合辅助任务和选择性学习模型的一部分,我们明确地分解视觉导航的学习目标,感知世界,并采取行动的看法。我们在模拟器之间传输的基线模型上显示出显着的改进,这是向Sim2Real迈出的令人鼓舞的一步。此外,SplitNet更好地从同一模拟器中推广到看不见的环境,并更快,更有效地转移到新的具身导航任务。此外,只要给定目标域中的一个小样本,SplitNet就可以与接收整个数据集的传统端到端管道的性能相匹配。代码可从https://github.com/facebookresearch/splitnet获得
2019-10-23 cs.CV
AeroDPO: Unleashing Lightweight UAV Navigation with High-Fidelity Perception and Automated Preference Optimization
本文提出AeroDPO,通过高保真感知与自动偏好优化,使20亿参数轻量级无人机导航模型达到70亿参数模型的成功率,同时降低分布外场景碰撞率,成为自主空中智能体新SOTA。
2026-08-26 cs.AI cs.CV cs.RO
RoboSense: Large-scale Dataset and Benchmark for Egocentric Robot Perception and Navigation in Crowded and Unstructured Environments
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);SenseAuto Research(速腾聚创研究院)
本文针对拥挤和非结构化环境下的自我中心机器人感知问题,搭建了多传感器平台并构建了大规模多模态数据集RoboSense,提出近场3D感知新匹配标准并规划6项任务提供基准,显著提升了近场障碍物标注规模。
2025-03-05 cs.AI cs.CV
Augmenting Lane Perception and Topology Understanding with Standard Definition Navigation Maps
Cornell University(康奈尔大学);NVIDIA(英伟达);University of Southern California(南加州大学);Stanford University(斯坦福大学)
针对自动驾驶依赖HD地图扩展性差的问题,提出整合SD地图的在线地图预测框架与基于Transformer的SMERF编码器,利用SD地图先验提升车道检测和拓扑预测性能最高达60%,可适配同类方法。
2023-11-07 cs.CV
Robust Navigation for Racing Drones based on Imitation Learning and Modularization
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出了一种基于视觉的模块化无人机竞速导航系统,该系统使用定制的卷积神经网络(CNN)的感知模块来产生高级导航命令,然后利用最先进的规划器和控制器来生成低级控制命令,从而利用基于数据和基于模型的方法的优点。与仅将当前相机图像作为CNN输入的最先进方法不同,我们进一步添加了最新的三个无人机状态作为输入的一部分。我们的方法在各种轨道布局中优于最先进的方法,并通过单个训练网络提供两种可切换的导航行为。基于CNN的感知模块被训练为模仿专家策略,该专家策略基于预先计算的全局轨迹自动生成地面实况导航命令。由于广泛的随机化和我们在数据汇集收集过程中修改的数据集聚合(Dagger)策略,我们的导航系统,这是纯粹的模拟训练与合成纹理,成功地在环境中随机选择逼真的纹理,而无需进一步微调。
2021-05-27 cs.AI cs.CV cs.LG
DreamNav: A Trajectory-Based Imaginative Framework for Zero-Shot Vision-and-Language Navigation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Zhejiang Normal University(浙江师范大学)
连续环境中的视觉和语言导航(VLN-CE)将语言指令与现实世界中的感知和控制联系起来,是体现机器人的核心能力。最近,大规模预训练的基础模型已被用作感知、推理和动作的共享先验,从而在没有特定任务训练的情况下实现了zero-shot VLN。然而,现有的zero-shot VLN方法依赖于昂贵的感知和被动的场景理解,将控制折叠为点级选择。因此,它们的部署成本很高,动作语义不一致,规划也很短视。为了解决这些问题,我们提出了DreamNav,重点关注以下三个方面:(1)为了减少感官成本,我们的EgoView校正器对齐视点并稳定自我中心感知;(2)代替点级动作,我们的轨迹预测器有利于全局规划级别的规划,以更好地与指令语义保持一致;(3)为了使智能体具有前瞻性和长期规划能力,我们提出了一个想象预测器,赋予智能体主动思考的能力。在VLN-CE和真实世界的测试中,DreamNav设置了一个新的zero-shot最先进的(SOTA),在SR和SPL指标方面,超过了最强的以自我为中心的基线,额外的信息高达7.49\%和18.15\%。据我们所知,这是第一个zero-shot VLN方法,它统一了自动化水平的规划和积极的想象力,同时只使用以自我为中心的输入。
2025-09-14 cs.AI cs.CL cs.CV
Deep Learning for Visual Navigation of Underwater Robots
Texas A&M University(德克萨斯A&M大学)
本文综述了深度学习在水下机器人视觉导航中的应用,涵盖视觉感知、水下数据集、模仿学习与强化学习方法,并按训练范式对相关工作进行了分类。
2023-10-30 cs.CV cs.LG cs.RO
SR-Nav: Spatial Relationships Matter for Zero-shot Object Goal Navigation
School of Artificial Intelligence and Robotics, Hunan University(湖南大学人工智能与机器人学院)
SR-Nav通过建模观察和经验的空间关系,提升感知与规划能力,在HM3D实验中实现最先进的成功率和导航效率。
2026-03-19 cs.CV
Transformers for Image-Goal Navigation
Minnesota Robotics Institute(明尼苏达机器人研究所);University of Minnesota - Twin Cities(明尼苏达大学双城分校)
针对图像目标导航任务,提出一种生成式Transformer模型,联合建模图像目标、观测与历史动作,利用先进感知模型学习策略,无需实时交互,有效支持长时程导航。
2024-05-24 cs.CV cs.LG cs.RO
Spatial-VLN: Zero-Shot Vision-and-Language Navigation With Explicit Spatial Perception and Exploration
Robotics and Control Laboratory, School of Advanced Manufacturing and Robotics, and the State Key Laboratory of Turbulence and Complex Systems, Peking University(机器人与控制实验室、先进制造与机器人学院,以及湍流与复杂系统国家重点实验室,北京大学);Defense Innovation Institute, Academy of Military Sciences, Beijing(国防科技创新研究院,军事科学院,北京);Tianjin Artificial Intelligence Innovation Center, Tianjin(天津人工智能创新中心,天津);Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(计算与智能学院,哈尔滨工业大学(深圳))
Spatial-VLN通过增强空间感知和探索机制,提升零样本视觉-语言导航在复杂环境中的泛化与鲁棒性。
2026-01-19 cs.CV cs.SY eess.SY
MVP: Unified Motion and Visual Self-Supervised Learning for Large-Scale Robotic Navigation
Queensland University of Technology(昆士兰科技大学);Universidad Nacional de Ingeniería(国立工程大学)
自主导航出现在现实世界环境中的运动和局部视觉感知。然而,大多数成功的机器人运动估计方法(例如,VO、SLAM、SfM)和视觉系统(例如,CNN、视觉位置识别-VPR)通常分别用于映射和定位任务。相反,最近的基于强化学习(RL)的视觉导航方法依赖于GPS数据接收的质量,当直接将其用作大型环境中多个月间隔的遍历的地面实况时,这可能不可靠。在本文中,我们提出了一种新的运动和视觉感知的方法,称为MVP,统一这两个传感器的大规模,目标驱动的导航任务的方式。我们的基于MVP的方法可以更快地学习,并且比相应的仅视觉导航方法更准确和鲁棒性更强,可以应对极端环境变化和不良GPS数据。MVP在时间上将使用VPR获得的紧凑图像表示与优化的运动估计数据(包括但不限于来自VO或优化的雷达测距(RO)的那些)结合,以经由RL有效地学习自监督导航策略。我们评估我们的方法在两个大型的现实世界的数据集,牛津Robotcar和Nordland铁路,在一系列的天气(如阴天,夜晚,雪,太阳,雨,云)和季节性(如冬季,春季,秋季,夏季)的条件下使用新的CityLearn框架;一个交互式的环境,有效地训练导航代理。我们的实验结果,在没有GPS数据的牛津RobotCar数据集的遍历上,显示MVP可以分别使用VO和RO实现53%和93%的导航成功率,而仅视觉方法的导航成功率为7%。我们还报告了RL成功率和运动估计精度之间的权衡。
2020-03-02 cs.CV cs.LG cs.RO
Audio-Guided Visual Perception for Audio-Visual Navigation
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing(丝绸之路多语种认知计算国际联合实验室);Tsinghua University(清华大学);Tianjin University of Technology(天津工业大学)
针对视听导航跨声源泛化差的问题,提出AGVP框架,通过音频自注意力提取全局上下文引导视觉特征注意力,实现可解释的跨模态对齐,提升导航效率与鲁棒性。
2025-10-13 cs.AI cs.CV cs.MM
Visual Navigation Among Humans with Optimal Control as a Supervisor
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校);University of Southern California(南加州大学)
现实世界的视觉导航要求机器人在不熟悉的、人类占据的动态环境中操作。在人类周围导航尤其困难,因为它需要预测他们未来的运动,这可能是相当具有挑战性的。我们提出了一种方法,结合基于学习的感知与基于模型的最优控制,仅基于单目,第一人称RGB图像的人类之间的导航。我们的方法是通过我们的新的数据生成工具,HumANav,允许与人类在其中,然后用于训练的感知模块完全模拟的室内环境场景的逼真渲染。通过对移动机器人的模拟和实验,我们证明了学习的导航策略可以预测和反应人类,而无需明确预测未来的人类运动,推广到以前看不见的环境和人类行为,并直接从模拟转移到现实。描述我们的方法和实验的视频,以及HumANav的演示可在项目网站上获得。
2021-02-12 cs.AI cs.CV cs.LG
SPIN: Simultaneous Perception, Interaction and Navigation
Carnegie Mellon University(卡内基梅隆大学)
针对移动操作中模块化拼接导致的误差累积、决策延迟等问题,提出SPIN反应式框架,通过主动视觉实现“为看而动、为动而看”的全身协调,仅靠自视角视觉即可在杂乱场景中完成导航与交互,无需建图。
2024-05-13 cs.AI cs.CV cs.LG
SoundSpaces: Audio-Visual Navigation in 3D Environments
UT Austin(德克萨斯大学奥斯汀分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);Facebook Reality Labs(Facebook 现实实验室);Facebook AI Research(Facebook 人工智能研究院)
在世界上四处移动自然是一种多感官体验,但今天的实体代理是聋子-仅限于他们对环境的视觉感知。我们为复杂的、声学上和视觉上逼真的3D环境引入了视听导航。通过视觉和听觉,智能体必须学会导航到发声物体。我们提出了一种多模态深度强化学习方法,用于从以自我为中心的视听观察流中端到端地训练导航策略,允许代理(1)发现由混响音频指示的物理空间的几何元素,以及(2)检测和跟踪发声目标。我们进一步介绍SoundSpaces:这是首个基于两组公开可用的3D环境(Matterport 3D和Matterport)的几何声学模拟的音频渲染数据集,我们为Habitat提供仪器以支持新的传感器,从而可以在真实世界的扫描环境阵列中插入任意声源。我们的研究结果表明,音频极大地有利于3D空间中的嵌入式视觉导航,我们的工作为具有视听感知的嵌入式AI的新研究奠定了基础。
2020-08-21 cs.CV cs.HC cs.SD
ProFocus: Proactive Perception and Focused Reasoning in Vision-and-Language Navigation
ProFocus通过大语言模型与视觉-语言模型的协作,实现前瞻性感知和聚焦推理,提升视觉-语言导航任务的效率与准确性。
2026-03-15 cs.CV cs.RO
SSF-PAN: Semantic Scene Flow-Based Perception for Autonomous Navigation in Traffic Scenarios
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology(南方科技大学可信自主系统研究院);Shenzhen Deeproute.ai Co.,Ltd(深圳元戎启行科技有限公司)
提出SSF-PAN方法,通过语义场景流分割与迭代优化框架,结合LiDAR点云实现高效高精度的物体检测、定位与SLAM,支持无图导航,在多个数据集与模拟器中验证其优于传统方法。
2025-01-28 cs.CV cs.RO
Perception and Navigation in Autonomous Systems in the Era of Learning: A Survey
East China University of Science and Technology(华东理工大学);Western Sydney University(西悉尼大学);Potsdam Institute for Climate Impact Research(波茨坦气候影响研究所);Humboldt University of Berlin(柏林洪堡大学)
自主系统具有推断自身状态、理解周围环境和自主导航的特征。随着深度学习和强化学习等学习系统的应用,自主系统基于视觉的自我状态估计、环境感知和导航能力得到了有效的解决,许多新的基于学习的自主视觉感知和导航算法也随之出现。本文重点介绍了基于学习的单目方法在自主系统中的自我运动感知、环境感知和导航等方面的应用。首先,我们描述了现有的经典视觉同时定位与地图构建(vSLAM)解决方案的缺点,这证明了集成深度学习技术的必要性。其次,我们回顾了基于深度学习的基于视觉的环境感知和理解方法,包括基于深度学习的单目深度估计、单目自我运动预测、图像增强、目标检测、语义分割,以及它们与传统vSLAM框架的组合。然后,重点研究了基于学习系统的视觉导航,主要包括强化学习和深度强化学习。最后,我们探讨了在计算机科学和机器人学时代学习系统的相关研究中讨论和总结的几个挑战和有前途的方向。
2022-04-30 cs.CV
General-Purpose Robotic Navigation via LVLM-Orchestrated Perception, Reasoning, and Acting
Stanford University(斯坦福大学);Jet Propulsion Laboratory(喷气推进实验室);California Institute of Technology(加州理工学院)
针对未知环境通用导航难题,提出ARNA框架,利用LVLM智能体编排感知、推理与导航工具,实现自主工作流,在HM-EQA基准上超越现有方法,并展现出跨任务泛化能力。
2025-10-17 cs.AI cs.CV cs.RO
An Improved Baseline Framework for Pose Estimation Challenge at ECCV 2022 Visual Perception for Navigation in Human Environments Workshop
Beijing University of Posts and Telecommunications(北京邮电大学)
本技术报告描述了我们在ECCV 2022人类环境中导航视觉感知研讨会上应对姿态估计挑战的一流解决方案。在这个挑战中,我们的目标是从野外拼接的全景图像中估计人类的姿势。我们的方法是基于用于人体检测的Faster R-CNN和用于人体姿态估计的HRNet构建的。我们描述了JRDB-Pose数据集的技术细节,以及一些实验结果。在比赛中,我们在JRDB-Pose的测试集上获得了0.303 $\text{OSPA}_{\text{IOU}}$和64.047 $\text{AP}_{\text{0.5}}$。
2023-03-13 cs.CV
Aligning Generative Denoising with Discriminative Objectives Unleashes Diffusion for Visual Perception
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生成式扩散模型用于判别式任务时的中间误差问题,本文分析并增强了生成去噪过程与感知任务的对齐,提出定制学习目标和扩散定制数据增强,在深度估计等任务上实现了SOTA性能。
2025-04-15 cs.CV
Aligning Human Motion Generation with Human Perceptions
Peking University(北京大学);Huawei Technologies, Ltd.(华为技术有限公司)
本文提出数据驱动的MotionPercept数据集和MotionCritic评论模型,以人类感知对齐评估与改进人体运动生成质量。
2025-01-23 cs.CV cs.GR
Adaptive Navigation Scheme for Optimal Deep-Sea Localization Using Multimodal Perception Cues
Jacobs University Bremen(不来梅雅各布大学);ShanghaiTech University(上海科技大学)
水下机器人干预需要高水平的安全性和可靠性。要解决的一个主要挑战是鲁棒且准确地获取定位估计,因为这是实现更复杂任务(例如浮动操纵和映射)的先决条件。商业运营中最先进的导航,如石油和天然气生产(OGP),依赖于昂贵的仪器。视觉导航方法可以部分取代或辅助这些方法,特别是在部署设备成本高、风险大的深海情况下。我们的工作提出了一种多模态方法,该方法采用了陆地机器人的最先进方法,即,密集点云生成与平面表示和配准相结合,以提高水下定位性能。提出了一种两阶段导航方案,该方案首先生成工作空间的粗略概率地图,该地图用于在第二阶段中从计算的点云和平面中过滤噪声。此外,自适应决策方法,确定哪些感知线索纳入本地化过滤器,以优化精度和计算性能。我们的方法首先在模拟中进行了研究,然后在OGP监测和维护场景中使用现场试验的数据进行了验证。
2019-06-12 cs.CV cs.RO cs.SY
Deep Active Perception for Object Detection using Navigation Proposals
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
针对现有深度学习目标检测依赖静态推理范式、主动感知改动训练流程的问题,提出可结合现成检测器与仿真环境的通用有监督主动感知流水线,通过额外网络估算低置信度下的更优视角,在合成数据集上验证了两类场景的有效性。
2023-12-15 cs.CV
Aligning and Prompting Everything All at Once for Universal Visual Perception
Tencent Youtu Lab(腾讯优图实验室);East China Normal University(华东师范大学);Xiamen University(厦门大学)
本文提出通用视觉感知模型APE,通过将定位重构为开放词汇检测、将语义与全景分割统一为代理实例学习,一次性对齐和提示图像中的一切,在160多个数据集上以单一权重达到领先性能。
2023-12-04 cs.CV
Social-LLaVA: Enhancing Robot Navigation through Human-Language Reasoning in Social Spaces
George Mason University(乔治梅森大学);University of Maryland, College Park(马里兰大学学院公园分校)
针对社交机器人导航中感知到合规动作转化的推理缺口,研究构建了含4万条标注的SNEI视觉语言数据集,微调得到Social-LLaVA模型,其表现优于GPT-4V等先进模型,部署后可助力机器人实现类人社交导航推理。
2024-12-30 cs.CV cs.HC cs.RO
Monocular Robot Navigation with Self-Supervised Pretrained Vision Transformers
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
在这项工作中,我们考虑的问题,学习的感知模型,单目机器人导航,使用很少的注释图像。使用视觉Transformer(ViT)预训练的无标签的自我监督的方法,我们成功地训练一个粗略的图像分割模型的Duckietown环境使用70个训练图像。我们的模型在8x8补丁级别执行粗图像分割,并且可以调整推理分辨率以平衡预测粒度和实时感知约束。我们研究如何最好地适应我们的任务和环境的ViT,并发现一些轻量级的架构可以产生良好的单图像分割在可用的帧速率,甚至在CPU上。由此产生的感知模型被用作骨干的一个简单而强大的视觉伺服代理,我们部署在差分驱动移动机器人执行两项任务:车道跟踪和避障。
2022-05-01 cs.AI cs.CV cs.RO
SapiensID 2.0: Aligning Human Recognition Foundation Models with Human Perception
该研究针对现有人类识别模型与人类感知脱节的问题,提出兼具语义与时间感知的SapiensID 2.0框架,通过多项技术实现最优识别性能。
2026-08-12 cs.CV
Language Is Not All You Need: Aligning Perception with Language Models
Microsoft(微软)
语言、多模态感知、动作和世界建模的大融合是迈向通用人工智能的关键一步。在这项工作中,我们介绍了Kokorp-1,一个多模态大语言模型(MLLM),它可以感知一般模态,在上下文中学习(即,Few-Shot),并遵循说明(即,zero-shot)。具体来说,我们训练Kokorp-1从头开始在网络规模的多模态语料库,包括任意交错的文本和图像,图像标题对,和文本数据。我们评估了各种设置,包括zero-shot,Few-Shot和多模式的思维链提示,在没有任何梯度更新或微调的情况下,在广泛的任务。实验结果表明,Kokorp-1在(i)语言理解,生成,甚至OCR免费NLP(直接与文档图像馈送),(ii)感知语言任务,包括多模态对话,图像描述,视觉问答,以及(iii)视觉任务,如图像识别与描述(通过文本指令指定分类)方面取得了令人印象深刻的性能。我们还表明,MLLM可以受益于跨模态传输,即,将知识从语言转移到多模态,再从多模态转移到语言。此外,我们介绍了一个数据集的乌鸦智商测试,诊断非言语推理能力的MLLM。
2023-03-01 cs.CL cs.CV
Vision-Based Autonomous Navigation for Unmanned Surface Vessel in Extreme Marine Conditions
Khalifa University(哈利法大学);Abu Dhabi University(阿布扎比大学);Beijing Institute of Technology(北京理工大学)
本文针对极端海洋条件下USV视觉导航受低能见度影响的问题,提出一种结合GAN去噪增强与YOLOv5检测的自主视觉跟踪框架,并在MBZIRC仿真数据集的沙尘暴和浓雾场景中验证其优于现有去雾方法。
2023-08-08 cs.CV cs.RO
Uncertainty-aware Perception Models for Off-road Autonomous Unmanned Ground Vehicles
GE Research(通用电气研究院);Motional(Motional公司);GE Digital(通用电气数字部门)
越野无人驾驶地面车辆(UGV)正在开发用于军事和商业用途,以在偏远地区提供关键物资,帮助测绘和监视,并在有争议的环境中协助作战人员。由于越野环境的复杂性以及地形、照明条件、昼夜和季节变化的可变性,用于感知环境的模型必须处理大量的输入可变性。当前用于训练越野自主导航感知模型的数据集缺乏季节、位置、语义类别以及一天中的时间的多样性。我们测试了一个假设,即由于输入分布漂移,在单个数据集上训练的模型可能无法推广到其他越野导航数据集和新位置。此外,我们研究了如何结合多个数据集来训练一个基于语义分割的环境感知模型,我们表明,训练模型来捕获不确定性可以显着提高模型性能。我们扩展的Masksembles方法的不确定性量化的语义分割任务,并将其与蒙特卡洛辍学和标准基线。最后,我们在一个新的测试环境中对从UGV平台收集的数据进行测试的方法。我们表明,开发的感知模型与不确定性量化可以可行地部署在UGV上,以支持在线感知和导航任务。
2022-09-22 cs.CV cs.LG cs.RO
Stereo Acoustic Perception based on Real Time Video Acquisition for Navigational Assistance
BMS College of Engineering(BMS工程学院);Indian Institute of Science(印度科学研究院)
智能导航系统(电子旅行辅助)的基础上的目标检测机制已被设计成检测的障碍物,立即阻碍路径的存在,通过实时的视频处理。该算法可用于任何通用的导航辅助。本文讨论,牢记视障人士的导航,并不限于此。摄像机将周围环境的图像输入达芬奇数字媒体处理器DM642,该处理器一帧一帧地处理视频。处理器执行图像处理技术,其结果包含关于对象的图像像素的信息。该算法的目的是选择的对象,其中,对导航构成最大威胁。一个数据库包含总共三个声音的构建。因此,每个图像都转换为哔哔声,每个哔哔声都通知导航员他正前方的障碍物。本文实现了一种算法,是更有效的,相比它的前辈。
2012-08-09 cs.CV cs.MM cs.SD
Embodied Question Answering in Photorealistic Environments with Point Cloud Perception
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
为了帮助弥合互联网视觉风格的问题和具体感知的视觉目标之间的差距,我们实例化了一个大规模的导航任务-在照片逼真的环境(Matterport 3D)中搜索问答[1]。我们深入研究了利用3D点云、RGB图像或其组合的导航策略。我们对这些模型的分析揭示了几个关键发现。我们发现,两个看似幼稚的导航基线,仅向前和随机,是强大的导航器,由于[1]提出的评估设置的特定选择,具有挑战性。我们发现了一种新的损失加权方案,我们称之为拐点加权是很重要的训练时,经常性的导航模型与行为克隆,并能够执行基线与这种技术。我们发现,点云提供了比RGB图像更丰富的信号来学习避障,这激发了3D深度学习模型在具身导航中的使用(和持续研究)。
2019-04-06 cs.AI cs.CL cs.CV
Aggressive Perception-Aware Navigation using Deep Optical Flow Dynamics and PixelMPC
Georgia Institute of Technology(佐治亚理工学院)
最近,基于视觉的控制通过利用机器学习的力量而获得了牵引力。在这项工作中,我们耦合到一个模型预测控制(MPC)框架的可视化管道。我们引入了深度光流(DOF)动力学,它是光流和机器人动力学的结合。使用DOF动态,MPC明确地将相关像素的预测移动并入机器人的规划轨迹中。我们实现的自由度是内存效率,数据效率,计算成本低,使它可以在MPC框架中使用的实时计算。建议的像素模型预测控制(PixelMPC)算法控制机器人完成高速比赛任务,同时保持重要功能(门)的可见性。这提高了基于视觉的定位估计器的可靠性,并最终导致安全的自主飞行。所提出的算法进行了测试,在真实感仿真与高速无人机赛车任务。
2020-01-07 cs.CV cs.LG cs.RO
Autonomous Navigation of Cloud-Controlled Quadcopters in Confined Spaces Using Multi-Modal Perception and LLM-Driven High Semantic Reasoning
Department of Mechanical Engineering(机械工程系);Rajshahi University of Engineering and Technology(拉贾沙希工程与技术大学);Department of Industrial and Production Engineering(工业与生产工程系);Shahjalal University of Science and Technology(沙赫jalal科学与技术大学);Bangladesh University of Engineering and Technology(孟加拉工程与技术大学);Department of Urban and Regional Planning(城市与区域规划系);Department of Computer Science Engineering(计算机科学与工程系);United International University(联合国际大学)
本文提出一种云控制四旋翼无人机自主导航系统,集成YOLOv11、Depth Anything V2、ToF与IMU传感器及云端LLM,通过虚拟安全包络与多线程架构实现低延迟避碰与上下文决策,在无GPS受限空间中表现优异。
2025-08-11 cs.AI cs.CV cs.RO
Camera-Radar Perception for Autonomous Vehicles and ADAS: Concepts, Datasets and Metrics
Institute of Mathematical and Computer Sciences (ICMC)(数学与计算机科学学院(ICMC))
减少交通事故的主要途径之一是通过驾驶员辅助系统甚至完全自主的系统来提高车辆安全性。在这些类型的系统中,障碍物检测和分割等任务,特别是基于深度学习的任务,在场景理解中发挥着基础作用,以实现正确和安全的导航。除此之外,如今车辆中各种各样的传感器提供了丰富的替代方案,以提高在具有挑战性的情况下的感知鲁棒性,例如在照明和恶劣天气条件下的导航。尽管目前的重点给予这个问题,文献缺乏对基于雷达和雷达相机融合的感知研究。因此,这项工作的目的是对ADAS和自动驾驶汽车当前基于摄像头和雷达的感知场景进行研究。这两个传感器的概念和特点,以及他们的融合,提出。此外,我们还概述了基于深度学习的检测和分割任务,以及车辆感知中的主要数据集、指标、挑战和未决问题。
2023-03-08 cs.AI cs.CV cs.RO
From Pixels to Feelings: Aligning MLLMs with Human Cognitive Perception of Images
Oxford University(牛津大学);HKUST(香港科技大学);University College London(伦敦大学学院);New York University(纽约大学)
本文提出CogIP-Bench基准,通过后训练提升MLLMs对图像认知属性的对齐能力,并展示其在图像生成中的应用。
2025-11-27 cs.CV cs.LG cs.MM
Aligning Diffusion Models with Noise-Conditioned Perception
Artificial Intelligence Research Institute (AIRI)(人工智能研究 institute(AIRI));Skolkovo Institute of Science and Technology(斯克尔科沃科学与技术研究所);HSE University(俄罗斯高等经济学院);Research Center for Trusted Artificial Intelligence, ISP RAS(可信人工智能研究中心,信息与通信技术研究院);ISP RAS(信息与通信技术研究院)
本研究提出在扩散模型的U-Net嵌入空间中使用感知目标,以提升人类偏好对齐的效率和质量,并减少计算成本。
2025-12-02 cs.AI cs.CV