Dataset and Benchmark: Novel Sensors for Autonomous Vehicle Perception
University of Michigan（密歇根大学）
本文构建 NSAVP 多模态数据集，融合双目事件、热成像、单色与 RGB 相机及高精度位姿真值，并通过地点识别基准评估新型传感器对自动驾驶感知的增强潜力。
2024-01-24 cs.CV cs.RO
Near-field Perception for Low-Speed Vehicle Automation using Surround-view Fisheye Cameras
University of Limerick（利默里克大学）；Valeo Vision Systems（法雷奥视觉系统公司）
本文综述面向自动泊车等低速场景的环视鱼眼近场感知系统，提出由识别、重建、重定位和重组构成的4R架构，并结合既有结果与架构方案论证其协同可行性。
2023-06-06 cs.CV cs.RO
EventFly: Event Camera Perception from Ground to the Sky
National University of Singapore（新加坡国立大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Institute for Infocomm Research, A*STAR（新加坡科研局信息通信研究所）；IPAL, CNRS IRL 2955（法国国家科学研究中心IPAL国际研究实验室）；CerCo, CNRS UMR 5549, Université Toulouse III（法国国家科学研究中心CerCo实验室，图卢兹第三大学）
EventFly提出跨平台事件相机感知自适应框架，通过事件激活先验、数据混合和双判别器对齐，在车辆、无人机和四足机器人基准上显著提升性能。
2025-03-25 cs.CV cs.RO
Toward Deep Representation Learning for Event-Enhanced Visual Autonomous Perception: the eAP Dataset
Neuromorphic Automation and Intelligence Lab (NAIL) at School of AI & Robotics, Hunan University（神经形态自动化与智能实验室（NAIL）位于人工智能与机器人学院，湖南大学）；ByteDance（字节跳动）；Zhuoyu Technology（卓宇科技）
本文提出eAP数据集，用于研究事件增强的深度视觉感知，通过深度学习方法提升3D车辆检测和物体时间到接触估计性能。
2026-03-17 cs.RO
External Camera-based Mobile Robot Pose Estimation for Collaborative Perception with Smart Edge Sensors
University of Bonn（波恩大学）
我们提出了一种方法来估计移动机器人的姿态w.r.t.使用多视图RGB图像的静态相机网络的非同心坐标。通过深度神经网络在智能边缘传感器上本地在线处理图像，以检测机器人并估计在3D机器人模型的独特位置处定义的2D关键点。机器人关键点检测在中央后端同步和融合，其中机器人的姿态通过多视图最小化重投影误差来估计。通过从外部摄像机的姿态估计，机器人的定位可以初始化在一个allocentric地图从一个完全未知的状态（被绑架的机器人问题），并随着时间的推移鲁棒跟踪。我们进行了一系列实验，评估基于摄像头的姿态估计的准确性和鲁棒性相比，机器人的内部导航堆栈，显示我们的基于摄像头的方法实现了低于3厘米和1°的姿态误差，并不会随着时间的推移漂移，因为机器人是本地化allocentrically。随着机器人的姿态精确估计，它的意见可以融合到allocentric场景模型。我们展示了一个真实世界的应用程序，其中从移动机器人和静态智能边缘传感器的观察融合协作建立一个3D语义地图的$\sim$ 240米$^2$室内环境。
2023-03-07 cs.CV cs.RO
Multi-modal Streaming 3D Object Detection
University of British Columbia（不列颠哥伦比亚大学）
现代自动驾驶汽车在很大程度上依赖于机械激光雷达进行感知。目前的感知方法通常需要360°点云，当LiDAR扫描方位角并获取连续的楔形切片时，依次收集点云。全扫描的采集延迟（~ 100 ms）可能导致过时的感知，这对安全操作有害。最近的流式感知工作提出直接处理LiDAR切片，并通过重用来自先前切片的特征来补偿切片的窄视场（FOV）。然而，这些工作都是基于一种单一的模式，需要过去的信息，可能已经过时。同时，来自高频相机的图像可以支持流式模型，因为与LiDAR切片相比，它们提供了更大的FoV。然而，FoV中的这种差异使传感器融合复杂化。为了解决这一研究差距，我们提出了一个创新的相机激光雷达流3D目标检测框架，使用相机图像，而不是过去的激光雷达切片，提供一个最新的，密集的，广泛的上下文流感知。所提出的方法优于具有挑战性的NuScenes基准的先前流模型。它也优于强大的全扫描探测器，同时速度更快。我们的方法被证明是强大的丢失的相机图像，窄的激光雷达切片，和小相机激光雷达误校准。
2022-09-12 cs.CV cs.RO
Multi-camera Bird's Eye View Perception for Autonomous Driving
本文综述了自动驾驶中基于多相机和深度神经网络的鸟瞰图感知方法，分析了其相比传统逆透视映射的优势，并探讨了传感器融合、下游任务集成及当前挑战。
2023-09-19 cs.CV cs.RO
Design of an Adaptive Lightweight LiDAR to Decouple Robot-Camera Geometry
University at Buffalo（布法罗大学）；University of Florida（佛罗里达大学）；Amazon Robotics（亚马逊机器人公司）
针对微型机器人传感器位姿与机器人位姿耦合、抖动难以实时补偿的问题，提出MEMS反射镜轻量化LiDAR，通过可移动扫描独立改变视场，并在仿真和UAV硬件上验证其运动补偿能力。
2024-03-01 cs.RO
CRN: Camera Radar Net for Accurate, Robust, Efficient 3D Perception
KAIST（韩国科学技术院）；Hanyang University（汉阳大学）
提出相机雷达融合框架CRN，利用雷达点辅助图像特征变换至BEV，并用多模态可变形注意力聚合，实现实时高精度3D感知，在nuScenes上性能优于现有方法。
2023-12-23 cs.AI cs.CV cs.RO
Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review
University of Liverpool（利物浦大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Institute of Deep Perception Technology, JITRI（江苏省产业技术研究院深度感知技术研究所）；XJTLU-JITRI Academy of Industrial Technology（西交利物浦大学-江苏省产业技术研究院工业技术学院）
本文全面综述了自动驾驶中用于目标检测和语义分割的雷达-相机融合技术，深入探讨了数据处理、数据集、融合策略及未来挑战。
2023-08-23 cs.AI cs.CV cs.RO
Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
针对自动驾驶多模态感知的标注难题，提出统一自监督预训练策略 NS-MAE，利用 NeRF 编码外观与几何，通过共享公式优化 LiDAR 与相机模态，实现高效掩码重建，在标签高效微调下显著提升 3D 感知性能。
2024-10-11 cs.AI cs.CV cs.RO
OmniDet: Surround View Cameras based Multi-task Visual Perception Network for Autonomous Driving
Valeo（法雷奥）；TU Ilmenau（伊尔默瑙工业大学）
本文提出 OmniDet 多任务鱼眼视觉感知网络，通过共享编码器、协同解码器、相机几何自适应和多边形检测，实现六项自动驾驶感知任务并取得先进性能。
2023-06-06 cs.CV cs.RO
The Blackbird Dataset: A large-scale dataset for UAV perception in aggressive flight
Massachusetts Institute of Technology（麻省理工学院）
Blackbird无人机（UAV）数据集是一个大规模的、激进的室内飞行数据集，使用定制的四旋翼平台收集，用于评估敏捷感知。Blackbird数据集的灵感来自未来高速全自主无人机竞赛的潜力，包含17条飞行轨迹和5种环境下168次飞行的10多个小时的飞行数据，速度高达$7.0ms^-1$。每次飞行都包括来自120 Hz立体声和向下的真实感虚拟相机、100 Hz IMU、$\sim190Hz$电机速度传感器和360 Hz毫米精度运动捕捉地面实况的传感器数据。每次飞行的相机图像都使用FlightGoggles在各种环境中进行了逼真的渲染，以方便高性能感知算法的简单实验。该数据集可从http://blackbird-dataset.mit.edu/下载
2018-10-03 cs.CV cs.RO
An Efficient Approach to Generate Safe Drivable Space by LiDAR-Camera-HDmap Fusion
University of Waterloo（滑铁卢大学）；University of Alberta（阿尔伯塔大学）
本文提出一种基于LiDAR、相机和HD map融合的自动驾驶感知模块，结合自适应地面移除、路沿检测、改进DBSCAN聚类和抗校准偏差的视锥关联方法，高效生成安全可行驶空间，并在真实数据集及WATonoBus雪天运行中验证了其鲁棒性。
2024-10-29 cs.AI cs.RO
Self-Supervised Online Camera Calibration for Automated Driving and Parking Applications
Valeo Vision Systems（法雷奥视觉系统）；University of Limerick（利默里克大学）
针对自动驾驶与泊车中相机参数易变化、传统标定繁琐的问题，提出一种无需标注、物理靶标或特殊路面的自监督深度学习框架，可实时估计相机内外参。
2023-08-16 cs.CV cs.RO
Perception-aware time optimal path parameterization for quadrotors
Massachusetts Institute of Technology（麻省理工学院）
四旋翼的日益普及已经产生了一类主要由视觉驱动的车辆。研究了四旋翼飞行器感知时间最优路径参数化问题。虽然有许多不同的感知模式可供选择，但四旋翼系统的低重量和功率预算使相机成为机载导航和估计算法的理想选择。然而，这确实带来了一系列挑战。摄像机有限的视场会限制环境中显著区域的可见性，这就要求有必要联合考虑感知和规划。本文的主要贡献是一个有效的时间最优路径参数化算法的四旋翼有限的视野限制。我们在仿真研究中表明，一个国家的最先进的控制器可以跟踪计划的轨迹，我们验证了所提出的算法在实验中的四旋翼平台。
2020-05-28 cs.CV cs.RO
Li-ViP3D++: Query-Gated Deformable Camera-LiDAR Fusion for End-to-End Perception and Trajectory Prediction
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Slovak University of Technology（斯洛伐克技术大学）；Halmstad University（哈马比大学）
Li-ViP3D++通过引入查询门控可变形融合技术，实现了端到端感知与轨迹预测，提升了自动驾驶系统的鲁棒性和效率。
2026-07-21 cs.AI cs.CV cs.RO
aUToLights: A Robust Multi-Camera Traffic Light Detection and Tracking System
University of Toronto（多伦多大学）；Institute for Aerospace Studies（航空航天研究所）
本文提出aUToLights系统，利用YOLOv5多摄像头融合、高清地图先验和隐马尔可夫模型，实现鲁棒的交通信号灯检测与跟踪，在复杂真实场景中优于单帧单摄像头检测。
2023-09-04 cs.CV cs.RO
A Quality Index Metric and Method for Online Self-Assessment of Autonomous Vehicles Sensory Perception
Virginia Tech（弗吉尼亚理工大学）
本文提出检测质量指数（DQI）和超像素注意力网络（SPA-NET），用于自动驾驶摄像头目标检测的逐帧在线自评估，并在三个开源数据集上验证其有效性。
2023-06-01 cs.CV cs.RO eess.IV
Benchmarking Multi-View BEV Object Detection with Mixed Pinhole and Fisheye Cameras
Machine Learning Group, fortiss GmbH（fortiss GmbH机器学习组）
本文提出混合相机配置下的多视图鸟眼图检测基准，通过转换KITTI-360为nuScenes格式，评估了三种BEV架构在不同策略下的性能，证明投影自由架构更抗鱼眼畸变。
2026-03-29 cs.CV cs.RO
The Multi Vehicle Stereo Event Camera Dataset: An Event Camera Dataset for 3D Perception
GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）
基于事件的相机是一种新的被动传感模式，与传统相机相比具有许多优点，包括极低的延迟、异步数据采集、高动态范围和非常低的功耗。最近，在应用算法以使用事件来执行各种3D感知任务（诸如特征跟踪、视觉里程计和立体深度估计）方面有很多兴趣和发展。然而，目前缺乏传统相机用于测试和开发的大量标记数据。在本文中，我们提出了一个大的数据集与同步立体对事件为基础的相机系统，进行手持钻机，飞行的六旋翼机，驾驶在汽车顶部，并安装在摩托车上，在各种不同的照明水平和环境。从每个摄像头，我们提供事件流，灰度图像和IMU读数。此外，我们利用IMU、刚性安装的激光雷达系统、室内和室外运动捕捉以及GPS的组合，为每个摄像头提供高达100 Hz的精确姿态和深度图像。为了进行比较，我们还提供了同步的灰度图像和IMU读数从基于帧的立体相机系统。
2018-02-19 cs.RO
A Comparison between Frame-based and Event-based Cameras for Flapping-Wing Robot Perception
Universidad de Sevilla（塞维利亚大学）
本文对比了扑翼机器人上基于帧与基于事件的相机，通过分析硬件限制与视觉算法性能，发现event cameras更适合扑翼机但仍存在挑战。
2023-09-11 cs.RO
RoboRetriever: Single-Camera Robot Object Retrieval via Active and Interactive Perception with Dynamic Scene Graph
RoboRetriever提出仅用单个腕部RGB-D相机和自然语言指令，通过动态分层场景图及主动、交互式感知与操作协同，在杂乱真实场景中实现鲁棒的目标取回。
2025-08-18 cs.RO
Precision Harvesting in Cluttered Environments: Integrating End Effector Design with Dual Camera Perception
National Center for Supercomputing Applications, UIUC（伊利诺伊大学厄巴纳-香槟分校国家超级计算应用中心）
针对高隧道等杂乱环境采摘难题，提出结合末端执行器设计与双相机感知的协同设计框架，通过闭环视觉反馈实现小果实精准定位，现场实验中樱桃番茄采摘成功率达85.0%。
2025-01-31 cs.RO
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
大量的文献表明，基于学习的视觉感知模型是敏感的对抗性噪声，但很少有工作考虑机器人感知模型的鲁棒性下广泛存在的摄像机运动扰动。为此，我们研究的鲁棒性的视觉感知模型下的摄像机运动扰动调查的影响，摄像机运动对机器人的感知。具体而言，我们提出了一种运动平滑技术，任意图像分类模型，其鲁棒性下的相机运动扰动可以被证明。提出的基于摄像机运动平滑的鲁棒性认证框架为视觉感知模块提供了严格且可扩展的鲁棒性保证，使其适用于广泛的机器人应用。据我们所知，这是第一个为深度感知模块提供针对相机运动的鲁棒性认证的工作，这提高了机器人感知的可信度。一个现实的室内机器人数据集与密集的点云地图，为整个房间，MetaRoom，介绍了具有挑战性的可认证的鲁棒感知任务。我们进行了广泛的实验，以验证认证方法，通过运动平滑对相机运动扰动。在-0.1m ~0.1m范围内，该框架保证了81.7%的认证精度。我们还验证了我们的方法的有效性，在现实世界的机器人进行硬件实验的机器人手臂与眼睛在手中的相机。该代码可在https://github.com/HanjiangHu/camera-motion-smoothing上获得。
2022-11-13 cs.CV cs.LG cs.RO
Robot Perception of Static and Dynamic Objects with an Autonomous Floor Scrubber
University of Technology of Belfort-Montbéliard (UTBM)（贝尔福-蒙贝利亚尔技术大学）；Technical University Wien (TU Wien)（维也纳技术大学）；University of Lincoln（林肯大学）
介绍了一种新型的大型公共场所专用清扫机器人的感知系统。该系统基于多个传感器，包括3D和2D激光雷达，两个RGB-D相机和一个立体相机。两个激光雷达与一个RGB-D相机一起用于动态物体（人）检测和跟踪，而第二个RGB-D和立体相机用于检测静态物体（污垢和地面物体）。还介绍了基于感知管道的环境时空表示的学习和推理模块。此外，还发布了机器人在几个公共场所收集的新数据集，包括超市，仓库和机场。提供了该数据集的基线结果，以供进一步研究和比较。建议的系统已完全实现到机器人操作系统（ROS）具有高度的模块化，也公开提供给社会。
2020-02-24 cs.RO
PCMPC: Perception-Constrained Model Predictive Control for Quadrotors with Suspended Loads using a Single Camera and IMU
New York University（纽约大学）
本文提出PCMPC方法，在SE(3)×S^2流形上对悬挂负载四旋翼进行滚动时域控制，融合单目相机、IMU和电机转速实现500 Hz实时状态估计，并通过实验验证了不同速度下的负载轨迹跟踪性能。
2021-07-22 cs.RO
FingerViP: Learning Real-World Dexterous Manipulation with Fingertip Visual Perception
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
FingerViP通过在多指手部每个指尖安装微型摄像头，提升多视角视觉反馈，开发基于扩散模型的全身视觉-运动策略，实现复杂操作技能的学习与高成功率的现实任务执行。
2026-09-25 cs.RO
M-SEVIQ: A Multi-band Stereo Event Visual-Inertial Quadruped-based Dataset for Perception under Rapid Motion and Challenging Illumination
Shanghai Key Laboratory of Navigation & Location Based Services, Shanghai Jiao Tong University（上海导航与基于位置的服务关键实验室，上海交通大学）；Beijing Aerospace Microsystem and Information Technology Research Institute（北京航天微系统与信息技术研究所）
M-SEVIQ是一种多波段立体事件视觉-惯性四足机器人数据集，用于快速运动和恶劣光照下的感知研究。
2026-01-06 cs.RO
Interactive Perception for Deformable Object Manipulation
KTH（瑞典皇家理工学院）；The Hong Kong Polytechnic University（香港理工大学）
针对可变形物体操作中的视觉遮挡与操控难题，提出基于序贯决策、耦合主动相机与操控器的交互式感知框架，并通过 DAVS 子空间利用运动规律，仿真与真实双臂实验验证了其有效性。
2024-06-11 cs.RO
Instance Performance Difference: A Metric to Measure the Sim-To-Real Gap in Camera Simulation
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
本文提出了实例性能差异（IPD）指标，通过配对真实与合成图像实例并评估感知算法性能相似度，度量机器人感知任务的虚实迁移差距，助力构建逼真合成数据集并提升真实世界机器人应用的稳健迁移能力。
2024-11-11 cs.RO
Adaptive Visual Perception for Robotic Construction Process: A Multi-Robot Coordination Framework
Texas A&M University（德克萨斯农工大学）
本研究提出一种多机器人协调框架，通过监督机器人自适应调整姿态优化视觉覆盖，以解决施工中视野遮挡问题，并验证了视点选择方法的有效性与鲁棒性。
2024-12-15 cs.RO
Reinforcement Learning for Active Perception in Autonomous Navigation
Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU)（工程 cybernetics 系，挪威科学技术大学）
本文提出一种端到端强化学习框架，使无人机在复杂环境中通过主动控制相机实现安全导航与探索。
2026-02-01 cs.RO
Optimizing Active Perception for Learning Simultaneous Viewpoint Selection and Manipulation with Diffusion Policy
Department of Computer Science, Yale University（耶鲁大学计算机科学系）
针对动态视点与操作协调学习的挑战，提出结合 diffusion policy 与 look-at 逆运动学求解器的集成框架，自动优化相机视点并提升操作性能与学习效率。
2025-09-17 cs.RO
EvConv: Fast CNN Inference on Event Camera Inputs For High-Speed Robot Perception
University of Toronto（多伦多大学）
事件摄像机以高时间分辨率和宽动态范围捕获视觉信息。这使得能够以精细的时间粒度（例如，在快速变化的环境中。这使得事件相机对于涉及快速运动的高速机器人任务非常有用，例如高速感知，对象跟踪和控制。然而，对事件相机流的卷积神经网络推断当前不能以事件相机操作的高速度执行实时推断-当前CNN推断时间通常在数量级上更接近常规基于帧的相机的帧速率。为了充分利用事件摄像机提供的高频率和高时间分辨率，有必要以事件摄像机速率进行实时推理。本文介绍了EvConv，这是一种新的方法，可以对来自事件摄像机的输入进行CNN的快速推理。我们观察到，从事件相机到CNN的连续输入之间只有很小的差异。因此，我们建议对连续输入张量之间的差异或增量进行推断。这使得所需的浮点运算数量（以及推理延迟）显著减少，因为增量非常稀疏。我们设计EvConv来利用事件摄像机增量中的不规则稀疏性，并在网络的所有层中保留这些增量的稀疏性。我们证明了减少在向前传递所需的浮动操作的数量高达98%。我们还证明了使用CNN进行深度估计、对象识别和光流估计等任务的推理速度高达1.6倍，几乎没有准确性损失。
2023-03-08 cs.CV cs.RO
Achelous: A Fast Unified Water-surface Panoptic Perception Framework based on Fusion of Monocular Camera and 4D mmWave Radar
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）
本文提出Achelous框架，通过融合单目相机与4D毫米波雷达，在边缘端高效统一完成五类水面感知任务，并以低参数量取得优于基线的精度与速度。
2023-07-14 cs.CV cs.RO
Visible-Reachable Workspace for Perception-Aware Humanoid Design
Duke University（杜克大学）
本研究提出可见可达工作空间（VRW）度量，通过独立驱动相机的人形机器人设计，将可见可达覆盖率从38%提升至97%，显著提高操作效率与能耗表现。
2026-09-09 cs.RO
A performance contextualization approach to validating camera models for robot simulation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
这方面的贡献的重点是相机模拟，因为它发挥作用，在模拟自主机器人的虚拟样机。我们提出了一种基于感知算法的性能和测量性能的上下文的相机模型验证方法。这种方法与传统的合成图像验证不同，传统的合成图像验证通常在像素或特征级别进行，并且往往需要匹配合成图像和真实图像对。由于获取配对图像的高成本和约束，所提出的方法是基于不一定配对的数据集。在真实和模拟数据集A和B中，我们分别找到具有相似内容的子集Ac和Bc，并从统计学上判断感知算法对这些相似子集的响应。该验证方法获得性能相似性的统计度量，以及A和B的内容之间的相似性度量。使用Chrono：：Sensor生成的图像和缩放的自动驾驶车辆演示了该方法，使用对象检测器作为感知算法。结果证明了量化（i）模拟数据和真实数据之间的差异的能力;（ii）训练方法减轻模拟与真实差距的倾向;以及（iii）两个数据集之间的上下文重叠。
2022-08-01 cs.RO
Empirical Comparison of Four Stereoscopic Depth Sensing Cameras for Robotics Applications
Czech Technical University in Prague（捷克技术大学）
本研究实证比较了四种立体RGB-D相机在三种场景下的性能，发现D435在近距离（<1米）误差小于1厘米，ZED 2在远距离（4米）误差小于3厘米，并公开了全部数据。
2025-04-24 cs.RO
MAAP: Multi-Agent Active Perception for Collaborative Manipulation
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）；The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出MAAP与RAIL，使机械臂在执行操作时兼作主动感知视角，通过角色感知模仿学习提升协作操作成功率，在模拟和真实平台实验中显著优于固定视角基线。
2026-09-21 cs.RO
Evaluating a GAN for enhancing camera simulation for robotics
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
鉴于生成对抗网络（GANs）的多功能性，我们试图了解使用现有的GAN来增强模拟图像并减少模拟与真实差距所带来的好处。我们进行分析的背景下，模拟机器人的性能和基于图像的感知。具体来说，我们量化了GAN的能力，以减少机器人图像感知的模拟到真实的差异。使用语义分割，我们分析了模拟训练和测试中的模拟与真实的差异，使用标称和增强的模拟城市环境。作为次要应用，我们考虑使用GAN来增强室内环境。对于该应用，使用目标检测来分析训练和测试中的增强。结果表明，使用GAN时，模拟到真实的差距减少量化，并说明了其使用的好处。
2022-09-14 cs.RO
AquaVis: A Perception-Aware Autonomous Navigation Framework for Underwater Vehicles
University of South Carolina（南卡罗来纳大学）
水下视觉监控操作需要观察的兴趣在近距离的对象，并跟踪状态估计所需的几个功能丰富的区域。本文介绍了第一个导航框架，称为AquaVis，产生在线的可行性感知的运动计划，使自主水下航行器（AUV）跟踪多个视觉目标与任意相机配置实时。使用所提出的管道，AUV可以有效地在3D中移动，在安全地避开障碍物的同时达到目标，并最大限度地提高指定距离内路径上多个目标的可见性。该方法足够快以实时执行，并且适合于单个或多个相机配置。实验结果表明，该算法在跟踪多个自动提取的兴趣点上有显著的改进，计算开销小，重新规划时间快
2021-10-04 cs.RO
Cyclops: LiDAR as a Camera That Dreams in Color
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Michigan（密歇根大学）；University of Macau（澳门大学）
本文提出Cyclops框架，将稀疏NRS-LiDAR强度转为RGB视频，通过LBM等技术缓解帧间闪烁，合成RGB可使感知模型在多任务上优于LiDAR基线与传统相机。
2026-10-19 cs.RO
An Event-Based Perception Pipeline for a Table Tennis Robot
University of Tübingen（蒂宾根大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出首个仅使用事件相机实现实时感知的乒乓球机器人流水线，其更新率比传统帧相机高一个数量级，从而提升球的位置、速度和旋转估计精度，为快速回球控制提供优势。
2025-02-02 cs.CV cs.RO
Geometric Analysis of the Conformal Camera for Intermediate-Level Vision and Perisaccadic Perception
University of Houston-Downtown（休斯顿大学市中心分校）
作者根据共形相机的投影傅立叶变换（PFT）开发了一个双目系统，该系统将头、眼和视觉皮层数字化集成，用于在扫视眼球运动期间处理视觉信息。虽然我们以700度/秒的眼球最大速度每秒进行三次扫视，但我们的视觉系统解释了这些敏锐的眼球运动，以产生对世界的稳定感知。这种视觉恒定性通过在扫视开始之前在各种视网膜定位组织的皮层区域中的神经元感受野移位来维持，从而使大脑在眼睛到达之前从扫视的目标获得视觉信息。它集成了视觉信息采集跨越扫视。我们的建模利用PFT的基本属性。首先，PFT可通过FFT在复对数坐标中计算，其近似视网膜病变。其次，在retinotopic（对数）坐标，傅立叶变换的移位属性建模的平移，重新映射到一个postsaccadic参考帧的前扫视场景。它还解释了人类受试者在实验室实验中观察到的心包周围错误定位。由于我们的建模涉及共形几何，抽象和计算谐波分析，计算视觉和视觉神经科学的跨学科领域，我们包括相应的背景材料，并阐明这些不同的领域如何交织在我们的灵长类动物感知建模。特别是，我们提出了与我们的建模相关的神经过程的生理和行为事实。我们还强调了共形相机的几何形状，并讨论了它是如何独特的有用的中级视觉计算方面的自然场景理解。
2009-08-29 cs.CV cs.RO
OmniRobotHome: A Multi-Camera Home Platform for Real-Time Human-Robot Interaction
Seoul National University（首尔国立大学）；RLWRLD
OmniRobotHome通过多摄像头和双Franka机械臂实现多对多人机协作的实时3D感知与协同动作，解决了近距离交互中的遮挡和状态变化问题，为多对多协作实验提供了可行平台。
2026-10-14 cs.CV cs.RO
On the Benefits of Visual Stabilization for Frame- and Event-based Perception
Leonardo S.p.A（莱昂纳多公司）；University of Seville（塞维利亚大学）；TU Berlin（柏林工业大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）；SCIoI Excellence Cluster（SCIoI卓越集群）；Robotics Institute Germany（德国机器人研究所）
本文提出一种基于处理的视觉稳定化方法，通过补偿相机旋转运动，显著提升了特征跟踪与相机自运动估计的精度，并降低了线性速度的计算时间。
2024-08-28 cs.CV cs.RO eess.IV
Accurate, Low-Latency Visual Perception for Autonomous Racing:Challenges, Mechanisms, and Practical Solutions
MIT（麻省理工学院）；Google DeepMind（谷歌DeepMind）
自动驾驶赛车提供了在极限下测试安全关键感知管道的机会。本文介绍了应用最先进的计算机视觉算法为DUT 18无人驾驶（DUT 18 D）构建低延迟、高精度感知系统的实际挑战和解决方案，DUT 18 D是一款四轮驱动电动赛车，在其参加的所有方程式无人驾驶比赛中均登上领奖台。DUT 18 D的关键组件包括基于YOLOv 3的目标检测、姿态估计以及双立体视觉/单视觉相机设置的时间同步。我们强调了使感知CNN适应赛车领域所需的修改，用于姿态估计的损失函数的改进，以及亚微秒相机同步的方法等改进。我们对该系统进行了全面的实验评估，证明了其在现实世界的赛车场景中的准确性和低延迟。
2020-07-28 cs.CV cs.RO
Visual Perception Generalization for Vision-and-Language Navigation via Meta-Learning
Westlake University（西湖大学）；Zhejiang University（浙江大学）
视觉和语言导航（VLN）是一项具有挑战性的任务，它要求智能体通过理解实时接收的自然语言指令和视觉信息来在现实环境中导航。先前的工作已经在连续环境或物理机器人上实现了VLN任务，由于数据集的限制，所有这些都使用固定的相机配置，例如1.5米高，90度水平视场（HFOV）等，然而，具有不同目的的现实生活中的机器人具有多个相机配置，并且视觉信息的巨大差距使得难以在各种机器人之间直接传递学习的导航模型。在本文中，我们提出了一种基于元学习的视觉感知泛化策略，它使智能体能够快速适应一个新的相机配置与几个镜头。在训练阶段，我们首先将泛化问题定位到视觉感知模块，然后比较两种Meta学习算法在可见和不可见环境中更好的泛化。其中一个使用模型不可知元学习（MAML）算法，需要Few Shot适应，另一个是指基于度量的元学习方法，具有特征仿射变换层。实验结果表明，我们的策略成功地适应了学习的导航模型，以一个新的相机配置，和两个算法显示出各自的优势，在可见和不可见的环境。
2021-01-19 cs.AI cs.RO
ActiveScale: Scaling Active Perception for Robots across Model, Data, and Hardware
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对固定视点下机器人操作信息缺失问题，提出ActiveScale框架，通过模型、数据、硬件协同设计，实现VLA模型主动感知，提升任务成功率。
2026-09-22 cs.LG cs.RO
Attention-driven Next-best-view Planning for Efficient Reconstruction of Plants and Targeted Plant Parts
Wageningen University & Research（瓦赫宁根大学及研究中心）
本文提出注意力驱动的下一最佳视角规划策略，通过聚焦任务相关植物部位，显著提升复杂温室环境下3D重建的速度与精度，并验证其在真实条件下的有效性。
2024-12-18 cs.CV cs.RO
TaCOS: Task-Specific Camera Optimization with Simulation
University of Sydney（悉尼大学）
本文提出一种端到端协同优化方法，结合无导数和梯度优化器，在制造约束下通过仿真环境设计任务特定相机，实验表明2分钟内即可设计出优于现成选项的相机。
2024-11-05 cs.CV cs.RO
Look, Zoom, Understand: The Robotic Eyeball for Embodied Perception
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Dalian University of Technology（大连理工大学）
本文提出EyeVLA框架，通过整合视觉感知、语言理解和物理摄像头控制，实现语言引导的主动视觉感知。该框架在500个真实样本上训练，使机器人在50种不同场景中完成任务的平均完成率为96%。
2026-04-03 cs.CV cs.RO
SaPaVe: Towards Active Perception and Manipulation in Vision-Language-Action Models for Robotics
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息多媒体国家重点实验室，计算机科学学院，北京大学）；School of Software, Beihang University（软件学院，北航）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
SaPaVe通过解耦相机与操作动作，结合自下而上训练策略，实现高效且可推广的主动感知与操作，在现实任务中成功率达31.25%。
2026-03-12 cs.CV cs.RO
