Rethinking Streaming-Perception Evaluation on Heterogeneous Edge Platforms
Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所（ETRI））；Jeonbuk National University（全北国立大学）
针对异构边缘平台多摄像头流式感知，本文指出孤立评估会错误排序加速器放置，提出评估应报告争用扫描、截止时间错失率和最差流sAP，以揭示平均sAP隐藏的单流退化。
2026-10-06 cs.CV cs.DC
GPU-Accelerated 3D Polygon Visibility Volumes for Synergistic Perception and Navigation
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Air Force Research Laboratory（空军研究实验室）
本文提出一种GPU加速方法，计算从任意3D位置完整观察2D凸多边形区域的可见性体积，并结合导航约束，生成满足感知与导航需求的协同解。
2024-02-05 cs.CG cs.CV cs.RO
ASH: A Modern Framework for Parallel Spatial Hashing in 3D Perception
我们提出了ASH，一个现代化的和高性能的GPU上的并行空间散列框架。与现有的GPU哈希图实现相比，ASH实现了更高的性能，支持更丰富的功能，并且在用于实现从体积几何重构到可区分外观重构的空间变化操作时需要更少的代码行（LoC）。与现有的GPU哈希映射不同，ASH框架提供了一个通用的张量接口，对用户隐藏了低级细节。此外，通过解耦内部哈希数据结构和缓冲区中的键值数据，我们可以通过索引直接存取空间变化的数据，从而实现与PyTorch等现代库的无缝集成。为了实现这一点，我们1）将存储的键值数据从低级哈希映射实现中分离出来; 2）通过索引堆将指针优先的低级数据结构桥接到索引优先的高级张量接口; 3）将通用和非通用的仅整数哈希映射实现作为后端来操作多维键。我们首先分析我们的哈希映射对合成数据的最先进的哈希映射，以显示从这种架构的性能增益。然后，我们展示了ASH可以通过展示几个应用程序，包括1）点云体素化，2）可重定向的体积场景重建，3）非刚性点云配准和体积变形，以及4）空间变化的几何形状和外观细化，在各种大规模的3D感知任务上始终实现更高的性能。ASH及其示例应用程序在Open 3D（http：//www.example.com）中开源。www.open3d.org
2023-01-30 cs.CV cs.DC cs.GR
Neurosim: A Fast Simulator for Neuromorphic Robot Perception
GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）
提出Neurosim和Cortex库，通过高速传感器模拟和低延迟通信，支持神经形态感知与控制算法的训练和闭环测试。
2026-05-29 cs.CV cs.RO
Are we ready for beyond-application high-volume data? The Reeds robot perception benchmark dataset
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本文提出了一个数据集，称为芦苇，研究机器人感知算法。该数据集旨在为算法提供苛刻的基准机会，而不是提供测试特定于应用程序的解决方案的环境。为了提供高度动态的运动学，选择了一艘船作为测井平台。传感器包包括六个高性能视觉传感器、两个远程激光雷达、雷达以及GNSS和一个IMU。传感器的时空分辨率被最大化，以提供大的变化和灵活性的数据，提供评估在大量不同的分辨率，基于其他数据集的分辨率。Reeds还提供了一种公平和可重复的算法比较方法，通过在一个公共服务器后端运行所有评估。由于数据集包含多尺度数据，因此评估原则也可以避免不必要地移动数据。还发现，算法的朴素评估（其中每个评估被顺序地计算）是不实际的，因为每个帧的获取和解码任务将不能很好地扩展。相反，每个帧只解码一次，然后并行馈送到所有算法，包括基于GPU的算法。
2021-09-16 cs.CV cs.RO
A Unified 3D Object Perception Framework for Real-Time Outside-In Multi-Camera Systems
NVIDIA Corporation（英伟达公司）
本文提出了一种面向实时多相机系统的统一3D物体感知框架，通过优化的Sparse4D框架和生成式数据增强策略，实现了在大规模基础设施环境中的高效多目标跟踪与实时部署。
2026-01-15 cs.CV
Visual Perception Engine: Fast and Flexible Multi-Head Inference for Robotic Vision Tasks
Jet Propulsion Laboratory, California Institute of Technology（喷气推进实验室，加州理工学院）；Swiss Federal Institute of Technology (ETH Zürich)（瑞士联邦理工学院（ETH Zurich））
提出VPEngine框架，通过共享基础模型主干和多任务头并行推理，消除冗余计算，实现高达3倍加速和恒定内存占用，支持动态任务优先级，在Jetson Orin上达到≥50 Hz实时性能。
2026-09-17 cs.AI cs.CV cs.LG
Driving Scene Perception Network: Real-time Joint Detection, Depth Estimation and Semantic Segmentation
Harman International（哈曼国际）；University of Virginia（弗吉尼亚大学）
随着近年来对实现高水平自动驾驶的需求不断增加，视觉感知是实现完全自动驾驶的关键特征之一，在本文中，我们介绍了一种使用共享卷积架构同时进行目标检测，深度估计和像素级语义分割的有效方法。提出的网络模型，我们命名为驾驶场景感知网络（DSPNet），使用多级特征映射和多任务学习，以提高目标检测，深度估计和图像分割任务的准确性和效率从一个单一的输入图像。因此，最终的网络模型使用不到850 MiB的GPU内存，并在NVIDIA GeForce GTX 1080上实现14.0 fps的1024x512输入图像，并且精度和效率都比单个任务的组合有所提高。
2018-03-10 cs.CV
DensePercept-NCSSD: Vision Mamba towards Real-time Dense Visual Perception with Non-Causal State Space Duality
Machine Intelligence Group, Department of Computer Science & Information Systems, Birla Institute of Technology and Science, Pilani, Hyderabad Campus（机器智能组，计算机科学与信息系统系，比拉理工学院，帕利尼，海得拉巴校区）
本文提出DensePercept-NCSSD模型，基于非因果Mamba块融合成对输入图像，可在低GPU占用下快速高精度完成实时光流与视差估计，适用于3D密集感知任务。
2025-11-16 cs.CV
CoSense3D: an Agent-based Efficient Learning Framework for Collective Perception
Institute of Cartography and Geoinformatics（制图与地理信息研究所）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本文提出基于智能体的协同感知训练框架CoSense3D，通过分离深度学习模块与智能体数据优化数据流，在保持推理性能的同时显著降低了GPU内存消耗和训练时间。
2024-04-29 cs.CV
Unsupervised Learning of a Hierarchical Spiking Neural Network for Optical Flow Estimation: From Events to Global Motion Perception
Delft University of Technology（代尔夫特理工大学）
脉冲神经网络和基于事件的视觉传感器的组合具有高效和高带宽光流估计的潜力。本文提出了第一个层次尖峰架构中，运动（方向和速度）的选择性出现在一个无监督的方式从原始刺激与基于事件的相机。一种新的自适应神经元模型和稳定的尖峰时间依赖的可塑性制定的核心，这个神经网络管理其基于尖峰的处理和学习，分别。收敛后的神经结构表现出生物视觉运动系统的主要特性，即特征提取以及局部和全局运动感知。卷积层与输入突触的特点是单一和多个传输延迟的功能和局部运动感知，分别采用，而全球运动选择性出现在一个最终的全连接层。使用合成和真实事件序列验证了所提出的解决方案。随着本文，我们提供了cuSNN库，一个框架，使GPU加速模拟大规模脉冲神经网络。源代码和示例可在https://github.com/tudelft/cuSNN上获得。
2019-03-28 cs.CV
FlashReg: GPU-Accelerated 3-Clique Point Cloud Registration for Real-Time Correspondence-to-Pose Estimation
School of Computing（计算机学院）；Institute of Science Tokyo（东京科学大学）
FlashReg是面向GPU的点云配准算法，通过优化图构建与3-团搜索，在保持相当召回率的同时降低延迟、减少内存占用，适用于车载感知的高吞吐量配准后端。
2026-08-25 cs.CV cs.DC
ESAM++: Efficient Online 3D Perception on the Edge
Stanford University（斯坦福大学）；Google（谷歌）；UC San Diego（圣地亚哥大学）
提出ESAM++，一种轻量级可扩展的在线3D场景感知方法，通过3D稀疏特征金字塔网络（SFPN）在边缘设备上实现高效、准确的3D实例分割。
2026-05-28 cs.CV
PointTransformerX: Portable and Efficient 3D Point Cloud Processing without Sparse Algorithms
Mannheim University of Applied Sciences（曼海姆应用科学大学）
PointTransformerX采用全PyTorch原生的视觉Transformer架构，无需定制CUDA运算符，通过3D-GS-RoPE实现高效的3D空间关系编码，提升3D点云处理的准确性和效率，同时在ScanNet上达到98.7%的准确率，参数更少，速度更快，内存更小。
2026-04-29 cs.CV
Tigris: Architecture and Algorithms for 3D Perception in Point Clouds
University of Rochester（罗切斯特大学）
机器感知应用越来越多地转向操纵和处理3D点云。点云配准是三维数据处理的一个关键基础，广泛应用于里程测量、同时定位与地图构建和三维重建等高级任务。由于这些应用程序通常部署在能源受限的环境中，因此实时和节能的点云配准至关重要。我们提出了Tigris，一个专门用于点云配准的算法架构协同设计系统。通过对注册管道设计空间的广泛探索，我们发现，虽然不同的设计点在准确性和性能之间做出了截然不同的权衡，但KD树搜索是一个常见的性能瓶颈，因此是架构专业化的理想候选者。虽然KD-树搜索是固有的顺序，我们提出了一个加速服从数据结构和搜索算法，暴露不同形式的KD-树搜索的并行点云注册的上下文中。共同设计的加速器系统地利用并行性，同时结合了一组架构技术，进一步提高加速器的效率。总体而言，Tigris在RTX 2080 Ti GPU上实现了KD树搜索的77.2 $\times$加速和7.4 $\times$功耗降低，这意味着注册性能提高了41.7%，$\times$功耗降低了3.0。
2019-11-21 cs.CV
MaMe & MaRe: Matrix-Based Token Merging and Restoration for Efficient Visual Perception and Synthesis
本文提出MaMe和MaRe，通过矩阵运算实现免训练的令牌合并与恢复，提升视觉模型效率，实验显示在ViT-B上吞吐量提升2%且精度下降1.0%，在图像合成中减少Stable Diffusion v2.1生成延迟31%。
2026-04-15 cs.AI cs.CV
Computer Stereo Vision for Autonomous Driving
UC San Diego（加州大学圣地亚哥分校）；ATG Robotics（ATG机器人公司）；University of Bristol（布里斯托尔大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
作为自动驾驶系统的重要组成部分，自动驾驶汽车感知随着并行计算架构的最新进展而有了很大的飞跃。随着微型但功能齐全的嵌入式超级计算机的使用，计算机立体视觉已被初步应用于自动驾驶汽车的深度感知。计算机立体视觉的两个关键方面是速度和精度。它们都是理想的但相互矛盾的特性，因为具有更好视差精度的算法通常具有更高的计算复杂性。因此，开发一种用于资源有限的硬件的计算机立体视觉算法的主要目的是提高速度和精度之间的权衡。在本章中，我们将介绍用于自动驾驶汽车系统的计算机立体视觉的硬件和软件方面。然后，我们讨论了四个自主汽车感知任务，包括1）视觉特征检测，描述和匹配，2）三维信息获取，3）目标检测/识别和4）语义图像分割。然后详细介绍了计算机立体视觉和多线程CPU和GPU架构上的并行计算的原理。
2020-12-17 cs.CV
Parallel Neural Computing for Scene Understanding from LiDAR Perception in Autonomous Racing
Dept. Computer Science and Engineering（计算机科学与工程系）；National Institute of Technology Rourkela（印度拉尔克学院技术学院）
本文提出并行感知网络（PPN），通过分割与重建两个神经网络在独立GPU上并行处理LiDAR点云，实现2倍推理加速，用于高速赛车场景理解。
2024-12-24 cs.CV
Global Image Segmentation Process using Machine Learning algorithm & Convolution Neural Network method for Self- Driving Vehicles
Vellore Institute of Technology（韦洛尔理工学院）
在自主车辆技术中，图像分割是视觉感知中的一个主要问题。这种图像分割过程主要用于医学应用。在这里，我们采用了一个图像分割过程的视觉感知任务，预测周围环境的代理，识别道路边界和跟踪线标记。本文的主要目的是使用图像分割过程和卷积神经网络方法对输入图像进行分割，以获得有效的视觉感知效果。对于采样，假设一个本地城市的数据集样本和验证过程使用Python语言在Antoyter Notebook中完成。我们提出了这种图像分割方法规划标准，并进一步发展国家的最先进的视觉检测系统的理解方法。实验结果达到73%的平均IOU。我们的方法还实现了90 FPS的推理速度，并使用NVDIA GeForce GTX 1050 GPU。
2020-11-04 cs.CV cs.GT
Monocular BEV Perception of Road Scenes via Front-to-Top View Projection
高清地图重建对于自动驾驶至关重要。基于LiDAR的方法由于昂贵的传感器和耗时的计算而受到限制。基于摄像头的方法通常需要分别进行道路分割和视图变换，这往往会导致失真和丢失内容。为了推动技术的极限，我们提出了一个新的框架，重建一个本地地图形成的道路布局和车辆占用的鸟瞰图只给出了一个正视单目图像。提出了一种前顶视图投影（FTVP）模块，该模块考虑了视图间的周期一致性约束，充分利用了视图间的相关性，加强了视图间的转换和场景理解。此外，我们还应用多尺度FTVP模块来传播低级特征的丰富空间信息，以减轻预测对象位置的空间偏差。在公共基准测试上的实验表明，该方法在道路布局估计、车辆占用率估计和多类语义估计等任务中达到了最先进的性能。特别是对于多类语义估计，我们的模型远远优于所有竞争对手。此外，我们的模型在单个GPU上以25 FPS运行，这是高效的，适用于实时全景高清地图重建。
2022-11-15 cs.CV
Real-Time Monocular Human Depth Estimation and Segmentation on Embedded Systems
Beihang University（北京航空航天大学）；JD.COM Inc（京东集团）；Tongji University（同济大学）；Democritus University of Thrace（德谟克利特大学）
估计场景的深度以实现对移动行人的避碰是机器人领域中的一个关键和基本问题。本文提出了一种新的，低复杂度的网络架构，快速和准确的人体深度估计和分割在室内环境中，针对资源受限的平台（包括电池供电的天线，微型天线和地面车辆）与单目摄像机的主要感知模块的应用。根据编码器-解码器结构，所提出的框架由两个分支组成，一个用于深度预测，另一个用于语义分割。此外，网络结构的优化，以提高其正向推理速度。在三个自行生成的数据集上进行的详尽实验证明了我们的流水线能够实时的【形】执行，实现了比当代最先进的框架更高的帧速率（在采用TensorRT的NVIDIA Jetson Nano GPU上为每秒114.6帧），同时保持了相当的准确性。
2021-08-24 cs.CV cs.RO
ViPE: Video Pose Engine for 3D Geometric Perception
NVIDIA（英伟达）
本文提出视频处理引擎 ViPE，可从无约束视频中估计相机内参、运动与稠密深度图，并在多个基准上超越现有方法，同时开源大规模标注数据集以推动空间 AI 发展。
2025-08-12 cs.CV cs.GR cs.RO
Fast Object Removal Attacks on Safety-Critical Video-based Perception Systems
Clemson University（克莱姆森大学）；National Center for Transportation Cybersecurity and Resiliency（国家交通网络安全与韧性中心）
本文提出一种端到端快速针对性物体移除攻击框架，可近实时破坏基于视频的安全关键感知系统，在SC-CVT实验中攻击成功率达94.48%，难被篡改检测模型识别，为防御此类攻击提供依据。
2026-08-05 cs.CR cs.CV
PTQAT: A Hybrid Parameter-Efficient Quantization Algorithm for 3D Perception Tasks
Wangxuan Institute of Computer Technology, Peking University（北京大学计算机系研究所）
本文提出PTQAT混合量化算法，通过选择关键层进行QAT微调、其余层执行PTQ，在冻结近50%可量化层的情况下，以更高效率在3D感知任务中达到与QAT相当甚至更优的精度。
2025-08-15 cs.AI cs.CV
CuSfM: CUDA-Accelerated Structure-from-Motion
NVIDIA
本文提出CUDA加速的离线运动恢复结构系统cuSfM，利用GPU并行化高效使用高精度特征提取器，实现精确位姿估计与全局一致地图构建，较COLMAP显著提升精度和速度，并开源PyCuSfM。
2025-10-17 cs.CV cs.RO
Mining Cross-Modal Perception Gaps in Autonomous Driving: When Camera and LiDAR Disagree
School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院）
本研究挖掘自动驾驶中相机与激光雷达的跨模态感知差距，提出空间分层特征归因方法，构建模态可靠性图注入融合检测器，提升性能且微调参数少。
2026-10-14 cs.CV
Fast-COS: A Fast One-Stage Object Detector Based on Reparameterized Attention Vision Transformer for Autonomous Driving
National Formosa University（国立虎尾科技大学）；University of Muhammadiyah Malang（玛琅穆罕默德大学）；National Taipei University（国立台北大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）
针对自动驾驶场景中目标检测需平衡精度与速度的问题，提出Fast-COS单阶段检测器，其基于重参数化注意力视觉Transformer（RAViT）骨干和RepFPN，在多平台测试中精度与效率优于现有模型，适用于资源受限环境。
2025-02-11 cs.CV
Object-Centric Stereo Ranging for Autonomous Driving: From Dense Disparity to Census-Based Template Matching
本文提出一种综合立体测距系统，结合密集BM/SGM视差、基于census的目标中心模板匹配和单目几何先验，实现实时测距。核心贡献是新的基于census的目标中心模板匹配算法，通过GPU加速稀疏立体匹配，提升远距离测距鲁棒性。
2026-04-09 cs.CV
DQO-MAP: Dual Quadrics Multi-Object mapping with Gaussian Splatting
Research Institute of Intelligent Control and Systems, Harbin Institute of Technology（哈尔滨工业大学智能控制系统研究院）
本文提出DQO-MAP，一个集成物体位姿估计与重建的物体SLAM系统，利用3D Gaussian Splatting进行高保真重建和二次曲面进行精确位姿估计，通过CPU/GPU分工提升效率，实现快速物体提取，在精度、重建质量和计算效率上表现优异。
2025-03-04 cs.CV
XiYOLO: Energy-Aware Object Detection via Iterative Architecture Search and Scaling
Department of Research Computing（研究计算系）；University of Houston（休斯敦大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Engineering Technology（工程科技系）
本文提出XiYOLO，通过迭代架构搜索和缩放，在异构边缘设备上实现能量感知的目标检测，实验显示其在能耗与准确率之间有更优的权衡。
2026-05-07 cs.AI cs.CV
Fast and Accurate Point Cloud Registration using Trees of Gaussian Mixtures
NVIDIA Research（英伟达研究院）
点云配准是许多重要且具有挑战性的3D感知问题的核心，包括自主导航、SLAM、对象/场景识别和增强现实。在本文中，我们提出了一种新的注册算法，能够实现国家的最先进的速度和精度，通过其使用的分层高斯混合模型（GMM）表示。我们的方法构建了一个自上而下的多尺度表示的点云数据递归运行许多小规模的数据似然分割并行GPU上。我们利用所得到的表示使用一种新的PCA为基础的优化标准，自适应地找到最好的规模来执行点云数据的空间子集之间的数据关联。与以前的迭代最近点和基于GMM的技术相比，我们的基于树的点关联算法在并行时间内执行数据关联，同时动态调整细节级别，以最好地匹配局部场景几何的复杂性和空间分布特性。此外，不像其他GMM方法，限制协方差是各向同性的，我们的新的PCA为基础的优化标准很好地逼近真正的MLE解决方案，即使完全各向异性高斯协方差使用。高效的数据关联、多尺度适应性和强大的MLE近似产生了一种算法，该算法在从LiDAR到结构光捕获的各种3D数据集上比当前最先进的算法更快、更准确。
2018-07-06 cs.CV
UDepth: Fast Monocular Depth Estimation for Visually-guided Underwater Robots
University of Florida（佛罗里达大学）
在本文中，我们提出了一种快速的单目深度估计方法，使低成本的水下机器人的三维感知能力。我们制定了一个新的端到端的深度视觉学习管道名为UDepth，它结合了自然水下场景的图像形成特征的领域知识。首先，我们适应一个新的输入空间，从原始RGB图像空间，利用水下光衰减之前，然后设计一个最小二乘公式进行粗略的像素级深度预测。随后，我们将其扩展到域投影损失，以指导UDepth在超过9 K RGB-D训练样本上的端到端学习。UDepth设计了一个计算量小的MobileNetV 2主干和一个基于Transformer的优化器，以确保嵌入式系统的快速推理率。通过域感知的设计选择，并通过全面的实验分析，我们证明，它是可能实现国家的最先进的深度估计性能，同时确保一个小的计算足迹。具体而言，与现有基准相比，网络参数减少了70%-80%，UDepth实现了相当的，通常更好的深度估计性能。虽然完整模型在单个GPU（CPU内核）上提供了超过66 FPS（13 FPS）的推理速率，但我们用于粗略深度预测的域投影在单板NVIDIA Jetson TX 2上的运行速率为51.5 FPS。推理流水线可在https://github.com/uf-robopi/UDepth上获得。
2023-02-02 cs.CV eess.IV
