MonoCInIS: Camera Independent Monocular 3D Object Detection using Instance Segmentation
TRACE vzw(TRACE非营利组织);KU Leuven(鲁汶大学);ETHZ(苏黎世联邦理工学院);Toyota Motor Europe(丰田汽车欧洲公司)
单目3D目标检测最近已经显示出有希望的结果,然而仍然存在挑战性的问题。其中之一是缺乏对不同相机内部参数的不变性,这可以在不同的3D对象数据集上观察到。几乎没有努力利用异构3D对象数据集的组合。与一般的直觉相反,我们表明,更多的数据并不能自动保证更好的性能,而是,方法需要有一定程度的“相机独立性”,以受益于大型和异构的训练数据。本文提出了一种基于实例分割的类别级姿态估计方法,该方法利用摄像机无关的几何推理来处理不同数据集的摄像机视点和本征值的变化。实例的每个像素预测对象尺寸、在2D图像空间中投影的3D对象参考点以及可选的局部视角。摄像机固有函数仅在学习的网络外部使用,以将预测的2D参考点提升到3D。我们超越相机独立的方法在具有挑战性的KITTI3D基准,并显示与相机相关的方法相比的关键优势。
2021-10-01 cs.AI cs.CV cs.RO
Invisible-to-Visible: Privacy-Aware Human Instance Segmentation using Airborne Ultrasound via Collaborative Learning Variational Autoencoder
Panasonic Holdings Corporation(松下控股株式会社);Chubu University(中部大学)
在室内的动作理解中,我们必须考虑到隐私来识别人体的姿势和动作。虽然相机图像可以用于高度准确的人类动作识别,但相机图像不保护隐私。因此,我们提出了一个新的任务,人类实例分割从无形的信息,特别是空中超声,动作识别。为了从不可见信息执行实例分割,我们首先将声波转换为反射的声音方向图像(声音图像)。虽然声音图像可以大致确定一个人的位置,但详细的形状是模糊的。为了解决这个问题,我们提出了一个协作学习变分自编码器(CL-VAE),同时使用声音和RGB图像在训练过程中。在推理中,可以仅从声音图像获得实例分割结果。性能验证结果表明,CL-VAE模型比传统的变分自编码器等模型能更准确地估计人体实例分割。由于该方法可以单独获得人体分割,因此可以应用于具有隐私保护的人体动作识别任务。
2022-04-15 cs.CV
RCM-Fusion: Radar-Camera Multi-Level Fusion for 3D Object Detection
Hanyang University(汉阳大学);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
针对现有雷达-相机3D目标检测融合模型未充分利用雷达信息的问题,提出RCM-Fusion方法,通过特征层雷达引导BEV编码器与实例层雷达网格点精修模块实现两级融合,在nuScenes数据集单帧雷达-相机融合方法中达SOTA性能。
2024-05-16 cs.CV
Stereo 3D Object Trajectory Reconstruction
Fraunhofer IOSB(弗劳恩霍夫IOSB研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们提出了一种方法来重建的三维轨迹的一个已知的对象类别使用立体视频数据的移动实例。我们利用实例感知的语义分割技术和光流线索,在像素级上跟踪对象的二维形状。我们将运动恢复结构(SfM)技术应用于对象和背景图像,以确定每帧初始相机相对于对象实例和背景结构的姿态。我们完善的初始SfM的结果,通过整合立体相机的约束,利用因子图。我们通过结合目标和背景摄像机的姿态信息来计算目标的轨迹。与立体匹配方法相比,我们的方法利用时间相邻的对象点三角测量视图。与单目轨迹重建方法相反,我们的方法没有退化的情况。我们评估我们的方法使用公开的视频数据的车辆在城市场景。
2018-08-27 cs.CV
Literature Review: Human Segmentation with Static Camera
University of Alberta(阿尔伯塔大学)
我们的研究课题是人体分割与静态相机。本课题可以分为三个子任务,即目标检测、实例识别和分割。这些子任务是三个密切相关的主题。每个学科的发展对其他两个领域都有很大的影响。在这篇文献综述中,我们将首先介绍人体分割的背景,然后讨论与上述三个领域相关的问题以及它们如何相互作用。
2019-10-28 cs.CV
MID-Fusion: Octree-based Object-Level Multi-Instance Dynamic SLAM
Department of Computing, Imperial College London(伦敦帝国理工学院计算机系)
我们提出了一种新的多实例动态RGB-D SLAM系统,使用基于对象级八叉树的体积表示。它可以在动态环境中提供鲁棒的相机跟踪,同时,连续估计场景中任意对象的几何,语义和运动属性。对于每个输入帧,我们执行实例分割来检测对象,并使用几何和运动信息来细化掩模边界。同时,我们估计每个现有的移动对象的姿态,使用面向对象的跟踪方法和鲁棒跟踪相机对静态场景的姿态。基于估计的相机姿态和对象姿态,我们将分割的掩模与现有模型相关联,并将相应的颜色,深度,语义和前景对象概率逐步融合到每个对象模型中。与现有方法相比,我们的系统是第一个从单个RGB-D相机生成对象级动态体积图的系统,该系统可直接用于机器人任务。我们的方法可以在CPU上以2-3 Hz运行,不包括实例分割部分。我们证明了它的有效性,定量和定性测试合成和现实世界的序列。
2019-03-21 cs.CV cs.RO
Geometry-Aware Instance Segmentation with Disparity Maps
University of Southern California(南加利福尼亚大学);Argo AI
本文提出利用立体视觉视差图的几何信息增强室外实例分割,通过融合2D、2.5D和3D ROI掩码预测抑制误检并分离重叠物体,同时构建了长基线高分辨率的HQDS数据集,取得最先进性能。
2024-01-17 cs.CV
Filtering Empty Camera Trap Images in Embedded Systems
Federal University of Amazonas(亚马孙联邦大学)
通过相机陷阱监测野生动物产生了大量的图像,其中很大一部分不包含动物,后来被丢弃。嵌入深度学习模型来识别动物并直接在这些设备中过滤这些图像,带来了节省数据存储和传输的优势,通常这种类型的设备资源有限。在这项工作中,我们对动物识别模型进行了比较研究,以分析边缘设备上精度和推理延迟之间的权衡。为了实现这一目标,我们调查分类器和对象检测器的各种输入分辨率,并优化它们使用量化和减少模型过滤器的数量。每个模型的置信度阈值被调整为获得非空类的96%召回率,因为来自空类的实例预计将被丢弃。实验表明,当使用相同的图像集进行训练时,检测器实现了更好的性能,比具有可比延迟的分类器多消除至少10%的空图像。考虑到为检测问题生成标签的成本很高,当有大量的图像被标记用于分类时(大约一百万个实例,比可用于检测的实例多十倍),分类器能够达到与检测器相当的结果,但具有一半的延迟。
2021-04-18 cs.CV
R4Det: 4D Radar-Camera Fusion for High-Performance 3D Object Detection
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);EBTech Co. Ltd(EBTech公司)
R4Det通过全景深度融合模块提升深度估计,设计变形门控时间融合模块以不依赖车辆姿态,结合实例引导动态细化模块,实现更准确的3D目标检测。
2026-05-11 cs.CV
PMODE: Prototypical Mask based Object Dimension Estimation
Elm Company(埃尔姆公司)
神经网络能在野外估计物体的尺寸吗?在本文中,我们提出了一种方法和深度学习架构,使用单目相机来估计视频中感兴趣的四边形对象的尺寸。所提出的技术不使用摄像机校准或手工制作的几何特征,然而,在训练过程中,在分割神经网络的系数的帮助下学习特征。采用具有ResNet 50主干的基于实时实例分割的深度神经网络,给出对象的原型掩模,从而提供感兴趣区域以回归其维度。实例分割网络被训练为仅查看最近的感兴趣对象。使用仅查看限界框检测器头和原型分割掩模的掩模系数的MLP头来执行回归。我们用三个不同的随机相机训练系统,测试数据集的MAPE达到22%,用于维度估计
2022-12-26 cs.CV
Focal-PETR: Embracing Foreground for Efficient Multi-Camera 3D Object Detection
Beijing Institute of Technology(北京理工大学)
主要的多摄像机3D检测范例是基于显式的3D特征构造,这需要通过3D到2D投影对局部图像视图特征进行复杂的索引。其它方法隐含地引入几何位置编码并执行全局注意(例如,PETR)来建立图像令牌和3D对象之间的关系。3D到2D视角的不一致性和全局注意力导致前景令牌和查询之间的弱相关性,从而导致收敛缓慢。我们提出了Focal-PETR与实例指导的监督和空间对齐模块,以自适应地将对象查询集中在有区别的前景区域。Focal-PETR还引入了下采样策略,以减少对全局注意力的消耗。由于高度并行化的实现和下采样策略,我们的模型在没有深度监督的情况下,在大规模nuScenes基准测试中实现了领先的性能,并在单个RTX 3090 GPU上实现了30 FPS的卓越速度。大量的实验表明,我们的方法优于PETR,同时消耗3倍的训练时间。该代码将公开发布。
2022-12-13 cs.CV
Exploiting Depth Information for Wildlife Monitoring
University of Bonn(波恩大学)
相机陷阱是生物学,特别是生物多样性研究中的一种行之有效的工具。然而,包括深度估计的相机陷阱并没有被广泛部署,尽管提供了关于场景的有价值的上下文,并促进了先前费力的手动生态方法的自动化。在这项研究中,我们提出了一个自动相机陷阱为基础的方法来检测和识别动物使用深度估计。为了检测和识别单个动物,我们提出了一种新方法D-Mask R-CNN,用于所谓的实例分割,这是一种基于深度学习的技术,用于检测和描绘图像或视频剪辑中出现的每个不同的感兴趣对象。实验评估示出了与仅依赖于图像信息的标准方法相比,附加的深度估计在动物检测的改进的平均精度分数方面的益处。这种新的方法也进行了评估,在动物园的情况下,使用RGB-D相机陷阱的概念验证。
2021-02-10 cs.CV
LiDAR-Camera Fusion for Video Panoptic Segmentation without Video Training
Amirkabir University of Technology(阿米尔卡比尔理工大学);The University of Tokyo(东京大学)
本文提出一种LiDAR与图像特征融合模块,结合两个简单修改,在无需视频训练的情况下显著提升自动驾驶场景的图像与视频全景分割性能,评估指标最高提升5个点。
2024-12-30 cs.CV
Explore the LiDAR-Camera Dynamic Adjustment Fusion for 3D Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc(百度公司)
针对相机与激光雷达模态差异导致的融合难题,本文提出动态调整融合技术,含三相域对齐模块、改进表示获取及自适应学习,在nuScenes上取得与最先进方法相当的竞争力。
2024-07-22 cs.CV
Radar Instance Transformer: Reliable Moving Instance Segmentation in Sparse Radar Point Clouds
CARIAD SE;University of Bonn(波恩大学);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对稀疏雷达点云的运动实例分割,提出Radar Instance Transformer,通过时间信息增强、全分辨率骨干和类别无关实例头,在基于RadarScenes的新基准上取得优越性能。
2023-09-28 cs.CV
Instance Segmentation with Cross-Modal Consistency
Waymo LLC(Waymo有限责任公司);Adobe Research(Adobe研究院);Google Research(谷歌研究院)
分割对象实例是机器感知的关键任务,在机器人和自动驾驶中具有安全关键型应用。我们介绍了一种新的方法来实例分割,联合利用多个传感器模态,如相机和激光雷达的测量。我们的方法学习预测每个像素或点的嵌入,从而产生场景的密集分割。具体来说,我们的技术适用于对比学习在场景中的点跨传感器模态和时域。我们证明,这种提法鼓励模型学习嵌入的观点是不变的变化和一致的传感器模态。我们进一步证明了嵌入是稳定的,随着时间的推移,物体在场景中移动。这不仅提供了稳定的实例掩码,还可以为下游任务(如对象跟踪)提供有价值的信号。我们在Cityscapes和KITTI-360数据集上评估了我们的方法。我们进一步进行了一些消融研究,证明了在对比损失中应用额外输入时的益处。
2022-10-14 cs.CV
PAI3D: Painting Adaptive Instance-Prior for 3D Object Detection
JD Logistics(京东物流)
3D目标检测是自动驾驶中的一项关键任务。近年来,基于多模态融合的三维目标检测方法结合了激光雷达和摄像机的优势互补,相对于单模态方法有了很大的性能提升。然而,到目前为止,还没有方法尝试利用实例级上下文图像语义来指导3D目标检测。本文提出了一种简单有效的Painting Adaptive Instance-prior for 3D目标检测(PAI 3D)方法,将实例级图像语义与点云特征灵活融合。PAI 3D是一个多模态顺序实例级融合框架。该方法首先从图像中提取实例级语义信息,然后利用提取的信息(包括对象类别标签、点到对象隶属度和对象位置)对后续三维检测网络中的每个LiDAR点进行增强,以指导和提高检测性能。PAI 3D在nuScenes数据集上的表现优于最先进的技术,在测试分割上达到mAP 71.4和NDS 74.2。我们的综合实验表明,实例级图像语义对性能增益的贡献最大,PAI 3D与任何高质量的实例分割模型和任何现代点云3D编码器都能很好地配合使用,使其成为部署在自动驾驶汽车上的强有力的候选者。
2022-11-15 cs.CV
Tracking Passengers and Baggage Items using Multiple Overhead Cameras at Security Checkpoints
本研究针对机场安检俯视摄像头场景,提出融合自监督检测、单摄像头跟踪与多视角关联的多目标跟踪框架,可在低推理耗时下显著提升检测与多目标跟踪准确率。
2023-09-30 cs.CV
Leveraging Multimodal-LLMs Assisted by Instance Segmentation for Intelligent Traffic Monitoring
University of Ottawa(渥太华大学);Nokia Bell Labs(诺基亚贝尔实验室)
本文利用多模态大语言模型和实例分割技术,实现高准确率的交通监控系统,提升交通管理效率和安全性。
2025-02-16 cs.AI cs.CL cs.CV
Gaussian Difference: Find Any Change Instance in 3D Scenes
College of Computer Science and Technology, Civil Aviation University of China(中国民航大学计算机科学与技术学院)
针对非受控3D场景中的实例级变化检测难题,提出基于4D高斯嵌入与标识符比较的新方法,显著优于现有技术,具备高精度和光照鲁棒性。
2025-02-24 cs.CV
M18K: A Comprehensive RGB-D Dataset and Benchmark for Mushroom Detection and Instance Segmentation
University of Houston(休斯顿大学)
本文提出M18K数据集,包含423对RGB-D图像和超过18,000个蘑菇实例,用于蘑菇检测与实例分割,并作为基准,评估了先进算法性能,资源已公开。
2024-07-15 cs.CV
Learning Degradation-Independent Representations for Camera ISP Pipelines
McMaster University(麦克马斯特大学)
针对ISP退化复杂未知导致DNN泛化差的问题,提出学习退化无关表示(DiR)的方法,通过优化自监督基线表示,提升域泛化能力,在盲恢复、目标检测和实例分割等下游任务中超越现有方法。
2024-03-16 cs.CV
RayFormer: Improving Query-Based Multi-Camera 3D Object Detection via Ray-Centric Strategies
University of Science and Technology of China(中国科学技术大学);The University of Adelaide(阿德莱德大学)
RayFormer提出基于相机射线的查询初始化与特征采样策略,通过BEV扇区划分、2D检测框补充查询和射线采样方法,在nuScenes上取得55.5% mAP和63.3% NDS。
2024-11-19 cs.CV
S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation
Ulm University(乌尔姆大学);Google(谷歌);KAUST(卡尔斯鲁厄大学);TU Vienna(维也纳技术大学)
S2D通过稀疏到密集关键掩码蒸馏方法,利用深度运动先验提升无监督视频实例分割的性能。
2025-12-16 cs.CV
Tracking Passengers and Baggage Items Using Multiple Overhead Cameras at Security Checkpoints
Marquette University(马凯特大学);University of Florida(佛罗里达大学)
针对机场安检顶视摄像头的乘客与行李追踪需求,提出融合自监督学习检测、单摄追踪与多视图关联的框架,显著提升检测与多目标追踪精度且推理速度快。
2024-02-27 cs.CV
Look Before You Match: Instance Understanding Matters in Video Object Segmentation
Fudan University(复旦大学);Microsoft Cloud + AI(微软云与人工智能部门);Microsoft Research Asia(微软亚洲研究院)
最近,基于记忆的方法在视频对象分割(VOS)中表现出了令人印象深刻的结果,探索了当前帧和过去帧之间的密集匹配,以进行长距离上下文建模。然而,由于缺乏实例理解能力,上述方法通常对于由对象和相机的移动引起的大的外观变化或视点变化是脆弱的。在本文中,我们认为,在VOS的实例理解事项,并将其与基于内存的匹配可以享受的协同作用,这是直观的VOS任务的定义,\ie,识别和分割视频中的对象实例。为此,我们提出了一个两个分支网络的VOS,其中基于查询的实例分割(IS)分支深入到当前帧的实例细节和VOS分支执行时空匹配的存储体。我们使用IS分支中的对象查询,将实例特定信息注入查询键中,从而进一步执行实例增强匹配。此外,我们引入了一个多路径融合块,有效地结合存储器读出与多尺度功能的实例分割解码器,它结合了高分辨率的实例感知功能,以产生最终的分割结果。我们的方法在DAVIS 2016/2017 val(92.6%和87.1%),DAVIS 2017 test-dev(82.8%)和YouTube-VOS 2018/2019 val(86.3%和86.3%)上实现了最先进的性能,明显优于其他方法。
2022-12-13 cs.CV
Hierarchical Approach for Joint Semantic, Plant Instance, and Leaf Instance Segmentation in the Agricultural Domain
University of Bonn(波恩大学);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);La Sapienza University of Rome(罗马第一大学)
针对农业植株表型分析需求,提出一种带任务特定跳跃连接和新型后处理的分层卷积神经网络,可同时完成语义、植株实例与叶片实例联合分割,性能更优、参数量更少且达相机帧率。
2023-06-14 cs.CV
CVFusion: Cross-View Fusion of 4D Radar and Camera for 3D Object Detection
Zhejiang University(浙江大学)
本文提出CVFusion跨视图两阶段融合网络,通过雷达引导迭代BEV融合生成高召回候选框,并聚合点云、图像和BEV多视图实例级特征优化预测,在VoD和TJ4DRadSet上显著超越现有方法。
2025-07-07 cs.CV
Instance-Guided Radar Depth Estimation for 3D Object Detection
本文提出InstaRadar和RCDPT整合框架,通过实例分割引导和深度监督提升雷达与相机融合的3D物体检测性能。
2026-01-27 cs.AI cs.CV
IGGT4D: Streaming 4D Instance-Grounded Geometry Transformer
Horizon Robotics(地平线机器人公司);S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
针对现实世界空间智能中视频流场景理解问题,提出IGGT4D流式实例关联几何变换器,通过因果时空建模更新统一表示,还构建数据集。实验证明其在长动态序列在线推理上优于现有基线。
2026-07-22 cs.CV
Panoptic 3D Scene Reconstruction From a Single RGB Image
Technical University of Munich(慕尼黑工业大学)
从单个图像中理解3D场景是各种任务的基础,例如机器人、运动规划或增强现实。现有的从单个RGB图像进行3D感知的工作倾向于仅关注几何重建,或者关注具有语义分割或实例分割的几何重建。受2D全景分割的启发,我们提出将几何重建、3D语义分割和3D实例分割的任务统一到全景3D场景重建的任务中-从单个RGB图像,预测图像的相机截头体中场景的完整几何重建,以及语义和实例分割。因此,我们提出了一种新的方法,从一个单一的RGB图像的整体三维场景理解,学习提升和传播2D功能从输入图像的三维体积场景表示。我们证明,这种整体视图的联合场景重建,语义,和实例分割是有益的独立处理的任务,从而优于其他方法。
2022-05-16 cs.CV
SIS-Challenge: Event-based Spatio-temporal Instance Segmentation Challenge at the CVPR 2025 Event-based Vision Workshop
TU Berlin, SCIoI, ECDF(柏林技术大学、SCIoI、ECDF);RWTH Aachen(亚琛工业大学);Xidian University(西安电子科技大学);Hong Kong University of Science and Technology(香港科技大学);Sun Yat-sen University(中山大学);Wonkwang University(Wonkwang大学);Tongji University(同济大学)
本文概述了CVPR 2025事件视觉研讨会上的时空实例分割挑战赛,介绍了任务、数据集与结果,并总结了排名前五团队的方法。
2025-08-18 cs.CV cs.LG
Real-time 3D Pose Estimation with a Monocular Camera Using Deep Learning and Object Priors On an Autonomous Racecar
Department of Mechanical and Process Engineering(机械与过程工程系)
我们提出了一个完整的流水线,允许目标检测,并同时估计这些多个对象的情况下,使用一个单一的图像的姿态。介绍了一种新的“关键点回归”方案,该方案利用关于对象的形状和大小的先验信息来回归并找到特定的特征点。此外,关于对象的先验3D信息被用于匹配2D-3D对应关系,并准确地估计高达15米距离的对象位置。详细讨论的结果和管道的深入分析。该管道在低功率Jetson TX 2上高效运行,并作为感知管道的一部分部署在以54 km/hr的最高速度巡航的实时的【形】自动驾驶汽车上。
2018-09-27 cs.CV cs.RO
Volume and leaf area calculation of cabbage with a neural network-based instance segmentation
University of Hohenheim(霍恩海姆大学)
果实大小和叶面积是植物健康的重要指标,对植物营养管理、植物保护和收获都有意义。本文提出了一种基于图像的甘蓝果实体积和叶面积的测量方法。为此,训练基于掩模区域的卷积神经网络(Mask R-CNN)以将卷心菜果实从叶子中分割出来并将其分配给相应的植物。结果表明,即使在单个相机的情况下,所开发的方法也可以提供92.6%的果实大小和89.8%的单株水平上的叶面积的计算精度。
2021-04-12 cs.CV cs.RO
FisheyeDetNet: 360° Surround view Fisheye Camera based Object Detection System for Autonomous Driving
University of Limerick(利默里克大学);Valeo Vision Systems(法雷奥视觉系统公司)
针对鱼眼摄像头径向畸变导致标准边界框失效的问题,提出FisheyeDetNet模型,采用多边形等扩展表示并在Valeo数据集上取得49.5% mAP,是首个自动驾驶鱼眼目标检测详细研究。
2024-04-27 cs.CV cs.RO
Parking Spot Classification based on surround view camera system
本文基于环视鱼眼摄像头系统解决停车位分类问题,通过改进YOLOv4并引入新型多边形边界框模型,有效区分普通、电动汽车及残疾人车位,是自动代客泊车场景下的首个详细研究。
2023-10-05 cs.AI cs.CV
Self-Learning Camera: Autonomous Adaptation of Object Detectors to Unlabeled Video Streams
Xerox Research Center Europe(施乐欧洲研究中心);University of Trento(特伦托大学)
学习对象检测器需要来自感兴趣的特定数据源的大量标记训练样本。当处理许多不同的源(例如,在照相机网络中),或者诸如移动照相机的不断变化的照相机(例如,在机器人或驾驶辅助系统中)。在本文中,我们以自主的方式解决自学习检测器的问题,即(i)检测器不断更新自己以有效地适应流数据源(与转换算法相反),(ii)没有任何与目标数据流强烈相关的标记数据(与自定进度的学习相反),以及(iii)没有手动干预来设置和更新超参数。为此,我们提出了一个无监督的,在线的,和自调整的学习算法优化多任务学习凸目标。我们的方法使用自信,但简洁的预言(高精度,但低召回现成的通用检测器),并利用问题的结构,共同学习在线的一个合奏的实例级跟踪器,从中我们得到一个适应的类别级对象检测器。我们的方法在真实世界公开的视频对象数据集上进行了验证。
2014-06-18 cs.CV cs.LG
X$^3$KD: Knowledge Distillation Across Modalities, Tasks and Stages for Multi-Camera 3D Object Detection
Qualcomm Technologies, Inc.(高通技术公司);Qualcomm AI Research(高通人工智能研究院);QT Technologies Ireland Limited(QT科技爱尔兰有限公司)
3D目标检测(3DOD)的最新进展已经针对基于LiDAR的模型获得了非常强的结果。相比之下,基于多个相机图像的环绕视图3DOD模型由于从透视图(PV)到3D世界表示的特征的必要视图变换而表现不佳,所述3D世界表示由于缺少深度信息而模糊。本文介绍了X $^3$ KD,一个全面的知识蒸馏框架,跨不同的模态,任务和阶段的多相机3DOD。具体而言,我们提出了跨任务蒸馏从一个实例分割教师(X-IS)在PV特征提取阶段提供监督,而不模糊的错误反向传播通过视图变换。转换后,我们应用交叉模态特征提取(X-FD)和对抗训练(X-AT),通过基于LiDAR的3DOD教师中包含的信息来改进多相机特征的3D世界表示。最后,我们还使用这个老师进行跨模态输出蒸馏(X-OD),在预测阶段提供密集监督。我们在多相机3DOD的不同阶段执行广泛的知识蒸馏消融。我们最终的X $^3$ KD模型在nuScenes和Waymo数据集上的表现优于之前最先进的方法,并推广到基于雷达的3DOD。定性结果视频,请访问https://youtu.be/1do9DPFmr38。
2023-03-03 cs.CV cs.RO
Robust 2D/3D Vehicle Parsing in CVIS
Beihang University(北京航空航天大学);Baidu Research(百度研究院);University of Maryland(马里兰大学)
我们提出了一种新的方法来鲁棒地检测和感知车辆在不同的摄像机视图的一部分,合作车辆基础设施系统(CVIS)。我们的配方是专为任意相机的意见,使没有假设的内在或外在参数。首先,针对多视图数据不足的问题,提出了一种基于局部辅助的视图合成数据增强算法。我们训练一个基于部分的纹理修复网络在一个自我监督的方式。然后,我们将纹理模型渲染到具有目标6自由度姿态的背景图像中。其次,处理各种相机参数,我们提出了一种新的方法,产生密集的图像像素和3D点之间的映射,以执行强大的2D/3D车辆解析。第三,我们构建了第一个CVIS数据集用于基准测试,该数据集注释了来自真实世界交通场景的1540多个图像(14017个实例)。我们结合这些新的算法和数据集开发一个强大的方法,为CVIS的2D/3D车辆解析。在实践中,我们的方法优于SOTA方法的二维检测,实例分割,和6-DoF姿态估计,4.5%,4.3%,和2.9%,分别。更多的细节和结果包含在附录中。为了方便未来的研究,我们将在GitHub上发布源代码和数据集。
2021-03-11 cs.CV cs.RO
MouseSIS: A Frames-and-Events Dataset for Space-Time Instance Segmentation of Mice
Technical University of Berlin(柏林技术大学);Science of Intelligence Excellence Cluster(智能科学卓越中心);Robotics Institute Germany(德国机器人研究所);Free University of Berlin(柏林自由大学);German Federal Institute for Risk Assessment(德国联邦风险评估研究所);Einstein Center Digital Future(爱因斯坦中心数字未来)
针对视频算法在退化条件和快速运动下的困难,提出时空实例分割新任务及MouseSIS数据集,提供对齐灰度帧与事件及小鼠实例分割标注,并验证事件数据能提升跟踪性能。
2024-09-05 cs.CV cs.LG cs.RO
Spatial Feature Calibration and Temporal Fusion for Effective One-stage Video Instance Segmentation
The HongKong Polytechnic University(香港理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
现代单级视频实例分割网络受到两个限制。首先,卷积特征既不与锚框对齐,也不与地面实况边界框对齐,从而降低了掩码对空间位置的敏感性。第二,直接将视频分割成单个帧进行帧级实例分割,忽略相邻帧之间的时间相关性。为了解决这些问题,我们提出了一个简单而有效的单阶段视频实例分割框架,即STMask。为了确保空间特征校准与地面实况边界框,我们首先预测回归边界框周围的地面实况边界框,并从它们提取帧级实例分割的功能。为了进一步探索视频帧之间的时间相关性,我们聚合了一个时间融合模块来推断每个帧到其相邻帧的实例掩码,这有助于我们的框架处理具有挑战性的视频,如运动模糊,部分遮挡和不寻常的对象到相机的姿势。在YouTube-VIS有效集上的实验表明,本文提出的基于ResNet-50/-101主干的STMask在视频实例分割上获得了33.5%/36.8%的掩码AP,同时达到了28.6 / 23.4 FPS。该代码在https://github.com/MinghanLi/STMask上发布。
2021-04-06 cs.CV eess.IV
Generalized Object Detection on Fisheye Cameras for Autonomous Driving: Dataset, Representations and Baseline
Valeo R&D(法雷奥研发中心);Valeo Vision Systems(法雷奥视觉系统公司);Valeo DAR Kronach(法雷奥克罗纳赫DAR);University of Limerick(利默里克大学)
目标检测是自动驾驶领域的一个研究热点。然而,在鱼眼相机的情况下,它相对较少被探索。标准的限界框在鱼眼相机中由于强烈的径向失真而失败,特别是在图像的外围。在这项工作中,我们探索更好的表示,如有向的限界框,椭圆,和通用多边形的目标检测鱼眼图像。我们使用IoU度量来使用准确的实例分割地面实况来比较这些表示。我们设计了一种新的弯曲限界框模型,具有最佳的鱼眼失真模型的属性。我们还设计了一个曲率自适应周长采样方法获得多边形顶点,提高相对mAP得分4.9%,均匀采样相比。总体而言,所提出的多边形模型将mIoU的相对准确度提高了40.3%。据我们所知,这是第一次详细研究自动驾驶场景中鱼眼摄像头的目标检测。由10,000张图像组成的数据集以及所有对象表示地面真相将公开,以鼓励进一步研究。我们在https://youtu.be/iLkOzvJpL-A上的一个简短的视频中总结了我们的工作和定性结果。
2022-12-21 cs.CV cs.RO
Streaming Object Detection on Fisheye Cameras for Automatic Parking
Dongfeng Motor Group Co., Ltd. Technology Center(东风汽车集团有限公司技术中心)
针对鱼眼相机自动泊车中感知延迟问题,提出双流感知模块的实时检测框架,采用旋转边界框和周期角度损失函数,预测未来并缓解时滞,实验验证有效。
2023-08-29 cs.AI cs.CV
Instance-wise Depth and Motion Learning from Monocular Videos
KAIST(韩国科学技术院);DGIST(大邱庆北科学技术院);Microsoft Research(微软研究院)
我们提出了一个端到端的联合训练框架,该框架明确地对多个动态对象的6-DoF运动、自我运动和单目相机设置中的深度进行建模,而无需监督。我们的技术贡献是三方面的。首先,我们提出了一个可微的前向刚性投影模块,它在我们的实例深度和运动学习中起着关键作用。其次,我们设计了一个实例的光度和几何一致性损失,有效地分解背景和移动对象区域。最后,我们引入了一个新的自动注释方案来生成视频实例分割图,这些图将用作我们训练管道的输入。在详细的消融研究中,这些建议的元素得到了验证。通过在KITTI数据集上进行的大量实验,我们的框架表现出优于最先进的深度和运动估计方法。我们的代码和数据集将在https://github.com/SeokjuLee/Insta-DM上提供。
2020-04-08 cs.CV cs.LG cs.RO
WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmarks for Autonomous Driving on Water Surfaces
University of Liverpool(利物浦大学);Wuhan University of Technology(武汉理工大学);Nantong University(南通大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出首个面向水面自动驾驶的多任务4D雷达-相机融合数据集 WaterScenes,并通过多模态基准实验验证融合感知在恶劣条件下的精度与鲁棒性优势。
2024-06-15 cs.CV cs.RO
Training for X-Ray Vision: Amodal Segmentation, Amodal Content Completion, and View-Invariant Object Representation from Multi-Camera Video
本文提出MOVi-MC-AC数据集,通过多摄像机视频提供约580万个物体实例的非模态分割标签和首个真值非模态内容标签,以支持遮挡场景下的物体表示学习。
2025-07-01 cs.AI cs.CV
Object-Scene-Camera Decomposition and Recomposition for Data-Efficient Monocular 3D Object Detection
Institute of Artificial Intelligence and Robotics(人工智能与机器人研究院);Xi'an Jiaotong University(西安交通大学);Intelligent Transportation Thrust of the Systems Hub(系统枢纽智能交通事业部);Hong Kong University of Science and Technology (GZ)(香港科技大学(广州));Amazon Alexa AI(亚马逊Alexa AI)
本文提出了一种在线分解与重组数据处理方案,通过生成多样化的物体-场景-相机组合数据,提升单目3D物体检测模型的性能。
2026-02-24 cs.CV cs.RO
MessyTable: Instance Association in Multiple Camera Views
SenseTime Research(商汤科技研究院);Nanyang Technological University(南洋理工大学)
我们提供了一个有趣且具有挑战性的数据集,其中包含从多个相机视图捕获的大量场景和凌乱的表格。此数据集中的每个场景都非常复杂,包含多个对象实例,这些对象实例可能是相同的,堆叠的和被其他实例遮挡的。关键的挑战是在给定所有视图的RGB图像的情况下关联所有实例。这个看似简单的任务令人惊讶地失败了许多流行的方法或算法,我们假设在对象关联中具有良好的性能。该数据集挑战了现有的方法,挖掘细微的外观差异,基于上下文的推理,并融合外观与几何线索建立关联。我们报告了一些有趣的发现和一些流行的基线,并讨论了这个数据集如何帮助激发新的问题,并催化更强大的公式来解决现实世界的实例关联问题。项目页面:$\href{https://caizhongang.github.io/projects/MessyTable/}{\text{MessyTable}}$
2020-07-29 cs.CV
GVCCS: A Dataset for Contrail Identification and Tracking on Visible Whole Sky Camera Sequences
EUROCONTROL. Aviation Sustainability Unit (ASU)(欧洲控制局航空可持续性单位)
本文构建GVCCS开放数据集,对地面可见光全天空相机拍摄的凝结尾迹进行逐实例标注、时间跟踪和航班归因,并提出统一全景分割框架作为评估基准。
2025-07-25 cs.CV cs.LG
Using depth information and colour space variations for improving outdoor robustness for instance segmentation of cabbage
University of Hohenheim(霍恩海姆大学)
基于图像的农业产量检测可以提高农场的收获效率和耕作性能。基于此目标,本研究致力于改进田间作物在不同环境条件下的实例分割。五个数据集的卷心菜植物记录在不同的光照条件下的室外。使用商业单色照相机获取图像。此外,深度信息是用运动恢复结构(SfM)从图像流中生成的。使用Mask R-CNN来检测和分割卷心菜头。分析了深度信息和不同颜色空间表示的影响。结果表明,深度与颜色信息相结合,导致分割精度提高了7.1%。通过使用光和饱和度信息与深度信息相结合的颜色空间来描述颜色信息,可以达到16.5%的额外分割改进。CIELAB颜色空间与深度信息层相结合显示出最佳结果,达到75的平均精度。
2021-03-31 cs.CV cs.LG cs.RO
Automating lichen monitoring in ecological studies using instance segmentation of time-lapse images
University of Quebec (TÉLUQ)(魁北克大学(TÉLUQ));Polytechnique Montréal(蒙特利尔理工学院);Natural Resources Canada (NRCan)(加拿大自然资源部);Canadian Forest Service(加拿大林业局)
本文提出一种基于语义分割的自动化框架,用于延时图像中附生地衣的监测与生物量估算,以替代耗时且易受偏差影响的人工分割方法,并验证其可显著提升监测准确性和效率。
2023-10-26 cs.CV cs.LG
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford(牛津大学);NAVER LABS Europe(NAVER欧洲实验室)
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法,在EPIC Fields上显著提升跟踪与分割一致性,并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
Instance Tracking in 3D Scenes from Egocentric Videos
UC Irvine(加利福尼亚大学欧文分校);Texas A&M University(得克萨斯农工大学);Institute of Collaborative Innovation(协同创新研究院);University of Macau(澳门大学)
本文提出IT3DEgo基准及评估协议,并设计利用预训练分割检测模型与三维异我中心坐标的实例跟踪方法,在第一人称视频中显著优于单目标跟踪方法。
2024-06-07 cs.CV
LighTROcc: Lightweight 4D Occupancy Forecasting via Instance-Centric 3D Gaussians
Korea University(高丽大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Korea Advanced Institute of Science & Technology(韩国科学技术院)
LighTROcc提出轻量级实例中心框架,用紧凑查询和三维高斯表示可移动对象,单次前向预测当前与未来占用,在nuScenes上实现高效且时间一致的4D占用预测。
2026-10-08 cs.CV