Faster VoxelPose: Real-time 3D Human Pose Estimation by Orthographic Projection
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
虽然基于体素的方法已经取得了可喜的成果,从多个摄像机的多人3D姿态估计,他们遭受沉重的计算负担,特别是对于大场景。我们提出了Faster VoxelPose,通过将特征体积重新投影到三个二维坐标平面并分别估计X,Y,Z坐标来解决这一挑战。为此,我们首先通过3D限界框来定位每个人,通过基于投影到xy平面和z轴的体积特征来估计2D框及其高度。然后,对于每个人,我们分别从三个坐标平面估计部分关节坐标,然后融合以获得最终的3D姿态。该方法不需要昂贵的3D-CNN,将VoxelPose的速度提高了10倍,同时达到了与最先进方法相同的竞争精度,证明了其在实时的【形】应用中的潜力。
2022-07-22 cs.CV
DASHA: Decentralized Autofocusing System with Hierarchical Agents
Skoltech(斯科尔科沃科技学院)
最先进的目标检测模型经常使用可用的数据集进行离线训练,例如ImageNet:大型且过于多样化的数据,这些数据不平衡且难以进行语义聚类。这种训练降低了目标检测性能,如果在环境条件(例如,雨),或在镜头定位(失焦模糊)发生。我们提出了一种分散的分层多智能体深度强化学习方法,用于智能控制相机和镜头聚焦设置,从而大大提高了流行检测模型(YOLO,Faster R-CNN和Retina)的能力。该算法依赖于相机流的潜在表示,因此,它是第一种允许相机完全无参考调谐的方法,其中系统训练自己自动对焦。
2022-02-02 cs.CV
FasterPose: A Faster Simple Baseline for Human Pose Estimation
JD AI Research(京东人工智能研究院)
人体姿态估计的性能取决于关键点定位的空间精度。现有的方法大多通过学习输入图像的高分辨率表示来追求空间精度。通过实验分析,我们发现HR表示导致了计算量的急剧增加,而精度的提高与低分辨率(LR)表示相比仍然是微不足道的。在本文中,我们提出了一个设计范例的成本效益的网络与LR表示有效的姿态估计,命名为FasterPose。虽然LR设计大大降低了模型的复杂性,但如何有效地训练网络的空间精度是一个随之而来的挑战。我们研究了FasterPose的训练行为,并提出了一种新的回归交叉熵(RCE)损失函数,以加速收敛和提高精度。RCE损失将通常的交叉熵损失从二进制监督推广到连续范围,因此,位姿估计网络的训练能够受益于sigmoid函数。通过这样做,可以从LR特征推断输出热图,而不会损失空间准确性,同时计算成本和模型大小已显着降低。与以前占主导地位的网络的姿态估计相比,我们的方法减少了58%的FLOPs,同时获得1.3%的精度提高。大量的实验表明,FasterPose在常见的基准测试中产生了有希望的结果,即,COCO和MPII,持续验证实际使用的有效性和效率,特别是非GPU场景下的低延迟和低能耗应用。
2021-07-07 cs.CV
Spatio-activity based object detection
Canon Information Systems Research Australia(佳能澳大利亚信息系统研究公司)
我们提出了SAMMI轻量级的目标检测方法,它具有较高的准确性和鲁棒性,并且能够在具有大量相机的环境中操作。背景建模是基于由相机提供的DCT系数。前景检测利用相邻像素块的时间特性的相似性,这是一种利用对象相干性的计算成本低廉的方式。场景模型更新使用近似中值方法以提高性能。在像素级和应用级的评价表明,SAMMI目标检测的性能优于传统的高斯混合方法。
2008-03-11 cs.CV
Event Camera as Region Proposal Network
Technical University Dortmund(多特蒙德工业大学)
受人类视杆细胞充当视觉区域候选网络的启发,本研究用事件相机替换detectron2中Mask R-CNN的RPN来生成运动物体候选,在精度相当的情况下提升了检测速度、降低了计算成本。
2023-05-01 cs.CV
Pushing the Limits of Asynchronous Graph-based Object Detection with Event Cameras
University of Zurich(苏黎世大学)
用于事件摄像机的最先进的机器学习方法将事件视为密集表示,并使用传统的深度神经网络对其进行处理。因此,它们无法保持事件数据的稀疏性和异步性,从而对下游系统施加了显著的计算和延迟约束。最近的一系列工作通过将事件建模为时空演化图来解决这个问题,这些事件可以使用图神经网络进行高效和异步处理。这些工作显示出令人印象深刻的计算减少,但其准确性仍然受到其网络的小规模和浅深度的限制,这两者都是减少计算所必需的。在这项工作中,我们通过引入几种架构选择来打破这种玻璃天花板,这些架构选择使我们能够在保持低计算的同时扩展这些模型的深度和复杂性。在目标检测任务中,我们最小的模型显示出高达3.7倍的计算量,同时比最先进的异步方法高出7.4 mAP。即使在扩展到更大的模型尺寸时,我们的效率也比最先进的高出13%,同时性能超过11.5 mAP。因此,我们的方法比密集图神经网络快3.7倍,每次向前传递仅需8.4 ms。这为边缘情况下的高效、准确目标检测打开了大门。
2022-11-22 cs.CV
SlimYOLOv3: Narrower, Faster and Better for Real-Time UAV Applications
无人机或通用无人机(Unmanned Aerial Vehicles,UAV)通过机载摄像头和嵌入式系统被赋予计算机视觉功能,在广泛的应用中变得流行。然而,由于嵌入式设备的内存和计算能力有限,在无人机平台上通过目标检测进行实时的【形】场景解析非常具有挑战性。为了应对这些挑战,在本文中,我们提出通过卷积层的通道修剪来学习有效的深度对象检测器。为此,我们通过对通道缩放因子施加L1正则化来强制卷积层的通道级稀疏性,并修剪信息量较少的特征通道以获得“苗条”的对象检测器。基于这种方法,我们提出了与原始YOLOv 3相比具有更少可训练参数和浮点运算(FLOP)的SlimYOLOv 3(Joseph Redmon等人,2018)作为无人机上实时的【形】目标检测的有前途的解决方案。我们在VisDrone 2018-Det基准数据集上对SlimYOLOv 3进行了评估;与未修剪的对应物相比,SlimYOLOv 3取得了令人信服的结果,包括FLOP减少约90.8%,参数大小减少约92.0%,运行速度快约2倍,检测精度与YOLOv 3相当。不同剪枝率下的实验结果表明,SlimYOLOv 3具有更窄的结构,比YOLOv 3更高效、更快、更好,更适合无人机上的实时的【形】目标检测。我们的代码可在https://github.com/PengyiZhang/SlimYOLOv3上公开获取。
2019-07-25 cs.CV
ClusterFusion: Leveraging Radar Spatial Features for Radar-Camera 3D Object Detection in Autonomous Vehicles
Institut Teknologi Bandung(万隆理工学院)
针对雷达-相机3D检测中点云投影到图像平面导致空间信息损失的问题,提出ClusterFusion架构,通过先聚类点云再提取特征后投影的方式利用雷达空间特征,在nuScenes数据集上取得雷达-单目方法的SOTA性能。
2023-11-05 cs.CV
M$^2$BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified Birds-Eye View Representation
The University of Hong Kong(香港大学);NVIDIA(英伟达);NUS(新加坡国立大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Caltech(加州理工学院)
在本文中,我们提出了M $^2$ BEV,一个统一的框架,共同执行三维目标检测和地图分割的鸟瞰视图~(BEV)空间与多相机图像输入。与以往大多数分别处理检测和分割的工作不同,M $^2$ BEV用一个统一的模型来推断这两个任务,提高了效率。M $^2$ BEV有效地将多视图2D图像特征转换为自我汽车坐标中的3D BEV特征。这种BEV表示是重要的,因为它使得不同的任务能够共享单个编码器。我们的框架还包含四个重要的设计,有利于准确性和效率:(1)有效的BEV编码器设计,减少体素特征图的空间维度。(2)一种动态框分配策略,使用学习匹配来分配带有锚点的地面实况3D框。(3)BEV中心性重新加权,其用更大的权重来加强更远的预测,以及(4)大规模2D检测预训练和辅助监督。我们表明,这些设计显着受益于病态的基于相机的3D感知任务,其中深度信息丢失。M $^2$ BEV是内存高效的,允许更高分辨率的图像作为输入,具有更快的推理速度。在nuScenes上的实验表明,M $^2$ BEV在3D目标检测和BEV分割方面都达到了最先进的结果,最好的单个模型在这两个任务中分别达到了42.5 mAP和57.0 mIoU。
2022-04-19 cs.CV
Cross-view Transformers for real-time Map-view Semantic Segmentation
UT Austin(德克萨斯大学奥斯汀分校)
我们提出了跨视图Transformers,一个有效的注意力为基础的地图视图语义分割模型,从多个摄像机。我们的架构隐式地学习到一个规范的地图视图表示使用相机感知的交叉视图注意力机制从个别相机视图的映射。每个摄像机使用位置嵌入,这取决于其内在和外在校准。这些嵌入允许Transformer学习跨不同视图的映射,而无需显式地对其进行几何建模。该架构包括一个卷积图像编码器的每个视图和跨视图Transformer层,以推断地图视图语义分割。我们的模型是简单的,易于并行化,并运行在实时的【形】。所提出的架构在nuScenes数据集上以最先进的方式执行,推理速度快4倍。代码可在https://github.com/bradyz/cross_view_transformers上获得。
2022-05-05 cs.AI cs.CV
Multi-modal Streaming 3D Object Detection
University of British Columbia(不列颠哥伦比亚大学)
现代自动驾驶汽车在很大程度上依赖于机械激光雷达进行感知。目前的感知方法通常需要360°点云,当LiDAR扫描方位角并获取连续的楔形切片时,依次收集点云。全扫描的采集延迟(~ 100 ms)可能导致过时的感知,这对安全操作有害。最近的流式感知工作提出直接处理LiDAR切片,并通过重用来自先前切片的特征来补偿切片的窄视场(FOV)。然而,这些工作都是基于一种单一的模式,需要过去的信息,可能已经过时。同时,来自高频相机的图像可以支持流式模型,因为与LiDAR切片相比,它们提供了更大的FoV。然而,FoV中的这种差异使传感器融合复杂化。为了解决这一研究差距,我们提出了一个创新的相机激光雷达流3D目标检测框架,使用相机图像,而不是过去的激光雷达切片,提供一个最新的,密集的,广泛的上下文流感知。所提出的方法优于具有挑战性的NuScenes基准的先前流模型。它也优于强大的全扫描探测器,同时速度更快。我们的方法被证明是强大的丢失的相机图像,窄的激光雷达切片,和小相机激光雷达误校准。
2022-09-12 cs.CV cs.RO
Context R-CNN: Long Term Temporal Context for Per-Camera Object Detection
California Institute of Technology(加州理工学院);Google(谷歌公司)
在静态监控摄像机中,有用的上下文信息可以远远超出典型视频理解模型可能看到的几秒钟:主体可能在多天内表现出类似的行为,背景对象保持静态。由于功率和存储限制,采样频率较低,通常不快于每秒一帧,并且有时由于使用运动触发器而不规则。为了在这种情况下表现良好,模型必须对不规则的采样率具有鲁棒性。在本文中,我们提出了一种方法,利用时间上下文从一个新的相机的未标记的帧,以提高该相机的性能。具体来说,我们提出了一种基于注意力的方法,该方法允许我们的模型Context R-CNN索引到基于每个相机构建的长期记忆库中,并聚合来自其他帧的上下文特征,以提高当前帧的目标检测性能。我们将Context R-CNN应用于两种设置:(1)使用相机陷阱的物种检测,以及(2)交通摄像头中的车辆检测,在这两种设置中,Context R-CNN都可以在强基线上获得性能增益。此外,我们表明,增加上下文的时间范围导致改善的结果。当应用于来自快照塞伦盖蒂数据集的相机陷阱数据时,具有长达一个月图像上下文的上下文R-CNN的性能比单帧基线高出17.9% mAP,比S3 D(基于3D卷积的基线)高出11.2% mAP。
2020-04-22 cs.CV cs.LG eess.IV
Continuous U-Net: Faster, Greater and Noiseless
City University of Hong Kong(香港城市大学);University of Cambridge(剑桥大学)
图像分割是图像分析和临床实践中的一项基本任务。当前最先进的技术是基于具有跳跃连接的U形类型的编码器-解码器网络,称为U-Net。尽管现有的U-Net型网络报告了强大的性能,但它们受到几个主要限制。问题包括感受野大小的硬编码,损害性能和计算成本,以及它们没有考虑数据中的固有噪声的事实。它们有与离散层相关的问题,并且没有提供任何理论基础。在这项工作中,我们介绍了连续的U-网,一个新的家庭的网络图像分割。首先,连续U网是一个连续的深度神经网络,它引入了由二阶常微分方程建模的新的动态块。其次,我们为我们的网络提供了理论保证,表现出更快的收敛速度,更高的鲁棒性和对噪声的敏感性。第三,我们得到定性措施量身定制的分割任务。通过大量的数值和视觉结果,我们证明了我们的模型在几个医学图像分割基准数据集上优于现有的U-Net块。
2023-02-01 cs.CV eess.IV
TiledSoilingNet: Tile-level Soiling Detection on Automotive Surround-view Cameras Using Coverage Metric
Valeo India(法雷奥印度);Valeo R&D Prague(法雷奥布拉格研发中心);Valeo Visions Systems(法雷奥视觉系统);Valeo DAR Bobigny(法雷奥博比尼先进研发中心);Valeo DAR Kronach(法雷奥克罗纳赫先进研发中心)
汽车摄像头,特别是全景摄像头,往往会被泥、水、雪等弄脏。对于更高级别的自动驾驶,有必要拥有一个会触发自动清洁系统的弄脏检测算法。图像中污染的局部检测对于控制清洁系统是必要的。还需要在未污染区域中启用部分功能,同时降低污染区域中的置信度。虽然这可以解决使用语义分割任务,我们探索一个更有效的解决方案,针对部署在低功耗嵌入式系统。我们提出了一种新的方法来回归的面积内的每一种污垢类型的瓷砖直接。我们称之为覆盖。所提出的方法比学习瓷砖中的主导类更好,因为瓷砖内通常会出现多种污垢类型。它还具有处理粗糙多边形标注的优点,这将导致分割任务。建议的污染覆盖解码器是一个数量级的速度比一个等效的分割解码器。我们还集成到一个目标检测和语义分割多任务模型,使用异步反向传播算法。所使用的部分数据集将作为我们WoodScape数据集的一部分公开发布,以鼓励进一步的研究。
2020-07-01 cs.CV cs.RO
Network-Aware 5G Edge Computing for Object Detection: Augmenting Wearables to "See" More, Farther and Faster
Tandon School of Engineering, New York University(纽约大学坦登工程学院);NYU Langone Health(纽约大学朗格尼医疗中心);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院);Department of Electrical and Computer Engineering, Tandon School of Engineering, New York University(纽约大学坦登工程学院电气与计算机工程系);Department of Mechanical and Aerospace Engineering, Tandon School of Engineering, New York University(纽约大学坦登工程学院机械与航空航天工程系);Department of Biomedical Engineering, Tandon School of Engineering, New York University(纽约大学坦登工程学院生物医学工程系);Department of Ophthalmology, NYU Grossman School of Medicine(纽约大学格罗斯曼医学院眼科);Department of Neurology, NYU Langone Health(纽约大学朗格尼医疗中心神经科);Department of Rehabilitation Medicine, NYU Langone Health(纽约大学朗格尼医疗中心康复医学系);New York University(纽约大学)
先进的可穿戴设备越来越多地结合高分辨率多相机系统。由于用于处理结果图像数据的最先进的神经网络在计算上要求很高,因此人们越来越有兴趣利用第五代(5G)无线连接和移动边缘计算来将此处理卸载到云端。为了评估这种可能性,本文详细模拟和评估了5G无线卸载,用于盲人和视力受损者(BVI)的强大的新型智能可穿戴设备VIS4ION中的物体检测。目前的VIS4ION系统是一个装有高分辨率摄像头、视觉处理、触觉和音频反馈的仪器书包。本文考虑将相机数据上传到移动边缘云以执行实时对象检测并将检测结果传输回可穿戴设备。为了确定视频要求,本文评估了视频比特率和分辨率对目标检测精度和范围的影响。一个新的街道场景数据集与相关的BVI导航标记的对象被利用进行分析。视觉评估与详细的全栈无线网络仿真相结合,以确定吞吐量和延迟的分布,并在城市环境中使用新的高分辨率3D模型进行真实的导航路径和光线跟踪。为了进行比较,无线仿真考虑了标准4G长期演进(LTE)载波和高速率5G毫米波(mmWave)载波。因此,这项工作为具有高带宽和低延迟要求的应用中的mmWave连接的边缘计算提供了全面和现实的评估。
2022-04-15 cs.CV eess.IV eess.SP
Information hiding cameras: optical concealment of object information into ordinary images
University of California, Los Angeles(加州大学洛杉矶分校);California NanoSystems Institute (CNSI), University of California, Los Angeles(加州大学洛杉矶分校加州纳米系统研究所)
本文提出由衍射光学前端与联合训练的电子解码器构成的信息隐藏相机,可全光学将秘密图像变换为普通图案并准确重建,且支持多光谱与THz实验验证。
2024-01-15 cs.CV physics.app-ph physics.optics
CrossDTR: Cross-view and Depth-guided Transformers for 3D Object Detection
National Taiwan University(国立台湾大学);Mobile Drive Technology(移动驱动技术公司)
为了以低成本实现自动驾驶的精确3D目标检测,已经提出了许多多相机方法,并解决了单目方法的遮挡问题。然而,由于缺乏准确的估计深度,现有的多摄像机方法往往产生多个边界框沿射线的深度方向的困难的小物体,如行人,导致召回率极低。此外,直接将深度预测模块应用于现有的多相机方法,通常由大型网络架构组成,无法满足自动驾驶应用的实时要求。为了解决这些问题,我们提出了用于3D目标检测的交叉视图和深度引导的Transformers,CrossDTR。首先,我们的轻量级深度预测器旨在生成精确的对象稀疏深度图和低维深度嵌入,而无需在监督期间使用额外的深度数据集。其次,开发了一个跨视图深度引导的Transformer,融合深度嵌入以及来自不同视图的相机的图像特征,并生成3D包围盒。大量的实验表明,我们的方法在行人检测方面大大超过了现有的多摄像头方法10%,在总体mAP和NDS指标方面超过了约3%。此外,计算分析表明,我们的方法比以前的方法快5倍。我们的代码将在https://github.com/sty61010/CrossDTR上公开。
2023-02-03 cs.CV cs.RO
ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector
Georgia Institute of Technology(佐治亚理工学院);Intel Corporation(英特尔公司)
鉴于能够直接操纵数字输入空间中的图像像素,攻击者可以很容易地生成难以察觉的扰动来欺骗深度神经网络(DNN)图像分类器,如先前的工作所示。在这项工作中,我们提出了ShapeShifter,这是一种解决更具挑战性的问题的攻击,即制作物理对抗扰动来欺骗基于图像的对象检测器,如Faster R-CNN。攻击目标检测器比攻击图像分类器更困难,因为它需要在具有不同尺度的多个边界框中误导分类结果。将数字攻击扩展到物理世界增加了另一层难度,因为它需要扰动足够强大,以承受由于不同的观看距离和角度,照明条件和相机限制而导致的真实世界失真。我们表明,期望的变换技术,这是最初提出的,以提高对抗扰动的鲁棒性图像分类,可以成功地适应目标检测设置。ShapeShifter可以生成被Faster R-CNN错误检测为其他物体的逆向扰动停车标志,对自动驾驶汽车和其他安全关键型计算机视觉系统构成潜在威胁。
2019-05-01 cs.CR cs.CV cs.LG
Aerial Images Processing for Car Detection using Convolutional Neural Networks: Comparison between Faster R-CNN and YoloV3
Prince Sultan University(苏丹王子大学);Polytechnic Institute of Porto(波尔图理工学院);University of Carthage(迦太基大学)
在本文中,我们使用卷积神经网络(CNN)解决从航空图像中检测汽车的问题。与从地面图像检测汽车(或任何物体)相比,这个问题提出了额外的挑战,因为来自空中图像的车辆特征更难以辨别。为了研究这个问题,我们评估了两种最先进的CNN算法的性能,即最流行的基于区域的算法Faster R-CNN和最快的检测算法YOLOv 3。我们分析了两个具有不同特征的数据集,以检查各种因素的影响,如无人机的高度,相机分辨率和物体大小。总共进行了39个训练实验来解释不同超参数值的影响。这项工作的目的是进行最强大的和详尽的比较,这两个尖端的算法在特定领域的航空图像。通过使用各种指标,我们表明YOLOv 3在大多数配置中都会产生更好的性能,除了当测试数据集中的对象大小和尺度与训练数据集中的对象大小和尺度存在很大差异时,它会表现出较低的召回率和较低的置信度检测。
2021-12-22 cs.CV cs.LG cs.NE
Learn to See Faster: Pushing the Limits of High-Speed Camera with Deep Underexposed Image Denoising
Kobe University(神户大学)
以高采集速率记录高保真视频的能力是研究快速运动现象的核心。快速移动场景成像的困难在于运动模糊和曝光不足噪声之间的权衡:一方面,长曝光时间的记录会受到记录场景中移动引起的运动模糊效果的影响。另一方面,到达相机光电传感器的光量随着曝光时间而减少,使得短曝光记录遭受曝光不足噪声。在本文中,我们建议通过将高速成像的问题视为曝光不足的图像去噪问题来解决这种权衡。我们使用深度学习结合曝光不足图像去噪的最新进展,并使这些方法适应高速成像问题的特殊性。利用具有传感器特定噪声模型的大型外部数据集,我们的方法能够将高速相机的采集速率加快一个数量级,同时保持相似的图像质量。
2022-11-29 cs.CV eess.IV
Motorcycle detection and classification in urban Scenarios using a model based on Faster R-CNN
Politécnico Colombiano Jaime Isaza Cadavid(哥伦比亚海梅·伊萨萨·卡达维德理工学院);Cortexica Vision Systems Ltd.(Cortexica视觉系统有限公司);Queen Mary University of London(伦敦玛丽女王大学);Universidad Nacional de Colombia(哥伦比亚国立大学)
本文介绍了一种基于Faster-RCNN的深度学习卷积神经网络模型,用于城市环境中的摩托车检测和分类。该模型在闭塞的情况下,超过60%的车辆存在一定程度的闭塞进行评估。为了进行训练和评估,我们引入了一个新的7500张带注释的图像数据集,这些图像是使用无人机安装的摄像机在真实的交通场景下拍摄的。进行了几次测试来设计网络,即使在遮挡摩托车数量较多、捕获角度较低和摄像机移动的情况下,平均精度(AP)也达到了75%。该模型还在低遮挡数据集上进行了评估,在AP中达到了高达92%的结果。
2018-08-08 cs.CV
Camera Pose Estimation from Lines using Plücker Coordinates
3D线与由相机捕获的其2D图像之间的对应关系通常用于确定相机在空间中的位置和取向。在这项工作中,我们提出了一种新的代数算法来估计相机的姿态。我们使用Plücker坐标对3D线条进行参数化,该坐标允许线条线性投影到图像中。使用线性最小二乘法估计线投影矩阵,然后从矩阵中提取相机姿态。一个代数方法来处理不匹配的线对应也包括在内。所提出的算法是一个数量级更快,但不精确和鲁棒的国家的最先进的,它不需要初始化,它只产生一个解决方案。所描述的方法需要至少9条线,并且特别适合于具有25条或更多条线的场景,如结果中所示。
2016-08-09 cs.CV
Camera identification by grouping images from database, based on shared noise patterns
Netherlands Forensic Institute(荷兰法医研究所)
以往的研究表明,相机特定的噪声模式,所谓的PRNU模式,从图像中提取和相关的images.In本研究的重点是从数据库中的图像分组,基于共享的噪声模式作为相机的识别方法。使用本文中描述的方法,可以从大型图像数据库中链接使用同一相机创建的图像组。使用MATLAB编程,通过使用更快的噪声提取滤波器和改进以降低计算成本,从图像中提取相关图像噪声模式比常规方法快得多。相关噪声模式(具有高于某个阈值的相关性)可以被快速地匹配。因此,从图像数据库中,可以链接相关图像的组,并且该方法可以用于扫描大量图像以寻找可疑噪声模式。
2012-07-12 cs.CV
Ordinary Differential Equation and Complex Matrix Exponential for Multi-resolution Image Registration
University of Alberta(阿尔伯塔大学);Hospital Aleman(阿莱曼医院)
基于Autograde的软件包最近重新引起了对通过梯度下降和优化使用单应性和其它几何模型的图像配准的兴趣,例如,AirLab和DRMIME。在这项工作中,我们强调使用复矩阵指数(CME)在实矩阵指数计算变换矩阵。CME理论上更合适,并且实际上提供了更快的收敛速度,正如我们的实验所示。此外,我们证明了使用一个常微分方程(ODE)作为一个可优化的动力系统,可以更准确地适应变换矩阵的多分辨率高斯金字塔图像配准。我们的实验包括四个公开的基准数据集,其中两个是2D和其他两个是3D。实验表明,我们提出的方法产生显着更好的注册相比,一些现成的,流行的,国家的最先进的图像配准工具箱。
2020-07-27 cs.CV
Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation
EPFL(洛桑联邦理工学院);Facebook Reality Labs(Facebook现实实验室)
我们提出了一个轻量级的解决方案,从空间校准相机捕获的多视图图像中恢复3D姿态。在可解释的表示学习的最新进展的基础上,我们利用3D几何融合输入图像到一个统一的潜在表示的姿态,这是从相机的视点解开。这使我们能够在不同视图中有效地推理3D姿势,而无需使用计算密集型体积网格。然后,我们的架构将学习到的表示调整到相机投影算子上,以产生精确的逐视图2D检测,可以通过可微分直接线性变换(DLT)层简单地提升到3D。为了有效地做到这一点,我们提出了一种新的DLT实现,它在GPU架构上的速度比标准的基于SVD的三角测量方法快几个数量级。我们在两个大规模人体姿势数据集(H36M和Total Capture)上评估了我们的方法:我们的方法优于或优于最先进的体积方法,同时,与它们不同的是,产生实时性能。
2020-06-20 cs.CV
Edge detection of binary images using the method of masks
Ain Shams University(艾因夏姆斯大学)
本文将掩模法、反像掩模法的建立和使用以及图像数据的二值化运算应用于二值图像、单色图像的边缘检测中,其速度比普通方法快300倍左右。该方法分为三个阶段:模板构造,基本边缘检测,边缘构造与普通方法和模糊方法进行了比较。
2014-01-21 cs.CV
Faster than real-time detection of shot boundaries, sampling structure and dynamic keyframes in video
DIGITAL JOANNEUM RESEARCH(数字约安尼姆研究中心)
提出一种统一检测视频镜头边界、采样结构和动态关键帧的新算法,结合动态场与归一化互相关的帧间、帧内度量,实现比实时快四倍且对复杂内容稳健。
2025-02-13 cs.CV
Physics-Based Adversarial Attack on Near-Infrared Human Detector for Nighttime Surveillance Camera Systems
The University of Tokyo(东京大学);National Institute of Informatics(情报通信研究机构情报学研究所)
本文揭示了夜间监控中近红外图像理解的漏洞,利用反光和绝缘胶带在物理世界操纵NIR图像强度,对YOLO人体检测器实施隐蔽的被动攻击,突显了监控系统的可靠性隐患。
2024-12-18 cs.CV
An Epipolar Line from a Single Pixel
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
从具有非常不同的视点的相机之间的特征点计算对极几何通常容易出错,因为对象的外观在图像之间可能变化很大。对于这种情况,已经表明,使用从视频提取的运动可以实现比使用静态图像好得多的结果。本文在场景动态性的基础上扩展了这些早期的工作。在本文中,我们提出了一种新的方法来计算核几何从视频流,利用以下观察:对于图像A中的像素p,所有像素对应于图像B中的p是在同一核线。等价地,通过摄像机A的中心和p的直线的像是B中的核线。因此,当摄像机A和B同步时,在时刻t1和t2投影到摄像机A中的相同像素p的两个对象的瞬时图像位于摄像机B中的核线上。在此基础上实现了对极线的快速精确计算。基于我们的寻找核线的方法校准相机比以前的方法更快,更强大。
2018-12-15 cs.CV
Self-Supervised Learning of Depth and Camera Motion from 360° Videos
National Tsing Hua University(国立清华大学)
随着360°相机在许多自主系统中变得普遍(例如,自动驾驶汽车和无人机),高效的360°感知变得越来越重要。我们提出了一种新的自监督学习方法,用于从360°视频中预测全向深度和摄像机运动。特别是,从SfMLEarner开始,它是为普通视场的相机设计的,我们引入了三个关键特性来有效地处理360°图像。首先,我们将每一幅图像从等矩形投影转换为立方体投影,以避免图像失真。在每个网络层中,我们使用立方体填充(CP),它填充相邻面的中间特征,以避免图像边界。其次,我们提出了一种新的“球面”的光度一致性约束的整个观察领域。以这种方式,没有像素将被投影到图像边界之外,这通常发生在具有正常视场的图像中。最后,不是天真地估计六个独立的相机运动(即,天真地将SfM-Learner应用于立方体上的每个面),我们提出了一种新的相机姿态一致性损失,以确保估计的相机运动达到共识。为了训练和评估我们的方法,我们收集了一个新的PanoSUNC数据集,其中包含大量具有地面实况深度和相机运动的360°视频。我们的方法在PanoSUCG上实现了最先进的深度预测和相机运动估计,与equirectangular相比,推理速度更快。在现实世界的室内视频中,我们的方法也可以通过获取PanoSUCG上预训练的模型来实现定性合理的深度预测。
2018-11-13 cs.CV
DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks
ETH Zurich(苏黎世联邦理工学院)
尽管内置智能手机相机的质量迅速提高,但它们的物理限制-传感器尺寸小,镜头紧凑和缺乏特定硬件-阻碍了它们实现DSLR相机的质量结果。在这项工作中,我们提出了一种端到端的深度学习方法,通过将普通照片转换为单反质量的图像来弥合这一差距。我们建议使用残差卷积神经网络来学习平移函数,从而提高色彩再现和图像清晰度。由于标准的均方损失是不太适合测量感知图像质量,我们引入了一个复合感知误差函数,结合内容,颜色和纹理损失。前两个损失是解析定义的,而纹理损失是以对抗的方式学习的。我们还介绍了DPED,这是一个大规模的数据集,包括从三个不同的手机和一个高端反光相机拍摄的真实照片。我们的定量和定性评估表明,增强的图像质量与数码单反相机拍摄的照片相当,而该方法适用于任何类型的数码相机。
2017-09-05 cs.CV
Correcting Camera Shake by Incremental Sparse Approximation
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
在模糊核未知的情况下,图像去模糊的问题经过几十年的研究仍然具有挑战性。最近,在校正由相机抖动引起的不规则模糊图案方面已经取得了快速进展,但是仍然存在很大的改进空间。本文提出了一种新的基于增量稀疏边缘近似的盲解卷积方法来恢复由相机抖动引起的图像模糊。我们首先仅从图像中最强的边缘估计模糊核,然后通过允许越来越弱的边缘来逐渐细化此估计。我们的方法与最先进的基准去模糊性能竞争,同时显着更快,更容易推广。
2013-02-07 cs.CV cs.GR
Removing Camera Shake via Weighted Fourier Burst Accumulation
Duke University(杜克大学)
许多最近的方法试图通过显式地解决逆和固有不适定的反卷积问题来去除由于相机抖动而导致的图像模糊,无论是使用一个或多个输入图像。如果摄影师拍摄了一系列图像,这是几乎所有现代数码相机都可以使用的一种方式,我们证明了将它们结合起来以获得清晰的清晰版本是可能的。这是在没有明确解决任何模糊估计和随后的逆问题的情况下完成的。所提出的算法非常简单:它在傅立叶域中执行加权平均,权重取决于傅立叶频谱幅度。该方法可以被看作是一个概括的对齐和平均过程,加权平均,由握手生理学的动机和理论支持,发生在傅立叶域。该方法的基本原理是相机抖动具有随机性质,因此突发中的每个图像通常被不同地模糊。真实相机数据的实验和广泛的比较表明,所提出的傅立叶突发累积(FBA)算法实现了最先进的结果,速度快了一个数量级,在相机手机上实现简单。最后,我们还提出了在真正的高动态范围(HDR)场景中的实验,展示了该方法如何可以直接扩展到HDR摄影。
2015-12-04 cs.CV
A Scene is Worth a Thousand Features: Feed-Forward Camera Localization from a Collection of Image Features
Niantic Spatial;University of Oxford(牛津大学)
本文提出FastForward方法,通过前馈传递实现快速相机定位,利用3D空间锚定的特征集合进行图像与场景对应预测,实现高精度定位且减少地图准备时间。
2026-04-07 cs.CV
Structured light with a million light planes per second
Dartmouth College(达特茅斯学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种结合定制声光扫描器件与事件相机的结构光系统,通过将速度瓶颈从光照侧转移到成像侧并引入自适应扫描策略,实现1000帧/秒全帧三维扫描及超理论极限的有效扫描速度。
2025-07-06 cs.CV
Stereo World Model: Camera-Guided Stereo Video Generation
The University of Hong Kong(香港大学);VAST;ByteDance Pico(字节跳动Pico)
本文提出StereoWorld,一种基于摄像头的立体世界模型,通过联合学习外观和双眼几何实现端到端的立体视频生成。该模型在RGB模态中操作,直接从视差中获取几何信息,通过统一的相机帧RoPE和立体感知注意力分解提升生成效率和一致性。
2026-03-18 cs.CV
Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering
University of Cambridge(剑桥大学)
本文提出SRENDER方法,通过稀疏扩散和3D渲染生成静态场景的高效视频,使视频生成速度提升40倍,保持高质量和稳定性。
2026-01-14 cs.CV
CADP: A Novel Dataset for CCTV Traffic Camera based Accident Analysis
Carnegie Mellon University(卡内基梅隆大学);University of Tokyo(东京大学)
本文提出了一种新的数据集的交通事故分析。我们的目标是解决缺乏公共数据的研究自动时空标注的道路交通安全。通过对拟议数据集的分析,我们观察到由于场景的对象大小和复杂性,数据集中行人类别的目标检测显着下降。为此,我们建议使用上下文挖掘(CM)和增强上下文挖掘(ACM)将上下文信息集成到传统的Faster R-CNN中,以补充小型行人检测的准确性。我们的实验表明,在目标检测的准确性相当大的改善:+8.51%的CM和+6.20%的ACM。最后,我们使用Faster R-CNN和Accident LSTM架构在我们的数据集中展示了事故预测的性能。我们在事故发生时间方面达到了平均1.684秒,平均精度为47.25%。我们的网页是https://goo.gl/cqK2wE
2018-11-16 cs.CV cs.MM
Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera
Computational Media Innovation Centre, Victoria University of Wellington(惠灵顿维多利亚大学计算媒体创新中心);School of Engineering and Computer Science, Victoria University of Wellington(惠灵顿维多利亚大学工程与计算机科学学院)
六自由度(6-DoF)视频通过使用户能够在捕获的场景中以广泛的视野移动来提供远程呈现。与需要复杂相机设置的方法相比,基于摄影测量的基于图像的渲染方法可以处理以任何姿势捕获的图像,这更适合于普通用户。然而,现有的基于图像的渲染方法是基于透视图像的。当用于重建6-DoF视图时,它通常需要捕获数百张图像,这使得数据捕获成为一个繁琐且耗时的过程。与传统的透视图像相比,360°图像在Single Shot中捕获整个周围视图,从而为6-DoF视图重建提供更快的捕获过程。本文提出了一种新的方法来提供6自由度的经验,在一个广泛的区域使用非结构化的收集360°全景由传统的360°相机捕获。我们的方法包括360°数据采集,新颖的深度估计,以产生一个高质量的球形深度全景,和高保真的自由视点生成。我们使用在各种环境中捕获的数据,将我们的方法与最先进的方法进行了比较。我们的方法在测试场景中表现出更好的视觉质量和鲁棒性。
2022-03-31 cs.CV
Hand-held Video Deblurring via Efficient Fourier Aggregation
Duke University(杜克大学)
用手持相机拍摄的视频通常会出现大量的模糊,这主要是由摄影师的手不可避免的自然震颤造成的。在这项工作中,我们提出了一种算法,消除模糊,由于相机抖动相结合的信息在傅立叶域从附近的帧在视频中。典型视频的动态特性以及多个移动对象和遮挡的存在使得相机抖动去除的问题极具挑战性,特别是当需要低复杂度时。给定输入视频帧,我们首先创建时间相邻帧的一致注册版本。然后,在傅立叶域中利用取决于傅立叶频谱幅度的权重对一致配准的帧的集合进行逐块融合。该方法的动机来自生理事实,即相机抖动模糊具有随机性质,因此,附近的视频帧通常被不同地模糊。在野外录制的大量视频的实验以及广泛的比较表明,该算法实现了最先进的结果,同时比竞争对手快得多。
2015-12-04 cs.CV
Towards On-Device Face Recognition in Body-worn Cameras
Wichita State University(威奇托州立大学)
与识别身份相关的人脸识别技术广泛应用于情报收集、执法、监视和消费者应用中。最近,这项技术已被移植到智能手机和身体佩戴式相机(BWC)。佩戴式摄像头中的人脸识别技术用于监视、态势感知和保护警官的安全。只有少数学术研究存在于使用身体佩戴相机的面部识别中。最近的一项研究已经收集了使用随身佩戴的相机获取的BWCFace面部图像数据集,并评估了用于面部识别的ResNet-50模型。然而,对于资源受限的体戴式相机中的实时推断和涉及面部图像的隐私问题,需要设备上的面部识别。为此,本研究评估了轻量级MobileNet-V2,EfficientNet-B 0,LightCNN-9和LightCNN-29模型,用于使用佩戴式摄像头进行人脸识别。实验是在公开的BWCface数据集上进行的。在三个移动设备上评估实时推理。比较分析是使用重型VGG-16和ResNet-50模型以及六个手工制作的功能来评估性能和模型大小之间的权衡。实验结果表明,轻量级LightCNN-29与性能最佳的ResNet-50的最大秩1准确度的差异是\textbf{1.85\%},模型参数的减少是\textbf{23.49M}。大多数深度模型在秩-5和秩-10处获得类似的性能。LightCNN的推理时间比移动设备上的其他模型快2.1倍。注意到LightCNN-29和局部相位量化(LPQ)描述符之间的\textbf{14\%}的最小性能…
2021-04-07 cs.CV
MoBGS: Motion Deblurring Dynamic 3D Gaussian Splatting for Blurry Monocular Video
MoBGS通过模糊适应性潜在相机估计和曝光估计方法,实现对模糊单目视频中动态场景的高效去模糊和高质量时空视图重建。
2025-12-03 cs.CV
Priors are Powerful: Improving a Transformer for Multi-camera 3D Detection with 2D Priors
Argo AI(Argo AI公司);Apple(苹果公司);Nvidia(英伟达)
基于transfomer的方法在学术界和工业界都推进了多相机3D检测的最新发展。在普通的Transformer架构中,查询是随机初始化的,并针对整个数据集进行优化,而不考虑输入帧之间的差异。在这项工作中,我们建议利用预测的图像骨干,这往往是高度优化的2D任务,作为先验的Transformer部分的3D检测网络。该方法通过(1)工作。用2D先验扩充图像特征图,(2).通过沿着2D盒质心的光线投射对查询位置进行采样,以及(3)。用对象级图像特征初始化查询特征。实验结果表明,2D先验不仅有助于模型更快地收敛,而且在平均精度方面大大提高了基线方法高达12%。
2023-01-31 cs.CV cs.RO
Driver Attention Tracking and Analysis
VinAI Research(VinAI研究院);Vietnam Posts & Telecommunications Inst. of Tech.(越南邮电技术研究院);The University of Adelaide(阿德莱德大学)
针对驾驶场景下驾驶员注视点估计的难题,提出一种带摄像头校准模块的卷积网络,同时构建大规模真实驾驶注视数据集,实验证明该方法优于多种基线,预测误差较小。
2024-04-11 cs.CV
Filter-Enhanced Smartphone Hyperspectral Imaging
JMU(杰克逊穆迪大学);CRSI(俄罗斯科学院信息与控制系统研究所);MIRIAI(莫斯科信息与人工智能研究院);AXXX(未知机构)
本文提出了一种利用多摄像头系统进行超光谱重建的新框架,通过引入Doomer数据集和轻量级对齐模块,提升了重建精度,使光谱估计准确率提高30%,并进一步提升SotA方法的重建质量5%。
2026-11-11 cs.CV
AnyCam: Learning to Recover Camera Poses and Intrinsics from Casual Videos
Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学)
AnyCam提出一种前馈Transformer模型,从动态视频中直接估计相机姿态与内参,利用不确定性损失和预训练深度/光流网络,无需标注,速度快且能生成高质量4D点云。
2025-03-30 cs.CV
Facial Depth and Normal Estimation using Single Dual-Pixel Camera
KAIST(韩国科学技术院);GIST(光州科学技术院);DGIST(大邱庆北科学技术院);Meta Reality Labs(元宇宙现实实验室)
许多移动制造商最近在其旗舰机型中采用了双像素(DP)传感器,以实现更快的自动对焦和美学图像捕捉。尽管它们具有优势,但由于缺乏利用DP图像中视差的数据集和算法设计,因此对其用于3D面部理解的研究受到限制。这是因为子孔径图像的基线非常窄,并且在散焦模糊区域中存在视差。在本文中,我们介绍了一个面向DP的深度/法线网络,重建3D面部几何。为此,我们收集了DP面部数据,其中包含使用我们的多相机结构光系统捕获的101人的超过135 K图像。它包含相应的地面实况3D模型,包括深度图和公制尺度的表面法线。我们的数据集允许将所提出的匹配网络推广用于3D面部深度/法线估计。该网络由两个新的模块组成:自适应采样模块和自适应正常模块,专门处理DP图像中的散焦模糊。最后,所提出的方法实现了最先进的性能在最近的DP为基础的深度/法线估计方法。我们还证明了估计的深度/法线的适用性,面对欺骗和重新照明。
2022-07-19 cs.CV
Proxy2World: Learning to Generate Worlds From Lightweight Proxies without Seeing Them
Tencent(腾讯)
Proxy2World提出一种从普通RGBD视频学习生成世界的可控模型,无需配对代理数据,通过跨模态流匹配联合训练深度条件RGB生成与RGBD生成,实现代理-相机混合去噪,在ProxyBench上平衡结构遵循与视觉质量。
2026-09-29 cs.CV
CamLoc: Pedestrian Location Detection from Pose Estimation on Resource-constrained Smart-cameras
University Politehnica of Bucharest(布加勒斯特理工大学);The University of Edinburgh(爱丁堡大学)
节能硬件技术的最新进展正在推动我们在物联网(IoT)领域的指数增长,在数据生成源附近执行更普遍的计算。一系列执行本地检测的智能设备和应用正在出现(活动识别、健身监测等)。从而带来明显的优点,例如减少检测等待时间以改善与设备的交互,以及通过不离开设备来保护用户数据。视频处理对于物联网领域的许多新兴应用和数据标签具有实用性。然而,在互联网的边缘用深度神经网络执行这种视频处理并不简单。在本文中,我们表明,使用深度神经网络的行人位置估计是在有限的计算资源的固定摄像机上实现的。我们的方法使用姿势估计的关键身体点检测扩展行人骨架时,整个身体不在图像中(被障碍物遮挡或部分帧外),这实现了更好的位置估计性能(infrence时间和内存足迹)相比,拟合一个限界框在行人和缩放。我们收集了一个相当大的数据集,包括来自一个和两个监控摄像头从不同角度指向场景的视频中的2100多帧,并在42个不同的活动和遮挡场景中,用图像中人的确切位置注释每个帧。我们将我们基于姿态估计的位置检测与流行的检测算法YOLOv2进行比较,用于重叠边界框生成,我们的解决方案在嵌入式设备的资源能力范围内以一半的内存占用实现了更快的推理时间(15倍加速),这表明CamLoc是智能相机视频中位置估计的有效解决方案。
2018-12-28 cs.CV
CoMoGaussian: Continuous Motion-Aware Gaussian Splatting from Motion-Blurred Images
Yonsei University(延世大学);NAVER Cloud(NAVER云)
CoMoGaussian通过连续运动感知的高斯点云生成方法,实现从运动模糊图像中精确重建3D场景,提升实时渲染效率与重建精度。
2025-07-14 cs.CV
Data-efficient Event Camera Pre-training via Disentangled Masked Modeling
Southeast University(东南大学);Alibaba Group(阿里巴巴集团);Beijing University of Technology(北京工业大学);Nanjing University(南京大学)
提出一种面向事件相机的解耦掩码建模自监督预训练方法,通过语义均匀掩码及局部、全局双分支重建,在不依赖配对RGB图像的情况下提升数据效率、泛化性能并降低计算成本。
2024-03-01 cs.CV
RealCam: Real-Time Novel-View Video Generation with Interactive Camera Control
Zhejiang University(浙江大学);Xmax.AI Ltd.(Xmax.AI有限公司);Hong Kong University of Science and Technology(香港科技大学)
RealCam提出一种自回归框架,实现交互式实时相机控制的视频到视频生成,通过交叉帧上下文学习和循环闭合数据增强提升生成质量与效率。
2026-05-07 cs.CV
ARPD: Anchor-free Rotation-aware People Detection using Topview Fisheye Camera
Hanoi University of Science and Technology(河内科技大学);Viettel High Technology Industries Corporation(Viettel高科技工业公司);FPT University(FPT大学)
俯视鱼眼图像中的人物检测具有挑战性,因为鱼眼图像中的人物通常出现在任意方向并且失真不同。由于这种独特的径向几何形状,轴对齐的人检测器通常在鱼眼帧上工作得很差。最近的作品占这种变化,通过修改现有的锚为基础的检测器或依赖于复杂的前/后处理。基于锚点的方法在输入图像上散布一组预定义的边界框,其中大多数是无效的。除了效率低下之外,这种方法还可能导致正负锚框之间的显著不平衡。在这项工作中,我们提出了ARPD,这是一种单级无锚完全卷积网络,用于检测鱼眼图像中任意旋转的人。我们的网络使用关键点估计来找到每个对象的中心点,并直接回归对象的其他属性。为了在鱼眼相机中捕捉人的各种方向,除了中心和大小之外,ARPD还预测每个限界框的角度。我们还提出了一个周期性的损失函数,占角度周期性和减轻学习小角度振荡的困难。实验结果表明,我们的方法与最先进的算法竞争,同时运行速度显着更快。
2022-01-25 cs.CV
Improved Fourier Mellin Invariant for Robust Rotation Estimation with Omni-cameras
ShanghaiTech University(上海科技大学)
光谱方法,如改进的傅里叶梅林不变(iFMI)变换已被证明是更快,更强大的和准确的图像配准比基于特征的方法。然而,iFMI仅限于工作时,相机在2D空间中移动,并没有应用于全方位相机的图像到目前为止。在这项工作中,我们扩展了iFMI方法,并应用运动模型来估计全方位摄像机在3D空间中移动时的姿态。这在现场机器人应用中特别有用,可以快速全面地查看非结构化环境,并可靠地估计机器人姿态。在实验部分,我们比较了扩展的iFMI方法对ORB和AKAZE特征为基础的方法在三个数据集显示不同类型的环境:办公室,草坪和城市风景(MPI-omni数据集)。结果表明,我们的方法提高了机器人姿态估计的准确性两到四倍的特征配准技术,同时提供更低的处理时间。此外,iFMI方法对移动机器人中通常存在的运动模糊具有最佳性能。
2019-10-14 cs.CV cs.RO