Modelling the Scene Dependent Imaging in Cameras with a Deep Neural Network
Yonsei University(延世大学)
我们提出了一种新的深度学习框架,该框架对相机内部的场景相关图像处理进行建模。从处理过的图像(sRGB颜色空间中的JPEG格式)恢复RAW图像的过程通常称为辐射校准,对于许多依赖物理精确辐射值的计算机视觉任务至关重要。所有以前的作品都依赖于确定性成像模型,其中无论场景如何,颜色变换都保持不变,因此它们只能应用于手动模式下拍摄的图像。在本文中,我们提出了一个数据驱动的方法来学习场景依赖和局部变化的图像处理在自动模式下的相机内部。我们的方法通过可学习直方图层的多尺度金字塔将全局和局部场景上下文结合到像素特征中。结果表明,我们可以在两个方向上(从RAW到sRGB,从sRGB到RAW)准确地对自动模式下操作的不同相机的成像管道进行建模,并且我们展示了如何应用我们的方法来提高图像去模糊的性能。
2017-07-26 cs.CV
Blur2seq: Blind Deblurring and Camera Trajectory Estimation from a Single Camera Motion-blurred Image
提出一种从单张模糊图像联合估计清晰图像与相机运动轨迹的深度学习框架,利用可微模糊模块和端到端训练,在严重或空间变化模糊下达到最先进性能。
2025-10-23 cs.CV cs.LG
Del-Net: A Single-Stage Network for Mobile Camera ISP
Samsung R&D Institute - Bangalore(三星班加罗尔研发中心)
由智能手机捕获的图像的质量是重要的规范,因为智能手机作为主要捕获设备正变得无处不在。智能手机相机中的传统图像信号处理(ISP)流水线由顺序执行的若干图像处理步骤组成,以从原始传感器数据重建高质量sRGB图像。这些步骤包括去马赛克,去噪,白平衡,伽马校正,色彩增强等,因为它们中的每一个都是使用手工制作的算法顺序执行,从每个处理模块的残留误差积累在最终的重建信号。因此,传统的ISP流水线在捕获图像时跨不同照明条件和相关联的噪声水平的可概括性方面具有有限的重建质量。使用卷积神经网络(CNN)的深度学习方法在解决许多与图像相关的任务中变得流行,例如图像去噪、对比度增强、超分辨率、去模糊等。此外,最近还发布了使用深度学习方法进行RAW到sRGB转换的方法,然而,它们在内存需求和Mult-Add数量方面的巨大复杂性使其不适合移动相机ISP。在本文中,我们提出了DelNet -一个单一的端到端深度学习模型-在智能手机部署的合理复杂性内学习整个ISP管道。Del-Net是一种多尺度架构,它使用空间和通道注意力来捕获颜色等全局特征,以及一系列轻量级修改的剩余注意力块来帮助去噪。为了验证,我们提供的结果表明,提出的Del-Net实现了令人信服的重建质量。
2021-08-03 cs.CV eess.IV
Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network
Nanyang Technological University(南洋理工大学)
最近开发的显示器下摄像头(UDC)系统在智能手机(以及电视、笔记本电脑、平板电脑)上提供了真正的无边框和无缺口的观看体验,同时允许从嵌入在下方的自拍摄像头捕获图像。在典型的UDC系统中,半透明有机发光二极管(OLED)像素阵列的微结构会衰减和衍射相机上的入射光,导致图像质量显著下降。通常,在UDC图像中可以观察到噪声、眩光、雾度和模糊。在这项工作中,我们的目标是分析和解决上述退化问题。我们定义了一个基于物理的图像形成模型,以更好地理解退化。此外,我们利用世界上第一个商品UDC智能手机原型之一来测量UDC系统的真实世界点扩散函数(PSF),并提供基于模型的数据合成管道来生成逼真的退化图像。我们专门设计了一个新的领域知识使能的动态跳过连接网络(DISCNet)来恢复UDC图像。我们证明了我们的方法的有效性,通过大量的实验合成和真实的UDC数据。我们基于物理的图像形成模型和建议的DISCNet可以提供基础,进一步探索在UDC图像复原,甚至一般的衍射伪影去除在更广泛的意义上。
2021-04-19 cs.CV eess.IV
Hybrid Training of Denoising Networks to Improve the Texture Acutance of Digital Cameras
Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
提出混合训练图像恢复网络的方法,结合自然与合成图像,提升纹理锐度度量且不损害保真度,并在RGB去噪与RAW全流程中验证可行性。
2024-02-20 cs.AI cs.CV eess.IV
RBSRICNN: Raw Burst Super-Resolution through Iterative Convolutional Neural Network
University of Udine(乌迪内大学)
现代数码相机和智能手机主要依靠图像信号处理(ISP)管道来生成逼真的彩色RGB图像。然而,与DSLR相机相比,由于其物理限制,在许多具有紧凑相机传感器的便携式移动设备中通常获得低质量的图像。低质量图像具有多个劣化,即,由于摄像机运动导致的子像素偏移、由于摄像机滤色器阵列导致的镶嵌图案、由于较小的摄像机传感器导致的低分辨率,以及其余信息被噪声破坏。这种退化限制了当前单图像超分辨率(SISR)方法从单个低分辨率(LR)图像恢复高分辨率(HR)图像细节的性能。在这项工作中,我们提出了一个原始突发超分辨率迭代卷积神经网络(RBSRICNN),它通过一个前向(物理)模型来跟踪整个突发摄影管道。与现有的黑盒数据驱动方法相比,所提出的Burst SR方案通过经典图像正则化、凸优化和深度学习技术解决了这个问题。建议的网络产生的最终输出的迭代细化的中间SR估计。我们证明了我们所提出的方法的有效性,在定量和定性实验中,鲁棒地推广到真正的LR突发输入,只有合成突发数据可用于训练。
2021-11-10 cs.CV cs.LG eess.IV
On-line non-overlapping camera calibration net
我们提出了一种简单易用的非重叠摄像机标定方法。首先,连续的图像被馈送到基于PoseNet的网络,以获得帧之间相机的自我运动。接下来,估计相机之间的姿态。而不是使用一个批处理的方法,我们提出了一个在线的方法,相机间的姿态估计。此外,我们在计算图上实现了整个过程。仿真实验和KITTI数据集的实验表明,该方法是有效的仿真。
2020-02-19 cs.CV
Exploiting Global Camera Network Constraints for Unsupervised Video Person Re-identification
Hunan University(湖南大学);National Engineering Laboratory for Robot Visual Perception and Control Technology(机器人视觉感知与控制技术国家工程实验室);University of California, Riverside(加州大学河滨分校)
由于跨摄像机对样本进行注释非常耗时,最近提出了许多无监督的方法来解决基于视频的重新识别问题。然而,这些方法忽略了整个摄像机网络中的高阶关系,从而在组合来自不同摄像机对的匹配结果时导致矛盾的输出。在本文中,我们解决的问题,无监督的视频为基础的重新识别,提出了一个一致的跨视图匹配(CCM)框架,其中利用全局摄像机网络的约束,以保证匹配对是一致的。具体来说,我们首先提出利用每个样本的第一邻居发现样本之间的关系,并找到每个相机中的组。此外,提出了一种全局摄像机网络约束的跨视图匹配策略,以探索整个摄像机网络的匹配关系。最后,我们学习度量模型相机对逐步交替挖掘一致的跨视图匹配对和更新度量模型,使用这些获得的匹配。在两个广泛使用的视频重识别基准上的严格实验表明,该方法优于当前最先进的无监督方法;例如,在MARS数据集上,我们的方法比无监督方法提高了4.2%,甚至比基于一次性监督的方法提高了2.5%。
2020-12-12 cs.CV
Distributed Data Association in Smart Camera Networks via Dual Decomposition
Beijing University of Aeronautics and Astronautics(北京航空航天大学)
使用智能相机网络进行视觉监控的基本要求之一是正确关联不同相机上生成的每个人的观察结果。近年来,分布式数据关联由于其在大规模应用中的优越性而引起了广泛的研究兴趣。分布式数据关联只涉及每个摄像机节点上的局部信息处理和相邻摄像机之间的互信息交换。本文通过引入一组连接变量,将智能摄像机网络中的数据关联问题转化为一个并行规划问题,并利用对偶分解技术,提出了两种求解并行规划问题的分布式算法:L-DD和Q-DD.在我们的算法中,原来的IP问题被分解成几个子问题,这些子问题可以在每个智能相机上局部有效地求解,然后不同的子问题通过基于投影次梯度优化的参数调整,以严格的方式达成共识。所提出的方法是简单和灵活的,因为(i)我们可以将任何特征提取和匹配技术到我们的框架来衡量两个观察之间的相似性,这是用来定义每个链接的成本,和(ii)我们可以分解原始问题以任何方式,只要得到的子问题可以独立地解决对个别相机。我们展示了我们的方法在准确性和速度的竞争力,通过理论分析和实验比较,在我们的校园花园和办公楼的摄像头网络收集的两个真实数据集的最先进的算法。
2015-01-20 cs.CV
Learning to Deblur and Generate High Frame Rate Video with an Event Camera
Peking University(北京大学)
事件相机是生物启发的相机,可以以高时间分辨率异步测量强度的变化。事件摄像机的优势之一是,它们在记录高速场景时不会受到运动模糊的影响。在本文中,我们制定了传统的摄像机的去模糊任务的事件是一个残留的学习,我们提出了相应的网络架构,有效的学习去模糊和高帧速率视频生成任务。我们首先训练一个修改后的U-Net网络,使用相应的事件从模糊图像恢复清晰图像。然后我们用不同的下采样块训练另一个类似的网络,以使用恢复的清晰图像和事件生成高帧速率视频。实验结果表明,我们的方法可以恢复清晰的图像和视频比国家的最先进的方法。
2020-03-20 cs.CV
Du$^2$Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels
Google Research(谷歌研究院)
计算立体已经达到了很高的精度水平,但在存在遮挡、重复纹理和沿边缘的对应错误的情况下会降低。我们提出了一种基于神经网络的深度估计新方法,该方法将来自双摄像头的立体声与来自双像素传感器的立体声相结合,这在消费者相机上越来越常见。我们的网络使用了一种新的架构来融合这两个信息源,可以克服纯双目立体匹配的上述局限性。我们的方法提供了一个密集的深度图与尖锐的边缘,这是至关重要的计算摄影应用程序,如合成浅景深或3D照片。此外,我们避免了固有的模糊性,由于立体相机的孔径问题,通过设计的立体基线是正交的双像素基线。我们目前的实验和比较与国家的最先进的方法表明,我们的方法提供了一个实质性的改进,比以前的作品。
2020-03-31 cs.CV
LiDAR ICPS-net: Indoor Camera Positioning based-on Generative Adversarial Network for RGB to Point-Cloud Translation
Iran Broadcasting University (IRIBU)(伊朗广播大学(IRIBU));Alpha Reality
室内定位旨在在没有GPS数据可用性的区域内导航,并且可以用于许多应用,例如增强现实、特别是封闭区域和隧道内的自动驾驶。在本文中,提出了一种基于深度神经网络的架构来解决这个问题。在这方面,卷积神经网络的串联集合以及Pix 2 Pix GAN网络已经被利用来分别作为场景分类器、场景RGB图像到点云转换器和位置回归器来执行。所提出的架构优于以前的作品,包括我们最近的工作,在这个意义上,它使数据生成任务更容易和更强大的场景小的变化,而定位的准确性是非常好的,笛卡尔位置和四元数信息的相机。
2019-11-14 cs.CV
ICPS-net: An End-to-End RGB-based Indoor Camera Positioning System using deep convolutional neural networks
Faculty of Media Technology and Engineering, Iran Broadcasting University(伊朗广播大学媒体技术与工程学院);Alpha Reality, AR/VR Solution Company(Alpha Reality AR/VR解决方案公司)
在没有GPS数据可用性的区域内进行室内定位和导航是一个具有挑战性的问题。有一些应用,如增强现实,自动驾驶,隧道内无人机的导航,其中室内定位变得至关重要。在本文中,基于深度网络的系统的串联架构,首次据我们所知,是为了解决这个问题。该结构在通过使用摄影测量扫描所需区域段获得的场景图像上进行训练。基于EfficientNet的CNN结构被训练为场景的分类器,随后是被训练为作为回归器执行的MobileNet CNN结构。所提出的系统实现了令人惊讶的笛卡尔位置和四元数的相机信息的精度。
2019-10-14 cs.CV
RbFT-Net: Rectify-Before-Fuse Temporal Radar Anchors for 4D Radar-Camera Depth Completion
本文提出RbFT-Net框架,通过图像条件校正模块校正雷达锚点并选择性传播,解决雷达测量的稀疏与干扰问题,在相关数据集上的深度补全性能优于对比方法。
2026-08-14 cs.CV
RADNet: A Deep Neural Network Model for Robust Perception in Moving Autonomous Systems
Georgia Institute of Technology(佐治亚理工学院)
交互式自主应用要求感知引擎对无约束视频中的伪影具有鲁棒性。在本文中,我们研究的作用,相机运动的任务上的动作检测。我们开发了一种新的排名方法来排名视频的基础上的程度的全球相机运动。对于高排名的摄像头视频,我们表明,动作检测的准确性下降。我们提出了一个动作检测流水线,是鲁棒的相机运动效果,并验证它的经验。具体来说,我们跨帧进行演员特征对齐,并将全局场景特征与局部演员特定特征相结合。我们使用一种新的时空采样网络(STSN)公式进行特征对齐,但使用金字塔结构进行多尺度偏移预测和细化。我们还提出了一种新的输入相关的加权平均策略融合局部和全局特征。我们展示了我们的网络在具有高相机运动的移动相机视频数据集(MOVE数据集)上的适用性,其中帧mAP增加了4.1%,视频mAP增加了17%。
2022-04-30 cs.CV
A Deep Single Image Rectification Approach for Pan-Tilt-Zoom Cameras
School of Computer Science, Hubei University of Technology(湖北工业大学计算机学院);Hubei Key Laboratory of Green Intelligent Computing Power Network(湖北绿色智能算力网络重点实验室);School of Surveying and Mapping, Wuhan University(武汉大学测绘学院);Wuhan Tianjihang Information Technology Co., Ltd.(武汉天起航信息技术有限公司)
本文提出FDBW-Net,通过前向畸变模型、金字塔上下文编码器和多尺度解码器实现广角PTZ相机图像的高精度校正,在多个数据集上达到SOTA性能。
2025-04-09 cs.CV
A Simple and Effective Point-based Network for Event Camera 6-DOFs Pose Relocalization
本文提出点基网络PEPNet,直接以事件点云为输入,结合层次化结构和A-Bi-LSTM提取时空特征,以极低计算资源在室内外数据集上实现事件相机六自由度位姿重定位的SOTA性能。
2024-03-28 cs.CV
IDCNet: Guided Video Diffusion for Metric-Consistent RGBD Scene Generation with Precise Camera Control
提出IDC-Net框架,在统一几何感知扩散模型中联合生成RGB图像与深度图,实现精确相机控制下的度量一致RGBD场景生成,构建相机-图像-深度一致数据集并引入几何感知Transformer块,提升视觉质量与几何一致性,可直接用于3D场景重建。
2025-08-06 cs.CV
Event-based High Dynamic Range Image and Very High Frame Rate Video Generation using Conditional Generative Adversarial Networks
Gwangju Institute of Science and Technology (GIST)(光州科学技术院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
与传统摄像机相比,事件摄像机具有许多优势,例如低延迟,高时间分辨率和高动态范围。然而,由于事件相机的输出是异步事件随时间的序列,而不是实际的强度图像,现有的算法不能直接应用。因此,要求从事件生成强度图像以用于其他任务。在本文中,我们释放了基于事件相机的条件生成对抗网络的潜力,以从事件数据流的可调整部分创建图像/视频。事件的时空坐标的堆栈被用作输入,并且网络被训练以基于时空强度变化来再现图像。事件相机的有用性,以产生高动态范围(HDR)的图像,即使在极端的照明条件下,也没有模糊的图像在快速运动。此外,产生非常高的帧速率视频的可能性也被证明,理论上高达每秒100万帧(FPS),因为事件相机的时间分辨率约为1 μ s。建议的方法进行评估,通过比较的结果与强度图像上捕获的事件使用在线可用的真实数据集和合成数据集的事件相机模拟器产生的相同像素网格线。
2018-11-20 cs.CV
Beyond the Camera: Neural Networks in World Coordinates
Carnegie Mellon University(卡内基梅隆大学);Inria(法国国家信息与自动化研究所(Inria) (注:Inria为法国国家信息与自动化研究所的标准英文缩写,中文通常保留或译为法国国家信息与自动化研究所,此处按常见处理方式提取))
眼球运动和将视野战略性地放置在视网膜上,使动物对场景的分辨率增加,并抑制分散注意力的信息。深度网络的视频理解缺少这个基本系统,深度网络通常限于锁定到相机帧的224 × 224像素内容。我们提出了一个简单的想法,WorldFeatures,其中每个层的每个特征都有一个空间变换,并且特征图只根据需要进行变换。我们表明,与这些WorldFeatures构建的网络,可用于模拟眼球运动,如扫视,固定,和平滑的追求,即使在预先录制的视频批量设置。也就是说,网络可以使用所有224 × 224像素来查看一个小细节,然后查看整个场景。我们表明,典型的构建块,如卷积和池,可以适应支持WorldFeatures使用可用的工具。在Charades,Olympic Sports和Caltech-UCSD Birds-200-2011数据集上进行了实验,探索动作识别,细粒度识别和视频稳定。
2020-03-12 cs.CV
Learning Object Depth from Camera Motion and Video Object Segmentation
University of Michigan(密歇根大学)
视频对象分割,即,近年来,视频中目标对象与背景的分离在真实和具有挑战性的视频中取得了显著的进展。为了在3D应用中利用这一进展,本文解决了在给定相机运动的一些测量(例如,根据机器人运动学或车辆里程计)。我们首先引入了一个多样化的可扩展数据集,其次设计了一个新的深度网络,该网络仅使用分割掩模和未校准的相机移动来估计对象的深度。我们的数据生成框架创建了人工对象分割,这些分割根据相机和对象之间的距离变化进行缩放,我们的网络即使在分割错误的情况下也能学习估计对象深度。我们展示了我们的方法跨域使用机器人摄像头来定位对象从YCB数据集和车辆摄像头来定位障碍物,而驾驶。
2020-12-18 cs.CV
Learning to Align Multi-Camera Domains using Part-Aware Clustering for Unsupervised Video Person Re-Identification
KAIST(韩国科学技术院)
大多数视频人物重新识别(re-ID)方法主要基于监督学习,其需要跨摄像机ID标记。由于标记的成本随着摄像机数量的增加而急剧增加,因此很难将重新识别算法应用于大型摄像机网络。在本文中,我们解决了可扩展性问题,提出了深入的表示学习没有ID信息跨多个摄像头。从技术上讲,我们训练神经网络来生成身份鉴别和相机不变的特征。为了实现嵌入特征的ID鉴别能力,我们通过使用度量学习方法来最大化相机内不同人ID之间的特征距离。同时,将每个相机视为不同的域,我们在多个相机域中应用对抗学习来生成相机不变特征。我们还提出了一个部分感知的自适应模块,有效地执行多相机域不变特征学习在不同的空间区域。我们在三个公共re-ID数据集上进行了全面的实验(即,PRID-2011、iLIDS-VID和MARS)。我们的方法优于国家的最先进的方法的大幅度约20%的大规模的MARS数据集上的rank-1精度。
2020-05-13 cs.CV
SfM-Net: Learning of Structure and Motion from Video
Google Research(谷歌研究院);Inria(法国国家信息与自动化研究所);Carnegie Mellon University(卡内基梅隆大学)
我们提出了SfM-Net,一种几何感知的神经网络,用于视频中的运动估计,它可以根据场景和对象深度,相机运动以及3D对象旋转和平移来分解帧到帧的像素运动。给定一系列帧,SfM-Net预测深度,分割,相机和刚性对象运动,将其转换为密集的帧到帧运动场(光流),在时间上可微地扭曲帧以匹配像素并反向传播。模型可以用各种程度的监督来训练:1)通过重新投影光度误差进行自我监督(完全无监督),2)通过自我运动(相机运动)进行监督,或3)通过深度(例如,如RGBD传感器所提供的)。SfM-Net提取有意义的深度估计,并成功估计帧到帧的相机旋转和平移。它通常成功地分割场景中的移动对象,即使从未提供这样的监督。
2017-04-25 cs.CV
Robust, Extensible, and Fast: Teamed Classifiers for Vehicle Tracking and Vehicle Re-ID in Multi-Camera Networks
Georgia Institute of Technology(佐治亚理工学院);University of São Paulo(圣保罗大学)
随着摄像机网络在过去十年中变得越来越普遍,视频管理的研究兴趣已经转移到多摄像机网络上的分析。这包括执行任务,如目标检测,属性识别,以及车辆/人员跟踪跨不同的相机没有重叠。当前的管理框架是为封闭数据集环境中的多摄像机网络设计的,在封闭数据集环境中,摄像机的可变性有限,并且监控环境的特性是众所周知的。此外,目前的框架是为离线分析而设计的,并有人类操作员的指导,用于法医应用。本文提出了一种用于异构多摄像机网络中视频分析的组合分类器框架,该网络具有对抗性条件,例如多尺度,多分辨率摄像机捕获具有不同遮挡,模糊和方向的环境。我们描述了车辆跟踪和车辆重新识别(重新识别)的实现,其中我们实现了一个零样本学习(zero-shot learning)系统,该系统始终对所有车辆进行自动跟踪。我们对VeRi-776和Cars 196的评估表明,与当前离线视频分析方法相比,团队分类器框架对对抗性条件具有鲁棒性,可扩展到不断变化的视频特征,如新的车辆类型/品牌和新的摄像头,并提供实时性能。
2020-01-07 cs.CV cs.LG
DIME-Net: Neural Network-Based Dynamic Intrinsic Parameter Rectification for Cameras with Optical Image Stabilization System
Texas A&M University(德克萨斯农工大学)
移动设备中的光学图像稳定(OIS)系统通过操纵镜头来补偿手抖动来减少图像模糊。然而,OIS动态地改变固有相机参数(即,$\mathrm{K}$矩阵),这阻碍了准确的相机姿态估计或3D重建。在这里,我们提出了一种新型的基于神经网络的方法,该方法实时估计$\mathrm{K}$矩阵,以便可以在移动设备上以相机本地分辨率运行姿态估计或场景重建,以获得最高的准确度。我们的网络设计满意的投影模型差异功能和三维点的位置作为输入,并采用多层感知器(MLP)近似$f_{\mathrm{K}}$流形。我们还设计了一个独特的训练方案,该网络通过引入反向传播的PNN(BP神经网络)层,使重投影误差可以作为损失函数。训练过程利用精确的校准图案来捕获精确的$f_{\mathrm{K}}$流形,但是训练的网络可以在任何地方使用。我们将所提出的动态内在流形估计网络命名为DIME-Net,并在三种不同的移动设备上实现和测试。在所有情况下,DIME-Net可以减少重投影误差至少$64\%$,表明我们的设计是成功的。
2023-03-20 cs.CV cs.RO
CANS: Communication Limited Camera Network Self-Configuration for Intelligent Industrial Surveillance
Shanghai Jiao Tong University(上海交通大学)
通过摄像头网络进行实时智能视频监控涉及大量视频数据的计算密集型视觉检测任务,这对于边缘支持的工业物联网(IIoT)的安全至关重要。多个视频流在边缘设备和摄像机网络之间的链路上竞争有限的通信资源,导致相当大的通信拥塞。它推迟了视觉检测任务的完成时间,降低了视觉检测任务的准确性。因此,在通信约束和视觉任务期限约束下实现高精度的视觉检测任务是具有挑战性的。以前的工作集中在单摄像机配置,通过设置视频质量参数来平衡检测任务的精度和处理时间之间的权衡。提出了一种视频监控的自适应摄像机网络自配置方法(CANS),以应对边缘使能工业物联网(IIoT)中具有异构服务质量(QoS)需求的多视频流。此外,它适应视频内容和网络动态。具体而言,两个关键性能指标,\emph{i.e.,}准确性和延迟之间的权衡,制定为一个NP-难的优化问题与延迟的约束。在实际监控数据集上的仿真结果表明,该方法具有较低的端到端延迟(平均13 ms)和较高的准确率(平均92%),且具有网络动态性.结果验证了CANS的有效性。
2021-09-13 cs.CV cs.MM
Unrolled Primal-Dual Networks for Lensless Cameras
University College London(伦敦大学学院);University of California San Diego(加州大学圣地亚哥分校);ams OSRAM(艾迈斯欧司朗)
传统的无透镜相机的图像重建模型通常假设每个测量结果从卷积一个给定的场景与一个单一的实验测量点扩散函数。这些图像重建模型不能真实地模拟无透镜相机,因为这些模型不够复杂,无法考虑光学像差或深度变化的场景。我们的工作表明,学习有监督的原始-对偶重建方法可以在不需要大网络容量的情况下实现文献中最先进的图像质量匹配。这种改进源于我们的主要发现,即在学习的原始-对偶优化框架中嵌入可学习的前向和伴随模型,与不校正模型误差的作品相比,甚至可以提高重建图像的质量(+5dB PSNR)。此外,我们建立了一个概念验证的无透镜相机原型,使用伪随机相位掩模来证明我们的观点。最后,我们分享了基于开放数据集和无透镜相机概念验证原型数据集的学习模型的广泛评估。
2022-03-08 cs.CV eess.IV
ReXCam: Resource-Efficient, Cross-Camera Video Analytics at Scale
University of California Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学);Microsoft Research(微软研究院)
企业越来越多地部署大型摄像机网络进行视频分析。许多目标应用都需要一个常见的问题模板:通过实时视频中的大型摄像机网络搜索和跟踪感兴趣的对象或活动(例如超速行驶的车辆、闯入)。这种跨相机分析是计算和数据密集型的,成本随着相机数量和时间的增加而增加。为了解决这一成本挑战,我们提出了ReXCam,一种用于高效跨摄像头视频分析的新系统。ReXCam利用真实相机网络动态中的空间和时间局部性来指导其对查询身份的推理时间搜索。在离线分析阶段,ReXCam构建了一个跨摄像机相关性模型,该模型对在历史流量模式中观察到的局部性进行编码。在推理时,ReXCam应用此模型过滤与查询身份的当前位置在空间和时间上不相关的帧。在偶尔错过检测的情况下,ReXCam对最近过滤的视频帧执行快速重放搜索,从而实现优雅的恢复。总之,这些技术使ReXCam能够在8相机数据集上将计算工作量减少8.3倍,在模拟的130相机数据集上减少23 - 38倍。ReXCam已在5台AWS DeepLens相机的测试平台上实施和部署。
2019-12-04 cs.CV cs.DC
Resource-Efficient Gesture Recognition using Low-Resolution Thermal Camera via Spiking Neural Networks and Sparse Segmentation
imec;KU Leuven(鲁汶大学);VUB(布鲁塞尔自由大学)
本文提出利用低分辨率热传感器结合MMV脉冲神经网络与稀疏分割实现资源高效手势识别,在车内5类手势数据集上达到93.9%准确率,且计算和内存成本比深度学习低一个数量级以上。
2024-01-12 cs.CV cs.HC
Neural-Network-Enhanced Metalens Camera for High-Definition, Dynamic Imaging in the Long-Wave Infrared Spectrum
China Jiliang University(中国计量大学)
针对单透镜长波红外成像的轻量化低成本需求,开发集成高频增强Cycle-GAN的超透镜相机,通过高频对抗学习模块恢复超透镜固有频率损失,实现125fps动态成像及高保真图像输出,获优异视频质量指标。
2024-11-26 cs.CV eess.IV
S3E-GNN: Sparse Spatial Scene Embedding with Graph Neural Networks for Camera Relocalization
Midea Robozone Inc(美的机器人公司);Massachusetts Institute of Technology(麻省理工学院)
摄像机重定位是同时定位与地图构建(SLAM)系统的关键组成部分。本文提出了一种基于学习的方法,命名为稀疏空间场景嵌入与图神经网络(S3 E-GNN),作为一个端到端的框架,有效和强大的相机重新定位。S3 E-GNN由两个模块组成。在编码模块中,训练的S3 E网络将RGB图像编码成嵌入代码,以隐式地表示空间和语义嵌入代码。利用从SLAM系统获得的嵌入代码和相关联的姿态,每个图像被表示为姿态图中的图节点。在GNN查询模块中,姿态图被转换以形成用于相机重定位的嵌入聚合参考图。我们在具有挑战性的环境中收集各种场景数据集来进行实验。我们的研究结果表明,由于基于学习的嵌入和GNN驱动的场景匹配机制,S3 E-GNN方法在相机重定位方面优于传统的词袋(BoW)。
2022-05-12 cs.AI cs.CV cs.RO
Real-Time 6DOF Pose Relocalization for Event Cameras with Stacked Spatial LSTM Networks
IIT(意大利理工学院);University of Adelaide(阿德莱德大学)
我们提出了一种新的方法来重新定位的事件摄像机的六自由度的姿势完全基于事件流。我们的方法首先从在很短的时间间隔内发生的事件列表中创建事件图像,然后使用堆叠空间LSTM网络(SP-LSTM)来学习相机姿势。我们的SP-LSTM由一个CNN和一个LSTM堆栈组成,前者用于从事件图像中学习深度特征,后者用于学习图像特征空间中的空间依赖关系。我们证明了空间依赖性在重定位任务中起着重要作用,SP-LSTM可以有效地学习这些信息。在公开数据集上的实验结果表明,我们的方法具有很好的泛化能力,并且比最近的方法有很大的优势。总的来说,我们提出的方法减少了大约。与当前技术水平相比,位置误差为6倍,方向误差为3倍。源代码和训练模型将被发布。
2018-04-14 cs.CV cs.RO
FE-Fusion-VPR: Attention-based Multi-Scale Network Architecture for Visual Place Recognition by Fusing Frames and Events
Northeastern University(东北大学)
传统的视觉位置识别(VPR)通常使用标准摄像头,容易因眩光或高速运动而失败。相比之下,事件相机具有低延迟、高时间分辨率和高动态范围的优点,可以处理上述问题。然而,事件相机在弱纹理或静止的场景中容易失败,而标准相机在这种情况下仍然可以提供外观信息。因此,利用标准相机和事件相机的互补性可以有效地提高VPR算法的性能。在本文中,我们提出了FE-Fusion-VPR,一个基于注意力的多尺度网络架构的VPR通过融合帧和事件。首先,强度帧和事件体被送入双流特征提取网络进行浅层特征融合。然后,通过多尺度融合网络获得三个尺度特征,并使用VLAD层将其聚合为三个子描述符。最后通过描述子重加权网络学习各子描述子的权值,得到最终的细化描述子。实验结果表明,在DDD 20数据集上,FE-Fusion-VPR的Recall@1比Event-VPR和Ensemble-EventVPR分别提高了29.26%和33.59%,比MultiRes-NetVLAD和NetVLAD分别提高了7.00%和14.15%。据我们所知,这是第一个超越现有基于事件和基于帧的SOTA方法的端到端网络,可以直接为VPR融合帧和事件。
2022-11-23 cs.CV cs.RO
Boosting Camera Motion Control for Video Diffusion Transformers
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
本文针对视频扩散Transformer(DiT)中相机运动精度退化问题,提出基于无分类器引导的Camera Motion Guidance(CMG)方法,将相机控制能力提升超400%,并引入稀疏相机控制流程简化长视频位姿指定,普遍适用于U-Net和DiT模型。
2024-10-14 cs.AI cs.CV
Unsupervised Simultaneous Learning for Camera Re-Localization and Depth Estimation from Video
Toyota Central R&D Labs., Inc.(丰田中央研发实验室株式会社)
我们提出了一个无监督的同时学习框架的任务,单目摄像机重新定位和深度估计从未标记的视频序列。单目摄像机重定位是指在已知环境中从实例图像估计摄像机绝对姿态的任务,这已经被深入研究用于GPS拒绝环境中的替代定位。在最近的工作中,摄像机重新定位方法通过监督学习从摄像机图像和摄像机姿态对进行训练。与以前的作品相比,我们提出了一个完全无监督学习框架,用于相机重新定位和深度估计,只需要单目视频序列进行训练。在我们的框架中,我们训练两个网络,它们使用方向和来自每个图像的深度图来估计场景坐标,然后将它们组合起来估计相机姿态。该网络可以通过基于我们的闭环视图合成的损失函数的最小化来训练。在7场景数据集的实验中,所提出的方法优于最先进的视觉SLAM,ORB-SLAM 3的重新定位。我们的方法在训练环境中的表现也优于最先进的单眼深度估计。
2022-03-24 cs.CV cs.RO
Camera Agnostic Two-Head Network for Ego-Lane Inference
NAVER LABS;Department of Mechanical Engineering, SNU(机械工程系,SNU)
本文提出一种相机无关的双头网络,直接从单张图像估计自车道索引,利用消失点线引导的注意力机制适应视点变化,无需精确标定,并在多样环境下验证了高适应性。
2024-04-19 cs.CV cs.LG cs.RO
CRN: Camera Radar Net for Accurate, Robust, Efficient 3D Perception
KAIST(韩国科学技术院);Hanyang University(汉阳大学)
提出相机雷达融合框架CRN,利用雷达点辅助图像特征变换至BEV,并用多模态可变形注意力聚合,实现实时高精度3D感知,在nuScenes上性能优于现有方法。
2023-12-23 cs.AI cs.CV cs.RO
CrossRoI: Cross-camera Region of Interest Optimization for Efficient Real Time Video Analytics at Scale
为了公共利益或社区安全(即交通监控或可疑人员跟踪),摄像机在城市范围内广泛部署。然而,实时的分析大规模视频馈送是数据密集型的,并且对当今的网络和计算系统提出了严峻的挑战。我们提出了CrossRoI,一个资源高效的系统,通过利用视频内容关联和冗余在一个车队的摄像机,使实时的视频分析规模。CrossRoI利用交叉摄像机视场的内在物理相关性,大大降低了通信和计算成本。CrossRoI在多个摄像机中删除了相同对象的忏悔外观,而不会损害对场景的全面覆盖。CrossRoI分两个阶段运行-离线阶段建立跨摄像机相关性,以及有效的在线阶段进行实时的视频推理。在真实视频源上的实验表明,与基线方法相比,CrossRoI在实时的视频分析应用中实现了42% - 65%的网络开销减少和25% - 34%的响应延迟减少,查询准确率超过99%。如果与SotA帧过滤系统集成,CrossRoI的性能增益达到50% - 80%(网络开销)和33% - 61%(端到端延迟)。
2021-05-13 cs.CV cs.DC cs.MM