Pixel-wise Smoothing for Certified Robustness against Camera Motion Perturbations
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院)
提出在2D像素空间进行逐像素平滑的认证框架,避免3D相机运动采样,并以均匀划分界定投影误差,仅用30%投影帧即达到约80%认证准确率。
2024-03-03 cs.CV cs.LG cs.RO
CamLessMonoDepth: Monocular Depth Estimation with Unknown Camera Parameters
University of Applied Sciences (HTW)(应用科学大学)
在计算机视觉的许多应用中,感知3D信息至关重要。单目深度估计的最新进展已经表明,通过训练深度神经网络来预测逆深度和姿态,从单个相机输入获得这样的知识是可能的,而不需要地面实况数据。然而,大多数这样的方法需要在训练期间明确地馈送相机参数。因此,在训练期间不能使用来自野生的图像序列。虽然存在也预测相机本质的方法,但它们的性能与将相机参数作为输入的新方法不一样。在这项工作中,我们提出了一种隐式估计针孔摄像机的内在以及深度和姿态的方法,通过学习单目图像序列。此外,通过利用有效的子像素卷积,我们表明,高保真度的深度估计可以获得。我们还将逐像素的不确定性估计嵌入到框架中,以强调这项工作在实际领域中的可能适用性。最后,我们证明了在没有相机固有特性的先验知识的情况下准确预测深度信息的可能性,同时在KITTI基准上优于现有的最先进的方法。
2021-10-27 cs.CV
Stereo Hybrid Event-Frame (SHEF) Cameras for 3D Perception
Australian National University(澳大利亚国立大学);CSIRO(澳大利亚联邦科学与工业研究组织)
立体相机系统在机器人应用中扮演着重要的角色,以感知3D世界。然而,传统的相机由于底层的基于帧的机制而具有诸如低动态范围、运动模糊和延迟的缺点。事件相机解决了这些限制,因为它们以精细的时间分辨率独立地报告每个像素的亮度变化,但它们无法直接获取绝对强度信息。虽然集成的混合事件帧传感器(例如,DAVIS)是可用的,数据的质量受到这种相机的电路制造中的像素级耦合的影响。本文提出了一种立体混合事件-帧(SHEF)相机系统,该系统提供了一种具有单独的高质量纯事件和纯帧相机的传感器模态,克服了每个单独传感器的局限性,并允许立体深度估计。我们提供了一个SHEF数据集,旨在评估视差估计算法,并介绍了一种立体视差估计算法,该算法使用从事件流中提取的边缘信息与帧数据中检测到的边缘相关。我们的视差估计优于SHEF数据集上最先进的立体匹配算法。
2022-05-11 cs.CV
EEPNet: Efficient Edge Pixel-based Matching Network for Cross-Modal Dynamic Registration between LiDAR and Camera
School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院)
本文提出EEPNet,利用点云投影反射率图和边缘像素匹配优化,解决LiDAR与相机跨模态配准中模态差异大、计算开销高的问题,实现高精度实时配准。
2024-09-28 cs.CV eess.IV
ADOP: Approximate Differentiable One-Pixel Point Rendering
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
在本文中,我们提出了ADOP,一种新的基于点的,可区分的神经渲染管道。像其他神经渲染器一样,我们的系统将校准的相机图像和场景的代理几何形状(在我们的情况下是点云)作为输入。为了生成一个新的视图,点云是用学习的特征向量作为颜色光栅化的,一个深度神经网络填充剩余的洞,并对每个输出像素进行着色。光栅化器将点渲染为一个像素的splats,这使得它非常快,并允许我们有效地计算所有相关输入参数的梯度。此外,我们的管道包含一个完全可区分的基于物理的光度相机模型,包括曝光,白平衡和相机响应函数。遵循逆渲染的思想,我们使用渲染器来优化其输入,以减少不一致性并优化其输出质量。特别是,我们可以优化结构参数,如相机姿态,镜头失真,点位置和特征,以及神经环境图,还有光度参数,如相机响应函数,渐晕,逐图像曝光和白平衡。因为我们的管道包括光度参数,例如~系统具备高曝光和相机响应功能,可以平滑处理不同曝光和白平衡的输入图像,并生成高动态范围输出。我们表明,由于改进的输入,我们可以实现高渲染质量,也为困难的输入,例如,不完美的相机校准,不准确的代理几何,或不同的曝光。因此,更简单且因此更快速的深度神经网络足以用于重建。结合快速点光栅化,ADOP实现了实时渲染率,即使模型超过1亿点。https://github.com/darglein/ADOP
2022-05-03 cs.CV cs.GR
Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras
Technical University of Munich(慕尼黑工业大学)
我们提出立体直接稀疏里程计(立体DSO)作为一种新的方法,高精度的实时视觉里程计估计的大规模环境立体相机。它联合优化活动窗口内的所有模型参数,包括所有关键帧的内部/外部相机参数和所有选定像素的深度值。特别是,我们提出了一种新的方法来整合约束从静态立体到捆绑调整管道的时间多视图立体视觉。通过从具有足够强度梯度的图像区域均匀采样像素来实现实时优化。固定基线立体解决规模漂移。它还降低了对大光流和卷帘快门效应的灵敏度,这是直接图像对准方法的已知缺点。定量评估表明,建议的立体DSO优于现有的国家的最先进的视觉里程计方法在跟踪精度和鲁棒性。此外,我们的方法提供了一个更精确的度量3D重建比以前的密集/半密集的直接方法,同时提供了一个更高的重建密度比基于特征的方法。
2017-08-25 cs.CV
Event-Based Dense Reconstruction Pipeline
Beijing Institute of Aerospace Systems Engineering(北京宇航系统工程研究所);China Academy of Launch Vehicle Technology(中国运载火箭技术研究院)
事件摄像机是一种不同于传统摄像机的新型传感器。每个像素由事件异步触发。触发事件是照射在像素上的亮度的变化。如果亮度的增量或减量高于某个阈值,则输出事件。与传统相机相比,事件相机具有高动态范围和无运动模糊的优点。由于事件是由强度边缘的表观运动引起的,因此大多数3D重建图仅由场景边缘组成,即,半稠密映射,这对于某些应用是不够的。在本文中,我们提出了一个流水线实现基于事件的密集重建。首先,使用深度学习从事件重建强度图像。然后,运动恢复结构(SfM)被用来估计相机的内在,外在和稀疏点云。最后,利用多视图立体视觉(MVS)完成稠密重建。
2022-03-23 cs.CV
Pixel-Perfect Structure-from-Motion with Featuremetric Refinement
Microsoft(微软);ETH Zurich(苏黎世联邦理工学院)
找到在多个视图中可重复的局部特征是稀疏3D重建的基石。经典的图像匹配范例一次性地检测每个图像的关键点,这可能产生局部化不好的特征并将大的误差传播到最终的几何形状。在本文中,我们细化的两个关键步骤的运动恢复结构的低级别的图像信息从多个视图的直接对齐:我们首先调整任何几何估计之前的初始关键点的位置,并随后细化点和相机构成作为后处理。这种改进对于大的检测噪声和外观变化是鲁棒的,因为它基于由神经网络预测的密集特征来优化特征度量误差。这显著提高了相机姿态和场景几何的准确性,适用于各种关键点检测器、具有挑战性的观看条件和现成的深度特征。我们的系统可以轻松扩展到大型图像集合,实现大规模的像素完美众包本地化。我们的代码作为流行的SfM软件COLMAP的附加组件在https://github.com/cvg/pixel-perfect-sfm上公开提供。
2021-08-18 cs.CV
FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
提出FlowCam,利用可微渲染将光流提升为像素对齐3D场景流并加权拟合SE(3)位姿,实现无需SfM位姿、端到端自监督训练可泛化3D辐射场。
2023-05-31 cs.AI cs.CV cs.GR
DiFuse-Net: RGB and Dual-Pixel Depth Estimation using Window Bi-directional Parallax Attention and Cross-modal Transfer Learning
Visual Intelligence Team, Samsung Research India Bangalore(三星印度班加罗尔视觉智能团队)
针对双像素深度估计数据稀缺与小光圈视差线索微弱的问题,提出带窗口双向视差注意力的DiFuse-Net及跨模态迁移学习机制,性能优于基线,还构建了真实DCDP数据集。
2025-07-31 cs.CV cs.RO
Parallel Inversion of Neural Radiance Fields for Robust Pose Estimation
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
提出了一种基于快速神经辐射场(NeRF)的并行优化方法,用于估计摄像机相对于物体或场景的6自由度姿态。给定目标的单个观察到的RGB图像,我们可以通过最小化从快速NeRF模型渲染的像素与观察到的图像中的像素之间的残差来预测相机的平移和旋转。我们将基于动量的相机外部优化程序集成到即时神经图形原语中,这是最近非常快的NeRF实现。通过将并行蒙特卡罗采样引入到姿态估计任务中,我们的方法克服了局部极小值,并在更广泛的搜索空间中提高了效率。我们还表明了采用更强大的基于像素的损失函数,以减少错误的重要性。实验表明,我们的方法可以实现改进的泛化能力和鲁棒性的合成和现实世界的基准。
2023-03-10 cs.CV cs.RO
Can NeRFs See without Cameras?
University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
本文提出通过重新设计NeRF来利用多路径信号推断环境,应用于从稀疏Wi-Fi测量中推断室内平面图。
2026-02-07 cs.AI cs.CV
Radar-Camera Pixel Depth Association for Depth Completion
Michigan State University(密歇根州立大学);Ford Motor Company(福特汽车公司)
虽然雷达和视频数据可以很容易地在检测级融合,但在像素级融合它们可能更有益。这也更具挑战性,部分原因是雷达的稀疏性,但也因为汽车雷达波束比典型像素宽得多,加上相机和雷达之间的大基线,这导致雷达像素和彩色像素之间的关联性差。结果是,为LiDAR和视频设计的深度完成方法对于雷达和视频来说效果很差。在这里,我们提出了一个雷达到像素的关联阶段,学习从雷达返回到像素的映射。这种测绘还有助于使雷达回波密度更高。以此作为第一阶段,然后是更传统的深度完成方法,我们能够通过雷达和视频实现图像引导的深度完成。我们在nuScenes数据集上展示了优于相机和雷达的性能。我们的源代码可在https://github.com/longyunf/rc-pda上获得。
2021-06-05 cs.CV
Adaptive sampling for scanning pixel cameras
扫描像素相机是一种新型的低成本、低功耗的传感器,不受衍射限制。它产生的数据是在扫描过程中从场景的各个部分提取的样本序列。它可以提供非常详细的图像,代价是采样率和缓慢的图像采集时间。本文提出了一种新的算法,它允许传感器在这个序列的过程中适应采样率。这使得有可能通过最小化成像和传输场景所需的带宽和时间来克服这些限制中的一些,同时保持图像质量。我们研究了图像分类和语义分割的应用,并能够实现与完全采样输入相比类似的结果,同时使用少80%的样本
2022-08-01 cs.CV
Multi-Camera Multi-Person Association using Transformer-Based Dense Pixel Correspondence Estimation and Detection-Based Masking
University of Florida(佛罗里达大学)
本研究提出一种结合Transformer密集像素对应估计与检测掩码的多摄像机多目标关联算法,经WILDTRACK数据集验证,近距同视角摄像机对关联效果优异,大差异视角仍有提升空间。
2024-08-17 cs.CV
An Epipolar Line from a Single Pixel
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
从具有非常不同的视点的相机之间的特征点计算对极几何通常容易出错,因为对象的外观在图像之间可能变化很大。对于这种情况,已经表明,使用从视频提取的运动可以实现比使用静态图像好得多的结果。本文在场景动态性的基础上扩展了这些早期的工作。在本文中,我们提出了一种新的方法来计算核几何从视频流,利用以下观察:对于图像A中的像素p,所有像素对应于图像B中的p是在同一核线。等价地,通过摄像机A的中心和p的直线的像是B中的核线。因此,当摄像机A和B同步时,在时刻t1和t2投影到摄像机A中的相同像素p的两个对象的瞬时图像位于摄像机B中的核线上。在此基础上实现了对极线的快速精确计算。基于我们的寻找核线的方法校准相机比以前的方法更快,更强大。
2018-12-15 cs.CV
Compressive Hyperspectral Imaging: Fourier Transform Interferometry meets Single Pixel Camera
UCLouvain(鲁汶大学);Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学)
介绍了一种基于傅里叶变换干涉术(FTI)的单像素超光谱(HS)成像框架。通过将光照明的时空编码与准直光束(由单个像素观察)的部分干涉观察相结合,我们的系统受益于(i)与普通(奈奎斯特)FTI成像器相比降低的测量速率和观察对象的曝光,以及(ii)如在例如,荧光光谱(FS)。从压缩感知与多级采样的原理,我们的方法利用稀疏的FS数据的“在水平上”,在频谱和空间域。这使我们能够使用时间调制的阿达玛图案来优化空时光编码。我们确认我们的方法的有效性,通过一些数值实验。
2018-09-04 cs.CV
A Projector-Camera System Using Hybrid Pixels with Projection and Capturing Capabilities
Osaka University(大阪大学);Graduate School of Engineering Science(工学研究科)
我们提出了一种新的投影仪相机系统(ProCams),其中每个像素都有投影和捕获能力。我们提出的ProCams解决了获得投影仪和相机之间精确像素对应的困难。我们实现了一个ProCams的概念验证原型,并证明了其适用于动态投影映射。
2021-07-11 cs.CV cs.GR
Event Camera Calibration of Per-pixel Biased Contrast Threshold
Australian National University(澳大利亚国立大学)
事件摄像机输出异步事件,以高时间分辨率表示强度变化,即使在极端照明条件下也是如此。目前,大多数现有的工作使用一个单一的对比度阈值来估计所有像素的强度变化。然而,复杂的电路偏置和制造缺陷导致偏置的像素和像素之间的失配对比度阈值,这可能导致不期望的输出。在本文中,我们提出了一个新的事件相机模型和两个校准方法,涵盖事件的相机和混合图像事件相机。当强度图像与事件同时提供时,我们还提出了一种有效的在线方法来校准事件相机,以适应随时间变化的事件率。我们证明了我们提出的方法相比,国家的最先进的几个不同的事件相机数据集的优势。
2020-12-17 cs.CV cs.RO
Pixel-to-4D: Camera-Controlled Image-to-Video Generation with Dynamic 3D Gaussians
University of Glasgow(格拉斯哥大学)
本文提出一种基于动态3D高斯的图像到视频生成框架,通过单次前向传递构建3D场景表示并采样合理物体运动,实现高效且可控的视频生成,实验表明其在多个数据集上均达到SOTA视频质量和推理效率。
2026-05-14 cs.CV
ConeGaussian: Anti-Aliased Gaussian Ray-Tracing for Generic Central Cameras
vivo Mobile Communication Co., Ltd., Shenzhen, China(维沃移动通信有限公司)
ConeGaussian提出一种与相机模型无关的抗锯齿高斯光线渲染框架,通过各向异性足迹和频率下限,在针孔及鱼眼相机上显著提升渲染质量。
2026-09-15 cs.CV
Neural Network Generalization: The impact of camera parameters
Jilin University(吉林大学)
我们量化了训练用于识别汽车的卷积神经网络(CNN)的泛化。首先,我们使用一个图像数据集(合成的或来自相机的)进行一系列实验来训练网络,然后在不同的图像数据集上进行测试。我们发现,与不同的相机获得的图像之间的泛化是大致相同的图像从相机和射线跟踪的多光谱合成图像之间的泛化。其次,我们使用ISETAuto,一个软原型工具,创建相机图像的光线跟踪多光谱模拟,模拟传感器图像的像素大小,颜色过滤器,采集和采集后处理的范围。这些实验揭示了特定相机参数和图像处理操作的变化如何影响CNN泛化。我们发现(a)像素大小影响泛化,(b)去马赛克对浅(8位)位深度的性能和泛化有很大影响,但对更深的位深度(10位)没有影响,(c)网络使用10位像素的原始(未去马赛克)传感器数据表现良好。
2019-12-08 cs.CV
PDC-ViT : Source Camera Identification using Pixel Difference Convolution and Vision Transformer
United Arab Emirates University(阿联酋大学);Qatar University(卡塔尔大学);Northumbria University(诺森比亚大学);University of Sharjah(沙迦大学)
本文提出PDC-ViT方法,通过将像素差分卷积(PDC)与视觉Transformer结合进行源相机识别,利用APDC和RPDC提取像素细微特征并输入ViT分类,在五个数据集上验证了其高准确率与鲁棒性。
2025-01-27 cs.CV
Revisiting Gray Pixel for Statistical Illumination Estimation
Tampere University of Technology(坦佩雷理工大学);Intel Finland(英特尔芬兰公司);Czech Technical University in Prague(布拉格捷克理工大学)
我们提出了一种统计颜色恒常性的方法,依赖于新的灰度像素检测和均值漂移聚类。该方法被称为Mean Shifted Grey Pixel(MSGP),它是基于这样一种观察:真灰度像素都朝着一个方向排列。我们的解决方案结构紧凑,易于计算,无需培训。两个真实世界的基准实验表明,该方法优于国家的最先进的方法在摄像机不可知的情况下。在相机已知的情况下,MSGP优于所有统计方法。
2019-01-09 cs.CV
From Pixels to Reality: Physical-Digital Patch Attacks on Real-World Camera
AI Center, Lomonosov MSU(莫斯科国立大学人工智能中心);IAI MSU(莫斯科国立大学人工智能研究所)
本文提出DiPA攻击,通过手机屏幕显示对抗补丁实现对普及式相机认证系统的攻击,提升补丁在黑盒环境下的转移能力,并展示实时躲避攻击效果。
2026-03-30 cs.CV
Real-Time Drone Detection in Event Cameras via Per-Pixel Frequency Analysis
Johns Hopkins University APL(约翰霍普金斯大学APL)
本文提出DDHF方法,通过每像素频率分析实现事件相机中无人机的实时检测,具有高准确性和低延迟,优于YOLO检测器。
2026-03-09 cs.CV
Minimalist Vision with Freeform Pixels
Computer Science Department, Columbia University(哥伦比亚大学计算机科学系)
本研究提出一种使用自由形态像素的极简视觉系统,将相机硬件建模为神经网络首层,在仅用8像素的情况下实现室内监测、光照测量和交通流估计等任务,性能媲美传统相机,兼具保护隐私和完全自供电优势。
2024-12-30 cs.CV eess.IV
Differentiable Sensor Layouts for End-to-End Learning of Task-Specific Camera Parameters
University of Siegen(锡根大学)
该研究提出首个端到端训练的成像流水线,通过可微分的传感器布局参数化方法联合优化像素布局与网络参数,在分类和语义分割任务上验证了可学习像素布局对网络预测的增益。
2023-04-28 cs.CV
Toward Efficient Hyperspectral Image Processing inside Camera Pixels
University of Southern California(南加利福尼亚大学);Information Sciences Institute(信息科学研究所)
高光谱相机生成大量的数据,因为它有数百个光谱波段,而传统相机只有三个通道(红色,绿色和蓝色)。这需要在高光谱图像传感器和用于逐帧分类/检测/跟踪图像的处理器之间进行大量的数据传输,从而消耗高能量并导致带宽和安全瓶颈。为了缓解这个问题,我们提出了一种像素处理(PIP)的形式,它利用先进的CMOS技术,使像素阵列能够执行现代卷积神经网络(CNN)所需的各种复杂操作,用于高光谱图像识别(HSI)。因此,我们的PIP优化自定义CNN层可有效压缩输入数据,显著降低将数据下行传输到HSI处理单元所需的带宽。与现有硬件实现相比,这将与相机的像素阵列和CNN处理单元相关联的平均能耗分别降低了25.06倍和3.90倍。我们的自定义模型的平均测试精度在标准HSI基准的基准模型的0.56%以内。
2022-03-11 cs.CV eess.IV
Real-Time Optical Flow for Vehicular Perception with Low- and High-Resolution Event Cameras
Université de technologie de Compiègne (UTC), CNRS, Heudiasyc(贡比涅技术大学(UTC),法国国家科学研究中心(CNRS),Heudiasyc实验室)
事件相机捕捉所观察场景中的照明变化,而不是积累光线来创建图像。因此,它们允许在高速运动和复杂照明条件下的应用,其中传统的基于帧的传感器显示其模糊和过度曝光或曝光不足像素的限制。由于这些独特的性能,它们现在代表了ITS相关应用的高度吸引力的传感器。基于事件的光流(EBOF)的研究,随着这些神经形态相机的普及。然而,最近到来的高清晰度神经形态传感器,挑战现有的方法,因为增加的事件像素阵列的分辨率和更高的吞吐量。作为对这些问题的回答,我们提出了一个优化的框架,用于使用低分辨率和高分辨率事件相机实时的【形】计算光流。我们制定了一个新的密集表示的稀疏事件流,在“逆指数距离表面”的形式。它作为一个临时框架,旨在使用经过验证的,最先进的基于框架的光流计算方法。我们对低分辨率和高分辨率驱动序列进行了评估,结果表明,它通常可以获得比当前技术水平更好的结果,同时还可以达到更高的帧速率,346 x 260像素时为250 Hz,1280 x 720像素时为77 Hz。
2021-12-20 cs.CV
Causes and Corrections for Bimodal Multipath Scanning with Structured Light
University of Kentucky(肯塔基大学)
结构光照明是一种基于投影/捕获一组条纹图案并测量图案在反射离开目标物体表面时的翘曲的主动3D扫描技术。按照设计,摄像机中的每个像素只能从投影仪看到一个像素;然而,当扫描表面具有复杂的几何形状,具有阶梯边缘和其他深度不连续性时,或者目标表面具有反射光线远离摄像机的镜面反射时,也有例外。这些情况通常被称为多路径,其中给定相机像素从投影仪的多个位置接收光。在双模多径的情况下,相机像素从投影仪接收来自恰好两个位置的光,这在光从反射表面或沿着阶梯边缘反弹时发生,其中边缘穿过像素,使得像素看到前景和背景表面两者。在本文中,我们提出了一个通用的数学模型,并解决了双峰多径问题的相位测量轮廓扫描仪测量的两个光路之间的建设性和破坏性的干涉,并利用这个有趣的线索,分离的路径,并进行两个单独的深度测量。我们还验证了我们的算法与模拟和一些具有挑战性的实际情况。
2017-06-08 cs.CV
Facial Depth and Normal Estimation using Single Dual-Pixel Camera
KAIST(韩国科学技术院);GIST(光州科学技术院);DGIST(大邱庆北科学技术院);Meta Reality Labs(元宇宙现实实验室)
许多移动制造商最近在其旗舰机型中采用了双像素(DP)传感器,以实现更快的自动对焦和美学图像捕捉。尽管它们具有优势,但由于缺乏利用DP图像中视差的数据集和算法设计,因此对其用于3D面部理解的研究受到限制。这是因为子孔径图像的基线非常窄,并且在散焦模糊区域中存在视差。在本文中,我们介绍了一个面向DP的深度/法线网络,重建3D面部几何。为此,我们收集了DP面部数据,其中包含使用我们的多相机结构光系统捕获的101人的超过135 K图像。它包含相应的地面实况3D模型,包括深度图和公制尺度的表面法线。我们的数据集允许将所提出的匹配网络推广用于3D面部深度/法线估计。该网络由两个新的模块组成:自适应采样模块和自适应正常模块,专门处理DP图像中的散焦模糊。最后,所提出的方法实现了最先进的性能在最近的DP为基础的深度/法线估计方法。我们还证明了估计的深度/法线的适用性,面对欺骗和重新照明。
2022-07-19 cs.CV
Spatially Coupled Phase-to-Depth Calibration for Fringe Projection Profilometry
Department of Mechanical Engineering, Yonsei University(延世大学机械工程系)
提出一种空间耦合的相位-深度变换,通过全局相位标量与仿射空间项共享所有像素的映射,替代逐像素独立标定,提升空间一致性并减少表面伪影。
2026-06-11 cs.CV
LiSens --- A Scalable Architecture for Video Compressive Sensing
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
通过使用空间光调制器(SLM)进行空间复用测量的相机的测量速率通常受到SLM的切换速度的限制。这对于单像素相机尤其如此,其中光电检测器以比SLM大许多数量级的速率操作。我们研究的因素,确定这种空间多路复用相机(SMC)的测量速率,并表明,增加设备中的像素的数量提高了测量速率,但有一个最佳的像素数(通常是几千)超过该测量速率不增加。这激发了LiSens的设计,LiSens是一种新型的成像架构,它用一维线性阵列或线传感器取代了单像素相机中的光电探测器。我们说明了LiSens的光学架构,建立一个原型,并展示了一系列室内和室外场景的结果。LiSens实现了SMC的承诺:使用廉价的低分辨率传感器以百万像素分辨率、视频速率成像。
2015-03-14 cs.CV
A Preliminary Research on Space Situational Awareness Based on Event Cameras
Beijing Institute of Aerospace Systems Engineering(北京宇航系统工程研究所);Space Engineering University(航天工程大学);China Academy of Launch Vehicle Technology(中国运载火箭技术研究院)
事件相机是一种不同于传统相机的新型传感器。每个像素都由一个事件异步触发。触发事件是照射在像素上的亮度的变化。如果增量或减量高于某个阈值,则输出事件。与传统摄像机相比,事件摄像机具有高时间分辨率、低延迟、高动态范围、低带宽和低功耗等优点。我们在模拟空间光环境中进行了一系列的观测实验。实验结果表明,事件相机在空间态势感知中能够充分发挥上述优势。本文首先介绍了事件摄像机的基本原理,然后分析了其优缺点,然后介绍了观察实验并分析了实验结果,最后给出了一种基于事件摄像机的空间态势感知工作流程。
2022-03-25 cs.CV
Real-Time Intensity-Image Reconstruction for Event Cameras Using Manifold Regularisation
Graz University of Technology(格拉茨技术大学);Austrian Institute Of Technology(奥地利技术研究院)
事件相机或神经形态相机模仿人类感知系统,因为它们测量每像素的强度变化而不是实际的强度水平。与传统相机相比,这种相机以稀疏事件的形式以MHz频率捕获关于场景的新信息。高时间分辨率是以丢失熟悉的每像素强度信息为代价的。在这项工作中,我们提出了一个变分模型,准确地模拟事件相机的行为,使实时的【形】重建的强度图像与任意帧速率。我们的方法是制定每一个事件的基础上,我们明确纳入信息的异步性质的事件,通过事件的相对时间戳引起的事件流形。在我们的实验中,我们验证了解决流形上的变分模型产生高质量的图像,而不显式地估计光流。
2016-08-04 cs.CV
Imaging around corners with single-pixel detector by computational ghost imaging
我们设计了一个单像素的相机与周围的角落成像计算鬼成像的基础上。它可以在摄像机不能直视物体的情况下获得物体的图像。我们的成像系统探讨了这样一个事实,即桶检测器在鬼成像设置没有空间分辨率的能力。一系列的实验被设计来证实我们的预测。该相机具有潜在的应用,在角落或其他类似的环境中,无法直接观察到的对象的成像。
2016-12-08 cs.CV physics.optics
Texel Splatting: Perspective-Stable 3D Pixel Art
本文提出Texel splatting方法,通过将场景几何渲染为立方体贴图并将其投射到屏幕,实现视角稳定的3D像素艺术,解决了传统网格 snapping 方法在透视投影下的局限性。
2026-03-15 cs.CV
Rays as Pixels: Learning A Joint Distribution of Videos and Camera Trajectories
Meta AI
提出一种视频扩散模型(Rays as Pixels),通过将相机表示为密集射线像素(raxels)并与视频帧共享潜在空间,联合去噪实现相机轨迹预测和相机控制视频生成。
2026-05-29 cs.AI cs.CV cs.LG
Target Tracking In Real Time Surveillance Cameras and Videos
Fatima Jinnah Women University(法蒂玛·真纳女子大学)
安全问题一直在不断增加,所以重要的是每个人都要保护自己的财产免受盗窃和破坏。因此,对监控技术的需求也在增加。该系统已被开发用于检测视频中的运动。利用背景差分和帧间差分技术,研制了一个实时的应用系统。在该系统中,从网络摄像头或从实时的视频中检测运动。采用背景差分法和帧间差分法检测运动目标。在背景减除方法中,从参考帧中减去当前帧,然后应用阈值。如果差值大于阈值,则将其视为来自移动对象的像素,否则将其视为背景像素。类似地,两帧差分方法在两个连续帧之间进行差分。然后,对所得到的差帧进行阈值化,并计算差像素的量。
2015-06-22 cs.CV
Learn to See by Events: Color Frame Synthesis from Event and RGB Cameras
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
事件摄像机是生物启发的传感器,收集场景的时间演变。它们捕获逐像素的亮度变化并输出相应的异步事件流。尽管相对于传统相机具有多种优势,但传统数据处理和视觉算法的有限适用性部分阻止了它们的使用。为此,我们提出了一个框架,利用事件相机的输出流来合成RGB帧,依赖于初始或周期性的一组颜色关键帧和中间事件的序列。从现有的工作,我们提出了一个基于深度学习的帧合成方法,由一个对抗架构结合一个循环模块。四个公共数据集上的定性结果和定量的每像素,感知和语义评估证实了合成图像的质量。
2019-12-10 cs.CV
Asynchronous Corner Tracking Algorithm based on Lifetime of Events for DAVIS Cameras
University of Turku(图尔库大学);Politecnico di Milano(米兰理工大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
事件摄像机,即,动态和有源像素视觉传感器(DAVIS),捕捉场景中的强度变化,并以异步方式生成事件流。在高动态环境中,此类摄像机的输出速率可达到每秒1000万个事件。DAVIS相机使用模仿人眼的新型视觉传感器。它们具有高输出速率、高动态范围(HDR)和高像素带宽等吸引人的特性,是需要高频跟踪的应用的理想解决方案。此外,在具有挑战性的照明场景中操作的应用可以利用事件相机的高HDR,即,140 dB,而传统摄像机为60 dB。在本文中,提出了一种新的异步角点跟踪方法,同时使用事件和强度图像捕获的DAVIS相机。Harris算法用于提取特征,即,来自关键帧的帧角,即,强度图像。然后,使用匹配算法从事件流中提取事件角点。事件仅用于执行异步跟踪,直到捕获下一个关键帧。在事件角周围的5x5像素的窗口大小内的相邻事件用于通过使用随机化霍夫变换算法拟合2D平面来计算提取的事件角的速度和方向。实验评估表明,我们的方法能够在传统相机的盲时间内更新提取的角点的位置多达100次,即,在两个连续的强度图像之间。
2020-10-29 cs.CV
EV-IMO: Motion Segmentation Dataset and Learning Pipeline for Event Cameras
University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所);ETH Zurich(苏黎世联邦理工学院)
我们提出了第一个基于事件的学习方法,用于室内场景中的运动分割和第一个基于事件的数据集- EV-IMO -其中包括精确的像素运动掩模,自运动和地面真实深度。我们的方法是基于一个有效的实现的SfM学习管道使用低参数神经网络架构的事件数据。除了相机自运动和密集的深度图之外,该网络还估计像素独立移动对象分割,并计算移动对象的每个对象的3D平移速度。我们还训练了一个只有40 k个参数的浅层网络,它能够计算深度和自运动。我们的EV-IMO数据集具有32分钟的室内记录功能,最多可同时在摄像机视野中记录3个快速移动的物体。物体和摄像机由VICON运动捕捉系统跟踪。通过对房间和物体进行3D扫描,可以获得精确的深度图地面实况和像素级物体遮罩,即使在光线不足的情况下和快速运动期间也是可靠的。然后,我们在EV-IMO上进行训练和评估我们的学习管道,并证明我们的方法远远超过其竞争对手,非常适合场景受限的机器人应用。
2020-01-12 cs.CV
Colorimetric Calibration of a Digital Camera
University of South Bohemia in České Budějovice(南波希米亚大学)
在本文中,我们介绍了一种新的物理化学方法校准的数码相机芯片。该方法利用不同灰度级的校准胶片的入射光谱的测量结果来构建每个相机像素的校准曲线(入射光子数与图像像素强度)。我们显示了这种校正的数字原始图像文件(主要的摄像机信号)的光谱特性,并证明了其适用于下一个图像处理和分析。
2017-08-14 astro-ph.IM cs.CV
Reading Between the Pixels: Photographic Steganography for Camera Display Messaging
Rutgers University(罗格斯大学)
我们利用人类的颜色同色异谱发送光调制的信息,人眼看不到,但可恢复的相机。这些消息是摄像机显示消息的关键组成部分,例如手持智能手机从电子标牌捕获信息。显示图像中的每个颜色像素由特定的颜色梯度矢量修改。挑战在于找到最大化相机响应的颜色梯度,同时最小化人类响应。人类光谱和相机灵敏度曲线的不匹配为隐藏消息创造了机会。我们的方法不需要了解这些敏感性曲线,而是采用数据驱动的方法。我们学习了颜色和颜色梯度的六维空间的椭圆分割。该划分创建由显示像素处的基色和用于消息编码的颜色梯度方向定义的条件等色集合。我们从所得到的色变异构体集合中进行采样,以找到每个基色的颜色步长,从而将二进制消息嵌入到具有减少的可见伪影的任意图像中。与之前依赖视觉上引人注目的强度调制的方法不同,我们嵌入了颜色,以便信息更加隐藏。普通的显示器和摄像机不需要昂贵的LED或高速设备。这项工作的主要贡献是一个框架,以映射任意图像中的像素到一个色变对隐写的照片消息。
2016-04-06 cs.CV cs.GR cs.MM
Volumetric Calculation of Quantization Error in 3-D Vision Systems
University College London(伦敦大学学院);Mullard Space Science Laboratory(穆拉德空间科学实验室)
本文探讨了如何固有的量化相机传感器在3-D映射过程中所观察到的功能的计算位置引入不确定性。通常假设像素和场景特征是点,然而,像素是映射到场景中多个点的二维区域。该不确定性区域是所计算的点位置中的量化误差的界限。早期的研究计算两个相交像素视图的体积,近似为长方体,通过将金字塔和圆锥体从像素投影到场景中。在本文中,我们通过生成场景点阵列并计算每个相机中的哪个像素检测到哪些场景点来反转这种方法。这使我们能够在一次计算中为给定相机系统的每个像素对应映射不确定区域,而无需近似复杂的形状。的依赖性的体积的不确定性区域上的相机基线长度,焦距,像素大小,和距离的对象,表明早期的研究高估了量化误差的至少两个因素。对于静态相机系统,该方法还可以用于确定体积场景几何形状,而不需要计算视差图。
2020-10-16 cs.CV eess.IV
Jointly Optimizing Color Rendition and In-Camera Backgrounds in an RGB Virtual Production Stage
Netflix(奈飞);Scanline VFX(Scanline视觉特效公司)
虽然虚拟制作系统中使用的LED面板可以显示具有宽色域的鲜艳图像,但由于窄带红色,绿色和蓝色LED的峰值光谱输出,它们在用作照明时会产生有问题的颜色偏移。在这项工作中,我们提出了一个改进的颜色校准过程中,虚拟生产阶段,改善这种颜色再现的问题,同时也通过准确的相机背景颜色。我们通过优化线性颜色校正变换来实现这一点:1)摄像机视场中可见的LED面板像素,2)摄像机视场外照亮主体的像素,以及作为后处理,3)摄像机记录的像素值。其结果是,在RGB LED面板虚拟制作阶段拍摄的镜头可以呈现更准确的肤色和服装颜色,同时仍然再现相机背景的所需颜色。
2022-07-01 cs.CV cs.GR
Two-pixel polarimetric camera by compressive sensing
CEA, IRFU, Service d’Astrophysique-SEDI(法国原子能和替代能源委员会、核研究与粒子物理研究所、天体物理服务部)
提出了一种基于数字微镜阵列和两个单像素探测器的压缩感知偏振成像新概念。所提出的设置的偏振灵敏度是由于反射镜的实验缺陷,这是利用在这里形成一个原始的重建问题,包括CS问题和声源分离任务。我们表明,一个两步的方法来解决每个问题连续优于一个专用的组合重建方法,这是在这篇文章中明确,最好是通过一个重新加权FISTA算法实现。然后通过包括特定于所考虑的极化成像上下文的物理约束来进一步改进组合重建方法,所述物理约束在原始约束GFB算法中实现。数值模拟表明,2像素CS偏振成像设置检索偏振对比度数据的效率与显着的压缩率和良好的重建质量。通过数值模拟,分析了DMD实验缺陷的影响,并给出了二维偏振成像重建结果。
2017-06-16 cs.CV physics.optics
Defocus Map Estimation and Deblurring from a Single Dual-Pixel Image
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Adobe Inc.(奥多比公司)
我们提出了一种方法,将单个双像素图像作为输入,同时估计图像的散焦图-每个像素的散焦模糊量-并恢复全聚焦图像。我们的方法的灵感来自于最近的作品,这些作品利用许多消费相机中可用的双像素传感器来辅助自动对焦,并使用它们来恢复散焦图或全聚焦图像。这些先前的工作已经独立地解决了两个恢复问题,并且通常需要大的标记数据集进行监督训练。相比之下,我们表明,它是有益的,同时对待这两个密切相关的问题。为此,我们建立了一个优化问题,通过仔细建模的双像素图像的光学,共同解决这两个问题。我们使用消费者智能手机相机捕获的数据来证明,在一次性校准步骤之后,我们的方法改进了散焦图估计和模糊去除的先前工作,尽管完全无监督。
2021-10-12 cs.CV
Event-Based Motion Segmentation by Motion Compensation
Monash University(莫纳什大学);ETH Zurich(苏黎世联邦理工学院)
提出首个基于事件运动补偿的按事件分割方法,通过最大化目标函数联合估计事件与物体的关联及运动参数,在公开数据集上性能比现有最优方法高出达10%。
2019-08-22 cs.CV
A Data-Driven Approach for Mitigating Dark Current Noise and Bad Pixels in Complementary Metal Oxide Semiconductor Cameras for Space-based Telescopes
College of Electronic Information and Optical Engineering, Taiyuan University of Technology(太原理工大学电子信息与光学工程学院);The University of Hong Kong(香港大学);Origin Space Co., Ltd.(起源太空有限公司)
针对天基望远镜CMOS相机暗电流噪声与坏点问题,提出数据驱动框架,通过像素聚类与函数拟合建立温度-暗电流关系,利用地面测试数据估计噪声并检测坏点,在“仰望一号”数据上显著提升探测效率。
2024-03-15 astro-ph.IM astro-ph.SR cs.CV
FlatCam: Thin, Bare-Sensor Cameras using Coded Aperture and Computation
Rice University(莱斯大学);Carnegie Mellon University(卡内基梅隆大学)
FlatCam是一款薄型无镜头相机,由放置在裸露的传统传感器阵列顶部的编码掩模组成。与传统的镜头相机不同,场景的图像直接记录在传感器像素上,FlatCam中的每个像素记录来自多个场景元素的光线的线性组合。然后使用计算算法来解复用所记录的测量结果并重建场景的图像。FlatCam是编码孔径成像系统的一个实例;然而,与绝大多数相关工作不同的是,我们将编码掩模放置在非常靠近图像传感器的位置,从而可以实现薄型系统。我们采用一个可分离的掩模,以确保校准和图像重建是可扩展的内存需求和计算复杂性方面。我们使用两个原型展示了FlatCam设计的潜力:一个在可见光波长,一个在红外波长。
2016-01-27 cs.CV
E-RAFT: Dense Optical Flow from Event Cameras
ETH Zurich(苏黎世联邦理工学院)
我们建议将特征相关性和顺序处理到事件相机的密集光流估计。现代基于帧的光流方法严重依赖于从特征相关性计算的匹配成本。相比之下,不存在用于事件相机的明确计算匹配成本的光流方法。相反,使用事件的基于学习的方法通常采用U-Net架构来稀疏地估计光流。我们的关键发现是,与以前仅依赖卷积层的方法相比,相关性特征的引入显着改善了结果。与现有技术相比,我们提出的方法计算密集的光流,并减少了23%的MVSEC上的端点误差。此外,我们表明,所有现有的光流方法开发到目前为止的事件摄像机已被评估的数据集与非常小的位移场的最大流量大小为10个像素。基于这一观察结果,我们引入了一个新的真实世界数据集,该数据集展示了高达210像素的位移场和3倍的相机分辨率。我们提出的方法将该数据集的终点误差降低了66%。
2021-10-21 cs.CV
CoreNet: Conflict Resolution Network for Point-Pixel Misalignment and Sub-Task Suppression of 3D LiDAR-Camera Object Detection
State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation(多模态人工智能系统国家重点实验室(MAIS)自动化研究所);School of Artificial Intelligence(人工智能学院)
针对3D激光雷达-相机目标检测中的点-像素错位与子任务抑制问题,提出CoreNet网络,通过双流变换模块和任务专属预测器解决冲突,在nuScenes数据集上取得优异性能。
2025-01-11 cs.CV