Coded Illumination for Improved Lensless Imaging
University of California, Riverside(加州大学河滨分校)
基于掩模的无透镜相机可以是平的、薄的和重量轻的,这使得它们适合于具有大表面积和任意形状的计算成像系统的新颖设计。尽管最近在无透镜相机方面取得了进展,但是由于底层测量系统的病态,从无透镜相机恢复的图像的质量通常很差。在本文中,我们提出了使用编码照明,以提高无透镜相机重建的图像质量。在我们的成像模型中,当无透镜相机记录传感器测量时,场景/对象被多个编码照明图案照亮。我们设计并测试了许多照明模式,并观察到移动点(和相关的正交)模式提供了最佳的整体性能。我们提出了一个快速和低复杂度的恢复算法,利用我们的系统中的可分性和块对角结构。仿真结果和硬件实验结果表明,该方法可以显着提高重建质量。
2023-01-10 cs.CV eess.IV
Joint Image and Depth Estimation with Mask-Based Lensless Cameras
University of California, Riverside(加州大学河滨分校)
基于掩模的无镜头相机用定制掩模取代传统相机的镜头。这些相机可能非常薄,甚至灵活。最近,已经证明这种基于掩模的相机可以恢复场景的光强度和深度信息。现有的深度恢复算法要么假设场景由少量的深度平面组成,要么在大的3D体积上解决稀疏恢复问题。这两种方法都不能恢复具有大深度变化的场景。在本文中,我们提出了一种新的深度估计方法的基础上交替梯度下降算法,联合估计一个连续的深度图和光分布的未知场景从其无透镜测量。我们提出了各种3D测试场景的图像和深度重建的模拟结果。与其他方法的比较表明,我们的算法是更强大的自然场景与大范围的深度。我们建立了一个原型无透镜相机和目前的实验结果重建的强度和深度图的不同的真实物体。
2020-06-19 cs.CV eess.IV
Hand Gestures Recognition in Videos Taken with Lensless Camera
Zhejiang University(浙江大学);Kunming Cotech Communication & Information Systems Co., Ltd(昆明科泰通信信息系统有限公司)
无镜头相机是一种成像系统,它使用掩模代替镜头,使其比镜头相机更薄,更轻,更便宜。然而,图像重建需要额外的复杂计算和时间。这项工作提出了一个名为Raw 3dNet的深度学习模型,该模型可以直接在无镜头相机捕获的原始视频上识别手势,而无需进行图像复原。除了节省计算资源之外,免重建方法还提供了隐私保护。Raw 3dNet是一种新型的端到端深度神经网络模型,用于无透镜成像系统中的手势识别。它是专为无镜头摄像头捕获的原始视频而创建的,能够正确提取和组合时间和空间特征。该网络由两个阶段组成:1。空间特征提取器(SFE),其在时间卷积之前增强每个帧的空间特征; 2. 3D-ResNet,实现视频流的空间和时间卷积。在无透镜光学实验中,该模型在剑桥手势数据集上达到了98.59%的准确率,这与透镜相机的结果相当。此外,物理对象识别的可行性进行了评估。此外,我们表明,识别可以实现相当的准确性,仅使用一小部分的原始原始数据,表明在云计算方案中减少数据流量的潜力。
2022-10-15 cs.CV eess.IV
LenslessPiCam: A Hardware and Software Platform for Lensless Computational Imaging with a Raspberry Pi
EPFL(洛桑联邦理工学院)
无透镜成像试图替换/移除常规成像系统中的透镜。最早的相机实际上是无镜头的,依靠长曝光时间在黑暗的房间/容器(暗箱)中的小光圈的另一端形成图像。镜头的引入允许更多的光通量,因此更短的曝光时间,同时保持锐利的焦点。数字传感器的结合很容易使计算成像技术的使用后处理和增强原始图像(例如,通过去模糊,修复,去噪,锐化)。最近,成像科学家已经开始利用计算成像作为无透镜成像系统的组成部分,允许他们从无透镜相机的高度复用的原始测量形成可视图像(参见[5]和其中的参考文献,用于无透镜成像的综合处理)。这代表了相机系统设计的真正范式转变,因为有更多的灵活性来满足硬件对手头的应用(例如轻量级或扁平设计)。然而,这种增加的灵活性是以原始数字记录的更苛刻的后处理以及传感和计算的更紧密集成为代价的,由于所涉及的各种科学家之间的低效互动,在实践中往往难以实现。通过LenslessPiCam,我们提供了一个易于访问的硬件和软件框架,使研究人员,业余爱好者和学生能够实现和探索无透镜成像的实践和计算方面。我们还提供详细的指南和练习,以便LenslessPiCam可以用作教育资源,并指出我们的研究生水平信号处理课程的结果。
2022-06-03 cs.CV eess.IV
Deep Camera Obscura: An Image Restoration Pipeline for Lensless Pinhole Photography
Arizona State University(亚利桑那州立大学);SenseBrain Technology(商汤科技(SenseBrain Technology))
无透镜针孔相机可能是最早和最简单的成像系统形式,仅使用针孔大小的光圈代替透镜。它们可以捕捉无限景深,并提供比基于镜头的同行更大的光学失真自由度。然而,针孔系统的固有限制导致由光学衍射引起的模糊的较低锐度和由于小光圈的低光通量引起的较高噪声水平,需要非常长的曝光时间来捕获曝光良好的图像。在本文中,我们探索了一个图像复原管道使用深度学习和针孔系统的领域知识,以提高针孔图像质量,通过联合去噪和去模糊的方法。我们的方法可以为手持摄影提供更实用的曝光时间,并提供更高的图像质量,使其与其他无镜头相机相比更适合日常摄影,同时保持低尺寸和低成本。这开启了针孔相机在更小设备(如智能手机)中使用的潜力。
2021-08-12 cs.CV eess.IV
Lensless Photography with only an image sensor
University of Utah(犹他大学)
摄影通常需要与记录设备(图像传感器)结合的光学器件。消除光学器件可能会导致相机的新形状因子。在这里,我们报告了一个简单的演示成像使用裸CMOS传感器,利用计算。该技术依赖于空间变化的点扩散函数,该函数由视场中的点源与图像传感器的相互作用产生。这些空间变化的点扩散函数与重建算法相结合,以图像简单的对象显示在离散的LED阵列以及在LCD屏幕上。我们将该方法扩展到以传感器的本机帧速率进行视频成像。最后,我们进行了实验,分析对象的距离的参数的影响。改进传感器设计和重建算法可以产生有用的没有光学器件的相机。
2017-02-21 cs.CV physics.optics
FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements
Rice University(莱斯大学)
无透镜成像已经成为一种潜在的解决方案,通过避开传统相机中的笨重镜头来实现超小型相机。在没有聚焦镜头的情况下,无透镜相机依赖于计算算法来从多路复用测量中恢复场景。然而,目前基于迭代优化的重建算法产生噪声和感知较差的图像。在这项工作中,我们提出了一种基于非迭代深度学习的重建方法,可以使无透镜重建的图像质量提高几个数量级。我们的方法,称为$\textit{FlatNet}$,奠定了一个框架,重建高品质的真实感图像从基于掩模的无透镜相机,相机的前向模型制定是已知的。FlatNet由两个阶段组成:(1)通过学习前向模型公式中的参数将测量映射到中间重建空间的反演阶段,以及(2)提高该中间重建的感知质量的感知增强阶段。这些阶段以端到端的方式一起训练。我们通过使用两种不同类型的无透镜原型对真实和具有挑战性的场景进行广泛的实验来展示高质量的重建:一种使用可分离的前向模型,另一种使用更一般的不可分离的裁剪卷积模型。我们的端到端方法速度快,可产生逼真的重建效果,并且易于用于其他基于掩模的无镜头相机。
2020-10-29 cs.CV cs.LG eess.IV
Learning rich optical embeddings for privacy-preserving lensless image classification
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
通过用薄的光学元件取代镜头,无镜头成像实现了传统相机设计和后处理所支持的应用和解决方案之外的新应用和解决方案,例如紧凑和轻便的形状因子和视觉隐私。后者源于无透镜相机的高度复用测量,这需要成像系统的知识来恢复可识别的图像。在这项工作中,我们利用这种独特的多路复用特性:将光学器件作为编码器,直接在相机传感器上产生学习的嵌入。我们在图像分类的上下文中这样做,其中我们以端到端的方式联合优化编码器的参数和图像分类器的参数。我们的实验表明,联合学习无透镜光学编码器和数字处理可以在传感器上实现较低分辨率的嵌入,从而更好地保护隐私,因为从这些测量中恢复有意义的图像要困难得多。额外的实验表明,这种优化允许无透镜测量,对典型的真实世界图像变换更鲁棒。虽然这项工作的重点是分类,但所提出的可编程无透镜相机和端到端优化可以应用于其他计算成像任务。
2022-06-03 cs.CV eess.IV
Learned Display Radiance Fields with Lensless Cameras
University College London(伦敦大学学院);Institute of Science Tokyo(东京科学研究所)
针对显示器校准依赖专用设备与暗室的问题,本文协同设计无透镜相机与基于隐式神经表示的算法,实现了从46.6° X 37.6°视锥范围内高效重建显示器光场,为便捷的显示器校准与特性表征奠定基础。
2025-10-13 cs.CV cs.ET
FlatTrack: Eye-tracking with ultra-thin lensless cameras
IIT Madras(印度马德拉斯理工学院);Rice University(莱斯大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本研究提出FlatTrack,一种基于掩模无透镜相机和轻量级深度神经网络算法的超扁平、轻量化眼动追踪系统,可嵌入眼镜框架内,在保持紧凑外形的同时实现与传统透镜追踪器相当的性能及>125 fps的实时注视追踪。
2025-01-26 cs.CV eess.IV
A Simple Framework for 3D Lensless Imaging with Programmable Masks
University of California Riverside(加州大学河滨分校);Carnegie Mellon University(卡内基梅隆大学)
无透镜相机通过在传感器附近用振幅或相位掩模替换传统相机中的透镜来提供构建薄成像系统的框架。现有的无透镜成像方法可以恢复场景的深度和强度,但它们需要解决计算昂贵的逆问题。此外,现有方法难以恢复具有大深度变化的密集场景。在本文中,我们提出了一种无透镜成像系统,捕获少量的测量使用不同的模式上的可编程掩模。在这方面,我们作出三项贡献。首先,我们提出了一种快速恢复算法来恢复场景中固定数量的深度平面上的纹理。其次,我们考虑的掩模设计问题,可编程无透镜相机,并提供了一个设计模板优化掩模图案的目标是提高深度估计。第三,我们使用细化网络作为后处理步骤来识别和去除重建中的伪影。这些修改进行了广泛的评估与无透镜相机原型上的实验结果,以展示最佳的掩模和恢复算法的性能优势,超过最先进的。
2021-08-18 cs.CV eess.IV
Guided Lensless Polarization Imaging
Tel Aviv University(特拉维夫大学);School of Electrical Engineering, Faculty of Engineering(工程学院电气工程学院)
本文提出一种结合紧凑型偏振-RGB传感器和常规RGB相机的无镜头偏振成像系统,通过两阶段流程提升重建质量与通用性。
2026-03-28 cs.AI cs.CV eess.IV
Let There Be Light: Robust Lensless Imaging Under External Illumination With Deep Learning
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对无透镜成像对外部照明敏感的问题,提出结合外部照明估计与可学习去噪的物理重建方法,显著提升鲁棒性,并开源实现及25K数据集。
2025-01-21 cs.CV eess.IV
PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);SenseTime(商汤科技)
针对无透镜成像现有算法重建质量不足的问题,提出两阶段重建方法PhoCoLens,结合空间变化反卷积保证数据一致性与扩散模型生成先验增强真实感,在两类无透镜系统上实现了保真度和视觉质量的更优平衡。
2024-10-07 cs.CV cs.LG eess.IV
Block-wise Lensless Compressive Camera
Bell Labs(贝尔实验室)
现有的无透镜压缩相机($\text{L}^2\text{C}^2$)~ \cite{Huang13ICIP}遭受低捕获速率,导致在短时间内采集时的低分辨率图像。在这项工作中,我们提出了一个新的制度,以减轻这些缺点。我们用基于局部块(补丁)的压缩感知代替现有$\text{L}^2\text{C}^2$中使用的基于全局的压缩感知。我们对每个块使用单个传感器,而不是对整个图像使用单个传感器,从而形成多个但空间上平行的传感器$\text{L}^2\text{C}^2$。这种新相机保留了现有$\text{L}^2\text{C}^2$的优点,同时带来以下额外的好处:1)由于每个块可以非常小,{ \em例如} $~8\times 8$像素,我们只需要捕获$\sim 10$测量值就可以实现合理的重建。因此,捕获时间可以显著减少。2)在每个块中使用的编码模式可以是相同的,因此感测矩阵仅具有与现有$\text{L}^2\text{C}^2$中的整个图像大小相比的块大小。这节省了感测矩阵的存储器需求,并且加快了重构。3)基于块的图像重建是快速的,因为实时的拼接算法的存在,我们可以执行实时的重建。4)这些小块可以集成到任何所需的数量,从而产生超高分辨率图像,同时保持快速捕获速率和快速重建。在本文中,我们开发了这种块式$\text{L}^2\text{C}^2$的多种几何形状。我们已经建立了原型的建议块明…
2017-01-19 cs.CV
Lensless computational imaging through deep learning
Massachusetts Institute of Technology(麻省理工学院);Singapore-MIT Alliance for Research and Technology (SMART) Centre(新加坡-麻省理工学院科研与技术联盟(SMART)中心)
深度学习已被证明可以为许多分类和决策任务提供可靠的可概括的答案。在这里,我们第一次证明,据我们所知,深度神经网络(DNN)可以被训练来解决计算成像中的逆问题。我们实验性地演示了一个无透镜成像系统,其中DNN被训练来恢复一个相位对象,给出了一个在一定距离外记录的原始强度图像。
2017-06-26 cs.CV physics.optics
DiffuserCam: Lensless Single-exposure 3D Imaging
University of California, Berkeley(加州大学伯克利分校)
我们展示了一个紧凑,易于构建的计算相机的单次拍摄的3D成像。我们的无透镜系统仅由放置在标准图像传感器前面的扩散器组成。体积视场内的每个点在传感器上投射焦散的唯一伪随机图案。通过使用一个物理近似和简单的校准方案,我们解决了大规模的反问题的计算效率的方式。焦散图案实现压缩感测,其利用样本中的稀疏性来求解比2D传感器上的像素更多的3D体素。我们的3D体素网格被选择为匹配实验测量的跨视场的两点光学分辨率,从而从单个130万像素图像重建1亿体素。然而,有效分辨率随场景内容而显著变化。由于这种效果是常见的计算相机的范围很广,我们提供了新的理论分析在这样的系统中的分辨率。
2017-10-05 cs.CV
Integrated Forward-Inverse Network for Lensless Image Reconstruction
Department of Mechanical Engineering, Seoul National University(韩国首尔国立大学机械工程系);School of Mechanical and Aerospace Engineering/SNU-IAMD, Seoul National University(韩国首尔国立大学机械与航空航天工程学院/SNU-IAMD);Department of Electrical and Electronic Engineering, Yonsei University(韩国延世大学电气与电子工程系);Department of Biomedical Engineering, University of Michigan(美国密歇根大学安娜堡分校生物医学工程系)
研究无透镜成像重建难题,提出集成正反网络,通过在各尺度交错可微正向投影与可学习反向更新,利用互补线索,实现渐进、物理一致的细化及PSF内核自适应,达最优重建质量。
2026-07-07 cs.CV
Privacy-Enhancing Optical Embeddings for Lensless Classification
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
无透镜成像由于其测量的高度多路复用特性而可以提供视觉隐私。然而,这本身是一种弱形式的安全性,因为可以设计各种对抗攻击来反转这种相机的一对多场景映射。在这项工作中,我们通过(1)在传感器处进行下采样和(2)使用具有可变图案的可编程掩模作为我们的光学编码器来增强无透镜成像提供的隐私。我们从低成本的LCD和Raspberry Pi组件构建了一个原型,总成本约为100美元。这一非常低的价格点使我们的系统能够在广泛的应用中部署和利用。在我们的实验中,我们首先证明了我们的系统的可行性和可重构性,通过将其应用于各种分类任务:MNIST,CelebA(面部属性),和CIFAR10。通过以端到端的方式联合优化掩模模式和数字分类器,可以直接在传感器上学习低维的隐私增强嵌入。其次,我们展示了所提出的系统如何通过可变掩码模式来阻止试图通过明文攻击或(2)在相机参数泄漏的情况下反转系统的对手。我们证明了我们的系统对这两种风险的防御,基于模型的凸优化和生成神经网络的攻击的图像质量指标分别下降了55%和26%。我们开源了端到端优化所需的波传播和摄像机模拟器、培训软件以及用于与摄像机接口的库。
2022-11-23 cs.CV eess.IV
Camera Bias in a Fine Grained Classification Task
Durham University(杜伦大学);Procter and Gamble(宝洁公司)
我们表明,用于获取图像的相机和该图像的类标签之间的相关性可以被卷积神经网络(CNN)利用,从而产生一个模型,该模型通过识别哪个相机拍摄了图像并从相机推断类标签来“欺骗”图像分类任务。我们发现,在具有相机/标签相关性的数据集上训练的模型不能很好地推广到不存在这些相关性的图像,也不能推广到来自未遇到的相机的图像。此外,我们调查的视觉功能,他们正在利用相机识别。我们的实验提出的证据对全球的颜色统计,镜头变形和色差的重要性,并有利于高频功能,这可能是由内置到相机的图像处理算法。
2020-07-16 cs.CV
Learned reconstructions for practical mask-based lensless imaging
University of California, Berkeley(加州大学伯克利分校);University of California, San Francisco(加州大学旧金山分校)
基于掩模的无透镜成像器比传统的透镜相机更小更轻。在这些成像器中,传感器不直接记录场景的图像;而是通过计算算法重建图像。通常,基于掩模的无透镜成像器使用基于模型的重建方法,该方法具有计算时间长以及严重依赖系统校准和选择性去噪的缺点。在这项工作中,我们使用有界计算,可训练的神经网络来重建图像,以解决这些限制。我们通过展开传统的基于模型的优化算法来利用我们对物理系统的了解,我们使用实验收集的地面实况数据来优化其参数。可选地,由展开的网络产生的图像然后被馈送到联合训练的去噪器中。与传统方法相比,我们的架构实现了更好的感知图像质量,运行速度快20倍,实现了场景的交互式预览。我们探索了基于模型的方法和深度学习方法之间的范围,展示了使用中间方法的好处。最后,我们在野外使用基于面具的原型相机拍摄的图像上测试了我们的网络,证明了我们的网络可以推广到自然图像。
2019-08-30 cs.CV eess.IV
Anti-biofouling Lensless Camera System with Deep Learning based Image Reconstruction
Sony Group Corporation(索尼集团公司);Japan Agency for Marine-Earth Science and Technology (JAMSTEC)(日本海洋地球科学技术机构(JAMSTEC))
针对水下镜头易被生物污垢附着的问题,本文提出带1000个矩形针孔的抗污薄金属编码孔径无透镜相机,并结合ViT或门控MLP重建图像,正在真实海水中验证其抗污与成像性能。
2024-10-02 cs.CV eess.IV
Towards Physics-informed Cyclic Adversarial Multi-PSF Lensless Imaging
针对现有GAN类无透镜成像方法依赖特定PSF、泛化性差的问题,提出带PSF感知分支与物理前向模型的双判别器循环对抗框架,实现无需重训练的多PSF鲁棒重建。
2024-07-09 cs.CV eess.IV
Kernel Cross-View Collaborative Representation based Classification for Person Re-Identification
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
人员重新识别的目的是在一个人在非重叠的监控摄像头之间移动时维护全局身份。这是一项艰巨的任务,由于不同的照明条件,观点和少量的注释个人从每对相机(小样本大小的问题)。基于协作表示的分类(CRC)已成功地用于解决计算机视觉中的小样本问题。然而,原始CRC公式不太适合于人的重新识别,因为它没有考虑到探针和图库样本来自不同的相机。此外,它是一个线性模型,而由不同的相机条件引起的外观变化表明相机之间的强非线性过渡。为了克服这些限制,我们提出了内核跨视图协作表示为基础的分类(内核X-CRC),代表探头和画廊的图像,通过平衡的代表性和相似性非线性。它假设探针及其对应的图库图像使用来自训练集的个体用类似的编码向量表示。实验结果表明,我们的假设是正确的,当使用一个高维的特征向量,并变得更加引人注目时,处理低维和歧视性的表示使用一个共同的子空间学习方法计算。我们在两个人重新识别数据集(PRID 450 S和GRID)中实现了最先进的秩1匹配率,并在VIPeR和CUHK 01数据集上获得了第二好的结果。
2016-11-21 cs.CV
Towards Robust and Generalizable Lensless Imaging with Modular Learned Reconstruction
针对无透镜成像学习方法的泛化性不足问题,提出一种包含预处理器的模块化学习重建方法,理论上证明其必要性并跨掩模类型验证了有效性,同时开源数据集与软件。
2025-02-03 cs.CV eess.IV
GANESH: Generalizable NeRF for Lensless Imaging
Shiv Nadar University(希夫·纳达尔大学);Indian Institute of Technology, Madras(马德拉斯印度理工学院)
针对无透镜成像中传统方法难以泛化到三维重建的问题,提出GANESH框架,实现多视角无透镜图像的同步细化与新视角合成,支持即时推理,并发布首个多视角无透镜数据集LenslessScenes,实验证明其在重建精度和细化质量上优于现有方法。
2024-11-07 cs.CV eess.IV
Two-phase training mitigates class imbalance for camera trap image classification with CNNs
KU Leuven(鲁汶大学)
通过利用深度学习自动分类相机陷阱图像,生态学家可以更有效地监测生物多样性保护工作和气候变化对生态系统的影响。由于相机陷阱数据集的类分布不平衡,当前的模型偏向于大多数类。因此,他们获得了良好的性能为少数多数类,但许多少数民族的表现不佳。我们使用两阶段培训来提高这些少数民族班的表现。在基线模型旁边,我们训练了四个模型,这些模型在高度不平衡的快照塞伦盖蒂数据集的一个子集上实现了不同版本的两阶段训练。我们的研究结果表明,两阶段训练可以提高许多少数民族班的成绩,而其他班的成绩损失有限。我们发现,基于多数欠采样的两阶段训练将类特定的F1分数提高了3.0%。我们还发现,两阶段训练在F1分数上平均优于仅使用过采样或欠采样的6.1%。最后,我们发现,过采样和欠采样的组合导致更好的性能比单独使用它们。
2021-12-29 cs.CV cs.LG
GhostImage: Remote Perception Attacks against Camera-based Image Classification Systems
University of Arizona(亚利桑那大学);Virginia Tech(弗吉尼亚理工大学)
在基于视觉的对象分类系统中,成像传感器感知环境,然后使用机器学习来检测和分类对象以用于决策目的;例如,操纵自动车辆绕过障碍物或发出警报以指示监视设置中的入侵者的存在。在这项工作中,我们演示了如何感知域可以远程和不引人注目地利用,使攻击者能够创建虚假的对象或改变现有的对象。一个依赖于受我们攻击的检测/分类框架的自动化系统可能会因为攻击者引起的误解而采取灾难性的行动。我们专注于基于相机的系统,并表明可以通过利用光学成像系统中的两种常见效应将对抗模式远程投影到相机系统中,即,镜头闪光/重影效果和自动曝光控制。为了提高攻击对信道影响的鲁棒性,我们通过将对抗性机器学习技术与经过训练的端到端信道模型相结合来生成最佳模式。我们实验证明我们的攻击使用低成本的投影仪,在三个不同的图像数据集,在室内和室外环境中,并与三个不同的摄像头。实验结果表明,根据投影机和摄像机的距离,攻击成功率可以高达100%,并在有针对性的条件下。
2020-06-23 cs.CR cs.CV cs.LG
Bridging Domain Gaps for Fine-Grained Moth Classification Through Expert-Informed Adaptation and Foundation Model Priors
University of Exeter(埃克塞特大学);Aarhus University(奥胡斯大学)
本文针对蛾类细粒度分类中的领域偏移问题,提出结合专家标注野外数据与 BioCLIP2 知识蒸馏到 ConvNeXt-tiny 的轻量级方法,在 101 种丹麦蛾类上以更低计算成本达到与 BioCLIP2 相当的准确率。
2025-08-27 cs.CV
DART$^3$: Leveraging Distance for Test Time Adaptation in Person Re-Identification
LIVIA, École de technologie supérieure(LIVIA,École de technologie supérieure);Genetec Inc(Genetec公司)
提出DART$^3$测试时自适应框架,利用距离目标函数缓解行人重识别中的相机偏差,无需源数据或重训练,在多个基准上优于现有TTA方法。
2025-05-23 cs.CV
Progressive Cross-camera Soft-label Learning for Semi-supervised Person Re-identification
Nanjing University(南京大学);University of Wollongong(伍伦贡大学)
在本文中,我们专注于半监督的人重新识别(Re-ID)的情况下,只有相机内(内相机)标签,但没有相机间(跨相机)标签。在现实世界的应用中,这些相机内标签可以很容易地捕捉跟踪算法或少量的手动注释,当与跨相机标签。在这种情况下,由于缺乏跨相机标签信息,在训练阶段探索跨相机人之间的关系是非常困难的。为了解决这个问题,我们提出了一种新的渐进式跨摄像机软标签学习(PCSL)框架,用于半监督人Re-ID任务,它可以生成跨摄像机软标签,并利用它们来优化网络。具体地,我们基于人级别的特征计算亲和度矩阵,并调整它们以产生跨相机人之间的相似性(即,交叉相机软标签)。为了利用这些软标签来训练网络,我们分别从分类和区分的角度研究了加权交叉熵损失和加权三重损失。特别地,所提出的框架交替地生成渐进的跨相机软标签,并在整个学习过程中逐渐改善特征表示。在五个大规模基准数据集上进行的广泛实验表明,PCSL的性能明显优于采用标记源域或基于GAN模型生成的图像的最先进的无监督方法。此外,所提出的方法甚至具有与深度监督Re-ID方法相比的竞争性能。
2020-03-24 cs.CV
Intra-Inter Camera Similarity for Unsupervised Person Re-Identification
Peking University(北京大学)
大多数无监督的人再识别(Re-ID)工作通过测量特征相似性来产生伪标签,而不考虑相机之间的分布差异,导致跨相机的标签计算精度降低。本文的目标是通过研究一种新的摄像机内-摄像机间相似性来解决这一挑战。我们将样本相似度计算分解为两个阶段,即,摄像机内和摄像机间的计算。相机内计算直接利用CNN特征来进行每个相机内的相似性计算。在多分支网络中,在不同相机上生成的伪标签训练re-id模型。第二阶段将每个样本在不同相机上的分类得分作为新的特征向量。这个新功能有效地消除了相机之间的分布差异,并生成更可靠的伪标签。因此,我们训练我们的re-id模型,在两个阶段与相机内和相机间的伪标签,分别。这种简单的相机内-相机间相似性在多个数据集上产生了令人惊讶的良好性能,例如,在Market 1501数据集上实现了89.5%的rank-1准确率,比最近的无监督作品高出9+%,并且与利用额外注释的最新迁移学习作品相当。
2021-03-22 cs.AI cs.CV
FlatCam: Thin, Bare-Sensor Cameras using Coded Aperture and Computation
Rice University(莱斯大学);Carnegie Mellon University(卡内基梅隆大学)
FlatCam是一款薄型无镜头相机,由放置在裸露的传统传感器阵列顶部的编码掩模组成。与传统的镜头相机不同,场景的图像直接记录在传感器像素上,FlatCam中的每个像素记录来自多个场景元素的光线的线性组合。然后使用计算算法来解复用所记录的测量结果并重建场景的图像。FlatCam是编码孔径成像系统的一个实例;然而,与绝大多数相关工作不同的是,我们将编码掩模放置在非常靠近图像传感器的位置,从而可以实现薄型系统。我们采用一个可分离的掩模,以确保校准和图像重建是可扩展的内存需求和计算复杂性方面。我们使用两个原型展示了FlatCam设计的潜力:一个在可见光波长,一个在红外波长。
2016-01-27 cs.CV
DifuzCam: Replacing Camera Lens with a Mask and a Diffusion Model
Tel Aviv University(特拉维夫大学)
针对平面无镜头相机重建图像质量不佳的问题,提出结合带控制网络的预训练扩散模型与可学习可分离变换的重建方法,构建出成像质量与感知效果达SOTA的DifuzCam原型,还可结合文本描述增强重建,方法可推广至其他成像系统。
2024-08-14 cs.AI cs.CV eess.IV
CTRL-C: Camera calibration TRansformer with Line-Classification
Kakao Brain;Kookmin University(国民大学);POSTECH(浦项科技大学);KAIST(韩国科学技术院)
单图像摄像机标定是从一幅输入图像中估计摄像机参数的任务,如消失点、焦距和水平线。在这项工作中,我们提出了摄像机校准与线分类(CTRL-C),一个端到端的神经网络为基础的方法来单图像摄像机校准,直接估计摄像机参数从图像和一组线段。我们的网络采用Transformer架构,以端到端的方式捕获具有多模态输入的图像的全局结构。我们还提出了一个辅助任务的线分类训练网络提取的全局几何信息有效的线。我们的实验表明,CTRL-C优于以前的国家的最先进的方法在谷歌街景和SUN 360基准数据集。
2021-09-06 cs.CV
Instance camera focus prediction for crystal agglomeration classification
Elmore School of Electrical and Computer Engineering, Purdue University(电气与计算机工程系,普渡大学);Davidson School of Chemical Engineering, Purdue University(化学工程系,普渡大学)
通过实例相机聚焦预测与实例分割模型,提升晶体聚集分类的准确性。
2026-01-13 cs.CV
Open surgery tool classification and hand utilization using a multi-camera system
Technion – Israel Institute of Technology(以色列理工学院);Stanford University School of Medicine(斯坦福大学医学院)
目的:这项工作的目标是使用多摄像机视频对开放手术工具进行分类,并识别每只手持有的工具。多摄像机系统有助于防止开放手术视频数据中的遮挡。此外,组合多个视图,例如覆盖整个手术野的俯视摄像机和聚焦于手部运动和解剖结构的特写摄像机,可以提供手术工作流程的更全面视图。然而,多相机数据融合带来了新的挑战:工具可能在一个相机中可见,而在另一个相机中不可见。因此,我们将全局地面实况定义为正在使用的工具,而无论其可见性如何。因此,图像之外的工具应该被记住很长一段时间,而系统可以快速响应视频中可见的变化。方法:参与者(n=48)进行了模拟开放式肠修补术。使用了顶视图和特写镜头。YOLOv 5用于工具和手的检测。具有每秒30帧(fps)的1秒窗口的高频LSTM和具有每秒3fps的40秒窗口的低频LSTM用于空间、时间和多相机集成。结果如下:六个系统的准确度和F1分别为:顶视图(0.88/0.88),特写(0.81,0.83),双摄像头(0.9/0.9),高fps LSTM(0.92/0.93),低fps LSTM(0.9/0.91),以及我们最终的架构多摄像头分类器(0.93/0.94)。结论:通过将来自多相机阵列的具有高fps和低fps的系统相结合,我们提高了全局地面实况的分类能力。
2021-11-11 cs.CV
A Voxel Graph CNN for Object Classification with Event Cameras
Beijing University of Technology(北京工业大学);Central China Normal University(华中师范大学);City University of Hong Kong(香港城市大学);Southeast University(东南大学)
事件摄像机由于其低功耗、高动态范围和极高的时间分辨率而吸引了研究人员的注意。基于事件的对象分类的学习模型最近取得了巨大的成功,通过将稀疏事件累积到密集帧中来应用传统的2D学习方法。然而,由于稀疏到密集转换引入的冗余信息,这些方法需要重量级模型并且具有高计算复杂性,限制了事件相机在现实生活应用中的潜力。本研究旨在解决基于事件的分类模型的准确性和模型复杂性之间的平衡的核心问题。为此,我们引入了一种新的图形表示的事件数据,以更好地利用其稀疏性和定制的轻量级体素图卷积神经网络(\textit{EV-VGCNN})基于事件的分类。具体而言,(1)使用体素的顶点,而不是以前的逐点输入,显式地利用区域的2D语义的事件流,同时保持稀疏性;(2)提出了一个多尺度的特征关系层(\textit{MFRL})提取空间和运动线索,从每个顶点有区别地涉及其到邻居的距离。综合实验表明,我们的模型可以提高国家的最先进的分类精度与极低的模型复杂度(仅0.84 M参数)。
2022-04-08 cs.CV
Inceptive Event Time-Surfaces for Object Classification Using Neuromorphic Cameras
University of Dayton(代顿大学)
本文提出了一种新的融合低层次的降维方法到一个有效的方法,高层次的对象在神经形态相机数据称为初始事件时间表面(IETS)。IETS克服了传统的时间表面的几个限制,提高鲁棒性噪声,促进空间的一致性,并提高(移动)边缘的时间定位。将IETS与迁移学习相结合,提高了利用事件相机数据进行对象分类这一具有挑战性问题的最新性能。
2020-02-26 cs.CV cs.NE eess.IV
Parking Spot Classification based on surround view camera system
本文基于环视鱼眼摄像头系统解决停车位分类问题,通过改进YOLOv4并引入新型多边形边界框模型,有效区分普通、电动汽车及残疾人车位,是自动代客泊车场景下的首个详细研究。
2023-10-05 cs.AI cs.CV
Residual-CycleGAN based Camera Adaptation for Robust Diabetic Retinopathy Screening
Baidu Inc(百度公司)
糖尿病视网膜病变(DR)眼底图像自动检测是目前研究的热点。然而,当将这些模型应用于真实世界的DR筛查时,观察到准确性下降,其中眼底相机品牌与用于捕获训练图像的相机品牌不同。我们如何训练一个分类模型,对一个品牌的眼底图像进行分类,同时对其他品牌的眼底图像也有很好的分类效果?在本文中,我们定量地验证眼底相机品牌相关的域偏移的DR分类模型的性能的影响,从实验的角度。此外,我们提出了面向相机的residual-CycleGAN,以减轻相机品牌的差异,通过域自适应,并实现目标相机图像上的分类性能的提高。在EyePACS数据集和私有数据集上进行的大量消融实验表明,相机品牌差异会显著影响分类性能,证明了该方法能有效提高目标域的模型性能.我们已经推断并标记了EyePACS数据集中每个图像的相机品牌,并将公布相机品牌标签,以进一步研究领域适应。
2020-07-31 cs.CV eess.IV
An explainable deep vision system for animal classification and detection in trail-camera images with automatic post-deployment retraining
Texas Tech University(德克萨斯理工大学);Texas Parks and Wildlife Department(德克萨斯州公园与野生动物管理局)
本文介绍了一个自动视觉系统的动物检测跟踪相机的图像下,从得克萨斯州公园和野生动物部门的管理。由于传统的野生动物计数技术是侵入性的和劳动密集型的行为,跟踪相机成像是一个相对非侵入性的方法来捕捉野生动物活动。然而,鉴于从跟踪相机产生的大量图像,对图像的手动分析仍然是耗时且低效的。我们实现了一个两阶段的深度卷积神经网络管道,在第一阶段找到包含动物的图像,然后在第二阶段处理这些图像以检测鸟类。动物分类系统对动物图像进行分类,总体灵敏度为93%,特异性为96%。该鸟类检测系统实现了超过93%的灵敏度,92%的特异性和68%的平均相交率。整个流水线在不到0.5秒的时间内处理一张图像,而人工标签机的平均处理时间为30秒。我们还解决了与动物分类系统的数据漂移相关的部署后问题,因为图像特征随季节变化而变化。该系统利用自动再训练算法来检测数据漂移并更新系统。我们介绍了一种新的技术,用于检测漂移的图像和触发的再训练过程。还提出了两个统计实验来解释动物分类系统的预测行为。这些实验研究了引导系统做出特定决定的线索。统计假设检验表明,在输入图像中的动物的存在显着有助于系统的决定。
2020-12-08 cs.CV
A Novel Hierarchical-Classification-Block Based Convolutional Neural Network for Source Camera Model Identification
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
由于互联网基础设施的快速适应,社交媒体和数码相机的日益普及,数字安全一直是研究兴趣的活跃领域。由于产生图像的工作原理的固有差异,不同的相机品牌留下不同的固有处理噪声,其可用于识别相机品牌。在过去的十年中,已经提出了许多基于信号处理和深度学习的方法来识别和隔离图像中的场景细节中的这种噪声,以检测源相机品牌。一个突出的解决方案是利用分层分类系统,而不是传统的单一分类器的方法。不同的个体网络用于品牌级和型号级源相机识别。这种方法允许更好的缩放,并且需要最小的修改来向解决方案添加新的相机品牌/型号。然而,使用不同的成熟网络进行品牌和模型级分类会大大增加内存消耗和训练复杂性。此外,从不同网络的初始层中提取的低级特征往往是一致的,从而导致冗余的权重。为了减轻训练和内存的复杂性,我们提出了一个分类器块级的分层系统,而不是一个网络级的源相机模型分类。我们所提出的方法不仅可以显著减少参数,而且可以保留以最小修改添加新相机模型的能力。在公开的德累斯顿数据集上进行的彻底实验表明,与最先进的网络级分层系统相比,我们提出的方法可以实现相同水平的最先进性能,但需要更少的参数。
2022-12-08 cs.CV cs.LG eess.IV
Deep learning-based hierarchical insect classification using camera trap imagery
本文构建长尾昆虫数据集,提出适配可变深度层级的深度学习分类模型,结合类别平衡加权,在5级分类任务上取得80%-99%的每级别准确率,可用于昆虫生物多样性监测。
2026-07-31 cs.CV
Advanced Volleyball Stats for All Levels: Automatic Setting Tactic Detection and Classification with a Single Camera
University of California, Irvine(加州大学欧文分校);Meta Platforms, Inc.(元平台公司);University of California, Santa Barbara(加州大学圣巴巴拉分校)
提出 PathFinder 与 PathFinderPlus 单摄像头端到端视觉框架,通过二传轨迹识别与分类及接应攻手排别识别,实现鲁棒、实时的高级排球战术统计。
2023-09-26 cs.CV
Camera Movement Classification in Historical Footage: A Comparative Study of Deep Video Models
本文首次系统评估深度视频模型在历史影像上的摄像机运动分类,发现Video Swin Transformer在HISTORIAN数据集上以80.25%准确率最优,凸显低质量视频适配挑战与潜力。
2025-10-16 cs.AI cs.CV eess.IV
Sequence Information Channel Concatenation for Improving Camera Trap Image Burst Classification
University of Washington(华盛顿大学);Microsoft AI for Earth(微软地球人工智能项目)
相机陷阱被广泛用于观察野生动物在其自然栖息地,而不会干扰生态系统。这有助于早期发现自然或人类对动物的威胁,并有助于生态保护。目前,世界各地的各种生态保护区都部署了大量这样的相机陷阱,数十年来一直在收集数据,因此需要自动化来检测包含动物的图像。现有系统通过考虑单个图像来执行分类以检测图像是否包含动物。然而,由于动物在其自然栖息地中栖息的具有挑战性的场景,有时仅从单个图像识别动物的存在变得困难。我们假设,假设动物移动,短时间的图像而不是单个图像,使人类和机器更容易检测到动物的存在。在这项工作中,我们探索了各种方法,并测量使用短图像序列(突发的3个图像),提高相机陷阱图像分类的影响。我们表明,与从单个图像学习的等效模型相比,将包含序列信息的掩码和来自跨通道的3个图像突发的图像连接起来,在来自看不见的相机站点的测试集上将ROC AUC提高了20%。
2020-06-06 cs.CV cs.LG
Efficient Pipeline for Camera Trap Image Review
California Institute of Technology(加州理工学院);Microsoft AI for Earth(微软地球人工智能)
世界各地的生物学家都使用相机陷阱来监测生物多样性和野生动物种群密度。计算机视觉社区一直在朝着自动化相机陷阱中的物种分类挑战迈进,但事实证明,很难将在一个地区训练的模型应用于在不同地理区域收集的图像。在某些情况下,由于背景的变化和以前未见过的物种的存在,准确性在新的区域灾难性地下降。我们提出了一个管道,利用一个预先训练的一般动物检测器和一个较小的一组标记的图像训练分类模型,可以有效地实现准确的结果,在一个新的区域。
2019-07-15 cs.CV
DeepI2P: Image-to-Point Cloud Registration via Deep Classification
Bytedance(字节跳动);National University of Singapore(新加坡国立大学)
本文介绍了DeepI2P:一种用于图像和点云之间的跨模态配准的新方法。给定在同一场景中的不同位置捕获的图像(例如,来自RGB相机)和一般点云(例如,来自3D激光雷达扫描仪),我们的方法估计相机和激光雷达的坐标系之间的相对刚性变换。由于两种模态之间缺乏外观和几何相关性,学习共同的特征描述符以建立配准的对应关系本质上是具有挑战性的。我们规避困难,将注册问题转化为一个分类和逆相机投影优化问题。设计了一个分类神经网络来标记点云中每个点的投影是在摄像机截头内还是在摄像机截头外。这些标记的点随后被传递到一个新的逆相机投影求解器,以估计相对姿态。在Oxford Robotcar和KITTI数据集上的大量实验结果证明了该方法的可行性。我们的源代码可以在https://github.com/lijx10/DeepI2P上找到
2021-04-08 cs.AI cs.CV
Autonomous Human Activity Classification from Ego-vision Camera and Accelerometer Data
Syracuse University(雪城大学)
已经有大量的研究工作对人类活动分类依赖于惯性测量单元(IMU)的数据或静态相机提供第三人称视图的数据。仅使用IMU数据限制了可以检测到的活动的多样性和复杂性。例如,可以通过IMU数据来检测坐姿活动,但是不能确定受试者是否坐在椅子上或沙发上,或者受试者在哪里。为了从以自我为中心的视频中执行细粒度的活动分类,并区分仅通过IMU数据无法区分的活动,我们提出了一种使用来自自我视觉相机和IMU的数据的自主且鲁棒的方法。与基于卷积神经网络的方法相比,我们提出采用胶囊网络从以自我为中心的视频数据中获取特征。此外,卷积长短期记忆框架都采用自我中心的视频和IMU数据捕捉动作的时间方面。我们还提出了一种基于遗传算法的方法来自主和系统地设置各种网络参数,而不是使用手动设置。实验已经进行了执行9-和26-标签的活动分类,和所提出的方法,使用自主设置的网络参数,提供了非常有前途的结果,实现了86.6%和77.2%的整体准确率,分别。与仅使用自我视觉数据和仅IMU数据相比,结合两种模式的所提出的方法还提供了更高的准确性。
2019-05-28 cs.CV eess.IV
GeoIMO: Geometry-Driven Independent Motion Classification for Event Cameras
Politecnico di Torino(都灵理工大学)
提出一种无监督的几何驱动框架,通过事件流中的自运动结构将检测对象分类为静态或独立运动,无需学习或人工标注。
2026-06-24 cs.CV
Reviving the Context: Camera Trap Species Classification as Link Prediction on Multimodal Knowledge Graphs
The Ohio State University(俄亥俄州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出将相机陷阱物种分类转化为多模态知识图谱链接预测的新框架,利用结构化上下文提升分布外泛化能力,在多个数据集上取得优异性能并增强样本效率。
2024-08-24 cs.AI cs.CV
A needle-based deep-neural-network camera
University of Utah(犹他大学)
我们实验演示了一个相机的主要光学是一个套管(直径= 0.22毫米,长度= 12.5毫米),作为一个光管传输光强度从一个物体平面(35厘米远),其相对端。深度神经网络(DNN)用于重建彩色和灰度图像,视野为180,角分辨率为~0.40。当在具有深度信息的图像上训练时,DNN可以创建深度图。最后,我们展示了基于DNN的EMNIST数据集分类,没有和图像重建。前者可以用于具有增强隐私的成像。
2020-11-14 cs.CV eess.IV physics.optics
LRC-WeatherNet: LiDAR, RADAR, and Camera Fusion Network for Real-time Weather-type Classification in Autonomous Driving
Halmstad University, School of Information Technology, Center for Applied Intelligent Systems Research(哈姆斯塔德大学,信息科技学院,应用智能系统研究中心)
本文提出LRC-WeatherNet,通过融合激光雷达、雷达和摄像头数据,实现在恶劣天气下的实时天气分类,优于单一传感器基线,且在MSU-4S数据集上表现优异。
2026-03-23 cs.AI cs.CV