FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras
KAIST（韩国科学技术院）；Brown University（布朗大学）
高精度的每像素深度对于计算摄影至关重要，因此智能手机现在具有多模式相机系统，具有飞行时间（ToF）深度传感器和多种彩色相机。然而，由于ToF传感器的低分辨率和有限的主动照明功率，产生精确的高分辨率深度仍然具有挑战性。融合RGB立体和ToF信息是克服这些问题的一个很有前途的方向，但仍然存在一个关键问题：为了提供高质量的2D RGB图像，主颜色传感器的镜头是光学稳定的，导致浮动镜头的未知姿态打破了多模态图像传感器之间的几何关系。利用ToF深度估计和广角RGB相机，我们设计了一种基于密集2D/3D匹配的自动校准技术，该技术可以从单个快照中估计稳定的主RGB传感器的相机外部，内部和失真参数。这使我们能够通过相关体积融合立体声和ToF线索。对于融合，我们通过真实世界的训练数据集应用深度学习，并通过神经重建方法估计深度监督。为了进行评估，我们使用商业高功率深度相机获取测试数据集，并表明我们的方法比现有基线实现了更高的准确性。
2022-10-06 cs.CV
Efficient Hybrid Zoom using Camera Fusion on Mobile Phones
Google（谷歌）
提出一种移动端高效混合变焦超分辨率系统，通过同步捕获广角和长焦图像对并利用机器学习模型将长焦细节转移至广角图像，采用自适应融合处理不匹配等问题，在500ms内生成1200万像素图像且优于现有方法。
2024-01-02 cs.CV
Blind Detection and Compensation of Camera Lens Geometric Distortions
提出了一种摄像机镜头几何畸变的盲检测与补偿技术。镜头畸变在频域中引入了高阶相关性，进而可以使用高阶谱分析工具来检测，而无需假设任何特定的校准目标。现有的盲透镜畸变消除方法只考虑了单系数径向畸变模型。在本文中，两个系数被认为是近似模型的几何失真。所考虑的所有模型都有解析的封闭形式的反演公式。
2004-05-25 cs.CV
DSR: Direct Self-rectification for Uncalibrated Dual-lens Cameras
SenseTime Research（商汤科技研究院）
随着双镜头相机模块的发展，代表所捕获场景的第三维的深度信息变得可用于智能手机。它是通过立体匹配算法来估计的，将双镜头相机在稍微不同的视点处捕获的两个视图作为输入。景深渲染（也称为合成散焦或散景）是基于深度的应用的趋势之一。然而，为了在智能手机上实现快速深度估计，首先需要校正立体声对。在本文中，我们提出了一个具有成本效益的解决方案来执行双镜头相机的立体校正称为直接自校正，简称DSR1。它消除了每对双镜头相机单独离线校准的需要。此外，所提出的解决方案对轻微的运动是鲁棒的，例如，由于碰撞，双镜头相机在制造后。与以往的自校正方法不同，本文提出的方法以一种新的方式计算单应性，并且主图像的几何畸变为零。它是通过直接最小化原始主图像和变换后的从图像之间对应点的垂直位移来实现的。我们的方法在真实的和合成的立体图像对上进行了评估，并与校准校正或其他自校正方法相比产生了更优的结果
2018-09-26 cs.CV
LenslessMic: Audio Encryption and Authentication via Lensless Computational Imaging
Audiovisual Communications Laboratory, EPFL, Switzerland（埃因霍温联邦理工学院音频视觉通讯实验室）
本文提出LenslessMic，利用无透镜计算成像作为物理层安全手段，实现音频鲁棒认证和接近256位数字标准的加密强度，并通过低成本Raspberry Pi原型验证。
2025-09-19 cs.AI cs.CR cs.CV
Fisheye Lens Camera based Autonomous Valet Parking System
Handong Global University（韩东国际大学）；VADAS Co., Ltd.（VADAS有限公司）
本文提出了一种有效的自主代客泊车系统，只利用摄像头，这是最广泛使用的传感器。为了即时捕捉更多信息并对周围环境的变化做出快速反应，鱼眼相机与针孔相机相比具有更宽的视角。因此，视觉同时定位与地图构建用于识别停车场的布局并跟踪车辆的位置。此外，输入的图像帧被转换成周围的视图监视器图像，以解决鱼眼镜头的失真，因为边缘检测算法应该被应用于针孔相机拍摄的图像。所提出的系统采用了一个查找表的实时的操作，最大限度地减少了处理AVM图像时遇到的计算复杂性。测量每个过程的检测率和自主停车的成功率，以评估性能。实验结果证实，自主泊车可以实现只用视觉传感器。
2021-04-27 cs.CV
Study of a Robust Algorithm Applied in the Optimal Position Tuning for the Camera Lens in Automated Visual Inspection Systems
Software ITC S.A.（Software ITC 股份有限公司）
本文提出了一种寻找摄像机镜头最佳位置以获得最多细节的算法的数学基础和实验研究。该信息可以进一步应用于适当的系统以自动校正该位置。该算法是基于一个所谓的分辨率函数的评估，谁计算在图像的某个区域的梯度的最大值。文中还介绍了该函数的各种形式和测量结果，并为正确应用该算法建立了一套实用的规则。
2015-02-21 cs.CV
Text detection and recognition based on a lensless imaging system
Zhejiang University（浙江大学）
无透镜照相机的特征在于几个优点（例如，小型化、易于制造和低成本）。然而，由于其图像清晰度差和图像分辨率低，特别是对于文本检测和文本识别等对图像质量和细节要求较高的任务，它们尚未得到广泛应用。为了解决这个问题，建立了一个基于深度学习的管道结构框架，通过三个步骤从使用无镜头相机捕获的原始数据中识别文本。这种流水线结构由无透镜成像模型U-Net、文本检测模型连接主义文本建议网络（CTPN）和文本识别模型卷积递归神经网络（CRNN）组成。与只关注图像重建的方法相比，该流水线中的UNet能够在重建过程中通过增强与字符类别相关的因素来补充成像细节，从而使CTPN和CRNN能够更有效地检测和识别文本信息，并且伪影更少，重建的无透镜图像清晰度更高。通过在不同复杂度的数据集上进行实验，验证了该方法在无镜头摄像机上文本检测和识别的适用性。本研究合理地论证了无透镜相机系统中的文本检测和识别任务，并为新的应用开发了基本方法。
2022-10-09 cs.CV
X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras
研究提出X-lens模型用于异构相机实时度量深度估计，基于几何感知异构相机公式，含可学习校准令牌和雅可比参数化失真偏差，在多数据集训练，实验证明其精度高、参数少，在多种设置下性能有竞争力。
2026-07-16 cs.CV
Minimal Solvers for Single-View Lens-Distorted Camera Auto-Calibration
Ukrainian Catholic University（乌克兰天主教大学）；Facebook Reality Labs（Facebook现实实验室）
本文提出了最小的求解器，使用图像的平移对称性和平行的场景线的组合，共同估计镜头不失真与仿射整流或焦距和绝对方向。我们使用正交场景平面提供的约束来恢复焦距。我们表明，求解器使用功能组合可以恢复更准确的校准比求解器只使用一个功能类型的场景，有一个平衡的线条和纹理。我们还表明，所提出的求解器是互补的，可以一起使用在一个基于RANSAC的估计，以提高自动校准精度。国家的最先进的性能表现在镜头失真的城市图像的标准数据集。该代码可在https://github.com/ylochman/single-view-autocalib上获得。
2020-11-17 cs.CV
Lensless-camera based machine learning for image classification
University of Utah（犹他大学）
机器学习在图像分类中得到了广泛的应用。在这里，我们将此应用程序扩展到由仅包含标准CMOS图像传感器而没有镜头的相机生成的数据。我们首先创建了一个手写数字的无透镜图像数据库。然后，我们在该数据集上训练了ML算法。最后，我们证明了训练的ML算法能够以高达99%的准确率对2位数字进行分类。我们的方法清楚地展示了非人类相机在基于机器的决策场景中的潜力。
2017-09-03 cs.CV physics.optics
Joint Image and Depth Estimation with Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
基于掩模的无镜头相机用定制掩模取代传统相机的镜头。这些相机可能非常薄，甚至灵活。最近，已经证明这种基于掩模的相机可以恢复场景的光强度和深度信息。现有的深度恢复算法要么假设场景由少量的深度平面组成，要么在大的3D体积上解决稀疏恢复问题。这两种方法都不能恢复具有大深度变化的场景。在本文中，我们提出了一种新的深度估计方法的基础上交替梯度下降算法，联合估计一个连续的深度图和光分布的未知场景从其无透镜测量。我们提出了各种3D测试场景的图像和深度重建的模拟结果。与其他方法的比较表明，我们的算法是更强大的自然场景与大范围的深度。我们建立了一个原型无透镜相机和目前的实验结果重建的强度和深度图的不同的真实物体。
2020-06-19 cs.CV eess.IV
Stitching Videos from a Fisheye Lens Camera and a Wide-Angle Lens Camera for Telepresence Robots
Beijing Institute of Technology（北京理工大学）
许多远程呈现机器人都配备了一个面向前方的摄像头用于视频通信，一个面向下方的摄像头用于导航。在本文中，我们提出了缝合视频从FF相机与广角镜头和DF相机与鱼眼镜头的遥现机器人。我们的目标是提供更紧凑和有效的视觉反馈的用户界面的遥现机器人与用户友好的交互体验。为此，我们提出了一种基于多单应性的视频拼接方法，该方法将来自广角相机和鱼眼相机的视频拼接在一起。该方法包括视频图像对齐，接缝切割，图像融合。基于多单应性对准算法，直接将广角视频图像与鱼眼视频图像进行对准，无需标定、畸变校正和反扭曲等过程。因此，我们可以获得一个拼接的视频与形状保持在非重叠区域和对准的重叠区域的远程呈现。为了减轻在远程呈现机器人驱动期间由移动对象和/或移动相机引起的重影效应，找到用于对准的视频合成的最佳接缝，并且考虑空间和时间相干性，将在后续帧中更新最佳接缝。最后拼接的视频通过基于最佳接缝的图像混合来创建。我们进行了用户研究，以证明我们的方法的有效性和优越性的遥现机器人与拼接视频作为视觉反馈。
2019-03-15 cs.CV cs.HC cs.RO
Optimal Sample Lens Positioning in Digital Camera Systems
本文研究自动对焦中的镜头位置优化问题，提出可适配多种对焦算法的镜头位置计算方法，以兼顾对焦速度与精度，并可扩展到多类成像设备。
2024-07-01 cs.CV eess.IV
Unrolled Primal-Dual Networks for Lensless Cameras
University College London（伦敦大学学院）；University of California San Diego（加州大学圣地亚哥分校）；ams OSRAM（艾迈斯欧司朗）
传统的无透镜相机的图像重建模型通常假设每个测量结果从卷积一个给定的场景与一个单一的实验测量点扩散函数。这些图像重建模型不能真实地模拟无透镜相机，因为这些模型不够复杂，无法考虑光学像差或深度变化的场景。我们的工作表明，学习有监督的原始-对偶重建方法可以在不需要大网络容量的情况下实现文献中最先进的图像质量匹配。这种改进源于我们的主要发现，即在学习的原始-对偶优化框架中嵌入可学习的前向和伴随模型，与不校正模型误差的作品相比，甚至可以提高重建图像的质量（+5dB PSNR）。此外，我们建立了一个概念验证的无透镜相机原型，使用伪随机相位掩模来证明我们的观点。最后，我们分享了基于开放数据集和无透镜相机概念验证原型数据集的学习模型的广泛评估。
2022-03-08 cs.CV eess.IV
Image Splicing Detection Using Inherent Lens Radial Distortion
University of Mysore（迈索尔大学）
图像拼接是图像伪造的一种常见形式。这样的改变可能不会留下任何篡改的视觉线索。在最近的作品中，相机特征在图像上的一致性已被用于建立数字图像的真实性和完整性。这种恒定的相机特性是相机制造过程所固有的，并且是独特的。大多数数码相机都配备了球面镜头，这会在图像上引入径向失真。当图像被拼接时，这种像差经常被干扰并且不能在整个图像上保持一致。本文介绍了检测拼接操作的图像通过估计径向失真从不同部分的图像使用线为基础的校准。本文首次探索了通过镜头径向畸变一致性检验来检测图像拼接的方法。进行的实验表明，我们所提出的方法用于检测合成和真实图像的图像拼接的有效性。
2011-05-24 cs.CV
Use of a smartphone camera to determine the focal length of a thin lens by finding the transverse magnification of the virtual image of an object
Anandapur H.S. School（阿南达普尔高级中学）；Ramakrishna Mission Vidyamandira（罗摩克里希纳教会维迪亚曼迪拉学院）
在这项工作中，我们已经确定了凹透镜的焦距，通过智能手机摄像头拍摄的虚拟图像的对象。我们已经类似地确定了凸透镜的焦距，通过形成物体的虚像使其保持在透镜的焦距内。当通过智能手机拍摄照片时，可以通过互联网上免费提供的软件读取相机传感器上图像的横向宽度（以像素为单位）。通过从相机的两个位置拍摄虚像的照片，这两个位置沿着相机的视线分开一定距离，我们已经确定了虚像的横向宽度。从这一点上，我们发现透镜的焦距知道横向宽度和距离的对象从透镜。
2022-10-17 cs.CV eess.IV physics.ed-ph
Learning to Remove Lens Flare in Event Camera
National University of Singapore（国立新加坡大学）；Tsinghua University（清华大学）；Institute for Infocomm Research, A*STAR（资讯通信研究院（A*STAR））；IPAL, CNRS IRL 2955, Singapore（IPAL，CNRS IRL 2955，新加坡）；CerCo, CNRS UMR 5549, Université Toulouse III（CerCo，CNRS UMR 5549，图卢兹第三大学）
本文提出E-Deflare框架，通过物理基础模型和基准数据集，实现了事件相机中光斑的有效去除，提升了视觉系统的性能。
2025-12-09 cs.CV
Adversarial Camera Patch: An Effective and Robust Physical-World Attack on Object Detectors
University of Electronic Science and Technology of China（电子科技大学）
针对现有相机物理攻击需在镜头部署多个贴片、复杂度高的问题，本文提出单一对抗性相机贴片 ADCP，以更简洁的方式对目标检测器实施隐蔽物理攻击。
2023-12-11 cs.CV
A Deep Perceptual Measure for Lens and Camera Calibration
Adobe Research（奥多比研究院）；KAIST（韩国科学技术院）；SUNY Korea（纽约州立大学韩国分校）；Université Laval（拉瓦尔大学）
本文提出一种基于深度卷积神经网络的深度感知度量方法，直接从单张图像推断相机标定参数，并通过大规模人类感知研究开发新型感知度量，在标准指标与感知度量上均优于以往单图像标定方法。
2023-07-26 cs.CV
Anti-biofouling Lensless Camera System with Deep Learning based Image Reconstruction
Sony Group Corporation（索尼集团公司）；Japan Agency for Marine-Earth Science and Technology (JAMSTEC)（日本海洋地球科学技术机构（JAMSTEC））
针对水下镜头易被生物污垢附着的问题，本文提出带1000个矩形针孔的抗污薄金属编码孔径无透镜相机，并结合ViT或门控MLP重建图像，正在真实海水中验证其抗污与成像性能。
2024-10-02 cs.CV eess.IV
A Lensless Polarization Camera
Department of Physics of Complex Systems, Faculty of Physics, Weizmann Institute of Science（复杂系统物理系，物理系，魏茨曼科学研究所）
本文提出一种紧凑型无镜头偏振相机，利用扩散元件和简单条纹偏振掩模，结合计算重建算法，从单张图像中恢复四张线偏振图像，展示了无镜头方法在偏振成像中的潜力。
2026-03-17 cs.CV eess.IV physics.optics
Mind the Exit Pupil Gap: Revisiting the Intrinsics of a Standard Plenoptic Camera
Kiel University（基尔大学）
本文针对标准全光相机标定与解码中常被忽视的主镜头出瞳问题，推导了重聚焦距离与重采样参数的关系，分析了忽略出瞳的误差，并通过光线追踪仿真和公开数据加以验证。
2024-04-05 cs.CV
DifuzCam: Replacing Camera Lens with a Mask and a Diffusion Model
Tel Aviv University（特拉维夫大学）
针对平面无镜头相机重建图像质量不佳的问题，提出结合带控制网络的预训练扩散模型与可学习可分离变换的重建方法，构建出成像质量与感知效果达SOTA的DifuzCam原型，还可结合文本描述增强重建，方法可推广至其他成像系统。
2024-08-14 cs.AI cs.CV eess.IV
Clean-Reference Streaming Detection of Lens Occlusion and Photometric Transitions for Camera Tamper Monitoring
Auckland University of Technology（奥克兰理工大学）；Guilin University of Electronic Technology（桂林电子科技大学）
研究针对相机镜头遮挡和光度转换的监测问题，提出通过比较采样数据与清洁参考、应用多种抑制方法来检测，在多组实验中取得较好效果，能保持低误报率，可作为可审计的传感器健康子系统。
2026-07-17 cs.CV
LFD: Enabling Real-World Lensless Face Recognition with a Large-Scale Dataset
Rice University（莱斯大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）
该研究针对传统人脸识别系统的局限，引入无透镜面部数据集（LFD）。通过多种无透镜设备在不同环境下采集数据，包含现实世界无透镜面部数据与野外捕获。此数据集能有效捕捉不同设备的共享特征和伪像，推动无透镜人脸识别发展。
2026-07-14 cs.CV eess.IV
Block-wise Lensless Compressive Camera
Bell Labs（贝尔实验室）
现有的无透镜压缩相机（$\text{L}^2\text{C}^2$）~ \cite{Huang13ICIP}遭受低捕获速率，导致在短时间内采集时的低分辨率图像。在这项工作中，我们提出了一个新的制度，以减轻这些缺点。我们用基于局部块（补丁）的压缩感知代替现有$\text{L}^2\text{C}^2$中使用的基于全局的压缩感知。我们对每个块使用单个传感器，而不是对整个图像使用单个传感器，从而形成多个但空间上平行的传感器$\text{L}^2\text{C}^2$。这种新相机保留了现有$\text{L}^2\text{C}^2$的优点，同时带来以下额外的好处：1）由于每个块可以非常小，{ \em例如} $~8\times 8$像素，我们只需要捕获$\sim 10$测量值就可以实现合理的重建。因此，捕获时间可以显著减少。2)在每个块中使用的编码模式可以是相同的，因此感测矩阵仅具有与现有$\text{L}^2\text{C}^2$中的整个图像大小相比的块大小。这节省了感测矩阵的存储器需求，并且加快了重构。3)基于块的图像重建是快速的，因为实时的拼接算法的存在，我们可以执行实时的重建。4)这些小块可以集成到任何所需的数量，从而产生超高分辨率图像，同时保持快速捕获速率和快速重建。在本文中，我们开发了这种块式$\text{L}^2\text{C}^2$的多种几何形状。我们已经建立了原型的建议块明…
2017-01-19 cs.CV
An End-to-End Autofocus Camera for Iris on the Move
UCAS（中国科学院大学）；Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）
对于远距离虹膜识别，通常使用长焦距镜头来保证虹膜图像的分辨率，这降低了景深并导致潜在的散焦模糊。为了适应不同距离的用户，必须快速准确地控制焦点。而对于运动中的用户，期望持续地保持对虹膜区域的正确聚焦。本文介绍了一种利用可调焦透镜对运动物体的虹膜区域进行主动调焦的新型快速自动调焦相机。我们的端到端计算算法可以从单个模糊图像中预测最佳焦点位置，并自动生成镜头屈光度控制信号。这种基于场景的主动操作方法能够实现对运动物体虹膜区域的实时聚焦跟踪。我们建立了一个测试平台来收集真实世界的焦点堆栈，以评估自动对焦方法。我们的相机自动对焦速度已经达到每秒50帧以上。结果表明，我们提出的摄像头的优势，在静态和动态场景中的生物识别感知。该代码可在https://github.com/Debatrix/AquulaCam上获得。
2021-06-29 cs.CV
Unified Camera Positional Encoding for Controlled Video Generation
Monash University（莫纳什大学）；Building 4.0 CRC（4.0建筑CRC）；VAST（VAST研究院）
本文提出UCPE，通过统一相机信息实现视频生成中的高可控性与视觉真实性，结合轻量级注意力适配器提升模型性能。
2026-03-26 cs.CV
A Linear Fractional Transformation Model and Calibration Method for Light Field Camera
School of Mechanical and Automotive Engineering, South China University of Technology（机械与自动化工程学院，华南理工大学）
提出一种线性分式变换模型，通过单一参数解耦主透镜与微透镜阵列成像，实现独立标定，在物理与模拟数据集上达到2.1%的平均平移误差，优于现有方法。
2026-06-23 cs.CV
FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements
Rice University（莱斯大学）
无透镜成像已经成为一种潜在的解决方案，通过避开传统相机中的笨重镜头来实现超小型相机。在没有聚焦镜头的情况下，无透镜相机依赖于计算算法来从多路复用测量中恢复场景。然而，目前基于迭代优化的重建算法产生噪声和感知较差的图像。在这项工作中，我们提出了一种基于非迭代深度学习的重建方法，可以使无透镜重建的图像质量提高几个数量级。我们的方法，称为$\textit{FlatNet}$，奠定了一个框架，重建高品质的真实感图像从基于掩模的无透镜相机，相机的前向模型制定是已知的。FlatNet由两个阶段组成：（1）通过学习前向模型公式中的参数将测量映射到中间重建空间的反演阶段，以及（2）提高该中间重建的感知质量的感知增强阶段。这些阶段以端到端的方式一起训练。我们通过使用两种不同类型的无透镜原型对真实和具有挑战性的场景进行广泛的实验来展示高质量的重建：一种使用可分离的前向模型，另一种使用更一般的不可分离的裁剪卷积模型。我们的端到端方法速度快，可产生逼真的重建效果，并且易于用于其他基于掩模的无镜头相机。
2020-10-29 cs.CV cs.LG eess.IV
Lens Distortion Rectification using Triangulation based Interpolation
非线性镜头畸变校正是图像处理应用中常见的第一步，其中线性相机模型的假设是必要的。为了校正镜头畸变，需要知道前向畸变模型。然而，许多自校准方法估计逆失真模型。在文献中，估计模型的逆近似用于图像校正，这给系统引入了额外的误差。我们提出了一种新的失真校正方法，直接使用逆失真模型。该方法首先使用逆失真模型将失真像素映射到校正图像。对所得到的具有子像素位置的点集进行三角剖分。校正图像的像素值基于该三角测量被线性内插。该方法适用于所有估计逆失真模型的摄像机校准方法，并且在大范围的参数上表现良好。
2017-07-03 cs.CV
Dual-fisheye lens stitching for 360-degree imaging
University of Texas – Arlington（德克萨斯大学阿灵顿分校）；Samsung Research America（三星美国研究院）
双鱼眼镜头相机越来越多地用于360度沉浸式成像。然而，有限的重叠视场和两个透镜之间的未对准引起拼接边界中的可见不连续性。本文介绍了一种新的方法，双鱼眼相机拼接，自适应地最大限度地减少重叠区域中的不连续性，以产生完整的球形360度图像。结果表明，这种方法可以为三星Gear 360（一种双鱼眼相机）生成高质量的拼接图像，即使拼接边界中有难以拼接的对象。
2017-08-20 cs.CV cs.MM
Robot Vision: Calibration of Wide-Angle Lens Cameras Using Collinearity Condition and K-Nearest Neighbour Regression
University of Calgary（卡尔加里大学）；Cumming School of Medicine（卡明医学院）；Curtin University（科廷大学）；School of Earth and Planetary Sciences（地球与行星科学学院）；Vusion Technologies（Vusion技术公司）；Schulich School of Engineering（舒立克工程学院）；Leica Geosystems（徕卡测量系统公司）；University of Alberta（阿尔伯塔大学）
人类和机器人经常使用视觉感知进行导航。通过隐式或显式地映射环境，可以确定自我运动并规划行动路径。地图绘制和导航的过程是微妙地交织在一起的;因此，改进一个往往会导致另一个的改进。这两个过程都对相机系统的内部取向参数敏感，并且对这些系统误差进行数学建模通常可以提高整体解决方案的精度和准确度。本文提出了一种适用于任意镜头的摄像机自动标定方法，而无需事先了解传感器。统计推断进行映射的环境和定位的相机同时进行。K-最近邻回归用于对图像的几何失真进行建模。使用所提出的方法，以及传统的光束法平差与自校准方法（用于比较）的正常角度镜头的尼康相机和广角镜头的GoPro相机进行校准。结果表明，使用所提出的方法，尼康和GoPro相机的映射误差分别从平均14.9 mm减少到1.2 mm（即92%的改善）和66.6 mm减少到1.5 mm（即98%的改善）。相比之下，传统方法分别为Nikon和GoPro相机实现了0.9 mm（即94%的改进）和3.3 mm（即95%的改进）的平均3D误差。因此，所提出的方法表现良好，无论使用的镜头/传感器：它产生的结果是可比的常规方法的正常角度镜头相机，它具有改善校准结果的广角镜头相机的额外好处。
2018-09-29 cs.CV cs.LG cs.RO
A Simple Framework for 3D Lensless Imaging with Programmable Masks
University of California Riverside（加州大学河滨分校）；Carnegie Mellon University（卡内基梅隆大学）
无透镜相机通过在传感器附近用振幅或相位掩模替换传统相机中的透镜来提供构建薄成像系统的框架。现有的无透镜成像方法可以恢复场景的深度和强度，但它们需要解决计算昂贵的逆问题。此外，现有方法难以恢复具有大深度变化的密集场景。在本文中，我们提出了一种无透镜成像系统，捕获少量的测量使用不同的模式上的可编程掩模。在这方面，我们作出三项贡献。首先，我们提出了一种快速恢复算法来恢复场景中固定数量的深度平面上的纹理。其次，我们考虑的掩模设计问题，可编程无透镜相机，并提供了一个设计模板优化掩模图案的目标是提高深度估计。第三，我们使用细化网络作为后处理步骤来识别和去除重建中的伪影。这些修改进行了广泛的评估与无透镜相机原型上的实验结果，以展示最佳的掩模和恢复算法的性能优势，超过最先进的。
2021-08-18 cs.CV eess.IV
Radially-Distorted Conjugate Translations
CTU in Prague（捷克理工大学）；Lund University（隆德大学）
本文介绍了第一个最小的求解器，共同解决仿射整流和径向透镜畸变的共面重复图案。即使图像从适度失真的镜头，平面校正使用针孔相机模型是不准确或无效的。拟议的求解器将镜头失真纳入相机模型，并将精确校正扩展到广角图像，这在消费者相机中很常见。求解器是来自约束引起的共轭平移的成像场景平面，这是集成与分割模型的径向镜头畸变。隐变量技巧与理想的饱和度被用来重新制定的约束，使求解器生成的Grobner基方法是稳定的，小，快速。矫正和镜头畸变恢复从一个共轭平移仿射协变特征或两个独立的平移相似协变特征。建议的求解器中使用的\RANSAC为基础的估计，它给出了准确的纠正后，几次迭代。建议的求解器进行评估，对国家的最先进的，并表现出显着更好的纠正噪声测量。不同的图像上的定性结果表明高精度的undistortions和纠正。源代码可在https://github.com/prittjam/repeats上公开获得。
2018-06-21 cs.CV
Physical Cue based Depth-Sensing by Color Coding with Deaberration Network
Toshiba Corp.（东芝公司）；University of Hyogo（兵库县立大学）
颜色编码孔径（CCA）方法可以物理地测量由来自单目相机的单次拍摄图像的物理线索给出的场景的深度。然而，他们是脆弱的实际镜头像差在真实场景中，因为他们假设一个理想的镜头简化算法。在本文中，我们提出了基于物理线索的深度学习CCA摄影。为了解决实际的透镜像差，我们开发了一种深度去像差网络（DDN），该网络还配备了位置和颜色通道的自注意力机制，以有效地学习透镜像差。此外，基于贝叶斯深度学习的新贝叶斯L1损失函数能够更准确地处理深度估计的不确定性。定量和定性的比较表明，我们的方法是优于传统的方法，包括真实的户外场景。此外，与长基线立体相机相比，所提出的方法在近距离处提供了无误差的深度图，因为左右相机之间没有盲点。
2019-08-01 cs.CV
Gen Through the Lens: Camera-Controllable Video Generation via Cross-Coordinate Conditioning Fusion
Tencent Video（腾讯视频）
该研究提出Gen Through the Lens框架，通过融合相机、世界、对象三坐标空间的控制信号，实现从参考图像生成可控且时空一致的视频，在逼真度和可编辑性上优于现有方法。
2026-10-14 cs.AI cs.CV cs.GR
Diffractive lensless imaging with optimized Voronoi-Fresnel phase
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
无透镜相机是一类成像设备，其通过用集成的平面光学器件和计算算法替换传统的复合透镜来将物理尺寸缩小到非常接近图像传感器的位置。在这里，我们报告了一个衍射无透镜相机与空间编码的Voronoi-Fresnel相位，以实现卓越的图像质量。我们提出了一个设计原则，最大限度地利用光学获取的信息，以促进计算重建。通过引入一个易于优化的傅里叶域度量，调制传递函数体积（MTF），这是相关的Strehl比，我们设计了一个优化框架，以指导衍射光学元件的优化。所得到的Voronoi-Fresnel相位具有包含基础一阶Fresnel相位函数的准质心Voronoi单元的不规则阵列。我们使用原型Voronoi-Fresnel无镜头相机在160万像素图像传感器上在各种照明条件下演示并验证了摄影应用的成像性能。结果表明，所提出的设计优于现有的无透镜相机，并可能有利于在极端物理条件下工作的紧凑型成像系统的发展。
2022-12-07 cs.CV physics.optics
Realistic Compound-Lens Defocus Blur Synthesis
POSTECH（浦项科技大学）
研究针对散焦模糊影响下游视觉任务及现有深度学习去模糊方法的局限，提出集成多种技术的流程合成逼真散焦数据集，生成CLDefocus数据集，分析实际数据集局限，实验证明该数据集训练的模型跨设备泛化能力提升。
2026-07-08 cs.CV
FlatCam: Thin, Bare-Sensor Cameras using Coded Aperture and Computation
Rice University（莱斯大学）；Carnegie Mellon University（卡内基梅隆大学）
FlatCam是一款薄型无镜头相机，由放置在裸露的传统传感器阵列顶部的编码掩模组成。与传统的镜头相机不同，场景的图像直接记录在传感器像素上，FlatCam中的每个像素记录来自多个场景元素的光线的线性组合。然后使用计算算法来解复用所记录的测量结果并重建场景的图像。FlatCam是编码孔径成像系统的一个实例;然而，与绝大多数相关工作不同的是，我们将编码掩模放置在非常靠近图像传感器的位置，从而可以实现薄型系统。我们采用一个可分离的掩模，以确保校准和图像重建是可扩展的内存需求和计算复杂性方面。我们使用两个原型展示了FlatCam设计的潜力：一个在可见光波长，一个在红外波长。
2016-01-27 cs.CV
Calibration of fisheye camera using entrance pupil
Nokia Technologies（诺基亚技术）
大多数传统的相机校准算法假设成像设备具有单视点（SVP）。这对于诸如鱼眼镜头之类的特殊成像设备不一定是正确的。因此，固有的相机校准结果并不总是可靠的。在本文中，我们提出了一个新的形成模型，往往放松这一假设，使一个非单视点（NSVP）系统进行校正，始终保持一个SVP，考虑到使用薄透镜建模的入射光瞳（EP）的变化。此外，我们提出了一个校准程序的图像形成估计这些EP参数使用非线性优化过程与光束法平差。实验结果表明，与传统方法相比，该方法能够获得更好的重投影误差，并且能够更好地估计摄像机参数。所提出的校准过程是简单的，可以很容易地集成到任何其他薄透镜成像模型。
2019-07-03 cs.CV eess.IV
Adaptive Camera Sensor for Vision Models
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）；Department of Computer Science & Engineering（计算机科学与工程系）；Seogang University（世宗大学）；Ulsan National Institute of Science and Technology（乌山国立科学技术研究院）
本文提出Lens，一种基于人类视觉感知的自适应摄像头传感器控制方法，通过从模型视角捕获高质量图像来提升模型性能，同时在真实时间内适应特定模型和场景，并通过新的ImageNet-ES Diverse数据集验证了其有效性。
2026-05-19 cs.AI cs.CV
Guided Lensless Polarization Imaging
Tel Aviv University（特拉维夫大学）；School of Electrical Engineering, Faculty of Engineering（工程学院电气工程学院）
本文提出一种结合紧凑型偏振-RGB传感器和常规RGB相机的无镜头偏振成像系统，通过两阶段流程提升重建质量与通用性。
2026-03-28 cs.AI cs.CV eess.IV
Let's Get Dirty: GAN Based Data Augmentation for Camera Lens Soiling Detection in Autonomous Driving
Valeo（法雷奥）；CTU in Prague（布拉格捷克理工大学）
广角鱼眼摄像头通常用于自动驾驶停车和低速导航任务。四个这样的摄像头形成一个环绕视图系统，提供车辆的完整和详细的视图。这些相机直接暴露在恶劣的环境中，很容易被泥土、灰尘、水和霜冻弄脏。摄像机镜头上的污染会严重降低视觉感知算法，并且越来越多地部署由污染检测算法触发的摄像机清洁系统。虽然恶劣的天气条件，如下雨，最近越来越受到关注，但在一般土壤方面的工作有限。主要原因是难以收集不同的数据集，因为这是一个相对罕见的事件。我们提出了一种新的基于GAN的算法，用于生成污染图像的不可见模式。此外，所提出的方法自动提供相应的污染掩模消除人工注释成本。增强所生成的污染图像进行训练，显着提高污染检测任务的准确性18%，证明其有用性。手动标注的污染数据集和生成的扩增数据集将被公开。我们展示了我们的鱼眼训练GAN模型在Cityscapes数据集上的泛化。我们提供了一个经验评估的退化的语义分割算法与污染的数据。
2020-11-14 cs.CV cs.LG cs.RO
Don't Look at the Camera: Achieving Perceived Eye Contact
University of Washington（华盛顿大学）；University of California, Riverside（加州大学河滨分校）；Northeastern University（东北大学）
研究通过实验证明，相较于直接对镜头，低头看向镜头下方更有利于实现感知眼神接触，提出了优化 gaze 方向的方法。
2024-04-26 cs.CV cs.HC
DiffuserCam: Lensless Single-exposure 3D Imaging
University of California, Berkeley（加州大学伯克利分校）
我们展示了一个紧凑，易于构建的计算相机的单次拍摄的3D成像。我们的无透镜系统仅由放置在标准图像传感器前面的扩散器组成。体积视场内的每个点在传感器上投射焦散的唯一伪随机图案。通过使用一个物理近似和简单的校准方案，我们解决了大规模的反问题的计算效率的方式。焦散图案实现压缩感测，其利用样本中的稀疏性来求解比2D传感器上的像素更多的3D体素。我们的3D体素网格被选择为匹配实验测量的跨视场的两点光学分辨率，从而从单个130万像素图像重建1亿体素。然而，有效分辨率随场景内容而显著变化。由于这种效果是常见的计算相机的范围很广，我们提供了新的理论分析在这样的系统中的分辨率。
2017-10-05 cs.CV
Generative Photography: Scene-Consistent Camera Control for Realistic Text-to-Image Synthesis
Purdue University（普渡大学）；NVIDIA（英伟达）
针对现有文本到图像模型无法按相机设置生成场景一致图像的问题，提出生成式摄影框架，通过维度提升和微分相机内参学习实现相机内参控制，生成比SD3和FLUX更一致的逼真图像。
2025-03-25 cs.CV
DeltaCam: Differential Intrinsic Camera Modeling for Video Generation
UNC, Chapel Hill USA（北卡罗来纳大学教堂山分校）
提出DeltaCam视频扩散框架，通过差分参数化神经相机适配器学习相对变化，实现焦距、光圈、ISO等内参的平滑可控视频生成，并扩展到真实场景。
2026-05-24 cs.CV
Perspective-consistent multifocus multiview 3D reconstruction of small objects
Australian National University（澳大利亚国立大学）；CSIRO DATA61（澳大利亚联邦科学与工业研究组织数据61所）
基于图像的昆虫和生物标本等小尺度物体的三维重建或三维摄影测量具有挑战性，这是由于使用具有固有的有限景深的高放大率镜头，以及物体的精细结构和复杂的表面特性。由于这些挑战，传统的3D重建技术不能在没有适当的图像预处理的情况下应用。一种这样的预处理技术是多焦点堆叠，其组合从相同视角捕获的一组部分聚焦的图像以创建单个聚焦图像。传统的多焦点图像捕获使用微距轨道上的相机。此外，多焦点叠加技术没有适当地考虑尺度和偏移。结果，所得到的焦点对准图像包含违反透视图像形成的伪影。使用这样的图像的3D重建将不能产生对象的精确3D模型。本文展示了如何有效地解决这个问题，通过一个新的多焦点堆叠过程，其中包括一个新的固定镜头多焦点捕获和摄像机校准的图像缩放和移位。初步的实验结果证实了我们的期望，并表明，相机构成的固定镜头图像的噪声至少是传统的移动镜头图像的3倍。
2019-12-06 cs.CV
MULTI: Disentangling Camera Lens, Sensor, View, and Domain for Novel Image Generation
Bosch Research（博世研究）；ETH Zürich（苏黎世联邦理工学院）；University of Siegen（锡根大学）
MULTI通过文本逆向学习解构图像生成中的多因素，提升对特定风格和对象的控制能力，并通过DF-RICO基准验证其有效性。
2026-05-12 cs.CV cs.LG
Let There Be Light: Robust Lensless Imaging Under External Illumination With Deep Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对无透镜成像对外部照明敏感的问题，提出结合外部照明估计与可学习去噪的物理重建方法，显著提升鲁棒性，并开源实现及25K数据集。
2025-01-21 cs.CV eess.IV
SimpleEgo: Predicting Probabilistic Body Pose from Egocentric Cameras
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Mesh Labs（微软Mesh实验室）
针对头戴设备朝下第一视角相机的人体姿态估计难题，提出SimpleEgo方法，直接回归矩阵费雪分布表示的概率关节旋转，构建SynthEgo合成数据集，在精度、参数量和推理速度上均优于现有方法，且无需微调即可泛化到真实图像。
2024-01-26 cs.CV
Unified Spherical Frontend: Learning Rotation-Equivariant Representations of Spherical Images from Any Camera
Carnegie Mellon University, Robotics Institute（卡内基梅隆大学机器人研究所）
本文提出USF框架，通过射线方向对应将任意相机图像映射到单位球面，实现旋转等变的球面卷积，提升宽视场图像处理性能。
2026-03-30 cs.CV
