Deep-learned speckle pattern and its application to ghost imaging
在本文中，我们提出了一种使用深度学习进行散斑图案设计的方法。在我们精心设计的散斑图案生成框架Speckle-Net中经历卷积后，散斑图案具有独特的特征。然后，我们将我们的方法应用到计算鬼成像系统。标准的深度学习辅助重影成像方法使用网络来识别重建的对象或成像算法。相比之下，这一创新应用通过Speckle-Net以特定的采样率优化了照明散斑图案。因此，我们的方法优于其他技术的鬼成像，特别是它的能力，以极低的采样率检索高质量的图像。它通过使用修改后的深度神经网络参考指定目标的标准损失函数，开辟了一条新的非平凡散斑生成路线。它在动态散斑照明显微镜、结构照明显微镜、X射线成像、光声成像和光学晶格等领域也有很大的应用潜力。
2021-12-28 eess.IV physics.optics
Ghost imaging based on Y-net: a dynamic coding and conjugate-decoding approach
结合深度学习技术的Ghost成像最近在光学成像领域引起了广泛关注。然而，在大多数情况下，确定性照明和多重曝光仍然是必不可少的。在这里，我们提出了一种基于新型共轭解码深度学习框架（Y-net）的重影成像方案，该方案在确定性和不确定性照明下都能很好地工作。利用该网络的端到端特性，可以直接从探测器采集的一对相关散斑中获取样品图像，并且在实验中样品只被照射一次。实验中编码样本的散斑的空间分布可以与训练用的模拟散斑完全不同，只要散斑的统计特性保持不变。这种方法对于高分辨率X射线重影成像应用特别重要，因为它具有改善图像质量和减少辐射损伤的潜力。共轭解码网络的思想也可以应用于其他基于学习的成像
2020-02-12 eess.IV physics.optics
Unsighted deconvolution ghost imaging
鬼成像（GI）是一种非常规的成像方法，其通过将一系列已知照明图案与总反射（或透射）强度相关联来检索对象的图像。我们在这里展示了一个计划，它可以删除的基本要求，知道入射图案的对象，使GI非侵入性图像对象通过混浊介质。作为实验证明，我们向隐藏在混浊介质中的物体投射一组图案，这些图案扰乱了照明，使得落在物体上的图案完全未知。我们从理论上证明了在GI测量中，即使物体和照明的空间信息都丢失了，物体的空间频率也被保持。然后用相位恢复算法重建图像。
2021-01-02 eess.IV quant-ph
Ghost Panorama
计算重影成像或单像素成像使得能够使用无透镜光电检测器形成未知场景的图像。在这封信中，我们提出了一个计算全景鬼成像系统，可以实现全彩色全景使用单像素光电探测器，其中一个凸面镜执行的工程阿达玛为基础的圆形照明图案从单向到全向的光学变换。据我们所知，这是第一次提出鬼全景的概念，并实现了初步的实验。可以预见的是，在许多极端条件下（例如，散射/湍流、低温和非常规光谱），以及在快速移动目标定位和自主车辆态势感知方面的广泛应用前景。
2021-08-13 eess.IV physics.optics
Anti-interference Computational Ghost Imaging with Pink Noise Speckle Patterns
我们提出了一个计算鬼成像方案，使用定制的粉红噪声散斑图案照明。通过调制散斑的空间频率振幅，我们产生具有显著正空间相关性的散斑图案。我们实验重建图像，使用我们的合成散斑图案在各种噪声源和图案失真的存在下，并显示它是鲁棒的噪声干扰。与使用标准的白噪声散斑图的结果进行了比较。我们表明，我们的方法给出了良好的图像质量在不同的噪声干扰的情况下，而传统的方法失败。该方案有望在水下，动态和运动目标计算鬼成像的潜在应用。
2021-03-22 eess.IV physics.optics
Sub-Nyquist computational ghost imaging with orthonormalized colored noise pattern
计算重影成像通常需要大量的图案照明来获得高质量的图像。最近提出的色噪声散斑图在各种噪声环境中代替白噪声，并给出了一个显着的信噪比增强，即使在有限数量的模式。我们提出了一种基于色噪声模式的正交归一化方法来实现亚奈奎斯特计算鬼成像，并在这里进行了实验验证。对重建图像的对比度噪声比、均方误差、峰值信噪比、相关系数等质量指标进行了测试。结果表明，我们的方法可以提供高质量的图像，而使用的采样率比传统的方法低一个数量级。
2021-06-10 eess.IV physics.optics
Ghost Image Processing
在计算重影成像中，用一系列已知图案照射物体，并且使用没有空间分辨率的检测器收集散射光。使用这些图案和来自检测器的总强度测量，可以重建所需的图像。在这里，我们研究如何修改重建的图像，如果用于重建的图案是不相同的照明模式，并表明，人们可以选择如何照亮的对象，这样的重建过程的行为就像一个空间滤波操作的图像。直接测量经处理的图像的能力允许人们绕过后处理步骤，从而避免它们暗示的任何噪声放大。作为一个简单的例子，我们展示了边缘检测滤波器的情况。
2021-12-14 eess.IV physics.optics
Jointly super-resolved and optically sectioned Bayesian reconstruction method for structured illumination microscopy
结构照明显微镜（SIM）是一种在宽视场显微镜中实现超分辨率（SR）和光学切片（OS）的成像技术。它包括在不同的方向和位置用周期性图案照射样品。然后处理所得到的图像，以重建所观察到的对象与SR和/或OS。在这项工作中，我们提出了BOSSA-SIM，一种通用的SIM重建方法，适用于移动对象，如在体内视网膜成像中遇到的，使SR和OS共同在一个完全无监督的贝叶斯框架。通过对由聚焦层和散焦层组成的2层物体进行建模，我们表明BOSSA-SIM能够联合重建它们，从而获得超分辨和光学切片的聚焦层。实现的性能，定量评估模拟几个噪声水平，比较有利的国家的最先进的方法。最后，我们验证了我们的方法对开放获取的实验显微镜数据。
2019-10-17 eess.IV physics.optics
Anti-scattering medium computational ghost imaging with modified Hadamard patterns
本文提出一种基于二维高斯滤波与哈达玛差分特性的改进哈达玛图案重建方法（MHCGI），在无需后处理的情况下直接获得无边缘模糊的降噪结果，并仅需预设近似标准差，从而增强计算鬼成像在散射介质中的鲁棒性。
2023-04-15 eess.IV physics.optics
Ghost translation
人工智能最近已被广泛用于计算成像。深度神经网络（DNN）提高了检索图像的信噪比，否则由于低采样率或嘈杂的环境，图像质量会被破坏。本文提出了一种新的基于Transformer网络的序列转换机制的计算成像方案。仿真数据库帮助网络实现信号转换能力。实验性的单像素探测器的信号将以端到端的方式“转换”为2D图像。在低至2%的采样率下，可以检索到没有背景噪声的高质量图像。照明图案可以是用于亚奈奎斯特成像的精心设计的散斑图案或随机散斑图案。此外，我们的方法是强大的噪声干扰。这种转换机制为DNN辅助的重影成像开辟了新的方向，并可用于各种计算成像场景。
2022-09-29 eess.IV physics.optics
Modeling and Enhancing Low-quality Retinal Fundus Images
Inception Institute of Artificial Intelligence（人工智能起源研究所）
眼底图像在眼科疾病的临床筛查和诊断中有着广泛的应用。然而，由具有各种经验水平的操作者捕获的眼底图像在质量上具有很大的变化。低质量的眼底图像增加了临床观察的不确定性，导致误诊的风险。然而，由于眼底成像的特殊光束和视网膜的结构，自然的图像增强方法不能直接用来解决这个问题。在本文中，我们首先分析检眼镜成像系统，并模拟一个可靠的退化的主要通道质量因素，包括不均匀的照明，图像模糊，和文物。然后，基于退化模型，提出了一种面向临床的眼底增强网络（cofe-Net），以抑制全局退化因素，同时保留视网膜解剖结构和病理特征，以供临床观察和分析。在合成图像和真实图像上的实验表明，该算法能有效地校正低质量眼底图像，且不丢失视网膜细节。此外，我们还表明眼底校正方法可以使医学图像分析应用受益，例如，视网膜血管分割和视盘/视杯检测。
2020-12-09 cs.CV eess.IV
On the Inherent Dose-Reduction Potential of Classical Ghost Imaging
经典鬼成像是采用图案化照明的计算成像技术。它在概念上与单像素相机非常相似，因为图像可以从一组测量结果中重建，即使通过该样本的所有成像量子从未被位置分辨检测器记录。该方法最初被设想并应用于可见光波长的光子，随后被转移到其他探测器，如x射线，原子束，电子和中子。在鬼成像的背景下，使用穿透探头，使传输测量，我们在这里考虑几个问题，可实现的信噪比（SNR）。这是比较与常规成像的SNR的情况下，恒定的辐射剂量和恒定的实验时间，同时考虑光子散粒噪声和每次测量的电子读出噪声。我们表明，固有的改善SNR的能力，鬼成像是有限的，这些情况下的一个子集，实际上是由于增加剂量（Fellgett优势）。还提出了一个解释，最近发表在文献中的结果是不符合这些发现。
2020-09-03 eess.IV physics.optics
Spectral ghost imaging camera with super-Rayleigh modulator
基于稀疏约束重影成像（GISC）的光谱相机通过单次曝光获得光谱数据立方体（x; y; λ）。系统的抗噪性是影响重建图像质量的重要因素之一，特别是在低采样率下。通过对光强的调整，产生抗噪声能力较强的超瑞利散斑图，是提高GISC光谱相机成像质量的有效途径。根据GISC光谱相机的结构特点，基于光的可逆性原理，提出了一种自定义强度统计的超瑞利散斑图的通用生成方法。仿真和实验结果表明，采用超瑞利调制器的GISC光谱相机在较宽的成像光谱带宽内，不仅具有较好的抗噪声能力，而且在低采样率下也具有较高的成像质量。本文的工作将有助于提高GISC光谱相机的成像质量，特别是在弱光条件下的成像质量，从而推动GISC光谱相机的应用。
2019-10-10 eess.IV physics.optics
Single-pixel Tracking and Imaging under Weak Illumination
在弱光照条件下，运动目标的跟踪和成像是一个难题。通过空间收集信号，单像素成像方案保证了从低光子通量重建图像的能力。然而，由于需要大量的采样，如何清晰地成像运动目标是这样的计划的一个基本问题。提出了一种单像素跟踪成像方法的原理。在典型的计算鬼像成像系统中，目标的速度矢量是由桶信号的时间相关得到的。然后相应地操纵照明光束。在考虑运动速度的情况下，在目标运动过程中既能得到目标的运动轨迹，又能得到目标的清晰图像。由于跟踪是用桶信号独立完成的，因此该方案在每次采样间隔内的位移保持大于光学系统的分辨率时，可以快速捕获运动目标。实验上，我们的方法工作良好，检测到的光子的平均数量下降到1.88光子/斑点。
2020-12-11 eess.IV physics.optics
On the efficiency of computational imaging with structured illumination
一个通用的计算成像设置被认为是假定顺序照明的半透明物体的任意一组结构化照明模式。对于每个入射照明图案，所有透射光由光子计数桶（单像素）检测器收集。以这种方式测量的透射系数然后用于重建物体的投影透射的空间分布。它表明，这种设置的平方空间分辨率通常等于图像面积的线性独立照明图案的数量的比率。如果所测量的透射系数中的噪声由光子散粒噪声主导，则在不存在对象的情况下重建的“平坦”分布中的空间平均均方信号与空间平均噪声方差的比率等于当照明图案正交时登记的光子的平均数目。由于测量数据中的空间相关性，在非正交照明图案的情况下，重建的透射分布中的信噪比总是较低。与所提出的分析相关的成像方法的示例包括利用像素化检测器的常规成像、计算重影成像、压缩感知、超分辨率成像和计算机断层扫描。
2018-01-09 eess.IV physics.optics
Improvements of computational ghost imaging by using Special-Hadamard patterns
提出了一种新的计算鬼像成像的结构照明模式--特殊阿达玛模式。在噪声环境下，特殊Hadamard模式可以获得比Hadamard模式更好的图像质量。利用特殊哈达玛模式可以在无噪声环境中完全重建原始物体，并且物体的大小可以任意调整，这些优点是其他常用模式无法实现的。我们还进行了模拟，比较特殊的Hadamard模式的结果与Hadamard模式的结果。我们发现特殊的Hadamard模式可以大大改善计算鬼像成像的图像质量。
2019-02-12 eess.IV
Multi-wavelength ghost imaging: a review
Helmholtz Institute Jena（耶拿赫尔姆霍兹研究所）
多波长鬼成像通过结合不同波长的光子技术，实现了从极紫外到太赫兹波段的广泛应用，提供低损伤显微镜、视频速率激光雷达和非破坏性检测等新方法。
2025-06-16 eess.IV physics.optics
Self-evolving ghost imaging
重影成像可以用点探测器而不是阵列传感器来捕获2D图像。因此，它提供了一个解决方案，以挑战建筑面积格式传感器的波段，这种传感器是困难和昂贵的生产，并开辟了新的成像模式，由于高性能的单像素探测器。传统上，重影成像通过将测量的光强度与应用的照明图案相关联来离线检索对象的图像。在这里，我们提出了一种基于反馈的方法，在线更新的成像结果，可以绕过后处理，称为自进化鬼成像（SEGI）。我们引入了遗传算法来优化照明模式，实时匹配的物体形状，根据测量的总光强度。我们从理论和实验上证明了这个概念的静态和动态成像。该方法为遥感（例如机器视觉、自动驾驶车辆中的激光雷达系统）和生物成像等应用中的实时重影成像开辟了新的前景。
2020-08-03 eess.IV physics.app-ph physics.optics
Retinal Image Restoration and Vessel Segmentation using Modified Cycle-CBAM and CBAM-UNet
Bahcesehir University（巴赫切谢希尔大学）；American University of Malta（马耳他美国大学）
使用低质量眼底图像进行临床筛查具有挑战性，并显著导致误诊。本文主要研究如何通过视网膜图像复原来提高视网膜图像质量和血管分割的问题。更具体地，具有卷积块注意模块（CBAM）的周期一致性生成对抗网络（CycleGAN）用于视网膜图像恢复。一个改进的UNet用于视网膜血管分割的恢复视网膜图像（CBAM-UNet）。该模型由两个发生器和两个鉴别器组成。生成器将图像从一个域转换到另一个域，即，从低质量到高质量，反之亦然。鉴别器对生成的图像和原始图像进行分类。视网膜血管分割模型使用下采样、检查和上采样层来生成分割图像。CBAM已被用来增强这些模型的特征提取。所提出的方法不需要成对的图像数据集，这是具有挑战性的生产。相反，它使用未配对的数据，这些数据由从公开数据集检索的低质量和高质量眼底图像组成。所提出的方法的恢复性能使用全参考评估指标进行评估，例如，峰值信噪比（PSNR）和结构相似性指数（SSIM）。将视网膜血管分割性能与真实眼底图像进行比较。所提出的方法可以显着减少由离焦模糊，颜色失真，低，高，不均匀的照明造成的退化影响。实验结果表明了该方法在视网膜图像恢复和血管分割中的有效性。
2022-10-05 cs.CV eess.IV
A new focal-plane 3D imaging method based on temporal ghost imaging
提出并论证了一种新的基于时域鬼像的焦平面三维成像方法。该方法充分利用了时间虚影成像的优点，使慢积分相机在顺序泛光照明和焦平面检测的框架下具有三维表面成像的能力。传统摄像机成像时容易丢失三维物体的深度信息，而利用接收信号与参考信号之间的时间相关性可以高分辨率地重建三维物体的深度信息。与通过一个Single Shot获得的二维（2D）投影图像组合，可以实现对象的3D图像。本文通过理论分析和数值实验验证了这种焦平面三维成像方法的可行性和性能。
2018-05-04 eess.IV
Retinal Image Restoration using Transformer and Cycle-Consistent Generative Adversarial Network
Bahcesehir University（巴赫切谢希尔大学）；American University of Malta（马耳他美国大学）
医学影像学在检测和治疗各种疾病中发挥着重要作用。然而，这些图像往往质量太差，导致效率降低，额外费用，甚至错误的诊断。因此，我们提出了一种使用Vision Transformer和卷积神经网络的视网膜图像增强方法。它构建了一个依赖于未配对数据集的周期一致的生成对抗网络。它由两个生成器组成，它们将图像从一个域转换到另一个域（例如，低质量到高质量，反之亦然），用两个鉴别器玩对抗游戏。生成器为鉴别器产生不可区分的图像，鉴别器从生成的图像中预测原始图像。生成器是Vision Transformer（ViT）编码器和卷积神经网络（CNN）解码器的组合。鉴别器包括传统的CNN编码器。使用诸如峰值信噪比（PSNR）、结构相似性指数度量（SSIM）等评价指标对所得到的改进图像进行了定量测试，并且定性地，即，血管分割所提出的方法成功地减少了模糊，噪声，照明干扰和颜色失真的不利影响，同时显着保留结构和颜色信息。实验结果表明了该方法的优越性。我们的测试PSNR为31.138 dB的第一和27.798 dB的第二个数据集。测试SSIM分别为0.919和0.904。
2023-03-03 cs.CV eess.IV
A Spatiotemporal Illumination Model for 3D Image Fusion in Optical Coherence Tomography
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Massachusetts Institute of Technology（麻省理工学院）；New England Eye Center（新英格兰眼科中心）
提出一种利用正交光栅扫描连续性的时空照明模型，首次在OCT图像重建中优化三维逆模型，有效减少照明伪影并支持运动校正与超采样。
2024-02-19 cs.CV eess.IV
3-D Near-Field Passive Radar Imaging Using Multiple Illumination Sources
Technical University of Munich（慕尼黑工业大学）；Tongji University（同济大学）
本研究提出利用多照明源提升三维近场被动雷达成像性能，通过相干叠加和多频组合增强图像质量，验证了复杂结构目标的成像效果。
2026-03-09 eess.IV
Ghost Imaging Based on Recurrent Neural Network
由于二阶相关的良好特性，鬼像成像近年来受到了广泛的关注。同时，GI受到采样率和成像质量之间的不良权衡的影响。GI中传统的图像重建方法是将每个散斑的作用结果和相应的桶信号进行累加。我们发现GI的图像重建过程与深度学习算法之一的递归神经网络（RNN）非常相似。在本文中，我们提出了一种在RNN架构上有效实现GI的新方法，称为GI-RNN。RNN中每一层的状态由前一层的输出和这一层的输入决定，网络的输出是所有先前状态的总和。因此，我们将每个照明的散斑和相应的桶信号作为每一层的输入，网络的输出是所有先前的散斑和桶信号之和，这是目标的图像。实验结果表明，该方法可以在很低的采样率（0.38 $\%$）下实现图像重建。并将其与传统的GI算法和压缩感知算法进行了比较。对不同目标的检测结果表明，GI-RNN算法比压缩感知算法平均提高了6.61 dB，比传统GI算法平均提高了12.58 dB。在我们看来，所提出的方法使GI的应用迈出了重要的一步。
2021-12-01 eess.IV
Computational aberration compensation by coded aperture-based correction of aberration obtained from Fourier ptychography (CACAO-FP)
本文提出了一种新的广义光学测量系统和计算方法来确定和校正光学系统中的像差。我们开发了一种计算成像方法，能够重建光学系统的像差利用傅立叶重叠关联（FP）没有空间相干性的要求。然后，它可以通过去卷积恢复隐藏在畸变图像中的高分辨率图像。通过使用编码孔径来捕获图像，使反卷积对噪声具有鲁棒性。我们将这种方法称为：基于编码孔径的傅立叶重叠关联成像像差校正（CACAO-FP）。它非常适合于存在像差的各种成像场景，其中提供空间相干照明非常具有挑战性或不可能。我们报告的演示CACAO-FP与各种样品，包括在体内成像实验的恒河猴的眼睛，以纠正其固有的畸变在渲染的视网膜图像。CACAO-FP通过将光学设计复杂性转换为后处理中的计算算法，最终允许设计不良的成像透镜在宽视场上实现衍射限制性能。
2019-01-08 eess.IV physics.optics
Diagnostic Quality Assessment of Fundus Photographs: Hierarchical Deep Learning with Clinically Significant Explanations
眼底照相术（FP）仍然是筛查各种视网膜疾病（包括年龄相关性黄斑变性、糖尿病视网膜病变和青光眼）的主要成像方式。FP允许临床医生检查眼底结构，例如黄斑、视盘（OD）和视网膜血管，其在FP图像中的可见性和清晰度对于确保诊断准确性至关重要，并因此确定诊断质量（DQ）。由于眼球运动、照明不当和其他可能的原因而导致的低DQ图像显然应该重新捕获。然而，技术人员通常不熟悉DQ标准，仅根据专家反馈启动重新捕获。该过程可能针对单个受试者多次使用成像设备，并且浪费眼科医生、技术人员和受试者的时间和精力。在远程眼科学的情况下，该负担可能是令人望而却步的，其中从远程专家获得反馈需要额外的通信成本和延迟。因此，已经感觉到对自动诊断质量评估（DQA）的强烈需求，其中图像被立即分配DQ类别。作为回应，在DQ概念连续体的激励下，我们提出了一个分层深度学习（DL）架构来区分好的，可用的和不可用的类别。在公开的EyeQ数据集上，我们实现了89.44%的准确率，改进了现有的方法。此外，使用基于梯度的类激活图（Grad-CAM），我们生成了一个可视化的解释，同意专家的直觉。未来的FP相机配备了拟议的DQA算法将有可能提高远程眼科以及传统系统的功效。
2023-02-18 eess.IV
Interpretable Unsupervised Joint Denoising and Enhancement for Real-World low-light Scenarios
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
针对真实低光照图像复杂退化及现有方法的局限，提出基于成像原理与retinex理论的可解释无监督联合去噪增强框架，结合DCT频域分解与隐式引导策略分离退化，经实验验证性能优越。
2025-03-17 cs.AI cs.CV eess.IV
Deep Progressive Feature Aggregation Network for High Dynamic Range Imaging
The Hong Kong Polytechnic University（香港理工大学）；Tohoku University（东北大学）
本文提出深度渐进特征聚合网络，通过由粗到细的高对应性特征对齐和基于离散小波变换的密集连接结构，有效抑制动态场景HDR成像中的鬼影与失真，取得最先进性能。
2023-05-29 cs.CV eess.IV
Progressive Transfer Learning for Multi-Pass Fundus Image Restoration
Tampere University（坦佩雷大学）
针对糖尿病视网膜病变筛查中眼底图像质量差的问题，提出渐进式迁移学习（PTL）多通道修复方法，通过迭代修复提升图像质量，在DeepDRiD数据集上实现最先进性能，为可靠筛查提供支持。
2025-04-14 cs.AI cs.CV eess.IV
FlexHDR: Modelling Alignment and Exposure Uncertainties for Flexible HDR Imaging
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出FlexHDR技术，通过HDR感知的不确定性驱动注意力图联合评估对齐与曝光可靠性，并采用渐进式多阶段融合方法灵活合并任意数量LDR图像，显著提升了HDR成像质量。
2022-09-12 cs.CV eess.IV
