Hformer: Hybrid CNN-Transformer for Fringe Order Prediction in Phase Unwrapping of Fringe Projection
Tiangong University（天津工业大学）；University of Wollongong（伍伦贡大学）
最近，深度学习在条纹投影三维（3D）测量的相位展开中引起了越来越多的关注，其目的是利用强大的卷积神经网络（CNN）模型来提高性能。本文首次（据我们所知）将不同于CNN的Transformer引入到相位解缠中，提出了一种通过条纹阶数预测实现相位解缠的Hformer模型。该模型具有混合CNN-Transformer架构，主要由骨干、编码器和解码器组成，以利用CNN和Transformer。设计了交叉关注的编码器和解码器，用于条纹阶数预测。实验结果表明，与U-Net和DCNN等CNN模型相比，所提出的Hformer模型具有更好的条纹阶数预测性能。此外，对Hformer进行了烧蚀研究，以验证改进的特征金字塔网络（FPN）和按预测条纹顺序翻转的测试策略。我们的工作为基于深度学习的相位展开方法开辟了一种替代方法，该方法在条纹投影3D测量中由CNN主导。
2021-12-13 cs.CV eess.IV
Point-wise posteriori phase estimation in high-precision fringe projection profilometry
在条纹投影轮廓术中，非正弦条纹的高次谐波信息会导致相位估计的误差。为了解决这一问题，本文提出了一种基于深度学习技术的逐点后验相位估计（PWPPE）方法。利用前向神经网络模型，构建了多个灰度值与相位正/余弦值之间的复杂非线性映射关系。在模型训练后，它可以估计每个像素位置的相位值，精度高于逐点最小二乘（PWLS）方法。为了进一步验证该方法的有效性，测量了一个面具，分别采用传统的PWLS方法和PWPPE方法。对比结果表明，传统方法存在周期性相位误差，而PWPPE方法能有效消除非正弦条纹引起的相位误差。
2021-07-31 eess.IV
Single-shot fringe projection profilometry based on Deep Learning and Computer Graphics
Southeast University（东南大学）；University College London（伦敦大学学院）
本文引入计算机图形学构建虚拟FPP系统生成数据集，设计新损失函数并比较U-Net与pix2pix网络，实现从单幅条纹图像准确估计深度图像，实验证明该方法具有良好的准确性与泛化能力。
2021-01-04 cs.CV eess.IV
UHRNet: A Deep Learning-Based Method for Accurate 3D Reconstruction from a Single Fringe-Pattern
School of Physics, Shandong University（山东大学物理学院）
针对单条纹图案三维重建精度不足的问题，提出以UNet为主干、融合多级卷积与高分辨率融合块的UHRNet，结合复合损失函数，大幅降低重建RMSE，提升单帧条纹投影的三维重建精度。
2023-04-23 cs.CV eess.IV physics.ins-det
Deep Learning-enabled Spatial Phase Unwrapping for 3D Measurement
Sichuan University（四川大学）；State Key Laboratory of Oral Diseases（口腔疾病国家重点实验室）；National Clinical Research Center for Oral Diseases（国家口腔疾病临床医学研究中心）；West China Hospital of Stomatology, Sichuan University（四川大学华西口腔医院）
在三维成像速度和系统成本方面，单相机系统投影单频图案是所有提出的条纹投影轮廓术（FPP）系统中的理想选择。该系统需要一个强大的空间相位展开（SPU）算法。然而，健壮的SPU在复杂场景中仍然是一个挑战。质量引导的SPU算法需要更有效的方法来识别相位图中的不可靠点。端到端深度学习SPU方法面临通用性和可解释性问题。本文提出了一种结合深度学习和传统路径跟踪的混合方法，用于FPP中的鲁棒SPU。这种混合SPU方案比传统的质量指导SPU方法具有更好的鲁棒性，比端到端深度学习方案具有更好的可解释性，并且对未知数据具有通用性。在不同光照条件和不同图像分辨率、不同条纹数、不同条纹方向和不同光学波长的多个FPP系统的真实数据集上的实验验证了该方法的有效性。
2022-08-06 cs.CV eess.IV
Deep neural network for fringe pattern filtering and normalisation
Centro de Investigación en Matemáticas AC（墨西哥数学研究中心）
我们提出了一个新的框架处理条纹图案（FP）。我们的新方法建立在这样的假设之上：如果提供了足够多的受损和理想的FP对，则可以通过深度神经网络来学习FP的去噪和归一化。本文的主要贡献如下：（1）提出了使用U-net神经网络结构进行FP归一化任务;（2）我们提出了对U网中权重分布的修改，这里称为V网模型，它更方便地用于重建任务，我们进行了大量的实验证据，其中V-网络产生高质量的结果FP过滤和归一化。(3)我们还提出了两个修改的V-net计划，即剩余版本称为ResV-net和V-net的快速操作版本，以评估潜在的改进时，修改我们的建议。我们评估我们的方法在各种情况下的性能：FPs损坏不同程度的噪声，并损坏不同的噪声分布。我们将我们的方法与其他最先进的方法进行比较。实验结果（合成和真实数据）证明了这种新的模式处理干涉图的能力和潜力。
2020-10-28 cs.CV eess.IV eess.SP
Self-supervised phase unwrapping in fringe projection profilometry
College of Computer Science, Sichuan University（四川大学计算机学院）
本文提出一种面向单相机FPP的自监督相位解包裹方法，无需标签数据即可从64周期相位图恢复绝对条纹级次，在深度精度上优于DF-TPU，并在多种复杂真实场景中验证有效。
2023-05-30 cs.CV eess.IV
Double-Shot 3D Shape Measurement with a Dual-Branch Network for Structured Light Projection Profilometry
Beijing Institute of Technology（北京理工大学）
针对单图案结构光三维重建中的条纹级次歧义和精度不足问题，提出融合CNN与Transformer的PDCNet双分支网络及DAAM和双峰高斯混合密度头，实现高精度双拍测量。
2024-12-10 cs.CV eess.IV
On the Robustness of deep learning-based MRI Reconstruction to image transformations
尽管深度学习（DL）在加速磁共振成像（MRI）中受到了广泛关注，但最近的研究表明，微小的输入扰动可能会导致基于DL的MRI重建模型的不稳定性。然而，这些模型的鲁棒性的方法是欠发达的。与图像分类相比，考虑到其基于回归的学习目标、有限的训练数据量以及缺乏有效的鲁棒性度量，实现鲁棒的MRI图像重建网络可能更具挑战性。为了规避上述限制，我们的工作通过鲁棒机器学习的镜头重新审视基于DL的图像重建问题。我们发现了MRI图像重建的一个新的不稳定源，即，缺乏对输入的空间变换的重建鲁棒性，例如，旋转和剪切。受这种新的鲁棒性度量的启发，我们开发了一种鲁棒性感知的图像重建方法，该方法可以抵御像素级对抗性扰动以及空间变换。大量的实验也证明了我们提出的方法的有效性。
2022-11-21 eess.IV
Affine Transformation-Based Deep Frame Prediction
我们提出了一个神经网络模型来估计当前帧从两个参考帧，使用仿射变换和自适应空间变化滤波器。与现有的深度帧预测方法相比，估计的仿射变换允许使用更短的滤波器。预测帧被用作用于编码当前帧的参考。由于所提出的模型在编码器和解码器处都可用，因此不需要对预测帧的运动信息进行编码或传输。通过使用扩张卷积和减少滤波器长度，我们的模型比以前关于这个主题的任何神经网络都要小得多，但更准确。所提出的模型的两个版本-一个用于单向，一个用于双向预测-使用基于离散余弦变换（DCT）的l1损失与各种变换大小，多尺度均方误差（MSE）损失，和对象上下文重建损失的组合进行训练。训练的模型与HEVC视频编码流水线集成。实验表明，所提出的模型实现约7.3%，5.4%，和4.2%的平均位节省的亮度分量在低延迟P，低延迟，和随机存取配置，分别。
2021-02-16 eess.IV
Single-shot 3D shape reconstruction using deep convolutional neural networks
The Catholic University of America（美国天主教大学）；RvBust Ltd.（RvBust有限公司）；Jinan University（暨南大学）
本信提出了一种将条纹投影轮廓术（FPP）技术与深度卷积神经网络（CNN）相结合的鲁棒单次3D形状重建技术。所提出的技术的输入是一个单一的FPP图像，和训练和验证数据集准备通过使用传统的多频FPP技术。不同于传统的三维形状重建方法，涉及复杂的算法和密集的计算，所提出的方法使用一个端到端的网络架构，直接进行2D图像到其相应的3D形状的转换。实验证明了该方法的有效性和鲁棒性。它能够满足科学研究和工程应用中各种三维形状重建的需求。
2019-09-17 cs.CV cs.LG eess.IV
A GAN-Based Image Transformation Scheme for Privacy-Preserving Deep Neural Networks
我们提出了一种新的图像变换方案，使用生成对抗网络（GANs）的隐私保护深度神经网络（DNN）。该方案不仅使我们能够将没有视觉信息的图像应用于DNN，而且还增强了对仅密文攻击（COA）（包括基于DNN的攻击）的鲁棒性。在本文中，所提出的变换方案被证明能够保护普通图像上的视觉信息，并且视觉保护的图像被直接应用于DNN用于隐私保护图像分类。由于所提出的方案利用了GANs，因此不需要管理加密密钥。在一个图像分类实验中，我们评估所提出的计划的有效性方面的分类精度和对COA的鲁棒性。
2020-06-02 cs.CR eess.IV
Effects of Data Enrichment with Image Transformations on the Performance of Deep Networks
Artvin Coruh University（阿特温科尔赫大学）
本研究针对图像格式方向变化的问题，用六种图像变换增强ILSVRC2012数据集训练深度网络，实验发现混合全变换训练得分最高，180度旋转单变换效果最优，上下翻转效果最差，明确了数据增强对超分辨率任务的性能影响。
2023-06-13 cs.CV cs.LG eess.IV
Deep Convolutional Neural Network for Non-rigid Image Registration
Simon Fraser University（西蒙弗雷泽大学）
在不同时间或位置拍摄的图像会经历旋转、缩放、倾斜等变换。对准已经经历变换的不同图像的过程可以经由配准来完成。当分析时间序列数据以跟踪、平均或鉴别疾病诊断时，配准是期望的。对于刚性（包括线性或仿射）变换存在有效的配准方法;然而，对于非刚性（也称为非仿射）变换，当前方法在计算上昂贵且耗时。在本报告中，我将探索深度神经网络（DNN），更具体地说，深度卷积神经网络（CNN）有效执行非刚性图像配准的能力。实验结果表明，一个CNN可以用于有效的非刚性图像配准，并在显着更少的计算时间比传统的同构恶魔或金字塔的方法。
2021-04-24 cs.CV eess.IV
Fuzzy Unique Image Transformation: Defense Against Adversarial Attacks On Deep COVID-19 Models
IIT Guwahati（古瓦哈蒂印度理工学院）；IIT Madras（马德拉斯印度理工学院）
使用在胸部X射线和CT图像上训练的深度模型早期识别COVID-19已经得到了研究人员的极大关注，以加快识别活动性COVID-19病例的过程。这些深度模型可以帮助那些缺乏专家或放射科医生的医院，特别是偏远地区的医院。已经提出了各种深度模型来检测COVID-19病例，但是很少有工作被执行来防止深度模型对抗能够通过使用图像像素中的小扰动来欺骗深度模型的对抗性攻击。本文评估了深度COVID-19模型对抗对抗性攻击的性能。此外，它还提出了一种有效的模糊唯一图像变换（FUIT）技术，将图像像素降采样到一个区间。FUIT变换后获得的图像进一步用于训练安全的深度模型，该模型保持了COVID-19病例诊断的高准确性，并提供了对对抗性攻击的可靠防御。实验和结果表明，该模型能够有效地防止深度模型对六种对抗性攻击的攻击，并保持了对胸部X射线图像和CT图像数据集的COVID-19病例分类的高准确率。研究结果还建议，在实际应用深度模型诊断COVID-19病例之前，需要进行仔细检查。
2020-09-08 cs.CV cs.LG eess.IV
Continuous Wavelet Transformation and VGG16 Deep Neural Network for Stress Classification in PPG Signals
University of Tehran（德黑兰大学）；Kettering University（凯特林大学）
本文提出将连续小波变换与VGG16深度神经网络相结合，并引入卡尔曼滤波预处理，用于PPG信号压力分类，实验取得最高98%的训练准确率，验证了该方法在压力监测与报警系统中的实用价值。
2024-10-17 cs.LG eess.IV
Image Transformation Network for Privacy-Preserving Deep Neural Networks and Its Security Evaluation
Tokyo Metropolitan University（东京都立大学）
我们提出了一个转换网络，用于为保护隐私的DNN生成受视觉保护的图像。建议的转换网络是通过使用一个普通的图像数据集进行训练，使普通图像转换成视觉保护的。传统的感知加密方法存在视觉保护能力弱、图像分类精度下降等问题。相比之下，所提出的网络使我们不仅能够有力地保护视觉信息，而且还能够保持使用普通图像实现的图像分类精度。在一个图像分类实验中，该网络被证明可以在使用CIFAR数据集的情况下，强烈保护普通图像上的视觉信息，而不会降低性能。此外，它表明，视觉保护的图像是强大的对基于DNN的攻击，称为逆变换网络攻击（ITN攻击）在实验中。
2020-08-07 cs.CV cs.LG eess.IV
Spherical Image Inpainting with Frame Transformation and Data-driven Prior Deep Networks
City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong（香港中文大学）；Hong Kong Centre for Cerebro-Cardiovascular Health Engineering（香港脑心血管健康工程中心）；University of Hong Kong（香港大学）
球面图像处理已广泛应用于许多重要领域，例如自动驾驶汽车的全方位视觉、全球气候建模和医学成像。将平面图像的算法扩展到球面图像是很重要的。在这项工作中，我们专注于使用基于深度学习的正则化器进行球形图像修复的挑战性任务。而不是一个天真的应用现有的平面图像模型，我们采用了快速定向球Haar小框架变换和开发一种新的优化框架的稀疏性假设的基础上的小框架变换。此外，通过采用渐进式编码器-解码器架构，精心设计了一种新的且性能更好的深度CNN去噪器，并作为隐式正则化器工作。最后，我们使用即插即用的方法来处理所提出的优化模型，这可以通过训练CNN去噪先验来有效地实现。数值实验表明，与单纯使用深度学习去噪器和即插即用模型相比，本文提出的算法能够极大地恢复受损球面图像，并获得最佳性能。
2022-09-29 cs.CV eess.IV
Impact of Spherical Coordinates Transformation Pre-processing in Deep Convolution Neural Networks for Brain Tumor Segmentation and Survival Prediction
Macquarie University（麦考瑞大学）；Australian Institute of Health Innovation（澳大利亚健康创新研究院）
预处理和数据增强在深度卷积神经网络（DCNN）中起着重要作用。尽管有多种方法旨在实现数据集的标准化和增强，但我们在这里提出了一种新方法，旨在为DCNN提供球面空间变换的输入数据，与标准笛卡尔空间图像和体积相比，该方法可以更好地促进特征学习。在这项工作中，球坐标变换已被用作预处理方法，与正常MRI体积结合使用，提高了脑肿瘤分割（BraTS）挑战2020数据集上脑肿瘤分割和患者总生存期（OS）预测的准确性。然后，应用LesionEncoder框架从DCNN模型中自动提取特征，在验证数据集上实现了0.586的OS预测准确度，这是BraTS 2020排行榜上的最佳结果之一。
2020-11-23 cs.CV cs.LG eess.IV
Metamorphic Detection of Adversarial Examples in Deep Learning Models With Affine Transformations
Fraunhofer CESE（弗劳恩霍夫实验软件工程中心）
对抗攻击是小的、精心制作的扰动，肉眼无法察觉;当添加到图像中时，会导致深度学习模型对图像进行错误分类，从而产生潜在的有害结果。随着人工智能模型在消费者安全和安全密集型行业（如自动驾驶汽车、摄像头监控和人脸识别）中的兴起，越来越需要防范对抗攻击。在本文中，我们提出了一种方法，使用变形测试的原则，自动检测这样的对抗攻击。该方法可以检测到图像操作是如此之小，他们是不可能检测到的人类通过视觉检查。通过应用基于距离比保持仿射图像变换的变形关系，比较原始图像和变换后图像的行为，我们表明，我们提出的方法可以确定输入图像是否具有高精度的对抗性。
2019-07-10 cs.CV cs.LG eess.IV
CheXphoto: 10,000+ Photos and Transformations of Chest X-rays for Benchmarking Deep Learning Robustness
VinBrain
用于胸部X射线判读的深度学习算法的临床部署需要一种可以集成到全球范围内的广泛临床工作流程中的解决方案。一种有吸引力的大规模部署方法是利用智能手机的普及，通过捕获X光照片，使用WhatsApp等消息服务与临床医生共享。然而，将胸部X射线算法应用于胸部X射线照片需要在存在伪影的情况下进行可靠的分类，伪影通常在用于训练机器学习模型的数字X射线中不会遇到。我们介绍CheXphoto，一个智能手机照片数据集和从CheXpert数据集采样的胸部X射线的合成摄影变换。为了生成CheXphoto，我们（1）在不同的设置下自动和手动捕获数字X射线的照片，（2）生成数字X射线的合成转换，使它们看起来像数字X射线和X射线胶片的照片。我们将此数据集作为一种资源发布，用于测试和提高深度学习算法的鲁棒性，以便在智能手机胸部X光照片上进行自动胸部X光解读。
2020-12-11 cs.CV cs.LG eess.IV
On Reducing Negative Jacobian Determinant of the Deformation Predicted by Deep Registration Networks
University of Ottawa（渥太华大学）
图像配准是医学图像分析中的一个基本步骤。理想情况下，将一个图像配准到另一个图像的变换应该是可逆且平滑的仿射。传统的方法如测地线射击通过微分几何来解决这个问题，理论上保证所产生的变换是平滑和可逆的。使用无监督深度神经网络进行配准的大多数先前研究都使用局部平滑度约束（通常是空间变化损失）来解决平滑度问题。这些网络通常在多个体素位置产生具有“折叠”的不可逆变换，由变换的雅可比矩阵的负行列式表示。虽然使用专门惩罚折叠的损失函数是一种简单的解决方案，但这通常需要仔细调整正则化强度，特别是当还存在其他损失时。在本文中，我们从不同的角度来解决这个问题，通过研究可能的训练机制来帮助网络避免负雅可比矩阵并产生更平滑的变形。我们在这个方向上提出了两个独立的想法。这两种想法都大大减少了预测变形中的折叠位置的数量，而无需更改现有基线配准网络中使用的超参数或架构。
2019-06-28 cs.CV eess.IV
Cell Segmentation by Combining Marker-Controlled Watershed and Deep Learning
Masaryk University（马萨里克大学）
我们提出了一种细胞分割方法，用于分析密集聚集的细胞图像。该方法结合了标记控制分水岭变换和卷积神经网络（CNN）的优点。我们证明了该方法的通用性和高性能上的三个细胞跟踪挑战（CTC）数据集的集群细胞捕获不同的采集技术。对于所有测试数据集，我们的方法在细胞检测和分割方面都达到了最佳性能。通过一系列的实验，我们发现：（1）同时预测分水岭标记函数和分割函数可以显著提高分割的准确性。(2)这两种功能都可以独立学习。(3)通过缩放和刚性几何变换进行的训练数据增强优于涉及弹性变换的增强。我们的方法使用简单，并且具有最先进的性能，适用于各种数据。
2020-04-03 cs.CV eess.IV
A Deep Learning-Based FPGA Function Block Detection Method with Bitstream to Image Transformation
在各种应用场景的背景下和/或为了增强现场可编程门阵列（FPGA）安全性，需要分析FPGA设计的系统功能，这可以通过系统地将FPGA的比特流划分为可管理的功能块并在其后检测其功能来实现。本文提出了一种基于深度学习的FPGA功能块检测方法，主要分为三个步骤。具体来说，我们首先分析位流的格式，以获得配置位和可配置逻辑块之间的映射关系，因为位流中的配置位对于一个元素是不连续的。为了收获基于深度学习的目标检测技术的成熟，我们的下一步是将FPGA比特流转换为图像，遵循所提出的转换方法，该方法考虑到可编程逻辑的邻接性质和配置信息的高度冗余。一旦获得图像，基于深度学习的目标检测算法被应用于这个变换后的图像，并且检测到的对象可以被反射回来以确定原始FPGA设计的功能块。用于功能块检测的深度神经网络使用特制的比特流/图像数据集进行训练和验证。实验证实了所提出的功能检测方法的高检测精度，在Xilinx Zynq-7000 SoC和Zynq UltraScale+ MPSoC上实现的YOLOv 3检测器内的10个功能块的平均平均精度（IoU=0.5）为98.11%。
2021-08-04 cs.OH eess.IV eess.SP
