SwinVFTR: A Novel Volumetric Feature-learning Transformer for 3D OCT Fluid Segmentation
University of Nevada, Reno（内华达大学雷诺分校）；School of Medicine, University of Nevada, Reno（内华达大学雷诺分校医学院）
本文提出SwinVFTR，一种基于通道级体积采样、移位窗口Transformer和体积注意力块的三维OCT积液分割架构，在多个OCT数据集上取得了优于现有模型的dice、IOU和SSIM性能。
2025-01-02 cs.CV eess.IV
Data Stream Stabilization for Optical Coherence Tomography Volumetric Scanning
光学相干断层扫描（OCT）是一种新兴的医学成像模式，用于管腔器官诊断。OCT导管头端中光学组件的非恒定旋转速度导致OCT体积扫描中的旋转失真。通过改进扫描过程，可以部分地减少这种不稳定性。为了进一步校正OCT图像中的旋转失真，提出了一种体积数据稳定算法。该算法首先通过使用卷积神经网络（CNN）来估计每个B扫描的非均匀旋转失真（CJD）。计算两个连续B扫描之间的相关图并将其作为输入提供给CNN。为了解决迭代帧流处理中的累积误差问题，我们部署了参考方向和实际OCT图像方向之间的整体旋转估计。我们通过有意地将旋转失真添加到真实OCT图像中，用合成OCT视频训练网络。作为本文的一部分，我们讨论了两种不同扫描模式下的所提出的方法：第一种是传统的拉回模式，其中光学组件沿保护鞘移动，第二种是自行设计的扫描模式，其中导管通过使用外部致动器进行全局平移。在两种扫描模式下，用合成扫描和真实扫描评估了所提出方法的效率和鲁棒性。
2021-12-02 eess.IV
Automated segmentation of retinal fluid volumes from structural and angiographic optical coherence tomography using deep learning
Casey Eye Institute, Oregon Health & Science University（俄勒冈健康与科学大学凯西眼科研究所）；School of Physics and Optoelectronic Engineering, Foshan University（佛山大学物理与光电工程学院）；Department of Biomedical Engineering, Oregon Health & Science University（俄勒冈健康与科学大学生物医学工程系）
目的：我们提出了一种深度卷积神经网络（CNN），命名为视网膜流体分割网络（ReF-Net），以分割光学相干断层扫描（OCT）体积上的体积视网膜流体。方法：通过70-kHz OCT商业AngioVue系统（RTVue-XR; Optovue，Inc.）来自临床糖尿病视网膜病变（DR）研究中的51名参与者（45名患有视网膜水肿，6名健康对照）。构建了一个具有U-Net结构的CNN，用于检测和分割视网膜液体。使用横截面OCT和血管造影（OCTA）扫描来训练和测试ReF-Net。在这项研究中，包括OCTA数据的视网膜流体分割的效果进行了研究。可以使用ReF-Net的输出构建体积视网膜流体。计算受试者工作特征曲线下面积（AROC）、交叉连接（IoU）和F1评分，以评价ReF-Net的性能。结果：ReF-Net在视网膜液体分割中显示出较高的准确性（F1 = 0.864 +/- 0.084）。通过包含来自OCTA和结构OCT的信息，可以进一步提高性能（F1 = 0.892 +/- 0.038）。ReF-Net还显示出对阴影伪影的强大鲁棒性。体积视网膜流体可以提供比2D区域更全面的信息，无论是横截面还是正面投影。结论：基于深度学习的方法可以在OCT/OCTA扫描上准确地分割视网膜液体，对阴影伪影具有很强的鲁棒性。OCTA数据可以改善视网膜流体分割。视网膜液体的体积表示优于2D投影。翻译相关性：使用…
2020-06-03 cs.CV eess.IV
Content-Preserving Diffusion Model for Unsupervised AS-OCT image Despeckling
针对AS-OCT图像去散斑中配对数据缺乏和内容保留的挑战，提出基于统计知识的无监督内容保留扩散模型CPDM，通过分布转换和后验保真项实现去噪，显著提升图像质量并改善后续临床分割与定位分析。
2023-06-30 cs.GR eess.IV
Computational 3D microscopy with optical coherence refraction tomography
光学相干断层扫描（OCT）作为体内临床诊断3D成像模式已经取得了广泛的成功，影响了包括眼科学、心脏病学和胃肠病学在内的领域。尽管OCT具有许多优点，例如高灵敏度、速度和深度穿透，但OCT存在几个缺点，最终限制了其作为3D显微镜工具的实用性，例如其普遍存在的相干散斑噪声和维持毫米级成像深度所需的不良横向分辨率。在这里，我们提出了3D光学相干折射断层扫描（OCRT），OCT的计算扩展，通过结合多个OCT体积，跨两个旋转轴采集，形成一个分辨率增强，斑点减少，折射校正的3D重建合成非相干对比机制。我们的无标记计算3D显微镜采用了一种新颖的光学设计，结合了抛物柱面镜，能够捕获5D全光数据集，包括毫米级3D视场，最大可达$\pm75^\circ$，而无需移动样品。我们证明，3D OCRT揭示了果蝇，斑马鱼和小鼠样本中常规OCT未观察到的3D特征。
2022-02-24 eess.IV physics.bio-ph physics.optics
Denoising, segmentation and volumetric rendering of optical coherence tomography angiography (OCTA) image using deep learning techniques: a review
Department of Mechanical and Electronic Engineering, Kunming University of Science and Technology（昆明理工大学机械电子工程系）；Eye Clinics, Yunnan First People's Hospital（云南第一人民医院眼科）
本综述聚焦OCTA成像的噪声、伪影问题，总结近五年针对OCTA图像的DL模型设计原则、3D体重建方法及公开数据集，为工程师开发新模型、临床人员选择工具提供参考。
2025-08-25 cs.CV eess.IV
Knowledge infused cascade convolutional neural network for segmenting retinal vessels in volumetric optical coherence tomography
我们提出了一个级联深度神经网络分割视网膜血管体积光学相干断层扫描（OCT）。两种类型的知识被注入到网络中，以限制搜索区域。(1)组织学。视网膜血管位于人视网膜的内界膜和内核层之间。(2)显像血管内的红细胞向前散射OCT探测光，并在视网膜色素上皮（RPE）层上形成投影阴影，该层是无血管的，因此非常适合在横向平面中定位视网膜血管。定性和定量的比较结果表明，该方法优于最先进的深度学习和基于图的方法。这项工作表明，在图像处理框架的设计中结合适当的先验知识，而不是修改深度网络的架构，可能是处理此类特定任务的有效方法。
2019-10-21 eess.IV
High-Speed Markerless Tissue Motion Tracking Using Volumetric Optical Coherence Tomography Images
现代光学相干断层扫描（OCT）设备提供具有微米级空间分辨率和超过视频速率的时间分辨率的体积图像。在这项工作中，我们分析了一个基于OCT的原型跟踪系统，该系统每秒处理831个体积，估计平移运动，并自动调整尺寸为几毫米的视场，以跟踪样本，甚至沿着更大的距离。调整是通过两个振镜和一个电动参考臂实现的，因此扫描装置不需要机械运动。在不需要标记或任何其他知识的样品，我们证明，可靠的跟踪速度高达25毫米/秒是可能的，平均跟踪误差在0.25毫米的顺序。此外，我们报告成功跟踪横向速度高达70毫米/秒，误差低于0.3毫米。
2020-01-20 eess.IV
Denoising OCT Images Using Steered Mixture of Experts with Multi-Model Inference
Technical University of Berlin（柏林工业大学）；Bulgarian Academy of Science（保加利亚科学院）
本文提出 BM-SMoE-AE 去噪算法，结合块匹配 SMoE 与增强自编码器，在高效抑制 OCT 散斑噪声的同时保留图像细节，并提升边缘清晰度和处理速度。
2024-02-24 cs.CV eess.IV
SVS-net: A Novel Semantic Segmentation Network in Optical Coherence Tomography Angiography Images
National Taiwan University（台湾大学）；Chang Gung Memorial Hospital（长庚纪念医院）；Chang Gung University（长庚大学）
光学相干断层扫描血管成像（OCTA）中的血管自动分割对于视网膜微血管的定量分析在神经视网膜和系统性疾病中具有重要意义。尽管最近有所改进，但伪影继续对分割提出挑战。我们的研究重点是去除斑点噪声伪影从OCTA图像时进行分割。斑点噪声在OCTA中很常见，并且在大的非灌注区域上特别突出。它可能会干扰视网膜血管的正确评估。在这项研究中，我们提出了一种新的监督血管分割网络（SVS-net）来检测不同大小的血管。SVS-net包括一个新的基于注意力的模块，用于描述血管位置并促进对网络学习过程的理解。该模型是有效的和可解释的，可以用来减少手动标记的需要。与其他公认的模型相比，我们的SVS-net在准确率，召回率，F1评分和Kappa评分方面具有更好的性能。
2021-04-21 cs.CV eess.IV
Retinal OCT Denoising with Pseudo-Multimodal Fusion Network
Vanderbilt University（范德堡大学）
光学相干断层扫描（OCT）是一种流行的视网膜成像技术。然而，它会受到乘性散斑噪声的影响，这会降低基本解剖结构（包括血管和组织层）的可见性。尽管对重复的B扫描帧求平均值可以显著提高信噪比（SNR），但这需要更长的采集时间，这可能会引入运动伪影并导致患者不适。在这项研究中，我们提出了一种基于学习的方法，利用信息从单帧嘈杂的B-扫描和伪模态，这是创建与自融合方法的帮助。伪模态为在嘈杂的B扫描中几乎不可感知的层提供良好的SNR，但可能过度平滑精细特征，例如小血管。通过使用融合网络，可以组合来自每个模态的期望特征，并且它们的贡献的权重是可调节的。基于强度和结构的评价结果表明，该方法能有效地抑制斑点噪声，增强视网膜各层之间的对比度，同时保留了视网膜的整体结构和小血管。与单一模态网络相比，该方法将低噪声B超图像的结构相似度从0.559 ± 0.033提高到0.576 ± 0.031。
2021-07-09 cs.CV eess.IV
Conditioning 3D Diffusion Models with 2D Images: Towards Standardized OCT Volumes through En Face-Informed Super-Resolution
本文提出利用2D的en face SLO图像作为条件训练3D扩散模型，将高各向异性的OCT体数据标准化，在切片上采样8倍时优于传统插值和无条件扩散模型，提升了结构相干性并减少幻觉。
2024-10-13 eess.IV
Deep learning enables extraction of capillary-level angiograms from single OCT volume
光学相干断层扫描血管造影（OCTA）在眼科领域引起了广泛的关注。然而，它的数据采集是耗时的，因为它是基于时间去相关原理，因此需要多次重复的体积OCT扫描。在本文中，我们通过将中央凹注意力机制与残差神经网络相结合来开发一种深度学习算法，该算法能够直接从单次OCT扫描中提取毛细血管水平的血管造影。内界膜和外丛状层的分割结果和中央凹的中央$1\times1$ mm $^2$视野被用于中央凹注意机制。因此，在网络的训练过程中，大的视网膜血管和脉络膜血管对毛细血管提取的影响可以最小化。结果表明，所提出的算法有能力更好地可视化周围的中央凹无血管区的毛细血管比现有的工作，使用U-Net架构。
2019-10-14 eess.IV physics.med-ph
Sub2Full: split spectrum to boost OCT despeckling without clean data
University of Pittsburgh（匹兹堡大学）
针对OCT散斑噪声及干净数据获取难的问题，提出自监督去噪策略Sub2Full，利用两次重复B扫描的分割频谱与全频谱构建训练对，在vis-OCT视网膜图像上性能优于传统方法。
2024-01-18 cs.CV eess.IV
Deep learning with 4D spatio-temporal data representations for OCT-based force estimation
Hamburg University of Technology（汉堡工业大学）
机器人辅助微创手术中，器械与组织间作用力的估计是一个具有挑战性的问题。最近，许多基于视觉的方法已经被提出来取代机电方法。此外，光学相干断层扫描（OCT）和深度学习已经用于基于在体积图像数据中观察到的变形来估计力。该方法展示了使用3D体积数据进行深度学习的优势，而不是使用2D深度图像进行力估计。在这项工作中，我们将基于深度学习的力估计问题扩展到具有3D OCT体积流的4D时空数据。为此，我们设计并评估了几种将时空深度学习扩展到4D的方法，这在很大程度上是迄今为止尚未探索的。此外，我们提供了一个深入的分析多维图像数据表示力估计，比较我们的4D方法，以前的，低维的方法。此外，我们还分析了时间信息的影响，并研究了短期未来力值的预测，这可以促进安全功能。对于我们的4D力估计架构，我们发现空间和时间处理的有效解耦是有利的。我们表明，使用4D时空数据优于所有以前使用的数据表示，平均绝对误差为10.7mN。我们发现，时间信息是有价值的力估计，我们证明了力预测的可行性。
2020-05-20 cs.CV eess.IV
4D Spatio-Temporal Convolutional Networks for Object Position Estimation in OCT Volumes
Hamburg University of Technology（汉堡工业大学）
跟踪和定位目标是计算机辅助手术中的核心问题。光学相干层析成像（OCT）由于其高的空间和时间分辨率，可以用作光学跟踪系统。最近，3D卷积神经网络（CNN）已经显示出使用单个体积OCT图像进行标记对象的姿态估计的有前途的性能。虽然这种方法仅依赖于空间信息，但OCT允许OCT图像体积的时间流以高体积速率捕获对象的运动。在这项工作中，我们系统地将3D CNN扩展到4D时空CNN，以评估附加时间信息对标记对象跟踪的影响。在各种架构中，我们的结果表明，使用OCT体积流并采用4D时空卷积，与使用3D CNN的单体积处理相比，平均绝对误差降低了30%。
2020-07-02 cs.CV eess.IV
A Spatiotemporal Model for Precise and Efficient Fully-automatic 3D Motion Correction in OCT
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Massachusetts Institute of Technology（麻省理工学院）
光学相干断层扫描（OCT）是一种微米级的体积成像模式，已成为眼科的临床标准。OCT仪器通过在视网膜上光栅扫描聚焦光斑来成像，获取连续的横截面图像以生成体积数据。采集过程中的患者眼球运动带来了独特的挑战：可能发生非刚性、不连续的失真，导致数据缺口和扭曲的地形测量。我们提出了一个新的失真模型和相应的全自动，无参考优化策略的计算运动校正正交光栅扫描，视网膜OCT卷。使用一种新的，特定于域的时空参数化的前向翘曲位移，眼睛运动可以连续校正的第一次。与以前的空间方法相比，时间正则化的参数估计提高了鲁棒性和准确性。我们在单次标测中以3D方式单独校正每个A扫描，包括OCT血管造影方案中使用的重复采集。专门的3D正向图像扭曲将中值运行时间降低到< 9秒，对于临床使用来说足够快。我们提出了一个定量评估18例受试者的眼部病理，并证明准确的校正过程中微扫视。横向校正是有限的，只有眼球震颤，而亚微米的可重复性实现轴向（0.51 μ m中位数），代表了显着的改善，比以前的工作。这允许评估局灶性视网膜病变的纵向变化作为疾病进展或治疗反应的标志，并有望实现多种新功能，例如超采样/超分辨率体积重建和神经系统疾病中发生的病理性眼球运动分析。
2022-09-15 cs.CV eess.IV
Deep learning network to correct axial and coronal eye motion in 3D OCT retinal imaging
University of California, San Diego（加州大学圣地亚哥分校）
本文提出一种基于两个全卷积神经网络的深度学习方法，分两阶段预测Z和X维位移图，以校正3D OCT视网膜成像中的轴向和冠状向运动伪影，实验证明其误差更小且泛化性好。
2023-05-27 cs.CV eess.IV
A Deep Learning Approach for Motion Forecasting Using 4D OCT Data
Institute of Medical Technology, Hamburg University of Technology（汉堡工业大学医学技术研究所）
预测特定目标对象的运动是外科手术介入的常见问题，例如用于目标区域的定位、外科手术介入的引导或运动补偿。光学相干层析成像（OCT）是一种具有高空间和时间分辨率的成像模式。最近，深度学习方法已经显示出基于两个体积图像的基于OCT的运动估计的有前途的性能。我们扩展这种方法，并调查是否使用一个时间序列的卷，使运动预测。我们提出了4D时空深度学习，用于使用OCT体积流进行端到端运动预测和估计。我们使用组织数据集设计和评估了五种不同的3D和4D深度学习方法。我们表现最好的4D方法实现了运动预测，总体平均相关系数为97.41%，同时与以前的3D方法相比，运动估计性能提高了2.5倍。
2020-06-01 cs.CV eess.IV
Deep-Learning-based Vasculature Extraction for Single-Scan Optical Coherence Tomography Angiography
School of Science and Engineering, University of Dundee（邓迪大学科学与工程学院）
针对传统OCTA血管提取需多次重复扫描、采集时间长且易产生运动伪影的问题，提出基于卷积投影的血管提取Transformer（VET），单次扫描即可生成中等质量、高对比度的OCTA图像，大幅缩短采集时间且在难扫描区域表现更优。
2023-05-03 cs.CV eess.IV physics.med-ph
LIFE: A Generalizable Autodidactic Pipeline for 3D OCT-A Vessel Segmentation
Vanderbilt University（范德堡大学）
光学相干断层扫描（OCT）是一种广泛应用于眼科的无创成像技术。它可以扩展到OCT血管造影术（OCT-A），其显示具有改进对比度的视网膜血管。最近的深度学习算法产生了有希望的血管分割结果;然而，由于缺乏手动注释的训练数据，3D视网膜血管分割仍然很困难。我们提出了一种基于学习的方法，该方法仅由名为局部强度融合（LIF）的自合成模态进行监督。LIF是直接从输入OCT-A计算的毛细血管增强体积。然后，我们构建局部强度融合编码器（LIFE），将给定的OCT-A体积及其LIF对应物映射到共享的潜在空间。LIFE的潜在空间具有与输入数据相同的维度，并且包含两种模态共有的特征。通过二值化该潜在空间，我们获得体积血管分割。我们的方法进行了评估，在一个人的中央凹OCT-A和三个斑马鱼OCT-A卷与手动标签。它在人类数据上的Dice得分为0.7736，在斑马鱼数据上的Dice得分为0.8594 +/- 0.0275，比现有的无监督算法有了显着的改进。
2021-07-09 cs.CV eess.IV
Superresolution and Segmentation of OCT scans using Multi-Stage adversarial Guided Attention Training
Rockefeller Neuroscience Institute（洛克菲勒神经科学研究所）；West Virginia University（西弗吉尼亚大学）
光学相干断层扫描（OCT）是一种非侵入性和易于获取的生物标志物（视网膜层的厚度，在OCT扫描中可以检测到），正在研究用于诊断阿尔茨海默病（AD）。这项工作的目的是自动分割的OCT图像，然而，这是一个具有挑战性的任务，由于各种问题，如斑点噪声，小的目标区域，和不利的成像条件。在我们之前的工作中，我们提出了多阶段和多歧视生成对抗网络（MultiSDGAN）来将OCT扫描转换为高分辨率分割标签。在这项研究中，我们的目标是评估和比较MultiSDGAN架构的通道和空间注意力的各种组合，通过捕获丰富的上下文关系来提取更强大的特征图，以提高分割性能。此外，我们开发和评估了一个引导的多阶段注意力框架，在该框架中，我们通过在专门设计的二进制掩码和生成的注意力地图之间强制L-1损失来引入引导注意力机制。我们在WVU-OCT数据集上进行的五重交叉验证（5-CV）的消融研究结果表明，所提出的具有串行注意力模块的MultiSDGAN提供了最具竞争力的性能，并且通过二进制掩模引导空间注意力特征图进一步提高了我们提出的网络的性能。与基线模型相比，我们的研究结果表明，增加了引导注意的Dice系数和SSIM的相对改善分别为21.44%和19.45%。
2022-06-10 cs.CV eess.IV
Inflation of test accuracy due to data leakage in deep learning-based classification of OCT images
Linköping University（林雪平大学）
在对光学相干断层扫描（OCT）数据进行深度学习的应用中，通常使用源自体积数据的2D图像来训练分类网络。鉴于OCT系统的微米分辨率，连续图像在可见结构和噪声方面通常非常相似。因此，不适当的数据分割可能导致训练集和测试集之间的重叠，大部分文献忽略了这方面。在本研究中，使用广泛使用的三个OCT开放访问数据集、Kermany和Srinivasan的眼科数据集以及AIIMS乳腺组织数据集，针对三个分类任务证明了数据集分割不当对模型评价的影响。结果表明，在马修斯相关系数（准确度：5%至30%）方面，分类性能膨胀了0.07至0.43，用于在具有不适当分裂的数据集上测试的模型，突出了数据集处理对模型评估的相当大的影响。这项研究旨在提高人们对数据集分割重要性的认识，因为对OCT数据实施深度学习的研究兴趣越来越大。
2022-09-27 cs.CV cs.LG eess.IV
Customized OCT images compression scheme with deep neural network
我们基于深度卷积神经网络（CNN）为视网膜OCT图像定制了一个端到端的图像压缩框架。定制的压缩方案包括三个部分：数据预处理，压缩CNN和重建CNN。数据预处理模块对OCT图像进行相干斑噪声抑制，并分割出感兴趣区域。我们在压缩CNN和重建CNN之间添加了自定义的跳过连接以保留细节信息，并将两个网络与数据预处理模块中的语义分割图像块一起训练。为了训练对低频信息和高频信息都敏感的两个网络，我们采用了一个由两部分组成的目标函数：一个PatchGAN惩罚函数来判断高频信息，一个可微的MS-SSIM惩罚函数来评估低频信息。在公开的OCT数据集上对所提出的框架进行了训练和评估。当压缩比高达40时，多尺度结构相似性（MS-SSIM）评估显示出99%以上的相似性。此外，通过视觉比较，从所提出的框架的压缩比80的重建图像甚至具有比从JPEG的压缩比20的重建图像更好的质量。测试结果表明，该算法在MS-SSIM和可视化方面均优于JPEG，且随着压缩比的增加，效果更加明显。我们的初步结果表明，深度神经网络在定制医疗图像压缩方面具有巨大潜力。
2019-08-27 cs.CV eess.IV
Learning Neural Volumetric Field for Point Cloud Geometry Compression
New York University（纽约大学）
由于动态点云数据的稀疏性、高维性和时间变化性，设计一种有效的点云压缩方法是一个挑战。我们建议通过学习神经体积场来编码给定点云的几何形状。我们不是使用单个过拟合网络来表示整个点云，而是将整个空间划分为小立方体，并通过神经网络和输入潜在代码来表示每个非空立方体。网络在单个帧或多个帧中的所有立方体之间共享，以利用空间和时间冗余。点云的神经场表示包括网络参数和所有的潜在代码，这些代码是通过使用网络参数及其输入的反向传播生成的。通过考虑网络参数和潜在码的熵以及损失函数中原始立方体和重建立方体之间的失真，我们得到了一个率失真（R-D）最优表示。实验结果表明，所提出的编码方案实现了优越的R-D性能相比，基于八叉树的G-PCC，特别是当应用于多帧的点云视频。该代码可在https://github.com/huzi96/NVFPCC/上获得。
2022-12-11 cs.CV eess.IV
Real-time topology-aware M-mode OCT segmentation for robotic deep anterior lamellar keratoplasty (DALK) guidance
Department of Electrical and Computer Engineering, Johns Hopkins University（电气与计算机工程系，约翰霍普金斯大学）
本研究提出了一种基于UNeXt的轻量级拓扑感知M模式OCT分割方法，实现超过80 Hz的实时处理速度，提升DALK手术中的深度反馈精度与稳定性。
2026-02-02 cs.CV eess.IV
Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D Networks for 3D Coherent Layer Segmentation of Retina OCT Images
Xiamen University（厦门大学）；Tencent Jarvis Lab（腾讯天衍实验室）
视网膜层表面的自动分割是光学相干断层成像（OCT）分析中的重要问题，也是一个挑战。最近，许多基于深度学习的方法已经被开发出来，并产生了显着的性能。然而，由于OCT数据的B扫描之间存在较大的空间间隙和潜在的不匹配，所有这些都是基于单个B扫描的2D分割，这可能会丢失跨B扫描的连续性信息。此外，视网膜层的3D表面可以提供更多的诊断信息，这在定量图像分析中至关重要。在这项研究中，提出了一种新的框架的基础上混合2D-3D卷积神经网络（CNN），以获得连续的3D视网膜层表面OCT。单个B扫描的2D特征提取的编码器组成的2D卷积。然后，这些2D特征用于通过两个3D解码器产生对准位移场和层分割，这两个3D解码器经由空间Transformer模块耦合。整个框架都是端到端训练的。据我们所知，这是第一个尝试基于CNN的体积OCT图像中的3D视网膜层分割的研究。在公开数据集上的实验表明，我们的框架在层分割精度和交叉B扫描3D连续性方面都取得了优于最先进的2D方法的结果，从而提供了比以前的作品更多的临床价值。
2022-03-04 cs.CV eess.IV
Uncertainty-aware retinal layer segmentation in OCT through probabilistic signed distance functions
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Amsterdam UMC（阿姆斯特丹大学医学中心）；Erasmus MC（伊拉斯姆斯大学医学中心）
提出概率 SDF 框架，通过水平集参数化视网膜层形状并以高斯分布建模不确定性，在 OCT 噪声失真场景下实现更鲁棒可靠的层分割。
2024-12-06 cs.AI cs.CV eess.IV
Transformer-based end-to-end classification of variable-length volumetric data
Medical University of Vienna（维也纳医科大学）
针对3D医学体数据分类内存占用高、切片长度可变的问题，提出训练时随机化体分辨率的Transformer端到端框架，提升可变长度鲁棒性，在视网膜OCT 9类分类任务上平衡准确率较SOTA视频Transformer提升21.96%。
2023-07-21 cs.CV eess.IV
Neural network-based image reconstruction in swept-source optical coherence tomography using undersampled spectral data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；California NanoSystems Institute（加州纳米系统研究所）；University of Houston（休斯顿大学）；Baylor College of Medicine（贝勒医学院）
光学相干断层扫描（OCT）是一种广泛使用的非侵入性生物医学成像模式，可以快速提供样品的体积图像。在这里，我们提出了一个基于深度学习的图像重建框架，该框架可以使用欠采样的光谱数据生成扫频源OCT（SS-OCT）图像，而不会产生任何空间混叠伪影。这种基于神经网络的图像重建不需要对光学设置进行任何硬件改变，并且可以容易地与现有的扫频源或谱域OCT系统集成，以减少要采集的原始谱数据的量。为了证明这个框架的有效性，我们使用SS-OCT系统成像的小鼠胚胎样本训练和盲测了一个深度神经网络。使用2倍欠采样光谱数据（即，每A线640个光谱点），训练的神经网络可以使用台式计算机在约6.73 ms内盲重建512个A线，去除由于光谱欠采样引起的空间混叠伪影，还呈现与使用全光谱OCT数据重建的相同样本的图像的非常好的匹配（即，每A线1280个光谱点）。我们还成功地证明了这个框架可以进一步扩展到处理每个A线的3倍欠采样光谱数据，与2倍光谱欠采样相比，重建图像质量有一些性能下降。这种支持深度学习的图像重建方法可广泛用于各种形式的谱域OCT系统，有助于提高其成像速度，而不会牺牲图像分辨率和信噪比。
2021-03-04 cs.CV cs.LG eess.IV
WaveNet-SF: A Hybrid Network for Retinal Disease Detection Based on Wavelet Transform in Spatial-Frequency Domain
Nanchang University（南昌大学）；Sun Yat-sen University（中山大学）；Wuhan Polytechnic University（武汉轻工大学）；Xi'an Jiaotong Liverpool University（西交利物浦大学）；Southeast University（东南大学）
针对OCT图像散斑噪声、病灶复杂等检测难题，提出融合空频域学习的WaveNet-SF框架，结合多尺度注意力与高频补偿模块，在两个数据集上取得SOTA准确率，为视网膜疾病诊断提供有效工具。
2025-10-03 cs.CV eess.IV
Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D Networks for 3D Coherent Layer Segmentation of Retinal OCT Images with Full and Sparse Annotations
Xiamen University（厦门大学）；National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学健康医疗大数据国家研究院）；Tencent YouTu Lab（腾讯优图实验室）；Southern University of Science and Technology（南方科技大学）
提出混合2D-3D CNN框架，通过空间变换耦合的双3D解码器同时完成B扫描对齐与视网膜层表面回归，并利用平滑损失支持全监督和稀疏标注半监督的3D相干分割。
2023-12-04 cs.CV eess.IV
Deep Hierarchical Super Resolution for Scientific Data
The Ohio State University（俄亥俄州立大学）；Argonne National Laboratory（阿贡国家实验室）
我们提出了一种新的分层超分辨率（SR）与神经网络（NNs），体积数据表示的八叉树数据结构，以八叉树节点边界上的接缝文物最小的高分辨率均匀网格升级的技术。我们的方法使用现有的最先进的SR模型，并增加了灵活性，以放大输入数据与不同层次的细节在整个域，而不是只有统一的网格数据，在以前的方法中支持。关键是使用SR NN的层次结构，每个NN都经过训练，可以在两个细节级别之间执行2x SR，分层SR算法可以通过从粗细节级别开始并逐步增加来最大限度地减少接缝伪影。我们证明了我们的分层方法优于基线插值和分层放大方法，并证明了我们提出的方法在三个用例中的有用性，包括使用分层下采样+SR而不是均匀下采样+SR的数据缩减，分层有限时间Lyapunov指数场计算的计算节省，以及高分辨率近似可视化的超分辨率低分辨率模拟结果。
2022-10-14 cs.CV cs.LG eess.IV
A Spatiotemporal Illumination Model for 3D Image Fusion in Optical Coherence Tomography
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Massachusetts Institute of Technology（麻省理工学院）；New England Eye Center（新英格兰眼科中心）
提出一种利用正交光栅扫描连续性的时空照明模型，首次在OCT图像重建中优化三维逆模型，有效减少照明伪影并支持运动校正与超采样。
2024-02-19 cs.CV eess.IV
Cryo-SWAN: the Multi-Scale Wavelet-decomposition-inspired Autoencoder Network for molecular density representation of molecular volumes
Center for Advanced Systems Understanding (CASUS)（先进系统理解中心（CASUS））；Helmholtz-Zentrum Dresden-Rossendorf e. V. (HZDR)（德累斯顿-罗斯托克亥姆霍尔茨研究中心（HZDR））；In situ Structural Biology（原位结构生物学）；Department of Physics（物理系）；Institute of Medical Physics and Biophysics（医学物理与生物物理研究所）；Institute of Computer Science（计算机科学研究所）；Cluster of Excellence Physics of Life（生命物理卓越中心）
Cryo-SWAN通过多尺度小波分解启发的自编码网络，实现分子密度体积的鲁棒表示，提升3D重建和生成质量。
2026-02-18 cs.AI eess.IV q-bio.BM
Finding New Diagnostic Information for Detecting Glaucoma using Neural Networks
Matroid（Matroid 公司）；University of Maryland at Baltimore County（马里兰大学巴尔的摩县分校）；Byers Eye Institute, Stanford University（斯坦福大学拜尔斯眼科研究所）；The Chinese University of Hong Kong（香港中文大学）；Tilganga Institute of Ophthalmology（提尔甘加眼科研究所）；Narayana Nethralaya（纳拉亚纳眼科医院）；Stanford University（斯坦福大学）
我们描述了一种新的方法，自动青光眼检测的三维谱域光学相干断层扫描（OCT）视神经扫描。首先，我们收集了一个独特的和多样化的多种族OCT扫描数据集，包括青光眼和非青光眼病例，这些病例来自四个不同国家的四家三级眼科医院。使用这些纵向数据，我们实现了使用3D深度学习系统从单个原始OCT自动检测青光眼的最新结果。这些结果在异构数据集和扫描环境的各种设置中接近人类医生。为了验证自动分类的正确性和可解释性，我们使用显着性图来找到模型的焦点区域。与人类医生的行为相匹配，模型预测确实与OCT原理中的常规诊断参数相关，例如视网膜神经纤维层。我们进一步使用我们的模型在3D数据中寻找新的区域，这些区域目前尚未被人类医生识别为检测青光眼的诊断参数。也就是说，我们发现筛板（LC）区域可以是以前在常规临床护理中医生无法获得的有用诊断信息的有价值的来源，因为它缺乏定量分析。我们的模型提供了该区域的体积量化。我们发现，即使当大部分的RNFL被删除，LC区域可以区分青光眼。当RNFL已经减少时，这在高度近视中具有临床相关性，因此LC区域可能有助于在这种混淆情况下区分青光眼。我们进一步推广这种方法，以创建一种名为DiagFind的新算法，该算法提供了一种在医学图像中查找新诊断信息的方法，这些信息以前可能无法被医生使用。
2020-09-03 cs.CV cs.LG eess.IV
