Memory Efficient Invertible Neural Networks for 3D Photoacoustic Imaging
Georgia Institute of Technology（佐治亚理工学院）
光声成像（PAI）可以对临床感兴趣的高分辨率结构进行成像，例如癌性肿瘤监测中的血管分布。当对人类受试者成像时，几何限制迫使有限视图数据检索，从而导致成像伪影。基于迭代物理模型的方法减少了伪影，但需要非常耗时的PDE求解。机器学习（ML）通过结合物理模型和学习网络来加速PAI。然而，ML方法的深度和整体能力受到内存密集型训练的限制。我们建议使用可逆神经网络（INNs）来减轻记忆压力。我们证明了INNs可以在有限视图，噪声和子采样数据的设置中对3D光声体积进行成像。INN节省的恒定内存使用使我们能够在具有16 GB RAM的消费者GPU上训练任意深度的学习层。
2022-04-24 cs.LG eess.IV
In vivo functional and structural retina imaging using multimodal photoacoustic remote sensing microscopy and optical coherence tomography
我们已经开发了一种多模态光声遥感（PARS）显微镜结合扫描源光学相干断层扫描在体内，非接触式视网膜成像。建立在多波长PARS成像的证明实力，该系统被应用于估计在大鼠视网膜的视网膜氧饱和度。该技术的能力是通过成像的显微解剖结构和微血管的视网膜在体内。据我们所知，这是第一次采用非接触式光声成像技术在体内测量视网膜中的氧饱和度。
2021-08-26 eess.IV physics.med-ph physics.optics
O-Net: A Convolutional Neural Network for Quantitative Photoacoustic Image Segmentation and Oximetry
利用光谱光声成像技术估计血氧含量是一种很有前途的生物医学应用工具。为了使这种方法定量，它依赖于组织中光通量的准确方法。这在异质组织深处是困难的，在异质组织中，不同波长的光可以经历显著不同的衰减。在这项工作中，我们开发了一种新的深度神经网络，可以同时估计血管中的氧饱和度并将血管与周围的背景组织分割开来。该网络的训练估计初始压力分布从三维蒙特卡罗模拟光传输在乳腺组织。该网络在不到50 ms的时间内估计血管SO2，中位误差低至5.1%，分割准确率高于95%。总体而言，这些结果表明，可以以高精度实时定量地映射血氧。
2019-11-05 eess.IV physics.med-ph
Cross-sectional imaging of speed-of-sound distribution using photoacoustic reversal beacons
提出基于光声反转信标（PRBs）的声速分布重建方法，仅利用PAT成像模态，通过激发外围PRB产生的光声波实现内部SOS空间采样，并构建线性逆模型进行逐像素重建，显著提升了PAT图像质量。
2024-08-26 eess.IV physics.med-ph
Noise adaptive beamforming for linear array photoacoustic imaging
延迟求和（DAS）算法被广泛用于线阵光声成像系统中的波束形成，并且具有快速执行的特点。然而，这些算法遭受各种缺点，如低分辨率，低对比度，高旁瓣伪影和缺乏视觉相干性。最近，自适应加权被引入以改善重建图像质量。不幸的是，现有的最先进的自适应波束形成算法是计算昂贵的，并且不考虑所获取的超声信号的特定噪声特性。在这篇文章中，我们提出了一个新的自适应加权因子命名的变分相干因子（VCF），它考虑到了无线电频率数据的噪声水平的变化。所提出的技术提供了优越的结果，在图像分辨率，旁瓣降低，信噪比和对比度的改善。数值模拟和体模成像的定量结果表明，所提出的VCF辅助DAS方法导致55%和25%的改善，在FWHM，57%和32%的改善，分别比最先进的DAS为基础的方法。实验结果表明，该方法能有效提高重建图像的质量，在传感器单元数量有限的情况下也能获得满意的成像效果。所提出的方法可以潜在地降低光声成像系统的仪器成本，并有助于模态的临床翻译。
2021-07-27 eess.IV physics.med-ph
Limited View and Sparse Photoacoustic Tomography for Neuroimaging with Deep Learning
George Mason University（乔治梅森大学）；The MITRE Corporation（MITRE公司）
光声层析成像（PAT）是一种非电离成像方式，能够获得比传统光学成像技术更深处的光学吸收的高对比度和分辨率图像。仪器和几何形状的实际考虑限制了可用声学传感器的数量及其对成像目标的观察，这导致显著的图像重建伪影，从而降低了图像质量。迭代重建方法可用于减少伪影，但计算成本高。在这项工作中，我们提出了一种新的深度学习方法，称为像素深度学习（PixelDL），首先采用由光声波传播物理学控制的像素插值，然后使用卷积神经网络直接重建图像。分别使用来自合成血管体模和小鼠脑血管的模拟光声数据进行训练和测试。结果表明，PixelDL实现了与迭代方法相当的性能，并且优于其他基于CNN的方法来校正伪影。PixelDL是一种计算效率高的方法，能够实现实时PAT渲染，并提高图像质量、量化和解释。
2020-06-27 cs.CV cs.LG eess.IV
Semantic segmentation of multispectral photoacoustic images using deep learning
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；Heidelberg University（海德堡大学）；HIDSS4Health - Helmholtz Information and Data Science School for Health（HIDSS4Health——亥姆霍兹健康信息与数据科学学院）；Cancer Research UK Cambridge Institute（英国癌症研究院剑桥研究所）；University of Cambridge（剑桥大学）
光声（PA）成像有可能彻底改变医疗保健中的功能医学成像，由于多光谱光声测量中包含的组织生理学的有价值的信息。该技术的临床转化需要将高维采集数据转换为临床相关和可解释的信息。在这项工作中，我们提出了一种基于深度学习的多光谱光声图像语义分割方法，以促进图像的可解释性。手动注释的光声{和超声}成像数据用作参考，并且能够以监督的方式训练基于深度学习的分割算法。基于对16名健康志愿者实验获得的数据的验证研究，我们表明自动组织分割可用于创建多光谱光声图像的强大分析和可视化。由于高维信息的直观表示，这种预处理算法可能是促进光声成像临床转化的有价值的手段。
2022-04-16 cs.CV eess.IV physics.med-ph
Vector Flow Imaging in Layered Models With a High Speed of Sound Contrast Using Pulse-Echo Ultrasound and Photoacoustics
本研究提出了一种基于折射校正的延迟求和算法，用于在具有高声速对比的分层模型中实现更准确的矢量流成像，适用于生物医学和非破坏性检测应用。
2025-12-16 eess.IV physics.med-ph
Spatiotemporal singular value decomposition for denoising in photoacoustic imaging with low-energy excitation light source
光声（PA）成像是一种新兴的混合成像模式，它结合了丰富的光谱对比度和高超声分辨率，因此具有广泛的临床前和临床应用的巨大前景。紧凑且经济实惠的光源，如发光二极管（LED）和激光二极管（LD），是通常用作PA光源的笨重且昂贵的固态激光系统的有前途的替代品。这些都可以加速PA技术的临床转化。然而，这些光源产生的PA信号很容易退化的噪声，由于低的光通量，导致PA图像的信噪比（SNR）降低。在这项工作中，一个时空奇异值分解（SVD）为基础的PA去噪方法进行了研究，这些光源通常具有低通量和高重复频率。所提出的方法利用射频（RF）数据帧之间的空间和时间相关性。使用基于LED的系统对从人手指（2D）和前臂（3D）采集的模拟和体内PA数据进行验证。时空SVD大大增强了被噪声破坏的血管的PA信号，同时保持高的时间分辨率，以慢动作，提高了1.1，0.7，和1.9倍相比，基于单帧的小波去噪，平均跨200帧，和单帧无去噪，分别在体内PA图像的SNR。所提出的方法证明了约50 \mus每帧的SVD加速和GPU的处理时间。因此，时空SVD非常适合于具有用于实时体内应用的低能量激发光源的PA成像系统。
2022-07-09 eess.IV eess.SP physics.med-ph
Synthetic multi-focus optical-resolution photoacoustic microscope for large volumetric imaging
光声显微技术正成为生物医学研究的重要工具。它已广泛应用于生物学研究中，如血管结构成像、脑结构和功能成像、肿瘤检测等。传统的光学分辨光声显微镜（OR-PAM）利用高斯光束聚焦，通过高数值孔径的显微物镜实现高横向分辨率。由于聚焦的高斯光束在焦点上仅具有窄的深度范围，因此在深度方向上几乎不能显示细节。在这里，我们开发了一个合成的多焦点光学分辨率的光声显微镜，使用多尺度加权梯度融合。基于图像结构的显著性，采用基于梯度的多聚焦图像融合方法，并采用多尺度方法确定梯度权值。我们特别注意的双尺度方案，有效地解决了各向异性模糊和配准误差所造成的融合问题。首先采用基于结构的大尺度焦点测量方法来减少各向异性模糊和配准误差对焦点区域检测的影响，然后通过应用小尺度焦点测量来使用边缘波附近的梯度权重。通过仿真实验验证了该方法的有效性，并利用不同的聚焦图像验证了该方法的可行性。通过计算熵、均方误差和边缘强度分析了该方法的性能。仿真结果表明，该方法在不牺牲横向分辨率的前提下，可以使PAM的景深扩大一倍。对斑马鱼的活体成像进一步验证了该方法的可行性。
2020-09-07 eess.IV physics.med-ph
Model-based reconstructions for quantitative imaging in photoacoustic tomography
本章概述了光声断层成像中定量成像的基于模型的重建技术，涵盖光声建模及从解析、优化到数据驱动的多种重建方法，以实现物理参数的准确恢复。
2023-11-27 cs.NA eess.IV math.NA
HDN: Hybrid Deep-Learning and Non-Line-of-Sight Reconstruction Framework for Transcranial Photoacoustic Imaging of Human Brain
针对经颅光声成像中超声波经颅骨导致信号畸变的问题，提出融合深度学习与非视距成像的HDN框架，通过信号提取与差异利用两部分实现重建，在模拟数据集上结构相似性显著优于传统及现有深度学习方法。
2025-09-05 eess.IV physics.med-ph physics.optics
Denoising convolutional neural networks for photoacoustic microscopy
光声成像是近年来发展起来的一种新的成像技术，它结合了光学成像的高分辨率、丰富对比度的优点和声学成像的高穿透深度的优点。光声成像技术在脑成像、肿瘤检测等生物医学领域有着广泛的应用，但由于激光脉冲能量的限制、外界环境的电磁干扰以及系统噪声的影响，光声成像中图像信号的信噪比普遍较低。为了解决光声图像信噪比低的问题，我们采用前馈去噪卷积神经网络对获得的图像进行进一步处理，从而获得更高信噪比的图像，提高图像质量。我们使用Python语言通过Anaconda管理引用的Python外部库，在Pycharm平台上构建前馈降噪卷积神经网络，首先对包含400幅图像的训练集进行处理和分割，然后用于网络训练。最后，我们用一系列脑血管光声显微图像进行了测试，结果表明去噪前后图像的峰值信噪比（PSNR）有明显提高，实验结果验证了前馈降噪卷积神经网络能够有效提高光声显微图像的质量，为后续的生物医学研究提供了良好的基础。
2020-09-29 eess.IV physics.bio-ph
Review of photoacoustic imaging plus X
本综述概述了光声成像（PAI）与其他先进技术（PAI加X）结合的新兴研究前沿，涵盖治疗、电路、定位、扫描、传感器、激光源、深度学习及多模态成像，并讨论了各技术的现状、优势、前景及未来挑战。
2023-09-06 eess.IV physics.med-ph physics.optics
Portable probe design for photoacoustic imaging in vivo
本文提出了一种低成本的可调照明方案，用于手持式光声成像探头，并进行了制作和测试。与传统的光声探头设计相比，它具有以下优点：（1）可以根据需要选择不同的激发模式。通过调节控制参数，它可以实现明场，暗场，和混合场光照明方案。(2)专门为扩束设计的光斑可调单元（SAU），再加上用于传输超声波的水箱，使设备突破了传输介质的限制，应用更加广泛。通过扩束实验验证了SAU的作用。在此基础上，我们建立了一个PAT系统的基础上，我们新设计的仪器。体模和活体实验结果表明，在不同的照明方案不同的性能
2020-02-05 eess.IV
Photoacoustic digital brain: numerical modelling and image reconstruction via deep learning
光声层析成像（PAT）是一种新兴的医学成像技术，它结合了超声成像和纯光学成像的优点，具有高对比度和深穿透深度的特点。最近，PAT在人脑成像中进行了研究。然而，当超声波通过人体颅骨组织时，会发生强烈的声衰减和畸变，导致光声信号失真。在这项工作中，我们使用10个磁共振血管造影（MRA）人脑体积，并手动分割它们，以获得用于PAT的2D人脑数字体模。该数字化模型包含头皮、颅骨、白质、灰质、血管和大脑皮层六种组织。对于每个数值模型，光学特性被分配给每种组织。然后，基于Monte-Carlo的光学模拟部署，以获得光声初始压力。在此基础上，我们进行了两种情况的k波模拟：一种是考虑介质不均匀和声速不均匀的情况，另一种是不考虑介质不均匀和声速不均匀的情况。然后将前一种方法的传感器数据作为U-网的输入，后一种方法的传感器数据作为U-网的输出，对网络进行训练。我们随机选取7幅人脑PA正弦图作为训练集，3幅人脑PA正弦图作为测试集。实验结果表明，该方法能较好地校正颅骨声像差，并能较好地获得人脑血管的分布。
2021-09-19 eess.IV physics.med-ph
Improving needle visibility in LED-based photoacoustic imaging using deep learning with semi-synthetic datasets
光声成像通过准确识别关键组织目标和侵入性医疗器械（如金属针），显示出引导微创手术的巨大潜力。使用发光二极管（LED）作为激发光源加速了其临床转化，因为它的高负担能力和便携性。然而，基于LED的光声成像中的针可见性主要由于其低的光通量而受到损害。在这项工作中，我们提出了一个基于U-Net的深度学习框架，以提高基于LED的光声和超声成像系统的临床金属针的可见性。为了解决捕获真实数据的地面实况的复杂性和纯模拟数据的真实性差，该框架包括半合成训练数据集的生成，该半合成训练数据集结合模拟数据以表示来自针的特征和组织背景的体内测量。通过将针插入血管模拟体、离体猪关节组织和对人类志愿者的测量来进行训练的神经网络的评估。与传统重建相比，这种基于深度学习的框架通过抑制背景噪声和图像伪影，大大提高了体内光声成像中的针可见性，分别实现了信噪比（SNR）和修正Hausdorff距离（MHD）的5.8倍和4.5倍改善。因此，所提出的框架可能有助于通过在光声成像中准确识别临床针来减少经皮针插入期间的并发症。
2022-07-09 eess.IV eess.SP
Non-contact photoacoustic imaging with a silicon photonics-based Laser Doppler Vibrometer
本文提出一种基于硅光子学激光多普勒测振仪的非接触式光声成像方法，使用紧凑型脉冲激光二极管激发并扫描LDV光束，在模拟血管的硅胶样品上实现了二维光声图像重建，检测到生理范围内的光声信号。
2024-02-14 eess.IV physics.app-ph physics.optics
Single Frame Laser Diode Photoacoustic Imaging: Denoising and Reconstruction
光声（PA）成像的一个新发展是使用紧凑、便携和低成本的激光二极管（LD），但是基于LD的PA成像遭受由传统换能器记录的低信号强度。提高信号强度的常用方法是时间平均，这会降低帧率并增加患者的激光照射。为了解决这个问题，我们提出了一种深度学习方法，该方法将在波束成形之前对PA图像进行降噪，即使只有很少的帧，甚至只有一帧。我们还提出了一种深度学习方法，可以从噪声预波束形成数据中自动重建点源。最后，我们采用了一种去噪和重建相结合的策略，它可以补充重建算法，非常低的信噪比输入。
2022-12-16 eess.IV eess.SP
Joint Segmentation and Image Reconstruction with Error Prediction in Photoacoustic Imaging using Deep Learning
University of Washington（华盛顿大学）；Dartmouth College（达特茅斯学院）
本文提出混合贝叶斯卷积神经网络Hybrid-BCNN，联合预测光声图像与分割并量化误差，通过分割聚焦PA信号区域提升重建精度，实验证明误差预测与实际误差高度相关。
2024-07-02 cs.LG eess.IV
Deep learning for photoacoustic imaging: a survey
ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
机器学习在过去的几年里得到了飞速的发展，并在各个领域得到了广泛的应用。这股热潮起源于2009年，当时出现了一种新的模型，那就是深度人工神经网络，它开始在一些重要的基准上超越其他已经建立的成熟模型。后来，它被广泛应用于学术界和工业界。从图像分析到自然语言处理，它充分发挥了它的魔力，现在成为最先进的机器学习模型。深度神经网络在医学影像技术、医学数据分析、医学诊断等医疗健康问题上有着巨大的潜力，无论是在临床前阶段，还是在临床阶段都得到了推广。在这篇综述中，我们对机器学习在医学图像分析中的应用的一些新发展和挑战进行了概述，特别关注光声成像中的深度学习。这篇综述的目的有三个方面：（i）介绍深度学习的一些重要基础知识，（ii）回顾最近将深度学习应用于光声成像整个生态链的工作，从图像重建到疾病诊断，（iii）为有兴趣将深度学习应用于光声成像的研究人员提供一些开源材料和其他资源。
2020-12-02 cs.CV eess.IV
Reconstructing undersampled photoacoustic microscopy images using deep learning
Duke University（杜克大学）；Tsinghua University（清华大学）
光声显微镜（PAM）的一个主要技术挑战是空间分辨率和成像速度之间的必要妥协。在这项研究中，我们提出了一种新的深度学习原理的应用，以重建欠采样的PAM图像，并超越空间分辨率和成像速度之间的权衡。我们比较了各种卷积神经网络（CNN）架构，并选择了产生最佳结果的全密集U网（FD U网）模型。为了在实践中模拟各种欠采样条件，我们以不同的比率对小鼠脑血管系统的全采样PAM图像进行人工下采样。这使我们不仅能够确定地面实况，还可以在各种成像条件下训练和测试我们的深度学习模型。我们的结果和数值分析共同证明了我们的模型的鲁棒性能，重建PAM图像与原始像素的2%，这可能会有效地缩短成像时间，而不会大大牺牲图像质量。
2020-05-30 cs.CV cs.LG eess.IV
HSD-PAM: High Speed Super Resolution Deep Penetration Photoacoustic Microscopy Imaging Boosted by Dual Branch Fusion Network
本文提出HSD-PAM系统，通过硬件与软件协同设计及双分支融合网络，在保留AR-PAM深穿透能力的同时将成像速度提升16倍、横向分辨率提升5倍。
2023-08-09 eess.IV physics.med-ph physics.optics
Deep Learning Enabled Real-Time Photoacoustic Tomography System via Single Data Acquisition Channel
光声计算机断层成像（PACT）结合了光学成像的光学对比度和超声成像的穿透性。在这项工作中，我们开发了一种新的PACT系统，以提供实时成像，这是通过一个120个元素的超声阵列只使用一个单一的数据采集（DAQ）通道。为了减少数据采集的通道数，我们将邻近的30个通道的信号在模拟域中合并在一起，并将数据压缩到4个通道（120/30=4）。设计了一个四对一延迟线模块，将这四路数据合并到一路后进入单路数据采集卡，采集后再进行解耦。为了从四个叠加的30通道PA信号重建图像，我们训练了一个专用的深度学习模型来重建最终的PA图像。在本文中，我们提出了体模和在体实验的初步结果，这表明其强大的实时成像性能。这种新型PACT系统的意义在于，它大大降低了多通道DAQ模块的成本（从120通道到1通道），为便携式，低成本和实时PACT系统铺平了道路。
2021-05-07 eess.IV physics.med-ph
Y-Net: A Hybrid Deep Learning Reconstruction Framework for Photoacoustic Imaging in vivo
ShanghaiTech University（上海科技大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
光声成像（PAI）是一种新兴的非侵入性成像方式，结合了深超声穿透和高光学对比度的优点。图像重建是PAI研究中的一个重要课题，但由于组织中光/声参数的复杂性和未知性，使得图像重建成为一个不适定问题。PAI中使用的常规算法（例如，延迟和求和）提供了快速解决方案，同时仍然存在许多伪像，特别是对于具有有限视野问题的线性阵列探头。卷积神经网络（CNN）在计算机视觉领域已经取得了令人瞩目的成就，近年来越来越多的基于CNN的工作被应用于医学图像处理中。在本文中，我们提出了一个非迭代的计划填补现有的直接处理和后处理方法之间的差距，并提出了一个新的框架Y-网：一个CNN架构重建PA图像，通过优化原始数据和波束形成的图像一次。该网络将两个编码器与一个解码器路径连接起来，最佳地利用了来自原始数据和波束形成图像的更多信息。与传统的重建算法和其他深度学习方法相比，测试集的结果显示出良好的性能。我们的方法也验证了在体外和体内的实验，它仍然比其他现有的方法更好。所提出的Y-Net架构在PAI以外的其他成像模式的医学图像重建中也具有很高的潜力。
2019-08-02 cs.CV cs.LG eess.IV
Deep Learning-Driven Quantitative Spectroscopic Photoacoustic Imaging for Segmentation and Oxygen Saturation Estimation
本文提出Hybrid-Net深度学习模型，用于定量光谱光声成像中血管分割和血氧饱和度估计，实现了高精度的sO2预测。
2025-12-17 eess.IV
Compensating for visibility artefacts in photoacoustic imaging with a deep learning approach providing prediction uncertainties
传统的光声成像可能受到超声换能器的有限视野和带宽的影响。提出了一种深度学习方法来处理这些问题，并在模拟和实验中对叶骨架的多尺度模型进行了验证。我们采用了一种实验方法，使用样本的照片作为地面真实图像来构建训练集和测试集。与传统方法相比，神经网络产生的重建显示出大大改善的图像质量。此外，这项工作旨在量化神经网络预测的可靠性。为了实现这一点，辍学蒙特卡洛程序被应用于估计每个预测的图片上的逐像素的置信度。最后，我们讨论了将迁移学习与模拟数据结合使用的可能性，以大幅限制实验数据集的大小。
2020-11-18 eess.IV physics.optics
Single-shot 3D photoacoustic computed tomography with a densely packed array for transcranial functional imaging
研究开发了一种配备3072通道密集半球形超声换能器阵列的PACT系统，实现20 Hz单次三维成像，成功克服颅骨声衰减与光穿透限制，在组织体模和人类受试者中验证了实时活体经颅功能成像的潜力。
2023-06-26 eess.IV physics.ins-det physics.med-ph
Limited-view Photoacoustic Imaging Reconstruction With Dual Domain Inputs Under Mutual Information Constraint
基于光声效应的光声层析成像技术近年来发展迅速，已成为临床前和临床研究的重要成像工具。通过在生物组织周围放置足够的超声换能器，PAT可以通过混合使用光和声音来提供深度穿透和高图像对比度。然而，考虑到空间和测量环境的限制，传感器总是以有限角度的方式放置，这意味着没有传感器覆盖的另一侧遭受严重的信息损失。传统的图像重建算法在有限视角下重建组织时会产生伪影和信息丢失，从而导致医生误诊或漏诊。为了解决有限视野PA成像重建问题，我们提出使用时域和频域重建算法来获得延迟求和（DAS）图像输入和k空间图像输入。这些双域图像共享几乎相同的纹理信息，但不同的伪影信息，这可以教网络如何区分这两种信息在输入级。在本文中，我们提出了双域Unet（DuDoUnet）与专门设计的信息共享块（ISB），它可以进一步共享两个域的信息和区分工件。此外，我们使用互信息（MI）与辅助网络，其输入和输出都是地面真值，以补偿先验知识的有限视图PA输入。在一个公开的临床数据库中验证了该方法的有效性，得到了较好的结果，SSIM = 93.5622%，PSNR = 20.8859。
2020-11-12 eess.IV
Super-resolution photoacoustic and ultrasound imaging with sparse arrays
先前已经证明，依赖于成像点扩散函数（PSF）的先验知识的基于模型的重建方法可以在光声（PA）或超声（US）成像中提供超分辨率，所述成像点扩散函数（PSF）耦合到待成像对象上的稀疏先验。在这里，我们的实验表明，这种重建也导致超分辨率PA和US成像与阵列具有比传统使用的元素少得多（稀疏阵列）。作为概念的证明，我们获得了超分辨率PA和US的微流体通道的横截面图像，只有8个元素的128个元素的线性阵列，使用基于线性传播前向模型的重建方法，并假设稀疏的成像结构。虽然微通道在用所有128个换能器元件获得的常规延迟求和图像中看起来不可区分，但是所应用的基于稀疏约束的模型的重建提供了仅用8个元件的超分辨率。我们还报告模拟结果表明，获得正确的重建所需的换能器元件的最小数量是从根本上限制的信噪比。所提出的方法可以直接应用于任何换能器的几何形状，包括二维稀疏阵列的三维超分辨率PA和US成像。
2019-09-30 eess.IV physics.optics
Single Acquisition Label-free Histology-like Imaging with Dual Contrast Photoacoustic Remote Sensing Microscopy
重要性：组织的组织学分析是癌症和其他恶性肿瘤分级、分期、诊断和切除的重要工具。目前的组织病理学技术需要在用苏木精和伊红（H&E）染料染色之前对大量样品进行处理，以突出细胞核和细胞形态。样品制备和染色是资源密集型的，并且在样品制备期间引入了可变性的可能性。目的：我们提出了一种新的方法，使用双对比度光声遥感（PARS）显微镜系统的福尔马林固定石蜡包埋的组织块和薄组织切片的直接无标记的组织病理学评估。方法：为了模拟H&E染色的细胞核和细胞对比度，我们利用PARS系统的独特特性。在这里，PAARS显微镜的紫外激发利用DNA独特的光学吸收来提供类似于细胞核的苏木精染色的核对比。同时，利用PARS检测系统的光学散射对比度来提供与细胞膜的曙红染色类似的大量组织对比度。结果如下：我们通过分别对福尔马林固定、石蜡包埋的组织块和冰冻切片中的人乳腺组织和人皮肤组织进行成像来证明这种技术的有效性。显著的核和核外特征，如癌细胞、腺体和导管、脂肪细胞和基质结构，如胶原蛋白。结论.所提出的双对比度PARS显微镜能够实现组织的无标记可视化，其对比度和质量类似于当前组织病理学分析的金标准。因此，所提出的系统很好地定位于增强现有的组织病理学工作流程，直接在未染色的组织块和切片上提供组织学成像。
2021-02-20 eess.IV physics.med-ph physics.optics
Super-temporal-resolution Photoacoustic Imaging with Dynamic Reconstruction through Implicit Neural Representation in Sparse-view
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）；School of Biomedical Engineering, ShanghaiTech University（生物医学工程学院，上海科技大学）；School of Biomedical Engineering and Institute of Medical Robotics, Shanghai Jiao Tong University（生物医学工程学院与医学机器人研究所，上海交通大学）；School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China（生物医学工程学院，生命科学与医学系，中国科学技术大学）；School of Engineering Science, University of Science and Technology of China（工程科学学院，中国科学技术大学）；Suzhou Institute for Advanced Research, University of Science and Technology of China（苏州先进研究所，中国科学技术大学）
本文提出一种基于隐式神经表示的动态光声成像重建方法，仅利用稀疏视角下的时空坐标输入，无需外部训练数据，通过连续性、低秩和稀疏正则化抑制伪影，在两种稀疏条件下优于传统方法并提升时间分辨率。
2025-05-29 cs.CV eess.IV
AS-Net: Fast Photoacoustic Reconstruction with Multi-feature Fusion from Sparse Data
ShanghaiTech University（上海科技大学）；Chinese Academy of Sciences（中国科学院）；Shanghai Institute of Microsystem and Information Technology（上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
光声（PA）成像是一种生物医学成像模式，能够在比传统光学成像技术大得多的深度处获取光学吸收的高对比度图像。然而，实际的仪器和几何形状限制了成像目标周围可用的声学传感器的数量，这导致传感器数据的稀疏性。常规的PA图像重建方法在直接应用于稀疏PA数据时会产生严重的伪影。在本文中，我们首先提出采用一种新的信号处理方法，使稀疏PA原始数据更适合神经网络，同时加快图像重建。然后，我们提出了注意力导向网络（AS-Net）的PA重建与多特征融合。AS-Net在不同的数据集上进行了验证，包括来自眼底血管模型的模拟光声数据和来自体内鱼类和小鼠的实验数据。值得注意的是，该方法还能够消除存在于体内数据的基础事实中的一些伪影。结果表明，我们的方法以更快的速度提供了优越的重建。
2021-06-01 cs.CV eess.IV
Automatic Classification of Neuromuscular Diseases in Children Using Photoacoustic Imaging
FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）；Universitätsklinik Erlangen（埃尔朗根大学医院）
神经肌肉疾病（NMD）对医疗保健系统和社会都造成了重大负担。它们可导致严重的进行性肌无力、肌肉变性、挛缩、畸形和进行性残疾。在这项研究中评估的NMD往往表现在幼儿期。由于疾病的亚型，例如杜氏肌营养不良症（DMD）和脊髓性肌萎缩症（SMA），在开始时难以区分并迅速恶化，因此快速可靠的鉴别诊断至关重要。光声和超声成像显示出巨大的潜力，可视化和量化不同疾病的程度。增加这种图像数据的自动分类可以进一步改进标准诊断程序。我们比较了基于VGG16的基于深度学习的2类和3类分类器，以区分健康和患病的肌肉组织。这项工作显示出有前途的结果与3类问题的高精度高于0.86，并可用作NMD的早期诊断和治疗监测的未来方法的概念证明。
2022-01-27 cs.CV eess.IV
Simultaneous Denoising and Localization Network for Photoacoustic Target Localization
一个重要的研究问题，最近的兴趣是定位的目标，如血管，手术针，肿瘤的光声（PA）图像。为了实现精确定位，需要高光声信噪比（SNR）。然而，这对于深目标是不能保证的，因为光学散射导致光通量相对于组织深度的指数衰减。为了解决这个问题，我们开发了一种新的深度学习方法，旨在明确表现出对光声射频（RF）数据中存在的噪声的鲁棒性。更准确地说，我们描述和评估了一个由共享编码器和两个并行解码器组成的深度神经网络架构。一个解码器从输入RF数据中提取目标坐标，而另一个解码器提高SNR并估计干净的RF数据。共享编码器和双解码器的联合优化为编码器提取的特征提供了显著的噪声鲁棒性，这反过来又使网络能够包含有关可能被噪声掩盖的深层目标的详细信息。训练损失函数中的额外自定义层和新提出的正则化器（基于观察到的RF数据信号和噪声行为设计）用于增加清洁RF输出中的SNR并提高模型性能。为了考虑深度相关的强光学散射，我们的网络使用嵌入不同散射水平的组织介质内不同深度的目标的模拟光声数据集进行训练。在这个新数据集上训练的网络可以准确地定位实验PA数据中的目标，这些数据与血管、针头或近距离放射治疗种子的定位具有临床相关性。我们通过在模拟和实验数据集上的表现优于最先进的技术来验证所提出的架构的优点。
2021-04-30 eess.IV
Compressive Sensing Photoacoustic Imaging Receiver with Matrix-Vector-Multiplication SAR ADC
本文提出一种将压缩感知嵌入硬件的光声成像接收机，通过集成16个AFE和四个矩阵-向量乘法SAR ADC实现模拟域压缩，在65 nm CMOS下实现4-8倍数据率降低并支持高保真图像重建。
2025-11-09 eess.IV
Combined fluorescence and photoacoustic imaging of tozuleristide in muscle tissue in vitro -- toward optically-guided solid tumor surgery: feasibility studies
本研究提出联合NIRF与快速扫描PAUS成像方法，在体外牛肌肉组织中实现了深达34 mm的20 uM tozuleristide识别，有效克服NIRF深度限制，为光学引导实体瘤手术的综合术前与术中检测及宽边缘切除提供了可行方案。
2025-10-31 eess.IV
Deep-learning Image Reconstruction for Real-time Photoacoustic System
光声（PA）成像的最新进展已经能够实现微血管结构的详细图像和血氧或灌注的定量测量。用于PA成像的标准重建方法基于使用适当的信号和系统模型来求解逆问题。然而，对于手持式扫描仪，有限的检测视图和带宽的不适定条件在大多数情况下产生低的图像对比度和严重的结构损失。在本文中，我们提出了一种基于深度卷积神经网络（CNN）的实用重建方法来克服这些问题。它被设计用于实时临床应用，并通过模拟典型微血管网络的大规模合成数据进行训练。使用合成和真实数据集的实验结果证实，与传统方法相比，深度学习方法提供了更好的重建。
2020-04-15 eess.IV eess.SP
DensePANet: An improved generative adversarial network for photoacoustic tomography image reconstruction from sparse data
Shiraz University（设拉子大学）
针对光声层析成像稀疏数据重建易产生伪影的问题，提出基于FD-UNet++生成器的端到端生成对抗网络DensePANet，在体内与模拟数据集上表现优于其他主流深度学习技术。
2024-04-19 cs.AI cs.CV cs.LG
Photoacoustic Microscopy with Sparse Data Enabled by Convolutional Neural Networks for Fast Imaging
University of Michigan-Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）；Peking University（北京大学）
光声显微技术是近年来发展起来的一种很有前途的生物医学成像技术。但是，逐点扫描机制导致成像速度低，这限制了PAM的应用。降低采样密度自然可以缩短图像采集时间，这是以牺牲图像质量为代价的。在这项工作中，我们提出了一种使用卷积神经网络（CNN）来提高稀疏PAM图像质量的方法，从而在保持良好图像质量的同时加快图像采集速度。CNN模型利用挤压和激励块和残差块来实现增强，这是从1/4或1/16低采样稀疏PAM图像到潜在全采样图像的映射。为了保证图像的逼真度，引入了感知损失函数。该模型主要是在叶片脉PAM图像上进行训练和验证。实验结果表明，我们提出的方法，显着优于现有的方法定量和定性的有效性。我们的模型也测试使用在体内PAM图像的血管的小鼠耳朵和眼睛。实验结果表明，该模型可以从多个方面提高血管稀疏PAM图像的质量，有助于快速PAM，便于临床应用。
2020-06-08 cs.CV eess.IV
Deep image prior for undersampling high-speed photoacoustic microscopy
Duke University（杜克大学）；Tsinghua University（清华大学）；Brigham and Women’s Hospital（布列根和妇女医院）；Harvard Medical School（哈佛医学院）；University of Southern California（南加州大学）
光声显微术是一种新兴的光与声相结合的成像方法。然而，受限于激光器的重复率，现有技术的高速PAM技术通常牺牲空间采样密度（即，欠采样）以在大视场上提高成像速度。深度学习（DL）方法最近被用于改进稀疏采样的PAM图像;然而，这些方法通常需要耗时的预训练和具有地面真实值的大型训练数据集。在这里，我们建议使用深度图像先验（DIP）来改善欠采样PAM图像的图像质量。与其他DL方法不同，DIP既不需要预训练，也不需要完全采样的地面实况，从而能够在各种成像目标上灵活快速地实现。我们的研究结果表明，在PAM图像中有很大的改善，只有1.4 $\%$的完全采样的像素高速PAM。我们的方法优于插值，与预训练的监督DL方法具有竞争力，并且很容易转换为其他高速，欠采样成像模式。
2021-04-07 cs.CV eess.IV
Hardware Architecture Design of Model-Based Image Reconstruction Towards Palm-size Photoacoustic Tomography
针对掌上光声断层成像中迭代重建计算成本高的问题，提出基于s-Wave的FPGA硬件加速架构和数据复用方法，实现约270倍加速与超2700倍能效提升。
2024-08-12 eess.IV
Score-based Generative Models for Photoacoustic Image Reconstruction with Rotation Consistency Constraints
ShanghaiTech University（上海科技大学）；Tsinghua University（清华大学）；Guangdong Academy of Medical Sciences（广东省医学科学院）
提出RCC-SGM，利用Langevin动力学与旋转一致性约束迭代采样恢复PAT图像，泛化性优于有监督方法。
2023-06-24 cs.CV eess.IV
