CSANet: Channel Spatial Attention Network for Robust 3D Face Alignment and Reconstruction
Carnegie Mellon University(卡内基梅隆大学);Mount-Sheikh University(谢赫山大学)
本文提出端到端3D人脸对齐与重建网络CSANet,通过深度可分离卷积、注意力机制及联合损失函数提取特征并优化训练,在定性与定量上均优于所有基线模型。
2024-05-30 cs.CV eess.IV
Attention-guided Image Compression by Deep Reconstruction of Compressive Sensed Saliency Skeleton
Shanghai Jiao Tong University(上海交通大学)
我们提出了一个深度学习系统,用于注意力引导的双层图像压缩(AGDL)。在AGDL压缩系统中,图像被编码成两层,基本层和注意力引导细化层。与现有的ROI图像压缩方法不同,AGDL采用CNN模块来预测ROI内对感知质量至关重要的显著性草图上和附近的那些像素。只有关键像素通过压缩感测(CS)进一步采样以形成非常紧凑的细化层。开发了另一种新颖的CNN方法来联合解码两个压缩层以进行更精细的重建,同时严格满足对感知关键像素的传输CS约束。大量的实验表明,所提出的AGDL系统先进的感知图像压缩的艺术状态。
2021-03-29 cs.CV eess.IV
Fast MRI Reconstruction via Edge Attention
The Chinese University of Hong Kong(香港中文大学);Shanghai University(上海大学)
针对MRI重建中细节丢失问题,提出轻量边缘注意力网络EAMRI,通过边缘预测与边缘注意力模块引导重建,以更少参数实现更优性能。
2023-04-22 cs.CV eess.IV
GA-GAN: CT reconstruction from Biplanar DRRs using GAN with Guided Attention
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Preferred Networks
这项工作探讨了使用引导注意重建CT卷从双平面DRR。我们尝试使用基于引导注意的GANs(GA-GAN)来改善CT重建的视觉图像质量。我们还考虑使用矢量量化(VQ)的CT重建,使内存的使用可以减少,保持相同的视觉图像质量。据我们所知,在此之前还没有研究矢量量化的工作。虽然我们的研究结果表明,我们的方法优于以前的工作,仍然有很大的改进空间。
2019-10-13 cs.CV cs.LG eess.IV
Self-Attention Generative Adversarial Network for Iterative Reconstruction of CT Images
University of Washington Bothell(华盛顿大学博塞尔分校)
计算机断层扫描(CT)使用从身体周围的传感器获取的X射线测量值来生成人体的断层扫描图像。如果X射线数据被充分采样并且具有高质量,则可以使用传统的重建算法;然而,诸如减少对患者的剂量或对数据采集的几何限制等问题可能导致低质量或不完整的数据。由于噪声和其他伪影,使用传统方法从这些数据重建的图像质量差。本研究的目的是训练一个神经网络,从噪声或不完整的CT扫描数据,包括低剂量,稀疏视图,有限角度的情况下重建高质量的CT图像。为了完成这一任务,我们训练生成对抗网络(GAN)作为信号先验,与CT数据的迭代同时代数重建技术(SART)结合使用。该网络包括一个自注意块,用于对数据中的长期依赖关系进行建模。我们将我们的自注意GAN用于CT图像重建与几种最先进的方法进行了比较,包括去噪循环GAN,CIRCLE GAN和总变分优化算法。我们的方法被证明具有可比的整体性能的圆圈GAN,而优于其他两种方法。
2021-12-23 cs.CV eess.IV
Accelerating Cardiac MRI Reconstruction with CMRatt: An Attention-Driven Approach
ML-Labs Dublin City University(都柏林城市大学ML实验室);Insight SFI Research Centre for Data Analytics Dublin City University(都柏林城市大学Insight SFI数据分析研究中心);School of Medicine University College Dublin(都柏林大学学院医学院)
本文针对 CMR 欠采样重建中的混叠问题,系统比较 U-Net 上的空间与通道注意力,并基于 CMRxRecon 提出性能更优的 CMRatt 注意力流程。
2024-04-10 cs.CV eess.IV
Sparse Light Field Sampling Improves Casual 3D and 4D Reconstruction
Cornell University(康奈尔大学);Adobe(奥多比公司);University of California, Berkeley(加州大学伯克利分校);Georgia Institute of Technology(佐治亚理工学院)
本文针对消费级多视图相机,提出稀疏视图3DGS与4DGS基线方法,验证多相机稀疏采样可显著提升单帧、少帧及casual视频的三维与四维重建质量,尤其适用于动态场景。
2026-08-24 cs.CV eess.IV
GAF-NAU: Gramian Angular Field encoded Neighborhood Attention U-Net for Pixel-Wise Hyperspectral Image Classification
Michigan Technological University(密歇根理工大学)
高光谱图像分类是高光谱领域最具活力的研究领域,因为高光谱图像中包含丰富的光谱信息,可以极大地帮助识别感兴趣的目标。然而,材料和相应的光谱轮廓之间的固有的非线性带来了两个主要的挑战,在HSI分类:类间相似性和类内变异。许多先进的深度学习方法试图从基于区域/块的方法的角度来解决这些问题,而不是基于像素的替代方法。然而,基于块的方法假设,在一个固定的空间窗口中的目标像素的邻域像素属于同一类。这个假设并不总是正确的。为了解决这个问题,本文提出了一种新的深度学习架构,即Gramian角场编码的邻域注意力U-网(GAF-NAU),用于基于像素的HSI分类。该方法不需要以原始目标像素为中心的区域或补丁来执行基于2D-CNN的分类,相反,我们的方法使用Gramian角场(GAF)将HSI中的1D像素向量转换为2D角特征空间,然后将其嵌入到新的邻域注意力网络中,以抑制不相关的角特征,同时强调对HSI分类任务有用的相关特征。对三个公开的HSI数据集的评估结果证明了该模型的优越性能。
2022-04-21 cs.CV eess.IV
Deep Spatial-angular Regularization for Compressive Light Field Reconstruction over Coded Apertures
编码孔径是一种很有前途的四维光场(LF)获取方法,它将四维数据压缩调制成二维编码测量值,并通过重构算法对二维编码测量值进行解码。其瓶颈在于重建算法,导致重建质量相当有限。为了应对这一挑战,我们提出了一种新的基于学习的框架,用于通过学习的编码孔径从采集中重建高质量的LF。所提出的方法将测量观察优雅地结合到深度学习框架中,以避免完全依赖于数据驱动的先验来进行LF重建。具体地,我们首先将压缩LF重建公式化为具有隐式正则化项的逆问题。然后,我们用一个高效的深度空间-角度卷积子网络来构造正则化项,以全面探索信号分布,而不受确定性数学建模的有限表示能力和低效性的影响。实验结果表明,重建的LF不仅实现了更高的PSNR/SSIM,但也保持LF视差结构更好,与国家的最先进的方法相比,在真实和合成LF基准。此外,实验表明,我们的方法是有效的和鲁棒的噪声,这是一个真正的相机系统的一个重要优势。该代码可在\url{https://github.com/angmt2008/LFCA}上公开获取
2020-07-23 eess.IV
Limited View Tomographic Reconstruction Using a Deep Recurrent Framework with Residual Dense Spatial-Channel Attention Network and Sinogram Consistency
Yale University(耶鲁大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
有限视图断层摄影重建旨在从有限数量的正弦图或投影视图重建断层摄影图像,这些正弦图或投影视图由减少辐射剂量或缩短扫描时间的稀疏视图或有限角度采集产生。然而,由于正弦图的不完整性,这种重建遭受高噪声和严重伪影。为了导出质量重建,先前的最先进的方法使用UNet类神经架构来从有限的视图数据直接预测全视图重建;但是这些方法在很大程度上保留了深度网络架构问题,并且不能保证重建图像的正弦图与采集的正弦图之间的一致性,从而导致非理想重建。在这项工作中,我们提出了一种新的经常性重建框架,堆叠相同的块多次。循环块由定制设计的剩余密集空间通道注意力网络组成。此外,我们开发了一个正弦图一致性层交织在我们的经常性框架,以确保采样正弦图是一致的经常性块的中间输出的正弦图。我们在两个数据集上评估我们的方法。我们在AAPM低剂量CT Grand Challenge数据集上的实验结果表明,我们的算法在有限角度重建(PSNR优于5dB)和稀疏视图重建(PSNR优于4dB)方面都比现有的最先进的神经方法实现了一致和显着的改进。此外,我们在深部病变数据集上的实验结果表明,我们的方法能够为8种主要病变类型生成高质量的重建。
2020-09-03 cs.CV eess.IV
Efficient Folded Attention for 3D Medical Image Reconstruction and Segmentation
Cornell University(康奈尔大学);Weill Cornell Medical College(威尔康奈尔医学院);University of Pennsylvania(宾夕法尼亚大学)
提出折叠注意力方法,通过张量折叠与展开操作构建子亲和矩阵,在适度提升精度的同时大幅降低3D医学图像重建与分割的计算复杂度和内存消耗。
2020-09-13 cs.CV eess.IV
Less Memory, Faster Speed: Refining Self-Attention Module for Image Reconstruction
Beijing Institute of Technology(北京理工大学)
自注意(Self-attention,SA)机制可以有效地捕捉深度神经网络中的全局依赖关系,并已成功应用于自然语言处理和图像处理。然而,用于图像重建的SA模块具有较高的时间和空间复杂度,这限制了其在更高分辨率图像中的应用。本文对自注意生成对抗网络(SAGAN)中的SA模块进行了改进,通过调整非局部操作、修改SA模块中单元之间的连通性以及重新实现SA模块的计算模式,使其空间复杂度从$\text{O}(n^2)$降低到$\text{O}(n)$,但仍与原SA模块等价.进一步,我们探索了该模块背后的原理,发现我们的模块是一种特殊的通道注意力机制。基于两个图像重建基准数据集的实验结果表明,在相同的计算环境下,两种模型的图像重建效果相当,但所提模型运行速度更快,占用内存空间更少。
2019-05-20 cs.CV cs.LG eess.IV
Sparse Reconstruction of Optical Doppler Tomography with Alternative State Space Model and Attention
Stony Brook University(石英溪大学)
针对光学相干多普勒层析成像密集采样导致的扫描慢、存储需求大问题,提出搭载交替状态空间注意力网络的稀疏重建框架,结合一维SSM与门控自注意力及卷积前馈网络,在动物数据上实现优于现有方法的重建效果。
2025-07-30 cs.CV eess.IV
AdaptiveWeighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images
Xidian University(西安电子科技大学)
最近有希望的频谱重建(SR)的努力集中在通过使用更深和更宽的卷积神经网络(CNN)来学习复杂的映射。然而,大多数基于CNN的SR算法忽略了探索相机光谱灵敏度(CSS)先验和中间特征之间的相互依赖性,从而限制了网络的表示能力和SR的性能。为了克服这些问题,我们提出了一种新的自适应加权注意力网络(AWAN)用于SR,其主干由多个双剩余注意块(DRAB)堆叠而成,DRAB上装饰有长短跳跃连接,形成双剩余学习。具体而言,我们研究了一个自适应加权通道注意力(AWCA)模块,通过整合通道之间的相关性来重新分配通道的特征响应。此外,一个补丁级二阶非本地(PSNL)模块的开发,以捕获长距离的空间上下文信息的二阶非本地操作更强大的功能表示。基于恢复的RGB图像可以由重建的高光谱图像(HSI)和给定的CSS函数投影的事实,我们将RGB图像和HSI的差异作为更精确的重建的更精细的约束。实验结果表明,我们提出的AWAN网络的有效性,在定量比较和感知质量方面超过其他国家的最先进的SR方法。在NTIRE 2020光谱重建挑战赛中,我们的参赛作品获得了清洁赛道的第一名和真实世界赛道的第三名。代码可在https://github.com/Deep-imagelab/AWAN上获得。
2020-05-19 cs.CV eess.IV
Coarse-Fine View Attention Alignment-Based GAN for CT Reconstruction from Biplanar X-Rays
Beijing United Imaging Research Institute of Intelligent Imaging(北京联影智能影像研究院);United Imaging Intelligence Beijing(联影智能(北京));Peking University Third Hospital(北京大学第三医院);Beijing University of Posts and Telecommunications(北京邮电大学)
针对CT成像不可用的场景,提出一种带注意力的粗细跨视图融合GAN,通过双平面X射线重建3D CT,性能优于现有最优方法。
2024-08-19 cs.CV eess.IV
Graph Attention Network based Pruning for Reconstructing 3D Liver Vessel Morphology from Contrasted CT Images
通过将造影剂注入血管,多期增强CT图像可以增强人体血管网络的可见性。从对比CT图像重建肝脏血管的3D几何形态可以实现多种肝脏术前手术规划应用。由于肝脏血管形态的复杂性以及不同期次CT增强图像之间血管密度的不一致性,肝脏血管形态的自动重建一直是一个具有挑战性的问题。另一方面,3D重建需要高完整性,以避免决策偏差。在本文中,我们提出了一个框架,肝血管形态重建使用全卷积神经网络和图形注意力网络。首先训练完全卷积神经网络以产生肝血管中心线热图。然后使用基于图像处理的算法基于热图来跟踪过重建的肝脏血管图模型。我们使用图注意力网络来修剪假阳性分支,通过使用聚合的CNN特征预测初始重建中每个分段分支的存在概率。我们在由418个多相腹部CT图像组成的内部数据集上评估了所提出的框架。所提出的图网络修剪将总体重建F1分数提高了6.4%。它也优于其他国家的最先进的曲线结构重建算法。
2020-03-18 cs.CV eess.IV
A Lightweight Dual-Domain Attention Framework for Sparse-View CT Reconstruction
Beijing University of Posts and Telecommunications(北京邮电大学)
计算机断层扫描(CT)在临床诊断中起着至关重要的作用。由于辐射对患者的不良影响,预计辐射剂量将尽可能降低。稀疏采样是一种有效的方法,但它会导致重建的CT图像出现严重的伪影,因此稀疏视图CT图像重建一直是一个热门且具有挑战性的研究领域。随着移动设备的普及,人们对网络的轻量级和实时性的要求越来越高。在本文中,我们设计了一种新的轻量级网络称为CAGAN,并提出了一个双域重建流水线并行束稀疏视图CT。CAGAN是一个对抗性的自动编码器,结合了坐标注意单元,它保留了特征的空间信息。此外,Shuffle Blocks的应用在不牺牲性能的情况下将参数减少了四分之一。在Radon域中,CAGAN学习插值数据和无条纹投影数据之间的映射。将恢复后的Radon数据重建成图像后,送入训练好的第二CAGAN进行细节恢复,得到高质量的图像。实验表明,CAGAN在模型复杂度和性能之间取得了很好的平衡,我们的流水线优于DD-Net和DuDoNet。
2022-02-19 cs.CV eess.IV
Parameterizing the Angular Distribution of Emission: A Model for TOF-PET Low-Count Reconstruction
即使在飞行时间(TOF)分辨率最近取得进展的情况下,低计数重建仍然是正电子发射断层成像(PET)的挑战。在这种情况下,由低值或零组成的所获取的直方图与从前向投影仪获得的预期直方图之间的偏差被传播到图像,从而导致有偏差的重建。这种情况可能会随着TOF信息的更精细分辨率而加剧,这进一步稀疏了所采集的直方图。我们提出了一种新的方法来规避这种限制的经典重建模型。它包括通过参数化发射角分布(PADE)扩展重建方案的描述,以明确包括投影域。这种参数化比对数似然模型具有更大的自由度,而对数似然模型在经典情况下无法利用。我们假设,使用超快速TOF,这种新方法不仅适用于低计数重建,而且比经典重建模型更合适。作为一个概念的证明,这种方法的实施相比,通过调查热点幻影的二维模拟的对数似然模型。所提出的模型实现了类似的对比度恢复系数MLEM除了最小的结构,其中的低计数性质的模拟,很难得出结论。然而,这个新的模型似乎收敛到更少的噪音解决方案比MLEM。这些结果表明,PADE方法具有超快TOF低计数重建的潜力。
2023-01-10 eess.IV physics.med-ph
DuDoTrans: Dual-Domain Transformer Provides More Attention for Sinogram Restoration in Sparse-View CT Reconstruction
Institute of Computing Technology, CAS(中国科学院计算技术研究所);Suzhou Institute of Intelligent Computing Technology, CAS(中国科学院苏州智能计算技术研究院);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院);Beijing Information Science and Technology University(北京信息科技大学);University of Science and Technology of China(中国科学技术大学)
虽然计算机断层扫描(CT)重建从X射线正弦图是必要的临床诊断,碘辐射在成像过程中会导致不可逆的损伤,从而推动研究人员研究稀疏视图CT重建,即恢复高质量的CT图像从一组稀疏的正弦图视图。针对稀疏CT图像中出现的伪影,提出了迭代模型,但计算量太大。然后,基于深度学习的方法由于其出色的性能和较低的计算量而获得了普及。然而,这些方法忽略了CNN的\textbf{local}特征提取能力与正弦图的\textbf{global}特征之间的不匹配。为了克服这个问题,我们提出了\textbf{Du} al- \textbf{Do}主\textbf{Trans} former(\textbf{DuDoTrans}),通过Transformer的远程依赖建模功能同时恢复信息性正弦图,并使用增强的和原始的正弦图重建CT图像。通过这种新颖的设计,NIH-AAPM数据集和COVID-19数据集上的重建性能实验证实了DuDoTrans的有效性和通用性,涉及的参数较少。大量的实验也证明了它的鲁棒性与不同的噪声水平的情况下,稀疏视图CT重建。代码和模型可在https://github.com/DuDoTrans/CODE上公开获取
2021-11-25 cs.CV eess.IV
Reconstruction Student with Attention for Student-Teacher Pyramid Matching
Meijo University(名城大学)
异常检测与定位是计算机视觉中的重要问题。最近,卷积神经网络(CNN)已经用于视觉检测。特别是,异常样本的稀缺性增加了这项任务的难度,基于无监督学习的方法正在引起人们的注意。我们专注于学生-教师特征金字塔匹配(STPM),它可以只从正常图像与少量的时期进行训练。在这里,我们提出了一个强大的方法,弥补了STPM的缺点。提出的方法由两个学生和两个教师组成,一对学生-教师网络是相同的STPM。另一个学生-教师网络具有重构正常产品特征的作用。通过从异常图像重建正常产品的特征,可以通过获取它们之间的差异来以更高的精度检测异常。新的学生-教师网络使用注意力模块和不同于原始STPM的教师网络。注意力机制用于成功地重建输入图像中的正常区域。不同的教师网络阻止查看与原始STPM相同的区域。使用从两个学生-教师网络获得的六个异常图来计算最终的异常图。与原始STPM相比,用于重建特征的学生-教师网络改善了像素级和图像级的AUC分数。
2022-03-09 cs.CV eess.IV
CTLformer: A Hybrid Denoising Model Combining Convolutional Layers and Self-Attention for Enhanced CT Image Reconstruction
Independent Researcher(独立研究者);Amazon.com, Inc.(亚马逊公司);Georgia Institute of Technology(佐治亚理工学院)
针对低剂量CT图像噪声影响诊断及多尺度特征融合难等问题,提出结合卷积与transformer的CTLformer去噪模型,通过多尺度及动态注意力机制等提升性能,在挑战赛数据集上表现优于现有方法。
2025-05-18 cs.CV eess.IV
Deep Angular Embedding and Feature Correlation Attention for Breast MRI Cancer Analysis
The Chinese University of Hong Kong(香港中文大学);Imsight Medical Technology, Co., Ltd.(推想医疗科技股份有限公司);Imperial College London(伦敦帝国理工学院);The Fifth Medical Center of Chinese PLA General Hospital(中国人民解放军总医院第五医学中心);Beijing Image Diagnostic Center of Rimag(北京一脉阳光影像诊断中心)
乳腺MRI图像的准确、自动化分析对乳腺癌的早期诊断和治疗计划的制定具有重要意义。由于肿瘤的异质性,准确诊断肿瘤仍然是一项具有挑战性的任务。在这篇论文中,我们提出了通过深度学习(DL)的余弦边缘S形损失(CMSL)来识别MRI中的乳腺肿瘤,并基于学习的特征通过相关注意图(COAM)定位可能的癌症病变。CMSL将肿瘤特征嵌入到超球体上,并通过余弦约束施加决策裕度。通过这种方式,DL模型可以在角空间中学习更多可分离的类间特征和更紧凑的类内特征。此外,我们利用特征向量之间的相关性来生成注意力图,该注意力图可以仅用图像级标签来准确地定位癌症候选者。我们建立了最大的乳腺癌数据集,涉及10,290个DCE-MRI扫描体积,用于开发和评估所提出的方法。由CMSL驱动的模型在测试集上实现了0.855的分类准确度和0.902的AUC,灵敏度和特异性分别为0.857和0.852,总体上优于其他竞争方法。此外,与其他弱监督定位方法相比,COAM算法能够更准确地定位肿瘤中心。
2019-06-07 cs.CV eess.IV
Fine-grained MRI Reconstruction using Attentive Selection Generative Adversarial Networks
University of Edinburgh(爱丁堡大学)
压缩感知(CS)利用稀疏性为快速磁共振成像(fastMRI)提供基础。然而,不适定问题的迭代求解器阻碍了它们对时间关键应用的适应。此外,这样的先验既不能丰富地捕获复杂的解剖结构,也不能适用于满足现代MRI中高保真重建的需求。受最先进的图像生成方法的启发,我们提出了一种新的基于注意力的深度学习框架,以提供高质量的MRI重建。我们在生成对抗网络(GAN)框架中集成了大范围上下文特征集成和注意力选择。我们证明,与其他基于深度学习的方法相比,所提出的模型在图像质量以及与极低采样率饮食中的MRI重建相关性方面可以产生更好的结果。
2021-03-13 cs.CV eess.IV
LFACon: Introducing Anglewise Attention to No-Reference Quality Assessment in Light Field Space
University of Sydney(悉尼大学);Beijing Technology and Business University(北京工商大学)
针对光场图像质量评估缺乏有效反映角度一致性的指标及现有方法计算成本高的问题,本文提出引入角度注意力的LFACon模型,通过三种注意力核实现高效特征提取,实验表明其性能优于现有指标且计算更高效。
2023-03-20 cs.CV cs.MM eess.IV
Multi-frequency Electrical Impedance Tomography Reconstruction with Multi-Branch Attention Image Prior
The University of Edinburgh(爱丁堡大学);University of Dundee(邓迪大学)
针对现有多频电阻抗断层成像监督算法依赖大量训练数据、易引入频率间错误电导率对比度的问题,提出基于多分支注意力图像先验的无监督重建方法,无需训练数据即可实现鲁棒重建,性能媲美或优于现有最优算法且泛化性更强。
2024-09-17 cs.CV cs.LG eess.IV
Light Weight Residual Dense Attention Net for Spectral Reconstruction from RGB Images
Couger Inc(库格公司);Thiagarajar college of Engineering(蒂亚加拉贾工程学院)
高光谱成像是获取特定场景的光谱和空间信息。从专门的高光谱相机捕获这种信息仍然是昂贵的。从RGB图像重建这样的信息在分类和对象识别任务中实现了更好的解决方案。本文提出了一种新的轻量级网络,其参数数量非常少,约为233,059个参数,基于具有注意力机制的残差稠密模型来获得该解决方案。该网络采用协调卷积块来获取空间信息。该块的权重由两个独立的特征提取机制共享,一个是密集特征提取,另一个是多尺度层次特征提取。最后,从这两个特征提取机制的功能是全局融合,产生31个光谱带。该网络使用NTIRE 2020挑战数据集进行训练,从而以较低的计算复杂度实现了0.0457 MRAE度量值。
2020-04-19 cs.CV cs.NE eess.IV
Multi-branch Cascaded Swin Transformers with Attention to k-space Sampling Pattern for Accelerated MRI Reconstruction
Monash Biomedical Imaging, Monash University(莫纳什大学生物医学成像中心);Department of Electrical and Computer Systems Engineering, Monash University(莫纳什大学电气与计算机系统工程系);School of Psychological Sciences, Monash University(莫纳什大学心理科学学院);Department of Data Science and AI, Monash University(莫纳什大学数据科学与人工智能系)
由于组织和骨骼之间的相似性,全局相关性在人类解剖结构中广泛存在。这些相关性反映在磁共振成像(MRI)扫描作为近距离质子密度和T1/T2参数的结果。此外,为了实现加速MRI,k空间数据被欠采样,这导致全局混叠伪影。卷积神经网络(CNN)模型被广泛用于加速MRI重建,但由于卷积运算的固有局部性,这些模型在捕获全局相关性方面受到限制。基于自注意的Transformer模型能够捕捉图像特征之间的全局相关性,然而,目前Transformer模型对MRI重建的贡献很小。现有的贡献主要提供CNN变压器混合解决方案,很少利用MRI的物理特性。在本文中,我们提出了一个基于物理的独立(无卷积)Transformer模型,标题为多头级联Swin Transformers(McSTRA)的加速MRI重建。McSTRA将几个相互关联的MRI物理相关概念与Transformer网络相结合:它通过移位窗口自注意机制利用全局MR特征;它使用多头设置分别提取属于不同频谱分量的MR特征;它通过级联网络在中间去混叠和k空间校正之间迭代,具有k空间中的数据一致性和中间损耗计算;此外,我们提出了一种新的位置嵌入生成机制,利用对应于欠采样掩码的点扩散函数来引导自我注意。我们的模型在视觉上和定量上都明显优于最先进的MRI重建方法,同时描述了提高的分辨率和消除混叠伪影。
2022-12-21 cs.AI cs.CV cs.LG
Joint Angular Refinement and Reconstruction for Single-Particle Cryo-EM
单粒子冷冻电子显微镜(cryo-EM)从具有随机和未知方向的大量二维投影图像中重建生物分子的三维(3D)结构。单粒子冷冻EM管道中的关键步骤是3D细化,其通过细化每个投影的方向的估计来从初始近似体积解析高分辨率3D结构。在这项工作中,我们提出了一种新的方法,细化的投影角度的连续。我们制定的优化问题的密度图和方向联合。密度图更新使用有效的交替方向方法的乘数,而方向更新通过半坐标梯度下降,我们提供了一个明确的梯度推导。我们的方法消除了对方向空间的精细离散化的要求,并取消了经典但计算昂贵的模板匹配步骤。数值结果表明,我们的方法相比,几个基线的可行性和性能。
2020-03-23 eess.IV eess.SP
Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction
PLA Strategic Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学)
我们提出了一个有效的多视图立体视觉(MVS)网络的三维重建从多视图图像。虽然先前的基于学习的重建方法执行得相当好,但是它们中的大多数使用在每个平面处具有固定深度假设的平面扫描体积来以固定分辨率估计深度图,这需要密集采样的平面以获得期望的精度,因此难以实现高分辨率深度图。在本文中,我们介绍了一个粗到细的深度推理策略,以实现高分辨率的深度。该策略估计粗略级别的深度图,而更精细级别的深度图被认为是来自先前级别的具有逐像素深度残差的上采样深度图。因此,我们缩小了深度搜索范围与先验信息从以前的水平和构建新的成本量从像素级深度残差进行深度图细化。然后,由于所有参数在不同级别之间共享,因此可以迭代地实现最终的深度图。在每个层次上,自注意层被引入到特征提取块中,用于捕获深度推理任务的长程依赖关系,并且使用相似性度量而不是先前工作中使用的基于方差的方法来生成成本体积。实验在DTU基准数据集和最近发布的BlendedMVS数据集上进行。结果表明,我们的模型可以优于大多数最先进的(SOTA)方法。该项目的代码库位于https://github.com/ArthasMil/AACVP-MVSNet。
2020-11-25 cs.CV cs.LG eess.IV
ATP-Net: An Attention-based Ternary Projection Network For Compressed Sensing
Beijing University of Posts and Telecommunications(北京邮电大学)
压缩感知(CS)理论同时实现了信号的采样和压缩过程,可以用更少的观测值实现精确的信号恢复,为海量数据更好更快的传输提供了解决方案。针对CS采样矩阵多为随机矩阵,与采样信号无关且存储空间大的问题,提出了一种基于三值采样矩阵的带注意机制的CS采样方法。所提出的方法包括三个部分,即,三值采样、初始重构和深度重构,重点是三值采样。三值化方法(-1,0,+1)的主要思想是在对采样矩阵进行二值化(-1,+1)后,在采样层引入注意力机制来评估参数的重要性,然后对重要性低于预定义阈值的参数进行修剪权重,从而实现三值化。在此基础上,提出了一种基于三值采样矩阵的压缩感知算法,即ATP-Net,用于图像重建,基于注意力的三元投影网络。实验结果表明,采用三值采样矩阵,即,在采样率为0.25时,Set 11的平均PSNR为30.4,比DR 2-Net提高了约6%。
2021-06-24 cs.CV eess.IV eess.SP
Attention Hybrid Variational Net for Accelerated MRI Reconstruction
Boston University(波士顿大学);Boston Medical Center(波士顿医疗中心);Boston University Chobanian & Avedisian School of Medicine(波士顿大学乔巴尼亚与阿夫迪西安医学院)
提出一种在k空间和图像域联合学习的注意力混合变分网络,用于加速MRI重建,在开源和临床中风数据集上优于其他方法。
2023-06-21 cs.CV cs.LG eess.IV
BSRA: Block-based Super Resolution Accelerator with Hardware Efficient Pixel Attention
National Yang Ming Chiao Tung University(国立阳明交通大学)
越来越多的基于卷积神经网络(CNN)的超分辨率模型被提出来以获得更好的重建效果,但其庞大的模型尺寸和复杂的结构限制了其实时硬件实现。当前的硬件设计局限于普通网络,并且具有较低的质量和高内存带宽要求。本文提出了一种具有硬件高效像素注意力的超分辨率硬件加速器,该加速器仅需要25.9K参数,结构简单,但重建图像比广泛使用的FSRCNN好0.38dB。加速器采用全模型块卷积进行全模型层融合,以减少仅对模型输入和输出的外部存储器访问。此外,CNN和像素注意力得到了具有分布式权重的PE阵列的良好支持。最终实现可以支持30帧/秒的全高清图像重建与台积电40纳米CMOS工艺。
2022-05-02 cs.AR cs.CV cs.LG
Conditional Temporal Attention Networks for Neonatal Cortical Surface Reconstruction
本研究提出CoTAN框架,通过注意力机制学习条件时变速度场实现新生儿皮层快速微分同胚重建,在dHCP数据集上以0.12mm几何误差、0.07%自相交面优于现有方法,且无需中间监督。
2023-07-21 eess.IV q-bio.NC
Parallax in angular sensitive powder diffraction tomography
本文研究角度敏感粉末衍射层析成像中的几何视差影响,发现其与其他偏移贡献可加、可直接校正,且在完整360°旋转扫描中不影响角信息重建。
2024-08-30 cond-mat.mtrl-sci eess.IV physics.optics
Improving Ultrasound Tongue Image Reconstruction from Lip Images Using Self-supervised Learning and Attention Mechanism
The University of Tokyo(东京大学);Southeast University(东南大学)
言语的产生是一个动态的过程,涉及到舌、颌、唇等多个人体器官。语音是人类日常交流中最常用的方式,而对语音进行建模是理解语音的基础。研究人员同时使用几个感觉流来描述这个过程,这些感觉流在统计上与其他感觉流毫无疑问相关。在本文中,我们解决了以下问题:给定一个可观察的图像序列的嘴唇,我们可以图片相应的舌头运动。我们将这个问题描述为自监督学习问题,并采用双流卷积网络和长短记忆网络进行学习任务,并采用注意力机制。我们评估所提出的方法的性能,利用未标记的嘴唇视频预测即将到来的超声舌图像序列。实验结果表明,该模型能够生成与真实超声舌图像接近的图像,并实现了两种成像模式之间的匹配。
2021-06-20 cs.CV cs.LG cs.SD
Physics-Guided Diffusion Transformer with Spherical Harmonic Posterior Sampling for High-Fidelity Angular Super-Resolution in Diffusion MRI
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院生物医学成像研究中心,中国科学院)
针对dMRI角度超分辨率中细节恢复与保真度不足的问题,提出物理引导扩散Transformer(PGDiT),结合Q空间几何感知训练与球谐引导后验采样推理,在通用任务及DTI、NODDI下游应用中优于现有模型。
2025-09-07 cs.LG eess.IV