Computerized Tomography with Total Variation and with Shearlets
Universidad Nacional Autónoma de México(墨西哥国立自治大学);City University of New York(纽约市立大学)
为了减少计算机断层摄影(CT)中的X射线剂量,已经提出了许多约束优化方法,旨在最小化正则化函数,该正则化函数测量与关于正被成像的对象的一些先验知识的一致性的缺乏,服从与检测到的X射线衰减的(预定)一致性水平。正则化函数中剪切波变换的支持者声称,这样获得的重建比使用TV进行纹理保留的重建更好(但降噪效果可能更差)。在本文中,我们报告的结果与此要求。在我们报告的实验中,使用模拟CT数据收集的头部,重建的剪切波变换有一个小的$\ell_1$ -范数是不是更有效的重建,有一个小的TV值。我们的实验进行这样的比较使用最近开发的优越化方法的正则化函数。优化是一种自动化过程,用于将用于产生满足主要标准(例如与观察到的测量结果的一致性)的图像的迭代算法转换为其优化版本,该优化版本将产生根据主要标准与原始算法产生的结果一样好的结果,但另外根据次要(正则化)标准优于它们。所提出的用于涉及剪切波变换的$\ell_1$ -范数的优越化的方法是新颖的并且是相当一般的:它可以用于被定义为由矩阵的应用指定的变换的$\ell_1$ -范数的任何正则化函数。由于在以前的文献中分裂Bregman算法用于类似的目的,一节包括比较优越化算法与分裂Bregman算法的结果。
2016-08-23 cs.CV physics.med-ph
Blind restoration for non-uniform aerial images using non-local Retinex model and shearlet-based higher-order regularization
Peking University(北京大学)
航空图像常因空间变化的运动模糊和同时存在的光照不均匀而出现质量下降。为了恢复高质量的航空图像从其非均匀的版本,我们提出了一种新的块式恢复方法的基础上的一个关键的观察,模糊的程度是不可避免地受到照明条件。一个非本地Retinex模型的开发,以准确地估计从退化的航空图像的反射率分量。此后,不均匀的照明被很好地校正。然后对增强反射率图像中的非均匀耦合模糊进行缓解,使其向均匀分布方向转化,为后续的去模糊提供便利。为了构造多尺度稀疏正则化子,改进了离散剪切波变换,使其在方向敏感性和选择性方面更好地表示各向异性图像特征。此外,提出了一种新的自适应变体的总广义变分的结构保持正则化。这些互补的正则化子被优雅地集成到目标函数中。利用快速交替方向法求解该函数,得到均匀光照下的最终去模糊图像。实验结果表明,该算法不仅能有效地去除航拍图像中的空间变化光照和运动模糊,而且能恢复出丰富的航拍场景细节,具有一流的主客观质量,优于其他现有的复原方法。
2016-12-23 cs.CV
Color Texture Image Retrieval Based on Copula Multivariate Modeling in the Shearlet Domain
Amirkabir University of Technology(阿米尔卡比尔理工大学)
提出了一种基于Copula多元模型Shearlet域建模的彩色纹理图像检索框架。在所提出的框架中,高斯Copula被用来模拟非下采样剪切波变换(NSST)的不同子带之间的依赖性和非高斯模型被用于边缘建模的系数。提出了六种不同的方案来建模NSST系数的基础上定义的四种类型的邻居;此外,Kullback Leibler散度(KLD)的封闭形式计算在不同的情况下的两个高斯Copula函数和非高斯函数,以调查在建议的检索框架的相似性。杰弗里分歧(JD)标准,这是一个对称版本的KLD,用于调查的相似性,在建议的框架。我们已经实现了我们的实验上的四个纹理图像检索基准数据集,其结果表明,所提出的框架比现有的国家的最先进的方法的优越性。此外,还从特征提取和相似性匹配两个步骤分析了该框架的检索时间,结果表明该框架具有较好的检索时间。
2020-08-03 cs.CV eess.IV
Shearlets as Feature Extractor for Semantic Edge Detection: The Model-Based and Data-Driven Realm
University of Tromsø(特罗姆瑟大学);KTH - Royal Institute of Technology(瑞典皇家理工学院)
语义边缘检测作为一种图像处理任务,近年来得到了广泛的关注,这主要是由于其广泛的实际应用。这是基于图像中的边缘包含大部分语义信息的事实。语义边缘检测包括两个任务,即纯边缘检测和边缘分类。实际上,这些任务在每个任务所需的抽象级别方面是根本不同的,这被称为分心监督悖论,它限制了监督模型在语义边缘检测中的可能性能。在这项工作中,我们将提出一种新的混合方法,以避免分心监督悖论,并实现高性能的语义边缘检测。我们的方法是基于剪切波的基于模型的概念,它提供了可能是最佳稀疏近似的模型类的图像,和数据驱动的方法,适当设计的卷积神经网络的组合。最后,我们提出了几个应用程序,如断层重建,并表明我们的方法显着优于以前的方法,从而表明这种混合方法在生物医学成像领域的价值。
2019-11-27 cs.CV cs.LG eess.IV
Two-stage Geometric Information Guided Image Reconstruction
University of Kentucky(肯塔基大学);Case Western Reserve University(凯斯西储大学)
在压缩感知中,从极少量的噪声线性投影中重建高质量的图像是一个挑战。现有的方法大多适用于分段恒定的图像,但对于自然图像、医学图像等包含大量细节的分段平滑图像效果不佳。我们提出了一个两阶段的方法称为GeoCS恢复图像具有丰富的几何信息,从非常有限的噪声测量。该方法采用剪切波变换,数学上证明是最佳的稀疏表示图像包含各向异性的功能,如边缘,角落,尖峰等,它也使用加权全变差(TV)稀疏空间变化的权重,以保持锐利的边缘,但减少阶梯效应的电视。从阶段I的结果中提取的几何信息用作阶段II的初始先验,其以互利的方式交替图像重建和几何信息更新。GeoCS已经在不完整的傅立叶光谱样本上进行了测试。它也适用于其他类型的测量。对各种复杂图像的实验结果表明,GeoCS是高效的,并且可以生成高质量的图像。
2021-02-16 cs.CV math.OC
3D-RETR: End-to-End Single and Multi-View 3D Reconstruction with Transformers
ETH Zurich(苏黎世联邦理工学院);RWTH Aachen(亚琛工业大学);LMU Munich(慕尼黑大学)
3D重建的目的是从2D视图重建3D对象。以前的3D重建工作主要集中在视图之间的特征匹配或使用CNN作为骨干。最近,Transformers在计算机视觉的多种应用中显示出有效性。然而,Transformers是否可以用于3D重建仍不清楚。在本文中,我们填补了这一空白,提出3D-RETR,这是能够执行端到端的3D重建与Transformers。3D-RETR首先使用预训练的Transformer从2D输入图像中提取视觉特征。3D-RETR然后使用另一个Transformer Decoder来获得体素特征。然后,CNN解码器将体素特征作为输入以获得重建的对象。3D-RETR能够从单个视图或多个视图进行3D重建。在两个数据集上的实验结果表明,3DRETR在三维重建方面达到了最先进的性能。其他消融研究也证明了3D-DETR受益于使用Transformers。
2021-11-16 cs.CV
View Transformation Robustness for Multi-View 3D Object Reconstruction with Reconstruction Error-Guided View Selection
College of Computer Science and Software Engineering(计算机科学与软件工程学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (Shenzhen)(广东人工智能与数字经济实验室(深圳))
针对多视图3D物体重建的视图变换鲁棒性研究不足的问题,提出用Stable Diffusion生成新视角并结合重建误差引导的视图选择方法,在大幅视图变换场景下性能优于现有方法。
2025-10-21 cs.CV
Image reconstruction by domain transform manifold learning
A.A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital(麻省总医院A.A.马蒂诺斯生物医学成像中心);Harvard Medical School(哈佛医学院);Harvard University(哈佛大学)
图像重建在物理和生命科学领域的所有现代成像模式的实施中起着关键作用,包括光学、MRI、CT、PET和射电天文学。在图像采集期间,传感器在传感器域中对对象的中间表示进行编码,该中间表示随后通过编码函数的逆而被重建为图像。图像重建具有挑战性,因为逆变换的分析知识可能不先验存在,特别是在存在传感器非理想性和噪声的情况下。因此,标准重建方法涉及在信号处理链中用多个特设阶段来近似反函数,信号处理链的组成取决于每个采集策略的细节,并且通常需要专家参数调整来优化重建性能。我们在这里提出了一个统一的框架,图像重建,自动transfOrm流形逼近(AUTOMAP),重铸图像重建作为一个数据驱动的,监督学习任务,允许传感器和图像域之间的映射出现从一个适当的语料库的训练数据。我们使用深度神经网络实现AUTOMAP,并使用相同的网络架构和超参数,展示了其在学习各种MRI采集策略的重建变换方面的灵活性。我们进一步证明了它的效率,稀疏表示沿低维流形变换,从而产生优越的免疫力的噪声和重建文物相比,传统的手工重建方法。除了提高现有采集方法的重建性能外,我们还预计随着AUTOMAP和学习重建方法减轻重建负担,将加速发现跨模式的新采集策略。
2017-04-28 cs.CV
Reference-based Magnetic Resonance Image Reconstruction Using Texture Transformer
Johns Hopkins University(约翰斯·霍普金斯大学)
近年来,基于深度学习(DL)的磁共振(MR)图像重建方法已显示出优越的性能。然而,这些方法要么仅利用欠采样数据,要么需要成对的全采样辅助模态来执行多模态重建。因此,现有的方法忽略了探索注意力机制,可以在一个单一的模态内将纹理从参考全采样数据转换为欠采样数据,这限制了这些方法在具有挑战性的情况下。在本文中,我们提出了一种新的纹理Transformer模块(TTM)的加速MRI重建,在其中,我们制定的欠采样数据和参考数据的查询和键在一个Transformer。TTM有助于跨欠采样数据和参考数据进行联合特征学习,因此可以通过注意力发现特征对应关系,并且可以在重建期间利用准确的纹理特征。值得注意的是,所提出的TTM可以堆叠在先前的MRI重建方法上,以进一步提高其性能。大量的实验表明,TTM可以显着提高几个流行的基于DL的MRI重建方法的性能。
2021-12-16 cs.CV
Fast 3D Volumetric Image Reconstruction from 2D MRI Slices by Parallel Processing
A. K. Choudhury School of Information Technology, University of Calcutta(加尔各答大学A.K.乔杜里信息技术学院);Indian Statistical Institute(印度统计研究所)
磁共振成像(MRI)是一种详细的解剖特征的非侵入性成像技术。它可以帮助对标本的器官进行功能分析,但它非常昂贵。在这项工作中,方法(i)虚拟三维(3D)重建从一个单一的序列的二维(2D)切片的MR图像的人的脊柱和大脑沿一个单一的轴,和(ii)生成丢失的切片间数据。我们的方法有助于保留被捕获对象的边缘、形状、大小以及内部组织结构。该算法将二维切片沿单轴方向分割成多个相等的子块,然后利用边缘保持的克里格插值法对这些子块进行重建,以预测缺失的切片信息。为了加快插值过程,我们使用了多处理器,通过在并行核上执行初始插值。从这样形成的3D矩阵,剪切波变换被施加到估计的边缘,考虑沿$Z$轴的2D块,并使用建议的均值-中值逻辑,以最小化模糊效应。最后,为了可视化,子矩阵被合并成最终的3D矩阵。然后,将新形成的三维矩阵分解成体素,并应用移动立方体方法得到近似的三维图像。据我们所知,这是第一种基于克里金插值和多重处理的方法,用于从2D切片进行3D重建,并且对于图像比较的相似性度量,实现了约98.89%的准确度。重建所需的时间也减少了约70%的多处理,即使是一个大的输入数据集相比,单核处理。
2023-03-16 cs.CV eess.IV
SnakeVoxFormer: Transformer-based Single Image\\Voxel Reconstruction with Run Length Encoding
Purdue University(普渡大学)
基于深度学习的三维物体重建取得了前所未有的成果。其中,Transformer深度神经模型在计算机视觉的许多应用中表现出色。我们介绍SnakeVoxFormer,一种新的,三维物体重建体素空间从一个单一的图像使用Transformer。SnakeVoxFormer的输入是2D图像,结果是3D体素模型。我们的方法的关键新颖性在于使用遍历(像蛇一样)体素空间的行程长度编码,并将宽空间差异编码为适合于Transformer编码的1D结构。然后,我们使用字典编码将发现的RLE块转换为用于Transformer的令牌。1D表示是一种无损3D形状数据压缩方法,其转换为仅使用原始数据大小的约1%的1D数据。我们展示了不同的体素遍历策略如何影响编码和重建的效果。我们将我们的方法与最先进的图像三维体素重建方法进行了比较,我们的方法将最先进的方法提高了至少2.8%,最高可达19.8%。
2023-03-28 cs.CV
ART: Articulated Reconstruction Transformer
Reality Labs Research, Meta(Meta现实实验室);Stanford University(斯坦福大学)
ART通过部分基于预测的方法,从稀疏多状态RGB图像中重建完整3D关节物体,实现了高效的关节物体重建。
2026-05-15 cs.CV
Multi-view 3D Reconstruction with Transformer
University of British Columbia(不列颠哥伦比亚大学);University of Science and Technology of China(中国科学技术大学);University of Michigan(密歇根大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
到目前为止,基于深度CNN的方法已经在多视图3D对象重建中取得了最先进的结果。尽管这些方法取得了长足的进步,但其两个核心模块--多视角特征提取和融合,通常是分开研究的,而对不同视角下的目标关系研究较少。在本文中,最近的巨大成功的启发自注意力为基础的Transformer模型,我们重新制定的多视图三维重建序列到序列的预测问题,并提出了一个新的框架命名为三维体积Transformer(伏特)这样一个任务。与以前使用单独设计的基于CNN的方法不同,我们将特征提取和视图融合统一在单个Transformer网络中。我们的设计的一个自然优势在于在多个无序输入之间使用自我注意来探索视图到视图的关系。在ShapeNet -一个大规模的3D重建基准数据集上,我们的方法在多视图重建中实现了新的最先进的精度,与其他基于CNN的方法相比,参数更少($70\%$更少)。实验结果也表明我们的方法具有很强的缩放能力。我们的代码将公开提供。
2021-03-24 cs.CV
LegoFormer: Transformers for Block-by-Block Multi-view 3D Reconstruction
Technical University of Munich(慕尼黑工业大学);Google Inc(谷歌公司)
大多数现代基于深度学习的多视图3D重建技术使用RNN或融合模块在独立编码后组合来自多个图像的信息。这两个独立的步骤有松散的连接,不允许在视图之间轻松共享信息。我们提出LegoFormer,一个Transformer模型,用于基于体素的3D重建,在所有计算阶段使用注意层来共享视图之间的信息。此外,而不是预测每个体素独立,我们建议参数化的输出与一系列的低秩分解因子。这种重构允许将对象预测为一组独立的规则结构,然后聚合以获得最终的重建。在ShapeNet上进行的实验表明,我们的模型在最先进的水平方面具有竞争力的性能,同时由于自我注意层而提高了可解释性。我们还展示了有前途的推广结果,以真实的数据。
2022-07-08 cs.CV
Skeletonization and Reconstruction based on Graph Morphological Transformations
Laval University(拉瓦尔大学);University of Pennsylvania(宾夕法尼亚大学)
基于像素邻接图的多尺度形状分割是图像处理、计算机视觉和数据采掘等领域的前沿研究课题。以往的工作主要集中在图的顶点上。我们提出了新的结构化的基于图的形态变换的基础上的边缘相对于当前的节点为基础的变换,并使用它们部署的卷积和重建的红外热图像表示的图形。这种方法的优点是,许多广泛使用的路径为基础的方法变得可用在这个定义的形态操作。例如,我们使用距离映射和图像森林变换(IFT)作为两个主要的基于路径的方法用于计算图像的骨架。此外,还讨论了Maragos等人(2013)提出的关于图的连通性的开放问题,并证明了该问题在一般情况下是很难判定的.
2020-09-16 cs.CV
MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Harvard University(哈佛大学);ETH Zürich(苏黎世联邦理工学院);CAIDAS, JMU Würzburg(维尔茨堡大学CAIDAS研究所)
该研究针对现有光谱重建CNN方法的局限,提出多级光谱Transformer(MST++),采用光谱注意力块与U型单级Transformer级联的结构,在NTIRE2022光谱重建挑战赛中获第一,性能优于现有SOTA方法。
2026-11-19 cs.CV
Déjà View: Looping Transformers for Multi-View 3D Reconstruction
NVIDIA;University of Modena and Reggio Emilia, AImageLab(摩德纳和雷焦艾米利亚大学,AImageLab);University of Toronto, Vector Institute(多伦多大学,向量研究所);ETH Zürich(苏黎世联邦理工学院)
提出DéjàView模型,通过循环应用单个Transformer块进行迭代细化,以更少的参数和计算量在多个3D重建基准上达到或超越大规模前馈模型。
2026-05-29 cs.CV
MPT: Mesh Pre-Training with Transformers for Human Pose and Mesh Reconstruction
Microsoft(微软)
传统的从单个图像重建3D人体姿态和网格的方法依赖于成对的图像-网格数据集,这可能是困难和昂贵的获得。由于这种限制,模型的可扩展性以及重建性能受到约束。为了应对这一挑战,我们引入了Mesh Pre-Training(MPT),这是一种有效的预训练策略,它利用大量MoCap数据来有效地进行大规模的预训练。我们引入了使用MoCap生成的热图作为网格回归Transformer的输入表示,并提出了一种用于提高预训练性能的掩蔽热图建模方法。这项研究表明,使用所提出的MPT进行预训练,可以使我们的模型在不需要微调的情况下进行有效的推理。我们进一步表明,微调预训练的MPT模型大大提高了人类网格重建从单一图像的准确性。实验结果表明,MPT在Human3.6M和3DPW数据集上的性能优于之前的最先进方法。作为进一步的应用,我们基准测试和研究MPT的三维手部重建的任务,表明我们的通用预训练方案推广以及手部姿态估计,并取得了良好的重建性能。
2023-03-15 cs.CV
THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers
Google Research(谷歌研究院)
我们提出了THUNDR,这是一种基于变换的深度神经网络方法,用于在单目RGB图像下重建人的3D姿势和形状。我们方法的关键是中间3D标记表示,我们的目标是将无模型输出架构的预测能力与统计人体表面模型(如GHUM)的正则化,人体测量保留特性相结合-最近推出的,富有表现力的全身统计3D人体模型,经过端到端训练。我们新颖的基于transformer的预测管道可以专注于与任务相关的图像区域,支持自我监督机制,并确保解决方案与人体测量一致。我们在Human3.6M和3DPW上展示了最先进的结果,包括完全监督和自监督模型,用于推断3D人体形状,关节位置和全局平移的任务。此外,我们观察到非常坚实的三维重建性能,在野外收集的困难的人类构成。
2021-06-17 cs.CV
CHEM: Estimating and Understanding Hallucinations in Deep Learning for Image Processing
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Tromsø(特罗姆斯大学);German Aerospace Center (DLR)(德国航天中心);Foundation for Research and Technology Hellas (FORTH)(希腊研究与技术基金会)
本文提出CHEM方法,用于量化和表征图像重建模型中的幻觉 artifacts,通过小波和shearlet表示定位幻觉区域,并利用 conformalized quantile regression 评估幻觉水平,同时分析U-shaped网络为何容易产生幻觉预测。
2026-05-20 cs.AI cs.CV
Efficient 3D Object Reconstruction using Visual Transformers
Georgia Institute of Technology(佐治亚理工学院)
从2D图像重建3D对象是一个研究得很好的视觉问题,已经尝试了许多种深度学习技术。最常见的是,使用3D卷积方法,尽管先前的工作已经显示了使用2D卷积的最先进的方法,其对于训练也显著更有效。随着最近用于视觉任务的Transformers的兴起,通常优于卷积方法,以及一些早期尝试使用Transformers进行3D对象重建,我们开始使用视觉Transformers来代替现有高效,高性能的3D对象重建技术中的卷积,以便在任务中取得更好的结果。使用基于变换的编码器和解码器从2D图像预测3D结构,我们实现了类似或优于基线方法的精度。这项研究作为证据的潜在的视觉Transformers在三维物体重建的任务。
2023-02-16 cs.AI cs.CV
NRTR: Neuron Reconstruction with Transformer from 3D Optical Microscopy Images
Xiamen University(厦门大学);Central China Normal University(华中师范大学)
从原始光学显微镜(OM)图像中重建神经元是神经科学的基础。人工标注和半自动神经元追踪算法耗时且效率低下。现有的深度学习神经元重建方法虽然展示了示例性的性能,但极大地需要复杂的基于规则的组件。因此,一个关键的挑战是设计一种端到端的神经元重建方法,使整个框架更简单,模型训练更容易。我们提出了一个神经元重建Transformer(NRTR),丢弃复杂的基于规则的组件,神经元重建直接设置预测问题。据我们所知,NRTR是第一个用于端到端神经元重建的图像到集合深度学习模型。在使用BigNeuron和VISoR-40数据集的实验中,NRTR在综合基准测试中获得了出色的神经元重建结果,并优于竞争对手的基线。大量的实验结果表明,NRTR可以有效地将神经元重建视为一个集合预测问题,这使得端到端的模型训练变得可用。
2022-12-08 cs.AI cs.CV
Multi-layer Clustering-based Residual Sparsifying Transform for Low-dose CT Image Reconstruction
Shanghai Jiao Tong University(上海交通大学);Michigan State University(密歇根州立大学)
最近提出的稀疏化变换模型具有计算量小的特点,已被应用于医学成像。同时,具有嵌套网络结构的深度模型显示出在不同层中学习特征的巨大潜力。在这项研究中,我们提出了一个网络结构的稀疏化变换学习方法的X射线计算机断层扫描(CT),我们称之为多层聚类为基础的残留稀疏化变换(MCST)学习。所提出的MCST方案通过将每层的输入分成几个类来学习每层中的多个不同的酉变换。我们将MCST模型应用于低剂量CT(LDCT)重建,将学习的MCST模型部署到惩罚加权最小二乘(PWLS)重建的正则化器中。我们对XCAT体模数据和Mayo Clinic数据进行了LDCT重建实验,并训练了2层(或3层)MCST模型,每层5个簇。同一层中的学习变换显示出丰富的特征,而额外的信息是从表示残差中提取的。仿真结果表明,PWLS-MCST比传统的FBP方法和带有边缘保持(EP)正则化器的PWLS方法获得了更好的图像重建质量。它还优于最近的先进方法,如PWLS与学习的多层残差稀疏化变换先验(MARS)和PWLS与学习变换的联合(ULTRA),特别是在显示清晰的边缘和保留微妙的细节。
2022-03-22 cs.CV eess.IV
Transformer and GAN Based Super-Resolution Reconstruction Network for Medical Images
The Athenian School(雅典纳中学);Cornell University(康奈尔大学)
由于需要以最小的辐射剂量获得高质量的图像,例如在低场磁共振成像中,医学成像中的超分辨率重建已经变得更加流行(MRI)。然而,由于医学成像的复杂性和高美学要求,图像超分辨率重建仍然是一个艰巨的挑战。在本文中,我们提供了一种基于深度学习的策略,用于利用Transformer和生成对抗网络(T-GAN)从低分辨率重建医学图像。在成功地将Transformer插入生成对抗网络进行图像重建后,集成系统可以通过全局图像匹配提取更精确的纹理信息,并更聚焦于重要位置。此外,在我们提出的模型T-GAN的训练过程中,我们对内容损失、对抗性损失和对抗性特征损失的组合进行了加权,作为最终的多任务损失函数。与PSNR和SSIM等既定指标相比,我们建议的T-GAN在膝盖和腹部MRI扫描图像的超分辨率重建中实现了最佳性能并恢复了更多的纹理特征。
2022-12-26 cs.CV eess.IV
ReconFormer: Accelerated MRI Reconstruction Using Recurrent Transformer
Johns Hopkins University(约翰斯·霍普金斯大学)
加速磁共振图像(MRI)重建过程是一个具有挑战性的不适定逆问题,由于过度的欠采样操作在k空间。在本文中,我们提出了一个经常性的Transformer模型,即ReconFormer,用于MRI重建,可以迭代地从高度欠采样的k空间数据重建高生育率的磁共振图像。特别是,所提出的架构是建立在递归金字塔Transformer层(RPTL),它联合利用内在的多尺度信息在每个架构单元,以及通过经常性状态的深特征相关性的依赖关系。此外,建议的ReconFormer是轻量级的,因为它采用了其参数效率的递归结构。我们在具有不同磁共振序列的多个数据集上验证了ReconFormer的有效性,并表明它比最先进的方法具有更好的参数效率。实现代码将在https://github.com/guopengf/ReconFormer上提供。
2022-01-28 cs.CV eess.IV
VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion
University of California, Santa Barbara(加州大学圣巴巴拉分校)
最近的体积3D重建方法可以产生非常准确的结果,甚至对于未观察到的表面也具有合理的几何形状。然而,当涉及到多视图融合时,它们面临着不期望的权衡。它们可以通过全局平均来融合所有可用的视图信息,从而丢失精细的细节,或者它们可以对局部融合的视图进行聚类,从而限制它们联合考虑所有视图的能力。我们的关键见解是,可以保留更多的细节,而不限制视图的多样性,通过学习相机姿势和图像内容的条件下的视图融合功能。我们建议使用Transformer来学习这种多视图融合。为此,我们引入了VoRTX,这是一种端到端的体积3D重建网络,使用Transformers进行宽基线,多视图特征融合。我们的模型是闭塞意识,利用Transformer架构来预测一个初始的,投影场景的几何估计。该估计用于避免通过表面将图像特征反向投影到被遮挡区域中。我们在ScanNet上对我们的模型进行了训练,并表明它比最先进的方法产生了更好的重建。我们还展示了泛化,没有任何微调,优于其他两个数据集,TUM-RGBD和ICL-NUIM相同的最先进的方法。
2021-12-01 cs.CV cs.LG
HumanRAM: Feed-forward Human Reconstruction and Animation Model using Transformers
Hong Kong University of Science and Technology(香港科学与技术大学);Huawei(华为);State Key Laboratory of CAD&CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室)
HumanRAM提出一种基于Transformer的前馈式方法,利用共享SMPL-X神经纹理作为显式姿态条件,从单目或稀疏图像同时实现可泛化的人体重建与姿态控制动画,在真实数据集上显著超越以往方法。
2025-06-03 cs.CV cs.GR
Task Transformer Network for Joint MRI Reconstruction and Super-Resolution
Harbin Institute of Technology(哈尔滨工业大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Nanjing Medical University(南京医科大学)
磁共振成像(MRI)的核心问题是加速度和图像质量之间的权衡。图像重建和超分辨率是磁共振成像(MRI)中的两项关键技术。目前的方法被设计为单独执行这些任务,忽略了它们之间的相关性。在这项工作中,我们提出了一个端到端的任务Transformer网络(T $^2$ Net)的联合MRI重建和超分辨率,它允许表示和特征传输之间共享多个任务,以实现更高质量,超分辨率和运动伪影免费图像从高度欠采样和退化的MRI数据。我们的框架结合了重建和超分辨率,分为两个子分支,其特征表示为查询和键。具体来说,我们鼓励两个任务之间的联合特征学习,从而传递准确的任务信息。我们首先使用两个独立的CNN分支来提取特定于任务的特征。然后,设计了任务转换器Transformer模块,用于嵌入和综合两个任务之间的相关性。实验结果表明,我们的多任务模型显着优于先进的顺序方法,定量和定性。
2021-12-15 cs.CV eess.IV
T2LR-Net: An unrolling network learning transformed tensor low-rank prior for dynamic MR image reconstruction
School of Electronics and Information Engineering, Harbin Institute of Technology(哈尔滨工业大学电子与信息工程学院)
针对动态MR重建中人工设计变换域难的问题,提出T2LR-Net展开网络,用CNN自适应学习变换域张量低秩先验,推广t-SVD并提出UTNN,基于ADMM展开算法,在两个心脏MRI数据集上性能优于现有方法。
2025-01-11 cs.CV cs.LG eess.IV
Multi-domain Integrative Swin Transformer network for Sparse-View Tomographic Reconstruction
Sun Yat-sen University(中山大学);China Three Gorges University(三峡大学);The First People’s Hospital of Yichang(宜昌市第一人民医院)
减少投影视图以降低X射线辐射剂量通常会导致严重的条纹伪影。为了提高稀疏数据的图像质量,本文提出了一种多域集成Swin Transformer网络(MIST-net)。首先,MIST-net采用灵活的网络结构,将数据、残差数据、图像和残差图像等丰富的域特征融合在一起,其中残差数据和残差图像子网络被视为数据一致性模块,以消除插值和重建误差。其次,一个可训练的边缘增强滤波器被纳入检测和保护图像的边缘。第三,高质量的重建Swin Transformer(即,Recformer)被设计用于捕获图像全局特征。在48个视图的数值和真实心脏临床数据集上的实验结果表明,我们提出的MIST-net提供了更好的图像质量,具有更多的小特征和尖锐的边缘比其他竞争对手。
2022-04-15 cs.CV cs.LG eess.IV
Two-layer clustering-based sparsifying transform learning for low-dose CT reconstruction
University of Michigan - Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University(上海交通大学密西根学院);Michigan State University(密歇根州立大学)
从低剂量计算机断层扫描(LDCT)测量中获得高质量的重建在临床环境中非常重要。基于模型的图像重建方法已被证明是有效的消除LDCT中的伪影。在这项工作中,我们提出了一种方法来学习一个丰富的基于两层聚类的稀疏化变换模型(MCST 2),其中图像补丁及其后续的特征图(滤波器残差)被聚类成组,每组具有不同的学习稀疏化滤波器。我们研究了一种惩罚加权最小二乘法(PWLS)的LDCT重建方法,将学习MCST 2先验。实验结果表明,所提出的PWLS-MCST 2方法相比,其他相关的最新计划的优越性能。
2020-11-01 cs.CV cs.LG eess.IV
3D-C2FT: Coarse-to-fine Transformer for Multi-view 3D Reconstruction
Korea Institute of Science and Technology(韩国科学技术研究院);Aidot Inc.(Aidot公司);Yonsei University(延世大学)
最近,Transformer模型已成功地用于多视图三维重建问题。然而,设计一个注意力机制来探索多视图特征并利用它们之间的关系来加强编码-解码模块仍然是一个挑战。本文提出了一种新的模型,即三维粗到细Transformer(3D-C2FT),通过引入一种新的粗到细(C2F)注意力机制编码的多视图特征和纠正缺陷的三维物体。C2F注意力机制使模型能够学习多视图信息流,并以由粗到细的方式合成3D表面校正。该模型通过ShapeNet和多视图真实生活数据集进行评估。实验结果表明,3D-C2 FT在这些数据集上取得了显着的结果,并且优于几个竞争模型。
2023-01-17 cs.AI cs.CV cs.LG
Magnetic Resonance Image Processing Transformer for General Accelerated Image Reconstruction
Boston University(波士顿大学);Photonics Center(光子学中心);Chobanian & Avedisian School of Medicine(乔巴尼亚与阿韦迪西安医学院);Boston University Medical Campus(波士顿大学医学校区);Rafik B. Hariri Institute for Computing and Computational Science & Engineering(拉菲克·B·哈里里计算与计算科学与工程研究所)
本研究提出基于ViT的磁共振图像处理Transformer(MR-IPT)框架,通过大规模多欠采样模式与加速设置数据集预训练,实现统一重建,泛化性与鲁棒性优于传统模型,为加速MRI提供高效解决方案。
2025-02-07 cs.CV cs.LG eess.IV
Vision Transformer-Based Time-Series Image Reconstruction for Cloud-Filling Applications
University of Luxembourg(卢森堡大学)
本文提出利用视觉Transformer的时间序列多光谱图像重建方法,通过结合时序一致性与SAR数据提升云覆盖区域的图像重建效果。
2026-04-05 cs.AI cs.CV cs.LG