HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces
Meta Reality Labs(元宇宙实验室);Carnegie Mellon University(卡内基梅隆大学)
HybridNeRF结合表面渲染与体积渲染的优势,对多数物体用表面建模、对少数困难区域用体积建模,在Eyeful Tower等数据集上将错误率降低15-30%,并在2Kx2K分辨率下实现至少36 FPS的实时渲染。
2024-03-27 cs.CV cs.GR cs.LG
A Low-Cost, Flexible and Portable Volumetric Capturing System
Information Technologies Institute, Centre for Research and Technology - Hellas(希腊研究与技术中心信息技术研究所)
多视图捕获系统是工程设计的复杂系统。它们需要技术知识来安装和复杂的设置过程,主要与传感器的空间对准(即外部校准)有关。然而,随着新生产方法的不断发展,我们现在处于一个位置,即使使用商品传感器也可以生产高质量的逼真3D资产。尽管如此,使用这些方法开发的捕获系统与方法本身紧密交织在一起,依赖于定制解决方案,并且很少-如果不是的话-公开可用。有鉴于此,我们设计、开发并公开提供基于最新RGB-D传感器技术的多视角捕捉系统。对于我们的系统,我们开发了一种便携式和易于使用的外部校准方法,大大减少了所需的工作量和知识,并简化了整个过程。
2019-09-03 cs.CV
Dynamic Instance Normalization for Arbitrary Style Transfer
Zhejiang University(浙江大学);Baidu Inc.(百度公司);Stevens Institute of Technology(史蒂文斯理工学院)
现有的归一化方法依赖于仿射变换来产生任意的图像风格转换,其参数以预定义的方式计算。这种手动定义的性质最终导致用于风格和内容编码两者的高成本和共享编码器,使得风格传输系统难以部署在资源受限的环境中,如移动终端侧。在本文中,我们提出了一个新的和广义的规范化模块,称为动态实例规范化(DIN),允许灵活和更有效的任意风格的传输。DIN包括实例规范化和动态卷积,将样式图像编码为可学习的卷积参数,并在此基础上对内容图像进行风格化。与使用共享的复杂编码器来编码内容和样式的传统方法不同,所提出的DIN引入了复杂的样式编码器,但带有用于快速推理的紧凑且轻量级的内容编码器。实验结果表明,所提出的方法产生非常令人鼓舞的结果,具有挑战性的风格模式,据我们所知,第一次使任意的风格转移使用基于MobileNet的轻量级架构,导致减少因子超过20的计算成本相比,现有的方法。此外,所提出的DIN为最先进的卷积操作提供了灵活的支持,从而触发了新的功能,例如非自然图像的均匀笔划放置和自动空间笔划控制。
2019-11-16 cs.CV
AutoDecoding Latent 3D Diffusion Models
ETH Zurich(苏黎世联邦理工学院);Snap Inc.(Snap公司);Carnegie Mellon University(卡内基梅隆大学);KU Leuven(鲁汶大学)
本文提出以3D自动解码器为核心的潜空间3D扩散模型,利用2D图像或单目视频学习体积潜表示,并支持有相机监督或无相机训练,在多类3D生成基准上超过现有方法。
2023-07-07 cs.CV
Patch-enhanced Mask Encoder Prompt Image Generation
针对广告应用中产品描述失真问题,提出一种包含三个组件的 Patch-enhanced mask encoder 方法,在保留多样化背景的同时确保产品描述准确,实验证明其视觉效果和 FID 分数优于其他方法。
2024-05-29 cs.AI cs.CV
AD-DAE: Alzheimer's Disease Progression Modeling with Unpaired Longitudinal MRI using Diffusion Auto-Encoders
Indian Institute of Technology Madras (IITM)(印度理工学院马德拉斯分校);Sudha Gopalakrishnan Brain Centre (SGBC), IITM(苏达·戈帕拉克里希南脑中心(SGBC),印度理工学院马德拉斯分校)
本文提出AD-DAE框架,通过扩散自编码器在无配对纵向MRI数据中建模阿尔茨海默病进展,利用紧凑的潜在空间生成后续影像。
2026-06-29 cs.CV
Designing a 3D-Aware StyleNeRF Encoder for Face Editing
University of Chinese Academy of Sciences(中国科学院大学);Center for Research on Intelligent Perception and Computing, NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心)
GAN反演已被用于许多人脸操作任务中,但2D GANs通常无法生成多视图3D一致图像。为2D GANs设计的编码器不能为反演和编辑提供足够的3D信息。因此,提出了3D感知的GAN反演以增加GANs的3D编辑能力。然而,3D感知的GAN反演仍然未被充分探索。为了解决这个问题,我们提出了一个三维感知(3Da)编码器的GAN反转和人脸编辑的基础上强大的StyleNeRF模型。我们提出的3Da编码器结合了一个参数化的三维人脸模型与一个可学习的细节表示模型,以生成几何,纹理和视图方向代码。为了更灵活的人脸操作,我们设计了一个双分支的StyleFlow模块来传输StyleNeRF代码,并将其与几何和纹理流分离。大量的实验表明,我们实现了三维一致的人脸操作在面部属性编辑和纹理转移。此外,对于视频编辑,我们使帧代码序列共享一个共同的规范流形,这提高了编辑属性的时间一致性。
2023-02-19 cs.CV
Atrous Residual Interconnected Encoder to Attention Decoder Framework for Vertebrae Segmentation via 3D Volumetric CT Images
The Hong Kong Polytechnic University(香港理工大学);University of Oxford(牛津大学)
基于计算机断层扫描(CT)的医学图像自动分割是计算机辅助手术得到广泛应用的前提。随着深度学习技术的发展,深度卷积神经网络(DCNN)在医学图像的自动语义分割方面表现出了强大的性能。然而,基于DCNN的语义分割算法仍然面临着编码器和解码器之间的特征丢失、多尺度对象、滤波器视野受限以及医学图像数据缺乏等挑战。本文提出了一种新的算法自动分割椎骨通过三维体积脊柱CT图像。该模型基于编码器到解码器的结构,使用层归一化来优化小批量训练性能。为了解决编码器和解码器之间的信息丢失问题,我们设计了一个Atrous残差路径来将更多的特征从编码器传递到解码器,而不是简单的快捷连接。该模型还在解码器部分应用了注意力模块,从不同尺度中提取特征。所提出的模型进行评估的公开可用的数据集通过各种指标。实验结果表明,我们的模型实现了竞争力的性能相比,其他国家的最先进的医学语义分割方法。
2021-04-08 cs.CV cs.LG eess.IV
DualPathOcc: Dual-Resolution BEV Encoder for 3D Occupancy Prediction
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);Shanghai Maritime University(上海海事大学)
DualPathOcc提出双分辨率BEV编码器,结合空间增强与高度感知损失,在无深度监督下实现3D占用预测,于Occ3D-nuScenes达37.37 mIoU。
2026-09-09 cs.CV
Reduce, Then Encode: Multiscale Volumetric Reduction for 2D Foundation Models in Brain MRI
Macquarie University(麦考瑞大学);Australian National University(澳大利亚国立大学);University of Sydney(悉尼大学)
针对2D基础模型处理3D脑MRI的不匹配问题,提出多尺度体数据降维(MVR),先压缩切片为互补2D分量再编码,无需标签训练,在多个数据集上性能优异。
2026-09-29 cs.CV
VELVET-Med: Vision and Efficient Language Pre-training for Volumetric Imaging Tasks in Medicine
MedVisAI Lab Department of ECE Northwestern University(MedVisAI实验室 电子工程系 西北大学);Institute for Infocomm Research (I 2 R) A*STAR, Singapore(信息与通信研究所(I 2 R)A*STAR,新加坡);MedVisAI Lab Lee Kong Chian School of Medicine, Nanyang Technological University(MedVisAI实验室 李科田医学院,南洋理工大学)
针对医学体积数据配对样本稀缺问题,本文提出 VELVET-Med 框架,通过引入单模态自监督、TriBERT 语言编码器和分层对比学习,仅用 38,875 对扫描-报告数据即在下游任务中取得最先进性能。
2025-08-16 cs.CV
Flexible Motion Generation from Language and Style References
Brown University(布朗大学);Epic Games(Epic Games公司);University of California, Davis(加州大学戴维斯分校);University of Utah(犹他大学)
FlexMoGen是一个结合文本提示和风格示例片段进行灵活人体运动合成的框架,通过变分风格编码器和潜在扩散模型实现长序列、多风格生成,无需风格监督,在内容保真与风格反映间达到最佳平衡。
2026-09-09 cs.CV cs.GR cs.LG
Volumetric Transformer Networks
Korea University(高丽大学);EPFL(洛桑联邦理工学院)
在深度卷积神经网络(CNN)内编码空间不变性的现有技术将相同的扭曲场应用于所有特征通道。这并没有说明这样的事实,即各个特征通道可以表示不同的语义部分,这些语义部分可以经历相对于不同的空间变换。一种典型的结构为了克服这一限制,我们引入了一个可学习的模块,体积Transformer网络(VTN),预测通道方向的扭曲字段,以便重新配置中间CNN功能空间和通道方向。我们将VTN设计为一个编码器-解码器网络,其中的模块专门用于让信息在功能通道中流动,以解决语义部分之间的依赖关系。我们进一步提出了一个损失函数之间的变形特征对的实例,这提高了VTN的定位能力。我们的实验表明,VTN一贯提高功能的表示能力,从而提高网络的精度细粒度图像识别和实例级图像检索。
2020-07-18 cs.CV
EasyVolcap: Accelerating Neural Volumetric Video Research
Zhejiang University(浙江大学);HKUST(香港科技大学);Image Derivative Inc.(图像衍生公司)
本文提出开源 Python 与 PyTorch 库 EasyVolcap,统一多视图数据处理、4D场景重建和动态体积视频渲染,以加速神经体积视频研究与应用开发。
2023-12-11 cs.CV
Harnessing Frozen Unimodal Encoders for Flexible Multimodal Alignment
ML Labs, Dublin City University(都柏林城市大学ML实验室);University of California Berkeley(加州大学伯克利分校);Technological Innovation Institute(技术创新研究院)
本研究提出利用冻结单模态编码器的多模态对齐框架,通过选语义相似编码器、建概念丰富数据集、训练MLP投影器,以远低于从头训练的成本实现了不错的零样本分类和图文检索效果,提升了多模态开发的可及性与灵活性。
2025-03-23 cs.CV
CEREBRUM: a fast and fully-volumetric Convolutional Encoder-decodeR for weakly-supervised sEgmentation of BRain strUctures from out-of-the-scanner MRI
University of Brescia(布雷西亚大学);University of Glasgow(格拉斯哥大学)
许多功能和结构神经影像学研究要求从MRI扫描的图像强度值开始对不同的大脑结构进行准确的形态测量分割。当前基于自动(多)图谱的分割策略通常在难以分割的大脑结构上缺乏准确性,并且由于这些方法依赖于图谱与扫描的对齐,因此它们可能需要很长的处理时间。最近,部署基于卷积神经网络(CNN)的解决方案的方法使直接分析扫描仪外数据变得可行。然而,目前基于CNN的解决方案将测试体积划分为独立处理的2D或3D补丁。这需要全局上下文信息的丢失,从而对分割准确性产生负面影响。在这项工作中,我们设计和测试了一个优化的端到端CNN架构,使全球空间信息的利用计算上易于处理,允许一次处理整个MRI体积。我们采用弱监督学习策略,利用由947个扫描仪外(3特斯拉T1加权的1 mm各向同性MP-MPEG 3D序列)MR图像组成的大型数据集。由此产生的模型能够在几秒钟内产生准确的多结构分割结果。不同的定量措施表明,我们的解决方案相比,国家的最先进的技术提高了准确性。此外,通过一项涉及神经科学专家的随机调查,我们表明,主观判断显然更喜欢我们的解决方案,而不是广泛采用的基于地图集的FreeSurfer软件。
2019-09-26 cs.CV eess.IV
Rad-JEPA 3D: Radiology Joint-Embedding Predictive Model for 3D Computed Tomography
Northwestern University(西北大学);Technical University of Denmark(丹麦技术大学)
Rad-JEPA 3D是用于3D CT的自监督联合嵌入预测框架,采用混合H-Mamba编码器与HSOR正则化,在12万次CT扫描预训练后,在器官识别、空间推理等任务上达到最优性能。
2026-07-30 cs.CV
Moving from 2D to 3D: volumetric medical image classification for rectal cancer staging
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院);National Cancer Center(国家癌症中心)
磁共振成像(MRI)的体积图像为直肠癌的术前分期提供了宝贵的信息。最重要的是,T2和T3阶段之间的准确术前区分可以说是直肠癌治疗中最具挑战性和临床意义的任务,因为化疗-放疗通常推荐给T3(或更高)阶段癌症患者。在这项研究中,我们提出了一个体积卷积神经网络,以准确区分T2和T3阶段直肠癌与直肠MR体积。具体地,我们提出1)定制的基于ResNet的体积编码器,其利用后期融合(即,最后一层的3D卷积),2)聚合来自编码器的结果特征以创建体积特征的双线性计算,以及3)三重损失和焦点损失的联合最小化。与MR体积病理证实的T2/T3直肠癌,我们进行了广泛的实验,比较各种设计的框架内的残余学习。因此,我们的网络实现了0.831的AUC,这高于专业放射科医生群体报告的准确性。我们相信这种方法可以扩展到其他体积分析任务
2022-09-13 cs.CV eess.IV
Y-CA-Net: A Convolutional Attention Based Network for Volumetric Medical Image Segmentation
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
针对注意力体积分割缺乏判别性局部特征的问题,本文并行融合卷积编码器与transformer/混合注意力主干,提出Y-CT-Net、Y-CH-Net及通用Y-CA-Net架构,在多器官分割中提升Dice与HD95表现。
2024-10-01 cs.CV
Med-DANet V2: A Flexible Dynamic Architecture for Efficient Medical Volumetric Segmentation
University of Science and Technology Beijing(北京科技大学);University of Central Florida(中佛罗里达大学);Chinese Academy of Sciences(中国科学院)
本文提出Med-DANet V2,通过决策网络与裁剪位置网络动态选择前景区域,并在分割模型中引入逐阶段量化选择器,在BraTS上以更低复杂度实现与最优方法相当或更优的分割性能。
2023-10-28 cs.CV eess.IV
MedSyn2: Flexible Control of 3D CT Generation via Text and Semantically-Defined Segmentation Prompts
Boston University School of Engineering(波士顿大学工程学院);Stanford University(斯坦福大学);University of Pittsburgh Medical Center(匹兹堡大学医学中心);Boston University School of Medicine(波士顿大学医学院)
提出一种灵活的多模态框架,通过文本和可选分割提示控制3D CT生成,实现高分辨率、解剖一致且可控的体数据生成。
2026-06-07 cs.CV
Steer the Sampling, Not the Kernel Grid: Geometry-Guided Sampling Operator for Volumetric Segmentation
Monash University(莫纳什大学)
该研究针对3D体积分割中精细结构易被卷积模糊的问题,提出几何引导采样算子,替换U-Net等骨干网络的下采样算子,在多医学影像数据集上提升分割性能并减少参数量。
2026-08-27 cs.CV
VConv-DAE: Deep Volumetric Shape Learning Without Object Labels
Intel Visual Computing Institute(英特尔视觉计算研究所);Intel(英特尔公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
随着价格实惠的深度传感器的出现,3D捕捉变得越来越普遍,并且已经进入商业产品。然而,使用扫描设备(例如Kinect)捕获日常物体的几何形状或完整形状仍然存在一些挑战,这些挑战会导致噪声甚至不完整的形状。最近在深度学习方面的成功已经展示了如何以数据驱动的方式从大规模3D CAD模型集合中学习复杂的形状分布,并将其用于体积表示的3D处理,从而规避拓扑和镶嵌的问题。以前的工作已经显示出令人鼓舞的结果,从形状完成识别的问题。我们对这些方法进行了分析,发现训练以及由此产生的表示与对象标签的概念有着强烈的、不必要的联系。因此,我们提出了一个完整的卷积体积自动编码器,通过估计体素占用网格从噪声数据中学习体积表示。所提出的方法在去噪和形状完成等具有挑战性的任务上优于先前的工作。我们还表明,所获得的深度嵌入在用于分类和形状插值的有前途的结果时,具有竞争力的性能。
2016-09-09 cs.CV cs.GR
L2GSSL: Label-Efficient Local-to-Global Self-Supervised Learning for Volumetric Healthcare Data
National Central University(中央大学)
本文提出L2GSSL框架,通过分解预训练为片内和片间表示空间,在医疗数据标注有限时,其肺结节分类性能接近监督基线,且跨数据集泛化能力优于现有自监督方法。
2026-10-16 cs.CV cs.LG
KiU-Net: Overcomplete Convolutional Architectures for Biomedical Image and Volumetric Segmentation
Whiting School of Engineering, Johns Hopkins University(约翰斯·霍普金斯大学怀廷工程学院);Rutgers, The State University of New Jersey(新泽西州立罗格斯大学)
大多数医学图像分割方法都使用U-Net或其变体,因为它们在大多数应用中都是成功的。在详细分析了这些“传统的”基于编码器-解码器的方法之后,我们观察到它们在检测较小结构方面表现不佳,并且无法精确地分割边界区域。这个问题可以归因于随着我们深入编码器,感受野大小的增加。对学习高级特征的额外关注导致基于U-Net的方法学习较少的关于低级特征的信息,这些信息对于检测小结构至关重要。为了克服这个问题,我们建议使用过完备卷积架构,将输入图像投影到更高的维度,这样我们就可以限制接收场在网络深层的增加。我们设计了一种新的图像分割架构- KiU-Net,它有两个分支:(1)过完备卷积网络Kite-Net,它学习捕捉输入的精细细节和准确边缘,以及(2)U-Net,它学习高级特征。此外,我们还提出了KiU-Net 3D,这是一种用于体积分割的3D卷积架构。我们通过对五个不同的数据集进行实验来对KiU-Net进行详细的研究,这些数据集涵盖了各种图像模式,如超声(US),磁共振成像(MRI),计算机断层扫描(CT),显微镜和眼底图像。该方法实现了更好的性能相比,所有最近的方法具有更少的参数和更快的收敛速度的额外好处。此外,我们还证明了基于残差块和密集块的KiU-Net扩展会进一步提高性能。KiU-Net的实施可以在这里找到:https://github.com/jeya-maria-jose/KiU-Net-…
2021-10-14 cs.CV eess.IV
ViG3D-UNet: Volumetric Vascular Connectivity-Aware Segmentation via 3D Vision Graph Representation
Academy for Engineering and Technology, Fudan University(复旦大学工程与技术学院)
针对血管分割不连续和端点缺失的问题,本文提出ViG3D-UNet框架,通过在U型架构中集成3D视觉图表示与聚合,结合通道注意力和回形针形偏移解码器,在ASOCA和ImageCAS数据集上实现了更优的血管连通性与分割精度。
2025-04-18 cs.CV eess.IV
VoxCor: Training-Free Volumetric Features for Multimodal Voxel Correspondence
Biomedical Image Computing Group, ETH Zurich(生物医学图像计算组,苏黎世联邦理工学院);The LOOP Zurich – Medical Research Center(苏黎世医疗研究中心)
VoxCor通过冻结的2D Vision Transformer基础模型生成可重用的体积分量表示,无需训练即可实现跨模态和跨主体的体素对应,提升跨模态和跨主体的转换性能。
2026-05-13 cs.CV
Dual Octree Graph Networks for Learning Adaptive Volumetric Shape Representations
Microsoft Research Asia(微软亚洲研究院)
我们提出了一种自适应的三维形状的体积场的深度表示和一种有效的方法来学习这种深度表示,以实现高质量的三维形状重建和自动编码。我们的方法编码的体积字段的3D形状与自适应特征量组织的八叉树,并应用一个紧凑的多层感知器网络映射的功能,在每个3D位置的字段值。设计了一个编码器-解码器网络来学习基于八叉树节点对偶图上的图卷积的自适应特征量。我们的网络的核心是一个新的图卷积算子定义在一个规则的网格的功能融合不规则的相邻八叉树节点在不同的水平,这不仅减少了计算和内存成本的卷积不规则的相邻八叉树节点,但也提高了性能的特征学习。我们的方法有效地编码形状的细节,使快速的3D形状重建,并表现出良好的通用性建模的训练类别的3D形状。我们评估我们的方法上的一组三维形状和场景的重建任务,并验证其优越性比其他现有的方法。我们的代码、数据和训练模型可以在https://wang-ps.github.io/dualocnn上找到。
2022-05-06 cs.CV cs.GR cs.LG
Stochastic Bottleneck: Rateless Auto-Encoder for Flexible Dimensionality Reduction
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
我们提出了一个新的概念,无比率自动编码器(RL-AE),使一个灵活的潜在的维度,它可以无缝地调整不同的失真和维度的要求。在建议的RL-AE,而不是一个确定性的瓶颈架构,我们使用一个过完备的表示,是随机正则化加权辍学,在一种类似于稀疏AE(SAE)的方式。与SAE不同,我们的RL-AE在潜在表示节点上采用单调增加的退出率,使得潜在变量按重要性排序,如主成分分析(PCA)。这是由传统PCA的无比率属性激发的,其中最不重要的主成分可以被丢弃以实现可变速率降维,从而优雅地降低失真。相比之下,由于传统AE的潜变量对于数据重建同样重要,因此在训练AE模型之后不能简单地丢弃它们以进一步降低维度。我们提出的随机瓶颈框架可以实现无缝的速率自适应,具有高重建性能,而不需要在训练时预先确定潜在的维度。我们的实验表明,建议RL-AE可以实现可变的降维,同时实现低失真相比,传统的AE。
2020-05-06 cs.CV cs.LG eess.IV
FUNN: Flexible Unsupervised Neural Network
IRT Saint Exupery(圣埃克苏佩里技术研究学院)
深度神经网络在图像分类任务中表现出了很高的准确性。然而,它们在对抗性示例中表现得很弱:图像中的一个小扰动会显著改变分类输出。近年来,已经提出了几种防御措施来解决监督分类任务中的这个问题。我们提出了一种方法,以获得强大的功能,在无监督学习任务对对抗攻击。我们的方法与现有的解决方案不同,直接学习鲁棒特征,而不需要在原始示例分布空间中投影对抗示例。第一自动编码器A1负责扰动输入图像以欺骗负责重新生成原始图像的另一自动编码器A2。A1试图在A2的输出中的误差应至少等于阈值的约束下找到较少扰动的图像。由于这种训练,A2的编码器将对对抗攻击具有鲁棒性,并可用于分类等不同任务。使用最先进的网络架构,我们证明了由于这种方法在分类任务中获得的功能的鲁棒性。
2018-11-05 cs.CV cs.LG
Flemme: A Flexible and Modular Learning Platform for Medical Images
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室)
本文提出Flemme平台,通过分离编码器与模型架构,支持多种编码器和架构组合,提升医学图像处理的灵活性和效率,实验表明其在分割和重建任务中均取得显著性能提升。
2026-04-09 cs.CV eess.IV
Oriented-grid Encoder for 3D Implicit Representations
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室);Instituto Superior Técnico(高等技术学院)
本文提出一种3D定向网格编码器,通过圆柱体积插值和局部特征聚合显式利用表面法线与局部平滑度,在多数据集上实现更快收敛和更锐利的3D表面,达到最先进性能。
2024-02-09 cs.CV cs.GR
Polyhedra Encoding Transformers: Enhancing Diffusion MRI Analysis Beyond Voxel and Volumetric Embedding
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心);National Institute on Aging(美国国家老龄化研究所)
本文提出多面体编码Transformer(PE-Transformer),通过将二十面体投影到单位球面重采样dMRI球面信号并结合方向信息,在估计多室模型和纤维取向分布上优于传统CNN和标准Transformer。
2025-03-11 cs.CV cs.LG eess.IV
Improving 3D Medical Image Segmentation at Boundary Regions using Local Self-attention and Global Volume Mixing
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出一种结合局部体积自注意力与全局体积MLP-mixer的分层编码器-解码器框架,通过显式建模局部和全局依赖改善3D医学图像边界分割,在多个数据集上取得优于现有方法的性能。
2024-10-20 cs.CV eess.IV
Federated Contrastive Learning for Volumetric Medical Image Segmentation
University of Pittsburgh(匹兹堡大学);University of Notre Dame(圣母大学)
监督式深度学习需要大量的标记数据来实现高性能。然而,在医学成像分析中,每个站点可能只有有限的数据和标签,这使得学习无效。联邦学习(FL)可以通过学习共享模型来帮助解决这一问题,同时将训练数据保持在本地以保护隐私。传统的FL需要完全标记的数据进行训练,由于高昂的标记成本和专业知识的要求,这是不方便的,有时甚至是不可行的。对比学习(CL)作为一种自监督学习方法,可以有效地从未标记的数据中学习,以预训练神经网络编码器,然后对具有有限注释的下游任务进行微调。然而,当在FL中采用CL时,每个客户端上有限的数据多样性使得联邦对比学习(FCL)无效。在这项工作中,我们提出了一个FCL框架体积医学图像分割有限的注释。更具体地说,我们交换了FCL预训练过程中的功能,以便为每个站点提供不同的对比数据,以实现有效的本地CL,同时保持原始数据的私密性。基于交换的特征,全局结构匹配进一步利用结构相似性将本地特征与远程特征对齐,使得可以在不同站点之间学习统一的特征空间。在心脏MRI数据集上的实验表明,与最先进的技术相比,所提出的框架大大提高了分割性能。
2022-04-23 cs.CV cs.LG eess.IV
IFSS-Net: Interactive Few-Shot Siamese Network for Faster Muscle Segmentation and Propagation in Volumetric Ultrasound
École Centrale de Nantes(南特中央理工学院);Université de Nantes(南特大学)
我们提出了一个准确,快速和有效的方法分割和肌肉掩模传播的三维徒手超声数据,对准确的体积量化。部署了一个深度的Siamese 3D编码器-解码器网络,该网络捕获连续切片的肌肉外观和形状的演变。我们使用它来传播由临床专家注释的参考掩码。为了处理整个体积上的肌肉形状的较长变化并提供准确的传播,我们设计了双向长短期记忆模块。此外,训练我们的模型与最小量的训练样本,我们提出了一种策略相结合的学习从几个注释的二维超声切片与顺序伪标记的未注释的切片。我们引入了一个递减更新的目标函数,以指导模型的收敛,在没有大量的注释数据。在使用少量卷进行训练后,递减更新从弱监督训练过渡到Few-Shot设置。最后,为了处理前景和背景肌肉像素之间的类别不平衡,我们提出了一个参数Tversky损失函数,该函数学习自适应地惩罚假阳性和假阴性。我们验证了我们的方法的分割,标签传播,和体积计算的三个下肢肌肉的数据集上的61600图像从44个科目。我们实现了超过$95~\%$的Dice评分系数和体积误差\textcolor{black}{of} $1.6035 \pm 0.587~\%$。
2021-01-30 cs.AI cs.CV cs.LG
Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation
The University of Adelaide(阿德莱德大学);Noah’s Ark Lab, Huawei Technologies(华为技术诺亚方舟实验室)
最近的语义分割方法利用编码器-解码器架构来产生期望的逐像素分割预测。解码器的最后一层通常是双线性上采样过程,以恢复最终的逐像素预测。我们的经验表明,这种过于简单和数据独立的双线性上采样可能会导致次优的结果。在这项工作中,我们提出了一种数据相关的上采样(DUpsampling)来取代双线性,它利用了语义分割的标签空间中的冗余,并且能够从CNN的低分辨率输出中恢复像素预测。新的上采样层的主要优点在于,使用相对较低分辨率的特征图,例如输入大小的$\frac{1}{16}$或$\frac{1}{32}$,我们可以实现更好的分割精度,显著降低计算复杂度。这是通过以下方式实现的:1)新的上采样层的大大改进的重构能力;以及更重要的2)基于D上采样的解码器在利用CNN编码器的特征的几乎任意组合方面的灵活性。实验表明,我们提出的解码器优于国家的最先进的解码器,只有$\sim$ 20\%的计算。最后,在没有任何后处理的情况下,配备了我们提出的解码器的框架在两个数据集上实现了新的最先进的性能:PASCAL VOC上的88.1 mIOU,其中30%的计算是以前最好的模型; PASCAL Context上的52.5 mIOU。
2019-04-05 cs.CV
FastSAM3D: An Efficient Segment Anything Model for 3D Volumetric Medical Images
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland School of Medicine(马里兰大学医学院);R Adams Cowley Shock Trauma Center(R·亚当斯·考利休克创伤中心)
针对三维医学图像分割中SAM推理慢、内存高的问题,提出FastSAM3D,通过逐层渐进蒸馏和三维稀疏闪存注意力,在A100上将推理加速至8毫秒每体积,较2D SAM快527倍,性能几乎无损。
2024-03-14 cs.CV eess.IV
Emerging Flexible Designs for Geospatial Multimodal Foundation Models
Oak Ridge National Laboratory(橡树岭国家实验室)
本文系统比较了不同架构的地理空间基础模型,在统一设置下评估其灵活性与性能,为多模态推理提供设计指导。
2026-06-12 cs.AI cs.CV cs.LG
Introducing 3D Representation for Medical Image Volume-to-Volume Translation via Score Fusion
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Center for Supercomputing Applications(美国国家超级计算应用中心)
本文提出Score-Fusion模型,通过在分数函数空间集成垂直训练的2D扩散模型来学习3D表示,将3D训练简化为微调,从而降低计算与数据需求,并在医学图像超分辨率和模态转换中取得优越性能。
2025-02-06 cs.AI cs.CV
Deep-Motion-Net: GNN-based volumetric organ shape reconstruction from single-view 2D projections
University of Leeds(利兹大学);St James’s University Hospital, Leeds Teaching Hospitals NHS Trust(利兹教学医院NHS信托基金圣詹姆斯大学医院);University of Manchester(曼彻斯特大学);University of Sheffield(谢菲尔德大学);University of Glasgow(格拉斯哥大学)
本研究提出端到端GNN架构Deep-Motion-Net,仅用单张任意角度的治疗中kV X线图像即可重建3D器官形状,通过合成数据训练后在肝癌场景下实现了亚毫米级的平均预测精度。
2024-07-09 cs.AI cs.CV
Hierarchical Mesh Transformers with Topology-Guided Pretraining for Morphometric Analysis of Brain Structures
Arizona State University(亚利桑那州立大学);University of Southern California(南加州大学);Banner Health(班纳健康);Barrow Neurological Institute(巴罗神经学研究所)
本文提出一种层次变压器框架,用于异构网格分析,通过自监督预训练实现跨模态和多尺度的高效注意力机制,用于脑结构形态学分析。
2026-04-06 cs.CV q-bio.NC
Volumetric Reconstruction of Prostatectomy Specimens from Histology
Charité – Universitätsmedizin Berlin(柏林夏里特医学院);Freie Universität Berlin(柏林自由大学);Humboldt Universität zu Berlin(柏林洪堡大学);MVZ Helios Klinikum Emil von Behring(赫利俄斯埃米尔·冯·贝林诊所MVZ);University Hospital RWTH Aachen(亚琛工业大学医院)
本文提出开源3DSlicer扩展3D-SLIVER,通过切片数字化、虚拟切片、CPD配准及凸包等重建技术,实现前列腺切除标本的3D组织重建并支持临床与多模态研究。
2024-11-29 cs.CV eess.IV
BrainG3N: A Dual-Purpose Tokenizer for Controllable 3D Brain MRI Generation
Department of Biomedical Data Science, Stanford University School of Medicine(斯坦福大学医学院生物医学数据科学系);Department of Mathematical Modelling, Statistics & Bioinformatics, Ghent University(根特大学数学建模、统计与生物信息学系);Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系)
提出基于3D掩码自编码器的分词器,解耦编码器与解码器,在23项线性探测任务中21项超越SOTA,并支持条件生成和纵向预测。
2026-07-30 cs.AI cs.CV cs.LG