Bridging 2D and 3D Segmentation Networks for Computation Efficient Volumetric Medical Image Segmentation: An Empirical Study of 2.5D Solutions
Beihang University(北京航空航天大学);Hefei Innovation Research Institute, Beihang University(北京航空航天大学合肥创新研究院);Beijing Advanced Innovation Centre for Biomedical Engineering(北京生物医学工程先进创新中心);Beijing Advanced Innovation Centre for Big Data-Based Precision Medicine(北京大数据精准医疗先进创新中心)
最近,深度卷积神经网络在医学图像分割方面取得了巨大成功。然而,与自然图像的分割不同,大多数医学图像(诸如MRI和CT)是体积数据。为了充分利用体信息,3D CNN被广泛使用。然而,3D CNN具有较高的推理时间和计算成本,这阻碍了其进一步的临床应用。此外,随着参数数量的增加,过拟合的风险更高,特别是对于数据和注释获取成本昂贵的医学图像。为了解决这个问题,已经提出了许多2.5D分割方法,以利用体积空间信息,具有更少的计算成本。尽管这些工作导致各种分割任务的改进,据我们所知,以前还没有这些方法的大规模实证比较。在本文中,我们的目的是提出一个审查的最新发展的2.5维方法的体积医学图像分割。此外,比较这些方法的性能和有效性,我们提供了一个实证研究,这些方法对三个代表性的分割任务,涉及不同的方式和目标。我们的实验结果表明,3D CNN可能并不总是最佳选择。尽管所有这些2.5D方法都可以为2D基线带来性能增益,但并非所有方法都能在不同的数据集上获得优势。我们希望我们的研究结果和结论将被证明是有用的社区探索和开发高效的体积医学图像分割方法。
2022-02-07 cs.CV eess.IV
Filter sharing: Efficient learning of parameters for volumetric convolutions
GE Global Research(GE全球研究中心)
典型的卷积神经网络(CNN)有数百万个参数,需要大量的注释数据来训练它们。在难以获得训练数据的医疗应用中,这些复杂的机器学习模型很难进行训练。在本文中,我们提出了一种方法,通过利用在学习的CNN滤波器中注意到的显著冗余来降低CNN在训练过程中的固有复杂性。我们的方法依赖于找到一小组滤波器和混合系数,以在训练本身时导出每个卷积层中的每个滤波器,从而减少要训练的参数数量。我们认为,在CT图像中的三维肺结节分割的问题,并证明我们的方法在实现良好的效果,只有很少的训练样本的有效性。
2016-12-08 cs.CV
Frequency-domain Learning for Volumetric-based 3D Data Perception
Arizona State University(亚利桑那州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
频域学习由于其在推理精度和输入数据大小之间的优越折衷而引起关注。2D计算机视觉任务中的频域学习已经表明,2D卷积神经网络(CNN)对低频通道具有稳定的频谱偏置,因此可以在没有或几乎没有精度下降的情况下修剪高频通道。然而,频域学习尚未在具有3D体积数据的3D CNN的背景下进行研究。在本文中,我们研究了基于体积的3D数据感知的频域学习,以揭示3D CNN的频谱偏差和准确性输入数据大小的权衡。我们的研究发现,3D CNN对有限数量的关键频率信道敏感,尤其是低频信道。实验结果表明,频域学习可以显着减少体积为基础的3D输入的大小(基于频谱偏差),同时实现与传统的空间域学习方法相当的准确性。具体而言,频域学习能够在3D形状分类中将输入数据大小减少98%,同时将平均准确度下降限制在2%以内,并且在3D点云语义分割中减少98%,平均类准确度提高1.48%,同时将平均类IoU损失限制在1.55%以内。此外,通过从更高分辨率的3D数据(即,频域学习将平均类精度和平均类IoU分别提高了3.04%和0.63%,同时在3D点云语义分割中实现了87.5%的输入数据大小减少。
2023-02-20 cs.CV eess.IV
Volumetric performance capture from minimal camera viewpoints
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
我们提出了一个卷积自动编码器,使高保真度的体积重建的人的表现被捕获的多视图视频,包括只有一小部分的相机视图。我们的方法产生类似的端到端的重建误差的概率视觉船体计算使用显着更多(双或更多)的观点。我们使用了一个深度先验隐式学习的自动编码器训练了一个数据集的视图消融多视图视频片段的广泛的主题和行动。这为在时间或成本不允许使用大量见证摄像机的现场和专业消费者场景中进行高端体积性能捕获提供了可能性。
2018-07-10 cs.CV
FusionNet: 3D Object Classification Using Multiple Data Representations
Stanford(斯坦福大学);Matroid(Matroid公司)
高质量的3D物体识别是许多视觉和机器人系统的重要组成部分。我们使用两种数据表示来解决对象识别问题,以在Princeton ModelNet挑战中取得领先的结果。这两个表征:1.体积表示:3D对象在空间上离散为二进制体素-如果体素被占用则为$1$,否则为$0$。2.像素表示:3D对象表示为一组投影的2D像素图像。目前提交给ModelNet挑战赛的主要作品都是在像素表示上使用卷积神经网络(CNN)。然而,我们偏离了这一趋势,另外,使用体积CNN来弥合上述两种表示方法的效率之间的差距。我们结合这两种表示,并利用它们来学习新的功能,这产生了一个显着更好的分类器比单独使用的表示。为此,我们引入了新的体积CNN(V-CNN)架构。
2016-11-27 cs.CV
Domain and Geometry Agnostic CNNs for Left Atrium Segmentation in 3D Ultrasound
Technische Universität München(慕尼黑工业大学);TOMTEC Imaging Systems GmbH(TOMTEC成像系统有限公司);Whiting School of Engineering, Johns Hopkins University(约翰斯·霍普金斯大学怀廷工程学院)
分割左心房并导出其大小可以帮助预测和检测各种心血管状况。在3D超声图像数据中的该过程的自动化是期望的,因为手动描绘是耗时的、具有挑战性的并且依赖于计算机。卷积神经网络在计算机视觉和医学图像分析中取得了进步。它们已成功地应用于分割任务,并扩展到体积数据的工作。在本文中,我们介绍了一种基于深度学习的组合方法,用于超声采集中的体积分割,并结合了有关左心房形状和成像设备的先验知识。结果表明,包括形状先验有助于领域自适应和分割的准确性进一步提高与对抗学习。
2018-04-20 cs.CV cs.CY cs.LG
A Differential Volumetric Approach to Multi-View Photometric Stereo
University of Cambridge(剑桥大学);Toshiba Research(东芝研究院)
高精度的三维体重建仍然是一个开放的研究课题,其中主要的困难通常涉及到合并一些粗略的估计与高频细节。其中最有前途的方法之一是多视图立体视觉与光度立体图像的融合。除了多视图立体视觉和光度立体视觉为了可靠地工作而固有的困难之外,当一起考虑时,出现补充问题。在这项工作中,我们提出了一个体积的方法来解决多视图光度立体问题。我们的方法的关键点是有符号的距离场参数化及其与表面法线的关系。利用这一点,以获得一个线性偏微分方程,该方程在变分框架中求解,该变分框架将来自多个视点的多个图像组合在单个系统中。此外,体积方法自然是在八叉树上实现的,这允许快速光线跟踪,可靠地消除遮挡和投射阴影。我们的方法在合成和真实数据集上进行了评估,并取得了最先进的结果。
2019-08-02 cs.CV
Associative3D: Volumetric Reconstruction from Sparse Views
University of Michigan(密歇根大学)
本文研究了在未知摄像机的情况下,由场景的两个视图进行三维体重建的问题。虽然这个问题对人类来说似乎很容易,但对计算机来说却面临着许多挑战,因为它需要同时在两个视图中重建对象,同时还要弄清楚它们的关系。我们提出了一种新方法,用于估计重建、相机/对象和相机/相机变换的分布,以及视图间对象亲和力矩阵。然后,这些信息被联合推理,以产生对场景最有可能的解释。我们训练和测试我们的方法对室内场景的数据集,并严格评估我们的联合推理方法的优点。实验表明,该算法能够从稀疏视图中恢复出合理的场景,但问题仍然具有挑战性。项目网址:https://jasonqsy.github.io/Associative3D
2020-07-27 cs.CV
Efficient 3D affinely equivariant CNNs with adaptive fusion of augmented spherical Fourier-Bessel bases
School of Computer and Artificial Intelligence, Nanjing University of Finance and Economics(南京金融学院计算机与人工智能学院);Interdisciplinary Center for Scientific Computing, Mannheim Institute for Intelligent Systems in Medicine, Medical Faculty Mannheim, Heidelberg University(科学计算交叉中心、医学智能系统研究所、曼海姆医学院、海德堡大学);Computer Assisted Clinical Medicine, Mannheim Institute for Intelligent Systems in Medicine, Medical Faculty Mannheim, Heidelberg University(临床医学辅助计算机、医学智能系统研究所、曼海姆医学院、海德堡大学);Department of Diagnostic and Interventional Radiology, University Hospital Bonn(诊断与介入放射科、波恩大学医院);Interdisciplinary Center for Scientific Computing, Central Institute for Computer Engineering, CSZ Heidelberg Center for Model-Based AI, Data Analysis and Modeling in Medicine, Mannheim Institute for Intelligent Systems in Medicine, Medical Faculty Mannheim, Heidelberg University(科学计算交叉中心、计算机工程中央研究所、海德堡模型驱动AI中心、医学数据与建模中心、曼海姆医学智能系统研究所、曼海姆医学院、海德堡大学)
本文提出一种高效3D仿射群等变CNN,通过自适应融合增强球傅里叶-贝塞尔基,提升体积图像的特征提取与分割性能。
2026-01-07 cs.CV
Neural Volumetric Object Selection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
我们介绍了一种方法,用于选择对象的神经体积的三维表示,如多平面图像(MPI)和神经辐射场(NeRF)。我们的方法需要一组前景和背景的2D用户涂鸦在一个视图中,并自动估计所需的对象,这可以被渲染成新的视图的3D分割。为了实现这一结果,我们提出了一种新的体素特征嵌入,它结合了神经体积3D表示和来自所有输入视图的多视图图像特征。为了评估我们的方法,我们引入了一个新的数据集的人类提供的分割掩模描绘的对象在现实世界中的多视图场景捕捉。我们表明,我们的方法优于强大的基线,包括2D分割和3D分割方法适应我们的任务。
2022-05-30 cs.AI cs.CV cs.GR
A Unifying Tensor View for Lightweight CNNs
The University of Hong Kong(香港大学)
针对现有轻量级CNN卷积核分解研究缺乏几何直觉的问题,提出关联三维核张量与分解的新视角,发现PDP结构的可行性,还建立与ShiftNet的关联并提出移位层剪枝,实现近50%压缩且准确率下降不足1%。
2023-12-15 cs.AI cs.CV
3DVNet: Multi-View Depth Prediction and Volumetric Refinement
UCSB(加州大学圣芭芭拉分校)
我们提出了3DVNet,一种新的多视图立体视觉(MVS)的深度预测方法,结合了以前的基于深度和体积MVS方法的优点。我们的主要思想是使用一个3D场景建模网络,迭代更新一组粗略的深度预测,从而导致高度准确的预测,同意底层场景几何。与现有的深度预测技术不同,我们的方法使用体积3D卷积神经网络(CNN),该网络在世界空间中对所有深度图进行联合操作。因此,网络可以学习有意义的场景级先验。此外,与现有的体积MVS技术不同,我们的3D CNN在特征增强的点云上操作,允许有效地聚合多视图信息和灵活的迭代细化深度图。实验结果表明,我们的方法在ScanNet数据集上的深度预测和3D重建指标以及从TUM-RGBD和ICL-NUIM数据集中选择的场景方面都超过了最先进的精度。这表明,我们的方法是有效的,并推广到新的设置。
2021-12-01 cs.CV
Boosting Convolution with Efficient MLP-Permutation for Volumetric Medical Image Segmentation
Department of Computer Science and Engineering(计算机科学与工程系);The Hong Kong University of Science and Technology(香港科学与技术大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(HKUST深圳-香港协同创新研究院)
提出PHNet混合网络,结合CNN与MLP,通过MLPP模块捕获长距离依赖并解决分辨率敏感性问题,在COVID-19-20和Synapse基准上以更低计算成本超越现有方法。
2025-05-26 cs.CV eess.IV
Fast View Synthesis with Deep Stereo Vision
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
新视图合成是计算机视觉和图形学中的一个重要问题。多年来,已经提出了大量的解决方案来解决这个问题。然而,大基线的新视图合成问题远未得到“解决”。最近的工作已经尝试使用卷积神经网络(CNN)来解决视图合成任务。由于学习场景几何形状和解释相机运动的困难,CNN通常无法生成逼真的新视图。在本文中,我们提出了一种新的基于立体视觉和CNN的视图合成方法,将问题分解为两个子任务:视图相关的几何估计和纹理修复。这两个任务都是结构化的预测问题,可以通过CNN有效地学习。在KITTI Odometry数据集上的实验表明,我们的方法比当前最先进的方法更准确,速度也更快。代码和补充材料将公开提供。结果可以在这里找到https://youtu.be/5pzS9jc-5t0
2018-05-07 cs.AI cs.CV
VTP: Volumetric Transformer for Multi-view Multi-person 3D Pose Estimation
Hangzhou Dianzi University(杭州电子科技大学)
提出首个用于多视角多人3D姿态估计的3D体积Transformer框架VTP,通过聚合多视角2D关键点特征并结合3D卷积与稀疏Sinkhorn注意力,有效降低内存开销并提升性能,在多个基准上取得优异结果。
2022-05-25 cs.CV
Multi-view Human Pose and Shape Estimation Using Learnable Volumetric Aggregation
Carnegie Mellon University(卡内基梅隆大学)
从RGB图像中估计人体姿态和形状是对基于标记的运动捕获的高度寻求的替代方案,基于标记的运动捕获是费力的,需要昂贵的设备,并且将捕获限制在实验室环境中。然而,基于单目视觉的算法仍然受到旋转模糊性的影响,并且还没有准备好在医疗保健应用中进行翻译,其中高精度是至关重要的。虽然来自多个视角的数据融合可以克服这些挑战,但目前的算法需要进一步改进以获得临床上可接受的精度。在本文中,我们提出了一个可学习的体积聚合方法来重建三维人体姿态和形状从校准的多视图图像。我们使用人体的参数表示,这使得我们的方法直接适用于医疗应用。与以前的方法相比,我们的框架显示出更高的准确性和更大的承诺,实时预测,鉴于其成本效益。
2020-11-26 cs.CV
Digging Deep into the layers of CNNs: In Search of How CNNs Achieve View Invariance
Rutgers University(罗格斯大学)
本文主要研究卷积神经网络(CNN)不同层次所隐含的特征空间中的视图流形结构。本文旨在回答几个问题:学习的CNN表示是否实现了视点不变性?它如何实现视点不变性?它是通过折叠视图流形来实现的,还是在保留它们的同时分离它们?在哪一层实现了视图不变性?如何通过实验量化深度卷积神经网络每一层的视图流形结构?在多视图数据集上对预训练的CNN进行微调如何影响网络每层的表示?为了回答这些问题,我们提出了一种方法来量化的变形和退化的视图流形在CNN层。我们应用这种方法,并在本文中报告有趣的结果,回答上述问题。
2016-06-20 cs.CV
Advancing Volumetric Medical Image Segmentation via Global-Local Masked Autoencoder
Hong Kong University of Science and Technology(香港科技大学)
针对掩码自编码器直接用于体积医学图像存在的全局信息缺失、表征不稳定问题,提出引入全局上下文学习与一致性约束的GL-MAE自监督预训练策略,在多数据集分割任务上性能优于现有前沿方法,标注稀缺时仍有效。
2023-08-23 cs.AI cs.CV
The role of MRI physics in brain segmentation CNNs: achieving acquisition invariance and instructive uncertainties
UCL(伦敦大学学院);KCL(伦敦国王学院)
能够充分处理和组合来自不同部位的数据在神经成像中至关重要,但由于部位、序列和采集参数依赖性偏差,这是困难的。因此,重要的是要设计算法,不仅是强大的不同对比度的图像,但也能够推广到看不见的,与可量化的不确定性措施。在本文中,我们展示了一个物理信息,不确定性感知,分割网络,采用增强时间MR模拟和同质批量特征分层,以实现收购不变性的功效。我们表明,所提出的方法也准确地外推到分布序列样本,提供良好的校准体积上的界限。我们证明了一个显着的改进,变异系数,支持基于体积验证的不确定性。
2021-11-04 cs.CV cs.LG eess.IV
Parallel Multi-Dimensional LSTM, With Application to Fast Biomedical Volumetric Image Segmentation
University of Kaiserslautern(凯泽斯劳滕大学);Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (The Swiss AI Lab IDSIA)(达莱莫勒人工智能研究所(瑞士人工智能实验室IDSIA));Scuola universitaria professionale della Svizzera italiana (SUPSI)(瑞士意大利语区应用科学大学(SUPSI));Universitá della Svizzera italiana (USI)(瑞士意大利语区大学(USI));German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
卷积神经网络(CNN)可以在2D图像或3D视频中移动以分割它们。它们具有固定的输入大小,并且通常仅感知要被分类为前景或背景的像素的小的局部上下文。相比之下,多维递归神经网络(MD-RNN)可以在所有像素的几次扫描中感知每个像素的整个时空上下文,特别是当RNN是长短期记忆(LSTM)时。然而,尽管有这些理论上的优势,但与CNN不同的是,以前的MD-LSTM变体很难在GPU上并行化。在这里,我们以金字塔的方式重新排列MD-LSTM中传统的长方体计算顺序。由此产生的PyraMiD-LSTM易于并行化,特别是对于3D数据,如大脑切片图像堆栈。PyraMiD-LSTM在MRBrainS 13上实现了最知名的像素级大脑图像分割结果(以及EM-ISBI 12上的竞争结果)。
2015-06-24 cs.CV cs.LG
TR-GS: High-Fidelity Sparse-View CT Volumetric Rendering via t-Distribution Gaussian Splatting and Ray-Confidence Modeling
Shenzhen University(深圳大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
TR-GS用学生t分布基元与射线置信度模型优化3D高斯溅射,实现高保真稀疏视图CT体积渲染,在多数场景优于基线,可支撑下游医学多媒体应用
2026-08-18 cs.CV
VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion
University of California, Santa Barbara(加州大学圣巴巴拉分校)
最近的体积3D重建方法可以产生非常准确的结果,甚至对于未观察到的表面也具有合理的几何形状。然而,当涉及到多视图融合时,它们面临着不期望的权衡。它们可以通过全局平均来融合所有可用的视图信息,从而丢失精细的细节,或者它们可以对局部融合的视图进行聚类,从而限制它们联合考虑所有视图的能力。我们的关键见解是,可以保留更多的细节,而不限制视图的多样性,通过学习相机姿势和图像内容的条件下的视图融合功能。我们建议使用Transformer来学习这种多视图融合。为此,我们引入了VoRTX,这是一种端到端的体积3D重建网络,使用Transformers进行宽基线,多视图特征融合。我们的模型是闭塞意识,利用Transformer架构来预测一个初始的,投影场景的几何估计。该估计用于避免通过表面将图像特征反向投影到被遮挡区域中。我们在ScanNet上对我们的模型进行了训练,并表明它比最先进的方法产生了更好的重建。我们还展示了泛化,没有任何微调,优于其他两个数据集,TUM-RGBD和ICL-NUIM相同的最先进的方法。
2021-12-01 cs.CV cs.LG
Preface: A Data-driven Volumetric Prior for Few-shot Ultra High-resolution Face Synthesis
ETH Zurich(苏黎世联邦理工学院);Google(谷歌)
针对NeRF人脸合成依赖大量多视图图像的问题,提出身份条件化体积先验,利用稀疏3D对齐学习平滑潜空间,仅需2至3张任意分辨率视图即可拟合并生成超高分辨率新视角。
2023-09-28 cs.AI cs.CV cs.LG
Design, Analysis and Application of A Volumetric Convolutional Neural Network
University of Southern California(南加州大学)
研究了体积卷积神经网络(VCNN)的设计、分析和应用。虽然在文献中已经提出了许多CNN,但它们的设计是经验性的。在VCNN的设计中,我们提出了一种前馈K-means聚类算法来系统地确定每个卷积层的滤波器数量和大小。对于VCNN的分析,通过分析从最后一个全连接层到输出的滤波器权重(也称为锚向量)之间的关系来解释VCNN输出中混淆类的原因。此外,一个层次聚类方法,然后随机森林分类方法提出了提高分类性能之间的混淆类。对于VCNN的应用,我们研究了3D形状分类问题,并在流行的ModelNet 40数据集上进行了实验。所提出的VCNN提供了所有基于体积的CNN方法中最先进的性能。
2017-02-01 cs.CV
TAVA: Template-free Animatable Volumetric Actors
University of Bonn(波恩大学);Meta Reality Labs Research(Meta现实实验室);UC Berkeley(加州大学伯克利分校)
基于坐标的体积表示具有从图像生成照片级真实感虚拟化身的潜力。然而,虚拟化身还需要是可控制的,甚至是可能尚未被观察到的新颖姿势。传统的技术,如LBS,提供了这样的功能;但它通常需要手工设计的身体模板,3D扫描数据和有限的外观模型。另一方面,神经表征已被证明是强大的表示视觉细节,但正在探索变形动态关节演员。在本文中,我们提出了TAVA,一种方法来创建无模板的动画体积演员,基于神经表示。我们完全依赖于多视图数据和跟踪骨架来创建演员的体积模型,该模型可以在测试时以新颖的姿势进行动画。由于TAVA不需要身体模板,因此它适用于人类以及其他生物(如动物)。此外,TAVA被设计为可以恢复准确的密集对应关系,使其适合内容创建和编辑任务。通过大量的实验,我们证明了所提出的方法推广以及新的姿势,以及看不见的意见,并展示基本的编辑功能。
2022-06-21 cs.AI cs.CV
A Deep Learning Approach for Pose Estimation from Volumetric OCT Data
Hamburg University of Technology(汉堡工业大学)
跟踪仪器的姿态是图像引导手术中的中心问题。对于微观场景,光学相干断层扫描(OCT)越来越多地用作成像模态。OCT由于其微米范围分辨率和体积视场而适合于精确的位姿估计。然而,OCT图像处理除了图像的3D性质之外,还由于斑点噪声和反射伪影而具有挑战性。我们使用一种新的基于深度学习的跟踪框架来解决来自OCT体积数据的姿态估计。为此,我们设计了一种新的3D卷积神经网络(CNN)架构,以直接预测来自OCT体积的小标记几何形状的6D姿态。我们使用六足机器人自动获取标记的数据点,我们使用这些数据点来训练3D CNN架构,以进行多输出回归。我们使用此设置对基于深度学习的体姿态估计进行深入分析。具体来说,我们证明,利用体积信息的姿态估计产生更高的精度比依赖于2D表示与深度信息。支持这一观察结果,我们提供了定量和定性的结果,即3D CNN有效地利用了标记对象的深度结构。关于深度学习方面,我们提出了3D CNN的有效设计原则,利用了2D深度学习社区的见解。特别是,我们提出Inception3D作为一个新的架构,最适合我们的应用程序。我们表明,我们的深度学习方法在我们的地面实况标签的分辨率上达到了错误。我们分别实现了位置和方向学习的平均误差为$\SI{14.89 \pm 9.3}{\micro\metre}$和$\SI{0.096 \pm 0.072}{\degree}$。
2018-03-10 cs.CV
SurfelWarp: Efficient Non-Volumetric Single View Dynamic Reconstruction
Massachusetts Institute of Technology(麻省理工学院)
我们贡献了一个密集的SLAM系统,该系统以实时的深度图像流作为输入,并在没有模板或先验模型的情况下实时的重建非刚性变形场景。与现有的方法相比,我们不维护任何体积数据结构,如截断符号距离函数(TSDF)字段或变形字段,这是性能和存储器密集型。我们的系统使用基于平面点(冲浪)的几何表示,可以直接从商品深度传感器获取。标准图形流水线和通用GPU(GPGPU)计算被用于所有中央操作:即,最近邻维护、非刚性变形场估计和深度测量的融合。我们的管道本质上避免了昂贵的体积操作,如移动立方体,体积融合和密集变形场更新,从而显着提高性能。此外,明确和灵活的surfel为基础的几何表示,使有效的处理拓扑结构的变化和跟踪失败,这使得我们的重建与更新的深度观测一致。我们的系统允许机器人保持一个场景描述与非刚性变形的对象,有可能实现与动态工作环境的交互。
2019-04-30 cs.CV
Learning Multi-Modal Volumetric Prostate Registration with Weak Inter-Subject Spatial Correspondence
University of Magdeburg(马格德堡大学);University Hospital Magdeburg(马格德堡大学医院)
最近的研究表明,卷积神经网络(CNN)解决图像配准问题的资格。CNN可以实现更快的转换估计和更大的泛化能力,以便在医疗干预期间提供更好的支持。传统的全监督训练需要大量高质量的地面实况数据,例如体素到体素的转换,这通常是以过于繁琐和容易出错的方式实现的。在我们的工作中,我们使用弱监督学习,它仅通过分割掩码间接优化模型,而分割掩码是比变形场更容易获得的基础事实。关于弱监督,我们研究了两个分割相似性度量:多尺度骰子相似性系数(mDSC)和分割导出的符号距离图(SDM)之间的相似性。我们表明,mDSC和SDM相似性措施的组合,结果在一个更准确和自然的转换模式,以及更强的梯度覆盖。此外,我们引入了一个辅助输入的神经网络的先验信息的前列腺位置的MR序列,这主要是术前。这种方法明显优于标准的双输入模型。使用弱标记的MR-TRUS前列腺数据,我们显示出与最先进的基于深度学习的方法相当的配准质量。
2021-02-09 cs.CV cs.LG eess.IV
6DGS: Enhanced Direction-Aware Gaussian Splatting for Volumetric Rendering
United Imaging Intelligence(联影智能)
本文提出6D高斯泼溅(6DGS),通过增强6D空间-角度表示中的颜色、不透明度及方向信息优化高斯控制,在实时渲染下显著提升视角依赖效果与细节质量,较3DGS实现最高15.73 dB PSNR提升并减少66.5%高斯点。
2025-03-11 cs.AI cs.CV
Render for CNN: Viewpoint Estimation in Images Using CNNs Trained with Rendered 3D Model Views
Stanford University(斯坦福大学)
从二维图像中估计目标视点是计算机视觉中的一项重要任务。然而,两个问题阻碍了它的进展:缺乏带有视点注释的训练数据,以及缺乏强大的功能。受3D模型日益增长的可用性的启发,我们提出了一个框架,通过结合基于渲染的图像合成和CNN来解决这两个问题。我们相信,3D模型有潜力生成大量高变化的图像,这可以被具有高学习能力的深度CNN很好地利用。为了实现这一目标,我们提出了一个可扩展的和抗过拟合的图像合成流水线,连同一个新的CNN专门为视点估计任务量身定制。实验表明,我们的管道的视点估计可以显着优于PASCAL 3D+基准测试的最先进的方法。
2015-05-21 cs.CV
KeypointNeRF: Generalizing Image-based Volumetric Avatars using Relative Spatial Encoding of Keypoints
ETH Zürich(苏黎世联邦理工学院);Reality Labs Research(现实实验室研究部门);Meta
基于图像的体积的人使用像素对齐的功能承诺泛化到看不见的姿势和身份。先前的工作利用全局空间编码和多视图几何一致性来减少空间模糊性。然而,全局编码往往会对训练数据的分布产生过拟合,并且很难从稀疏视图中学习多视图一致性重建。在这项工作中,我们调查了现有的空间编码的共同问题,并提出了一个简单而高效的方法来建模高保真体积的人从稀疏的意见。其中一个关键思想是通过稀疏的3D关键点对相对空间3D信息进行编码。该方法对视点的稀疏性和跨数据集的域间隙具有鲁棒性。我们的方法优于最先进的头部重建方法。对于看不见的主体的人体重建,我们还实现了与使用参数化人体模型和时间特征聚合的先前工作相当的性能。我们的实验表明,在以前的工作中的大多数错误源于空间编码的不适当的选择,因此,我们提出了一个新的方向,高保真基于图像的人体建模。https://markomih.github.io/KeypointNeRF
2022-07-21 cs.CV
POSEFusion: Pose-guided Selective Fusion for Single-view Human Volumetric Capture
Tsinghua University(清华大学);Google(谷歌)
我们提出了姿势引导选择性融合(POSEFusion),一种单视图人体体积捕获方法,利用基于跟踪的方法和无跟踪推理来实现高保真和动态的3D重建。通过提出一种新的重构框架,该框架包含姿态引导的关键帧选择和鲁棒的隐式曲面融合,该方法充分利用了基于跟踪的方法和无需跟踪的推理方法的优点,最终实现了动态曲面细节的高保真重构,即使是在不可见区域。我们制定的关键帧选择作为一个动态规划问题,以保证重建序列的时间连续性。此外,新的鲁棒隐式曲面融合涉及一个自适应的混合权重,以保持高保真的表面细节和自动碰撞处理方法来处理潜在的自碰撞。总体而言,我们的方法可以从单个RGBD相机在可见和不可见区域中进行高保真和动态捕获,结果和实验表明,我们的方法优于最先进的方法。
2021-03-29 cs.CV
ImViD: Immersive Volumetric Videos for Enhanced VR Engagement
Tsinghua University(清华大学);Migu Beijing Research Institute(中国移动北京研究院);Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所)
提出ImViD多视角多模态数据集,支持移动中捕获完整场景,为6自由度多模态沉浸式VR体验提供基准和重建管线。
2026-05-26 cs.CV
Volumetric Disentanglement for 3D Scene Manipulation
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
近年来,差分体绘制技术的发展使复杂三维场景的真实感重建和细节重建取得了重大突破,这是许多虚拟现实应用的关键。然而,在增强现实的上下文中,人们还可能希望实现场景内的对象的语义操纵或增强。为此,我们提出了一个体积框架(i)解开或分离,一个给定的前景对象从背景的体积表示,以及(ii)语义操纵的前景对象,以及背景。我们的框架作为输入的一组2D面具指定所需的前景对象的训练视图,连同相关的2D视图和姿势,并产生一个前景背景解开,尊重周围的照明,反射和部分遮挡,这可以应用于训练和新的视图。我们的方法能够单独控制像素颜色和深度以及前景和背景对象的3D相似性变换。随后,我们证明了我们的框架上的下游操作任务,包括对象伪装,非负的3D对象修复,3D对象翻译,3D对象修复和3D基于文本的对象操作的适用性。完整的结果在我们的项目网页https://sagiebenaim.github.io/volumetric-disentanglement/中给出
2022-06-06 cs.CV
BVI-CR: A Multi-View Human Dataset for Volumetric Video Compression
针对体积视频压缩缺乏高质量数据集的问题,提出包含18个多视角RGB-D人体动作序列的BVI-CR数据集,并基准测试表明神经表示方法相比传统编码平均PSNR增益达38%。
2024-11-17 cs.CV eess.IV
Learning Shape Representation on Sparse Point Clouds for Volumetric Image Segmentation
Insel Data Science Center(因塞尔数据科学中心);Inselspital, Bern University Hospital(伯尔尼大学医院因塞尔医院);University of Bern(伯尔尼大学);Support Center for Advanced Neuroimaging (SCAN)(高级神经成像支持中心(SCAN));Institute for Diagnostic and Interventional Neuroradiology(诊断与介入神经放射学研究所)
使用卷积神经网络(CNN)的体积图像分割遇到了几个挑战,这是医学图像特有的。这些挑战包括大量的兴趣,高等级的不平衡,以及学习形状表示的困难。为了解决这些挑战,我们建议通过点云的逐点分类来改进传统的基于CNN的体积图像分割。点云的稀疏性允许处理整个图像体积,平衡高度不平衡的分割问题,并明确学习解剖形状。我们建立在PointCNN,一个神经网络提出处理点云,并建议在这里联合编码点云内的形状和体积信息在一个紧凑和计算有效的方式。我们演示了如何使用这种方法来改进基于CNN的分割,这在我们的实验中产生了显着改善的结果,从磁共振神经成像图像的外周神经分割的困难任务。通过合成实验,我们进一步展示了我们的方法在学习一个明确的解剖形状表示的能力。
2019-06-05 cs.CV eess.IV
V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation
Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);Klinikum Grosshadern(大哈登医院);Ludwig-Maximilians-Universität München(慕尼黑大学)
卷积神经网络(CNN)最近已被用于解决来自计算机视觉和医学图像分析领域的问题。尽管它们很受欢迎,但大多数方法只能处理2D图像,而临床实践中使用的大多数医学数据由3D体积组成。在这项工作中,我们提出了一种基于体积,完全卷积,神经网络的三维图像分割方法。我们的CNN在描绘前列腺的MRI体积上进行端到端的训练,并学习一次预测整个体积的分割。我们引入了一个新的目标函数,我们在训练过程中优化,基于骰子系数。通过这种方式,我们可以处理前景体素和背景体素的数量之间存在强烈不平衡的情况。为了应对可用于训练的有限数量的注释卷,我们应用随机非线性变换和直方图匹配来增强数据。我们在我们的实验评估中表明,我们的方法在具有挑战性的测试数据上实现了良好的性能,同时只需要其他以前的方法所需的处理时间的一小部分。
2016-06-15 cs.CV
EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis
Google(谷歌)
本文提出基于光线追踪的精确体椭球渲染方法 EVER,实现实时可微仅发射体渲染,在保持约30 FPS的同时消除3DGS伪影并提升大规模场景质量。
2025-07-24 cs.CV
Multi-View Reconstruction using Signed Ray Distance Functions (SRDF)
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);Meta Reality Labs(Meta现实实验室)
在本文中,我们研究了一个新的优化框架,多视图三维形状重建。最近的微分绘制方法提供了突破性的性能与隐式形状表示,但他们仍然可以缺乏精度的估计几何形状。另一方面,多视图立体视觉方法可以产生具有沿着观看光线的局部深度预测的逐像素几何精度。我们的方法弥合了这两种策略之间的差距,一种新的体积形状表示,是隐式的,但参数化的像素深度,以更好地实现形状表面一致的有符号的距离沿视线。该方法保留像素精度,同时受益于优化中的体积积分。为此,通过在体积离散化内的每个3D位置处评估对应像素的深度预测一致性与光度一致性之间的一致性来优化深度。优化是不可知的相关联的照片一致性项,其可以从基于中值的基线变化到更精细的标准学习函数。我们的实验证明了体积积分与深度预测的好处。他们还表明,我们的方法优于现有的方法在标准的3D基准更好的几何估计。
2023-03-03 cs.CV
Action Recognition Using Volumetric Motion Representations
Johns Hopkins University(约翰斯·霍普金斯大学)
传统的动作识别模型是围绕二维透视图像的范式构建的。虽然复杂的时间序列模型推动了该领域的发展,但由于将域限制在2D范围内,许多信息仍然没有得到利用。在这项工作中,我们引入了一种新的运动表示为体素化的3D矢量场,并演示了如何使用它来提高动作识别网络的性能。这种体积表示非常适合3D CNN,并且允许在这些网络的训练期间使用面外数据增强技术。从RGB-D视频的这种表示的构造和推理都可以实时的运行。我们在开源NTU RGB+D数据集上使用这种表示与我们的网络设计展示了优越的结果,在这两个定义的评估指标上都优于最先进的技术。此外,我们通过实验展示了平面外增强技术如何创建视点不变性,并允许使用这种表示训练的模型推广到看不见的相机角度。代码可在这里:https://github.com/mpeven/ntu_rgb.
2019-11-19 cs.CV eess.IV
Large-Scale 3D Scene Classification With Multi-View Volumetric CNN
Google Inc.(谷歌公司)
我们介绍了一种方法来分类图像使用卷积神经网络(CNN)的多视角图像投影。我们的方法的力量来自于在重建表面附近的多个深度平面处使用多个图像的投影。这使得能够分类其显著方面是在不同视点下的外观变化的类别,例如水、树和具有复杂反射/光响应特性的其他材料。我们的方法不需要在图像中进行边界标记,并且在具有小(几个像素)上下文的像素级分类上工作,这简化了训练集的创建。我们展示了这种应用程序的大规模航空图像集合,并扩展每像素分类鲁棒地创建一个一致的2D分类,可用于填补非重建水域的差距。我们还将我们的方法分类树区域。在这两种情况下,可以使用地图上的少量手动创建的多边形快速生成训练数据。我们表明,即使使用非常简单和标准的网络,我们的CNN也优于最先进的图像分类,即从大量航空图像中重新训练的Inception-V3模型。
2017-12-26 cs.CV
Single-view 2D CNNs with Fully Automatic Non-nodule Categorization for False Positive Reduction in Pulmonary Nodule Detection
Korea Advanced Institute of Science and Technology(韩国科学技术院);Hanbat National University(韩巴国立大学)
背景与目的:在肺结节检测中,第一阶段是候选检测,目的是检测出可疑的肺结节。然而,检测到的候选包括许多假阳性,因此在下一阶段,假阳性减少,这样的假阳性被可靠地减少。请注意,由于1)结节和非结节数量之间的不平衡以及2)非结节的类内多样性,这项任务具有挑战性。尽管使用3D卷积神经网络(CNN)的技术已经显示出有前途的性能,但是它们遭受高计算复杂性,这阻碍了构建深度网络。为了有效地解决这些问题,我们提出了一种新的框架,使用单一视图的2D CNN集成,其性能优于现有的基于3D CNN的方法。研究方法:与以前利用3D CNN的技术相比,我们的2D CNN系综利用单视图2D补丁来提高计算和内存效率。我们首先根据自动编码器编码的特征对非结节进行分类。然后,所有2D CNN都使用相同的结节样本进行训练,但使用不同类型的非结节。通过扩展学习能力,该训练方案解决了从具有较大外观变化的非结节中提取代表性特征的困难。请注意,我们建议基于自动编码器和k均值聚类自动分类非结节,而不是需要放射科医生繁重工作量的手动分类。
2020-03-09 cs.CV
D-Net: Dynamic Large Kernel with Dynamic Feature Fusion for Volumetric Medical Image Segmentation
Mallinckrodt Institute of Radiology(马林克罗特放射学研究所)
本文提出D-Net,通过动态大核与动态特征融合模块增强层次化Transformer,自适应捕捉多尺度特征并利用全局上下文,在腹部多器官和脑肿瘤分割中超越现有方法。
2024-10-17 cs.CV eess.IV
Light Transport-aware Diffusion Posterior Sampling for Single-View Reconstruction of 3D Volumes
Technical University of Munich(慕尼黑工业大学)
提出一种光传输感知的扩散后验采样方法,利用无条件扩散模型和物理可微分渲染器,实现高质量的单视图体积云重建。
2025-03-28 cs.CV cs.LG
Volumetric Capture of Humans with a Single RGBD Camera via Semi-Parametric Learning
Google Inc.(谷歌公司)
体积(4D)性能捕获是AR/VR内容生成的基础。虽然之前在4D性能捕获方面的工作已经在工作室环境中显示出令人印象深刻的结果,但该技术仍然远未被典型的消费者所使用,他们充其量可能拥有一个RGBD传感器。因此,在这项工作中,我们提出了一种方法来合成自由视点渲染使用一个单一的RGBD相机。关键的洞察力是利用给定用户先前看到的“校准”图像,从传感器中可用的数据推断出应该在新的视点中呈现什么。鉴于这些过去的观察,从多个角度来看,和当前的RGBD图像从一个固定的视图,我们提出了一个端到端的框架,融合这两个数据源,以生成新的渲染的表演者。我们证明,该方法可以产生高保真度的图像,并处理极端变化的主体姿势和相机的观点。我们还表明,该系统推广到表演者看不到的训练数据。我们进行了详尽的实验,证明了与其他最先进的机器学习解决方案相比,所提出的半参数模型(即神经网络可用的校准图像)的有效性。此外,我们比较的方法与更传统的管道,采用多视图捕捉。我们表明,我们的框架是能够实现引人注目的结果,与以前所需的基础设施大大减少。
2019-05-29 cs.CV
Learning Neural Volumetric Representations of Dynamic Humans in Minutes
Zhejiang University(浙江大学)
本文解决了从稀疏多视点视频中快速重建动态人体自由视点视频的挑战。最近的一些工作表示为一个典型的神经辐射场(NeRF)和运动场,这是从视频学习,通过微分渲染的动态人。但是每个场景的优化通常需要几个小时。其他可推广的NeRF模型利用了从数据集中学习到的先验知识,并通过仅对新场景进行微调来减少优化时间,但以牺牲视觉保真度为代价。在本文中,我们提出了一种新的方法来学习神经体积视频的动态人类稀疏视图视频在几分钟内具有竞争力的视觉质量。具体来说,我们定义了一种新的基于部分的体素化的人类表示,以更好地分配网络的代表性权力,不同的人体部位。此外,我们提出了一种新的二维运动参数化方案,以提高变形场学习的收敛速度。实验表明,我们的模型可以学习100倍的速度比以前的每场景优化方法,同时在渲染质量上具有竞争力。在具有100帧的$512 \times 512$视频上训练我们的模型通常需要在单个RTX 3090 GPU上花费大约5分钟。代码将在我们的项目页面上发布:https://zju3dv.github.io/instant_nvr
2023-02-24 cs.AI cs.CV cs.GR
GLIMS: Attention-Guided Lightweight Multi-Scale Hybrid Network for Volumetric Semantic Segmentation
Istanbul Technical University(伊斯坦布尔理工大学);Qatar University(卡塔尔大学)
GLIMS提出一种数据高效的注意力引导混合体素分割网络,通过扩张特征聚合卷积块、Swin Transformer瓶颈及通道空间注意力块,在BraTS2021和BTCV上以更少参数超越Swin UNETR。
2024-04-27 cs.AI cs.CV
Robust 3D Hand Pose Estimation in Single Depth Images: from Single-View CNN to Multi-View CNNs
Nanyang Technological University(南洋理工大学)
关节手姿态估计在人机交互中起着重要的作用。尽管最近的进展,现有的方法的准确性仍然不令人满意,部分原因是由于嵌入的高维和非线性回归问题的困难。与现有的用单个深度图像回归手部姿势的判别方法不同,我们建议首先将查询深度图像投影到三个正交平面上,并利用这些多视图投影来回归2D热图,以估计每个平面上的关节位置。然后融合这些多视图热图以产生具有学习的姿势先验的最终3D手部姿势估计。实验表明,该方法在具有挑战性的数据集上大大优于最先进的方法。跨数据集的实验也表明了该方法的良好泛化能力。
2016-12-27 cs.CV
Cloak of Invisibility: Real-Time Privacy-Preserving Volumetric Video Streaming
University of California Los Angeles(加利福尼亚大学洛杉矶分校);Nokia Bell Labs(诺基亚贝尔实验室)
针对体视频流的隐私挑战,提出实时源端隐私系统InViStream,结合目标检测与深度感知掩码等技术,在多视角场景中实现高效隐私保护与实时重建,取得优异性能指标。
2026-08-24 cs.CV
3DQ: Compact Quantized Neural Networks for Volumetric Whole Brain Segmentation
Technical University of Munich(慕尼黑工业大学);Ludwig Maximilian University(路德维希-马克西米利安大学);University of California Berkeley(加州大学伯克利分校);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出三值量化方法 3DQ,首次用于三维 F-CNN,在全脑分割任务及 3D U-Net、V-Net 上实现 16 倍压缩并保持全精度性能。
2019-07-01 cs.CV
Neural Volume Super-Resolution
Princeton University(普林斯顿大学);University of Siegen(锡根大学)
提出直接作用于体积表示的神经超分辨率网络,利用多二维特征平面与二维卷积,实现跨视角一致的高分辨率渲染,并在未见场景上验证优于现有方法。
2023-05-05 cs.CV
VolFill: Single-View Amodal 3D Scene Reconstruction with Volumetric Flow Matching
UMass Amherst(马萨诸塞大学阿姆赫斯特分校);TU Crete(希腊技术大学)
提出VolFill框架,利用混合3D VAE和潜在扩散Transformer从单张RGB图像生成完整3D场景结构,在SCRREAM和NRGB-D数据集上显著优于现有方法。
2026-10-28 cs.CV
LinPrim: Linear Primitives for Differentiable Volumetric Rendering
Technical University of Munich(慕尼黑技术大学)
本文提出基于八面体和四面体线性基元的可微体积渲染新方法,通过GPU光栅化器实现端到端优化,以更少基元达到与最先进方法相当的重建质量。
2025-10-16 cs.CV
Learning to Estimate Single-View Volumetric Flow Motions without 3D Supervision
Technical University of Munich (TUM)(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院);TUM - Institute for Advanced Study(慕尼黑工业大学高等研究院)
本研究提出一种无监督深度神经网络方法,仅依靠单目视频、图像损失、对抗判别网络与正则化,无需3D真实标注即可联合推断流体的3D流场与体积密度,可稳定处理长时序序列且匹配度高。
2023-02-28 cs.CV cs.LG physics.flu-dyn