Manifold Modeling in Quotient Space: Learning An Invariant Mapping with Decodability of Image Patches
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出了一种基于等价类概念的图像块流形学习框架：商空间流形建模（MMQS）。在MMQS中，我们不考虑图像的一组局部补丁，而是通过引入等价类的概念并对其正则补丁进行流形学习而获得的正则补丁集。规范补丁表示等价类，它们的自动编码器在商空间中构造一个流形。在此基础上，通过引入旋转翻转等价关系，提出了一种新的基于流形的图像模型。此外，我们提出了一个图像重建问题，通过拟合所提出的图像模型到一个损坏的观察图像，并推导出一个算法来解决它。我们的实验表明，所提出的图像模型是有效的各种自我监督的图像重建任务，如图像修补，去模糊，超分辨率和去噪。
2022-03-10 cs.CV cs.LG
Enforcing temporal consistency in Deep Learning segmentation of brain MR images
Heriot-Watt University（赫瑞-瓦特大学）；Biomedical Informatics Group, CSIRO（联邦科学与工业研究组织生物医学信息学组）
纵向分析在医学影像学中揭示发育轨迹和监测疾病进展方面具有很大的潜力。该过程依赖于一致且鲁棒的联合4D分割。传统的技术依赖于图像随时间的相似性和使用特定于主题的先验来减少随机变化并提高整体纵向分析的鲁棒性和灵敏度。然而，这是缓慢和计算密集的，因为每次都需要重建特定于主题的模板。这项工作的重点是使用深度学习来加速这种分析。所提出的方法基于深度CNN，并结合了语义分割，并为同一主题提供了纵向关系。所提出的方法基于深度CNN，并结合了语义分割，并为同一主题提供了纵向关系。使用3D补丁作为修改的Unet的输入的现有技术提供了大约${0.91 \pm 0.5}$ Dice的结果，并且在CNN中使用多视图图集提供了大约相同的结果。在这项工作中，探索了不同的模型，每个模型都提供了更好的准确性和快速的结果，同时提高了分割质量。这些方法在来自EADC-ADNI协调海马协议的135次扫描上进行评估。所提出的基于CNN的分割方法展示了使用先前切片的2D分割如何能够提供与3D分割类似的结果，同时保持3D维度中的良好连续性和提高的速度。仅使用2D修改的矢状切片为我们提供了针对给定受试者的更好的Dice和纵向分析。对于ADNI数据集，使用简单的UNet CNN技术得到${0.84 \pm 0.5}$，而在相同的输入上使用修改的CNN技术得到${0.89 \pm 0.5}$。使用各种方法计算了几个测试用例的萎缩率…
2019-06-13 cs.CV cs.LG cs.NE
Deep Learning for Medical Image Segmentation
本报告概述了当前最先进的深度学习架构和优化技术，并以ADNI海马MRI数据集为例，比较了不同卷积架构在基于块的三维海马分割任务上的有效性和效率，这在阿尔茨海默病的诊断中非常重要。我们发现，一个稍微非常规的“堆叠2D”的方法提供了更好的分类性能比简单的2D补丁，而不需要显着更多的计算能力。我们还研究了最近发表的一些研究中使用的流行的“三平面”方法，发现它提供了比2D方法更好的结果，但也适度增加了计算能力的要求。最后，我们评估了一个完整的3D卷积架构，发现它提供了比三平面方法略好的结果，但代价是计算能力要求显著增加。
2015-05-08 cs.AI cs.CV cs.LG
Explicit Spatial Encoding for Deep Local Descriptors
CTU in Prague（布拉格捷克理工大学）
提出了一种基于神经网络激活的高效匹配核的核化深度局部块描述子。每个感受野的响应与其空间位置一起使用显式特征图进行编码。两个位置参数化，笛卡尔和极坐标，用于提供鲁棒性的不同类型的规范补丁错位。此外，我们分析了传统架构，即在卷积部分之后连接的全连接层，如何以空间变化的方式编码响应。与此相反，显式的空间编码中使用的描述符，其潜在的应用不限于本地补丁。我们在标准基准上评估描述符。这两个版本，编码32x32或64x64补丁，始终优于所有其他方法在所有基准测试。该模型的参数个数与输入面片分辨率无关。
2019-04-15 cs.CV
Generalizable Patch-Based Neural Rendering
University of British Columbia（不列颠哥伦比亚大学）；Google（谷歌）；Vector Institute for AI（向量人工智能研究所）
自从神经辐射场（NeRF）出现以来，神经渲染受到了极大的关注，并且极大地推动了新颖视图合成的最新技术水平。最近的焦点一直集中在过拟合到单个场景的模型上，并且很少尝试学习可以合成未知场景的新视图的模型，主要包括将深度卷积特征与NeRF模型相结合。我们提出了一个不同的范例，其中没有深的功能，没有NeRF一样的体渲染是必要的。我们的方法是能够预测的颜色的目标射线在一个新的场景直接，只是从一个集合的补丁从场景中采样。我们首先利用核几何提取补丁沿核线的每个参考视图。每个补丁被线性投影到一个1D特征向量中，一系列Transformers处理该集合。对于位置编码，我们将光线参数化为光场表示，关键的区别是坐标相对于目标光线规范化，这使得我们的方法独立于参考系并提高了泛化能力。我们表明，我们的方法优于最先进的新视图合成看不见的场景，即使是在训练的数据比以前的工作少得多。
2022-07-28 cs.CV
PatchNets: Patch-Based Generalizable Deep Implicit 3D Shape Representations
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Facebook Reality Labs（Facebook现实实验室）
隐式表面表示，如符号距离函数，结合深度学习，已经产生了令人印象深刻的模型，可以表示具有任意拓扑结构的物体的详细形状。由于学习了连续函数，因此也可以以任意分辨率提取重建。但是，需要大型数据集（如ShapeNet）来训练此类模型。在本文中，我们提出了一种新的中层基于块的表面表示。在补丁级别，不同类别的对象具有相似性，这导致了更普遍的模型。然后，我们介绍了一种新的方法来学习这种基于补丁的表示在一个规范的空间，使它尽可能对象不可知。我们表明，我们在ShapeNet的一类对象上训练的表示也可以很好地表示任何其他类别的详细形状。此外，与现有方法相比，它可以使用更少的形状进行训练。我们展示了我们的新表示的几个应用程序，包括形状插值和部分点云完成。由于明确控制的位置，方向和规模的补丁，我们的表示也更可控相比，对象级表示，这使我们能够变形编码的形状非刚性。
2021-02-05 cs.CV cs.GR
Evaluation of a Canonical Image Representation for Sidescan Sonar
KTH - Royal Institute of Technology（瑞典皇家理工学院）
针对侧扫声呐图像因AUV高度、目标距离和传感器分辨率导致的畸变问题，提出结合强度校正与斜距校正的规范变换方法，并在HUGIN AUV真实数据上验证其能提升图像块相似性与SIFT匹配精度。
2023-04-18 cs.CV cs.RO
Compositional Scene Modeling with Global Object-Centric Representations
Fudan University（复旦大学）
由于对象之间的透视和遮挡，同一对象的外观在不同场景图像中可能不同。人类可以很容易地识别同一个对象，即使存在遮挡，通过完成基于其在内存中的规范图像的遮挡部分。实现这种能力对于机器学习来说仍然是一个挑战，特别是在无监督学习的设置下。受人类这种能力的启发，本文提出了一种组合场景建模方法，可以在没有任何监督的情况下推断对象的规范图像的全局表示。每个对象的表示被分成表征全局不变信息（即对象的规范表示）的内在部分和表征场景相关信息（例如，位置和大小）。为了推断每个对象的内在表示，我们采用了补丁匹配策略，以对齐的对象的典型表示的一个潜在的被遮挡的对象的表示，并采样的最可能的典型表示的基础上，由摊销变分推理确定的对象的类别。在四个以对象为中心的学习基准上进行了大量的实验，实验结果表明，该方法不仅在分割和重建方面优于现有技术，而且具有良好的全局对象识别性能。
2022-11-24 cs.CV
Image patch analysis of sunspots and active regions. I. Intrinsic dimension and correlation analysis
University of Michigan（密歇根大学）
活动区的耀斑生产率与其空间复杂性有关。威尔逊山或麦金托什太阳黑子分类测量这种复杂性，但以分类的方式，因此可能不会使用所有的信息在观测。此外，这样的分类方案阻碍了对活动区域演化的系统研究。我们提出了一个活动区域的复杂性，并将它们与威尔逊山分类细尺度定量描述符。我们分析了连续谱和磁图数据的局部相关结构，以及连续谱和磁图数据之间的互相关。我们计算的内在尺寸，偏相关，典型相关分析（CCA）的连续和磁图活动区的图像补丁从SOHO-MDI仪器。我们使用来自连续体的太阳黑子的掩模以及来自磁图的磁活动区的较大掩模来分别分析活动区的核心部分及其周围部分。我们发现的复杂性之间的关系的一个活跃的区域，测量威尔逊山和其图像补丁的内在尺寸。偏相关模式表现出近似三阶马尔可夫结构。CCA揭示了不同的模式之间的相关性连续和磁记录内的太阳黑子和太阳黑子周围的地区。这些结果也铺平了道路，基于补丁的字典学习，以期自动聚类的活动区域。
2015-12-14 astro-ph.SR cs.CV
Image patch analysis and clustering of sunspots: a dimensionality reduction approach
University of Michigan（密歇根大学）；Royal Observatory of Belgium（比利时皇家天文台）；National Solar Observatory（美国国家太阳天文台）
太阳黑子，在白光或连续谱图像中看到的，与太阳上的高磁活动区域有关，在磁图图像上可见。它们的复杂性与爆炸性的太阳活动有关，因此对这些活动区域进行分类有助于预测未来的太阳活动。目前对太阳黑子群的分类是基于视觉的，存在偏见。监督学习方法可以减少人类的偏见，但不能最佳地利用太阳黑子图像中存在的信息。本文采用连续谱和磁图两种图像模态来表征太阳黑子和磁活动区图像的空间和模态相互作用，并提出了一种新的图像聚类方法。具体而言，在图像补丁分析的框架中，我们估计的内在参数的数量来描述的空间和模态的依赖关系，两种模式和相应的空间模式之间的相关性，并检查在不同尺度的图像内的现象。为了做到这一点，我们使用线性和非线性内在维度估计，典型相关分析，内在维度的多分辨率分析。
2014-06-24 astro-ph.SR cs.CV
Med-NCA: Robust and Lightweight Segmentation with Neural Cellular Automata
Darmstadt University of Technology（达姆施塔特工业大学）
在使用深度学习执行医学图像分割时，访问适当的基础设施至关重要。这一要求使得在资源有限的情况下，如农村地区和危机期间的初级保健设施，很难运行最先进的细分模型。最近新兴的神经元胞自动机（NCA）领域已经表明，局部相互作用的单细胞模型可以在低分辨率输入的图像生成或分割等任务中取得有竞争力的结果。然而，它们受到高VRAM要求和难以达到高分辨率图像的收敛的限制。为了克服这些限制，我们提出了Med-NCA，一个用于高分辨率图像分割的端到端NCA训练管道。我们的方法遵循两个步骤的过程。全局知识首先在缩小的图像中的细胞之间进行通信。之后，执行基于块的分割。我们提出的Med-NCA在海马和前列腺分割方面分别比经典的UNet好2%和3%，同时也小了500倍。我们还表明，Med-NCA是通过设计不变的图像尺度，形状和平移，经历只有轻微的性能下降，即使有很强的转变，是强大的MRI采集伪影。Med-NCA甚至可以在Raspberry Pi B+上实现高分辨率医学图像分割，Raspberry Pi B+可以说是能够运行PyTorch的最小设备，并且可以由标准电源供电。
2023-02-07 cs.CV cs.LG eess.IV
Learning to Assign Orientations to Feature Points
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Graz University of Technology（格拉茨工业大学）
我们展示了如何训练一个卷积神经网络，以指定一个规范的方向，以特征点为中心的图像补丁的特征点。我们的方法改进了现有技术的特征点匹配，并且可以与任何现有的旋转敏感描述符结合使用。为了避免寻找目标方向进行学习的繁琐且几乎不可能的任务，我们建议使用Siamese网络，该网络在训练过程中隐式地找到最佳方向。我们还为神经网络提出了一种新型的激活函数，它概括了流行的ReLU，maxout和PReLU激活函数。这种新颖的激活更适合我们的任务。我们验证了我们的方法的有效性广泛与四个现有的数据集，包括两个非平面数据集，以及我们自己的数据集。我们表明，我们的表现优于最先进的技术，而不需要对每个数据集进行重新训练。
2016-04-11 cs.CV
A Nonlocal Denoising Algorithm for Manifold-Valued Images Using Second Order Statistics
CMLA – CNRS（法国国家科学研究中心数学与应用实验室）；ENS Cachan（卡尚高等师范学院）
本文首次将非局部块方法推广到流形值图像，通过最小均方误差估计提出新的估计器，用于恢复流形值图像。
2016-12-12 cs.CV cs.NA math.NA
VNT-Net: Rotational Invariant Vector Neuron Transformers
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
具有旋转不变性的三维点集学习是机器学习中一个重要而又具有挑战性的问题。通过旋转不变的架构，3D点云神经网络从需要规范的全局姿态和从具有所有可能旋转的穷举数据增强中解脱出来。在这项工作中，我们引入了一个旋转不变的神经网络，结合最近推出的向量神经元与自注意层，建立一个点云向量神经元Transformer网络（VNT-Net）。向量神经元以其在表示SO（3）动作方面的简单性和多功能性而闻名，因此被纳入常见的神经操作中。类似地，Transformer架构已经变得流行，并且最近通过直接应用于图像补丁序列并实现卓越的性能和收敛来成功地用于图像。为了从这两个世界中受益，我们将这两种结构结合起来，主要展示如何调整多头注意力层以符合向量神经元操作。通过这种自适应，注意力层变成SO（3），整个网络变成旋转不变的。实验表明，我们的网络有效地处理任意姿态的3D点云对象。我们还表明，与相关的最先进的方法相比，我们的网络实现了更高的准确性，并且由于常见分类和分割任务中的超参数数量较少，因此需要更少的训练。
2022-05-25 cs.CV
Fractal Cross Product: Theory, Differentiable Implementation and Application to Medical Image Analysis
College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）
提出广义分形叉积（FCP），一种具有非整数次数的非线性径向变形，保留经典叉积性质，并在医学图像融合中显著提升ROC-AUC等指标，验证其有效性。
2026-10-06 cs.CV
NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields
Toyota Research Institute（丰田研究所）；Georgia Tech（佐治亚理工学院）
NeRF-MAE利用掩码自编码器对NeRF的辐射和密度网格进行自监督预训练，通过3D Swin Transformer重建掩码块，在Front3D和ScanNet上显著提升3D检测性能。
2024-07-18 cs.AI cs.CV cs.LG
PFCNN: Convolutional Neural Networks on 3D Surfaces Using Parallel Frames
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
表面网格是广泛使用的形状表示，并捕获比点云或体积网格更精细的几何数据，但由于其非欧几里得结构，直接应用CNN具有挑战性。我们使用表面上的平行框架来定义PFCNN，通过忠实地模仿标准卷积来实现表面网格上的有效特征学习。特别是，PFCNN的卷积不仅将局部曲面片映射到平坦的切平面上，而且还对齐切平面，使得它们局部形成平坦的欧几里得结构，从而能够恢复标准卷积。对齐是通过借用离散微分几何的局部平坦连接工具来实现的，它可以通过并行帧场进行有效的编码和计算。此外，对曲面缺乏典型轴的情况，采用框架方向采样的方法进行处理。实验表明，对于可变形几何域上的分类、分割和配准，以及刚性域上的语义场景分割等任务，PFCNN在不使用复杂输入特征的情况下，比最先进的基于表面的CNN实现了鲁棒性和优越的性能。
2020-06-12 cs.CG cs.CV cs.GR
Spatially Localized Atlas Network Tiles Enables 3D Whole Brain Segmentation from Limited Data
Vanderbilt University（范德堡大学）；Laboratory of Behavioral Neuroscience, National Institute on Aging（行为神经科学实验室，美国国家老龄化研究所）
结构磁共振成像（MRI）上的全脑分割是神经解剖学非侵入性研究的关键。历史上，多图谱分割（MAS）已被视为全脑分割的事实标准方法。最近，深度神经网络方法已经通过学习随机块或2D切片应用于全脑分割。然而，由于以下挑战，在使用3D网络进行详细的全脑分割方面几乎没有先前的努力：（1）将整个全脑体积拟合到3D网络中受到当前GPU存储器的限制，以及（2）大量的靶向标签（例如，> 100个标签），具有有限数量的训练3D体积（例如，< 50次扫描）。在本文中，我们提出了空间局部化图谱网络瓦片（SLANT）方法来分布多个独立的3D全卷积网络，以覆盖标准图谱空间中的重叠子空间。该策略将整个大脑学习任务简化为局部子任务，这是通过将规范配准和标签融合技术与深度学习相结合来实现的。为了解决第二个挑战，MAS在5111个最初未标记的扫描上创建了辅助标签，用于预训练。根据经验验证，最先进的MAS方法在三个验证队列中实现了0.76、0.71和0.68的平均Dice值，而所提出的方法实现了0.78、0.73和0.71。此外，计算时间从使用MAS的> 30小时减少到使用所提出的方法的~15分钟。源代码可在https://github.com/MASILab/SLANTbrainSeg上获得
2018-06-05 cs.CV q-bio.NC
