Pixel-Wise PolSAR Image Classification via a Novel Complex-Valued Deep Fully Convolutional Network
Xidian University（西安电子科技大学）
虽然复值（CV）神经网络相比，他们的实值（RV）对应的极化合成孔径雷达（PolSAR）分类显示出更好的分类结果，像素级RV网络的扩展到复杂的域尚未彻底检查。本文提出了一种新的复值深度全卷积神经网络（CV-FCN）设计的PolSAR图像分类。具体而言，CV-FCN使用包括相位信息的PolSAR CV数据，并利用执行像素级标记的深度FCN架构。它将特征提取模块和分类模块集成在一个统一的框架中。技术上，针对极化SAR数据的特殊性，定义了一种专用的复值权值初始化方案来初始化CV-FCN。它考虑了极化数据的分布，以高效快速的方式从头开始进行CV-FCN训练。CV-FCN采用复杂的下采样然后上采样方案来提取密集特征。为了丰富判别信息，通过复下采样方案提取保留更多极化信息的多级CV特征。然后，提出了一种复杂的上采样方案来预测密集CV标记。它采用复杂的最大解池层来捕获更多的空间信息，以更好地鲁棒性斑点噪声。此外，为了实现更快的收敛速度和获得更精确的分类结果，一个新的平均交叉熵损失函数推导出CV-FCN优化。在真实极化SAR数据集上的实验表明，CV-FCN方法具有更好的分类性能。
2019-09-29 cs.CV eess.IV
PolSAR Image Classification Based on Robust Low-Rank Feature Extraction and Markov Random Field
University of Bristol（布里斯托大学）；German Aerospace Center（德国航空航天中心）；Chinese Academy of Sciences（中国科学院）
极化合成孔径雷达（PolSAR）图像分类在各种遥感应用中得到了广泛的研究。然而，这在今天仍然是一个具有挑战性的任务。一个重要的障碍在于在PolSAR成像过程中嵌入的斑点效应，这大大降低了图像的质量，并进一步复杂化的分类。为此，我们提出了一种新的PolSAR图像分类方法，通过低秩（LR）特征提取去除斑点噪声，并通过马尔可夫随机场（MRF）强制平滑先验。具体来说，我们采用基于高斯的鲁棒LR矩阵分解的混合，同时提取鉴别特征和去除复杂的噪声。然后，对提取的特征应用数据增强的卷积神经网络得到分类图，其中隐含了局部一致性，缓解了标签不足的问题。最后，我们通过MRF细化分类图以增强上下文平滑性。我们在两个基准PolSAR数据集上进行了实验。实验结果表明，该方法具有良好的分类性能和较好的空间一致性。
2020-09-13 cs.CV
PolSAR Image Classification using a Hybrid Complex-Valued Network (HybridCVNet)
IEEE
提出一种混合复数网络HybridCVNet，结合CV-CNN和CV-ViT，通过提取互补信息并利用数据内部依赖关系，提升PolSAR图像分类性能，在Flevoland和San Francisco数据集上分别达到97.39%总体精度和0.972 Kappa值。
2026-05-29 cs.CV
SDF2Net: Shallow to Deep Feature Fusion Network for PolSAR Image Classification
提出一种新颖的三分支复值CNN融合网络SDF2Net，通过浅层到深层特征融合提升PolSAR图像分类精度，在三个数据集上取得优于现有方法的性能。
2026-05-29 cs.CV eess.IV
Dual-branch PolSAR Image Classification Based on GraphMAE and Local Feature Extraction
School of Information and Communications Engineering, Xi'an Jiaotong University（西安交通大学信息与通信工程学院）；Peng Cheng Laboratory（鹏城实验室）
针对PolSAR图像标注困难、标签有限的问题，本文提出一种结合生成式自监督图掩码自编码器与卷积神经网络的双分支分类模型，融合超像素级和像素级特征，在Flevoland数据集上取得良好分类效果。
2024-08-08 cs.CV cs.LG
Riemannian Complex Hermit Positive Definite Convolution Network for Polarimetric SAR Image Classification
Department of Computer Science and Technology, Shaanxi Key Laboratory for Network Computing and Security Technology, Xi’an University of Technology（计算机科学与技术系、网络计算与安全技术陕西省重点实验室、西安理工大学）；School of Artificial Intelligence, Xidian University（人工智能学院、西安电子科技大学）
本文提出HPDNet，直接在黎曼流形上处理复Hermitian正定矩阵，通过HPD映射层、整流层和复LogEig层保留几何结构并提取特征，在三个PolSAR数据集上取得优于现有方法的分类性能。
2025-07-07 cs.CV
Physics-Aware Complex-Valued State Space Model with Scattering-Prior Feature Modulation for PolSAR Image Classification
The College of Information Science and Technology, Beijing University of Chemical Technology（北京化工大学信息科学与技术学院）；The School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；The Department of Signal Theory and Communications, Polytechnic University of Catalonia（加泰罗尼亚理工大学信号理论与通信系）；The School of Information and Cyberspace Security, Ningxia University（宁夏大学信息与网络空间安全学院）
针对PolSAR图像分类中现有复值网络的不足，提出CV-SSMNet，通过构建复值状态空间模型、编码散射先验等方法，实现从局部散射结构到全局空间上下文的物理引导表示学习，实验验证了其有效性。
2026-07-23 cs.AI cs.CV
Unsupervised Deep Representation Learning and Few-Shot Classification of PolSAR Images
Harbin Institute of Technology（哈尔滨工业大学）
过去几年，深度学习和卷积神经网络（CNN）在极化合成孔径雷达（PolSAR）图像分类方面取得了进展。然而，一个关键问题没有得到解决，即，CNN对大量标记样本的需求与PolSAR图像的不足人类注释。众所周知，遵循监督学习范式可能会导致训练数据的过拟合，而PolSAR图像缺乏监督信息无疑加剧了这一问题，极大地影响了基于CNN的分类器在大规模应用中的泛化性能。为了解决这个问题，在本文中，学习可转移表示从未标记的极化SAR数据通过卷积架构进行了探索。具体而言，PolSAR定制的对比学习网络（PCLNet）提出了无监督深度PolSAR表示学习和Few-Shot分类。与利用光学处理方法不同，构建了一种多样性激励机制，以缩小光学与PolSAR之间的应用差距。除了传统的监督方法，PCLNet开发了一个基于实例判别的代理目标的无监督预训练阶段，从未标记的PolSAR数据中学习有用的表示。所获取的表示被传送到下游任务，即，Few-Shot PolSAR分类。在两个广泛使用的PolSAR基准数据集上的实验证实了PCLNet的有效性。此外，这项工作可能会启发如何有效地利用大量的未标记的极化SAR数据，以减轻基于CNN的方法对人类注释的贪婪需求。
2020-12-25 cs.CV
Efficiently utilizing complex-valued PolSAR image data via a multi-task deep learning framework
Harbin Institute of Technology（哈尔滨工业大学）
卷积神经网络（CNN）已被广泛用于提高极化合成孔径雷达（PolSAR）图像分类的精度。然而，在大多数研究中，很少考虑PolSAR图像和光学图像之间的差异。大多数现有的CNN不是针对PolSAR图像分类的任务而定制的，其中复值PolSAR数据已经简单地等同于实值数据以适合光学图像处理架构并避免复值运算。这是CNN无法在PolSAR分类中发挥全部功能的原因之一。为了解决上述问题，本文的目标是为PolSAR图像分类开发一个定制的CNN框架，该框架可以从两个方面实现：寻找一种更好的PolSAR数据形式作为CNN的输入，以及基于所提出的输入形式构建匹配的CNN结构。本文考虑复数值的性质，首次将复值极化SAR数据的幅度和相位作为输入进行提取，在保持原始信息完整性的同时避免不成熟的复值运算。然后，提出了一种多任务CNN（MCNN）架构，以匹配改进的输入形式，并取得更好的分类结果。为了更好地从相位信息中提取信息，在所提出的结构中引入了依赖可分离卷积。在三个基准数据集上的实验不仅证明了以幅度和相位作为输入的方法确实有助于极化SAR分类的改进，而且验证了改进后的输入形式与设计良好的结构之间的适应性。
2019-09-12 cs.CV
Riemannian Nearest-Regularized Subspace Classification for Polarimetric SAR images
作为一种表示学习方法，最近正则化子空间（NRS）算法是一种有效的工具，以获得准确性和速度的极化SAR图像分类。然而，现有的NRS方法使用极化特征向量，但PolSAR原始协方差矩阵（称为Hermitian正定（HPD）矩阵）作为输入。现有的基于NRS的方法在不考虑矩阵结构的情况下，无法学习信道间的相关性。如何将原始协方差矩阵应用于NRS方法是一个关键问题。为了克服这一限制，提出了一种黎曼NRS方法，该方法考虑了HPD矩阵赋予黎曼空间的性质。首先，为了充分利用PolSAR原始数据，通过构造HPD字典和HPD距离度量，提出了一种黎曼NRS方法（RNRS）。其次，设计了一个新的Tikhonov正则化项，以减少同一类内的差异。最后给出了优化方法并推导了一阶导数。在实验测试中，该方法只使用了T矩阵，而对比方法使用了多个特征。实验结果表明，即使使用更少的特征，该方法也能优于现有算法。
2022-01-02 cs.CV eess.IV
MP-ResNet: Multi-path Residual Network for the Semantic segmentation of High-Resolution PolSAR Images
University of Trento（特伦托大学）；Information Engineering University（信息工程大学）；Space Engineering University NCO School（航天工程大学士官学校）
由于训练数据的缺乏和相干斑噪声的干扰，高分辨率极化合成孔径雷达（PolSAR）图像的语义分割研究较少。Gaofen竞赛提供了高质量PolSAR语义分割数据集的开放获取。借此机会，我们提出了一个多路径ResNet（MP-ResNet）架构的语义分割的高分辨率PolSAR图像。与传统的U形编码器-解码器卷积神经网络（CNN）架构相比，MP-ResNet通过其并行多尺度分支学习语义上下文，极大地扩大了其有效感受野，提高了局部判别特征的嵌入。此外，MP-ResNet在其解码器中采用了多层次特征融合设计，以充分利用从其不同分支中学习到的特征。消融研究表明，MPResNet比其基线方法（使用ResNet 34的FCN）具有显著优势。它在总体精度（OA），平均F1和fwIoU方面也超过了几个经典的最先进的方法，而其计算成本并没有增加太多。这种CNN架构可以作为一个基线方法，为未来的研究PolSAR图像的语义分割。该代码可从以下网址获得：https://github.com/ggsDing/SARSeg。
2020-11-16 cs.CV
Automatic Design of CNNs via Differentiable Neural Architecture Search for PolSAR Image Classification
Harbin Institute of Technology（哈尔滨工业大学）
卷积神经网络（CNN）在极化合成孔径雷达（PolSAR）图像分类中表现出良好的性能，这是由于特征工程的自动化。CNN的优秀手工架构融合了人类专家的智慧，这是CNN成功的重要原因。然而，体系结构的设计是一个困难的问题，它需要大量的专业知识以及计算资源。此外，手工设计的架构可能是次优的，因为它只是数千条未观察到但客观存在的路径之一。考虑到深度学习的成功很大程度上是由于其特征工程过程的自动化，如何设计自动架构搜索方法来取代手工制作的方法是一个有趣的话题。本文首次探索了神经结构搜索在极化SAR领域的应用。不同于现有的NAS方法的利用，我们提出了一个可区分的架构搜索（DAS）的方法，这是定制的PolSAR分类。建议DAS配备了PolSAR定制的搜索空间和改进的一次性搜索策略。通过DAS，在训练过程中可以通过随机梯度下降方法优化权值参数和结构参数（对应于超参数而不是拓扑）。将优化后的结构参数转化为相应的CNN结构并重新训练，实现高精度的PolSAR分类。此外，复值DAS的发展，以考虑到极化SAR图像的特点，以进一步提高性能。在三个PolSAR基准数据集上的实验表明，通过搜索得到的CNN比手工构建的CNN具有更好的分类性能。
2019-11-19 cs.CV
Exploring Polarimetric Properties Preservation during Reconstruction of PolSAR images using Complex-valued Convolutional Neural Networks
Université de Lorraine（洛林大学）；CentraleSupélec（中央超导学院）；CNRS（国家科学研究中心）；LORIA（洛林研究所）；Metz, France（法国梅斯）
本文提出复值卷积神经网络用于极化SAR图像重建，有效保持极化特性并提升SAR数据处理的物理建模能力。
2026-02-06 cs.CV eess.IV
Cloud Removal With PolSAR-Optical Data Fusion Using A Two-Flow Residual Network
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；International Research Center of Big Data for Sustainable Development Goals（国际可持续发展大数据研究中心）；College of Resources and Environment, University of Chinese Academy of Sciences（中国科学院大学资源与环境学院）
针对光学遥感图像受云层覆盖导致信息缺失的问题，提出双流PolSAR-光学数据融合去云算法PODF-CR，通过动态滤波去噪、跨跳融合、注意力细化及多尺度解码，在专用数据集上实现优于现有方法的去云效果。
2025-01-14 cs.CV eess.IV
Classification of Polarimetric SAR Images Using Compact Convolutional Neural Networks
Tampere University（坦佩雷大学）；Qatar University（卡塔尔大学）；Izmir University of Economics（伊兹密尔经济大学）
针对传统ML特征工程困难与深度CNN计算复杂、标注需求大的问题，提出基于滑动窗口的紧凑型自适应CNN框架，在四个PolSAR基准上以小窗口实现92.33%–99.39%的总体精度。
2020-11-10 cs.CV cs.LG
Weakly-supervised land classification for coastal zone based on deep convolutional neural networks by incorporating dual-polarimetric characteristics into training dataset
本文研究基于星载PolSAR数据的沿海地区弱监督土地分类，提出结合双极化特征构建训练数据集的新方法，并通过SegNet、U-Net和LinkNet三种DCNN模型验证了迁移学习策略的有效性。
2024-11-19 cs.CV eess.IV
LGLG-WPCA: An Effective Texture-based Method for Face Recognition
University of Electronic Science and Technology of China（电子科技大学）；Yibin University（宜宾学院）
本文提出了一种基于白化主成分分析（WPCA）的学习Gabor对数-欧几里德高斯的人脸特征提取方法（LGLG-WPCA）。该方法从Gabor小波域嵌入的多变量高斯中学习人脸特征，对姿态变化、皮肤老化和光照不均匀等不利条件具有鲁棒性。由于高斯空间是一个黎曼流形，很难在模型中加入学习机制。为了解决这个问题，我们使用L2 EMG将多维高斯模型映射到线性空间，然后使用WPCA学习人脸特征。我们还实现了基于关键点的LGLG-WPCA版本，称为LGLG（KP）-WPCA。实验结果表明，本文提出的人脸纹理特征提取方法是有效的，与现有方法相比，本文方法的特征与深度卷积网络（DCNN）的特征相结合，在FERET数据库上获得了最佳的识别精度。在本文的下一个版本中，我们将在大变化的姿态数据库上测试所提出的方法的性能。
2019-06-07 cs.CV
Geodesic convolutional neural networks on Riemannian manifolds
USI（瑞士意大利语大学）；EPFL（洛桑联邦理工学院）
特征描述符在广泛的几何分析和处理应用中起着至关重要的作用，包括形状对应、检索和分割。在本文中，我们介绍了测地线卷积神经网络（GCNN），卷积网络（CNN）范式的推广到非欧几里德流形。我们的构造是基于一个局部测地线系统的极坐标提取“补丁”，然后通过一个级联的过滤器和线性和非线性算子。滤波器的系数和线性组合权重是被学习以最小化任务特定成本函数的优化变量。我们使用GCNN来学习不变的形状特征，从而在形状描述、检索和对应等问题中实现最先进的性能。
2018-06-08 cs.CV
Kernel Methods on Approximate Infinite-Dimensional Covariance Operators for Image Classification
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Verona（维罗纳大学）
本文提出了一种新的框架，用于视觉对象识别的输入功能的无穷维协方差算子的核方法的范式在无穷维黎曼流形。我们的配方，特别是提供了丰富的图像特征表示，利用它们的非线性相关性。从理论上讲，我们提供了一个有限维近似的对数希尔伯特施密特（对数HS）的协方差算子之间的距离，可扩展到大型数据集，同时保持有效的鉴别能力。这使我们能够有效地近似使用Log-HS距离定义的任何连续平移不变内核。同时，我们证明了协方差算子之间的Log-HS内积仅在非常有限的情况下可由其有限维对应物近似。因此，使用Log-HS内积定义的内核（例如多项式内核）不能以与移位不变内核相同的方式进行扩展。在计算上，我们将近似Log-HS距离公式应用于手工和卷积特征的协方差算子，利用这些特征的表达能力和协方差表示的能力。从经验上讲，我们在十二个具有挑战性的数据集上测试了我们的图像分类任务框架。在几乎所有情况下，所获得的结果优于其他最先进的方法，证明了我们的框架的竞争力和潜力。
2016-09-29 cs.CV
DEGMC: Denoising Diffusion Models Based on Riemannian Equivariant Group Morphological Convolutions
NAGIP-Nonlinear Analysis and Geometric Information Processing Research Group（非线性分析与几何信息处理研究组）；Department of Mathematics, University Iba Der Thiam（数学系，Iba Der Thiam大学）；Institut Mines-Telecom Nord Europe, Centre for Digital Systems, CNRS Centrale Lille UMR 9189 CRIStAL, University of Lille（Institut Mines-Telecom Nord Europe数字系统中心，CNRS Centrale Lille UMR 9189 CRIStAL，Lille大学）
DEGMC通过引入基于黎曼等变群形态卷积的方法，改进了DDPM在几何特征提取和网络等变性方面的性能。
2026-02-10 cs.CV
Point Cloud Denoising With Fine-Granularity Dynamic Graph Convolutional Networks
Shanghai Jiao Tong University（上海交通大学）
本文提出细粒度动态图卷积网络GD-GCN用于三维点云去噪，通过微步时序图卷积、神经偏微分方程、黎曼距离几何图构建及Bernstein图谱滤波器，实现更精确的表面拟合与鲁棒去噪。
2024-11-21 cs.CV
Coordinate Independent Convolutional Networks -- Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
由于深度卷积网络的巨大成功，人们对将卷积推广到非欧几里得流形有很大的兴趣。与平坦空间相比，一个主要的复杂性是不清楚卷积核应该应用于流形上的哪个对齐。这种模糊性的根本原因是一般流形没有一个规范的参考系（规范）选择。因此，核和特征必须相对于任意坐标来表示。我们认为，协调的特定选择不应该影响网络的推理-它应该是坐标独立的。坐标独立性和权重共享的同时需求示出在网络上的要求是等变的局部规范变换（局部参考系的变化）。因此，参考系的不确定性取决于流形的G-结构，使得规范等方差的必要水平由相应的结构群G规定。证明了坐标无关卷积是等变的。这些等距是G结构的对称性。由此产生的理论制定在一个坐标自由的方式在纤维束。为了验证坐标独立卷积的设计，我们在莫比乌斯带上实现了一个卷积网络。我们卷积网络的微分几何公式的一般性通过广泛的文献综述来证明，该文献综述解释了大量的欧几里得CNN，球形CNN和一般表面上的CNN作为坐标独立卷积的具体实例。
2021-06-10 cs.CG cs.CV cs.LG
Integrating global spatial features in CNN based Hyperspectral/SAR imagery classification
Beijing University of Chemical Technology（北京化工大学）；Sugon Information Industry Co., Ltd（曙光信息产业有限公司）
土地覆被分类在遥感中发挥着重要的作用，因为它可以智能地识别一个巨大的遥感图像中的东西，以减少人类的工作。然而，许多分类方法都是基于遥感图像的像元特征或有限的空间特征设计的，这限制了其分类精度和通用性。提出了一种新的遥感图像信息提取方法，地理经纬度信息。此外，结合全局信息设计了双分支卷积神经网络（CNN）分类方法，挖掘图像的像素特征。然后将两个神经网络的特征融合到另一个完全神经网络中，实现遥感图像的分类。最后，两个遥感图像，包括高光谱成像（HSI）和极化合成孔径雷达（PolSAR）图像来验证我们的方法的有效性。与传统的单通道卷积神经网络相比，该方法具有更好的识别效果。
2020-06-15 cs.CV cs.LG eess.IV
VolterraNet: A higher order convolutional network with group equivariance for homogeneous manifolds
FaceBook（脸书）；University of California, Berkeley（加州大学伯克利分校）；University of Florida（佛罗里达大学）
卷积神经网络由于其平移等方差特性，在基于图像的学习任务中获得了高度成功。最近的工作已经将传统的卷积神经网络的卷积层推广到非欧空间，并显示了广义卷积运算的组等变性。在本文中，我们提出了一种新的高阶Volterra卷积神经网络（VolterraNet）的数据定义为样本的函数在黎曼齐性空间。类似于传统卷积的结果，我们证明了Volterra函数卷积与黎曼齐性空间中等距群的作用是等变的，并且在一定的限制条件下，任何非线性等变函数都可以表示为齐性空间Volterra卷积，推广了欧氏空间中Volterra展开式的非线性移位等变特征.我们还证明了二阶函数卷积运算可以表示为级联卷积，这导致了一个有效的实现。除此之外，我们还提出了一个扩展的VolterraNet模型。这些进步导致相对于基线非欧几里德CNN的参数大幅减少。为了证明VolterraNet性能的有效性，我们提出了几个真实的数据实验，涉及球形MNIST，原子能，Shrec17数据集的分类任务，以及扩散MRI数据的组测试。性能比较的国家的最先进的。
2021-06-05 cs.CV cs.LG
Riemannian Local Mechanism for SPD Neural Networks
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
针对SPD神经网络未显式挖掘局部几何信息的问题，基于范畴论分析定义SPD流形局部信息，设计多尺度子流形模块进行挖掘，并在多个视觉任务中验证了有效性。
2023-05-19 cs.CV
Higher Order Gauge Equivariant CNNs on Riemannian Manifolds and Applications
University of Florida（佛罗里达大学）
本文提出高阶规范等变卷积及其实现GEVNet，在黎曼流形上建模感受野内非线性交互并保持全局等距等变性，结合CKN在dMRI神经影像分类中超越单一组件性能。
2023-05-26 cs.CV cs.LG
A CNN for homogneous Riemannian manifolds with applications to Neuroimaging
University of Florida（佛罗里达大学）
卷积神经网络在机器学习应用中无处不在，用于解决各种问题。然而，当数据域是常见的流形，如球面、特殊正交群、格拉斯曼流形、对称正定矩阵流形等时，它们不能以其原生形式使用。最近，一些研究小组报告了CNN到2-sphere等数据域的推广，称为球形CNN（SCNN）。SCNN与CNN不同的关键属性是它们表现出旋转等方差属性，允许在层内共享学习的权重。在本文中，我们从理论上将CNN推广到黎曼齐次流形，包括但不限于上述示例流形。我们在这项工作中的主要贡献是：（一）定理指出，线性群等方差系统的充分特点是相关的功能域流形，反之亦然。这是基本的所有线性群等变系统的特征和平行的广泛使用的结果在线性系统理论的向量空间。(ii)作为推论，我们证明了相关运算对输入域为黎曼齐次流形的群作用的等变性。(iii)我们提出了第一个端到端的深度网络架构，用于对从44名帕金森病患者和50名对照/正常受试者的队列中获得的弥散磁共振成像（dMRI）扫描进行分类。(iv)一个涉及对称正定矩阵流形上生成的合成数据的概念实验证明了我们的网络对其他类型域的适用性。
2018-08-06 cs.CV
Deep manifold-to-manifold transforming network for action recognition
Southeast University（东南大学）；Nanjing University of Science and Technology（南京理工大学）
对称正定（SPD）矩阵（例如，协方差、图拉普拉斯算子等）被广泛用于空间或时间域的关系建模。然而，SPD矩阵理论上嵌入黎曼流形。本文提出了一种端到端的深度流形到流形转换网络（DMT-Net），它可以使SPD矩阵从一个黎曼流形流向另一个更具判别力的黎曼流形。为了学习表征空间和时间依赖性的区分性SPD特征，我们专门在流形上开发了三个新层：（i）局部SPD卷积层，（ii）非线性SPD激活层，以及（iii）黎曼保留递归层。SPD属性通过所有层保持，而不需要任何奇异值分解（SVD），这通常是在现有的方法中使用的昂贵的计算成本。此外，对角化SPD层被设计为有效地计算分类任务的最终度量。为了评估我们提出的方法，我们进行了大量的实验上的任务的动作识别，输入信号普遍建模为SPD矩阵。实验结果表明，我们的DMT网络是更有竞争力的国家的最先进的。
2017-09-30 cs.CV
MVC-Net: A Convolutional Neural Network Architecture for Manifold-Valued Images With Applications
University of Florida（佛罗里达大学）；Department of CISE, University of Florida（佛罗里达大学CISE系）；Department of Statistics, University of Florida（佛罗里达大学统计系）；Department of Applied Physiology and Kinesiology, University of Florida（佛罗里达大学应用生理学与运动学系）；CISE, University of Florida（佛罗里达大学CISE）
几何深度学习近年来引起了人们的极大关注，部分原因是传统神经网络架构不太适合的奇异数据类型的可用性。本文的目标是将卷积神经网络（CNN）推广到医学成像和计算机视觉应用中常见的流形值图像情况。解释一下，网络的输入数据是一幅图像，其中每个像素值都是来自黎曼流形的样本。为了实现这一目标，我们必须推广传统CNN架构的基本构建块，即加权组合运算。为此，我们开发了一个切空间组合操作，用于定义流形值图像上的卷积操作，我们称之为流形值卷积（MVC）。我们证明了MVC操作的理论性质，包括等方差的行动的等距组承认的流形和表征时，MVC层的组成崩溃到一个单一的层。我们详细描述了如何使用MVC层来构建完整的多层神经网络，该网络对流形值图像进行操作，我们称之为MVC网络。此外，我们经验证明了卓越的性能的MVC网络在医学成像和计算机视觉任务。
2020-03-06 cs.CV
Geometric Wavelet Scattering Networks on Compact Riemannian Manifolds
Michigan State University（密歇根州立大学）；Yale University（耶鲁大学）；Université de Montréal（蒙特利尔大学）；Mila – Quebec Artificial Intelligence Institute（米拉——魁北克人工智能研究所）
本文在流形上定义几何散射变换，通过小波滤波与非线性级联实现局部等距不变和变形稳定，并验证其在几何学习任务中的有效性。
2023-07-25 cs.CV cs.LG math.FA
Metric Convolutions: A Unifying Theory to Adaptive Image Convolutions
Technion – Israel Institute of Technology（以色列技术学院）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对现有自适应图像卷积形变策略缺乏统一理论的问题，提出度量卷积框架，将核位置视为隐式度量单位球采样，构建信号依赖的可解释几何正则化卷积，参数少、泛化性好，在去噪和分类任务上性能优异。
2025-07-30 cs.CV math.DG
Analysis of (sub-)Riemannian PDE-G-CNNs
Eindhoven University of Technology（埃因霍温理工大学）
本文分析了PDE-G-CNNs中近似形态学核的精度问题，提出了一种适用于任意空间各向异性的新次黎曼近似核，并证明其在降低网络复杂度的同时提升了性能与几何可解释性。
2023-04-03 cs.CV cs.LG math.DG
ManifoldNet: A Deep Network Framework for Manifold-valued Data
University of Florida（佛罗里达大学）
深度神经网络已经成为许多任务的主要工作机器，这些任务涉及在科学和工程的各种应用中从数据中学习。传统上，这些网络的输入位于向量空间中，并且网络内采用的操作在向量空间上被很好地定义。近年来，由于传感技术的进步，直接或间接获取流形值数据集已成为可能。示例包括但不限于来自汽车、无人机等上的全向相机的数据，合成孔径雷达成像、扩散磁共振成像、弹性成像和医学成像领域中的电导成像等。因此，需要推广深度神经网络，以处理驻留在弯曲流形上的输入数据，其中向量空间操作不是自然容许的。在本文中，我们提出了一个新的理论框架，推广广泛流行的卷积神经网络（CNN）的高维流形值数据输入。我们称这些网络为ManifoldNets。在ManifoldNets中，对驻留在黎曼流形上的数据的卷积运算是通过给定数据的加权Fréchet平均值（wFM）的可证明收敛的递归计算来实现的，其中权重构成要学习的卷积掩码。此外，我们证明了所提出的wFM层实现了收缩映射，因此ManifoldNet不需要标准CNN中使用的非线性ReLU单元。我们目前的实验，使用ManifoldNet框架，通过计算自然驻留在格拉斯曼的主要线性子空间来实现降维。实验结果证明了ManifoldNets在分类和重建精度方面的有效性。
2018-09-20 cs.CV
Parallel Transport Convolution: A New Tool for Convolutional Neural Networks on Manifolds
Rensselaer Polytechnic Institute（伦斯拉尔理工学院）
本文提出平行运输卷积（PTC），一种在流形及其离散对应物上扩展卷积操作的新方法，能够保持卷积的紧凑支持、方向性和跨流形的可转移性，从而在曲面域上构建小波样操作和深度卷积神经网络。
2018-12-08 cs.CV cs.LG cs.NA
Deep Learning Based Speckle Filtering for Polarimetric SAR Images. Application to Sentinel-1
University of Alicante（阿利坎特大学）；Institute for Computer Research (IUII)（计算机研究所（IUII））
本研究提出了一种基于卷积神经网络的极化SAR图像斑点滤波完整框架，通过复协方差矩阵的可逆变换和变化检测策略，在有效抑制斑点的同时保持分辨率且不引入伪影，适用于进一步的极化处理。
2024-08-29 cs.CV eess.IV eess.SP
Modeling the Shape of the Brain Connectome via Deep Neural Networks
University of Utah（犹他大学）；Florida State University（佛罗里达州立大学）；University of Vienna（维也纳大学）；University of Virginia（弗吉尼亚大学）
扩散加权磁共振成像（DWI）的目的是推断个体受试者体内大脑的结构连接性。为了统计研究正常和异常脑连接体之间的变异性和差异，需要神经连接的数学模型。在本文中，我们将大脑连接体表示为黎曼流形，这使我们能够将神经连接建模为测地线。这导致了估计与DWI数据兼容的黎曼度量的挑战性问题，即，一种度量，使得测地线曲线表示连接组的各个纤维束。我们把这个问题归结为求解一组高度非线性的偏微分方程（PDE），并研究了卷积编码器-解码器神经网络（CEDNNs）解决这个几何动机PDE的适用性。我们的方法在测地线与白质路径的对齐方面取得了优异的性能，并解决了以前测地线纤维束成像方法中的一个长期存在的问题：无法以高保真度恢复交叉纤维。
2023-03-03 cs.CV eess.IV q-bio.NC
SurReal: Fréchet Mean and Distance Transform for Complex-Valued Deep Learning
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
我们为自然复值数据开发了一种新的深度学习架构，这种架构通常会受到复缩放模糊性的影响。我们将每个样本视为复数空间中的一个域。对于复数的极坐标形式，在这个空间中作用的一般群是平面旋转和非零标度的乘积。这种观点使我们不仅可以在黎曼流形上使用加权Fréchet均值（wFM）开发一种新的卷积算子，而且可以使用到wFM的距离开发一种新的全连通层算子，前者具有非零缩放和平面旋转的自然等变特性，后者具有不变性。与在复值数据的双通道实值表示上学习实值神经网络模型的基线方法相比，我们的方法在两个公开的复值数据集上实现了超现实的性能：SAR图像上的MSTAR和射频信号上的RadioML。在MSTAR上，在基线模型大小的8%和少于45，000个参数的情况下，我们的模型在这个高度不平衡的数据集上将目标分类准确率从94%提高到98%。在RadioML上，我们的模型在基线模型大小的10%处实现了相当的RF调制分类准确度。
2019-06-24 cs.CV
