Deep manifold-to-manifold transforming network for action recognition
Southeast University（东南大学）；Nanjing University of Science and Technology（南京理工大学）
对称正定（SPD）矩阵（例如，协方差、图拉普拉斯算子等）被广泛用于空间或时间域的关系建模。然而，SPD矩阵理论上嵌入黎曼流形。本文提出了一种端到端的深度流形到流形转换网络（DMT-Net），它可以使SPD矩阵从一个黎曼流形流向另一个更具判别力的黎曼流形。为了学习表征空间和时间依赖性的区分性SPD特征，我们专门在流形上开发了三个新层：（i）局部SPD卷积层，（ii）非线性SPD激活层，以及（iii）黎曼保留递归层。SPD属性通过所有层保持，而不需要任何奇异值分解（SVD），这通常是在现有的方法中使用的昂贵的计算成本。此外，对角化SPD层被设计为有效地计算分类任务的最终度量。为了评估我们提出的方法，我们进行了大量的实验上的任务的动作识别，输入信号普遍建模为SPD矩阵。实验结果表明，我们的DMT网络是更有竞争力的国家的最先进的。
2017-09-30 cs.CV
Quasi-Synthetic Riemannian Data Generation for Writer-Independent Offline Signature Verification
University of West Attica（西阿提卡大学）；Université Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）
提出一种基于SPD黎曼几何的准合成数据生成框架，通过黎曼高斯混合采样生成合成签名样本，结合度量学习，在真实数据集上实现低错误率的与书写者无关的离线签名验证。
2025-09-24 cs.CV
From Manifold to Manifold: Geometry-Aware Dimensionality Reduction for SPD Matrices
Australian National University（澳大利亚国立大学）；NICTA（国家信息与通信技术研究院）
用对称正定（SPD）矩阵表示图像和视频，并考虑所得空间的黎曼几何，已被证明对许多识别任务是有益的。不幸的是，SPD矩阵的黎曼流形上的计算-特别是高维的-成本很高，限制了现有技术的适用性。在本文中，我们介绍了一种方法，让我们通过构建一个低维，更具歧视性的SPD流形处理高维SPD矩阵。为此，我们建立了从高维SPD流形到低维SPD流形的正交投影映射模型。特别是，我们搜索一个投影，产生一个低维流形上的度量的基础上，通过一个亲和加权相似性度量编码的最大判别力。学习可以表示为格拉斯曼流形上的优化问题。我们对几个分类任务的评估表明，我们的方法导致了显着的准确性增益超过国家的最先进的方法。
2014-11-17 cs.CV
Riemannian Dictionary Learning and Sparse Coding for Positive Definite Matrices
ARC Centre of Excellence for Robotic Vision, Australian National University（澳大利亚国立大学ARC机器人视觉卓越中心）；Massachusetts Institute of Technology（麻省理工学院）
编码为对称正定（SPD）矩阵的数据经常出现在计算机视觉和机器学习的许多领域。虽然这些矩阵形成了对称矩阵的欧几里得空间的一个开子集，但通过非欧几里得黎曼几何的镜头来观察它们往往更适合于捕捉几个理想的数据属性。然而，在这样的几何结构内制定经典的机器学习算法通常是不平凡的并且计算上昂贵。受字典学习和向量值数据稀疏编码的巨大成功的启发，本文的目标是通过黎曼几何方法将SPD矩阵形式的数据表示为来自学习字典的SPD原子的稀疏圆锥组合。为此，我们制定了一个新的黎曼优化目标的字典学习和稀疏编码的表示损失的特点是通过仿射不变黎曼度量。我们还提出了一个计算简单的算法来优化我们的模型。几个计算机视觉数据集上的实验表明，使用我们的方法相比，稀疏编码通过替代非黎曼公式具有优异的分类和检索性能。
2015-12-17 cs.CV
Dimensionality Reduction on SPD Manifolds: The Emergence of Geometry-Aware Methods
Australian National University（澳大利亚国立大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
用对称正定（SPD）矩阵表示图像和视频，并考虑所得空间的黎曼几何，已被证明在许多视觉识别任务中产生高分辨力。不幸的是，计算黎曼流形上的SPD矩阵-特别是高维的-来在一个高成本，限制了现有技术的适用性。在本文中，我们介绍了能够处理高维SPD矩阵的算法，通过构建一个低维SPD流形。为此，我们建议从高维SPD流形映射到低维的正交投影模型。这让我们将降维公式化为找到一个投影的问题，该投影产生一个低维流形，该流形在监督场景中具有最大的区分能力，或者在无监督场景中具有最大的数据方差。我们表明，学习可以表示为格拉斯曼流形上的优化问题，并讨论特殊情况下的快速解决方案。我们对几个分类任务的评估证明，我们的方法导致了显着的准确性增益超过国家的最先进的方法。
2016-05-20 cs.CV
A Simple Riemannian Manifold Network for Image Set Classification
在基于图像集的分类领域，通过将原始图像集表示为通常位于黎曼流形中的协方差矩阵，已经取得了相当大的进步。具体来说，它是一个对称正定（SPD）流形。传统的流形学习方法不可避免地存在计算复杂性高或特征表示性能差的问题。为了克服这些局限性，我们提出了一个非常简单的黎曼流形网络的图像集分类。受深度学习架构的启发，我们设计了一个全连接层，以生成更新颖、更强大的SPD矩阵。然而，我们利用整流层，以防止输入SPD矩阵是奇异的。我们还介绍了一个非线性学习的建议网络与创新的目标函数。此外，我们设计了一个池层，以进一步减少冗余的输入SPD矩阵，和日志映射层投影SPD流形的欧几里德空间。为了学习输入层和全连接层之间的连接权重，我们使用双向二维主成分分析（（2D）2PCA）算法。所提出的黎曼流形网络（RieMNet）避免了复杂的计算，并且可以非常容易和高效地构建和训练。我们还开发了RieMNet的深度版本，命名为DRieMNet。建议的RieMNet和DRieMNet进行评估的三个任务：基于视频的人脸识别，基于集合的对象分类，和基于集合的细胞识别。大量的实验结果表明，我们的方法比国家的最先进的优越性。
2018-11-17 cs.CV
Riemannian Metric Learning for Symmetric Positive Definite Matrices
University of Maryland, College Park（马里兰大学帕克分校）
在过去的几年里，对称正定（SPD）矩阵一直受到计算机视觉界的广泛关注。虽然在过去已经提出了各种距离措施比较SPD矩阵，两个最广泛使用的措施是仿射不变距离和对数欧几里德距离。这是因为这两个测度是由黎曼几何导出的真测地距离。在这项工作中，我们专注于对数欧几里德黎曼几何，并提出了一个数据驱动的方法来学习黎曼度量/测地距离SPD矩阵。我们表明，使用所提出的方法学习的测地线距离比各种现有的距离措施进行评估时，人脸匹配和聚类任务。
2015-01-10 cs.CV cs.LG
GeomNet: A Neural Network Based on Riemannian Geometries of SPD Matrix Space and Cholesky Space for 3D Skeleton-Based Interaction Recognition
CY Cergy Paris Université（赛尔齐-蓬图瓦兹大学）；ENSEA（法国高等电力学院）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种新的方法表示和分类的两人互动的三维骨架序列。我们的方法的关键思想是使用高斯分布来捕捉统计的R n和对称正定（SPD）矩阵的空间。主要的挑战是如何将这些分布参数化。为此，我们开发的方法嵌入高斯分布在矩阵群的李群和黎曼对称空间的理论的基础上。我们的方法依赖于基础流形的黎曼几何，并具有从3D关节位置编码高阶统计的优势。我们表明，所提出的方法实现了竞争力的结果，在两个人的互动识别的三个基准的三维人类活动的理解。
2021-11-25 cs.CV cs.LG stat.ML
Kernel Sparse Subspace Clustering on Symmetric Positive Definite Manifolds
Guangdong University of Technology（广东工业大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）；The University of Sydney（悉尼大学）
稀疏子空间聚类（SSC）作为最成功的子空间聚类方法之一，在计算机视觉任务中取得了显著的聚类精度。然而，SSC仅适用于欧几里得空间中的矢量数据。因此，在计算机视觉中，对于对称正定矩阵，利用${\it self-expressive}$原理来解决子空间聚类问题还没有令人满意的方法。本文通过将SPD矩阵嵌入到再生核Hilbert空间（RKHS）中，通过适当的对数欧核构造了SPD流形上的核子空间聚类方法，称为SPD黎曼流形上的核稀疏子空间聚类（KSSCR）.通过利用数据中固有的黎曼几何，KSSCR可以有效地表征SPD矩阵之间的测地线距离，以揭示潜在的子空间结构。在两个著名数据库上的实验结果表明，该方法取得了比现有方法更好的聚类结果。
2016-01-04 cs.CV
DeepKSPD: Learning Kernel-matrix-based SPD Representation for Fine-grained Image Recognition
University of Wollongong（卧龙岗大学）；National University of Defense Technology（国防科技大学）
协方差矩阵是对称正定的，传统上被用来表示视觉识别中的一组局部描述符。最近的研究表明，核矩阵可以通过模拟局部描述符集中的非线性来提供更好的表示。然而，描述符和核矩阵都没有被深入学习。更糟糕的是，它们被单独考虑，阻碍了对社民党最佳代表性的追求。这项工作提出了一个深度网络，通过端到端的训练过程联合学习本地描述符，基于内核矩阵的SPD表示和分类器。我们推导出从局部描述符集到SPD表示的映射的导数，以进行反向传播。利用算子论中的Daleckii-Krein公式，给出了SPD矩阵函数微分的简洁而统一的结果，包括用矩阵对数处理核矩阵的黎曼几何.实验不仅表明了基于核矩阵的SPD表示与深度局部描述符的优越性，而且还验证了所提出的深度网络在追求更好的SPD表示以实现细粒度图像识别任务方面的优势。
2017-11-11 cs.CV
Covariance Descriptors Meet General Vision Encoders: Riemannian Deep Learning for Medical Image Classification
1 School of Computation, Information；Technology, Technical University of Munich, Germany 2 Munich Center for Machine Learning (MCML), Germany 3 Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich, Germany 4 School of Biomedical Engineering；Imaging Sciences, King’s College London, UK
本文研究将预训练通用视觉编码器特征构建的协方差描述符与SPDNet结合用于医学图像分类，在MedMNSIT基准上验证其优于手工特征及现有方法。
2025-11-06 cs.CV
Fast $k$-means clustering in Riemannian manifolds via Fréchet maps: Applications to large-dimensional SPD matrices
针对高维非欧流形数据聚类的计算瓶颈，提出基于$p$-Fréchet映射的聚类框架，将流形数据嵌入低维欧氏空间后用标准k均值聚类，在SPD矩阵数据上实现最高百倍提速且精度稳定。
2025-11-12 cs.CV cs.LG math.DG
Log-Euclidean Bag of Words for Human Action Recognition
Isfahan University of Technology（伊斯法罕理工大学）；Australian National University（澳大利亚国立大学）；University of Queensland（昆士兰大学）；NICTA
通过密集提取的局部时空特征来表示视频最近已成为分析动作的流行方法。在本文中，我们解决了人类行为的分类问题，通过设计的词袋（BoW）模型的基础上的时空特征的协方差矩阵，形成的光流的直方图的功能。由于协方差矩阵形成一种特殊类型的黎曼流形，对称正定（SPD）矩阵的空间，非欧几何应该考虑，而区分协方差矩阵。为此，我们建议嵌入SPD流形欧氏空间通过一个同构和扩展的BoW方法的黎曼版本。所提出的BoW方法在生成码本和直方图的过程中考虑了SPD矩阵的流形几何。在具有挑战性的人体动作数据集上的实验表明，与现有的几种方法相比，该方法在识别准确率上有了显著的提高。
2016-07-07 cs.CV
Optimized Kernel-based Projection Space of Riemannian Manifolds
University of Maryland（马里兰大学）；Rutgers University（罗格斯大学）
事实证明，通过对称正定（SPD）矩阵对图像和视频进行编码，并考虑所得空间的黎曼几何，可以提高分类性能。考虑流形几何通常通过将流形嵌入切空间或再生核希尔伯特空间（RKHS）来完成。最近，有研究表明，将这种流形嵌入到随机投影空间（RPS）中，而不是RKHS或切线空间中，会导致更高的分类和聚类性能。然而，基于随机生成的超平面的结构和维度，RPS上的分类性能可能会有很大的不同。此外，微调RPS是数据昂贵的（因为它需要验证数据），耗时和资源需求。在本文中，我们介绍了一种方法来学习一个优化的基于核的投影（具有固定的维度），采用子空间聚类的概念。因此，我们将数据点与每个点的底层子空间的关联进行编码，以生成有意义的超平面。此外，我们采用字典学习和稀疏编码的概念，判别分析，优化基于核的投影空间（OPS）的SPD流形。我们验证我们的算法在几个分类任务。实验结果也表明，该方法优于国家的最先进的方法在这样的流形。
2016-03-15 cs.CV
Learning Discriminative Alpha-Beta-divergence for Positive Definite Matrices (Extended Version)
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；The Australian National University（澳大利亚国立大学）；University of Minnesota（明尼苏达大学）
对称正定（SPD）矩阵对于捕获视觉数据的二阶统计量非常有用。为了比较两个SPD矩阵，可以使用几种度量，如仿射不变黎曼度量、Jeffreys散度、Jensen-Bregman logdet散度等;然而，它们的行为可能依赖于应用程序，从而需要手动选择以实现最佳可能性能。此外，由于它们对于大规模问题的压倒性的复杂性，通过巧妙地嵌入SPD矩阵来计算成对相似性通常优于直接使用上述措施。在本文中，我们提出了一个判别度量学习框架，信息发散和字典学习（IDDL），它不仅可以自动学习SPD矩阵上的应用特定度量，还可以使用学习的字典将它们嵌入为向量。为了学习相似性度量（对于每个字典原子可能是不同的），我们使用最近引入的alpha-beta-logdet散度，它被称为统一上面列出的度量。我们提出了一个新的IDDL目标，学习的分歧和字典原子的参数共同在一个歧视性的设置，并有效地解决了使用黎曼优化。我们展示了对八个计算机视觉数据集的广泛实验，展示了最先进的性能。
2017-08-05 cs.CV
Collaborative Representation for SPD Matrices with Application to Image-Set Classification
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）；Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence, Jiangnan University（江南大学江苏省模式识别与计算智能工程实验室）
协作表示分类（CRC）在过去的几年中取得了显着的进展，因为它的封闭形式的分析解决方案。然而，现有的CRC方法不能直接处理非线性变分信息。最近的进展表明，如何有效地建模这些非线性变化的信息和学习不变的表示是一个开放的挑战，在社区的计算机视觉和模式识别为此，我们试图设计一个新的算法来处理这个问题。首先，二阶统计量，即，应用协方差矩阵来对原始图像集进行建模。由于由一组非奇异协方差矩阵形成的空间是一个众所周知的对称正定（SPD）流形，将欧几里得协作表示推广到SPD流形并不是一件容易的事情。然后，我们设计了两种策略来应对这个问题。一种尝试通过矩阵对数映射将SPD流形值数据表示嵌入到相关联的切空间中。另一种方法是利用黎曼核函数将它们嵌入到再生核希尔伯特空间中。经过这两种处理后，CRC可应用于SPD流形值特征。通过对四个分班数据集的评价，验证了该方法的有效性。
2022-01-22 cs.CV
Depth from Monocular Images using a Semi-Parallel Deep Neural Network (SPDNN) Hybrid Architecture
National University of Ireland Galway（爱尔兰国立高威大学）
近年来，深度神经网络被广泛应用于各种问题。在这项工作中，卷积神经网络（CNN）被应用到从单个相机图像确定深度（单目深度）的问题。八个不同的网络被设计来执行深度估计，其中每一个适合于一个特征级别。具有不同池大小的网络确定不同的特征级别。在设计一组网络之后，可以使用图优化技术将这些模型组合成单个网络拓扑。这种“半并行深度神经网络（SPDNN）”消除了重复的公共网络层，并且可以通过再训练来进一步优化，以实现与单个拓扑结构相比改进的模型。在这项研究中，四个SPDNN模型被训练，并在KITTI数据集上进行了两个阶段的评估。实验的第一部分中的地面实况图像由基准提供，并且对于第二部分，地面实况图像是应用最先进的立体匹配方法的深度图结果。该评估的结果表明，使用后处理技术来细化网络的目标增加了对单个单声道图像的深度估计的准确性。第二次评估表明，使用分割数据与原始数据一起作为输入可以将深度估计结果改进到性能与立体深度估计相当的程度。计算时间也在这项研究中进行了讨论。
2018-04-18 cs.CV
Neighborhood Preserved Sparse Representation for Robust Classification on Symmetric Positive Definite Matrices
Guangdong University of Technology（广东工业大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）；The University of Sydney（悉尼大学）
基于稀疏表示的分类算法（SRC）由于其良好的分类性能，近年来受到了广泛的关注。然而，现有的SRC型方法仅适用于欧氏空间中的向量数据。因此，仍然没有令人满意的方法来进行对称正定（SPD）矩阵，这是非常有用的计算机视觉的分类任务。针对这一问题，本文在SPD流形上提出了一种邻域保持核SRC方法。具体地说，通过将SPD矩阵嵌入到再生核希尔伯特空间（RKHS）中，所提出的方法可以通过适当的对数欧几里德核对SPD流形进行分类。通过利用SPD矩阵之间的测地线距离，我们的方法可以有效地描述数据中的内在局部黎曼几何，从而很好地揭示底层的子流形结构。尽管它的简单，实验结果表明，在几个著名的数据库，所提出的方法取得了更好的分类结果比国家的最先进的方法。
2016-01-27 cs.CV
Neural Architecture Search of SPD Manifold Networks
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本文提出了一种新的对称正定流形网络的神经结构搜索问题，旨在实现SPD神经结构的自动化设计。为了解决这个问题，我们首先介绍了一个几何丰富和多样的SPD神经架构搜索空间的有效SPD单元设计。此外，我们用单个超网的一次性训练过程来建模我们的新NAS问题。基于超网模型，我们利用可微NAS算法在我们的放松连续搜索空间的SPD神经结构搜索。我们的方法对无人机，动作和情感识别任务的统计评估大多提供了比最先进的SPD网络和传统NAS算法更好的结果。实证结果表明，我们的算法在发现性能更好的SPD网络设计方面表现出色，并提供了比最先进的NAS算法搜索轻三倍以上的模型。
2021-06-13 cs.CV cs.LG cs.NE
Skeleton-Based Hand Gesture Recognition by Learning SPD Matrices with Neural Networks
Normandie Univ（诺曼底大学）；ENSICAEN（卡昂国立高等工程师学院）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；GREYC（GREYC实验室）
本文提出了一种新的基于骨架数据的手势识别方法，该方法利用神经网络学习SPD矩阵。我们将手的骨架建模为一个图形，并引入一个神经网络进行SPD矩阵学习，将手关节的3D坐标作为输入。该网络基于两个新设计的层，将一组SPD矩阵转换为SPD矩阵。对于手势识别，我们训练一个线性SVM分类器使用从我们的网络中提取的特征。在具有挑战性的数据集（来自SHREC 2017 3D形状检索竞赛的动态手势数据集）上的实验结果表明，所提出的方法优于最先进的方法。
2019-05-20 cs.CV cs.HC cs.NE
SMLNet: A SPD Manifold Learning Network for Infrared and Visible Image Fusion
School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）；Jiangnan University（江南大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）；University of Surrey（Surrey大学）
SMLNet提出将图像融合从欧几里得空间扩展到SPD流形，利用黎曼几何编码图像并设计跨模态融合与注意力模块，在公共数据集上超越现有方法。
2025-09-24 cs.CV
A neural network based on SPD manifold learning for skeleton-based hand gesture recognition
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂国立高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（GREYC实验室）
提出了一种新的基于SPD流形学习的神经网络，用于手势识别。给定的手的关节位置流，我们的方法结合了两个聚合过程分别在空间和时间域。我们的网络架构的管道包括三个主要阶段。第一阶段基于卷积层，以提高学习特征的区分能力。第二阶段依赖于不同的架构的空间和时间高斯聚合的联合功能。第三阶段从骨架数据学习最终的SPD矩阵。第三阶段提出了一种新型的层，基于Stiefel流形上的随机梯度下降的变体。该网络在两个具有挑战性的数据集上进行了验证，并在两个数据集上显示出最先进的精度。
2019-04-29 cs.CV cs.LG cs.NE
Learning a Robust Representation via a Deep Network on Symmetric Positive Definite Manifolds
Beijing Laboratory of Intelligent Information Technology, School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院智能信息技术北京市重点实验室）
最近的研究表明，聚合预训练卷积神经网络（CNN）的卷积特征可以为各种视觉任务提供令人印象深刻的性能。对称正定（SPD）矩阵由于其学习适当的统计表示来表征视觉特征的底层结构的显著能力而成为一个强大的工具。在本文中，我们建议通过端到端深度网络下的SPD生成和SPD变换将深度卷积特征聚合到SPD矩阵表示中。为此，在我们的网络中引入了几个新的层，包括非线性内核聚合层，SPD矩阵变换层和矢量化层。非线性核聚合层用于将卷积特征直接聚合到真实SPD矩阵中。SPD矩阵变换层被设计为构造更紧凑和有区别的SPD表示。在矢量化层进行矢量化和归一化操作，以减少冗余和加速收敛。我们的网络中的SPD矩阵可以被认为是连接卷积特征和高级语义特征的中级表示。为了证明我们的方法的有效性，我们进行了广泛的实验视觉分类。实验结果表明，我们的方法显着优于国家的最先进的方法。
2017-11-20 cs.CV
Random Projections on Manifolds of Symmetric Positive Definite Matrices for Image Classification
NICTA（国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
最近的进展表明，通过对称正定（SPD）矩阵编码图像，然后将这些矩阵解释为黎曼流形上的点，可以提高分类性能。考虑流形几何通常通过（1）将流形嵌入切空间，或（2）嵌入再生核希尔伯特空间（RKHS）来完成。虽然嵌入到切空间中允许使用现有的基于欧几里德的学习算法，但流形形状仅被近似，这可能导致歧视性信息的丢失。RKHS方法保留了更多的流形结构，但可能需要非平凡的努力来内核化基于欧几里得的学习算法。与上述方法相比，在本文中，我们提供了一种新的解决方案，允许SPD矩阵与未修改的基于欧几里德的学习算法一起使用，并保留了真实的流形形状。具体来说，我们建议使用RKHS上的一组随机投影超平面将SPD矩阵投影到随机投影空间中，这导致将每个矩阵表示为投影系数的向量。在人脸识别、人物再识别和纹理分类上的实验表明，该方法的性能优于张量稀疏编码、直方图加表观图、黎曼局部保持投影和关系发散分类等方法。
2014-03-04 cs.CV stat.ML
Positional Embedding-Aware Activations
UC Berkeley（加州大学伯克利分校）
SPDER通过位置感知激活函数提升图像和音频表示性能，显著加快训练速度并降低损失值，适用于多种下游任务。
2026-01-14 cs.CV
More About Covariance Descriptors for Image Set Coding: Log-Euclidean Framework based Kernel Matrix Representation
Jiangnan University（江南大学）；University of Surry（萨里大学）
我们考虑一个家庭的结构描述符的视觉数据，即协方差描述符（CovDs），躺在一个非线性对称正定（SPD）流形，一种特殊类型的黎曼流形。我们提出了一个改进的版本的CovDs图像集编码扩展传统的CovDs从欧几里德空间的SPD流形。具体地说，SPD矩阵的流形是一个完整的内积空间，对数乘法和标量对数乘法的操作定义在对数欧几里德框架。在此框架下，我们利用满足Mercer条件的反余弦核来描述协方差结构，并提出了SPD矩阵的均值中心化运算。此外，我们结合反余弦内核不同的订单使用混合参数学习内核对齐在监督的方式。我们提出的框架提供了一个低维和更具歧视性的数据表示的图像集分类的任务。实验结果表明，其优越的性能，在识别精度方面的测量，与国家的最先进的方法相比。
2019-09-26 cs.CV eess.IV
Cov2Pose: Leveraging Spatial Covariance for Direct Manifold-aware 6-DoF Object Pose Estimation
Université de Lorraine, CNRS, Inria, LORIA（洛林大学，法国国家科学研究中心，法国国家信息与自动化研究所，洛林计算机科学及其应用实验室）；Infinite Orbits（Infinite Orbits公司）；Cristal Laboratory, ENSI, University of Manouba（马努巴大学国家计算机科学学院Cristal实验室）
本文提出Cov2Pose，通过空间协方差池化实现直接姿态估计，利用SPD矩阵的流形感知网络头提升姿态回归的鲁棒性和准确性。
2026-03-26 cs.CV
Graph-Regularized Manifold-Aware Conditional Wasserstein GAN for Brain Functional Connectivity Generation
Monash University Malaysia（莫纳什大学马来西亚分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University College London（伦敦大学学院）
包括协方差矩阵和相关矩阵在内的脑功能连接性（FC）的常见度量是驻留在锥形黎曼流形上的半正定（SPD）矩阵。尽管在欧几里得值数据生成方面取得了显著的成功，但使用标准生成对抗网络（GANs）来生成流形值FC数据忽略了其固有的SPD结构，因此忽略了真实FC中边缘的相互关联性。我们提出了一种新的图形正则化流形感知条件Wasserstein GAN（GR-SPD-GAN）的FC数据生成的SPD流形，可以保持全局FC结构。具体来说，我们在对抗训练下优化了真实和生成的SPD数据之间的广义Wasserstein距离，条件是类标签。所得到的生成器可以合成与不同类别的脑网络相关联的新的SPD值FC矩阵，例如，大脑紊乱或健康对照。此外，我们在SPD流形及其切线空间上引入了额外的基于人口图的正则化项，以鼓励生成器尊重真实数据中FC模式的受试者间相似性。这也有助于避免模式坍塌，并产生更稳定的GAN训练。基于抑郁症患者的静息态功能磁共振成像（fMRI）数据，定性和定量结果表明，GR-SPD-GAN在生成更真实的基于fMRI的FC样本方面明显优于现有的几种GANs。当应用于用于MDD识别的FC数据增强时，在我们的方法生成的增强数据上训练的分类模型在没有数据增强的基线上实现了竞争GANs之间分类准确性的最大改进幅度。
2022-12-10 cs.CV cs.LG q-bio.NC
Learning Log-Determinant Divergences for Positive Definite Matrices
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室）；Australian Centre for Robotic Vision, Australian National University（澳大利亚国立大学澳大利亚机器人视觉中心）；University of Minnesota（明尼苏达大学）；Research School of Engineering, The Australian National University（澳大利亚国立大学工程研究学院）；Monash University（莫纳什大学）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织数据61）
对称正定（SPD）矩阵形式的表示已经在各种视觉学习应用中得到推广，因为它们具有捕获视觉数据的丰富二阶统计的能力。有几个相似性的措施比较SPD矩阵与记录的好处。然而，为特定问题选择适当的衡量标准仍然是一个挑战，在大多数情况下，是试错过程的结果。在本文中，我们建议以数据驱动的方式学习相似性度量。为此，我们利用αβ-log-det散度，这是一个由标量α和β参数化的元散度，包含了SPD矩阵上针对这些参数的不同和离散值的广泛的流行信息散度。我们的关键思想是将这些参数放在一个连续体中，并从数据中学习它们。我们系统地扩展了这个想法，学习向量值参数，从而增加了底层非线性度量的表达能力。我们将发散学习问题与机器学习中的几个标准任务结合起来，包括有监督的判别字典学习和无监督的SPD矩阵聚类。我们提出了黎曼梯度下降计划，有效地优化我们的配方，并显示我们的方法对八个标准的计算机视觉任务的实用性。
2021-12-22 cs.CV cs.LG
Geometric structures and deviations on James' symmetric positive-definite matrix bicone domain
Department of Computer Science University of Oxford, UK（计算机科学系 奥克斯福德大学）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）
本文提出两种新的几何结构，基于James的双锥重新参数化，用于改进SPD矩阵空间中的测地线性质和相似性度量。
2026-03-03 cs.CG cs.CV cs.LG
SPDA: Superpixel-based Data Augmentation for Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Pennsylvania State University（宾夕法尼亚州立大学）
监督训练深度神经网络旨在“教”网络模仿人类视觉感知，由训练数据中的图像和标签对表示。超像素化（SP）图像对人类来说是视觉上可感知的，但是常规训练的深度学习模型在处理SP图像时通常表现不佳。为了更好地模仿人类视觉感知，我们认为深度学习模型不仅能够感知原始图像，而且能够感知SP图像。在本文中，我们提出了一种新的基于超像素的数据增强（SPDA）方法，用于训练生物医学图像分割的深度学习模型。我们的方法将超像素生成方案应用于所有原始训练图像以生成超像素化图像。然后将由此获得的SP图像与原始训练图像联合使用以训练深度学习模型。我们在四个生物医学图像数据集上进行的SPDA实验表明，SPDA是有效的，可以持续提高最先进的全卷积网络在2D和3D图像中进行生物医学图像分割的性能。进一步的研究也表明，SPDA可以实际上减少泛化差距。
2019-02-28 cs.AI cs.CV cs.LG
