Deep Learning Approach for Matrix Completion Using Manifold Learning
矩阵完备化由于其在各个研究领域的广泛应用而受到了广泛的关注和研究。现有的矩阵补全方法只考虑数据矩阵中元素之间的非线性(或线性)关系,而忽略了潜在的线性(或非线性)关系。本文提出了一种新的数据矩阵隐变量模型,该模型是线性和非线性模型的组合,并设计了一种新的基于深度神经网络的矩阵补全算法,以解决数据矩阵元素之间的线性和非线性关系。所提出的方法包括两个分支。第一个分支学习列的潜在表示,并通过一系列隐藏的神经网络层重建部分观察矩阵的列。第二个分支对行执行相同的操作。此外,基于多任务学习原理,我们强制这两个分支一起工作,并引入一种新的正则化技术来减少过度拟合。更具体地,数据的缺失条目被恢复为主要任务,并且流形学习被执行为辅助任务。辅助任务约束网络的权重,因此它可以被视为正则化器,从而改进主任务并减少过拟合。在合成数据和实际数据上的实验结果验证了该方法与现有的矩阵补全方法相比的有效性。
2020-12-11 cs.LG stat.ML
Coupling Matrix Manifolds and Their Applications in Optimal Transport
The University of Sydney(悉尼大学);University of Reading(雷丁大学)
最佳运输(OT)是测量两个定义的概率分布之间距离的强大工具。在本文中,我们开发了一个新的流形命名为耦合矩阵流形(CMM),其中CMM上的每一个点可以被视为运输计划的OT问题。我们首先探讨了CMM的黎曼几何与Fisher信息表示的度量。CMM的这些几何特征为发展数值黎曼优化算法(如黎曼梯度下降和黎曼信赖域算法)铺平了道路,形成了适用于所有类型OT问题的统一优化方法。所提出的方法,然后应用到解决以前的文献研究的OT问题。数值实验结果表明,基于本文方法的优化算法与经典算法(如Sinkhorn算法)相当,而在不考虑几何信息的情况下,其性能优于其他最先进的算法,特别是在非熵最优输运的情况下.
2019-11-24 cs.LG stat.ML
Geometry of Singular Foliations and Learning Manifolds in ReLU Networks via the Data Information Matrix
Ecole Nationale de l’Aviation Civile(法国国立民航学院);Università di Bologna(博洛尼亚大学);Université Paris 1 Panthéon Sorbonne(巴黎第一大学)
本文提出通过ReLU网络中的数据信息矩阵揭示数据在高维空间中的奇异叶结构,并通过谱分析实现跨数据集的知识迁移。
2026-03-12 cs.LG stat.ML
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis(加州大学戴维斯分校)
鲁棒低秩矩阵完备(RMC),或部分观测数据的鲁棒主成分分析,在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加,其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式,它最小化低秩矩阵的核范数(以促进低秩)和稀疏矩阵的l1范数(以促进稀疏性)。本文在低秩矩阵完备化和黎曼优化的基础上,将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的,因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后,我们提出了一个交替流形近端梯度延拓(AManPGC)方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明,所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
Regularizing Autoencoder-Based Matrix Completion Models via Manifold Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec;Duke University(杜克大学)
自编码器在基于神经网络的矩阵补全模型中很受欢迎,因为它们能够从部分观测矩阵中检索潜在的潜在因子。然而,当训练数据是稀缺的,他们的性能显着下降,由于过拟合。在本文中,我们使用依赖于多任务学习原理的数据依赖正则化技术来解决过拟合问题。具体来说,我们提出了一个基于自动编码器的矩阵完成模型,该模型将未知矩阵值的预测作为主要任务,并将流形学习作为辅助任务。后者作为一个归纳偏差,导致解决方案,更好地推广。所提出的模型优于现有的基于自动编码器的模型设计的矩阵完成,在知名的数据集实现高重建精度。
2018-07-04 cs.AI cs.LG stat.ML
Tangent Space Based Alternating Projections for Nonnegative Low Rank Matrix Approximation
Weifang University(潍坊学院);The University of Hong Kong(香港大学);Southwestern University of Finance and Economics(西南财经大学)
本文提出了一种新的计算非负矩阵低秩逼近的交替投影方法。在非负低秩矩阵逼近方法中,由于需要奇异值分解,固定秩矩阵在流形上的投影代价很高。我们建议使用流形上的点的切空间来近似流形上的投影,以减少计算量。我们证明了由固定秩矩阵流形和非负矩阵流形的切线空间上的交替投影所产生的序列线性收敛到两个流形的交点上的一个点,该点的收敛点足够接近最优解。这种基于流形上不精确投影的收敛结果是新的,在文献中没有研究过。在数据聚类、模式识别和高光谱数据分析中的数值算例表明,该方法在计算时间和精度方面均优于非负矩阵分解方法.
2020-09-02 cs.CV cs.LG stat.ML
Riemannian adaptive stochastic gradient algorithms on matrix manifolds
The University of Electro-Communications(电气通信大学);Microsoft(微软)
欧氏空间中的自适应随机梯度算法是近年来研究的热点。另一方面,黎曼流形上的这种探索相对较新,有限且具有挑战性。这是因为底层流形的内在非线性结构和缺乏正则坐标系。然而,在机器学习应用中,大多数感兴趣的流形被表示为具有行和列子空间概念的矩阵。此外,隐式流形相关约束也可以位于这样的子空间上。例如,格拉斯曼流形是列子空间的集合。为此,在流形上开发优化算法时,不应将矩阵转换为向量堆栈,从而丢失这种丰富的结构。我们提出了新的随机梯度算法的黎曼矩阵流形上的问题,通过调整梯度的行和列子空间。我们的算法是可证明收敛的,它们达到了$\mathcal{O}(\log (T)/\sqrt{T})$阶的收敛速度,其中$T$是迭代次数。我们的实验说明了所提出的算法在几个应用程序的有效性。
2019-06-28 cs.LG math.OC stat.ML
Riemannian coordinate descent algorithms on matrix manifolds
Riken AIP(理化学研究所先进智能项目中心);Microsoft India(微软印度公司)
本文提出了一个在矩阵流形上开发计算高效的坐标下降(CD)算法的通用框架,允许每次迭代仅更新少数变量并遵守流形约束,并分析了其收敛性与复杂度。
2024-06-04 cs.LG math.OC stat.ML
I-BBS: Coordinate-Free Inference of Latent Sub-Manifolds Using Random Distance Matrix Theory
Claude Code
提出I-BBS方法,从高维距离矩阵中无坐标推断低维潜在子流形,利用整数稳定特征(多重性和参数无关定律)在噪声下恢复流形维度,无需访问高维向量空间。
2026-06-29 cond-mat.dis-nn cs.LG stat.ML
Nonlinear matrix recovery using optimization on the Grassmann manifold
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);Umeå University(于默奥大学)
我们调查的问题,恢复部分观察到的高秩矩阵,其列服从非线性结构,如子空间的联合,代数簇或分组在集群。恢复问题被制定为应用于原始矩阵的非线性特征映射的秩最小化,然后进一步近似为涉及格拉斯曼流形的约束非凸优化问题。我们提出了两套算法,一个产生于黎曼优化和其他作为一个交替的最小化方案,这两个都包括一阶和二阶变量。这两套算法都有理论上的保证。特别地,对于交替最小化,我们建立了全局收敛性和最坏情况下的复杂性界。此外,使用Kurdyka-Lojasiewicz属性,我们证明了交替最小化收敛到一个唯一的极限点。我们提供了广泛的数值结果的恢复联盟的子空间和聚类下的入口采样和稠密高斯采样。我们的方法与现有的方法是有竞争力的,特别是,高精度的恢复使用黎曼二阶方法。
2022-12-08 cs.LG math.OC stat.ML
Bayesian Inference on Matrix Manifolds for Linear Dimensionality Reduction
我们将线性降维问题转化为矩阵流形上的贝叶斯推断问题。这种自然范式将贝叶斯框架扩展到更高维度的降维任务,具有更简单的模型和更快的速度。这里,正交基被视为流形上的单个点,并且与观测值变化最大的线性子空间相关联。在本文中,我们采用格拉斯曼和Stiefel流形的各种降维问题,探索两个流形之间的连接,并使用混合蒙特卡罗的后验抽样格拉斯曼第一次。我们描绘在哪些情况下,任何多方面应予以考虑。此外,矩阵流形模型被用来产生科学的洞察力,在认知神经科学的背景下,我们的结论是,我们的方法是适合于基本的推理,以及准确的预测。
2016-06-14 stat.CO stat.ML
Co-manifold learning with missing data
Yale University(耶鲁大学);North Carolina State University(北卡罗来纳州立大学)
表示学习通常只应用于数据矩阵的一种模式,即行或列。然而,在许多应用程序中,行和列都有一个潜在的几何形状。我们建议利用这种耦合结构来执行协同流形学习:揭示给定矩阵的行和列的潜在几何结构,其中我们专注于缺失数据设置。我们的无监督方法由三个部分组成。我们首先解决一个家庭的优化问题,估计一个完整的矩阵在多个尺度的平滑。然后,我们使用这个平滑矩阵估计的集合,基于一个新的多尺度度量来计算行和列上的成对距离,该度量隐式地引入了行和列之间的耦合。最后,我们从这些多尺度度量构造行和列表示。我们证明了我们的方法在数据可视化和聚类方面都优于竞争方法。
2018-10-16 cs.LG stat.ME stat.ML
Asymptotic Escape of Spurious Critical Points on the Low-rank Matrix Manifold
Caltech(加州理工学院)
我们证明了在固定秩对称半正定矩阵流形上,黎曼梯度下降算法几乎必然能避开流形边界上的一些伪临界点。我们的结果是第一个部分地克服了低秩矩阵流形的不完备性,而不改变香草黎曼梯度下降算法。伪临界点是一些秩亏矩阵,其仅捕获地面真值的部分特征分量。与经典的严格鞍点不同,它们表现出非常奇异的行为。我们表明,使用动态低秩近似和重新缩放的梯度流,一些虚假的临界点可以转换为经典的严格鞍点在参数化的域,这导致了预期的结果。数值实验支持我们的理论研究结果。
2022-06-10 cs.IT cs.LG math.IT
Bounded Manifold Completion
Texas A&M University–Corpus Christi(德州农工大学科珀斯克里斯蒂分校);Worcester Polytechnic Institute(伍斯特理工学院)
非线性降维或等价地,使用低维非线性流形对高维数据进行近似是一个活跃的研究领域。在本文中,我们将提出一个主题不同的方法来检测存在的低维流形的一个给定的维度,位于一组来自一个给定的点云的边界。表示低维流形上适当定义的距离的矩阵是低秩的,我们的方法是基于当前的技术,用于从一小组完全观察到的条目中恢复部分观察到的矩阵,这些条目可以作为低秩矩阵完成(MC)问题来实现。MC方法目前用于解决具有挑战性的现实世界的问题,如图像修补和推荐系统,我们利用程度有效的优化技术,使用核范数凸松弛作为非凸和不连续的秩最小化的替代。我们提出的方法提供了几个优势,目前的非线性降维技术,与两个最重要的是理论保证低维嵌入的检测和鲁棒性的非均匀性采样的流形。我们使用理论分析以及合成和真实世界的基准数据集来验证这种方法的性能。
2019-12-19 cs.CV cs.LG stat.ML
Model-centric Data Manifold: the Data Through the Eyes of the Model
Zuru Tech;University of Bologna(博洛尼亚大学)
我们发现,深度ReLU神经网络分类器可以在数据上看到低维黎曼流形结构。这种结构通过局部数据矩阵来实现,局部数据矩阵是Fisher信息矩阵的变体,其中模型参数的作用由数据变量承担。我们获得了数据域的叶,我们表明,模型训练的数据集位于一个叶子上,数据叶子,其维度由分类标签的数量限制。我们用MNIST数据集的一些实验来验证我们的结果:数据叶上的路径连接有效图像,而其他叶子覆盖噪声图像。
2021-04-26 cs.LG math.OC stat.ML
Solving weakly supervised regression problem using low-rank manifold regularization
Sobolev Institute of Mathematics(索博列夫数学研究所);Novosibirsk State University(新西伯利亚国立大学);RWTH Aachen(亚琛工业大学)
我们解决了一个弱监督回归问题。在“弱”下,我们理解对于一些训练点,标签是已知的,对于一些未知的,对于其他由于随机噪声或其他原因(如缺乏资源)而不确定的。求解过程需要优化某个目标函数(损失函数),它结合了流形正则化和低秩矩阵分解技术。这些低秩近似使我们能够加快所有矩阵计算并减少存储需求。这对于大型数据集尤其重要。包围聚类用于获得共关联矩阵,我们认为这是相似性矩阵。这些技术的使用使我们能够提高解决方案的质量和稳定性。在数值部分,我们使用Monte-Carlo建模将建议的方法应用于人工和真实数据集。
2021-04-13 cs.LG cs.NA math.NA
Low-complexity subspace-descent over symmetric positive definite manifold
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
针对 SPD 流形优化,本文提出基于 Cholesky 因子与稀疏矩阵乘积的单向及多向黎曼子空间下降算法,将迭代复杂度降至 $O(n)$ 和 $O(n^2)$。
2023-12-18 cs.LG eess.SP math.OC
Nonconvex Factorization and Manifold Formulations are Almost Equivalent in Low-rank Matrix Optimization
University of Chicago(芝加哥大学);Fudan University(复旦大学);Duke University(杜克大学)
该研究建立低秩矩阵优化中流形与因子分解公式在平稳点、鞍点等上的几何等价性及谱夹心关系,可迁移几何性质、解决文献遗留问题并强化相关应用结论。
2024-08-12 cs.IT cs.LG eess.SP
Robust PCA by Manifold Optimization
鲁棒PCA是一种广泛使用的统计过程,用于恢复具有严重损坏的观测值的底层低秩矩阵。本文将鲁棒PCA问题视为低秩矩阵流形上的非凸优化问题,提出了两种基于流形优化的鲁棒PCA算法。结果表明,与一个适当的设计初始化,所提出的算法是保证收敛到底层的低秩矩阵线性。与基于低秩矩阵Burer-Monterio分解的算法相比,该算法在理论上降低了对低秩矩阵条件数的依赖性.仿真和实际数据的例子证实了我们的方法的竞争力。
2017-09-01 stat.CO stat.ML
Riemannian block SPD coupling manifold and its application to optimal transport
本文研究了对称正定矩阵值测度之间的最优输运问题。我们将上述问题公式化为广义最优输运问题,其中成本、边际和耦合表示为块矩阵,并且每个组成块是SPD矩阵。耦合矩阵中的行块和列块的总和受给定的块-SPD边缘的约束。我们赋予这样的块耦合矩阵的集合一个新的黎曼流形结构。这允许利用多功能的黎曼优化框架来解决一般的SPD矩阵值OT问题。我们说明了所提出的方法在几个应用程序中的实用性。
2023-02-08 math.FA math.OC stat.ML
Vector Transport Free Riemannian LBFGS for Optimization on Symmetric Positive Definite Matrix Manifolds
Ferdowsi University of Mashhad(马什哈德菲尔多西大学);University of Waterloo(滑铁卢大学);University of Tehran(德黑兰大学)
本文主要研究黎曼流形上的优化问题。有限记忆Broyden-Fletcher-Goldfarb-Shanno(LBFGS)算法是欧几里得空间中数值优化的一种常用的拟牛顿法。黎曼LBFGS(RLBFGS)是将这种方法推广到黎曼流形上。RLBFGS涉及计算昂贵的向量传输以及使用伴随向量传输的展开递归。本文利用逆二次根和Cholesky分解在切空间中提出了两个映射。这些映射使得矢量输运和伴随矢量输运都是同一的,因此是等距的。单位向量的传输使得RLBFGS的计算量更小,它的等距性在RLBFGS的收敛性分析中也是非常有用的。此外,在建议的映射下,黎曼度量减少到欧几里得内积,这是计算成本低得多。我们专注于对称正定(SPD)流形,这在数据科学和统计学等各个领域都很有用。这项工作开辟了一个研究机会,建议的映射扩展到其他知名的流形。
2021-10-03 cs.LG cs.NA math.NA
Low-rank Bayesian matrix completion via geodesic Hamiltonian Monte Carlo on Stiefel manifolds
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院);Department of Aerospace Engineering, University of Michigan(密歇根大学航空航天工程系)
本文提出基于 SVD 先验与 Stiefel 流形测地线 HMC 的低秩贝叶斯矩阵补全方法,支持一般似然并在蛋白质与 MovieLens 基准上提升采样和预测性能。
2024-10-27 cs.LG cs.NA math.NA