Tensor Q-Rank: New Data Dependent Definition of Tensor Rank
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
近年来,基于t-SVD的\textit{Tensor Nuclear Norm~(TNN)}正则化方法在各种低秩张量恢复任务中得到了广泛的应用。然而,这些模型通常需要沿第三维平滑地改变数据以确保其低秩结构。本文通过一个可学习的正交矩阵$\mathbf{Q}$,提出了一种新的数据相关张量秩的定义\textit{tensor Q-rank},并在此基础上提出了一种统一的数据相关低秩张量恢复模型.在低秩假设下,介绍了两种可解释的$\mathbf{Q}$选择方法,在这种方法下,数据张量可能具有比低管秩结构更显著的低张量Q秩结构.具体地说,最大化奇异值分布的方差导致方差最大化张量Q-Nuclear norm~(VMTQN),而通过流形优化最小化核范数的值导致流形优化张量Q-Nuclear norm~(MOTQN)。将这两种模型应用于低秩张量补全问题,给出了一种有效的算法,并简要分析了在低采样率的复杂数据情况下,本文方法优于TNN方法的原因.最后,在真实世界数据集上的实验结果表明,我们提出的模型在张量完成问题相对于其他张量秩正则化模型的优越性。
2021-06-15 cs.LG stat.ML
Low-rank geometric mean metric learning
Indian Institute of Science(印度科学学院);Microsoft(微软);The University of Electro-Communications(电气通信大学)
我们提出了一个低秩的方法来学习从数据的马氏度量。受最近的几何平均度量学习(GMML)算法的启发,我们提出了一个低秩的算法变体。这允许联合学习数据驻留的低维子空间和适当拟合数据的Mahalanobis度量。我们的研究结果表明,我们有效地竞争与GMML在较低的排名。
2018-06-14 cs.LG stat.ML
Efficient Low-Rank Matrix Estimation, Experimental Design, and Arm-Set-Dependent Low-Rank Bandits
Dipartimento di Informatica, Università degli Studi di Milano(米兰大学信息科学系);Department of Computer Science, University of Arizona(亚利桑那大学计算机科学系)
本文提出LowPopArt低秩矩阵估计方法及基于B(Q)的实验设计准则,并据此为一般臂集设计两种低秩线性赌博机算法,获得更优遗憾上界,突破了以往对臂集或探索分布的严格假设。
2024-06-08 cs.LG stat.ML
Matrix Approximation under Local Low-Rank Assumption
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
矩阵近似是机器学习中的一种常用工具,用于为推荐系统、文本挖掘和计算机视觉构建准确的预测模型。在构造矩阵近似时,一个普遍的假设是部分观测矩阵是低秩的。我们提出了一个新的矩阵近似模型,而不是我们假设的矩阵只是局部的低秩,导致观察到的矩阵表示为低秩矩阵的加权和。我们分析了所提出的局部低秩建模的准确性。我们的实验表明,在推荐任务的预测精度的改善。
2013-01-15 cs.LG stat.ML
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida(中佛罗里达大学)
张量补全的目标是从其条目的子集中恢复张量,通常是通过利用其低秩属性。在张量秩的几个有用的定义中,低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法,但这些算法利用二阶统计量来测量误差残差,当观察到的条目包含大的离群值时,这可能不能很好地工作。在本文中,我们提出了一个新的目标函数的低管秩张量完成,它使用相关熵作为误差测量,以减轻离群值的影响。为了有效地优化所提出的目标,我们利用半二次最小化技术,从而将优化转化为加权低管秩张量因式分解问题。随后,我们提出了两个简单而有效的算法来获得解决方案,并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明,所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
On the Convergence of Stochastic Gradient Descent with Low-Rank Projections for Convex Low-Rank Matrix Problems
Technion - Israel Institute of Technology(以色列理工学院)
我们重新使用随机梯度下降(SGD)解决凸优化问题,作为非常流行的凸松弛许多重要的低秩矩阵恢复问题,如\textit{matrix completion},\textit{phase retrieval},等等。应用SGD来大规模地解决这些松弛的计算限制是需要在每次迭代上计算潜在的高秩奇异值分解(SVD),以便执行低秩提升约束。我们首先考虑一个简单而自然的充分条件,使这些松弛确实承认低秩的解决方案。这个条件对于低秩鲁棒性的概念成立也是必要的。我们的主要结果表明,在这个条件下,涉及的梯度向量的特征值在最佳点,SGD与小批量,当初始化与“热启动”点,产生的迭代是低秩的高概率,因此只有一个低秩SVD计算是必需的每一次迭代。这表明,SGD可能确实是实际适用于解决低秩矩阵恢复问题的大规模凸松弛。我们的理论结果是伴随着支持初步的经验证据。作为附带的好处,我们的分析非常简单和简短。
2020-06-14 cs.LG math.OC stat.ML
Rank-One Measurements of Low-Rank PSD Matrices Have Small Feasible Sets
Rice University(莱斯大学)
我们研究的约束集在确定低秩,半正定(PSD)矩阵传感问题的解决方案的作用。我们考虑的设置涉及秩一传感矩阵:特别是,给定一组近似低秩PSD矩阵的秩一投影,我们表征满足测量的PSD矩阵集的半径。这个结果产生一个采样率,以保证单例解集时,真正的矩阵是低秩,这样的目标函数或算法的选择是无关紧要的,在其恢复。我们讨论了这一贡献的应用,并比较它与最近的文献隐式正则化类似的问题。我们证明了这一结果的实际影响,通过应用圆锥投影方法PSD矩阵恢复不纳入低秩正则化。
2021-04-06 cs.LG math.OC stat.ML
Low-Rank Extragradient Method for Nonsmooth and Low-Rank Matrix Optimization Problems
Technion - Israel Institute of Technology(以色列理工学院)
本文针对非光滑低秩矩阵优化问题,在广义严格互补条件下,证明了使用热启动的额外梯度法每次仅需两次低秩SVD即可收敛至最优解,且与全秩SVD产生相同迭代序列。
2025-04-07 cs.LG math.OC stat.ML
Low-Rank Phase Retrieval via Variational Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑的问题,低秩相位恢复的目标是估计一个复杂的低秩矩阵的幅度只有测量。我们提出了一种用于低秩相位恢复的分层先验模型,在该模型中,将高斯-威沙特分层先验放置在底层低秩矩阵上,以促进矩阵的低秩性。基于所提出的分层模型,变分期望最大化(EM)算法的发展。所提出的方法是不敏感的初始化点的选择,并与随机初始化。仿真结果验证了该算法的有效性。
2018-11-05 cs.LG eess.SP stat.ML
Low-Rank Modeling and Its Applications in Image Analysis
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Baptist University(香港浸会大学);Yale University(耶鲁大学)
低秩建模通常是指通过将感兴趣的变量表示为低秩矩阵来解决问题的一类方法。它在包括计算机视觉、数据采掘、信号处理和生物信息学在内的各个领域都取得了巨大的成功。近年来,低秩建模在理论、算法和应用方面取得了很大的进展,如基于凸规划的精确低秩矩阵恢复、矩阵完备化在协同过滤中的应用等。这些进展引起了人们越来越多的关注。本文综述了低秩建模的最新进展、最新算法及其在图像分析中的应用。我们首先给出了一个概述的概念,低秩建模和挑战性的问题,在这方面。然后,我们总结了低秩矩阵恢复的模型和算法,并通过数值实验说明了它们的优点和局限性。接下来,我们将介绍低秩建模在图像分析中的一些应用。最后,我们总结了本文的一些讨论。
2014-10-23 cs.CV cs.LG stat.ML
Bayesian Low Rank Tensor Ring Model for Image Completion
低秩张量环模型是一种很好的图像补齐方法,它可以恢复数据采集和转换过程中丢失的条目。最近提出的基于张量环(TR)的完备化算法通常通过预先定义秩的交替最小二乘方法来解决低秩优化问题,当未知秩设置得太大且只有少数测量可用时,这可能容易导致过拟合。本文通过自动学习数据的低秩结构,提出了一种贝叶斯低秩张量环模型用于图像补全。提出了一种适用于低秩张量环分解的乘性相互作用模型,通过假设核心因子的项服从Student- T分布,使核心因子具有稀疏性.与现有方法相比,该方法无需参数调整,TR秩可以通过贝叶斯推断得到。数值实验,包括合成数据,不同大小的彩色图像和YaleFace数据集B相对于一个姿势,表明所提出的方法优于国家的最先进的,特别是在恢复精度方面。
2020-06-29 cs.LG cs.MM stat.ML
Communication-Efficient Federated Low-Rank Update Algorithm and its Connection to Implicit Regularization
Department of Industrial Engineering & Management Sciences(工业工程与管理科学系)
针对联邦学习扩展至大量客户端时的通信效率低、性能下降问题,本文提出通用低秩更新框架FedLoRU,证明其收敛速率与FedAvg相当,性能媲美全秩算法且鲁棒性强。
2025-11-16 cs.AI cs.LG stat.ML
Low-Rank Inducing Norms with Optimality Interpretations
Cambridge University(剑桥大学);Lund University(隆德大学)
具有秩约束的最优化问题出现在诸如控制、机器学习和图像分析等许多不同的领域中。由于秩约束是非凸的,这些问题通常通过凸松弛近似求解。核范数正则化是处理这类问题的流行的凸化技术。本文引入一族低秩诱导范数和正则化子,其中包括核范数作为特例。给出了求解秩约束最优化问题的后验保证。我们评估了三个矩阵完成问题的低秩诱导范数的性能。在所有的例子中,核范数启发式优于基于其他低秩诱导范数的凸松弛。对于其中两个问题,存在低秩诱导范数,成功地恢复部分未知矩阵,而核范数失败。这些低秩诱导规范被证明是可表示为半定程序。此外,这些范数具有廉价的可计算的邻近映射,这使得使用一阶方法也可以解决大规模的问题。
2018-06-11 cs.LG math.OC stat.ML
Weighted Low-Rank Matrix Approximation: Acceleration and Applications
University of Toronto(多伦多大学);Stanford University(斯坦福大学)
研究加权低秩矩阵逼近问题,在统一框架构建相关问题,开发基于Nesterov动量和Anderson加速的算法及正则化方案,提出大稀疏数据矩阵实现和有效秩准则,通过模拟研究和数据集应用证明算法优势与框架作用。
2026-07-28 cs.LG stat.ME stat.ML
Low Permutation-rank Matrices: Structural Properties and Noisy Completion
CMU(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
我们考虑的问题,噪声矩阵完成,其中的目标是重建一个结构化的矩阵,其条目部分观察到的噪音。这个欠定逆问题的标准方法是基于假设基础矩阵具有低秩,或者由低秩矩阵很好地近似。在本文中,我们提出了一个更丰富的模型的基础上,我们所谓的“置换秩”的矩阵。我们首先描述了经典的非负秩模型如何强制执行在实践中可能不受欢迎的限制,以及如何通过使用更丰富的置换秩模型来避免这些限制。其次,我们建立了新的置换为基础的模型下的最小最大估计率,并证明了令人惊讶的是,最小最大的估计率的对数因子下的典型的低秩模型。第三,我们分析了一个计算效率高的奇异值阈值算法,已知是最佳的低秩设置,并表明它也同时产生一个相合估计量的低排列秩设置。最后,我们提出了各种结构的结果,其特征的唯一性的置换秩分解,并表征凸近似的置换秩多面体。
2017-09-01 cs.IT cs.LG math.IT
Factor Fitting, Rank Allocation, and Partitioning in Multilevel Low Rank Matrices
本文针对多级低秩矩阵的拟合问题,提出因子拟合、秩分配和分层划分三种方法,并附开源实现。
2025-10-23 cs.LG cs.MS math.OC
Low-rank lottery tickets: finding efficient low-rank neural networks via matrix differential equations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Gran Sasso Science Institute(格兰萨索科学研究所);University of Innsbruck(因斯布鲁克大学);EPF Lausanne(洛桑联邦理工学院)
神经网络在各种各样的应用中取得了巨大的成功。然而,它们的内存占用和计算需求可能使它们在具有有限硬件或能源资源的应用环境中不切实际。在这项工作中,我们提出了一种新的算法来找到有效的低秩子网络。值得注意的是,这些子网络已经在训练阶段确定和调整,并且训练和评估它们所需的总时间和存储器资源显着减少。其主要思想是将权重矩阵限制在低秩流形上,并在训练过程中更新低秩因子而不是全矩阵。为了获得仅限于指定流形的训练更新,我们采用了矩阵微分方程动态模型降阶的技术。这允许我们提供近似、稳定性和下降保证。此外,我们的方法在训练过程中自动动态地调整秩,以达到所需的近似精度。通过在全连接和卷积网络上的各种数值实验,证明了所提出的方法的有效性。
2022-10-18 cs.AI cs.LG cs.NA
Nonlocal Low-Rank Tensor Factor Analysis for Image Restoration
Duke University(杜克大学);Nokia Bell Labs(诺基亚贝尔实验室)
在图像处理应用中,低秩信号建模已经被广泛地利用来捕获非局部相关性。我们提出了一种新的方法,采用低秩张量因子分析的张量所产生的分组图像补丁。低秩张量被送入交替方向乘子法(ADMM),以进一步改善图像重建。激励应用是压缩感知(CS),并且采用深度卷积架构来近似CS应用中昂贵的矩阵求逆。基于这种低秩张量分解策略,提出了一种迭代算法,称为NLR-TFA。无噪声和有噪声CS测量的实验结果表明,该方法的优越性,特别是在低CS采样率。
2018-03-19 cs.CV stat.ML