RES-PCA: A Scalable Approach to Recovering Low-rank Matrices
Qingdao University(青岛大学);University of Electronic Science and Technology of China(电子科技大学);University of Kentucky(肯塔基大学)
鲁棒主元分析(Robust Principal Component Analysis,RPCA)因其在低秩矩阵恢复方面的强大能力以及在实际问题中的成功应用而受到广泛关注。现有算法通常需要求解大型矩阵的奇异值分解,其复杂度一般至少为二次甚至三次。这一缺陷限制了RPCA在解决实际问题中的应用。为了克服这个缺点,在本文中,我们提出了一种新的类型的RPCA方法,RES-PCA,这是线性有效的,可扩展的数据大小和维度。为了比较的目的,AltProj,现有的RPCA的可扩展方法需要真实秩的精确知识;否则,它可能无法恢复低秩矩阵。相比之下,我们的方法在知道或不知道真实排名的情况下都有效;即使两种方法都有效,我们的方法也更快。大量的实验已经进行,并证明了所提出的方法的有效性定量和视觉质量,这表明我们的方法是适合作为一个轻量级的,可扩展的组件RPCA在任何应用程序的管道。
2019-04-16 cs.CV cs.LG stat.ML
Matrix Completion from a Few Entries
Stanford University(斯坦福大学)
设M是秩r<<n的随机(α n)× n矩阵,并假设其元素的一致随机子集E被观测到。我们描述了一个有效的算法,重建M从|E| = O(rn)观察到的项目与相对均方根误差RMSE <= C(rn/ |E|)^0.5。此外,如果r=O(1),则可以从|E| = O(n log(n))个条目精确地重构M。这些结果不仅适用于随机矩阵,也适用于一般的低秩非相干矩阵。这解决了(在有界秩的情况下)Candes和Recht留下的一个问题,并改善了他们的重建算法的保证。算法的复杂度为O(|E| r log(n)),这为算法在大规模数据集上的应用开辟了道路。在证明这些结论的过程中,我们推广了Friedman-Kahn-Szemeredi和Feige-Ofek关于稀疏随机矩阵谱的一个著名结果。
2009-09-17 cs.LG stat.ML
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题,其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分,噪声观察其条目,出现在许多统计,机器学习,和工程应用。在本文中,我们提出了一种新的,信息理论的方法,主动采样(或设计)的矩阵项的噪声矩阵完成,最大熵设计原则的基础上。我们的方法的一个新颖之处是,它隐含地利用不确定性量化(UQ)-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解(例如,相干性)和编码设计(例如,拉丁方)的采样性能和UQ的噪声矩阵完成。使用这样的见解,我们开发了一个有效的后验采样器的UQ,然后用于指导矩阵条目的封闭形式的采样方案。最后,我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
Recovering Covariance from Functional Fragments
我们考虑单位平方上的协方差函数的非参数估计,给定离散观测的函数数据片段的样本。当每个样本路径仅在长度为$δ<1$的子区间上观察时,在对角线周围的$δ$带之外没有关于未知协方差的统计信息。这个问题似乎无法识别没有参数假设,但我们证明了非参数估计是可行的,在适当的光滑性和秩条件下的未知协方差。即使观察是离散的,这仍然是正确的,我们给出了精确的确定性条件,如何精细的观察网格需要相对于秩和片段长度的可识别性,以保持真实。我们证明了我们的条件将估计问题转化为低秩矩阵完备问题,构造了一个非参数估计器,并研究了它的渐进性质。我们说明了我们的方法对真实和模拟数据的数值性能。
2018-10-04 stat.ME
Fast Methods for Recovering Sparse Parameters in Linear Low Rank Models
在本文中,我们研究的恢复稀疏的权重向量(参数向量)从一组噪声的线性组合。然而,只有关于表示线性组合的矩阵的部分信息可用。假设矩阵具有低秩结构,一个自然的解决方案是首先对数据应用矩阵补全,然后解决由此产生的压缩感知问题。在大规模MIMO和医疗数据等大数据应用中,矩阵完成步骤会带来巨大的计算负担。在这里,我们建议通过忽略稀疏向量中对应于零元素的列来降低完成任务的计算成本。为此,我们采用了一种技术,最初近似的稀疏向量的支持。我们进一步建议将部分矩阵完备化和稀疏向量恢复统一为一个扩展的四步问题。仿真结果表明,增强的方法实现了最佳的性能,而这两种方法优于自然的两步技术,大大减少了计算需求。
2016-11-17 cs.LG stat.ML
Uncertainty Quantification For Low-Rank Matrix Completion With Heterogeneous and Sub-Exponential Noise
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
低秩矩阵完成与异构和次指数(相对于均匀和高斯)噪声的问题是特别相关的一些应用在现代商业。例子包括小组销售数据和从网络商务系统(如推荐引擎)收集的数据。一个重要的未解决的问题,这个问题是描述下常见的低秩估计估计矩阵元素的分布。这样的特性是必不可少的任何应用,需要量化的不确定性,在这些估计,迄今为止,只有在假设均匀高斯噪声。在这里,我们的特点估计矩阵条目的分布时,观察噪声是异构的次指数,并提供,作为一个应用程序,明确的公式,这种分布时,观察到的条目是泊松分布或二进制分布。
2021-10-22 cs.LG stat.ML
Polynomial Tensor Sketch for Element-wise Function of Low-Rank Matrix
KAIST(韩国科学技术院);Tel Aviv University(特拉维夫大学)
本文研究了如何画低秩矩阵的逐元素函数。形式上,给定低秩矩阵A = [Aij]和标量非线性函数f,我们的目标是找到(可能是高秩)矩阵[f(Aij)]的近似低秩表示。为此,我们提出了一种有效的基于草图的算法,其复杂度明显低于A的条目数,即,它在不显式访问[f(Aij)]的所有条目的情况下运行。我们的方法的主要思想是将f的多项式逼近与现有的张量草图方案相结合,用于逼近A的条目的单项式。为了以最佳方式平衡两个近似分量的误差,我们提出了一个新的回归公式来找到给定A和f的多项式系数。特别是,我们利用基于核心集的回归与严格的近似保证。最后,我们证明了所提出的计划下的各种机器学习任务的适用性和优越性。
2020-06-29 cs.LG stat.ML
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University(波士顿大学)
我们研究交替最小化矩阵完成在最简单的可能设置:完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画,给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Entry-Specific Bounds for Low-Rank Matrix Completion under Highly Non-Uniform Sampling
School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院);Department of Computer Sciences, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系)
针对高度非均匀采样的低秩矩阵补全,本文提出在较小子矩阵上估计并给出逐条目误差上界,且该界在一定条件下匹配极小极大下界。
2024-02-29 cs.LG stat.ML
Recommendation on a Budget: Column Space Recovery from Partially Observed Entries with Random or Active Sampling
Stanford University(斯坦福大学)
我们分析了交替最小化的列空间恢复的部分观察到的,近似低秩矩阵的列数不断增加,每列的观测值的固定预算。在这项工作中,我们证明,如果预算大于秩的矩阵,列空间恢复成功-随着列数的增长,从交替最小化的估计收敛到真正的列空间的概率趋于一。从我们的证明技术中,我们自然地制定了一个主动采样策略,用于选择列的条目,该策略在理论上和经验上(在合成和真实数据上)优于通常研究的均匀随机采样策略。
2021-05-16 cs.IR cs.LG stat.ML
Symmetric Tensor Completion from Multilinear Entries and Learning Product Mixtures over the Hypercube
UC Berkeley(加州大学伯克利分校)
我们给出了一个算法,完成一个阶$m$对称低秩张量从它的多线性项在时间大致成正比的张量条目的数量。我们应用我们的张量完成算法的学习混合产品分布的超立方体的问题,获得新的算法结果。如果产品分布的中心是线性独立的,那么我们恢复尽可能多的$Ω(n)$中心的分布在多项式时间和样本的复杂性。在一般情况下,我们恢复尽可能多的分布$\tildeΩ(n)$中心在准多项式时间,回答了一个公开的问题费尔德曼等人。对于具有非相干偏置向量的分布的特殊情况。我们的主要算法工具是迭代应用的低秩矩阵完成算法的矩阵与adversarially失踪的条目。
2015-11-23 cs.DS cs.LG stat.ML
Recovering PCA from Hybrid-$(\ell_1,\ell_2)$ Sparse Sampling of Data Elements
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文讨论了如何以及我们可以恢复一个数据矩阵时,只有几个元素。我们提出了一个随机算法,元素明智的稀疏的数据,只保留了几个元素。我们的新算法使用依赖于条目的平方($\ell_2$采样)和绝对值($\ell_1$采样)的采样概率独立地对数据进行采样。我们证明了混合算法恢复近PCA重建的数据从一个次线性的样本大小:混合-($\ell_1,\ell_2$)继承了$\ell_2$的能力,以采样的重要元素,以及$\ell_1$采样的正则化属性,并严格优于$\ell_1$或$\ell_2$自己的性能。我们还给出了一个单通版本的算法,并显示实验来证实理论。
2015-03-02 cs.IT cs.LG math.IT
Low-rank Distributional Matrix Completion
University of Texas at Dallas(德克萨斯大学达拉斯分校);Texas A&M University(德克萨斯农工大学)
针对每个条目为概率分布的矩阵,提出基于核均值嵌入和Tucker秩的低秩结构,通过函数展开算子连接无限维与有限维,实现分布矩阵补全并给出非渐近误差界。
2026-06-02 cs.LG math.ST stat.ML
Fundamental Conditions for Low-CP-Rank Tensor Completion
Columbia University(哥伦比亚大学)
本文研究了低正则多元(CP)秩张量完备化问题.完备化是一个张量,其条目与观察到的条目一致,并且其秩与给定的CP秩匹配。我们分析了给定秩的张量所对应的流形结构,并基于采样模式和CP分解定义了一组多项式。然后,我们证明了采样张量的有限完备性等价于在定义的多项式中有一定数量的代数独立多项式。我们所提出的方法的结果在一个简单的几何结构的采样模式的特征代数独立多项式的最大数量,因此,我们得到了确定性的必要和充分条件的采样模式有限的可完成性的采样张量。此外,假设张量的条目以概率$p$独立采样,并使用上述确定性分析,我们提出了一种组合方法来导出采样概率$p$的下限,或者等价地,保证有限的高概率完全性的采样条目的数量。我们还表明,现有的结果矩阵完成问题可以用来获得宽松的采样概率的下限$p$。此外,我们还得到了唯一完备性的确定性和概率性条件。可以看出,有限或唯一的完备性所需的样本数量的CP流形上所提出的分析是订单的数量级低于通过现有的分析格拉斯曼流形。
2017-03-31 cs.LG cs.NA math.NA
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架,用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述:用于决定是否可以重建条目的有效算法,以及如果可以,则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下,我们的算法是准确的。对于秩一矩阵,新算法是快速的,承认一个高度并行的实现,并产生一个误差最小化估计,定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
Matrix Completion from Noisy Entries
Stanford University(斯坦福大学)
给定一个矩阵M的低秩,我们考虑的问题,重建它从一个小的,随机子集的条目的噪声观测。这个问题出现在各种各样的应用中,从协同过滤(“Netflix问题”)到从运动到结构和定位。我们研究了Keshavan等人提出的一种低复杂度的算法。(2009),基于光谱技术和流形优化的组合,我们在这里称之为OptSpace。我们证明了性能保证,在一些情况下是最优的顺序。
2012-04-09 cs.LG stat.ML
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology(佐治亚理工学院)
本文针对泊松噪声下的低秩矩阵去噪与补全问题,分析三种估计器并给出依赖秩、观测比例及行列和的上界误差,证明其极小极大最优性,并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
张量补全是不完整数据分析的基本工具,其目标是从部分观测值中预测缺失项。然而,现有的方法往往显式或隐式地假设观测条目是无噪声的,以提供精确恢复丢失条目的理论保证,这在实践中受到很大的限制。为了弥补这些缺陷,本文提出了一种新的噪声张量完成模型,它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说,张量环核范数(TRNN)和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外,一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证,其中之一是专门针对处理大规模的张量,通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明,该模型在恢复噪声不完整的张量数据的有效性和效率相比,国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
CUR Algorithm with Incomplete Matrix Observation
Michigan State University(密歇根州立大学);NEC Laboratories America, Inc.(NEC美国实验室公司)
CUR矩阵分解是一种随机算法,它可以有效地计算给定矩形矩阵的低秩近似。现有CUR算法的一个局限性是它们需要访问全矩阵A来计算U。在这项工作中,我们的目标是减轻这种限制。特别地,我们假设除了可以访问来自A的随机采样的d行和d列之外,我们只观察来自A的随机采样条目的子集。我们的目标是开发一个类似于CUR的低秩近似算法,基于(i)从A随机采样的行和列,以及(ii)从A随机采样的条目。所提出的算法是能够完美地恢复目标矩阵A只有O(rnlog n)的观察项目的数量。此外,该算法不需要求解涉及迹范数正则化的优化问题,而只需要求解标准回归问题。最后,不像大多数矩阵完成理论,只有当目标矩阵是低秩,我们表现出强有力的保证,即使当目标矩阵是不低秩的算法。
2014-03-22 cs.LG stat.ML
Tomography by Design: An Algebraic Approach to Low-Rank Quantum States
Leuven.AI - KU Leuven institute for AI(Leuven.AI - KU莱顿人工智能研究所)
提出一种代数算法,通过测量特定可观测量估计密度矩阵的结构化条目,并利用低秩假设通过数值线性代数完成矩阵,实现高效且确定性的量子态层析。
2026-06-02 cs.AI cs.NA eess.SP
RGNMR: A Gauss-Newton method for robust matrix completion with theoretical guarantees
Weizmann Institute of Science(魏茨曼科学研究所)
RGNMR是一种具有理论保证的鲁棒矩阵补全方法,通过高斯-牛顿线性化和异常值移除技术,有效解决低秩矩阵补全问题,尤其在处理少量观测条目、秩过参数化和病态矩阵方面表现优异。
2025-12-14 cs.LG cs.NA math.NA
Rank penalized estimators for high-dimensional matrices
本文考虑迹回归模型。假设我们观察到被噪声破坏的未知矩阵$A_0$的一小组项或项的线性组合。我们提出了一个新的秩惩罚估计$A_0$。对于这个估计量,我们建立了关于预测误差的概率和期望的一般预言不等式。我们还证明了我们的估计的秩的上界。然后,我们应用我们的一般结果的问题,矩阵完成和矩阵回归。在这些情况下,我们的估计有一个特别简单的形式:它是通过硬阈值的奇异值的矩阵构造的意见。
2011-09-12 math.ST stat.TH
Low-rank Matrix Recovery from Errors and Erasures
本文考虑从一个同时包含两个(a)擦除:大多数条目未被观察到,和(b)错误:(未知)位置的恒定分数的值被任意损坏的观察版本的低秩矩阵的恢复。我们提供了一个新的统一的性能保证时,最小化的秩加支持的自然凸松弛成功的精确恢复。我们的结果允许同时存在的随机和确定性的组件在错误和擦除模式。一方面,通过以不同的方式专门化这一单一结果而获得的推论恢复(直到多对数因子)矩阵完成以及稀疏和低秩矩阵恢复中的所有现有工作。另一方面,我们的结果也提供了第一个保证(a)恢复时,我们观察到一个消失的分数的条目损坏的矩阵,和(b)确定性矩阵完成。
2011-08-25 cs.IT math.IT stat.ML
Relaxed Leverage Sampling for Low-rank Matrix Completion
Xerox Research Center India(施乐印度研究中心)
我们考虑的问题,通过标准的核范数最小化框架的任何$m\times n$矩阵的秩$\varrho$从少量的观察到的条目的精确恢复。这种低秩矩阵具有自由度$(m+n)\varrho - \varrho^2$。我们发现,任何任意低秩矩阵可以完全恢复从一个$Θ\left(((m+n)\varrho - \varrho^2)\log^2(m+n)\right)$随机采样的条目,从而匹配所需的条目数的下限(在自由度方面),与一个额外的因素$O(\log^2(m+n))$。为了达到样本大小的这个界限,我们观察每个条目的概率与相应的行和列杠杆分数之和成比例,减去它们的乘积。我们表明,这种放宽抽样概率(与Chen et al,2014中的杠杆分数之和相反)可以为我们提供$O(\varrho^2\log^2(m+n))$附加改进Chen et al,2014获得的(最知名的)样本量,用于核范数最小化。实际数据的实验证实了理论上的样本容量的改善。此外,$(a)$非相干矩阵(具有受限的杠杆分数)和仅具有一个行或列空间的$(b)$矩阵的精确恢复可以使用我们的放松杠杆分数采样,经由核范数最小化,而无需先验地知道杠杆分数。在这种情况下,我们也可以提高样本量。
2016-04-07 cs.IT cs.LG math.IT
Matrix completion with column manipulation: Near-optimal sample-robustness-rank tradeoffs
本文考虑矩阵完备化问题时,一些列完全和任意损坏,潜在的恶意对手。众所周知,矩阵补全的标准算法可以返回任意差的结果,即使是一列损坏。一个直接的应用来自健壮的协同过滤。在这里,一些用户是所谓的操纵者,他们试图通过校准他们对系统的输入来扭曲算法的预测。在本文中,我们开发了一个有效的算法,这个问题的基础上结合的修剪程序和凸规划,最大限度地减少核范数和$\ell_{1,2}$规范。我们的理论结果表明,给定一个消失的分数观察到的条目,它仍然是可能的,以完成底层矩阵,即使损坏的列的数量增长。值得注意的是,我们的结果没有对操作列的观察条目的位置或值进行任何假设。此外,我们通过信息理论的论证表明,我们的保证在真实列上的采样条目的分数、损坏列的分数和底层矩阵的秩方面几乎是最优的。因此,我们的研究结果尖锐的特点之间的权衡样本,鲁棒性和秩矩阵完成。
2016-04-24 cs.IT math.IT stat.ML
Optimal spectral norm rates for noisy low-rank matrix completion
在本文中,我们考虑的迹回归模型中,$n$项目或项目的线性组合的未知$m_1\times m_2$矩阵$A_0$被噪声破坏的观察。对于在\cite{KLT}中引入的$A_0$的核范数惩罚估计,在观测项的抽样分布$Π$上的非相干条件下,建立了一个对$n,m_1,m_2$的任意值具有谱范数的一般的sharp oracle不等式.然后,我们将此方法应用于矩阵完备化问题。在这种情况下,我们证明了它满足一个最佳的预言不等式的谱范数,从而改进了现有的唯一结果\cite{KLT}有关谱范数,假设抽样分布是均匀的。注意,我们的结果是有效的,特别是在高维设置$m_1m_2\gg n$。最后,我们表明,所获得的速率是最佳的对数因子在极大极小意义上。
2011-10-24 math.ST stat.TH
Compressed Sensing and Matrix Completion with Constant Proportion of Corruptions
当采样数据可能严重损坏时,我们改进了压缩感知和矩阵完备领域的现有结果。我们引入了三个新的定理。1)在压缩感知中,我们表明,如果m \times n传感矩阵具有独立的高斯条目,那么可以恢复稀疏信号x精确地通过易处理的\ell 1最小化,即使测量的正分数被任意损坏,提供的非零条目的数量在x是O(m/(log(n/m)+ 1))。2)在Candes和Plan的“A probabilistic and RIPless theory of compressed sensing”中介绍的非常一般的感知模型中,假设损坏的测量值的正分数,如果信号现在具有O(m/(log^2 n))非零条目,则精确恢复仍然成立。3)最后,我们证明了一个可以恢复一个n \times n低秩矩阵从m损坏的采样项通过易处理的优化提供的秩是O(m/(n log^2 n))的顺序;再次,这保持当有一个积极的分数损坏的样本。
2012-01-18 cs.IT math.IT stat.ML
Targeted matrix completion
University of Southern California(南加州大学)
矩阵补全是在许多数据分析设置中出现的问题,其中输入由部分观察的矩阵组成(例如,推荐系统、流量矩阵分析等)。经典的矩阵完备化方法假设输入的部分观测矩阵是低秩的。这些方法的成功取决于观察到的条目的数量和矩阵的秩;秩越大,为了准确地完成矩阵,需要观察的条目就越多。在本文中,我们处理矩阵,不一定是低秩本身,而是他们包含低秩子矩阵。我们提出了有针对性的,这是一个通用的框架,完成这样的矩阵。在这个框架中,我们首先提取低秩子矩阵,然后分别对这些低秩子矩阵和剩余矩阵应用矩阵完备化算法。虽然对于完成本身,我们使用国家的最先进的完成方法,我们的结果表明,有针对性的实现显着较小的重建误差比其他经典的矩阵完成方法。本文的关键技术贡献之一在于从输入部分可观测矩阵中识别出低秩子矩阵。
2017-04-30 cs.LG stat.ML
Matrix Completion with Nonconvex Regularization: Spectral Operators and Scalable Algorithms
在本文中,我们研究了俗称的矩阵完成问题,其中的任务是“填写”未观察到的条目的一个小的子集的观察到的条目的矩阵,假设基础矩阵是低秩的。我们在此的贡献,增强了我们先前关于矩阵完备的核范数正则化问题的工作(Mazumder等人,2010)通过在凸核范数和非凸秩函数之间引入连续的非凸罚函数。灵感来自于IMPUTE(Mazumder等人,2010; Hastie等人,2016),我们提出了NC-IMPUTE-一个EM风格的算法框架,用于计算一系列具有热启动的非凸惩罚矩阵完成问题。我们提出了一个系统的研究相关的光谱阈值算子,这在整个算法中发挥了重要作用。我们研究了算法的收敛性。使用结构化的低秩SVD计算,我们证明了我们的建议的Netflix大小的问题的计算可扩展性(大约,一个$500,000 \times 20, 000$矩阵与$10^8$观察条目)。我们证明,在广泛的合成和真实数据的情况下,我们提出的非凸正则化框架导致低秩的解决方案具有更好的预测性能相比,从核范数问题。本文提出的算法的实现,用R编程语言编写,在github上可用。
2020-03-03 stat.CO stat.ML
Confidence Region of Singular Subspaces for Low-rank Matrix Regression
低秩矩阵回归是指基于专门设计的测量和相应的噪声结果恢复低秩矩阵的实例。在过去的十年中,许多统计方法已经开发出有效地恢复未知的低秩矩阵。然而,在某些应用中,未知奇异子空间比低秩矩阵本身更重要。在这篇文章中,我们回顾了低秩矩阵回归模型,并介绍了一个两步的过程来构建奇异子空间的置信区域。该过程涉及到典型的低秩估计的去偏,然后我们计算经验奇异向量。研究了经验奇异子空间与未知真奇异子空间之间的联合投影距离的分布。我们具体证明了当$r^{3/2}(m_1+m_2)^{3/2}=o(n/\log n)$,其中$m_1, m_2$表示矩阵的行和列的大小,$r$是秩和$n$是独立的随机测量的数量的联合投影距离与数据相关的中心和归一化的渐近正态性。因此,我们提出了数据依赖的真奇异子空间的置信区域,它渐近地达到任何预定的置信水平。此外,还建立了非渐近的收敛速度。数值结果证明了我们的方法的优点。
2019-01-23 cs.IT math.IT math.ST
Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula
Cornell University(康奈尔大学)
现代大规模数据集经常受到丢失条目的困扰。对于含有缺失值的表格数据,一系列插补算法求解一个完整的矩阵,使某些惩罚性重建误差最小化。然而,几乎没有人能估计其估算的不确定性。本文提出了一个概率和可扩展的框架缺失值填补量化的不确定性。我们的模型,低秩高斯Copula,增强了一个标准的概率模型,概率主成分分析,每列的边际变换,使模型更好地匹配数据的分布。它自然地处理布尔、序数和实值观测,并量化每个插补中的不确定性。拟合模型所需的时间与数据集中的行数和列数呈线性关系。实证结果表明,该方法在广泛的数据类型,包括那些具有高排名的国家的最先进的插补精度。我们的不确定性度量很好地预测了插补误差:不确定性较低的条目确实具有较低的插补误差(平均而言)。此外,对于实值数据,得到的置信区间是经过良好校准的。
2021-01-18 cs.LG stat.ML
Matrix Co-completion for Multi-label Classification with Missing Features and Labels
RIKEN Center for Advanced Intelligence Project(理化学研究所高级智能项目中心);Center for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心);Nanjing University(南京大学);University of Tokyo(东京大学)
我们考虑了一个具有挑战性的多标签分类问题,其中特征矩阵$\X$和标签矩阵$\Y$都有丢失的条目。现有的方法将$\X$和$\Y$级联为$[\X; \Y]$,并在假设$[\X; \Y]$具有低秩的情况下应用矩阵完成(MC)方法来填充缺失的条目。然而,由于$\Y$的条目在多标签设置中采用二进制值,因此$\Y$不太可能是低秩的。此外,这种假设意味着$\X$和$\Y$之间的线性关系,这在实践中可能不成立。在本文中,我们考虑一个潜在的矩阵$\Z$,产生的概率$σ(Z_{ij})$生成标签$Y_{ij}$,其中$σ(\cdot)$是非线性的。考虑到标签相关性,假设$[\X; \Z]$是低秩的,提出了一种基于次梯度下降的MC算法,称为共同完成(COCO),该算法由弹性网和一位MC驱动。我们给出了COCO的恢复效果的理论界,并通过实验证明了它的实用性。
2018-05-23 cs.LG stat.ML
Probabilistic low-rank matrix completion on finite alphabets
在给定一个样本的情况下,重构一个矩阵的任务被称为矩阵完备化问题。它出现在广泛的问题中,包括推荐系统,协同过滤,降维,图像处理,量子物理或多类分类等等。大多数的工作都集中在恢复一个未知的实值低秩矩阵从随机子采样其条目。在这里,我们研究的情况下,观察采取有限数量的值,对应于推荐系统中的评级或多类分类中的标签的例子。我们还考虑了一般的抽样方案(不一定是均匀的)。从理论上分析了核范数惩罚估计的性能。更精确地说,在实际应用中,我们还提出了一种基于提升坐标梯度下降的有效算法,以处理潜在的高维设置。
2014-12-08 math.ST stat.ML stat.TH
A Note on Alternating Minimization Algorithm for the Matrix Completion Problem
MIT(麻省理工学院);Los Alamos Research Laboratory(洛斯阿拉莫斯研究实验室)
本文分析了两种交替最小化算法变体在低秩矩阵补全问题中的性能,证明当矩阵秩为1且满足特定条件时,算法能在多项式时间内近似重建矩阵,并通过模拟结果表明第二种基于消息传递更新的算法表现更优。
2016-02-05 cs.LG cs.NA math.NA
Recovering Wasserstein Distance Matrices from Few Measurements
Department of Mathematics, University of Texas at Arlington(德克萨斯理工大学数学系);Department of Mathematics, Tufts University(塔夫茨大学数学系);Department of Statistics and Data Science and Department of Computer Science University of Central Florida(中央佛罗里达大学统计与数据科学系和计算机科学系);Division of Data Science, University of Texas at Arlington(德克萨斯理工大学数据科学 division)
本文提出两种算法,用于从少量条目估计平方Wasserstein距离矩阵,这些矩阵用于计算流形学习嵌入,如多维标度分析(MDS)或Isomap,但与欧几里得距离矩阵不同,它们的计算成本极高。本文分析了从上三角样本进行矩阵补全和Nyström补全,证明了在Nyström补全下MDS的稳定性,并展示了在固定样本距离预算下,Nyström补全可以优于矩阵补全。最后,本文证明了即使仅计算距离矩阵的10%列,嵌入数据在OrganCMNIST数据集上的分类也是稳定的。
2025-09-23 cs.LG stat.ML
High-Rank Matrix Completion and Subspace Clustering with Missing Data
Boston University(波士顿大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本文在矩阵列属于多个低秩子空间并的假设下,研究了多缺元矩阵的补问题。这将标准的低秩矩阵完备化问题推广到矩阵秩可以很高甚至满秩的情况。由于列属于子空间的并集,因此该问题也可以被视为子空间聚类问题的缺失数据版本。设X是一个n × N矩阵,其(完全)列位于至多k个子空间的并集中,每个子空间的秩<= r < n,并假设N >> kn。本文的主要结果表明,在温和的假设下,只要X的至少CrNlog^2(n)个元素是随机一致观测的,且C>1是一个常数,取决于通常的不相干条件、子空间的几何排列以及列在子空间上的分布,那么X的每一列都可以以很高的概率从不完整的版本完美地恢复。数值实验结果表明,并应用于互联网的距离矩阵完成和拓扑结构识别。
2011-12-27 cs.IT cs.LG math.IT
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University(阿尔托大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出一种基于代数几何和拟阵理论的代数组合新视角,通过研究少量条目间的关系来解决低秩矩阵补全问题,并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
Identifying Influential Entries in a Matrix
本文提出一种概率分布,用于识别矩阵中最关键的条目,并通过理论证明在采样少量条目后可精确重建矩阵,且无需假设矩阵的无相干性。
2013-12-14 cs.LG cs.NA math.NA
Missing Entries Matrix Approximation and Completion
School of Electrical Engineering Tel Aviv University(电气工程学院 特拉维夫大学);School of Computer Science Tel Aviv University(计算机科学学院 特拉维夫大学)
针对仅部分条目已知的矩阵,提出一系列算法实现矩阵补全与逼近,支持低秩、核范数、谱范数等多种约束,并证明凸情形下全局收敛,无需参数且适用于图像重建及偏微分方程数据恢复。
2014-06-29 cs.LG cs.NA math.NA
Robust Matrix Completion with Mixed Data Types
Cornell University(康奈尔大学)
我们考虑了恢复一个结构化的低秩矩阵部分观察项目与混合数据类型的矩阵完成问题。绝大多数的解决方案都提出了计算上可行的估计与强有力的统计保证的情况下,在矩阵中的数据的基本分布是连续的。最近的一些方法已经扩展使用类似的想法,这些估计的情况下,基本分布属于指数家族。这些方法中的大多数假设只有一个底层分布,并且低秩约束由矩阵Schatten范数正则化。我们提出了一种计算上可行的统计方法,具有很强的恢复保证,以及适合并行化的算法框架,以在一个步骤中恢复混合数据类型的部分观察条目的低秩矩阵。我们还提供了大量的模拟证据,证实我们的理论结果。
2020-05-25 cs.LG math.ST stat.ML
Estimation of high-dimensional low-rank matrices
假设我们观察到被噪声破坏的未知$m\times T$ -矩阵$A$的元素,或者更一般地,观察到元素的线性组合。我们特别感兴趣的是在高维设置中,未知条目的数量$mT$可以远远大于样本大小$N$。受几个应用的启发,我们考虑估计矩阵$A$的假设下,它有小的秩。这可以被视为降维或稀疏性假设。为了缩小到一个低秩表示,我们研究了惩罚最小二乘估计与Schatten-$p$准范数惩罚项,$p\leq1$。我们在两种可能的假设下研究了这些估计--“主要结果被陈述为预测风险和估计量的Schatten-$q$风险的非渐近上界,其中$q\in[p,2]$。我们获得的预测风险率的形式为$rm/N$(对于$m=T$),直至对数因子,其中$r$是$A$的秩。给出了多任务学习和矩阵完成的具体例子。证据是基于从经验过程理论的工具。作为一个副产品,我们得到的准凸Schatten类嵌入$S_p^M\hookrightarrow S_2^M$,$p<1$,这是独立的兴趣的$k$ th熵数的界限。
2011-05-13 math.ST stat.TH
Learning tensors from partial binary measurements
本文将一位矩阵完备化问题推广到高阶张量。我们证明了当$r=O(1)$是有界秩- $r$时,$\mathbb{R}^{N} \times \mathbb{R}^{N} \times \cdots \times \mathbb{R}^{N}$中的阶- $d$张量$T$可以通过正则化其max-q范数和M范数作为其秩的替代而仅由$m=O(Nd)$二进制测量有效地估计.我们证明,类似于矩阵的情况下,即,当$d=2$时,从其条目的子集的1比特测量恢复低秩张量的样本复杂度与从未量化的测量恢复它的样本复杂度相同。此外,我们使用1位张量完成矩阵化的理论和数值上的优势。具体来说,我们展示了如何1位测量模型可以用于上下文感知推荐系统。
2018-03-31 cs.IT math.IT math.OC
Robust Matrix Completion
本文研究了一个低秩矩阵在其大部分元素不可观测且部分观测元素被破坏的情况下的恢复问题。观测是我们希望恢复的低秩矩阵的和的噪声实现,第二个矩阵具有互补的稀疏结构,例如元素或列稀疏性。我们分析了一类估计通过解决一个约束凸优化问题,结合了核范数和凸松弛稀疏约束。我们的结果是同时存在的随机和确定性模式的抽样方案。我们提供了保证的低秩和稀疏成分的部分和损坏的观测在噪声的存在下,并表明所获得的收敛速度是最小最大最优的恢复。
2016-07-04 math.ST stat.TH
Bures-Wasserstein Barycenters and Low-Rank Matrix Recovery
我们重新审视的问题,恢复一个低秩正半定矩阵从秩一投影使用的工具,从最优输运。更具体地说,我们表明,这个问题的变分公式相当于计算Wasserstein重心。反过来,这种新的视角,使新的几何一阶方法的发展具有强大的收敛保证Bures-Wasserstein距离。模拟数据的实验表明,我们的新方法比现有的方法的优势。
2022-10-26 math.OC math.ST stat.TH
Fundamental Limits of Low-Rank Matrix Estimation with Diverging Aspect Ratios
我们考虑的问题,估计的因素,低秩$n \times d$矩阵,当这是损坏的加性高斯噪声。一个特殊的例子,我们的设置对应于聚类混合高斯等(已知)协方差。简单的谱方法没有考虑这些因子的条目的分布,因此通常是次优的。在这里,我们在统计学家已知条目分布的假设下,描述了最小估计误差的渐进性。我们的结果适用于高维政权$n, d \to \infty$和$d / n \to \infty$(或$d / n \to 0$)和推广早期的工作,集中在比例渐近$n, d \to \infty$,$d / n \to δ\in (0, \infty)$。我们概述了一个有趣的信号强度制度,其中$d / n \to \infty$和部分恢复是可能的左奇异向量,而不可能的右奇异向量。我们说明了一般的理论推导高斯混合聚类的后果,并进行了数值研究的基因组数据。
2022-11-01 math.PR math.ST stat.TH
Statistically Optimal and Computationally Efficient Low Rank Tensor Completion from Noisy Entries
在这篇文章中,我们开发的方法来估计一个低秩张量从噪声观测的一个子集的条目,以实现统计和计算效率。最近有很多兴趣在这个问题的噪音张量完成。大部分的注意力都集中在与高阶张量问题相关的基本计算挑战上,但对它们的统计性能知之甚少。为了填补这一空白,在这篇文章中,我们的基本统计限制的噪声张量完成建立极小极大最优收敛率估计$k$阶低秩张量下的一般$\ell_p$($1\le p\le 2$)规范,这表明显着的改进空间比现有的方法。此外,我们提出了一个多项式时间可计算的估计过程的基础上的权力迭代和二阶谱初始化,实现最佳的收敛速度。我们的方法是相当容易实现和数值实验,以进一步证明我们的估计的实际优点。
2018-03-19 cs.IT math.IT math.ST
Recovering Model Structures from Large Low Rank and Sparse Covariance Matrix Estimation
许多流行的统计模型,如因子模型和随机效应模型,都会产生某种类型的协方差结构,这种协方差结构是低秩稀疏矩阵的总和。本文介绍了一种惩罚近似框架,以恢复这样的模型结构,从大的协方差阵估计。我们提出了一种基于最小化非似然损失的可分离非光滑罚函数估计。该估计被证明是完全恢复这两个组件的秩和稀疏模式,从而部分恢复模型结构。在各种矩阵范数下的收敛速度也被提出。为了计算这个估计量,我们进一步开发了一个一阶迭代算法来解决包含可分离非光滑函数的凸优化问题,并且该算法在任何有限t次迭代后都能在O(1/t^2)内产生最优解。数值性能说明使用模拟数据和股票投资组合选择标准普尔100指数。
2013-03-16 q-fin.PM q-fin.ST stat.ME
Entrywise Estimation of Singular Vectors of Low-Rank Matrices with Heteroskedasticity and Dependence
本文提出了一种高维低秩矩阵奇异向量的估计方法,其中噪声矩阵允许行内相关和行间异方差.我们证明有限样本$\ell_{2,\infty}$界和Berry-Esseen定理的估计的各个条目,我们将这些结果应用到高维混合模型。我们的Berry-Esseen定理清楚地显示了信号矩阵,噪声的协方差结构和奇异向量估计任务中的误差分布之间的几何关系。这些结果在数值模拟中得到了说明。与以前的结果不同,这种类型的结果依赖于高斯性或加性噪声条目之间的独立性的假设,处理这些结果的证明中条目之间的依赖性需要仔细的留一分析和条件参数。我们的结果只依赖于信噪比,样本量,和信号矩阵的频谱特性。
2022-09-13 math.OC math.SP math.ST