Understanding Alternating Minimization for Matrix Completion
IBM Research Almaden(IBM阿尔马登研究院)
本文针对矩阵补全的交替最小化方法,提出基于幂法收敛分析与QR分解平滑分析的新算法,大幅降低样本量需求,运行时间接近线性,样本边界优于多数次二次时间算法。
2026-08-11 cs.DS cs.LG stat.ML
Learning Parameters for Weighted Matrix Completion via Empirical Estimation
最近,理论上的保证已经获得了矩阵完成在非均匀采样制度。特别是,如果抽样分布与底层矩阵的杠杆分数一致,那么核范数最小化将以高概率精确地恢复低秩矩阵。在本文中,我们分析了非均匀抽样分布可能与基础矩阵的杠杆分数一致或不一致的情况。在这里,我们探索学习加权核范数最小化的经验抽样分布的参数。我们为这些学习的权重提供了一个充分条件,为加权核范数最小化提供了一个精确的恢复保证。它已经建立了一个具体的选择的权重,在真实的采样分布不仅允许加权核范数最小化,以准确地恢复低秩矩阵,但也允许在精确的恢复条件的量化放松。在这篇文章中,我们扩展了这种可量化的放松,在确切的恢复条件下,定义类似的经验分布,而不是真正的抽样分布的权重的具体选择。为了实现这一点,我们采用了浓度的测量界和大偏差界。我们还提出了健康的鲁棒性的加权核范数最小化算法的经验学习的权重的选择的数值证据。这些数值实验表明,对于各种易于计算的经验权重,加权核范数最小化优于非加权核范数最小化在非均匀采样制度。
2015-04-02 stat.ML
Tensor Completion Made Practical
Massachusetts Institute of Technology(麻省理工学院)
针对低秩张量补全中现有方法难兼顾理论保证与实用性的问题,提出新型交替最小化算法,可在因子高度相关时近线性时间实现线性收敛,并高效补全千维三阶张量。
2021-12-25 cs.DS cs.LG math.ST
Matrix Completion for Structured Observations
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出改进的核范数最小化方法,以考虑观测与未观测条目间的结构性差异,提升矩阵补全效果。
2018-01-29 cs.LG cs.NA math.NA
Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time
Institute of Advanced Study(高等研究院);Adobe Research(奥多比研究院);Boston University(波士顿大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种对近似更新误差具有鲁棒性的交替最小化框架,将低秩矩阵补全的运行时间从近线性于验证时间的角度改进为 $\widetilde O(|Ω| k)$,优于此前 $\widetilde O(|Ω| k^2)$ 的方法。
2026-11-13 cs.DS cs.LG math.OC
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology(埼玉工业大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Imperial College London(帝国理工学院);Hangzhou Dianzi University(杭州电子科技大学);Guangdong University of Technology(广东工业大学)
传统的低秩张量分解模型在张量补全任务中,由于模型敏感性高,存在模型选择困难的问题。特别地,对于张量环(TR)分解,模型可能性的数量随着张量阶数呈指数增长,这使得找到最佳TR分解变得相当具有挑战性。在本文中,通过利用TR潜在空间的低秩结构,我们提出了一种新的张量完成方法,这是强大的模型选择。与对数据空间施加低秩约束不同,我们在潜在TR因子上引入核范数正则化,从而在更小的尺度上执行使用奇异值分解(SVD)的优化步骤。利用交替方向乘子法(ADMM)方案,可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担,从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明,所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
Bayesian matrix completion: prior specification
最近,由于出现了一些具有挑战性的应用,例如推荐系统,来自不完整测量的低秩矩阵估计受到了越来越多的关注;特别是着名的Netflix挑战。虽然基于核范数最小化的算法的行为现在已经很好地理解,但尚未探索的研究途径是贝叶斯算法在这种情况下的行为。在本文中,我们简要地回顾了贝叶斯文献中使用的矩阵完成的先验。一个标准的方法是分配一个逆伽马之前的奇异值的某个奇异值分解的矩阵的兴趣;这个先验是共轭的。然而,我们表明,其他两种类型的先验(再次为奇异值)可能是共轭的这个模型:伽玛先验,和离散先验。共轭是非常方便的,因为它可以实现吉布斯抽样或变分贝叶斯。有趣的是,这些不同先验的最大后验概率与核范数最小化问题有关。我们还比较了模拟数据集上的所有这些先验,以及经典的MovieLens和Netflix数据集。
2014-10-22 math.ST stat.CO stat.ML
A Bayesian Approach for Noisy Matrix Completion: Optimal Rate under General Sampling Distribution
贝叶斯方法的低秩矩阵完成噪声已被证明是非常有效的计算。虽然惩罚最小化方法的行为是很好地理解从理论和计算的角度来看,在这个问题上,贝叶斯估计的理论最优性尚未探讨。本文提出了一般抽样分布下矩阵完备化的贝叶斯估计。我们还提供了一个预言不等式的估计。这个不等式证明,无论矩阵的秩估计,我们的估计达到最小最大最优的收敛速率(对数因子)。最后,我们进行了一个简短的模拟研究。
2015-01-21 math.ST stat.TH
T-SVD Based Non-convex Tensor Completion and Robust Principal Component Analysis
Peking University(北京大学)
张量完备化和鲁棒主元分析在机器学习中得到了广泛的应用,但其关键问题是如何最小化张量秩,这是一个非常具有挑战性的问题。解决这一问题的一种常用方法是基于张量奇异值分解(T-SVD),用奇异值的$\ell_1-$范数来近似张量秩。此外,张量的稀疏性也可以用它的$\ell_1-$范数来度量。然而,$\ell_1$罚分本质上是有偏差的,因此结果将偏离。为了避免这种偏差,我们提出了一种新的非凸张量秩代理函数和一种新的非凸稀疏性度量。在这种新的设置中,通过使用的凸性,而不是一个优化最小化算法进一步设计张量完成和鲁棒的主成分分析。此外,我们分析了它的理论性质。最后,自然和高光谱图像上的实验证明了我们提出的方法的有效性和效率。
2021-05-25 cs.CV cs.LG stat.ML
Matrix completion with data-dependent missingness probabilities
在过去的几十年里,具有大量缺失项的大型矩阵的补全问题受到了广泛的关注。两个流行的方法来完成的矩阵问题是基于奇异值阈值和核范数最小化。大多数关于这个主题的过去的作品假设存在单个数字$p$,使得矩阵的每个条目以概率$p$独立可用,否则缺失。这种假设对于许多应用来说可能是不现实的。在这项工作中,我们取代它的假设,一个条目是可用的概率是一个未知的功能$f$的条目本身。例如,如果条目是观众给予电影的评级,则似乎高值条目比低值条目具有更大的可用概率。我们提出了两个新的估计,基于奇异值阈值和核范数最小化,在此假设下恢复矩阵。估计不涉及调谐参数,并示出了一致的低秩假设下。我们还提供了未知函数$f$的一致估计。
2022-04-22 cs.IT math.IT math.PR
Provable Inductive Matrix Completion
Microsoft Research India(微软印度研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
考虑一个电影推荐系统,其中除了评级信息之外,诸如用户年龄或电影类型的辅助信息也是可用的。与标准的矩阵补全不同,在这种设置中,应该能够对新用户/电影进行归纳预测。本文研究了在精确恢复情形下的归纳矩阵完备化问题。也就是说,我们假设评级矩阵是通过将特征向量应用于低秩矩阵而生成的,目标是恢复底层矩阵。此外,我们推广的问题,低秩矩阵估计秩1测量。我们研究这个一般性的问题,并提供条件的测量集应满足,使交替最小化方法(否则是一个非凸的方法,没有收敛保证)是能够恢复回{ \em确切}底层低秩矩阵。除了归纳矩阵完成,我们表明,其他两个低秩估计问题可以在我们的框架中进行研究:a)一般低秩矩阵检测秩1测量,和b)多标签回归缺失标签。对于这两个问题,我们提供了新的和有趣的界限交替最小化所需的测量的数量可证明收敛到{ \em精确}低秩矩阵。特别是,我们对一般低秩矩阵传感问题的分析显着提高了所需的存储和计算成本比所需的RIP为基础的矩阵传感方法\cite{RechtFP2007}。最后,我们提供了我们的方法的实证验证,并证明交替最小化是能够使用少量的测量恢复上述问题的真实矩阵。
2013-06-04 cs.IT cs.LG math.IT
Weighted algorithms for compressed sensing and matrix completion
本文研究了压缩感知和矩阵完备问题的迭代重加权基追踪算法。在第一部分中,我们给出了一个理论解释的事实,重新加权基追踪可以改善基追踪在压缩感知的准确恢复了很多。我们展示了一个条件,链接的RIP和不相干常数的权重的准确性,这确保了准确的恢复。在第二部分中,我们介绍了一个新的算法矩阵完成,基于迭代加权的思想。由于加权核“范数”通常是非凸的,因此它不能容易地用作目标函数。因此,我们定义了一个新的估计的基础上的不动点方程。我们给出了经验证据的事实,这种新的算法导致强大的改进核模最小化的模拟和真实的矩阵完成问题。
2011-07-08 cs.IT math.IT math.ST
Deterministic Completion of Rectangular Matrices Using Asymmetric Ramanujan Graphs: Exact and Stable Recovery
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
本文研究矩阵完备化问题:假设$X \in {\mathbb R}^{n_r \times n_c}$除了秩上界$r$已知外,其余未知.通过测量$X$的少量元素$m \ll n_r n_c$,是否可以用无噪声测量精确地恢复$X$,或者用有噪声测量构建$X$的良好近似?这些问题的现有解决方案涉及均匀和随机地对元素进行采样,并且只能以高概率保证未知矩阵的精确恢复。本文提出了一种\textit{deterministic}抽样矩阵补全方法。我们通过选择采样集作为非对称Ramanujan偶图的边集来实现这一点,并且约束核范数最小化是恢复方法。具体来说,我们推导出充分条件下,未知矩阵完全与无噪声测量,并近似完成与噪声测量,我们称之为“稳定”的完成。这里导出的条件仅仅是充分的,而且比随机抽样的限制性更强。为了研究它们有多接近必要,我们使用Ramanujan图的LPS家族对随机生成的低秩矩阵进行了数值模拟。这些模拟证明了两个事实:(i)为了实现精确的完成,它似乎足以选择的程度$d$的拉马努金图是$\geq 3r$。(ii)有一个“相变”,即如果排名增加一个或两个超过临界值,成功的可能性突然从100%下降到0%。相变现象在使用$\ell_1$ -范数最小化的矢量恢复中是众所周知的并且被充分研究。然而,它在矩阵完备化和核范数最小化方面的研究较少,了解不多。
2020-05-21 cs.LG stat.ML
1-bit Matrix Completion: PAC-Bayesian Analysis of a Variational Approximation
由于具有挑战性的应用,如协同过滤,矩阵补全问题在过去几年中得到了广泛的研究。不同的方法依赖于对矩阵的不同结构假设。在这里,我们专注于完成一个(可能)低秩矩阵与二进制项目,所谓的1位矩阵完成问题。我们的方法依赖于机器学习理论的工具:经验风险最小化及其凸松弛。我们提出了一个算法来计算变分近似的伪后验。由于凸松弛,相应的最小化问题是双凸的,因此该方法在实践中表现良好。我们还通过PAC-贝叶斯学习界限研究了这种变分逼近的性能。相反,以前的作品,专注于上界的估计误差的M与各种矩阵的规范,我们能够从这个分析中得出一个PAC界的预测误差,我们的算法。我们主要集中在凸松弛通过铰链损失,为此,我们提出了完整的分析,完整的模拟研究和测试的MovieLens数据集。然而,我们也讨论了变分近似处理逻辑损失。
2016-04-14 stat.ML
A deterministic theory of low rank matrix completion
利用一组显示元素完成一个大型低秩矩阵的问题在过去的十年里受到了广泛的关注。本文的主要结果给出了具有任意缺失模式的矩阵完备化问题序列渐近可解的一个充要条件,用图极限论的语言表述。然后,它表明,一个小的修改的Candès-Recht核范数最小化算法提供了所需的渐近解时,该序列的问题是渐近可解的。该理论是完全确定的,没有随机性的假设。列出了一些未决问题。
2021-04-16 math.CO math.PR math.ST
Matrix Completion With Selective Sampling
University of California, Los Angeles(加州大学洛杉矶分校)
矩阵完备化是数据科学中的一个经典问题,其中人们试图在仅观察条目的某个子集的情况下重建低秩矩阵。以前的作者把这个问题称为核范数最小化问题。几乎所有以前的工作假设没有明确的矩阵结构,并使用均匀采样来决定观察到的条目。我们建议的情况下,我们有一些知识的矩阵的结构,并允许设计的观察集的选择性抽样的方法。
2019-04-17 cs.LG stat.ML
Color Image Inpainting via Robust Pure Quaternion Matrix Completion: Error Bound and Weighted Loss
The University of Hong Kong(香港大学)
本文将彩色图像修补问题作为一个纯四元数矩阵补齐问题进行研究。在文献中,四元数矩阵完备化的理论保证并不完善。我们的主要目的是提出一个新的最小化问题的目标结合核范数和三个通道之间的二次损失加权。为了填补这一理论空白,我们利用四元数矩阵的一些新结果,得到了在干净和损坏两种情况下的误差界。一般的高斯噪声被认为是在鲁棒完成,其中所有的观察是损坏的。受误差界的启发,我们建议通过二次损失中的跨信道权重来处理不平衡或相关噪声,其主要目的是重新平衡噪声水平或去除噪声相关性。合成和彩色图像数据的广泛的实验结果,以确认和证明我们的理论研究结果。
2022-10-26 cs.CV math.ST stat.TH
Tensor Train Completion from Fiberwise Observations Along a Single Mode
本文提出一种利用纤维-wise观测模式进行张量展开的方法,通过标准线性代数运算实现高效且确定性的张量补全。
2026-03-11 cs.LG cs.NA eess.SP
Fast matrix completion without the condition number
本文给出了第一个矩阵完备化算法,其运行时间和样本复杂度分别为未知目标矩阵秩的多项式、矩阵维数的线性和矩阵条件数的对数。据我们所知,所有以前的算法要么招致二次依赖于未知矩阵的条件数或二次依赖于矩阵的维数在运行时间。我们的算法是基于一种新的扩展交替最小化,我们表明,即使在存在噪声的标准假设下,理论上的保证。
2014-07-15 cs.DS cs.LG stat.ML
Calibrated Elastic Regularization in Matrix Completion
本文讨论了矩阵完备化问题,即根据一个小的指数子集的观测值估计一个矩阵。我们提出了一个校准谱弹性网方法与核和Frobenius罚款的总和,并开发了一个迭代算法来解决凸极小化问题。迭代算法在通过当前猜测估算不完整矩阵中的缺失条目和通过估算矩阵的缩放软阈值奇异值分解估计矩阵之间交替,直到所得矩阵收敛。随后进行校准步骤以校正由Frobenius罚分引起的偏差。在适当的相干性条件和适当的惩罚水平下,我们证明了所提出的估计器达到了接近最优阶的误差界,并与噪声水平成比例。这提供了一个统一的分析噪声和无噪声矩阵完成问题。仿真结果比较我们的建议与以前的。
2012-11-09 math.ST stat.ML stat.TH
Matrix Completion and Performance Guarantees for Single Individual Haplotyping
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
单个体单倍型分析是一个NP难题,当试图使用通常由高通量DNA测序平台生成的数据重建生物体的遗传变异时出现。包括人类在内的二倍体生物体的基因组被组织成同源染色体对,这些染色体对在相对少量的变异位置上彼此不同。单倍型是同源对中染色体的变异位置中的核苷酸的有序序列;对于二倍体,与一对染色体相关的单倍型可以方便地通过互补二元序列表示。在本文中,我们考虑了一个二元矩阵分解制定的单个体单倍型问题,并有效地解决它的交替最小化。我们分析了交替最小化算法的收敛特性,并建立了理论界可实现的单倍型重建误差。所提出的技术被证明优于现有的方法时,应用于合成以及现实世界的Fosmid为基础的HapMap NA 12878数据集。
2018-06-26 cs.IT cs.LG math.IT
Relaxed Leverage Sampling for Low-rank Matrix Completion
Xerox Research Center India(施乐印度研究中心)
我们考虑的问题,通过标准的核范数最小化框架的任何$m\times n$矩阵的秩$\varrho$从少量的观察到的条目的精确恢复。这种低秩矩阵具有自由度$(m+n)\varrho - \varrho^2$。我们发现,任何任意低秩矩阵可以完全恢复从一个$Θ\left(((m+n)\varrho - \varrho^2)\log^2(m+n)\right)$随机采样的条目,从而匹配所需的条目数的下限(在自由度方面),与一个额外的因素$O(\log^2(m+n))$。为了达到样本大小的这个界限,我们观察每个条目的概率与相应的行和列杠杆分数之和成比例,减去它们的乘积。我们表明,这种放宽抽样概率(与Chen et al,2014中的杠杆分数之和相反)可以为我们提供$O(\varrho^2\log^2(m+n))$附加改进Chen et al,2014获得的(最知名的)样本量,用于核范数最小化。实际数据的实验证实了理论上的样本容量的改善。此外,$(a)$非相干矩阵(具有受限的杠杆分数)和仅具有一个行或列空间的$(b)$矩阵的精确恢复可以使用我们的放松杠杆分数采样,经由核范数最小化,而无需先验地知道杠杆分数。在这种情况下,我们也可以提高样本量。
2016-04-07 cs.IT cs.LG math.IT
Precise Phase Transition of Total Variation Minimization
Worcester Polytechnic Institute(伍斯特理工学院);University of Iowa(爱荷华大学)
在压缩感知、机器学习和统计学中,表征结构化信号或数据恢复中凸优化的相变是至关重要的。通过近年来的研究,人们对$\ell_1$最小化和核范数最小化等凸优化信号恢复方法的相变有了很好的理解。然而,严格地描述恢复稀疏梯度信号的总变差(TV)最小化的相变仍然是开放的。在本文中,我们充分刻画了相变曲线的TV最小化。我们的证明建立在Donoho,Johnstone和Montanari的电视近似消息传递算法(AMP)的固定相变曲线上,以及去噪问题的最小均方误差和电视最小化的高维凸几何之间的联系。
2015-09-15 cs.IT cs.LG math.IT
Large-Scale Convex Minimization with a Low-Rank Constraint
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Microsoft Research(微软研究院)
本文研究了低秩大矩阵空间上凸函数的极小化问题。虽然这个优化问题是很难在一般情况下,我们提出了一个有效的贪心算法,并推导出其正式的近似保证。该算法的每次迭代涉及(近似)找到对应于某个矩阵的最大奇异值的左和右奇异向量,可以在线性时间内计算。这导致了一个算法,它可以扩展到大矩阵中出现的几个应用程序,如矩阵完成协同过滤和鲁棒的低秩矩阵近似。
2011-06-08 cs.LG stat.ML
Adjusting Leverage Scores by Row Weighting: A Practical Approach to Coherent Matrix Completion
Zhejiang University(浙江大学);Rutgers University(罗格斯大学);Shanghai Jiao Tong University(上海交通大学)
低秩矩阵完备化是一个重要的问题,有着广泛的实际应用。当观测值是从底层矩阵元素中均匀采样时,现有的方法都要求矩阵是不相干的。本文给出了标准均匀采样模型下相干矩阵完备化的第一种工作方法。我们的方法是基于加权核范数最小化的思想,在最近的几项工作中提出的,我们的主要贡献是一个实用的方法来计算加权矩阵,使杠杆得分加权后变得更加均匀。在适当的条件下,我们能够推导出理论结果,表明我们的方法的有效性。在合成数据上的实验表明,该方法能够以高精度恢复高度相干的矩阵,而标准的未加权方法即使在无噪声数据上也会失败。
2015-02-10 cs.LG stat.ML
Matrix Completion via Max-Norm Constrained Optimization
University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学)
在均匀采样模型下,矩阵完备化已经得到了很好的研究,迹范数正则化方法在这种情况下在理论和数值上都有很好的表现。然而,均匀采样模型对于一系列应用是不现实的,并且当底层采样方案是非均匀的时,标准迹范数松弛可以表现得非常差。本文提出并分析了一般抽样模型下噪声矩阵完备化的最大范数约束经验风险最小化方法。在近似低秩矩阵重构的背景下,在Frobenius范数损失下建立了最优收敛速度。结果表明,最大范数约束的方法是极大极小率最优的,并产生一个统一的和强大的近似恢复保证,相对于采样分布。该方法的计算效率也进行了讨论,基于一阶算法求解凸优化涉及最大范数正则化。
2017-04-28 cs.IT cs.LG math.IT
AltGDmin: Alternating GD and Minimization for Partly-Decoupled (Federated) Optimization
Iowa State University(爱荷华州立大学)
提出AltGDmin框架,通过交替梯度下降与最小化加速部分解耦优化,适用于低秩、鲁棒、张量及离散问题,并在联邦设置中实现通信高效。
2025-04-20 cs.LG math.OC stat.ME
Subspace correction methods for total variation and $\ell_1-$minimization
本文提出通过交替在正交子空间上最小化能量泛函,并引入斜阈值迭代邻近映射算法,为全变分和ℓ1最小化问题提供了收敛性保证和高效数值方法。
2007-12-13 cs.NA math.AP math.NA
A local estimate for vectorial total variation minimization in one dimension
设$\boldsymbol u$是向量全变差($VTV$)的最小化者,其中$L^2$数据保真度项在区间$I$上.证明了在$I$的任何子区间上的$\boldsymbol u$的全变差都受同一子区间上的数据的变差的约束。我们推导了$I$上矢量全变差流的类似表述。
2018-08-27 math.AP