Matrix Completion and Tensor Rank
本文证明了低秩矩阵完备化问题可以归结为求某个张量的秩的问题。
2013-07-23 math.OC math.ST stat.TH
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China（电子科技大学）
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能，在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性，我们提出了鲁棒张量环完备（RTRC），它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束，而稀疏分量由其l1范数正则化。我们分析了RTRC模型，并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题，并快速求解。在数值实验中，我们验证了所提出的方法在合成数据上的恢复条件，并表明所提出的方法在许多真实世界的基于数据的任务中，即，光场图像恢复，人脸图像中的阴影去除，以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University（波士顿大学）
我们研究交替最小化矩阵完成在最简单的可能设置：完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画，给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Low-rank optimization for distance matrix completion
University of Liège（列日大学）
本文研究了低秩距离矩阵的完备化问题。当数据嵌入空间的维度可能未知但与所考虑的数据点的数量相比很小时，这个问题相当于恢复距离矩阵的缺失条目。重点是高维问题。我们将所考虑的问题转化为低秩正半定矩阵集合上的最优化问题，并提出了两个有效的低秩距离矩阵完备化算法。此外，我们提出了一种策略来确定嵌入空间的维数。由此产生的算法规模高维问题和单调收敛到一个全球性的解决方案的问题。最后，数值实验表明所提出的算法在基准测试中具有良好的性能。
2013-04-25 cs.LG math.OC stat.ML
Online high rank matrix completion
Cornell University（康奈尔大学）
最近的进展，在矩阵完成使数据填补满秩矩阵，利用低维（非线性）的潜在结构。在本文中，我们开发了一个新的模型，高秩矩阵完成（HRMC），连同批处理和在线方法来拟合模型和样本外扩展，以完成新的数据。该方法的工作原理是使用核技巧将数据（隐式）映射到高维多项式特征空间;重要的是，即使原始数据矩阵是满秩的，数据也会占用该特征空间中的低维子空间。我们引入了一个明确的参数化的低维子空间，和一个在线拟合过程，以减少计算复杂性相比，最先进的在线方法也可以处理流或顺序数据，并适应非平稳的潜在结构。我们提供了这些方法成功所需的采样率的指导。在合成数据和运动捕捉数据上的实验结果验证了所提方法的性能。
2020-02-20 cs.LG stat.ML
Algebraic-Combinatorial Methods for Low-Rank Matrix Completion with Application to Athletic Performance Prediction
本文提出了新的算法，利用矩阵完成任务的内在代数和组合结构，估计在一般低秩设置的缺失条目。对于积极的数据，我们在模拟和从部分观察到的数据预测运动表现的任务中，在准确性和计算效率方面都取得了优于最先进的核规范的结果。
2014-06-11 stat.ML
Typical and Generic Ranks in Matrix Completion
我们从几何的角度考虑低秩矩阵的精确完备化问题：给定一个部分填充矩阵M，我们保持指定和未指定元素的位置固定，并研究最小完备秩如何依赖于已知元素的值.如果矩阵的元素是复数，则对于指定和未指定元素的位置的固定模式，存在以正概率出现的唯一完成秩。我们称这个等级为通用完成等级。在实数上，可以有多个以正概率出现的秩;我们称之为典型的完成秩。我们正式介绍这些概念，并提供了一些不等式和确切的结果，典型的和通用的不同家庭的模式的已知和未知的条目的排名。
2019-09-22 cs.NA math.AG math.NA
Disjunctive Branch-and-Bound for Certifiably Optimal Low-Rank Matrix Completion
本文提出了一种基于离散分支限界法的低秩矩阵补全方法，通过凸松弛和优化策略，实现可证明最优的矩阵补全，显著降低最优性差距并提升测试误差表现。
2026-03-11 cs.LG math.OC stat.ML
Uncertainty Quantification For Low-Rank Matrix Completion With Heterogeneous and Sub-Exponential Noise
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
低秩矩阵完成与异构和次指数（相对于均匀和高斯）噪声的问题是特别相关的一些应用在现代商业。例子包括小组销售数据和从网络商务系统（如推荐引擎）收集的数据。一个重要的未解决的问题，这个问题是描述下常见的低秩估计估计矩阵元素的分布。这样的特性是必不可少的任何应用，需要量化的不确定性，在这些估计，迄今为止，只有在假设均匀高斯噪声。在这里，我们的特点估计矩阵条目的分布时，观察噪声是异构的次指数，并提供，作为一个应用程序，明确的公式，这种分布时，观察到的条目是泊松分布或二进制分布。
2021-10-22 cs.LG stat.ML
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research（百度研究院）；Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题，即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩，最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能，并具有良好的理论特性，但由于重复访问单个奇异值，计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解，提出了一种新的非凸低秩正则化器，称为“核范数减Frobenius范数”正则化器，它是可扩展的，自适应的和声音。我们首先证明了它具有自适应收缩特性。此外，我们发现它的因式分解的形式，绕过奇异值的计算，并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明，所提出的方法获得了最先进的恢复性能，同时是最快的相比，现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Preference Completion from Partial Rankings
University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一种新的和有效的算法的协作偏好完成的问题，它涉及到联合估计个性化的排名为一组实体在一组共享的项目，根据有限数量的观察到的亲和力值。我们的方法利用了这样的观察，即虽然偏好通常被记录为数值分数，但预测的兴趣量是潜在的排名。因此，试图紧密匹配记录的分数可能会导致过拟合和损害泛化性能。相反，我们提出了一个估计，直接适合潜在的偏好顺序，结合核规范约束，以鼓励低秩参数。除了（近似）正确性的排名顺序，建议的估计没有生成假设的数值分数的观察。一个后果是，建议的估计可以适合任何一致的部分排名的一个子集的项目表示为一个有向无环图（DAG），概括的标准技术，只能适合偏好得分。尽管这种一般性，监督代表总或分块总订单，我们的算法的计算复杂度是在一个$\log$因子的标准算法的核范数正则化为基础的估计矩阵完成。我们进一步展示了一个新颖的和具有挑战性的应用程序的协作排名的大脑区域和认知神经科学术语之间的关联有前途的实证结果。
2016-11-14 cs.LG stat.ML
A Rank-Corrected Procedure for Matrix Completion with Fixed Basis Coefficients
National University of Singapore（新加坡国立大学）；South China University of Technology（华南理工大学）
针对核范数在固定基系数矩阵补全中的局限性，提出一种基于核半范数的秩校正方法，并证明其非渐近恢复误差界可降低约50%，同时给出秩一致性的充要条件。
2015-06-22 cs.IT cs.NA math.IT
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）；the University of Iowa（爱荷华大学）；Michigan State University（密歇根州立大学）
本文针对核范数正则化矩阵补全，在目标矩阵顶部特征空间不连贯假设下，首次推导出恢复满秩矩阵最佳低秩逼近的相对误差上界，弥补了现有加性误差界无法刻画完美恢复及特征值偏斜分布的不足。
2024-05-29 cs.LG stat.ML
Matrix Completion Under Monotonic Single Index Models
Wisconsin Institutes for Discovery（威斯康星发现研究院）；UW-Madison（威斯康星大学麦迪逊分校）；University of Michigan Ann Arbor（密歇根大学安娜堡分校）
矩阵完备化的最新结果假设所考虑的矩阵是低秩的，或者列是低秩子空间的并集。然而，在现实世界中，这些模型的线性结构被（通常未知的）非线性变换扭曲。本文讨论的挑战，矩阵完成在面对这样的非线性。给定一个矩阵的几个观测值，通过对一个低秩矩阵应用Lipschitz单调函数得到，我们的任务是估计剩余的未观测项。我们提出了一种新的矩阵补全方法，交替低秩矩阵估计和单调函数估计丢失的矩阵元素。均方误差界限提供了对基于矩阵的大小、秩和非线性变换的性质来估计矩阵的程度的洞察。合成和真实世界的数据集上的实证结果证明了所提出的方法的竞争力。
2015-12-29 cs.LG stat.ML
Matrix Completion under Low-Rank Missing Mechanism
Fudan University（复旦大学）；Texas A&M University（德州农工大学）；Peking University（北京大学）
矩阵完备化是一个现代的缺失数据问题，其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分，现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中，我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵，并进一步通过逆概率加权来完成目标矩阵。由于高维和极端（即，非常小）的真实概率矩阵的性质，需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
Structured low-rank matrix completion for forecasting in time series analysis
Cardiff University（卡迪夫大学）；CNRS（法国国家科学研究中心）
本文研究了低秩矩阵补全问题，应用于时间序列预测。基于Hankel矩阵的补全方法和核范数松弛，通过理论和实验证明了适当选择已知观测加权方案的重要性。
2018-02-22 cs.NA cs.SY eess.SY
Algebraic Variety Models for High-Rank Matrix Completion
我们考虑低秩矩阵完成的情况下，数据属于代数簇，即每个数据点是一个系统的多项式方程的解决方案的推广。在这种情况下，原始矩阵可能是高秩的，但是在将每列映射到单项式特征的高维空间之后，它变成低秩的。许多线性模型的扩展，包括仿射子空间及其并集，都可以用一个模型来描述。此外，品种可以用来模拟更丰富的一类非线性二次和更高的次数曲线和曲面。我们研究了矩阵完备化的采样要求，重点是仿射子空间的并集。我们还提出了一个有效的矩阵完成算法，最大限度地减少了一个凸或非凸代理的秩矩阵的单项功能。我们的算法使用著名的“内核技巧”，以避免直接与高维单项矩阵。我们表明，该算法是能够恢复合成生成的数据预测采样复杂度的界限。该算法也优于标准的低秩矩阵完成和子空间聚类技术在实验中与真实数据。
2017-03-28 stat.ML
A Combinatorial Algebraic Approach for the Identifiability of Low-Rank Matrix Completion
Berlin Institute of Technology (TU Berlin)（柏林工业大学）；FU Berlin（柏林自由大学）；University of Tokyo（东京大学）
本文通过组合代数方法，首次给出了任意秩矩阵从一组矩阵条目中可辨识的充要组合条件，并提出了新算法。
2012-06-27 cs.DM cs.LG cs.NA
Tensor Completion for Weakly-dependent Data on Graph for Metro Passenger Flow Prediction
The Hong Kong University of Science and Technology（香港科技大学）；Arizona State University（亚利桑那州立大学）；Tsinghua University（清华大学）
由于张量数据的普遍存在，低秩张量分解和完备化引起了学术界的极大兴趣。然而，低秩结构是一个全局属性，当数据呈现复杂和弱依赖性时，给定特定的图结构，这将无法实现。一个特定的应用，激发这项研究是时空数据分析。如初步研究所示，弱依赖性会恶化低秩张量完成性能。本文通过引入$L_{1}$ -范数惩罚和图拉普拉斯惩罚，提出了一种新的低秩CANDECOMP / PARAFAC（CP）张量分解和完成框架，用于对图的弱依赖进行建模.我们进一步提出了一个有效的优化算法的基础上的块坐标下降有效的估计。基于香港地铁客流数据进行了案例研究，以证明改进的性能比常规张量完成方法。
2019-12-11 cs.LG stat.ML
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis（加州大学戴维斯分校）
鲁棒低秩矩阵完备（RMC），或部分观测数据的鲁棒主成分分析，在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加，其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式，它最小化低秩矩阵的核范数（以促进低秩）和稀疏矩阵的l1范数（以促进稀疏性）。本文在低秩矩阵完备化和黎曼优化的基础上，将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的，因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后，我们提出了一个交替流形近端梯度延拓（AManPGC）方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明，所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统，例如电影评级，计算机视觉，例如图像重建或完成，多任务学习，例如协作建模多个传感器的时间序列趋势，以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如，图像通常包含一组异构的对象，因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度，产生准确的估计缺失的数据，迭代收敛，它是计算上易于处理的迭代次数的可控上限，直到收敛。所提出的技术的准确性进行了验证自然图像，电影收视率，和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
A Characterization of Deterministic Sampling Patterns for Low-Rank Matrix Completion
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
低秩矩阵完备化（LRMC）问题出现在各种各样的应用中。以往的理论主要提供了随机抽样缺失下的完备性条件。本文研究了完备性的确定性条件。不完全的$d \times N$矩阵是秩- $r$可完全的，如果最多有1000个秩- $r$矩阵与它的所有观测项一致.有限可完成性是LRMC的临界点，因为一个可完成矩阵的一些额外样本保证了它的唯一可完成性。本文的主要贡献是有限完备性的确定性抽样条件。我们用它来获得确定性的采样条件，可以有效地验证独特的可完成性。我们还表明，在均匀随机抽样方案下，如果观察到每列的$O(\max\{r,\log d\})$条目，则这些条件以高概率满足。这些发现有几个LRMC上的下界，样本和计算的复杂性，一致性的作用，自适应设置和任何完成算法的验证的影响。我们补充我们的理论结果与实验，支持我们的研究结果和激励未来的分析未知的采样制度。
2016-10-11 cs.LG math.AG stat.ML
Typical ranks in symmetric matrix completion
研究了对称矩阵的低秩矩阵完备化问题。一般部分指定对称矩阵的完备化的最小秩仅取决于指定元素的位置，而不是它们的值，如果允许复杂的元素。当要求条目是真实的时，情况就不再是这样了，可能的最低等级称为典型等级。本文给出了以$n$为典型秩的$n\times n$对称矩阵的指定整的模式的组合描述。此外，我们准确地描述了当这样一个通用的部分矩阵是最低限度地完成排名$n$。我们还描述了具有低的最大典型秩的条目的模式的典型秩。
2020-10-14 math.AG math.CO math.ST
Low-rank Distributional Matrix Completion
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Texas A&M University（德克萨斯农工大学）
针对每个条目为概率分布的矩阵，提出基于核均值嵌入和Tucker秩的低秩结构，通过函数展开算子连接无限维与有限维，实现分布矩阵补全并给出非渐近误差界。
2026-06-02 cs.LG math.ST stat.ML
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology（埼玉工业大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Imperial College London（帝国理工学院）；Hangzhou Dianzi University（杭州电子科技大学）；Guangdong University of Technology（广东工业大学）
传统的低秩张量分解模型在张量补全任务中，由于模型敏感性高，存在模型选择困难的问题。特别地，对于张量环（TR）分解，模型可能性的数量随着张量阶数呈指数增长，这使得找到最佳TR分解变得相当具有挑战性。在本文中，通过利用TR潜在空间的低秩结构，我们提出了一种新的张量完成方法，这是强大的模型选择。与对数据空间施加低秩约束不同，我们在潜在TR因子上引入核范数正则化，从而在更小的尺度上执行使用奇异值分解（SVD）的优化步骤。利用交替方向乘子法（ADMM）方案，可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担，从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明，所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
Ranking Recovery from Limited Comparisons using Low-Rank Matrix Completion
School of Electrical Engineering, Tel-Aviv University（特拉维夫大学电气工程学院）；Electrical Engineering Department, University of Colorado Denver（科罗拉多大学丹佛分校电气工程系）
本文提出利用低秩矩阵补全方法解决经典排名聚合问题，通过矩阵形式处理部分噪声比较数据，结合交替最小化算法和最大似然估计，重建真实偏好强度。
2018-06-14 cs.LG cs.NA math.NA
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University（阿尔托大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出一种基于代数几何和拟阵理论的代数组合新视角，通过研究少量条目间的关系来解决低秩矩阵补全问题，并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
Model-free Nonconvex Matrix Completion: Local Minima Analysis and Applications in Memory-efficient Kernel PCA
University of California Davis（加州大学戴维斯分校）
研究了利用非凸优化方法从部分元素逼近正半定矩阵的低秩问题。在不对秩匹配、条件数或特征空间不相干参数作任何假设的情况下，我们刻画了基于局部最小值的低秩分解逼近固定正半定矩阵的性能.此外，在对条件数和特征空间不相干参数的秩匹配和有界性的某些假设下，我们的主要定理的推论改进了Ge等人[2016，2017]中无伪局部极小值的非凸矩阵完备的最新采样率结果。此外，我们研究了当所提出的非凸优化结果在准确的低秩近似，即使在存在大的条件数，大的不相干参数，或秩失配。我们还建议将非凸优化应用于内存有效的核PCA。数值实验表明，与Nyström方法相比，该方法在低秩近似和聚类方面都具有更好的稳定性.
2019-04-04 cs.LG math.OC stat.ML
Advancing Matrix Completion by Modeling Extra Structures beyond Low-Rankness
Rutgers University（罗格斯大学）
Cand{è}s和Recht建立了一种基于凸优化的著名的低秩矩阵完备化方法。虽然理论上是完备的，但该方法可能无法完全解决低秩矩阵完备化问题。这是因为该方法仅捕获低秩属性，其仅给出数据点位于某个低维子空间上的粗略约束，但通常忽略更详细地指定数据点如何位于子空间上的额外结构。当数据点的几何分布不均匀时，数据的相干参数可能很大，因此，即使我们想要恢复的潜在矩阵是相当低的秩，该方法也可能失败。为了更好地处理非均匀数据，在本文中，我们提出了一种称为低秩因子分解（LRFD）的方法，该方法施加了额外的限制，即数据点必须表示为预先构建或学习的字典中的基的线性组合。我们表明，LRFD可以很好地处理非均匀数据，只要字典配置正确：我们从数学上证明，如果字典本身是低秩的，那么LRFD是免疫的相干参数，这可能是大的非均匀数据。这为学习LRFD中的字典提供了一个基本原则，并且自然地导致了推进矩阵完成的实用算法。在随机生成的矩阵和运动数据集上进行的大量实验显示了令人鼓舞的结果。
2014-07-16 cs.IT cs.LG math.IT
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文针对泊松噪声下的低秩矩阵去噪与补全问题，分析三种估计器并给出依赖秩、观测比例及行列和的上界误差，证明其极小极大最优性，并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
Matrix Completion from Fewer Entries: Spectral Detectability and Rank Estimation
École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Sorbonne Universités, UPMC Univ Paris 06（索邦大学（巴黎第六大学））；ESPCI（巴黎高等物理化工学院）；CNRS UMR 7083 Gulliver（法国国家科学研究中心格列佛实验室（UMR 7083））；Institut de Physique Théorique, CEA Saclay（法国原子能和替代能源委员会萨克莱核研究中心理论物理研究所）；CNRS（法国国家科学研究中心）
由少量元素求低秩矩阵的完备化是一个有许多实际应用的问题。我们在这里考虑这个问题的两个方面：可检测性，即从最少的可能随机条目可靠地估计秩$r$的能力，以及实现小的重建误差的性能。我们提出了一个频谱算法，这两个任务称为MaCBetH（矩阵完成与贝特海森）。秩被估计为Bethe Hessian矩阵的负特征值的数量，并且相应的特征向量被用作估计矩阵与所揭示的条目之间的差异最小化的初始条件。我们分析了随机矩阵设置中的性能，使用的Hopfield神经网络的统计力学的结果，并特别表明，MaCBetH有效地检测从$C(r)r\sqrt{nm}$条目，其中$C(r)$是一个常数接近$1$的大型$n\times m$矩阵的秩$r$。我们还评估了相应的均方根误差的经验，并表明，MaCBetH相比有利的其他现有的方法。
2016-01-28 cond-mat.dis-nn cs.LG stat.ML
Orthogonal Rank-One Matrix Pursuit for Low Rank Matrix Completion
Arizona State University（亚利桑那州立大学）；The University of Georgia（佐治亚大学）；Simon Frasor University（西蒙弗雷泽大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种高效可扩展的低秩矩阵补全算法，通过将正交匹配追踪方法扩展到矩阵领域，并引入新的权重更新规则降低计算和存储复杂度，具有线性收敛速度和单一可调参数，适用于大规模学习问题。
2014-04-16 cs.LG cs.NA math.NA
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成，并提出了新的算法，采用自适应采样方案，以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵（张量）的列空间具有高度信息性的条目，因此，即使当行空间高度一致时，我们的结果也成立，与以前的分析相反。在没有噪声的情况下，我们表明，可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明，可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复，我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟，验证我们的理论，并证明我们的算法的可扩展性。
2013-11-09 stat.ML
Time-series imputation using low-rank matrix completion
本文提出基于时间序列块-Hankel矩阵低秩补全的HI插补方法，并通过仿真与五种传统技术比较，验证其在缺失数据插值及尖锐峰值重现方面的竞争力。
2024-08-05 stat.ME
Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares
矩阵补全问题吸引了很多关注，主要是由于著名的Netflix竞争。解决这个问题的两种流行方法是核范数正则化矩阵近似（Candes和Tao，2009，Mazumder，Hastie和Tibshirani，2010）和最大余量矩阵分解（Srebro，Rennie和Jaakkola，2005）。这两个程序在某些情况下解决等效问题，但使用完全不同的算法。在这篇文章中，我们将这两种方法结合在一起，导致一个有效的算法，大矩阵分解和完成，优于这两个。我们开发了一个软件包“softImpute”在R中实现我们的方法，和一个分布式版本的非常大的矩阵使用“火花”集群编程环境。
2014-10-09 stat.ME stat.ML
Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent
基于因式分解的梯度下降算法是一种可扩展的、高效的低秩矩阵完备化算法。结构化非凸优化的最新进展在低秩矩阵和样本集上的某些统计假设下为梯度下降算法提供了整体收敛保证。然而，虽然理论表明梯度下降法具有快速线性收敛到问题的全局解的能力，但边界技术的普遍性质使其无法获得对收敛速度收敛速率的准确估计。在本文中，我们进行了局部分析的精确线性收敛速率的梯度下降的因式分解为基础的矩阵完成对称矩阵。在不对底层模型作任何额外假设的情况下，我们确定了梯度下降算法局部收敛的确定性条件，该条件仅依赖于解矩阵和采样集.更重要的是，我们的分析提供了一个封闭形式的表达式的渐近收敛速率，完全匹配的线性收敛在实践中观察到的。据我们所知，我们的结果是第一个提供了确切的收敛速率梯度下降矩阵分解在欧氏空间矩阵完成。
2021-02-06 math.OC stat.ML
1-Bit Matrix Completion under Exact Low-Rank Constraint
我们考虑了在真实底层矩阵$M^*$上的精确秩约束下的噪声1位矩阵完备化问题。代替观察矩阵$M^*$的噪声连续值条目的子集，我们观察根据概率模型生成的噪声1位（或二进制）测量的子集。我们考虑$M^*$的约束极大似然估计，约束下的条目式无穷范数的$M^*$和一个确切的秩约束。这是在以前的工作中使用凸松弛的秩。我们提供了一个上界的矩阵估计误差在此模型下。与已有的结果相比，我们的界具有更快的收敛速度与矩阵维数时，显示的1位观测的分数是固定的，独立于矩阵维数。我们还提出了一个迭代算法来解决我们的非凸优化与证书的全局最优性的极限点。该算法基于$M^*$的低秩分解。我们验证了合成和真实数据的方法与现有的方法相比，具有更好的性能。
2015-02-24 stat.ML
Low-Rank Approximation and Completion of Positive Tensors
University of California, Berkeley（加州大学伯克利分校）
与矩阵情况不同，计算张量的低秩近似是NP困难的，并且通常是数值不适定的。即使是张量的最佳秩-1近似也是NP困难的。在本文中，我们使用凸优化发展多项式时间算法的低秩逼近和完善的正张量。我们的方法是使用代数拓扑定义一个新的（数值适定性）分解的正张量，我们证明是等价的标准张量分解在重要的情况下。虽然计算这个分解是一个非凸的最优化问题，我们证明了它可以精确地转化为凸优化问题。这使我们能够构造多项式时间的随机算法来计算这种分解和解决低秩张量近似问题。结果之一是，正张量的最佳秩1近似可以在多项式时间内计算。我们的框架下一个扩展到张量完成问题，其中张量的噪声条目被观察到，然后用于估计丢失的条目。我们提供了一个多项式时间算法，对于特定的情况下，需要一个多项式（张量顺序）数量的测量，与现有的方法，需要一个指数数量的测量。这些算法被扩展到利用张量的稀疏性，以减少所需的测量次数。最后，我们提供了一个新的解释统计回归问题的分类变量张量完成问题，和合成数据和数据从生物工程代谢网络的数值例子表明，我们的方法在这个问题上的改进性能。
2016-09-13 cs.LG math.ST stat.TH
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架，用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述：用于决定是否可以重建条目的有效算法，以及如果可以，则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下，我们的算法是准确的。对于秩一矩阵，新算法是快速的，承认一个高度并行的实现，并产生一个误差最小化估计，定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
An Extended Frank-Wolfe Method with "In-Face" Directions, and its Application to Low-Rank Matrix Completion
主要由低秩矩阵完成问题的动机，我们提出了一个扩展的Frank-Wolfe方法，旨在诱导近最优解的低维面的可行域。这是通过一种新的方法来实现的，在每次迭代中生成“面内”方向，以及通过新的选择规则来选择面内和“常规”Frank-Wolfe步骤。我们的框架生成的面方向概括了沃尔夫介绍的远离步骤的概念。特别地，面内方向总是将下一个面保持在包含当前面的最小面内。我们提出了新的方法，权衡效率计算近最优解与上界上的最小面的迭代。我们将新的方法应用到矩阵补全问题，其中低维面对应于低秩矩阵。我们目前的计算结果表明，我们的方法在产生近最优解的非常低的排名的有效性。在人工和真实数据集上，我们证明了与Frank-Wolfe方法或其传统的远离步骤变体相比，在计算非常低秩的近最优解时的显着加速。
2015-11-06 math.OC stat.CO stat.ML
Data-fusion using factor analysis and low-rank matrix completion
数据融合涉及多个相关数据集的集成。统计文件匹配问题是多变量分析中的一个典型数据融合问题，其目标是在只观测到严格的边缘分布子集时，确定一组变量的联合分布。考虑到缺失数据模式，估计全套变量的协方差阵具有挑战性。因子分析模型在数据生成过程中使用低维潜变量，这在完全数据矩阵和总体协方差阵中引入了低秩分量。利用因子分析模型的低秩结构，可以通过低秩矩阵补全从不完整数据中估计完整的协方差阵。我们证明了可识别的因素分析模型中的统计文件匹配问题的条件下，在观察到的边缘子集的因素和共享变量的数量。此外，我们提供了一个期望最大化算法的参数估计。在几个真实的数据集上，因子模型在文件匹配问题中给出了比低秩矩阵完成的常见方法更小的重建误差。
2021-04-07 stat.ME
Parallel matrix factorization for low-rank tensor completion
Rice University（莱斯大学）；Dalian University of Technology（大连理工大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出通过同时进行所有模式矩阵化低秩矩阵分解来恢复低秩张量，采用交替最小化算法并结合自适应秩调整策略，有效从更少样本中恢复合成低秩张量，并在真实数据上表现优异。
2015-03-24 cs.NA math.NA stat.CO
A deterministic theory of low rank matrix completion
利用一组显示元素完成一个大型低秩矩阵的问题在过去的十年里受到了广泛的关注。本文的主要结果给出了具有任意缺失模式的矩阵完备化问题序列渐近可解的一个充要条件，用图极限论的语言表述。然后，它表明，一个小的修改的Candès-Recht核范数最小化算法提供了所需的渐近解时，该序列的问题是渐近可解的。该理论是完全确定的，没有随机性的假设。列出了一些未决问题。
2021-04-16 math.CO math.PR math.ST
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题，其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分，噪声观察其条目，出现在许多统计，机器学习，和工程应用。在本文中，我们提出了一种新的，信息理论的方法，主动采样（或设计）的矩阵项的噪声矩阵完成，最大熵设计原则的基础上。我们的方法的一个新颖之处是，它隐含地利用不确定性量化（UQ）-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解（例如，相干性）和编码设计（例如，拉丁方）的采样性能和UQ的噪声矩阵完成。使用这样的见解，我们开发了一个有效的后验采样器的UQ，然后用于指导矩阵条目的封闭形式的采样方案。最后，我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
Noisy low-rank matrix completion with general sampling distribution
本文研究了带噪声的矩阵完备化问题。与以前的作品不同，我们考虑相当一般的采样分布，我们不需要知道或估计噪声的方差。提出了两个新的核范数惩罚估计，其中一个是平方根型的。我们分析了他们的性能在高维尺度下，并提供非渐近界的Frobenius范数误差。直到对数因子，这些性能保证在许多情况下是最小最大最优的。
2014-02-05 math.ST stat.TH
Rank regularization and Bayesian inference for tensor completion and extrapolation
University of Minnesota（明尼苏达大学）
本文提出了一种新的正则化的PARAFAC分解因子捕获张量的秩，作为完成的三路数据阵列的缺失条目的关键使能器。在贝叶斯框架中，张量完成方法结合了先验信息，以增强其平滑和预测能力。这种概率方法可以自然地适应数据分布的一般模型，从而适应各种拟合标准，从而在最大后验意义上产生最佳估计。特别是，两个算法的高斯分布和泊松分布的数据，最小化秩正则化最小二乘误差和Kullback-Leibler发散，分别设计。所提出的技术是能够恢复“地面实况”的张量秩测试时，合成数据，并完成脑成像和酵母基因表达数据集分别与50%和15%的缺失条目，导致在-10 dB和-15 dB的恢复误差。
2013-01-31 cs.IT cs.LG math.IT
Efficient Low Rank Tensor Ring Completion
Purdue University（普渡大学）；Tufts University（塔夫茨大学）
使用最近提出的张量环分解的矩阵乘积状态（MPS）表示，在本文中，我们提出了一个张量完成算法，这是一个交替的最小化算法，交替在MPS表示的因素。这种发展的动机部分是由矩阵完成算法的成功，交替（低秩）的因素。本文提出了张量环完备化算法的谱初始化方法，并分析了该算法的计算复杂性。我们数值比较它与现有的方法，采用低秩张量训练近似数据完成，并表明我们的方法优于现有的各种真正的计算机视觉设置，从而证明了张量环的表达能力的改善相比，张量训练。
2017-07-23 cs.IT cs.LG math.IT
On Deterministic Sampling Patterns for Robust Low-Rank Matrix Completion
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
在这封信中，我们研究了确定性采样模式的低秩矩阵的完成，当破坏与稀疏噪声，也被称为鲁棒矩阵完成。我们推广了最近的结果确定性抽样模式的基础上的几何分析的格拉斯曼流形上的噪音。一个特殊的情况下，每列有一定数量的噪声条目被认为是，我们的概率分析执行非常有效。此外，假设原始矩阵的秩没有给出，我们提供了一个分析，以确定是否一个有效的完成的秩确实是与稀疏噪声损坏的数据的实际秩通过验证一些条件。
2017-12-05 cs.CV cs.IT cs.LG
Information Theoretic Bounds for Low-Rank Matrix Completion
从信息论的角度研究了低秩矩阵的完备化问题。完成问题被改写为一个（未编码）低秩矩阵源的擦除信道的通信问题。然后，本文使用的可扩展性和逆参数，目前的顺序明智的最佳界限的完成问题。
2010-01-14 cs.CC cs.IT math.IT
Multi-mode Core Tensor Factorization based Low-Rankness and Its Applications to Tensor Completion
Ghent University（根特大学）
低秩张量完备化在计算机视觉和机器学习中有着广泛的应用。本文提出了一种新的多模态核张量因子分解（MCTF）方法，该方法结合了张量低秩测度和该测度的一种更好的非凸松弛形式（NC-MCTF）。所提出的模型对Tucker和T-SVD提供的一般张量的低秩见解进行编码，因此预计可以同时对多个方向的谱低秩进行建模，并根据少量观察到的条目准确地恢复固有低秩结构的数据。此外，我们研究了MCTF和NC-MCTF正则化极小化问题，并设计了一个有效的块连续上界极小化（BSUM）算法来求解它们。这种高效的求解器可以将MCTF扩展到各种任务，例如张量完成。一系列实验，包括高光谱图像（HSI），视频和MRI完成，证实了所提出的方法的优越性能。
2021-12-14 cs.CV cs.IT math.IT
Exact matrix completion based on low rank Hankel structure in the Fourier domain
矩阵补全是关于从其部分显示的元素中恢复矩阵，并且它通常可以通过利用目标矩阵的固有简单性或低维结构来实现。例如，矩阵简单性的一个典型概念是低秩。本文研究了基于另一种低维结构，即傅立叶域上的低秩Hankel结构的矩阵完备化。它表明，这种结构的矩阵可以通过求解凸优化程序提供的采样复杂度是接近最优的准确恢复。实验结果也证明了凸方法的有效性。
2019-10-07 cs.IT math.IT math.OC
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa（爱荷华大学）
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后，提出了一种有效的可行点方法--投影Wirtinger梯度下降（PWGD）算法，有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同，我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
Fast and Provable Algorithms for Spectrally Sparse Signal Reconstruction via Low-Rank Hankel Matrix Completion
$r$阶的频谱稀疏信号是$r$阻尼或无阻尼复正弦曲线的混合。本文研究了从$n$规则时域样本的随机子集重构谱稀疏信号的问题，该问题可以转化为一个低秩Hankel矩阵完备化问题。我们介绍了一种迭代硬阈值（IHT）算法和一种快速迭代硬阈值（FIHT）算法，通过低秩Hankel矩阵完成频谱稀疏信号的有效重建。已经建立了FIHT的理论回收率保证，表明$O(r^2\log^2(n))$样品数量足以实现高概率的精确回收。经验性能比较建立显着的计算优势IHT和FIHT。特别是，在$3$ D阵列上的数值模拟证明了FIHT处理大规模和高维真实数据的能力。
2016-06-05 cs.IT math.IT
Subspace Evolution and Transfer (SET) for Low-Rank Matrix Completion
我们描述了一个新的算法，称为子空间演化和转移（SET），解决低秩矩阵完成问题。该算法以一个低秩矩阵的元素子集作为输入，输出一个与给定观测值一致的低秩矩阵。完成任务是通过搜索格拉斯曼流形上的一个列空间，匹配不完整的意见。SET算法由子空间演化和子空间转移两部分组成。在演化部分，我们使用了一个梯度下降方法的格拉斯曼流形上，以改善我们的估计的列空间。由于梯度下降算法不能保证收敛，由于沿搜索路径的障碍的存在，我们设计了一个新的机制，用于检测障碍和转移估计的列空间跨越障碍。该机制构成了该算法传输步骤的核心。SET算法在高采样率和低采样率两种情况下都表现出优异的经验性能。
2010-06-11 cs.IT math.IT
