Matrix Completion and Tensor Rank
本文证明了低秩矩阵完备化问题可以归结为求某个张量的秩的问题。
2013-07-23 math.OC math.ST stat.TH
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China（电子科技大学）
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能，在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性，我们提出了鲁棒张量环完备（RTRC），它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束，而稀疏分量由其l1范数正则化。我们分析了RTRC模型，并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题，并快速求解。在数值实验中，我们验证了所提出的方法在合成数据上的恢复条件，并表明所提出的方法在许多真实世界的基于数据的任务中，即，光场图像恢复，人脸图像中的阴影去除，以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
On the Robustness of Cross-Concentrated Sampling for Matrix Completion
University of Central Florida（中佛罗里达大学）；Michigan State University（密歇根州立大学）
针对交叉集中采样（CCS）矩阵补全模型对稀疏异常值鲁棒性不明的问题，本文提出鲁棒CCS补全问题及高效非凸迭代算法RCURC，其效率与鲁棒性在合成及真实数据集上获验证。
2024-01-28 cs.IT cs.LG math.IT
Entry-Specific Bounds for Low-Rank Matrix Completion under Highly Non-Uniform Sampling
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
针对高度非均匀采样的低秩矩阵补全，本文提出在较小子矩阵上估计并给出逐条目误差上界，且该界在一定条件下匹配极小极大下界。
2024-02-29 cs.LG stat.ML
Online high rank matrix completion
Cornell University（康奈尔大学）
最近的进展，在矩阵完成使数据填补满秩矩阵，利用低维（非线性）的潜在结构。在本文中，我们开发了一个新的模型，高秩矩阵完成（HRMC），连同批处理和在线方法来拟合模型和样本外扩展，以完成新的数据。该方法的工作原理是使用核技巧将数据（隐式）映射到高维多项式特征空间;重要的是，即使原始数据矩阵是满秩的，数据也会占用该特征空间中的低维子空间。我们引入了一个明确的参数化的低维子空间，和一个在线拟合过程，以减少计算复杂性相比，最先进的在线方法也可以处理流或顺序数据，并适应非平稳的潜在结构。我们提供了这些方法成功所需的采样率的指导。在合成数据和运动捕捉数据上的实验结果验证了所提方法的性能。
2020-02-20 cs.LG stat.ML
A Characterization of Deterministic Sampling Patterns for Low-Rank Matrix Completion
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
低秩矩阵完备化（LRMC）问题出现在各种各样的应用中。以往的理论主要提供了随机抽样缺失下的完备性条件。本文研究了完备性的确定性条件。不完全的$d \times N$矩阵是秩- $r$可完全的，如果最多有1000个秩- $r$矩阵与它的所有观测项一致.有限可完成性是LRMC的临界点，因为一个可完成矩阵的一些额外样本保证了它的唯一可完成性。本文的主要贡献是有限完备性的确定性抽样条件。我们用它来获得确定性的采样条件，可以有效地验证独特的可完成性。我们还表明，在均匀随机抽样方案下，如果观察到每列的$O(\max\{r,\log d\})$条目，则这些条件以高概率满足。这些发现有几个LRMC上的下界，样本和计算的复杂性，一致性的作用，自适应设置和任何完成算法的验证的影响。我们补充我们的理论结果与实验，支持我们的研究结果和激励未来的分析未知的采样制度。
2016-10-11 cs.LG math.AG stat.ML
Low-rank matrix completion theory via Plucker coordinates
Key Laboratory of Mathematics Mechanization, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院数学机械化重点实验室）
尽管低秩矩阵完备化的流行，其理论的大部分已经发展的假设下的随机观测模式，而很少有人知道的实际相关的情况下，非随机模式。具体来说，一个基本但很大程度上开放的问题是描述允许唯一或多个完成的模式。本文提供了两个这样的家庭模式的任何秩。实现这一点的关键是一个新的配方低秩矩阵完成Plucker坐标，后者是传统的计算机视觉的工具。这种连接是潜在的意义，一个广泛的家庭矩阵和子空间学习问题与不完整的数据。
2023-02-23 cs.LG math.AG stat.ML
Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares
矩阵补全问题吸引了很多关注，主要是由于著名的Netflix竞争。解决这个问题的两种流行方法是核范数正则化矩阵近似（Candes和Tao，2009，Mazumder，Hastie和Tibshirani，2010）和最大余量矩阵分解（Srebro，Rennie和Jaakkola，2005）。这两个程序在某些情况下解决等效问题，但使用完全不同的算法。在这篇文章中，我们将这两种方法结合在一起，导致一个有效的算法，大矩阵分解和完成，优于这两个。我们开发了一个软件包“softImpute”在R中实现我们的方法，和一个分布式版本的非常大的矩阵使用“火花”集群编程环境。
2014-10-09 stat.ME stat.ML
Matrix Completion from General Deterministic Sampling Patterns
Purdue University（普渡大学）；MIT（麻省理工学院）
本文针对任意确定性采样模式，利用观测图的连通性和节点度性质，为约束核范数最小化求解精确及近似低秩矩阵补全建立理论保证，并改进对称矩阵情形下的已有结果。
2023-06-04 cs.LG stat.ML
Typical and Generic Ranks in Matrix Completion
我们从几何的角度考虑低秩矩阵的精确完备化问题：给定一个部分填充矩阵M，我们保持指定和未指定元素的位置固定，并研究最小完备秩如何依赖于已知元素的值.如果矩阵的元素是复数，则对于指定和未指定元素的位置的固定模式，存在以正概率出现的唯一完成秩。我们称这个等级为通用完成等级。在实数上，可以有多个以正概率出现的秩;我们称之为典型的完成秩。我们正式介绍这些概念，并提供了一些不等式和确切的结果，典型的和通用的不同家庭的模式的已知和未知的条目的排名。
2019-09-22 cs.NA math.AG math.NA
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University（波士顿大学）
我们研究交替最小化矩阵完成在最简单的可能设置：完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画，给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Structured low-rank matrix completion for forecasting in time series analysis
Cardiff University（卡迪夫大学）；CNRS（法国国家科学研究中心）
本文研究了低秩矩阵补全问题，应用于时间序列预测。基于Hankel矩阵的补全方法和核范数松弛，通过理论和实验证明了适当选择已知观测加权方案的重要性。
2018-02-22 cs.NA cs.SY eess.SY
Low-rank optimization for distance matrix completion
University of Liège（列日大学）
本文研究了低秩距离矩阵的完备化问题。当数据嵌入空间的维度可能未知但与所考虑的数据点的数量相比很小时，这个问题相当于恢复距离矩阵的缺失条目。重点是高维问题。我们将所考虑的问题转化为低秩正半定矩阵集合上的最优化问题，并提出了两个有效的低秩距离矩阵完备化算法。此外，我们提出了一种策略来确定嵌入空间的维数。由此产生的算法规模高维问题和单调收敛到一个全球性的解决方案的问题。最后，数值实验表明所提出的算法在基准测试中具有良好的性能。
2013-04-25 cs.LG math.OC stat.ML
Uncertainty Quantification For Low-Rank Matrix Completion With Heterogeneous and Sub-Exponential Noise
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
低秩矩阵完成与异构和次指数（相对于均匀和高斯）噪声的问题是特别相关的一些应用在现代商业。例子包括小组销售数据和从网络商务系统（如推荐引擎）收集的数据。一个重要的未解决的问题，这个问题是描述下常见的低秩估计估计矩阵元素的分布。这样的特性是必不可少的任何应用，需要量化的不确定性，在这些估计，迄今为止，只有在假设均匀高斯噪声。在这里，我们的特点估计矩阵条目的分布时，观察噪声是异构的次指数，并提供，作为一个应用程序，明确的公式，这种分布时，观察到的条目是泊松分布或二进制分布。
2021-10-22 cs.LG stat.ML
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research（百度研究院）；Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题，即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩，最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能，并具有良好的理论特性，但由于重复访问单个奇异值，计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解，提出了一种新的非凸低秩正则化器，称为“核范数减Frobenius范数”正则化器，它是可扩展的，自适应的和声音。我们首先证明了它具有自适应收缩特性。此外，我们发现它的因式分解的形式，绕过奇异值的计算，并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明，所提出的方法获得了最先进的恢复性能，同时是最快的相比，现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Preference Completion from Partial Rankings
University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一种新的和有效的算法的协作偏好完成的问题，它涉及到联合估计个性化的排名为一组实体在一组共享的项目，根据有限数量的观察到的亲和力值。我们的方法利用了这样的观察，即虽然偏好通常被记录为数值分数，但预测的兴趣量是潜在的排名。因此，试图紧密匹配记录的分数可能会导致过拟合和损害泛化性能。相反，我们提出了一个估计，直接适合潜在的偏好顺序，结合核规范约束，以鼓励低秩参数。除了（近似）正确性的排名顺序，建议的估计没有生成假设的数值分数的观察。一个后果是，建议的估计可以适合任何一致的部分排名的一个子集的项目表示为一个有向无环图（DAG），概括的标准技术，只能适合偏好得分。尽管这种一般性，监督代表总或分块总订单，我们的算法的计算复杂度是在一个$\log$因子的标准算法的核范数正则化为基础的估计矩阵完成。我们进一步展示了一个新颖的和具有挑战性的应用程序的协作排名的大脑区域和认知神经科学术语之间的关联有前途的实证结果。
2016-11-14 cs.LG stat.ML
Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent
基于因式分解的梯度下降算法是一种可扩展的、高效的低秩矩阵完备化算法。结构化非凸优化的最新进展在低秩矩阵和样本集上的某些统计假设下为梯度下降算法提供了整体收敛保证。然而，虽然理论表明梯度下降法具有快速线性收敛到问题的全局解的能力，但边界技术的普遍性质使其无法获得对收敛速度收敛速率的准确估计。在本文中，我们进行了局部分析的精确线性收敛速率的梯度下降的因式分解为基础的矩阵完成对称矩阵。在不对底层模型作任何额外假设的情况下，我们确定了梯度下降算法局部收敛的确定性条件，该条件仅依赖于解矩阵和采样集.更重要的是，我们的分析提供了一个封闭形式的表达式的渐近收敛速率，完全匹配的线性收敛在实践中观察到的。据我们所知，我们的结果是第一个提供了确切的收敛速率梯度下降矩阵分解在欧氏空间矩阵完成。
2021-02-06 math.OC stat.ML
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）；the University of Iowa（爱荷华大学）；Michigan State University（密歇根州立大学）
本文针对核范数正则化矩阵补全，在目标矩阵顶部特征空间不连贯假设下，首次推导出恢复满秩矩阵最佳低秩逼近的相对误差上界，弥补了现有加性误差界无法刻画完美恢复及特征值偏斜分布的不足。
2024-05-29 cs.LG stat.ML
Matrix Completion Under Monotonic Single Index Models
Wisconsin Institutes for Discovery（威斯康星发现研究院）；UW-Madison（威斯康星大学麦迪逊分校）；University of Michigan Ann Arbor（密歇根大学安娜堡分校）
矩阵完备化的最新结果假设所考虑的矩阵是低秩的，或者列是低秩子空间的并集。然而，在现实世界中，这些模型的线性结构被（通常未知的）非线性变换扭曲。本文讨论的挑战，矩阵完成在面对这样的非线性。给定一个矩阵的几个观测值，通过对一个低秩矩阵应用Lipschitz单调函数得到，我们的任务是估计剩余的未观测项。我们提出了一种新的矩阵补全方法，交替低秩矩阵估计和单调函数估计丢失的矩阵元素。均方误差界限提供了对基于矩阵的大小、秩和非线性变换的性质来估计矩阵的程度的洞察。合成和真实世界的数据集上的实证结果证明了所提出的方法的竞争力。
2015-12-29 cs.LG stat.ML
Disjunctive Branch-and-Bound for Certifiably Optimal Low-Rank Matrix Completion
本文提出了一种基于离散分支限界法的低秩矩阵补全方法，通过凸松弛和优化策略，实现可证明最优的矩阵补全，显著降低最优性差距并提升测试误差表现。
2026-03-11 cs.LG math.OC stat.ML
Typical ranks in symmetric matrix completion
研究了对称矩阵的低秩矩阵完备化问题。一般部分指定对称矩阵的完备化的最小秩仅取决于指定元素的位置，而不是它们的值，如果允许复杂的元素。当要求条目是真实的时，情况就不再是这样了，可能的最低等级称为典型等级。本文给出了以$n$为典型秩的$n\times n$对称矩阵的指定整的模式的组合描述。此外，我们准确地描述了当这样一个通用的部分矩阵是最低限度地完成排名$n$。我们还描述了具有低的最大典型秩的条目的模式的典型秩。
2020-10-14 math.AG math.CO math.ST
Matrix Completion under Low-Rank Missing Mechanism
Fudan University（复旦大学）；Texas A&M University（德州农工大学）；Peking University（北京大学）
矩阵完备化是一个现代的缺失数据问题，其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分，现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中，我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵，并进一步通过逆概率加权来完成目标矩阵。由于高维和极端（即，非常小）的真实概率矩阵的性质，需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis（加州大学戴维斯分校）
鲁棒低秩矩阵完备（RMC），或部分观测数据的鲁棒主成分分析，在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加，其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式，它最小化低秩矩阵的核范数（以促进低秩）和稀疏矩阵的l1范数（以促进稀疏性）。本文在低秩矩阵完备化和黎曼优化的基础上，将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的，因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后，我们提出了一个交替流形近端梯度延拓（AManPGC）方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明，所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
A Combinatorial Algebraic Approach for the Identifiability of Low-Rank Matrix Completion
Berlin Institute of Technology (TU Berlin)（柏林工业大学）；FU Berlin（柏林自由大学）；University of Tokyo（东京大学）
本文通过组合代数方法，首次给出了任意秩矩阵从一组矩阵条目中可辨识的充要组合条件，并提出了新算法。
2012-06-27 cs.DM cs.LG cs.NA
Matrix Completion via Max-Norm Constrained Optimization
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
在均匀采样模型下，矩阵完备化已经得到了很好的研究，迹范数正则化方法在这种情况下在理论和数值上都有很好的表现。然而，均匀采样模型对于一系列应用是不现实的，并且当底层采样方案是非均匀的时，标准迹范数松弛可以表现得非常差。本文提出并分析了一般抽样模型下噪声矩阵完备化的最大范数约束经验风险最小化方法。在近似低秩矩阵重构的背景下，在Frobenius范数损失下建立了最优收敛速度。结果表明，最大范数约束的方法是极大极小率最优的，并产生一个统一的和强大的近似恢复保证，相对于采样分布。该方法的计算效率也进行了讨论，基于一阶算法求解凸优化涉及最大范数正则化。
2017-04-28 cs.IT cs.LG math.IT
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题，其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分，噪声观察其条目，出现在许多统计，机器学习，和工程应用。在本文中，我们提出了一种新的，信息理论的方法，主动采样（或设计）的矩阵项的噪声矩阵完成，最大熵设计原则的基础上。我们的方法的一个新颖之处是，它隐含地利用不确定性量化（UQ）-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解（例如，相干性）和编码设计（例如，拉丁方）的采样性能和UQ的噪声矩阵完成。使用这样的见解，我们开发了一个有效的后验采样器的UQ，然后用于指导矩阵条目的封闭形式的采样方案。最后，我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统，例如电影评级，计算机视觉，例如图像重建或完成，多任务学习，例如协作建模多个传感器的时间序列趋势，以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如，图像通常包含一组异构的对象，因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度，产生准确的估计缺失的数据，迭代收敛，它是计算上易于处理的迭代次数的可控上限，直到收敛。所提出的技术的准确性进行了验证自然图像，电影收视率，和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
High-Rank Matrix Completion and Subspace Clustering with Missing Data
Boston University（波士顿大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文在矩阵列属于多个低秩子空间并的假设下，研究了多缺元矩阵的补问题。这将标准的低秩矩阵完备化问题推广到矩阵秩可以很高甚至满秩的情况。由于列属于子空间的并集，因此该问题也可以被视为子空间聚类问题的缺失数据版本。设X是一个n × N矩阵，其（完全）列位于至多k个子空间的并集中，每个子空间的秩<= r < n，并假设N >> kn。本文的主要结果表明，在温和的假设下，只要X的至少CrNlog^2（n）个元素是随机一致观测的，且C>1是一个常数，取决于通常的不相干条件、子空间的几何排列以及列在子空间上的分布，那么X的每一列都可以以很高的概率从不完整的版本完美地恢复。数值实验结果表明，并应用于互联网的距离矩阵完成和拓扑结构识别。
2011-12-27 cs.IT cs.LG math.IT
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology（埼玉工业大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Imperial College London（帝国理工学院）；Hangzhou Dianzi University（杭州电子科技大学）；Guangdong University of Technology（广东工业大学）
传统的低秩张量分解模型在张量补全任务中，由于模型敏感性高，存在模型选择困难的问题。特别地，对于张量环（TR）分解，模型可能性的数量随着张量阶数呈指数增长，这使得找到最佳TR分解变得相当具有挑战性。在本文中，通过利用TR潜在空间的低秩结构，我们提出了一种新的张量完成方法，这是强大的模型选择。与对数据空间施加低秩约束不同，我们在潜在TR因子上引入核范数正则化，从而在更小的尺度上执行使用奇异值分解（SVD）的优化步骤。利用交替方向乘子法（ADMM）方案，可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担，从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明，所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架，用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述：用于决定是否可以重建条目的有效算法，以及如果可以，则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下，我们的算法是准确的。对于秩一矩阵，新算法是快速的，承认一个高度并行的实现，并产生一个误差最小化估计，定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
Low Permutation-rank Matrices: Structural Properties and Noisy Completion
CMU（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
我们考虑的问题，噪声矩阵完成，其中的目标是重建一个结构化的矩阵，其条目部分观察到的噪音。这个欠定逆问题的标准方法是基于假设基础矩阵具有低秩，或者由低秩矩阵很好地近似。在本文中，我们提出了一个更丰富的模型的基础上，我们所谓的“置换秩”的矩阵。我们首先描述了经典的非负秩模型如何强制执行在实践中可能不受欢迎的限制，以及如何通过使用更丰富的置换秩模型来避免这些限制。其次，我们建立了新的置换为基础的模型下的最小最大估计率，并证明了令人惊讶的是，最小最大的估计率的对数因子下的典型的低秩模型。第三，我们分析了一个计算效率高的奇异值阈值算法，已知是最佳的低秩设置，并表明它也同时产生一个相合估计量的低排列秩设置。最后，我们提出了各种结构的结果，其特征的唯一性的置换秩分解，并表征凸近似的置换秩多面体。
2017-09-01 cs.IT cs.LG math.IT
Weighted matrix completion from non-random, non-uniform sampling patterns
我们研究了当观测模式是确定的且可能是非均匀的情况下的矩阵完备化问题。我们提出了一个简单而有效的去偏投影方案从噪声观测中恢复，并在适当的加权度量下分析了误差。我们引入了一个简单的函数的权重矩阵和采样模式，管理恢复矩阵的准确性。我们得到理论上的保证，上限的恢复误差和几乎匹配的下限，展示在几个政权的最优性。我们的数值实验证明了我们的方法的计算效率和精度，并表明，去偏置是必不可少的，当使用非均匀采样模式。
2019-10-30 cs.IT math.IT math.ST
An Extended Frank-Wolfe Method with "In-Face" Directions, and its Application to Low-Rank Matrix Completion
主要由低秩矩阵完成问题的动机，我们提出了一个扩展的Frank-Wolfe方法，旨在诱导近最优解的低维面的可行域。这是通过一种新的方法来实现的，在每次迭代中生成“面内”方向，以及通过新的选择规则来选择面内和“常规”Frank-Wolfe步骤。我们的框架生成的面方向概括了沃尔夫介绍的远离步骤的概念。特别地，面内方向总是将下一个面保持在包含当前面的最小面内。我们提出了新的方法，权衡效率计算近最优解与上界上的最小面的迭代。我们将新的方法应用到矩阵补全问题，其中低维面对应于低秩矩阵。我们目前的计算结果表明，我们的方法在产生近最优解的非常低的排名的有效性。在人工和真实数据集上，我们证明了与Frank-Wolfe方法或其传统的远离步骤变体相比，在计算非常低秩的近最优解时的显着加速。
2015-11-06 math.OC stat.CO stat.ML
Time-series imputation using low-rank matrix completion
本文提出基于时间序列块-Hankel矩阵低秩补全的HI插补方法，并通过仿真与五种传统技术比较，验证其在缺失数据插值及尖锐峰值重现方面的竞争力。
2024-08-05 stat.ME
Low-rank Distributional Matrix Completion
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Texas A&M University（德克萨斯农工大学）
针对每个条目为概率分布的矩阵，提出基于核均值嵌入和Tucker秩的低秩结构，通过函数展开算子连接无限维与有限维，实现分布矩阵补全并给出非渐近误差界。
2026-06-02 cs.LG math.ST stat.ML
Model-free Nonconvex Matrix Completion: Local Minima Analysis and Applications in Memory-efficient Kernel PCA
University of California Davis（加州大学戴维斯分校）
研究了利用非凸优化方法从部分元素逼近正半定矩阵的低秩问题。在不对秩匹配、条件数或特征空间不相干参数作任何假设的情况下，我们刻画了基于局部最小值的低秩分解逼近固定正半定矩阵的性能.此外，在对条件数和特征空间不相干参数的秩匹配和有界性的某些假设下，我们的主要定理的推论改进了Ge等人[2016，2017]中无伪局部极小值的非凸矩阵完备的最新采样率结果。此外，我们研究了当所提出的非凸优化结果在准确的低秩近似，即使在存在大的条件数，大的不相干参数，或秩失配。我们还建议将非凸优化应用于内存有效的核PCA。数值实验表明，与Nyström方法相比，该方法在低秩近似和聚类方面都具有更好的稳定性.
2019-04-04 cs.LG math.OC stat.ML
A Bayesian Approach for Noisy Matrix Completion: Optimal Rate under General Sampling Distribution
贝叶斯方法的低秩矩阵完成噪声已被证明是非常有效的计算。虽然惩罚最小化方法的行为是很好地理解从理论和计算的角度来看，在这个问题上，贝叶斯估计的理论最优性尚未探讨。本文提出了一般抽样分布下矩阵完备化的贝叶斯估计。我们还提供了一个预言不等式的估计。这个不等式证明，无论矩阵的秩估计，我们的估计达到最小最大最优的收敛速率（对数因子）。最后，我们进行了一个简短的模拟研究。
2015-01-21 math.ST stat.TH
Ranking Recovery from Limited Comparisons using Low-Rank Matrix Completion
School of Electrical Engineering, Tel-Aviv University（特拉维夫大学电气工程学院）；Electrical Engineering Department, University of Colorado Denver（科罗拉多大学丹佛分校电气工程系）
本文提出利用低秩矩阵补全方法解决经典排名聚合问题，通过矩阵形式处理部分噪声比较数据，结合交替最小化算法和最大似然估计，重建真实偏好强度。
2018-06-14 cs.LG cs.NA math.NA
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University（阿尔托大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出一种基于代数几何和拟阵理论的代数组合新视角，通过研究少量条目间的关系来解决低秩矩阵补全问题，并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文针对泊松噪声下的低秩矩阵去噪与补全问题，分析三种估计器并给出依赖秩、观测比例及行列和的上界误差，证明其极小极大最优性，并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
A Rank-Corrected Procedure for Matrix Completion with Fixed Basis Coefficients
National University of Singapore（新加坡国立大学）；South China University of Technology（华南理工大学）
针对核范数在固定基系数矩阵补全中的局限性，提出一种基于核半范数的秩校正方法，并证明其非渐近恢复误差界可降低约50%，同时给出秩一致性的充要条件。
2015-06-22 cs.IT cs.NA math.IT
Orthogonal Rank-One Matrix Pursuit for Low Rank Matrix Completion
Arizona State University（亚利桑那州立大学）；The University of Georgia（佐治亚大学）；Simon Frasor University（西蒙弗雷泽大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种高效可扩展的低秩矩阵补全算法，通过将正交匹配追踪方法扩展到矩阵领域，并引入新的权重更新规则降低计算和存储复杂度，具有线性收敛速度和单一可调参数，适用于大规模学习问题。
2014-04-16 cs.LG cs.NA math.NA
Noisy low-rank matrix completion with general sampling distribution
本文研究了带噪声的矩阵完备化问题。与以前的作品不同，我们考虑相当一般的采样分布，我们不需要知道或估计噪声的方差。提出了两个新的核范数惩罚估计，其中一个是平方根型的。我们分析了他们的性能在高维尺度下，并提供非渐近界的Frobenius范数误差。直到对数因子，这些性能保证在许多情况下是最小最大最优的。
2014-02-05 math.ST stat.TH
Data-fusion using factor analysis and low-rank matrix completion
数据融合涉及多个相关数据集的集成。统计文件匹配问题是多变量分析中的一个典型数据融合问题，其目标是在只观测到严格的边缘分布子集时，确定一组变量的联合分布。考虑到缺失数据模式，估计全套变量的协方差阵具有挑战性。因子分析模型在数据生成过程中使用低维潜变量，这在完全数据矩阵和总体协方差阵中引入了低秩分量。利用因子分析模型的低秩结构，可以通过低秩矩阵补全从不完整数据中估计完整的协方差阵。我们证明了可识别的因素分析模型中的统计文件匹配问题的条件下，在观察到的边缘子集的因素和共享变量的数量。此外，我们提供了一个期望最大化算法的参数估计。在几个真实的数据集上，因子模型在文件匹配问题中给出了比低秩矩阵完成的常见方法更小的重建误差。
2021-04-07 stat.ME
Parallel matrix factorization for low-rank tensor completion
Rice University（莱斯大学）；Dalian University of Technology（大连理工大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出通过同时进行所有模式矩阵化低秩矩阵分解来恢复低秩张量，采用交替最小化算法并结合自适应秩调整策略，有效从更少样本中恢复合成低秩张量，并在真实数据上表现优异。
2015-03-24 cs.NA math.NA stat.CO
A deterministic theory of low rank matrix completion
利用一组显示元素完成一个大型低秩矩阵的问题在过去的十年里受到了广泛的关注。本文的主要结果给出了具有任意缺失模式的矩阵完备化问题序列渐近可解的一个充要条件，用图极限论的语言表述。然后，它表明，一个小的修改的Candès-Recht核范数最小化算法提供了所需的渐近解时，该序列的问题是渐近可解的。该理论是完全确定的，没有随机性的假设。列出了一些未决问题。
2021-04-16 math.CO math.PR math.ST
Low-Rank Approximation and Completion of Positive Tensors
University of California, Berkeley（加州大学伯克利分校）
与矩阵情况不同，计算张量的低秩近似是NP困难的，并且通常是数值不适定的。即使是张量的最佳秩-1近似也是NP困难的。在本文中，我们使用凸优化发展多项式时间算法的低秩逼近和完善的正张量。我们的方法是使用代数拓扑定义一个新的（数值适定性）分解的正张量，我们证明是等价的标准张量分解在重要的情况下。虽然计算这个分解是一个非凸的最优化问题，我们证明了它可以精确地转化为凸优化问题。这使我们能够构造多项式时间的随机算法来计算这种分解和解决低秩张量近似问题。结果之一是，正张量的最佳秩1近似可以在多项式时间内计算。我们的框架下一个扩展到张量完成问题，其中张量的噪声条目被观察到，然后用于估计丢失的条目。我们提供了一个多项式时间算法，对于特定的情况下，需要一个多项式（张量顺序）数量的测量，与现有的方法，需要一个指数数量的测量。这些算法被扩展到利用张量的稀疏性，以减少所需的测量次数。最后，我们提供了一个新的解释统计回归问题的分类变量张量完成问题，和合成数据和数据从生物工程代谢网络的数值例子表明，我们的方法在这个问题上的改进性能。
2016-09-13 cs.LG math.ST stat.TH
Rank Determination for Low-Rank Data Completion
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
近年来，对于给定秩的低秩矩阵或张量的有限可完备性，得到了抽样模式的基本条件。在本文中，我们考虑的情况下，排名是不给定的，我们的目标是近似未知的排名的基础上采样条目的位置和一些给定的完成。我们考虑了一些数据模型，包括单视图矩阵，多视图矩阵，CP张量，张量训练张量和Tucker张量。对于这些数据模型中的每一个，我们提供了一个上界的秩时，一个任意的低秩完成。我们确定性地描述这些界限，即，假设采样模式满足某些组合性质，概率为1，并且概率上，即，假设采样概率高于某个阈值，则具有高概率。此外，对于单视图矩阵和CP张量，我们能够证明，如果最低秩完成给定，所获得的上界正好等于未知秩。此外，我们提供了数值实验的情况下，单视图矩阵，我们使用核范数最小化找到一个低秩完成的采样数据，我们观察到，在大多数情况下，建议的上限上的秩等于真正的秩。
2017-07-03 cs.LG stat.ML
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida（中佛罗里达大学）
张量补全的目标是从其条目的子集中恢复张量，通常是通过利用其低秩属性。在张量秩的几个有用的定义中，低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法，但这些算法利用二阶统计量来测量误差残差，当观察到的条目包含大的离群值时，这可能不能很好地工作。在本文中，我们提出了一个新的目标函数的低管秩张量完成，它使用相关熵作为误差测量，以减轻离群值的影响。为了有效地优化所提出的目标，我们利用半二次最小化技术，从而将优化转化为加权低管秩张量因式分解问题。随后，我们提出了两个简单而有效的算法来获得解决方案，并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明，所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Low-rank Tensor Grid for Image Completion
University of Electronic Science and Technology of China（电子科技大学）
张量补全通过利用多路数据的低秩结构来估计缺失的分量。最近提出的基于张量训练（TT）和张量环（TR）的方法在图像恢复方面表现出比经典方法更好的性能。与TT和TR相比，投影纠缠对态（PEPS），也称为张量网格（TG），允许更多的不同维度之间的相互作用，并可能导致更紧凑的表示。在本文中，我们提出了低秩张量网格的基础上进行图像完成。采用两阶段密度矩阵重整化群算法对由多个TT分解组成的TG分解进行初始化。通过求解交替最小二乘问题，可以交替地获得潜在TG因子。为了进一步提高计算效率，采用并行矩阵分解的方法，提出了一种低秩TG完备化的多线性矩阵分解方法。在合成数据和真实图像上的实验结果表明，所提出的方法在恢复精度方面优于现有的方法。
2020-04-23 cs.LG stat.ML
Tensor Completion by Multi-Rank via Unitary Transformation
Weifang University（潍坊学院）；The University of Hong Kong（香港大学）；Central China Normal University（华中师范大学）
张量完备化中的一个关键问题是保证恢复所需的均匀随机样本的个数。本文主要研究了基于变换张量奇异值分解的$n_1 \times n_2 \times n_3$三阶张量完备化方法，并给出了所需样本项数目的一个界。我们的方法是利用底层张量的多秩而不是其在界中的管秩。在合成和成像数据集的数值实验中，我们证明了我们提出的样本条目数的有效性。此外，我们的理论结果适用于变换张量奇异值分解下$n_3$ -维的任何酉变换。
2022-01-24 cs.LG stat.ML
Bayesian Low Rank Tensor Ring Model for Image Completion
低秩张量环模型是一种很好的图像补齐方法，它可以恢复数据采集和转换过程中丢失的条目。最近提出的基于张量环（TR）的完备化算法通常通过预先定义秩的交替最小二乘方法来解决低秩优化问题，当未知秩设置得太大且只有少数测量可用时，这可能容易导致过拟合。本文通过自动学习数据的低秩结构，提出了一种贝叶斯低秩张量环模型用于图像补全。提出了一种适用于低秩张量环分解的乘性相互作用模型，通过假设核心因子的项服从Student- T分布，使核心因子具有稀疏性.与现有方法相比，该方法无需参数调整，TR秩可以通过贝叶斯推断得到。数值实验，包括合成数据，不同大小的彩色图像和YaleFace数据集B相对于一个姿势，表明所提出的方法优于国家的最先进的，特别是在恢复精度方面。
2020-06-29 cs.LG cs.MM stat.ML
Distributional Negative Sampling for Knowledge Base Completion
IBM Research AI（IBM研究院人工智能部门）
用于知识库完成（KBC）的最先进方法利用了用假断言和真断言训练的深度神经网络：肯定断言明确地从知识库中获取，而否定断言通过实体的随机采样生成。在本文中，我们认为随机采样不是一个好的训练策略，因为它很可能在训练过程中产生大量的无意义断言，这并没有为系统提供相关的训练信号。因此，它减慢了学习过程并降低了准确性。为了解决这个问题，我们提出了一种称为分布式负采样的替代方法，它可以生成有意义的负样本，这些样本很可能是假的。我们的方法在三个标准的学术基准中，在两个不同的KBC算法中，平均倒数秩值得到了显着的改善。
2019-08-16 cs.AI cs.LG stat.ML
A dual framework for low-rank tensor completion
Indian Institute of Science（印度科学学院）；Microsoft（微软）
低秩张量完备化的一种流行方法是使用潜在迹范数正则化。然而，大多数现有的作品在这个方向上学习张量的稀疏组合。在这项工作中，我们填补了这一空白，提出了一个变种的潜在的跟踪规范，有助于学习张量的非稀疏组合。我们开发了一个对偶框架来解决低秩张量完备化问题。我们首先展示了一个新的特征的对偶解空间的最优解的一个有趣的分解。总的来说，最优解位于黎曼流形的笛卡尔积上。此外，我们利用多功能的黎曼优化框架，提出计算效率的信赖域算法。实验结果表明，该算法在几个真实世界的数据集跨应用程序的有效性。
2018-11-10 cs.LG stat.ML
