Streaming, Memory Limited Matrix Completion with Noise
在本文中，我们考虑流存储器有限的矩阵完成问题时，观察到的条目是一个小的随机分数的原始条目的噪声版本。我们感兴趣的场景中，矩阵的大小非常大，所以矩阵是非常难以存储和操纵。这里，观察矩阵的列被顺序地呈现，并且目标是在有限的存储空间和有限的计算复杂性的情况下在数据上通过一次之后完成缺失的条目。我们提出了一种流算法，它产生一个消失的均方误差的原始矩阵的估计，使用存储空间线性缩放与矩阵的环境维度，即所需的存储器单独存储输出，并花费计算输入矩阵的非零条目的数量。
2015-04-13 math.SP stat.ML
Robust Matrix Completion with Heavy-tailed Noise
Princeton University（普林斯顿大学）
本文研究了存在重尾和可能的非对称噪声的低秩矩阵完备化问题，我们的目标是在给定一组高度不完整的噪声条目的情况下估计一个潜在的低秩矩阵。虽然矩阵完备化问题在过去的十年里引起了人们的广泛关注，但对于观测值被重尾噪声污染的情况，仍然缺乏理论上的理解。现有的理论无法解释经验结果，也无法捕捉到估计误差对噪声水平的最佳依赖关系。在本文中，我们采用了自适应Huber损失，以适应重尾噪声，这是强大的对大的，可能是不对称的错误时，精心设计的损失函数中的参数，以平衡的Huber偏差和鲁棒性离群值。然后，我们提出了一个有效的非凸算法，通过平衡的低秩Burer-Monteiro矩阵分解和梯度下降与强大的谱初始化。证明了在误差分布仅满足有界二阶矩条件下，而不是在亚高斯假设下，该算法产生的迭代的欧氏误差几何快速减小，直至达到极小极大最优统计估计误差，其阶数与亚高斯情形相同.这一重大进步背后的关键技术是一个强大的留一分析框架。我们的模拟研究证实了理论结果。
2022-06-09 cs.IT cs.LG math.IT
Adjusting Leverage Scores by Row Weighting: A Practical Approach to Coherent Matrix Completion
Zhejiang University（浙江大学）；Rutgers University（罗格斯大学）；Shanghai Jiao Tong University（上海交通大学）
低秩矩阵完备化是一个重要的问题，有着广泛的实际应用。当观测值是从底层矩阵元素中均匀采样时，现有的方法都要求矩阵是不相干的。本文给出了标准均匀采样模型下相干矩阵完备化的第一种工作方法。我们的方法是基于加权核范数最小化的思想，在最近的几项工作中提出的，我们的主要贡献是一个实用的方法来计算加权矩阵，使杠杆得分加权后变得更加均匀。在适当的条件下，我们能够推导出理论结果，表明我们的方法的有效性。在合成数据上的实验表明，该方法能够以高精度恢复高度相干的矩阵，而标准的未加权方法即使在无噪声数据上也会失败。
2015-02-10 cs.LG stat.ML
Poisson Matrix Completion
Georgia Institute of Technology（佐治亚理工学院）
我们扩展的理论矩阵完成的情况下，我们使泊松观测的一个子集的条目的低秩矩阵。我们认为（现在）通常的矩阵恢复制定通过极大似然与适当的约束矩阵$M$，并建立理论上的上限和下限的恢复误差。我们的边界是接近最佳的顺序上的$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过调整用于一位矩阵完成\cite{davenport20121}的参数获得的（尽管这两个问题在性质上是不同的），并且调整需要利用泊松似然函数的特性的新技术，并且解决由泊松分布的局部次高斯特性所带来的困难。我们的研究结果突出了一些重要的区别泊松矩阵完成相比，以前的工作在矩阵完成，包括必须施加一个最小的信噪比要求，每个观察到的条目。我们还开发了一个有效的迭代算法，并证明其良好的性能恢复太阳耀斑图像。
2015-03-25 cs.LG stat.ML
Deterministic Completion of Rectangular Matrices Using Asymmetric Ramanujan Graphs: Exact and Stable Recovery
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
本文研究矩阵完备化问题：假设$X \in {\mathbb R}^{n_r \times n_c}$除了秩上界$r$已知外，其余未知.通过测量$X$的少量元素$m \ll n_r n_c$，是否可以用无噪声测量精确地恢复$X$，或者用有噪声测量构建$X$的良好近似？这些问题的现有解决方案涉及均匀和随机地对元素进行采样，并且只能以高概率保证未知矩阵的精确恢复。本文提出了一种\textit{deterministic}抽样矩阵补全方法。我们通过选择采样集作为非对称Ramanujan偶图的边集来实现这一点，并且约束核范数最小化是恢复方法。具体来说，我们推导出充分条件下，未知矩阵完全与无噪声测量，并近似完成与噪声测量，我们称之为“稳定”的完成。这里导出的条件仅仅是充分的，而且比随机抽样的限制性更强。为了研究它们有多接近必要，我们使用Ramanujan图的LPS家族对随机生成的低秩矩阵进行了数值模拟。这些模拟证明了两个事实：（i）为了实现精确的完成，它似乎足以选择的程度$d$的拉马努金图是$\geq 3r$。(ii)有一个“相变”，即如果排名增加一个或两个超过临界值，成功的可能性突然从100%下降到0%。相变现象在使用$\ell_1$ -范数最小化的矢量恢复中是众所周知的并且被充分研究。然而，它在矩阵完备化和核范数最小化方面的研究较少，了解不多。
2020-05-21 cs.LG stat.ML
Sample-efficient inductive matrix completion with noise and inexact side-information
Yale Department of Statistics and Data Sciences, Yale University（耶鲁大学统计与数据科学系）；UChicago Department of Statistics, University of Chicago（芝加哥大学统计系）
本文研究了在存在噪声和不精确侧信息的情况下，通过非凸投影梯度下降算法实现样本高效的归纳矩阵补全，提出了一个适用于有效问题规模的正则性条件，实现了线性收敛和估计误差仅依赖于有效问题规模的结论。
2026-06-09 cs.IT cs.LG math.IT
Collective Matrix Completion
Univ Paris Nanterre（巴黎楠泰尔大学）；ESSEC Business School（ESSEC商学院）；CREST（法国经济与统计研究所）
矩阵完备化的目的是根据对少量元素的观察来重构数据矩阵。通常在矩阵完成中考虑单个矩阵，其可以是例如推荐系统中的评级矩阵。然而，在实际情况中，数据往往是从多个来源获得的，这导致了矩阵的集合，而不是一个单一的。在这项工作中，我们考虑的问题，集体矩阵完成与多个和异构矩阵，这可以是计数，二进制，连续等，我们首先调查的设置，对于每个源，矩阵条目是从一个指数家庭分布抽样。然后，我们放松了对噪声服从指数族分布的假设，并研究了无分布的情况。在这种情况下，我们不为观察假设任何特定的模型。估计过程是基于最小化的总的拟合优度项和整个集体矩阵的核范数惩罚的总和。我们证明了所提出的估计实现快速收敛速度下的两个考虑的设置，我们证实了我们的结果与数值实验。
2019-10-21 cs.LG stat.ML
Regularization for Matrix Completion
我们考虑的问题，重建一个低秩矩阵的一个子集，其条目的噪声观测。该任务在统计学习、计算机视觉和信号处理中有应用。在这些上下文中，“噪声”一般是指对数据的任何贡献，这些贡献没有被低秩模型捕获。在大多数应用中，噪声水平与基础信号相比很大，避免过拟合很重要。为了解决这个问题，我们定义了一个正则化的成本函数非常适合光谱重建方法。在一个随机噪声模型，并在大系统的限制，我们证明了所得到的准确性经历了一个相变，这取决于噪声水平和所观察到的条目的分数。可以使用OPTSPACE（流形梯度下降算法）最小化成本函数。数值模拟表明，这种方法是有竞争力的国家的最先进的替代品。
2010-01-02 stat.AP stat.ML
Minimax Lower Bounds for Noisy Matrix Completion Under Sparse Factor Models
本文研究了一类矩阵完备问题的基本误差特性，其中感兴趣的矩阵是两个先验未知矩阵的乘积，其中一个是稀疏的，并且观测值是有噪声的。我们的主要贡献来在几个常见的噪声模型下，这个问题的预期每元素平方误差的最小最大下界的形式。具体地说，我们分析的情况下，腐败的特点是加性高斯噪声或加性尾（拉普拉斯）噪声，泊松分布的意见，和高度量化（例如，一位）观察，作为我们一般结果的实例。我们的结果建立了在（Soni et al.，2016）对于复杂性正则化的最大似然估计器，达到乘法常数和对数因子，在这些噪声场景中的每一个中的最小最大出错率，只要观测的标称数量足够大，并且稀疏因子（平均）每列至少有一个非零。
2017-10-26 cs.IT math.IT stat.ML
Synthetic Nearest Neighbors: Extending Synthetic Controls for Matrix Completion with Missing Not at Random Data
Columbia University（哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加州大学）
针对非随机缺失矩阵补全，提出合成最近邻估计器，放宽正性与独立性假设，建立误差界、一致性与渐近推断，模拟验证有效。
2026-09-15 econ.EM stat.ME stat.ML
Fast matrix completion without the condition number
本文给出了第一个矩阵完备化算法，其运行时间和样本复杂度分别为未知目标矩阵秩的多项式、矩阵维数的线性和矩阵条件数的对数。据我们所知，所有以前的算法要么招致二次依赖于未知矩阵的条件数或二次依赖于矩阵的维数在运行时间。我们的算法是基于一种新的扩展交替最小化，我们表明，即使在存在噪声的标准假设下，理论上的保证。
2014-07-15 cs.DS cs.LG stat.ML
Color Image Inpainting via Robust Pure Quaternion Matrix Completion: Error Bound and Weighted Loss
The University of Hong Kong（香港大学）
本文将彩色图像修补问题作为一个纯四元数矩阵补齐问题进行研究。在文献中，四元数矩阵完备化的理论保证并不完善。我们的主要目的是提出一个新的最小化问题的目标结合核范数和三个通道之间的二次损失加权。为了填补这一理论空白，我们利用四元数矩阵的一些新结果，得到了在干净和损坏两种情况下的误差界。一般的高斯噪声被认为是在鲁棒完成，其中所有的观察是损坏的。受误差界的启发，我们建议通过二次损失中的跨信道权重来处理不平衡或相关噪声，其主要目的是重新平衡噪声水平或去除噪声相关性。合成和彩色图像数据的广泛的实验结果，以确认和证明我们的理论研究结果。
2022-10-26 cs.CV math.ST stat.TH
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成，并提出了新的算法，采用自适应采样方案，以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵（张量）的列空间具有高度信息性的条目，因此，即使当行空间高度一致时，我们的结果也成立，与以前的分析相反。在没有噪声的情况下，我们表明，可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明，可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复，我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟，验证我们的理论，并证明我们的算法的可扩展性。
2013-11-09 stat.ML
Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research（雅虎研究院）；University of Minnesota – Twin Cities（明尼苏达大学双城分校）
归纳矩阵完备化（IMC）是一类重要的矩阵完备化问题，它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统，多标签学习，字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务，其中底层矩阵遵循IMC模型，即，它由夹在两个已知特征矩阵之间的混合矩阵（先验未知）形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni：2016：NMC的主要定理，并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上，它可以用来推导各种噪声模型的误差界。在本文中，我们实例化我们的主要结果的情况下，高斯噪声，并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
Noisy Matrix Completion under Sparse Factor Models
本文研究了一类一般的噪声矩阵完成任务，其目标是从其条目的子集获得的观测估计矩阵，其中每个条目都受到随机噪声或腐败。我们的具体重点是设置的矩阵估计是很好的近似由两个（先验未知）矩阵，其中之一是稀疏的产品。这样的结构模型-这里称为“稀疏因子模型”-已经被广泛使用，例如，在子空间聚类应用中，以及在当代稀疏建模和字典学习任务中。我们的主要理论贡献是估计误差界稀疏正则化极大似然估计的问题，这种形式，这是适用于一些不同的观测噪声或腐败模型。研究了几个具体的含义，包括观测被加性高斯噪声或加性加尾（拉普拉斯）噪声破坏的情况，泊松分布观测，以及高度量化（例如，一位）观察。我们还提出了一个简单的算法方法的基础上交替方向的乘法器为这些任务，并提供实验证据来支持我们的错误分析。
2014-11-02 cs.IT math.IT stat.AP
Restricted strong convexity and weighted matrix completion: Optimal bounds with noise
本文研究了一类行/列加权项式抽样下的矩阵完备化问题，并将均匀项式抽样的情形作为特例。我们分析了相应的随机观测算子，证明了它以很高的概率满足关于加权Frobenius范数的一种限制强凸性。利用这一性质，我们得到的推论矩阵完成的加权Frobenius范数噪声采样下的精确和近低秩矩阵的误差界。我们的研究结果是基于措施的“尖峰”和“低秩”的矩阵，比以前的工作中施加的不相干条件的限制性较小。我们的技术涉及$M$估计，包括控制的解决方案的秩和尖峰，我们建立非渐近误差界加权Frobenius范数恢复矩阵躺在$\ell_q$ -“球”的有界尖峰。使用信息论的方法，我们表明，没有算法可以实现更好的估计（对数因子）在这些相同的集合，表明我们的条件矩阵和相关的利率基本上是最优的。
2011-05-15 cs.IT math.IT math.ST
Calibrated Elastic Regularization in Matrix Completion
本文讨论了矩阵完备化问题，即根据一个小的指数子集的观测值估计一个矩阵。我们提出了一个校准谱弹性网方法与核和Frobenius罚款的总和，并开发了一个迭代算法来解决凸极小化问题。迭代算法在通过当前猜测估算不完整矩阵中的缺失条目和通过估算矩阵的缩放软阈值奇异值分解估计矩阵之间交替，直到所得矩阵收敛。随后进行校准步骤以校正由Frobenius罚分引起的偏差。在适当的相干性条件和适当的惩罚水平下，我们证明了所提出的估计器达到了接近最优阶的误差界，并与噪声水平成比例。这提供了一个统一的分析噪声和无噪声矩阵完成问题。仿真结果比较我们的建议与以前的。
2012-11-09 math.ST stat.ML stat.TH
Matrix Completion has No Spurious Local Minimum
Duke University（杜克大学）；University of Southern California（南加州大学）；Princeton University（普林斯顿大学）
矩阵完备化是一个基本的机器学习问题，在协同过滤和推荐系统中有着广泛的应用。简单的非凸优化算法在实际中是流行和有效的。尽管最近在证明各种非凸算法从一个好的初始点收敛方面取得了进展，但仍然不清楚为什么随机或任意初始化在实践中就足够了。我们证明了\textit{positive semidefinite}矩阵完备化中常用的非凸目标函数不存在虚假的局部极小值-所有的局部极小值也必须是全局的。因此，许多流行的优化算法，如（随机）梯度下降可以证明解决半正定矩阵完成\textit{arbitrary}初始化在多项式时间。该结果可以推广到当观察到的条目包含噪声时的设置。我们相信，我们的主要证明策略可以用于理解几何性质的其他统计问题，涉及部分或噪声观测。
2018-07-22 cs.DS cs.LG stat.ML
Poisson Matrix Recovery and Completion
Georgia Institute of Technology（佐治亚理工学院）
我们扩展的低秩矩阵恢复和完成的情况下，泊松观测的线性组合或一个子集的矩阵的条目，这在各种应用中出现计数数据的理论。我们认为通常的矩阵恢复配方通过最大似然适当的限制矩阵$M$的大小$d_1$ -由- $d_2$，并建立理论上的上限和下限的恢复误差。我们的边界矩阵完成几乎是最佳的顺序$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过组合技术获得的压缩感知稀疏向量与泊松噪声和分析低秩矩阵，以及调整用于一位矩阵完成\cite{davenport20121}的参数（虽然这两个问题在性质上是不同的），适应需要新的技术，利用泊松似然函数的属性，并解决由局部子-泊松分布的高斯特性。我们的研究结果突出了一些重要的区别泊松的情况下相比，以前的工作，包括必须对每个观察到的条目和差距的上限和下限施加最小的信噪比要求。我们还开发了一组高效的迭代算法，并在合成示例和真实数据上展示了它们的良好性能。
2015-09-12 cs.LG math.ST stat.ML
Constructing confidence sets for the matrix completion problem
在本说明中，我们考虑的问题，构建诚实的和自适应的信心集的矩阵完成问题。对于噪声方差已知的Bernoulli模型，给出了一种构造适应于真矩阵秩未知的置信集的可实现方法。
2017-04-10 math.ST stat.TH
Private Alternating Least Squares: Practical Private Matrix Completion with Tighter Rates
Google Research（谷歌研究院）
研究了用户隐私下的差分隐私矩阵完备化问题。我们设计了一个流行的交替最小二乘（ALS）方法的联合差分私有变体，该方法实现了：i）（几乎）最佳的样本复杂度矩阵完成（在项目数量，用户），和ii）最知名的隐私/效用权衡理论上，以及基准数据集。特别是，我们提供了ALS的第一个全局收敛性分析，引入噪声以确保DP，并表明，与最知名的替代方案（Jain等人的Private Frank-Wolfe算法（2018））相比，我们的误差界在项目和用户数量方面明显更好，这在实际问题中至关重要。标准基准测试的广泛验证表明，该算法结合精心设计的采样程序，比现有技术更准确，从而有望成为第一个实用的DP嵌入模型。
2021-07-20 cs.CR cs.LG stat.ML
Matrix Completion using Kronecker Product Approximation
Temple University（天普大学）；Rutgers University（罗格斯大学）
一个矩阵完备化问题是恢复部分可观测矩阵中缺失的元素。现有的大多数矩阵完备化方法都假设其基础完备矩阵具有低秩结构。在本文中，我们介绍了一种替代的和更一般的形式的基本完全矩阵，它假设一个低的克罗内克秩，而不是一个低的正规秩，但包括后者作为一个特殊情况。额外的灵活性允许底层矩阵的更简约的表示，但也提出了确定要使用的适当克罗内克积配置的挑战。我们发现，该配置可以使用均方误差标准，以及修改后的交叉验证标准。我们建立了在适当的条件下的信号噪声比的一致性，这一过程。一个聚合过程也被提出来处理特殊的缺失模式和复杂的底层结构。数值和实证研究进行了证明新方法的性能。
2020-11-13 cs.LG stat.ME stat.ML
Leave-One-Out Analysis for Nonconvex Robust Matrix Completion with General Thresholding Functions
本文针对鲁棒矩阵补全问题，提出一种交替投影梯度与阈值化的非凸方法，并通过留一法分析证明其对一般阈值函数线性收敛，且提升采样复杂度。
2025-04-25 cs.IT math.IT stat.ML
Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了噪声低秩矩阵的完备化问题：给定一个大型低秩矩阵的部分和噪声元素，目标是忠实而有效地估计底层矩阵。可以说，解决这个问题的最流行的范例之一是凸松弛，它在实践中取得了显着的效果。然而，这种方法的理论支持在噪声环境中仍然远远不是最佳的，无法解释其经验上的成功。我们取得了进展，对神秘的凸松弛与随机噪声的实际效果。当未知矩阵的秩和条件数是由一个常数的范围内，我们证明了凸规划方法实现了近最佳的估计误差--在欧氏损失，entrywise损失，和频谱范数损失-在很宽的范围内的噪声水平。所有这些都是通过将凸松弛与非凸Burer-Monteiro方法连接起来实现的，这是一种看似独特的算法范例，可证明对噪声具有鲁棒性。更具体地说，我们表明，一个近似的临界点的非凸制定作为一个非常紧密的近似凸的解决方案，从而使我们能够转移所需的统计保证的非凸的方法，其凸对应。
2019-10-07 cs.IT cs.LG math.IT
Noisy low-rank matrix completion with general sampling distribution
本文研究了带噪声的矩阵完备化问题。与以前的作品不同，我们考虑相当一般的采样分布，我们不需要知道或估计噪声的方差。提出了两个新的核范数惩罚估计，其中一个是平方根型的。我们分析了他们的性能在高维尺度下，并提供非渐近界的Frobenius范数误差。直到对数因子，这些性能保证在许多情况下是最小最大最优的。
2014-02-05 math.ST stat.TH
Matrix completion based on Gaussian parameterized belief propagation
The University of Tokyo（东京大学）
我们开发了一个基于矩阵分解的消息传递算法来解决有噪声的矩阵完备化问题。该算法是通过近似的信度传播与高斯分布，共享相同的第一和第二时刻的消息分布。我们还得到了一个内存友好的版本，所提出的算法，通过应用通常用于文献中的近似消息传递的扰动处理。此外，阻尼技术，这被证明是至关重要的最佳性能，引入无计算应变，和消息传递版本的交替最小二乘法，一种方法，报告在某些设置中是最佳的关系，进行了讨论。合成数据集上的实验表明，虽然所提出的算法定量地表现出几乎相同的性能设置下，早期的算法是最佳的，它是有利的，当观察到的数据集被非高斯噪声破坏。在真实数据集上的实验也强调了两种算法之间的性能差异。
2021-08-25 cond-mat.stat-mech cs.LG stat.ML
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
张量补全是不完整数据分析的基本工具，其目标是从部分观测值中预测缺失项。然而，现有的方法往往显式或隐式地假设观测条目是无噪声的，以提供精确恢复丢失条目的理论保证，这在实践中受到很大的限制。为了弥补这些缺陷，本文提出了一种新的噪声张量完成模型，它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说，张量环核范数（TRNN）和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外，一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证，其中之一是专门针对处理大规模的张量，通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明，该模型在恢复噪声不完整的张量数据的有效性和效率相比，国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Matrix Completion via Residual Spectral Matching
Center for Statistical Science, Peking University（北京大学统计科学中心）
针对带噪矩阵补全，提出残差谱匹配准则，利用稀疏随机矩阵谱性质，实现高效收敛并提升高噪声场景下的性能。
2024-12-16 cs.LG stat.ME stat.ML
Manopt, a Matlab toolbox for optimization on manifolds
Université catholique de Louvain（鲁汶天主教大学）；Université de Liège（列日大学）
流形上的优化是非线性优化中发展迅速的一个分支。它的重点是问题的光滑几何的搜索空间可以利用设计有效的数值算法。特别是，流形上的优化非常适合处理秩和正交性约束。这种结构化约束在机器学习应用中普遍存在，包括低秩矩阵完备化、传感器网络定位、摄像机网络配准、独立分量分析、度量学习、降维等。Manopt工具箱（可在www.manopt.org上获得）是一个用户友好的文档化软件，致力于简化最先进的黎曼优化算法的实验。我们的目标特别是在我们的领域外的从业人员。
2013-08-23 cs.LG cs.MS math.OC
Noisy Tensor Completion via the Sum-of-Squares Hierarchy
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Massachusetts Institute of Technology（麻省理工学院）
在有噪声的张量完备问题中，我们从未知的$n_1 \times n_2 \times n_3$张量$T$中观察$m$条目（其位置是随机均匀选择的）。我们假设$T$在条目方面接近于等级$r$。我们的目标是使用尽可能少的观察值来填充其缺失的条目。令$n = \max(n_1, n_2, n_3)$。我们证明了如果$m = n^{3/2} r$，那么有一个多项式时间算法的基础上的第六层的平方和的层次来完成它。我们的估计同意几乎所有的$T$的条目几乎完全，即使我们的观察被噪声破坏。这也是第一个张量完备化算法，在$r > n$的过完备情况下有效，实际上它一直工作到$r = n^{3/2-ε}$。我们的证明是简短和简单的，是基于建立一个新的连接之间的噪音张量完成（通过Rademacher复杂性的语言）和反驳随机常数满足问题的任务。即使在矩阵补全的上下文中，这种联系似乎也没有被注意到。此外，我们使用这个连接来显示匹配的下界。我们的主要技术成果是在表征的Rademacher复杂性的序列中出现的平方和松弛张量核规范的规范。这些结果指出了一个有趣的新方向：我们能否通过平方和层次来探索计算复杂度与样本复杂度的权衡？
2016-02-18 cs.DS cs.LG stat.ML
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架，用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述：用于决定是否可以重建条目的有效算法，以及如果可以，则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下，我们的算法是准确的。对于秩一矩阵，新算法是快速的，承认一个高度并行的实现，并产生一个误差最小化估计，定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
A Bayesian Approach for Noisy Matrix Completion: Optimal Rate under General Sampling Distribution
贝叶斯方法的低秩矩阵完成噪声已被证明是非常有效的计算。虽然惩罚最小化方法的行为是很好地理解从理论和计算的角度来看，在这个问题上，贝叶斯估计的理论最优性尚未探讨。本文提出了一般抽样分布下矩阵完备化的贝叶斯估计。我们还提供了一个预言不等式的估计。这个不等式证明，无论矩阵的秩估计，我们的估计达到最小最大最优的收敛速率（对数因子）。最后，我们进行了一个简短的模拟研究。
2015-01-21 math.ST stat.TH
Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology（麻省理工学院）
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中，我们接收到秩未知的$r$张量的$n$条目，并希望精确地完成剩余的条目。在不可知张量完备化中，我们不对未知张量的秩做任何假设，而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习，我们给出了第一个多项式时间算法，该算法获得了“快速”（即，$O(1/n)$型）速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式，权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明，张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱，并允许我们建立各种张量回归模型的限制特征值类型的保证，张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra（2016），他们给出了不可知张量完成的缓慢速率，以及Potechin和Steurer（2017），他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的，我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Multi-Domain Image Completion for Random Missing Input Data
Stanford University（斯坦福大学）；NVIDIA（英伟达）；National Institutes of Health（美国国立卫生研究院）
多域数据在视觉应用中被广泛利用，利用来自不同模态的互补信息，例如，从多参数磁共振成像（MRI）分割脑肿瘤。然而，由于可能的数据损坏和不同的成像协议，每个域的图像的可用性在实践中可能在多个数据源之间变化，这使得利用不同的输入数据集合构建通用模型具有挑战性。为了解决这个问题，我们提出了一种通用的方法来完成随机缺失域数据在实际应用中。具体来说，我们开发了一种新的多域图像完成方法，该方法利用生成对抗网络（GAN）与代表性的解纠缠方案来提取共享的骨架编码和分离的肉体编码跨多个域。我们进一步说明了多域图像完成中的学习表示可以用于高级任务，例如，分割，通过引入一个统一的框架，包括图像完成和分割与共享的内容编码器。实验表明，一致的性能提高三个数据集的脑肿瘤分割，前列腺分割，面部表情图像完成。
2020-07-10 cs.CV cs.LG eess.IV
Optimal tuning-free convex relaxation for noisy matrix completion
本文针对含噪矩阵补全问题，提出无调参的平方根矩阵补全估计器，证明其在均匀采样下达到最优统计性能，且不依赖噪声大小，并通过与非凸估计器的联系进行分析。
2023-06-06 cs.IT math.IT math.ST
Ranking Recovery from Limited Comparisons using Low-Rank Matrix Completion
School of Electrical Engineering, Tel-Aviv University（特拉维夫大学电气工程学院）；Electrical Engineering Department, University of Colorado Denver（科罗拉多大学丹佛分校电气工程系）
本文提出利用低秩矩阵补全方法解决经典排名聚合问题，通过矩阵形式处理部分噪声比较数据，结合交替最小化算法和最大似然估计，重建真实偏好强度。
2018-06-14 cs.LG cs.NA math.NA
Generalization Bounds for Inductive Matrix Completion in Low-noise Settings
Singapore Management University (SMU)（新加坡管理大学）；Czech Technical University in Prague (CTU)（捷克理工大学）；Hong Kong Baptist University (HKBU)（香港浸会大学）；Technische Universität Kaiserslautern (TUK)（凯泽斯劳滕工业大学）
本文研究了独立同分布下的归纳矩阵完备化问题。在低噪声状态下的亚高斯噪声假设，具有条目的均匀采样。我们首次得到了具有以下三个性质的推广界：（1）它们的尺度类似于噪声的标准差，特别是在精确恢复的情况下，它们趋近于零;（2）即使在噪声存在的情况下，当样本容量趋于无穷大时，它们也收敛于零;以及（3）对于边信息的固定维数，它们仅对矩阵的大小具有对数依赖性。从许多近似恢复的作品中，我们提出了有界Lipschitz损失和绝对损失的结果，后者依赖于Talagrand型不等式。证明创建一个桥梁之间的两种方法的理论分析矩阵完成，因为它们包括在一个组合的技术，从精确的恢复文献和近似恢复文献。
2022-12-16 cs.LG stat.ML
Provable Tensor-Train Format Tensor Completion by Riemannian Optimization
Hong Kong University of Science and Technology（香港科技大学）
张量训练（TT）格式在处理结构高阶张量方面具有吸引人的优势。近十年来，TT格式张量在不同学科中得到了广泛的应用，其中张量完备化引起了广泛的关注。许多快速算法，包括黎曼梯度下降（RGrad），已经提出了TT格式张量完成。然而，这些算法的理论保证在很大程度上是缺失的或次优的，部分原因是TT格式分解中复杂的递归代数运算。此外，为其他格式的张量建立的现有结果，例如，Tucker和CP，是不适用的，因为处理TT格式张量的算法是实质上不同的，并且涉及更多。在本文中，我们提供，据我们所知，第一理论保证的收敛性RGrad算法的TT格式张量完成，在一个接近最佳的样本量条件下。RGrad算法以恒定的收缩率线性收敛，该收缩率不受张量条件数的限制，无需重新调节。我们还提出了一种新的方法，称为顺序二阶矩方法，以在类似的样本量要求下实现热初始化。作为一个副产品，我们的结果甚至显着细化矩阵完成的RGrad算法的先前调查。最后，如果观测项由随机亚高斯噪声组成，则推导出RGrad算法的统计（近）最优速率。数值实验证实了我们的理论发现，并展示了TT格式分解所获得的计算加速比。
2022-03-21 cs.IT cs.LG math.IT
Optimal spectral norm rates for noisy low-rank matrix completion
在本文中，我们考虑的迹回归模型中，$n$项目或项目的线性组合的未知$m_1\times m_2$矩阵$A_0$被噪声破坏的观察。对于在\cite{KLT}中引入的$A_0$的核范数惩罚估计，在观测项的抽样分布$Π$上的非相干条件下，建立了一个对$n,m_1,m_2$的任意值具有谱范数的一般的sharp oracle不等式.然后，我们将此方法应用于矩阵完备化问题。在这种情况下，我们证明了它满足一个最佳的预言不等式的谱范数，从而改进了现有的唯一结果\cite{KLT}有关谱范数，假设抽样分布是均匀的。注意，我们的结果是有效的，特别是在高维设置$m_1m_2\gg n$。最后，我们表明，所获得的速率是最佳的对数因子在极大极小意义上。
2011-10-24 math.ST stat.TH
Robust Matrix Completion
本文研究了一个低秩矩阵在其大部分元素不可观测且部分观测元素被破坏的情况下的恢复问题。观测是我们希望恢复的低秩矩阵的和的噪声实现，第二个矩阵具有互补的稀疏结构，例如元素或列稀疏性。我们分析了一类估计通过解决一个约束凸优化问题，结合了核范数和凸松弛稀疏约束。我们的结果是同时存在的随机和确定性模式的抽样方案。我们提供了保证的低秩和稀疏成分的部分和损坏的观测在噪声的存在下，并表明所获得的收敛速度是最小最大最优的恢复。
2016-07-04 math.ST stat.TH
Approximation Theory of Total Variation Minimization for Data Completion
全变差（TV）最小化是现代信号/图像处理中最重要的技术之一，有着广泛的应用。虽然有许多最近的工作在压缩感知的框架中的TV最小化的恢复保证，有很少的工作从部分观测的恢复的恢复保证。本文主要研究了基于随机输入样本的TV恢复算法的误差分析。特别地，我们估计潜在的原始数据和近似解之间的误差，该近似解内插（或根据噪声水平用误差界近似）在所有可能的解中具有最小TV误差的给定数据。最后，我们进一步连接的误差估计的离散模型的稀疏梯度恢复问题和近似的基本功能，从底层的真实数据。
2022-07-15 cs.NA math.AP math.NA
Matrix Completion with Sparse Noisy Rows
Stanford University（斯坦福大学）
在不同的基础条件下，研究了矩阵的精确完备化和低秩矩阵的估计问题。本文研究了非退化噪声模型下的精确低秩完备化问题。非退化随机噪声模型在噪声稀疏且存在于某些列中的情况下，已被许多研究者研究过。在本文中，我们假设每行可以接收随机噪声，而不是列，并提出了一个交互式算法，是强大的这种噪声。我们表明，我们使用的参数化技术给出了一个条件时，底层矩阵可以恢复，并提出了一个算法，恢复底层矩阵。
2022-04-05 cs.LG
Adaptive Noisy Matrix Completion
Carnegie Mellon University（卡内基梅隆大学）
低秩矩阵完备化在各种范畴下得到了广泛的研究。该问题可以归类为噪音补全或精确补全，也可以归类为主动或被动补全算法。在本文中，我们专注于自适应矩阵完成与有界类型的噪声。我们假设我们要恢复的矩阵$\mathbf{M}$是由低秩矩阵加上有界小噪声组成的。这个问题以前已经研究了\cite{nina}，在一个固定的抽样模型。在这里，我们研究这个问题在自适应设置，我们不断估计的角度与底层的低秩子空间和噪声添加子空间的上界。此外，这里建议的方法，可以被证明需要比上述方法小得多的观察。
2022-03-16 cs.LG
Nuclear Norm-Regularized Bayesian Matrix Completion
Cornell University（康奈尔大学）
针对核范数正则化贝叶斯矩阵补全，提出首个具有非渐近保证的多项式时间采样器，通过离散化噪声精度并利用热力学积分构建后验，证明了可行性。
2026-10-28 cs.LG stat.ML
Robust Tensor Completion via Gradient Tensor Nulclear L1-L2 Norm for Traffic Data Recovery
School of Mathematics and Statistics, Xi’an Jiaotong University（数学与统计学学院，西安交通大学）；Department of Civil Engineering, McGill University（土木工程系，麦吉尔大学）
针对交通数据同时存在缺失和噪声的双重退化问题，提出基于梯度张量核L1-L2范数的鲁棒张量补全模型RTC-GTNLN，无需权衡参数即可同时利用全局低秩性与局部一致性，在复杂恢复场景中优于现有方法。
2025-06-28 cs.LG eess.SP stat.ML
On Deterministic Sampling Patterns for Robust Low-Rank Matrix Completion
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
在这封信中，我们研究了确定性采样模式的低秩矩阵的完成，当破坏与稀疏噪声，也被称为鲁棒矩阵完成。我们推广了最近的结果确定性抽样模式的基础上的几何分析的格拉斯曼流形上的噪音。一个特殊的情况下，每列有一定数量的噪声条目被认为是，我们的概率分析执行非常有效。此外，假设原始矩阵的秩没有给出，我们提供了一个分析，以确定是否一个有效的完成的秩确实是与稀疏噪声损坏的数据的实际秩通过验证一些条件。
2017-12-05 cs.CV cs.IT cs.LG
Introducing the Huber mechanism for differentially private low-rank matrix completion
IIT Madras（印度理工学院马德拉斯分校）
对敏感的用户数据执行低秩矩阵补全需要隐私保护方法。在这项工作中，我们提出了一种新的噪声添加机制，以保持差分隐私的噪声分布的启发Huber损失，一个众所周知的损失函数在鲁棒统计。建议的Huber机制进行评估，对现有的差分隐私机制，同时解决矩阵完成问题，使用交替最小二乘法。我们还建议使用迭代重加权最小二乘算法来完成低秩矩阵，并研究不同噪声机制在合成和真实数据集中的性能。我们证明了该机制实现了类似于拉普拉斯机制的ε-差分隐私。此外，实证结果表明，Huber机制优于拉普拉斯和高斯在某些情况下，是可比的，否则。
2022-06-16 cs.CR cs.LG
Sparse Nonnegative Tensor Factorization and Completion with Noisy Observations
Central China Normal University（华中师范大学）；The University of Hong Kong（香港大学）
本文研究了三阶张量的稀疏非负张量分解和完备化问题。由于稀疏性和非负性，底层张量被分解为一个稀疏非负张量和一个非负张量的张量积。我们提出了最小化的极大似然估计的非负约束的观察和张量$\ell_0$范数的稀疏因子的总和。我们表明，所提出的模型的估计的误差界可以建立在一般的噪声观测。在特定的噪声分布下，包括加性高斯噪声，加性拉普拉斯噪声，和泊松观测的详细误差范围可以推导出来。此外，极大极小下界与所建立的上界相匹配，最高可达底层张量大小的对数因子。张量的这些理论结果优于矩阵的结果，这说明了使用非负稀疏张量模型完成和去噪的优势。数值实验验证了所提出的基于张量的方法相比，基于矩阵的方法的优越性。
2021-10-20 cs.CV cs.LG cs.NA
NoisyCUR: An algorithm for two-cost budgeted matrix completion
Rensselaer Polytechnic Institute（伦斯勒理工学院）
矩阵完备化是机器学习和数据分析中的一个普遍存在的工具。这一领域的大多数工作都集中在获得精确的低秩近似所需的观测值数量上。然而，在实践中，观测的成本是一个重要的限制因素，实验者手头上可能有多种观测模式，具有不同的噪声与成本权衡。本文认为矩阵完成受到这样的限制：预算的实施和实验的目标是分配这两个抽样方式之间的预算，以恢复一个准确的低秩近似。具体地说，我们认为有可能获得低噪声，高成本的个别条目的观察或高噪声，低成本的整个列的观察。我们引入了一个基于回归的完成算法，这种设置和实验验证我们的方法在合成和真实数据集的性能。当预算较低时，我们的算法优于标准的完成算法。当预算很高时，我们的算法具有与标准核范数完备化算法相当的误差，并且需要更少的计算工作量。
2021-04-16 cs.LG cs.NA math.NA
On the convex geometry of blind deconvolution and matrix completion
Technische Universität München（慕尼黑工业大学）；University of Southern California（南加州大学）
在过去的十年中，从结构化测量中恢复低秩矩阵一直是一个热门的研究课题，许多重要的问题，如矩阵补全和盲反卷积，都是在这个框架下提出的。解决这些问题的一个重要的基准方法是最小化核范数，一个凸代理的秩。一个常见的方法来建立恢复保证这个凸计划依赖于一个所谓的近似对偶证书的建设。然而，这种方法在各个方面只提供了有限的见解。最突出的是，噪声边界表现出看似次优的维度因子。在本文中，我们采取了一种新的，更几何的观点来分析矩阵完成和盲反卷积的情况。我们发现，对于这两个应用程序中的噪声界的尺寸因素是不是一个工件的证明，但问题本质上是条件很差。然而，我们发现，坏的条件只会出现非常小的噪声水平：在温和的假设，包括许多现实的噪声水平，我们得出接近最佳的误差估计盲反卷积对抗性噪声。
2020-04-09 cs.IT cs.LG math.IT
Negative Binomial Matrix Completion
University of California, Merced（加州大学默塞德分校）；University of California, Irvine（加州大学欧文分校）
本文针对过度离散计数数据提出负二项矩阵补全方法，通过核范数正则化模型和近端梯度下降求解，并在真实数据上验证其优于泊松矩阵补全。
2024-08-28 cs.CV cs.LG eess.IV
Ad Hoc Microphone Array Calibration: Euclidean Distance Matrix Completion Algorithm and Theoretical Guarantees
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文讨论的问题，ad hoc麦克风阵列校准麦克风之间的距离只有部分信息。我们构造了一个矩阵组成的成对距离，并提出了一种新的欧氏距离矩阵完成算法的基础上估计丢失的条目交替低秩矩阵完成和投影到欧氏距离空间。这种方法限制恢复矩阵的EDM锥在矩阵完成算法的每次迭代。考虑到随机和局部结构的缺失条目以及已知距离上的测量噪声，获得了校准性能的理论保证。这项研究阐明了校准误差和麦克风的数量以及噪声水平和缺失距离的比率之间的联系。真实数据记录和模拟设置进行彻底的实验，以证明这些理论的见解。一个显着的改善是由建议的欧几里德距离矩阵完成算法超过国家的最先进的技术，为ad hoc麦克风阵列校准。
2014-08-31 cs.LG cs.SD
Robust Low-Rank Tensor Completion based on M-product with Weighted Correlated Total Variation and Sparse Regularization
Department of Computational and Data Sciences, Indian Institute of Science（计算与数据科学系，印度科学研究院）
本文提出基于M-积的加权相关总变分正则化方法，结合低秩性和平滑性约束，提升张量补全的鲁棒性和精度，通过改进的ADMM算法在图像恢复、去噪和背景分割中验证了其优越性能。
2026-04-15 cs.LG math.OC stat.ML
Multi-version Tensor Completion for Time-delayed Spatio-temporal Data
IQVIA（艾昆纬）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；University of Virginia（弗吉尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
现实世界的时空数据往往是不完整或不准确的，由于各种数据加载延迟。例如，病例计数的位置-疾病-时间张量可以具有针对某些位置或疾病的最近时间切片的多个延迟更新。恢复输入张量的这种丢失或有噪声（未报告）的元素可以被视为广义张量完成问题。现有的张量补全方法通常假设i）缺失元素是随机分布的，以及ii）每个张量元素的噪声是i.i.d.。零均值对于时空张量数据，这两个假设都可能被违反。我们经常观察到输入张量的多个版本具有不同的漏报噪声水平。噪声的量可以是时间或位置相关的，因为更多的更新被逐渐引入到张量中。我们将这种动态数据建模为多版本张量，并使用额外的张量模式捕获数据更新。我们提出了一个低秩张量模型来预测随时间的更新。我们证明，我们的方法可以准确地预测许多现实世界的张量的地面实况值。与最佳基线方法相比，我们获得了高达27.2%的均方根误差。最后，我们扩展了我们的方法来跟踪张量数据随着时间的推移，导致显着的计算节省。
2021-05-11 cs.IR cs.LG
