Positive definite Hankel matrix completions and Hamburger moment completions
本文给出了含缺失项的Hamburger矩问题的解。考虑部分正序列的完备化问题。主要结果是一个正定可完成的模式,即模式,保证部分正定序列的汉堡时刻完成的存在性的表征。并给出了几个非正定可完备的模式。
2015-09-21 math.FA math.PR math.ST
Robust Matrix Completion with Mixed Data Types
Cornell University(康奈尔大学)
我们考虑了恢复一个结构化的低秩矩阵部分观察项目与混合数据类型的矩阵完成问题。绝大多数的解决方案都提出了计算上可行的估计与强有力的统计保证的情况下,在矩阵中的数据的基本分布是连续的。最近的一些方法已经扩展使用类似的想法,这些估计的情况下,基本分布属于指数家族。这些方法中的大多数假设只有一个底层分布,并且低秩约束由矩阵Schatten范数正则化。我们提出了一种计算上可行的统计方法,具有很强的恢复保证,以及适合并行化的算法框架,以在一个步骤中恢复混合数据类型的部分观察条目的低秩矩阵。我们还提供了大量的模拟证据,证实我们的理论结果。
2020-05-25 cs.LG math.ST stat.ML
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
近年来,在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质,最先进的程序通常需要适当的正则化(例如修剪,正则化成本,投影),以保证快速收敛。然而,对于诸如梯度下降之类的常规过程,先验理论要么推荐高度保守的学习率以避免过冲,要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象:即使在没有显式正则化的情况下,梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上,梯度下降遵循的轨迹停留在具有良好几何形状的盆地内,由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行,而不会过冲,这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题,即相位恢复,低秩矩阵完成,和盲反卷积,我们建立了梯度下降实现接近最优的统计和计算保证,而无需显式正则化。特别是,通过将统计建模与通用优化理论相结合,我们开发了一个通用的配方,通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品,嘈杂的矩阵完成,我们证明,梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Matrix Completion via Max-Norm Constrained Optimization
University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学)
在均匀采样模型下,矩阵完备化已经得到了很好的研究,迹范数正则化方法在这种情况下在理论和数值上都有很好的表现。然而,均匀采样模型对于一系列应用是不现实的,并且当底层采样方案是非均匀的时,标准迹范数松弛可以表现得非常差。本文提出并分析了一般抽样模型下噪声矩阵完备化的最大范数约束经验风险最小化方法。在近似低秩矩阵重构的背景下,在Frobenius范数损失下建立了最优收敛速度。结果表明,最大范数约束的方法是极大极小率最优的,并产生一个统一的和强大的近似恢复保证,相对于采样分布。该方法的计算效率也进行了讨论,基于一阶算法求解凸优化涉及最大范数正则化。
2017-04-28 cs.IT cs.LG math.IT
Clipped Matrix Completion: A Remedy for Ceiling Effects
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们考虑的问题,恢复低秩矩阵从其裁剪的意见。在许多科学领域中,可以想象会出现截断现象,这会妨碍统计分析。另一方面,矩阵补元方法利用低秩补元原理,可以从各种信息缺损中恢复出低秩矩阵。然而,低秩MC的当前理论保证不适用于裁剪矩阵,因为赤字取决于基础值。因此,截断矩阵完备化(CMC)的可行性并不是微不足道的。在本文中,我们首先提供了一个理论上的保证,通过使用迹范数最小化算法的CMC的精确恢复。此外,我们提出了实用的CMC算法,通过扩展普通MC方法。我们的扩展是使用平方铰链损失代替平方损失,以减少对修剪条目的过度估计的惩罚。我们还提出了一个新的正则化项为CMC量身定制。它是两个迹范数项的组合,并且我们在理论上限制了正则化下的恢复误差。我们证明了所提出的方法的有效性,通过实验使用合成和基准数据的推荐系统。
2019-03-04 cs.LG stat.ML
Matrix Completion from General Deterministic Sampling Patterns
Purdue University(普渡大学);MIT(麻省理工学院)
本文针对任意确定性采样模式,利用观测图的连通性和节点度性质,为约束核范数最小化求解精确及近似低秩矩阵补全建立理论保证,并改进对称矩阵情形下的已有结果。
2023-06-04 cs.LG stat.ML
Learning Latent Features with Pairwise Penalties in Low-Rank Matrix Completion
The Ohio State University(俄亥俄州立大学);The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学)
低秩矩阵完备化在实际数据处理中取得了巨大的成功。通常采用学习潜在特征的矩阵分解模型,为了提高预测性能,可以使用图正则化矩阵分解(GRMF)方法通过成对学习来利用潜在变量之间的相似性。然而,现有的GRMF方法通常使用平方损失来衡量两两差异,这可能会受到不同对的过度影响,导致较差的预测。为了充分授权成对学习矩阵完成,我们提出了一个通用的优化框架,允许丰富的(非)凸成对惩罚函数。一个新的和有效的算法来解决所提出的优化问题,在温和的假设下,理论上的收敛性保证。在潜变量形成少量子群的重要情况下,也充分考虑了其统计保证。特别是,我们从理论上表征的复杂性正则化的极大似然估计的性能,作为我们的框架的一个特殊情况下,这是有较小的误差相比,标准的矩阵完成框架没有成对的处罚。我们在合成和真实数据集上进行了大量的实验,以证明这个通用框架的优越性能。
2020-01-26 cs.LG stat.ML
Sample-efficient inductive matrix completion with noise and inexact side-information
Yale Department of Statistics and Data Sciences, Yale University(耶鲁大学统计与数据科学系);UChicago Department of Statistics, University of Chicago(芝加哥大学统计系)
本文研究了在存在噪声和不精确侧信息的情况下,通过非凸投影梯度下降算法实现样本高效的归纳矩阵补全,提出了一个适用于有效问题规模的正则性条件,实现了线性收敛和估计误差仅依赖于有效问题规模的结论。
2026-06-09 cs.IT cs.LG math.IT
Tensor Methods for Nonlinear Matrix Completion
Marquette University(马凯特大学);University of Wisconsin(威斯康星大学);University of Michigan(密歇根大学);University of Chicago(芝加哥大学)
在低秩矩阵完备化(LRMC)问题中,低秩假设意味着待完备矩阵的列(或行)是低维线性代数簇上的点。本文将这种思想扩展到列是低维非线性代数簇上的点的情况,我们称之为低代数维矩阵完备化(LADMC)。列属于子空间并的矩阵是一个重要的特例。我们提出了一个LADMC算法,利用现有的LRMC方法的张量表示的数据。例如,二阶张量化表示是通过将每列与其自身的克罗内克积形成的,我们也考虑高阶张量化。这种方法将在许多情况下成功,传统的LRMC是保证失败,因为数据是低秩的张量表示,但不是在原始表示。我们提供了一个正式的数学理由,我们的方法的成功。特别是,我们给这些数据的秩在张量表示的界限,我们证明了抽样要求,以保证解决方案的唯一性。我们还提供了实验结果表明,新的方法优于现有的国家的最先进的方法下的子空间模型的联盟矩阵完成。
2020-09-04 cs.LG stat.ML
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
张量补全是不完整数据分析的基本工具,其目标是从部分观测值中预测缺失项。然而,现有的方法往往显式或隐式地假设观测条目是无噪声的,以提供精确恢复丢失条目的理论保证,这在实践中受到很大的限制。为了弥补这些缺陷,本文提出了一种新的噪声张量完成模型,它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说,张量环核范数(TRNN)和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外,一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证,其中之一是专门针对处理大规模的张量,通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明,该模型在恢复噪声不完整的张量数据的有效性和效率相比,国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Provable Tensor-Train Format Tensor Completion by Riemannian Optimization
Hong Kong University of Science and Technology(香港科技大学)
张量训练(TT)格式在处理结构高阶张量方面具有吸引人的优势。近十年来,TT格式张量在不同学科中得到了广泛的应用,其中张量完备化引起了广泛的关注。许多快速算法,包括黎曼梯度下降(RGrad),已经提出了TT格式张量完成。然而,这些算法的理论保证在很大程度上是缺失的或次优的,部分原因是TT格式分解中复杂的递归代数运算。此外,为其他格式的张量建立的现有结果,例如,Tucker和CP,是不适用的,因为处理TT格式张量的算法是实质上不同的,并且涉及更多。在本文中,我们提供,据我们所知,第一理论保证的收敛性RGrad算法的TT格式张量完成,在一个接近最佳的样本量条件下。RGrad算法以恒定的收缩率线性收敛,该收缩率不受张量条件数的限制,无需重新调节。我们还提出了一种新的方法,称为顺序二阶矩方法,以在类似的样本量要求下实现热初始化。作为一个副产品,我们的结果甚至显着细化矩阵完成的RGrad算法的先前调查。最后,如果观测项由随机亚高斯噪声组成,则推导出RGrad算法的统计(近)最优速率。数值实验证实了我们的理论发现,并展示了TT格式分解所获得的计算加速比。
2022-03-21 cs.IT cs.LG math.IT
Tensor Train Completion from Fiberwise Observations Along a Single Mode
本文提出一种利用纤维-wise观测模式进行张量展开的方法,通过标准线性代数运算实现高效且确定性的张量补全。
2026-03-11 cs.LG cs.NA eess.SP
Matrix Completion from Noisy Entries
Stanford University(斯坦福大学)
给定一个矩阵M的低秩,我们考虑的问题,重建它从一个小的,随机子集的条目的噪声观测。这个问题出现在各种各样的应用中,从协同过滤(“Netflix问题”)到从运动到结构和定位。我们研究了Keshavan等人提出的一种低复杂度的算法。(2009),基于光谱技术和流形优化的组合,我们在这里称之为OptSpace。我们证明了性能保证,在一些情况下是最优的顺序。
2012-04-09 cs.LG stat.ML
Fast matrix completion without the condition number
本文给出了第一个矩阵完备化算法,其运行时间和样本复杂度分别为未知目标矩阵秩的多项式、矩阵维数的线性和矩阵条件数的对数。据我们所知,所有以前的算法要么招致二次依赖于未知矩阵的条件数或二次依赖于矩阵的维数在运行时间。我们的算法是基于一种新的扩展交替最小化,我们表明,即使在存在噪声的标准假设下,理论上的保证。
2014-07-15 cs.DS cs.LG stat.ML
Universal Matrix Completion
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Research, India(微软研究院(印度))
低秩矩阵完备化问题最近引起了人们的极大兴趣,产生了一些结果,提供了问题的精确解。然而,为了做到这一点,这些方法做出的假设在实践中可能非常有限。更具体地,该方法假设:a)随机均匀地采样观察到的索引,以及b)对于每个新矩阵,重新采样观察到的索引。在这项工作中,我们解决这些问题,提供了一个通用的恢复保证矩阵完成,适用于各种采样方案。特别是,我们表明,如果一组采样的指数来自一个二分图的边缘与大的谱间隙(即间隙之间的第一和第二奇异值),然后核范数最小化的方法准确地恢复所有的低秩矩阵,满足一定的不一致性。此外,我们还表明,在某些更严格的不相干条件下,$O(nr^2)$均匀采样条目足以恢复任何秩$r$ $n\times n$矩阵,相比之下,其他矩阵完成算法所需的$O(nr\log n)$样本的复杂性,以及现有的核范数方法的分析。
2014-07-11 cs.IT cs.LG math.IT
Matrix Completion with Model-free Weighting
Texas A&M University(德州农工大学);Fudan University(复旦大学);University of Washington(华盛顿大学)
本文提出了一种在一般非一致缺失结构下的矩阵补元方法。通过控制一个新的平衡误差的上界,我们构造的权重,可以主动调整的非均匀性的经验风险,而不明确建模的观察概率,并可以通过凸优化有效地计算。恢复矩阵的基础上提出的加权经验风险享有吸引人的理论保证。特别是,所提出的方法实现了更强的保证比现有的工作方面的缩放相对于观测概率,渐近异构缺失设置(其中条目明智的观测概率可以是不同的顺序)。这些设置可以被认为是一个更好的理论模型的丢失模式与高度变化的概率。我们还提供了一个新的极大极小下界下的一类异构设置。数值实验也证明了所提出的方法的有效性。
2021-06-09 cs.LG math.ST stat.ME
Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion
Sloan School of Management(斯隆管理学院);Operations Research Center(运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院)
我们制定的矩阵完成的问题,没有边信息作为一个非凸优化问题。我们设计的fastImpute基于非凸梯度下降,并显示它收敛到一个全局最小值,保证恢复密切的基础矩阵,而它的规模超过$10^5 \times 10^5$的大小矩阵。我们报告了在合成和真实世界数据集上的实验,这些实验表明fastImpute在恢复矩阵的准确性和所有情况下所需的时间方面都具有竞争力。此外,当大量条目丢失时,fastImpute在具有和不具有边信息的情况下都比当前最先进的矩阵完成方法快$75\%$以上、低MAPE和快$15$倍。
2020-12-31 cs.LG math.OC stat.ME
Tensor Completion Made Practical
Massachusetts Institute of Technology(麻省理工学院)
针对低秩张量补全中现有方法难兼顾理论保证与实用性的问题,提出新型交替最小化算法,可在因子高度相关时近线性时间实现线性收敛,并高效补全千维三阶张量。
2021-12-25 cs.DS cs.LG math.ST
Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology(麻省理工学院)
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中,我们接收到秩未知的$r$张量的$n$条目,并希望精确地完成剩余的条目。在不可知张量完备化中,我们不对未知张量的秩做任何假设,而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习,我们给出了第一个多项式时间算法,该算法获得了“快速”(即,$O(1/n)$型)速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式,权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明,张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱,并允许我们建立各种张量回归模型的限制特征值类型的保证,张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra(2016),他们给出了不可知张量完成的缓慢速率,以及Potechin和Steurer(2017),他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的,我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Rank-1 Matrix Completion with Gradient Descent and Small Random Initialization
Samsung Electronics(三星电子);KAIST(韩国科学技术院)
本文研究秩-1对称矩阵补全问题,证明梯度下降在小随机初始化下可收敛到真实解,并给出初始化规模上界及隐式正则化在收敛过程中的关键作用。
2025-07-02 cs.IT cs.LG math.IT
Strongly Convex Programming for Exact Matrix Completion and Robust Principal Component Analysis
National University of Defense Technology(国防科技大学);University of Iowa(爱荷华大学)
在矩阵完备(MC)和鲁棒主元分析(RPCA)中,一个共同的任务是从给定的数据矩阵中恢复一个低秩矩阵。近年来,特别是Cand`es等人的开创性工作发表后,这些问题引起了应用科学各领域的极大关注。MC和RPCA中的一个基本结果是,基于核范数的凸优化在适当的条件下导致精确的低秩矩阵恢复。在本文中,我们扩展了这一结果表明,强凸优化可以保证准确的低秩矩阵恢复以及。本文的结果不仅提供了强凸模型导致精确低秩矩阵恢复的充分条件,而且对实际算法中如何选择合适的参数具有指导意义。
2012-01-05 cs.IT cs.LG math.IT
PAC-Bayesian Matrix Completion with a Spectral Scaled Student Prior
Norwegian University of Science and Technology(挪威科技大学)
本文研究了矩阵完备化问题。一个频谱缩放的学生先验被利用,有利于底层的低秩结构的数据矩阵。我们提供了一个彻底的理论研究,我们的方法,通过PAC贝叶斯界限。更准确地说,我们的PAC-Bayesian方法享有最小最大最优的预言不等式,这保证了我们的方法在模型误设定和一般抽样分布下工作良好。有趣的是,我们还提供了有效的基于梯度的采样实现我们的方法,通过使用朗之万蒙特卡罗。更具体地说,我们表明,我们的算法是显着快于吉布斯采样在这个问题上。为了说明我们的推理策略的吸引力的功能,进行了一些数值模拟和图像修复的应用程序。
2022-01-07 cs.LG stat.ML
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);the University of Iowa(爱荷华大学);Michigan State University(密歇根州立大学)
本文针对核范数正则化矩阵补全,在目标矩阵顶部特征空间不连贯假设下,首次推导出恢复满秩矩阵最佳低秩逼近的相对误差上界,弥补了现有加性误差界无法刻画完美恢复及特征值偏斜分布的不足。
2024-05-29 cs.LG stat.ML
Weighted matrix completion from non-random, non-uniform sampling patterns
我们研究了当观测模式是确定的且可能是非均匀的情况下的矩阵完备化问题。我们提出了一个简单而有效的去偏投影方案从噪声观测中恢复,并在适当的加权度量下分析了误差。我们引入了一个简单的函数的权重矩阵和采样模式,管理恢复矩阵的准确性。我们得到理论上的保证,上限的恢复误差和几乎匹配的下限,展示在几个政权的最优性。我们的数值实验证明了我们的方法的计算效率和精度,并表明,去偏置是必不可少的,当使用非均匀采样模式。
2019-10-30 cs.IT math.IT math.ST
Adaptively-weighted Nearest Neighbors for Matrix Completion
Cornell University(康奈尔大学);The Wharton School(沃顿商学院);Cornell Tech(康奈尔科技)
本文提出 AWNN 自适应加权最近邻矩阵补全方法,通过平衡偏差—方差权衡自动选择半径与权重,并在最少假设下给出理论保证及合成实验验证。
2025-05-14 cs.LG math.ST stat.ME
Parametric Models for Mutual Kernel Matrix Completion
Graduate School of Science and Technology, Gunma University(群马大学科学技术研究生院)
最近的研究利用多核学习来处理不完全数据问题。在这项研究中,我们引入了新的方法,不仅完成多个不完整的内核矩阵同时,但也允许通过参数化的模型矩阵的灵活性的控制。通过对模型协方差施加限制,避免了数据的过拟合。通过目标函数的优化完成的核矩阵估计的限制是不能保证结果的正定性。鉴于这一限制,我们提出的方法采用LogDet发散,这确保了所得到的推断核矩阵的正定性。我们的经验表明,我们提出的限制协方差模型,采用LogDet发散,产生显着的改进,以前的完成方法的泛化性能。
2018-04-17 cs.LG stat.ML
Transductive Matrix Completion with Calibration for Multi-Task Learning
Fujian Normal University(福建师范大学);University of California, Los Angeles(加州大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学);Xiamen University(厦门大学)
多任务学习由于具有多个相关数据源的多目的研究而受到广泛关注。此外,具有矩阵完成的转换是多标签学习中的一种有用方法。在本文中,我们提出了一个转换矩阵完成算法,结合了多任务学习框架下的功能的校准约束。该算法同时恢复不完整的特征矩阵和目标矩阵。幸运的是,校准信息改善了完成结果。特别地,我们为所提出的算法提供了统计保证,并研究了校准信息引起的理论改进。此外,该算法具有次线性收敛速度。实验结果表明,当目标矩阵与特征矩阵之间存在非线性关系时,该算法的性能优于其他方法。
2023-02-20 cs.LG stat.ME stat.ML
PU Learning for Matrix Completion
University of Texas(德克萨斯大学)
本文研究了在仅观测到二进制测量值的情况下,如何通过PU学习方法进行矩阵补全,提出了两种方法并给出了误差界和样本复杂度。
2014-11-22 cs.LG cs.NA math.NA
Approximation Theory of Total Variation Minimization for Data Completion
全变差(TV)最小化是现代信号/图像处理中最重要的技术之一,有着广泛的应用。虽然有许多最近的工作在压缩感知的框架中的TV最小化的恢复保证,有很少的工作从部分观测的恢复的恢复保证。本文主要研究了基于随机输入样本的TV恢复算法的误差分析。特别地,我们估计潜在的原始数据和近似解之间的误差,该近似解内插(或根据噪声水平用误差界近似)在所有可能的解中具有最小TV误差的给定数据。最后,我们进一步连接的误差估计的离散模型的稀疏梯度恢复问题和近似的基本功能,从底层的真实数据。
2022-07-15 cs.NA math.AP math.NA
Truncated Matrix Completion - An Empirical Study
University of Michigan(密歇根大学)
本文针对实际应用中采样掩码常依赖基础数据值的问题,通过实验研究并比较了原本适用于数据独立采样模式的多种低秩矩阵补全(LRMC)算法在该类场景下的性能。
2025-04-14 cs.AI cs.LG cs.NA
Exact Tensor Completion from Sparsely Corrupted Observations via Convex Optimization
Hong Kong Baptist University(香港浸会大学)
本文对多维数组,特别是三阶张量的可证明估计进行了严格的分析,从其损坏项的随机子集。我们的研究很大程度上依赖于最近提出的张量代数框架,在该框架中,我们可以获得张量奇异值分解(t-SVD),这是类似于矩阵的SVD,并定义了一个新的概念张量秩称为管秩。我们证明,通过简单地解决一个凸规划,它最小化的加权组合的管核范数,凸代理管秩,和$\ell_1$ -范数,可以恢复一个不相干的张量完全压倒性的概率,只要它的管秩不是太大,腐败是合理的稀疏。有趣的是,我们的结果包括恢复保证的问题,张量完成(TC)和张量主成分分析(TRPCA)在相同的代数设置的特殊情况下。提出了一种交替方向乘子法(ADMM)算法来求解该优化问题。数值实验验证了我们的理论和实际应用证明了我们的算法的有效性。
2017-08-02 cs.CV cs.IT cs.LG
Consistent Collective Matrix Completion under Joint Low Rank Structure
我们解决了集体矩阵完成问题,共同恢复一组矩阵的共享结构,从部分(和潜在的噪声)的意见。为了确保适定性的问题,我们施加了一个联合低秩结构,其中每个组件矩阵是低秩和潜在空间的低秩因子对应于每个实体是共享的整个集合。首先,我们开发了一个严格的代数表示和操纵集体矩阵结构,并确定一致的集体矩阵估计的充分条件。然后,我们提出了一个易于处理的凸估计解决集体矩阵完成问题,并提供了第一个非平凡的理论保证集体矩阵完成的一致性。我们表明,在第3.1节中所述的合理假设下,具有很高的概率,只要满足定理1所规定的样本复杂性要求,所提出的估计量就可以精确地恢复真实矩阵。本文推导出的样本复杂性要求是最佳的对数因子,并显着提高了标准矩阵完成的平凡扩展所获得的要求。最后,我们提出了一个可扩展的近似算法来解决所提出的凸规划,并通过模拟实验证实了我们的结果。
2015-04-07 cs.LG stat.ML
Representational Transfer Learning for Matrix Completion
Institute for Financial Studies, Shandong University(山东大学金融研究院);School of Management, Fudan University(复旦大学管理学院);School of Physical & Mathematical Sciences, Nanyang Technological University(南洋理工大学数理学院);Department of Statistics and Data Science, National University of Singapore(新加坡国立大学统计与数据科学系)
该研究提出面向矩阵补全的表示迁移学习方法,通过聚合多源奇异子空间信息、求解双向PCA整合表示,将高维补全问题转为低维回归并保障统计效率,经仿真和真实数据验证有效。
2024-12-09 cs.LG stat.ML
Fast low-rank estimation by projected gradient descent: General statistical and algorithmic guarantees
University of California, Berkeley(加州大学伯克利分校)
具有秩约束的最优化问题在许多应用中出现,包括矩阵回归、结构PCA、矩阵完备化和矩阵分解问题。一个有吸引力的启发式解决这样的问题是因式分解的低秩矩阵,并运行投影梯度下降的非凸因式分解的最优化问题。这个问题的目标是提供一个一般的理论框架,以了解当这样的方法工作良好,并描述所产生的不动点的性质。我们提供了一组简单的条件下,投影梯度下降,当给定一个合适的初始化,几何收敛到一个统计上有用的解决方案。我们的结果是适用的,即使当初始解是任何区域的局部凸,甚至当问题是全球凹。工作在一个非渐近的框架,我们表明,我们的条件是满足广泛的具体模型,包括矩阵回归,结构PCA,矩阵完成与真正的和量化的意见,矩阵分解,图聚类问题。仿真结果与理论预测吻合良好。
2015-09-10 cs.LG math.ST stat.ML
Regret Guarantees for Item-Item Collaborative Filtering
Massachusetts Institute of Technology(麻省理工学院)
有很多经验证据表明,项目-项目协同过滤在实践中工作得很好。为了理解这一点,我们提供了一个框架来设计和分析各种推荐算法。设置相当于在线二进制矩阵完成,其中每次随机用户请求推荐,算法选择一个条目以显示在用户的行中。我们的目标是尽量减少遗憾,或者等价地最大化在任何时候显示的+1条目的数量。我们分析了一个项目-项目协同过滤算法,可以从根本上实现更好的性能相比,用户-用户协同过滤。该算法实现了良好的“冷启动”性能(适当定义),快速作出良好的建议,新用户的信息很少。
2016-01-08 cs.IR cs.IT cs.LG
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China(电子科技大学)
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能,在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性,我们提出了鲁棒张量环完备(RTRC),它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束,而稀疏分量由其l1范数正则化。我们分析了RTRC模型,并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题,并快速求解。在数值实验中,我们验证了所提出的方法在合成数据上的恢复条件,并表明所提出的方法在许多真实世界的基于数据的任务中,即,光场图像恢复,人脸图像中的阴影去除,以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
Match Made with Matrix Completion: Efficient Learning under Matching Interference
Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳维恩·金达尔管理学院);Foster School of Business, University of Washington(华盛顿大学福斯特商学院);W. P. Carey School of Business, Arizona State University(亚利桑那州立大学W.P.凯里商学院)
本文提出利用矩阵补全技术,在匹配干扰下高效学习匹配质量,通过核范数正则化和双增强估计器改进奖励学习和在线学习性能。
2026-01-11 cs.LG stat.ML
Matrix completion with column manipulation: Near-optimal sample-robustness-rank tradeoffs
本文考虑矩阵完备化问题时,一些列完全和任意损坏,潜在的恶意对手。众所周知,矩阵补全的标准算法可以返回任意差的结果,即使是一列损坏。一个直接的应用来自健壮的协同过滤。在这里,一些用户是所谓的操纵者,他们试图通过校准他们对系统的输入来扭曲算法的预测。在本文中,我们开发了一个有效的算法,这个问题的基础上结合的修剪程序和凸规划,最大限度地减少核范数和$\ell_{1,2}$规范。我们的理论结果表明,给定一个消失的分数观察到的条目,它仍然是可能的,以完成底层矩阵,即使损坏的列的数量增长。值得注意的是,我们的结果没有对操作列的观察条目的位置或值进行任何假设。此外,我们通过信息理论的论证表明,我们的保证在真实列上的采样条目的分数、损坏列的分数和底层矩阵的秩方面几乎是最优的。因此,我们的研究结果尖锐的特点之间的权衡样本,鲁棒性和秩矩阵完成。
2016-04-24 cs.IT math.IT stat.ML
Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption
Carnegie Mellon University(卡内基梅隆大学)
矩阵补全通常应用于具有非随机非随机缺失项(MNAR)的数据。例如,考虑一个推荐系统,其中用户倾向于只显示他们喜欢的项目的评级。在这种情况下,依赖于在均匀采样的行和列索引处显示的条目的矩阵完成方法可能会对看不见的用户评级产生过于乐观的预测。最近,各种各样的论文表明,如果我们知道不同矩阵项丢失的概率,我们可以减少MNAR矩阵完成中的这种偏差。这些概率通常使用逻辑斯谛回归或朴素贝叶斯进行建模,这些方法进行强假设,并且缺乏对估计概率准确性的保证。在本文中,我们提出了一个简单的方法来估计这些概率,避免这些缺点。我们的方法遵循的观察,在真实数据中的缺失模式往往表现出较低的核范数结构。然后,我们可以通过将(总是完全观察到的)二进制矩阵指定哪些条目被揭示或缺失到Davenport等人的现有核范数约束矩阵完成算法来估计缺失概率。[2014]。因此,我们通过首先解决不同的矩阵完成问题来解决MNAR矩阵完成问题,该矩阵完成问题恢复缺失概率。我们建立有限样本误差界如何准确这些概率估计和如何以及这些估计debias标准矩阵完成损失的原始矩阵完成。实验结果表明,所提出的去偏策略可以改善现有的各种矩阵补全算法,并使下游矩阵补全精度至少与需要额外辅助信息的逻辑斯谛回归和朴素贝叶斯去偏基线一样好.
2019-10-29 cs.LG stat.ML
Low-rank Matrix Recovery from Errors and Erasures
本文考虑从一个同时包含两个(a)擦除:大多数条目未被观察到,和(b)错误:(未知)位置的恒定分数的值被任意损坏的观察版本的低秩矩阵的恢复。我们提供了一个新的统一的性能保证时,最小化的秩加支持的自然凸松弛成功的精确恢复。我们的结果允许同时存在的随机和确定性的组件在错误和擦除模式。一方面,通过以不同的方式专门化这一单一结果而获得的推论恢复(直到多对数因子)矩阵完成以及稀疏和低秩矩阵恢复中的所有现有工作。另一方面,我们的结果也提供了第一个保证(a)恢复时,我们观察到一个消失的分数的条目损坏的矩阵,和(b)确定性矩阵完成。
2011-08-25 cs.IT math.IT stat.ML
Orthogonal Inductive Matrix Completion
TU Kaiserslautern(凯泽斯劳滕工业大学)
我们提出了正交归纳矩阵完成(OMIC),一个可解释的方法,矩阵完成的基础上的总和多个标准正交边信息项,连同核范数正则化。该方法允许我们注入有关地面真值矩阵的奇异向量的先验知识。我们通过一个可证明收敛的算法来优化该方法,该算法同时优化模型的所有组件。我们研究了我们的方法的泛化能力,在这两个分布的自由设置和抽样分布的情况下,允许均匀的边缘,产生学习保证,提高质量的注入知识在这两种情况下。作为我们的框架的特殊情况下,我们提出的模型,可以将用户和项目的偏见或社区信息的联合和添加剂的方式。我们分析了几个合成和真实的数据集上的OMIC的性能。在合成数据集与滑动尺度的用户偏见的相关性,我们表明,OMIC更好地适应不同的制度比其他方法。在包含用户/项目推荐和相关辅助信息的真实数据集上,我们发现OMIC超越了最先进的技术,具有更大的可解释性。
2021-08-25 cs.LG stat.ML
Learning Parameters for Weighted Matrix Completion via Empirical Estimation
最近,理论上的保证已经获得了矩阵完成在非均匀采样制度。特别是,如果抽样分布与底层矩阵的杠杆分数一致,那么核范数最小化将以高概率精确地恢复低秩矩阵。在本文中,我们分析了非均匀抽样分布可能与基础矩阵的杠杆分数一致或不一致的情况。在这里,我们探索学习加权核范数最小化的经验抽样分布的参数。我们为这些学习的权重提供了一个充分条件,为加权核范数最小化提供了一个精确的恢复保证。它已经建立了一个具体的选择的权重,在真实的采样分布不仅允许加权核范数最小化,以准确地恢复低秩矩阵,但也允许在精确的恢复条件的量化放松。在这篇文章中,我们扩展了这种可量化的放松,在确切的恢复条件下,定义类似的经验分布,而不是真正的抽样分布的权重的具体选择。为了实现这一点,我们采用了浓度的测量界和大偏差界。我们还提出了健康的鲁棒性的加权核范数最小化算法的经验学习的权重的选择的数值证据。这些数值实验表明,对于各种易于计算的经验权重,加权核范数最小化优于非加权核范数最小化在非均匀采样制度。
2015-04-02 stat.ML
Exponential Family Matrix Completion under Structural Constraints
我们考虑从噪声和部分测量中恢复结构化矩阵的矩阵完成问题。最近的作品提出了易于处理的估计与强大的统计保证的情况下,底层矩阵是低秩,测量组成的子集,无论是确切的个人条目,或条目扰动加性高斯噪声,这是因此隐含地适合于薄尾连续数据。可以说,矩阵补全的常见应用需要估计器用于(a)异构数据-类型,如偏斜-连续、计数、二进制等,(b)对于异构噪声模型(超越高斯),它捕获不同的测量不确定性,以及(c)异构结构约束超越低秩,如块稀疏,或低秩加元素稀疏的叠加结构,等等。在本文中,我们提供了一个非常统一的框架,广义矩阵完成考虑矩阵完成设置,其中矩阵条目是从指数分布的丰富的家庭的任何成员进行采样,并施加一般的结构约束的基础矩阵,捕获的一般正则化$\mathcal{R}(.)$。我们提出了一个简单的凸正则化$M$ -估计的广义框架,并提供了一个统一的和新的统计分析这类估计。最后,我们证实了我们的理论结果模拟数据集。
2015-09-15 cs.LG stat.ML
Noisy low-rank matrix completion with general sampling distribution
本文研究了带噪声的矩阵完备化问题。与以前的作品不同,我们考虑相当一般的采样分布,我们不需要知道或估计噪声的方差。提出了两个新的核范数惩罚估计,其中一个是平方根型的。我们分析了他们的性能在高维尺度下,并提供非渐近界的Frobenius范数误差。直到对数因子,这些性能保证在许多情况下是最小最大最优的。
2014-02-05 math.ST stat.TH
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成,并提出了新的算法,采用自适应采样方案,以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵(张量)的列空间具有高度信息性的条目,因此,即使当行空间高度一致时,我们的结果也成立,与以前的分析相反。在没有噪声的情况下,我们表明,可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明,可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复,我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟,验证我们的理论,并证明我们的算法的可扩展性。
2013-11-09 stat.ML
Preference Completion: Large-scale Collaborative Ranking from Pairwise Comparisons
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们考虑的协作排名设置:一个池的用户提供了少量的成对偏好之间的$d$可能的项目,从这些我们需要预测的用户的偏好,他们还没有看到的项目。我们通过将秩$r$得分矩阵拟合到成对数据来实现这一点,并提供两个主要贡献:(a)我们表明,一旦每个用户提供少至$O(r\log^2 d)$的成对比较,基于凸优化的算法就提供了良好的泛化保证--基本上匹配相关矩阵完成设置中所需的样本复杂性(它使用实际的数值,而不是成对的信息),(b)我们开发了一个大规模的非凸实现,我们称之为AltSVM,通过交替最小化训练矩阵的因子形式(我们显示减少到交替SVM问题),规模和并行化非常好的大型问题设置。在NDCG和其他排名性能指标中,它在许多中等规模的流行协同过滤数据集上的表现也优于常见基线。
2015-07-16 cs.LG stat.ML
Leave-one-out Approach for Matrix Completion: Primal and Dual Analysis
Cornell University(康奈尔大学)
在本文中,我们引入了一个强大的技术的基础上留一法分析的低秩矩阵完成问题的研究。使用这种技术,我们开发了一种通用的方法来获得细粒度的,entrywise边界的概率依赖的存在下,迭代随机过程。我们证明了这种方法在分析两个最重要的算法矩阵完成:(一)非凸方法的基础上投影梯度下降(PGD)的秩约束的制定,也被称为奇异值投影算法,(ii)基于核范数最小化(NNM)的凸松弛方法。使用这种方法,我们建立了第一个收敛保证的原始形式的PGD没有正则化或样本分裂},特别是表明,它在无穷范数线性收敛。对于NNM,我们使用这种方法来研究一个虚构的迭代过程中出现的对偶分析。我们的研究结果表明,\NNM恢复$ d $ -由- $ d $秩- $ r $矩阵与$\mathcal{O}(μr \log(μr) d \log d )$观察到的条目.该界对矩阵维数具有最优依赖性,与条件数无关。据我们所知,这是同时满足这两个属性的易处理矩阵完成算法的第一个样本复杂度结果。
2020-06-17 cs.IT cs.LG math.IT
Matrix Completion and Related Problems via Strong Duality
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究了非凸矩阵分解问题的强对偶性:证明了在一定的对偶条件下,这类问题与其对偶问题具有相同的最优解。这对于凸优化已经很好地理解,但对于非凸问题知之甚少。我们提出了一个新的分析框架,并表明在一定的对偶条件下,矩阵分解程序的最优解是相同的,它的双对偶是凸的,因此,非凸规划的全局最优性可以通过解决其双对偶。虽然矩阵分解问题很难在一般情况下求解,但许多矩阵分解问题都满足这些对偶条件。这个分析框架可能是独立的兴趣,更广泛的非凸优化。我们将我们的框架应用于两个原型矩阵分解问题:矩阵完备和鲁棒主成分分析(PCA)。这些都是有效地恢复一个隐藏的矩阵有限的可靠observations.Our框架表明,精确的可恢复性和强大的对偶持有接近最佳的样本复杂度保证矩阵完成和强大的PCA的例子。
2018-04-25 cs.DS cs.LG stat.ML
A Characterization of Deterministic Sampling Patterns for Low-Rank Matrix Completion
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
低秩矩阵完备化(LRMC)问题出现在各种各样的应用中。以往的理论主要提供了随机抽样缺失下的完备性条件。本文研究了完备性的确定性条件。不完全的$d \times N$矩阵是秩- $r$可完全的,如果最多有1000个秩- $r$矩阵与它的所有观测项一致.有限可完成性是LRMC的临界点,因为一个可完成矩阵的一些额外样本保证了它的唯一可完成性。本文的主要贡献是有限完备性的确定性抽样条件。我们用它来获得确定性的采样条件,可以有效地验证独特的可完成性。我们还表明,在均匀随机抽样方案下,如果观察到每列的$O(\max\{r,\log d\})$条目,则这些条件以高概率满足。这些发现有几个LRMC上的下界,样本和计算的复杂性,一致性的作用,自适应设置和任何完成算法的验证的影响。我们补充我们的理论结果与实验,支持我们的研究结果和激励未来的分析未知的采样制度。
2016-10-11 cs.LG math.AG stat.ML
Distributed Matrix Completion and Robust Factorization
Stanford(斯坦福大学);UC Berkeley(加州大学伯克利分校)
如果学习方法要扩展到现代数据集的大规模规模,那么机器学习领域必须采用并行和分布式计算。受最近矩阵分解方法理论丰富但计算复杂性较差以及将矩阵映射到分布式架构上相对容易的启发,我们引入了一个可扩展的分治框架用于噪声矩阵分解。我们提出了一个彻底的理论分析,在这个框架中,我们的特征的统计误差引入的“划分”步骤和控制其大小的“征服”的步骤,使整个算法享有高概率估计保证相比,其基础算法。我们还提出了协同过滤和视频背景建模的实验,证明了这种方法可以达到的近线性到超线性的加速。
2013-10-28 cs.DS cs.LG cs.NA
Intelligent Initialization and Adaptive Thresholding for Iterative Matrix Completion; Some Statistical and Algorithmic Theory for Adaptive-Impute
在过去的十年中,已经开发了各种矩阵完成算法。奇异值分解(SVD)是一种流行的技术,在实现其中的许多。大量的研究已经表明了它的理论和实证优势,但选择正确的阈值水平仍然是一个关键的实证困难。本文提出了一种新的矩阵完备化算法,该算法迭代阈值SVD与理论证明和数据依赖的阈值参数的值。所提出的算法的估计享有极大极小错误率,并显示出突出的经验性能。我们使用的阈值方案可以被看作是一个非凸优化问题的解决方案,其理论收敛保证的理解是有限的。我们研究这个问题,通过引入一个更简单的算法,广义- \SI,分析其收敛行为,并将其连接到所提出的算法。
2016-05-07 stat.ME
Representation Learning with Ordered Relation Paths for Knowledge Graph Completion
Peking University(北京大学)
现有的知识图谱普遍存在不完备性问题,而知识图谱的完备性是一个挑战。现有的KG完备化方法大多只考虑节点之间的直接关系,而忽略了包含对链接预测有用信息的关系路径。近年来,一些方法考虑了关系路径,但对路径中关系的顺序关注较少,而顺序对于推理是很重要的。此外,这些基于路径的模型往往忽略路径特征对链接预测的非线性贡献。为了解决这些问题,我们提出了一种新的KG完成方法命名为OPTransE。与以往的方法不同,该方法将关系的两个实体嵌入到同一个潜在空间中,而是将每个关系的头实体和尾实体投影到不同的潜在空间中,以保证路径中关系的有序性,同时采用池化策略提取不同路径的非线性和复杂特征,进一步提高链接预测的性能.在两个基准数据集上的实验结果表明,该模型OPtransE的性能优于现有的方法。
2019-09-26 cs.AI cs.LG
Color Image Inpainting via Robust Pure Quaternion Matrix Completion: Error Bound and Weighted Loss
The University of Hong Kong(香港大学)
本文将彩色图像修补问题作为一个纯四元数矩阵补齐问题进行研究。在文献中,四元数矩阵完备化的理论保证并不完善。我们的主要目的是提出一个新的最小化问题的目标结合核范数和三个通道之间的二次损失加权。为了填补这一理论空白,我们利用四元数矩阵的一些新结果,得到了在干净和损坏两种情况下的误差界。一般的高斯噪声被认为是在鲁棒完成,其中所有的观察是损坏的。受误差界的启发,我们建议通过二次损失中的跨信道权重来处理不平衡或相关噪声,其主要目的是重新平衡噪声水平或去除噪声相关性。合成和彩色图像数据的广泛的实验结果,以确认和证明我们的理论研究结果。
2022-10-26 cs.CV math.ST stat.TH
Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent
基于因式分解的梯度下降算法是一种可扩展的、高效的低秩矩阵完备化算法。结构化非凸优化的最新进展在低秩矩阵和样本集上的某些统计假设下为梯度下降算法提供了整体收敛保证。然而,虽然理论表明梯度下降法具有快速线性收敛到问题的全局解的能力,但边界技术的普遍性质使其无法获得对收敛速度收敛速率的准确估计。在本文中,我们进行了局部分析的精确线性收敛速率的梯度下降的因式分解为基础的矩阵完成对称矩阵。在不对底层模型作任何额外假设的情况下,我们确定了梯度下降算法局部收敛的确定性条件,该条件仅依赖于解矩阵和采样集.更重要的是,我们的分析提供了一个封闭形式的表达式的渐近收敛速率,完全匹配的线性收敛在实践中观察到的。据我们所知,我们的结果是第一个提供了确切的收敛速率梯度下降矩阵分解在欧氏空间矩阵完成。
2021-02-06 math.OC stat.ML