Matrix Completion in the Unit Hypercube via Structured Matrix Factorization
Tokyo Institute of Technology(东京工业大学);Technicolor AI Lab(特艺集团人工智能实验室)
组织中出现的一些复杂任务可以通过将它们映射到矩阵完成问题来简化。在本文中,我们解决了我们公司面临的一个关键挑战:预测艺术家在电影镜头中渲染视觉效果(VFX)的效率。我们通过使用双重方法来应对这一挑战:首先,我们将此任务转换为约束矩阵完成问题,其中条目在单位区间[0,1]内有界;其次,我们提出了两个新的矩阵分解模型,利用我们对VFX环境的了解。我们的第一种方法,专业知识矩阵分解(EMF),是一种可解释的方法,结构的潜在因素加权用户项目的相互作用。第二个,生存矩阵分解(SMF),而是一个概率模型的基本过程定义员工的效率。我们通过对我们的VFX数据集和另外两个值也在[0,1]区间内有界的数据集进行广泛的数值测试,证明了我们提出的模型的有效性。
2019-05-30 cs.LG stat.ML
Transductive Matrix Completion with Calibration for Multi-Task Learning
Fujian Normal University(福建师范大学);University of California, Los Angeles(加州大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学);Xiamen University(厦门大学)
多任务学习由于具有多个相关数据源的多目的研究而受到广泛关注。此外,具有矩阵完成的转换是多标签学习中的一种有用方法。在本文中,我们提出了一个转换矩阵完成算法,结合了多任务学习框架下的功能的校准约束。该算法同时恢复不完整的特征矩阵和目标矩阵。幸运的是,校准信息改善了完成结果。特别地,我们为所提出的算法提供了统计保证,并研究了校准信息引起的理论改进。此外,该算法具有次线性收敛速度。实验结果表明,当目标矩阵与特征矩阵之间存在非线性关系时,该算法的性能优于其他方法。
2023-02-20 cs.LG stat.ME stat.ML
Truncated Matrix Completion - An Empirical Study
University of Michigan(密歇根大学)
本文针对实际应用中采样掩码常依赖基础数据值的问题,通过实验研究并比较了原本适用于数据独立采样模式的多种低秩矩阵补全(LRMC)算法在该类场景下的性能。
2025-04-14 cs.AI cs.LG cs.NA
Matrix Completion under Low-Rank Missing Mechanism
Fudan University(复旦大学);Texas A&M University(德州农工大学);Peking University(北京大学)
矩阵完备化是一个现代的缺失数据问题,其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分,现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中,我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵,并进一步通过逆概率加权来完成目标矩阵。由于高维和极端(即,非常小)的真实概率矩阵的性质,需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University(阿尔托大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出一种基于代数几何和拟阵理论的代数组合新视角,通过研究少量条目间的关系来解决低秩矩阵补全问题,并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
Clustering of Nonnegative Data and an Application to Matrix Completion
University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一个简单的算法聚类非负数据躺在不相交的子空间。我们分析其性能的关系,一定程度的相关性,所述子空间。我们使用我们的聚类算法开发一个矩阵完成算法,它可以优于标准的矩阵完成算法的数据矩阵满足一定的自然条件。
2020-09-02 cs.LG eess.SP stat.ML
Empirical Bayes 1-bit matrix completion
Department of Mathematical Informatics, Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院数学信息学系);Statistical Mathematics Unit, RIKEN Center for Brain Science(脑科学研究所统计数学单元)
本文提出基于Efron-Morris估计器的经验贝叶斯方法,用于1位矩阵补全,利用二进制矩阵的低秩结构,提升预测精度、校准可靠性和计算效率。
2026-09-30 cs.LG stat.ME stat.ML
Categorical Matrix Completion
H. Milton Stewart School of Industrial and Systems Engineering(工业与系统工程学院)
本文提出通过扩展一位矩阵补全方法,解决具有类别值的矩阵补全问题,通过核范数约束最大化似然比,建立理论误差界,并在MovieLens数据集上验证方法优势。
2015-07-02 cs.LG cs.NA math.NA
Typical and Generic Ranks in Matrix Completion
我们从几何的角度考虑低秩矩阵的精确完备化问题:给定一个部分填充矩阵M,我们保持指定和未指定元素的位置固定,并研究最小完备秩如何依赖于已知元素的值.如果矩阵的元素是复数,则对于指定和未指定元素的位置的固定模式,存在以正概率出现的唯一完成秩。我们称这个等级为通用完成等级。在实数上,可以有多个以正概率出现的秩;我们称之为典型的完成秩。我们正式介绍这些概念,并提供了一些不等式和确切的结果,典型的和通用的不同家庭的模式的已知和未知的条目的排名。
2019-09-22 cs.NA math.AG math.NA
Targeted matrix completion
University of Southern California(南加州大学)
矩阵补全是在许多数据分析设置中出现的问题,其中输入由部分观察的矩阵组成(例如,推荐系统、流量矩阵分析等)。经典的矩阵完备化方法假设输入的部分观测矩阵是低秩的。这些方法的成功取决于观察到的条目的数量和矩阵的秩;秩越大,为了准确地完成矩阵,需要观察的条目就越多。在本文中,我们处理矩阵,不一定是低秩本身,而是他们包含低秩子矩阵。我们提出了有针对性的,这是一个通用的框架,完成这样的矩阵。在这个框架中,我们首先提取低秩子矩阵,然后分别对这些低秩子矩阵和剩余矩阵应用矩阵完备化算法。虽然对于完成本身,我们使用国家的最先进的完成方法,我们的结果表明,有针对性的实现显着较小的重建误差比其他经典的矩阵完成方法。本文的关键技术贡献之一在于从输入部分可观测矩阵中识别出低秩子矩阵。
2017-04-30 cs.LG stat.ML
A Generalized Latent Factor Model Approach to Mixed-data Matrix Completion with Entrywise Consistency
London School of Economics and Political Science(伦敦政治经济学院);University of Minnesota(明尼苏达大学)
矩阵补全是一类机器学习方法,它涉及部分观测矩阵中缺失项的预测。本文研究了混合数据的矩阵完备化问题,涉及混合类型的变量的数据(例如,连续的、二进制的、有序的)。我们将其表示为一般非线性因子模型下的低秩矩阵估计问题,然后提出了用于估计低秩矩阵的逐项相合估计量。紧概率误差界推导出建议的估计。所提出的方法进行了评估,通过模拟研究和实际数据的应用,协同过滤和大规模的教育评估。
2022-11-17 cs.LG math.ST stat.ME
Adaptive Matrix Completion for the Users and the Items in Tail
University of Minnesota(明尼苏达大学)
推荐系统被广泛用于向用户推荐最吸引人的物品。这些推荐可以通过应用协同过滤方法来生成。低秩矩阵补全方法是目前最先进的协同过滤方法。在这项工作中,我们表明,在现实世界的数据集的用户项目评级矩阵的评分的偏斜分布影响矩阵完成为基础的方法的准确性。此外,我们表明,一个项目或用户的评级数量正相关的能力,低秩矩阵完成为基础的方法来预测该项目或用户的评级准确。此外,我们使用这些见解来开发四种基于矩阵完成的方法,即,频率自适应评分预测(FARP)、截断矩阵分解(TRUNCATED MATRIX FACTORIZATION,TRUNCATED MATRIX FACTORIZATION WITH DOPPOUT,TRUNCATED MATRIX + DOPPOUT)和逆频率加权矩阵分解(IFWMF),对于用户和用户-项目评分矩阵中评分较少的项目,其性能优于传统的基于矩阵补全的方法。
2020-01-05 cs.IR cs.LG stat.ML
Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption
Carnegie Mellon University(卡内基梅隆大学)
矩阵补全通常应用于具有非随机非随机缺失项(MNAR)的数据。例如,考虑一个推荐系统,其中用户倾向于只显示他们喜欢的项目的评级。在这种情况下,依赖于在均匀采样的行和列索引处显示的条目的矩阵完成方法可能会对看不见的用户评级产生过于乐观的预测。最近,各种各样的论文表明,如果我们知道不同矩阵项丢失的概率,我们可以减少MNAR矩阵完成中的这种偏差。这些概率通常使用逻辑斯谛回归或朴素贝叶斯进行建模,这些方法进行强假设,并且缺乏对估计概率准确性的保证。在本文中,我们提出了一个简单的方法来估计这些概率,避免这些缺点。我们的方法遵循的观察,在真实数据中的缺失模式往往表现出较低的核范数结构。然后,我们可以通过将(总是完全观察到的)二进制矩阵指定哪些条目被揭示或缺失到Davenport等人的现有核范数约束矩阵完成算法来估计缺失概率。[2014]。因此,我们通过首先解决不同的矩阵完成问题来解决MNAR矩阵完成问题,该矩阵完成问题恢复缺失概率。我们建立有限样本误差界如何准确这些概率估计和如何以及这些估计debias标准矩阵完成损失的原始矩阵完成。实验结果表明,所提出的去偏策略可以改善现有的各种矩阵补全算法,并使下游矩阵补全精度至少与需要额外辅助信息的逻辑斯谛回归和朴素贝叶斯去偏基线一样好.
2019-10-29 cs.LG stat.ML
Sparse Group Inductive Matrix Completion
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Institute for Information Transmission Problems of RAS(俄罗斯科学院信息传输问题研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Central Research Institute for Epidemiology(中央流行病学研究所)
本文研究了带边信息的矩阵完备化问题(\textit{inductive matrix completion})。在实际应用中,许多侧信道特征通常是无信息的,使得特征选择成为问题的重要部分。我们将特征选择归纳矩阵完成提出了一个矩阵分解框架与组套索正则化侧特征参数矩阵。我们证明,所提出的方法的理论样本的复杂性是低得多相比,它的竞争对手在稀疏问题,并提出了一个有效的优化算法所产生的低秩矩阵完成问题与稀疏正则化。在合成数据集和真实数据集上的实验表明,该方法的性能优于其他方法。
2018-10-06 cs.LG stat.ML
Nonconvex Matrix Completion with Linearly Parameterized Factors
University of California, Davis(加州大学戴维斯分校);University of Pennsylvania(宾夕法尼亚大学)
矩阵补齐技术的目的是通过一小部分观察到的条目来估算数据矩阵中的大部分缺失条目。在包括协同过滤在内的实际应用中,通常采用先验信息和特殊结构来提高矩阵补全的准确性。在本文中,我们提出了一个统一的非凸优化框架的矩阵完成线性参数化的因素。特别地,通过引入相关参数分解条件,我们可以对非凸目标进行统一的几何分析,建立由任意局部极小值得到的低秩估计的统一上界.也许令人惊讶的是,相关参数因子分解的条件适用于重要的例子,包括子空间约束矩阵完成和反对称矩阵完成。我们的统一的非凸最优化方法的有效性也通过大量的数值模拟经验说明。
2022-03-07 cs.LG math.ST stat.ML
Time-series imputation using low-rank matrix completion
本文提出基于时间序列块-Hankel矩阵低秩补全的HI插补方法,并通过仿真与五种传统技术比较,验证其在缺失数据插值及尖锐峰值重现方面的竞争力。
2024-08-05 stat.ME
A note on the statistical view of matrix completion
基于统计模型,给出了矩阵完备化问题的一种简单解释。结合已知的缺失数据分析结果,这种解释表明,即使没有完全随机缺失(MCAR)假设,矩阵补全仍然是一个有效的和原则性的估计程序,几乎所有的矩阵补全的理论研究假设。
2016-05-10 stat.ML
Matrix Completion using Kronecker Product Approximation
Temple University(天普大学);Rutgers University(罗格斯大学)
一个矩阵完备化问题是恢复部分可观测矩阵中缺失的元素。现有的大多数矩阵完备化方法都假设其基础完备矩阵具有低秩结构。在本文中,我们介绍了一种替代的和更一般的形式的基本完全矩阵,它假设一个低的克罗内克秩,而不是一个低的正规秩,但包括后者作为一个特殊情况。额外的灵活性允许底层矩阵的更简约的表示,但也提出了确定要使用的适当克罗内克积配置的挑战。我们发现,该配置可以使用均方误差标准,以及修改后的交叉验证标准。我们建立了在适当的条件下的信号噪声比的一致性,这一过程。一个聚合过程也被提出来处理特殊的缺失模式和复杂的底层结构。数值和实证研究进行了证明新方法的性能。
2020-11-13 cs.LG stat.ME stat.ML
Matrix Completion and Tensor Rank
本文证明了低秩矩阵完备化问题可以归结为求某个张量的秩的问题。
2013-07-23 math.OC math.ST stat.TH
Interpretable Matrix Completion: A Discrete Optimization Approach
Massachusetts Institute of Technology(麻省理工学院)
考虑了$n \times m$矩阵上的矩阵完备化问题。我们引入了可解释矩阵完备化问题,旨在使用边信息为低秩矩阵提供有意义的见解。我们证明了该问题可以转化为一个二元凸优化问题。我们基于随机切割平面的新概念设计OptComplete,以使算法能够有效扩展到大小为$n=10^6$和$m=10^6$的矩阵。我们报告了在合成和真实世界数据集上的实验,这些实验表明,与其他类型的矩阵完成的最先进方法相比,OptComplete具有良好的缩放行为和准确性,同时提供了对影响矩阵的因素的见解。
2020-03-03 cs.LG math.OC stat.ML
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);the University of Iowa(爱荷华大学);Michigan State University(密歇根州立大学)
本文针对核范数正则化矩阵补全,在目标矩阵顶部特征空间不连贯假设下,首次推导出恢复满秩矩阵最佳低秩逼近的相对误差上界,弥补了现有加性误差界无法刻画完美恢复及特征值偏斜分布的不足。
2024-05-29 cs.LG stat.ML
Fast Low-Rank Bayesian Matrix Completion with Hierarchical Gaussian Prior Models
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(斯蒂文斯理工学院)
研究了低秩矩阵的完备化问题。为了利用数据矩阵的底层低秩结构,我们提出了一个分层高斯先验模型,其中假设低秩矩阵的列遵循具有零均值和公共精度矩阵的高斯分布,并将Wishart分布指定为精度矩阵的超先验。我们表明,这样的分层高斯先验有可能鼓励低秩的解决方案。基于所提出的层次先验模型,提出了一种矩阵完备化的变分贝叶斯方法,该方法将广义近似消息传递(GAMP)技术嵌入到变分贝叶斯推理中,以避免繁琐的矩阵求逆运算.仿真结果表明,我们提出的方法表现出优于现有的国家的最先进的矩阵完成方法。
2017-08-26 cs.LG stat.ML
Poisson Matrix Completion
Georgia Institute of Technology(佐治亚理工学院)
我们扩展的理论矩阵完成的情况下,我们使泊松观测的一个子集的条目的低秩矩阵。我们认为(现在)通常的矩阵恢复制定通过极大似然与适当的约束矩阵$M$,并建立理论上的上限和下限的恢复误差。我们的边界是接近最佳的顺序上的$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过调整用于一位矩阵完成\cite{davenport20121}的参数获得的(尽管这两个问题在性质上是不同的),并且调整需要利用泊松似然函数的特性的新技术,并且解决由泊松分布的局部次高斯特性所带来的困难。我们的研究结果突出了一些重要的区别泊松矩阵完成相比,以前的工作在矩阵完成,包括必须施加一个最小的信噪比要求,每个观察到的条目。我们还开发了一个有效的迭代算法,并证明其良好的性能恢复太阳耀斑图像。
2015-03-25 cs.LG stat.ML
Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent
University of Chicago(芝加哥大学)
我们解决的矩形矩阵完成问题,提升未知矩阵的一个半正定矩阵在更高的维度,并使用一个简单的梯度下降方案优化的半定因子的非凸目标。利用$O( μr^2 κ^2 n \max(μ, \log n))$对$n_1 \times n_2$ $μ$ -秩为$r$且条件数为$n = \max(n_1, n_2)$的非相干矩阵的随机观测,该算法以高概率线性收敛到全局最优。
2016-11-22 cs.LG stat.ML
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统,例如电影评级,计算机视觉,例如图像重建或完成,多任务学习,例如协作建模多个传感器的时间序列趋势,以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如,图像通常包含一组异构的对象,因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度,产生准确的估计缺失的数据,迭代收敛,它是计算上易于处理的迭代次数的可控上限,直到收敛。所提出的技术的准确性进行了验证自然图像,电影收视率,和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Matrix Completion With Selective Sampling
University of California, Los Angeles(加州大学洛杉矶分校)
矩阵完备化是数据科学中的一个经典问题,其中人们试图在仅观察条目的某个子集的情况下重建低秩矩阵。以前的作者把这个问题称为核范数最小化问题。几乎所有以前的工作假设没有明确的矩阵结构,并使用均匀采样来决定观察到的条目。我们建议的情况下,我们有一些知识的矩阵的结构,并允许设计的观察集的选择性抽样的方法。
2019-04-17 cs.LG stat.ML
Conformalized matrix completion
本文提出一种基于共形预测的无分布方法conformalized matrix completion(cmc),用于解决矩阵补全中的预测推断与不确定性量化问题,在保证预测覆盖的同时对模型误设具有鲁棒性。
2023-10-23 stat.ME
Matrix Completion Under Monotonic Single Index Models
Wisconsin Institutes for Discovery(威斯康星发现研究院);UW-Madison(威斯康星大学麦迪逊分校);University of Michigan Ann Arbor(密歇根大学安娜堡分校)
矩阵完备化的最新结果假设所考虑的矩阵是低秩的,或者列是低秩子空间的并集。然而,在现实世界中,这些模型的线性结构被(通常未知的)非线性变换扭曲。本文讨论的挑战,矩阵完成在面对这样的非线性。给定一个矩阵的几个观测值,通过对一个低秩矩阵应用Lipschitz单调函数得到,我们的任务是估计剩余的未观测项。我们提出了一种新的矩阵补全方法,交替低秩矩阵估计和单调函数估计丢失的矩阵元素。均方误差界限提供了对基于矩阵的大小、秩和非线性变换的性质来估计矩阵的程度的洞察。合成和真实世界的数据集上的实证结果证明了所提出的方法的竞争力。
2015-12-29 cs.LG stat.ML
Positive definite Hankel matrix completions and Hamburger moment completions
本文给出了含缺失项的Hamburger矩问题的解。考虑部分正序列的完备化问题。主要结果是一个正定可完成的模式,即模式,保证部分正定序列的汉堡时刻完成的存在性的表征。并给出了几个非正定可完备的模式。
2015-09-21 math.FA math.PR math.ST
Cluster Developing 1-Bit Matrix Completion
University of Sydney(悉尼大学)
矩阵补全作为推荐系统的核心技术已经有很长的使用历史。特别是1位矩阵补全,它将预测视为“推荐”或“不推荐”问题,已经证明了它在该领域的意义和有效性。然而,虽然客户和产品聚集成相互作用的集群,国家的最先进的基于模型的1位推荐系统不考虑分组偏见。为了解决这一问题,本文首次在低秩隐变量框架下将特定于组的效应整合到1位推荐系统中,引入了特定于组的1位矩阵完备(GS1 MC)。此外,即使在分组信息无法获得的情况下,也可以增强GS1 MC的能力,通过将稀疏子空间聚类技术集成到GS1 MC中,提出了聚类发展矩阵完成(CDMC)。也就是说,CDMC允许聚类用户/项目,并同时利用他们的群体效应完成矩阵。对合成数据和真实数据的实验表明,GS1 MC优于当前的1位矩阵完成方法。同时,CDMC仅基于稀疏的二进制用户-项目交互数据就能成功地捕获项目的体裁特征。值得注意的是,GS1 MC提供了一个新的见解,纳入和评估聚类方法的有效性,而CDMC可以作为一个新的工具,探索未揭示的社会行为或市场现象。
2019-04-07 cs.LG stat.ML
Fast matrix completion without the condition number
本文给出了第一个矩阵完备化算法,其运行时间和样本复杂度分别为未知目标矩阵秩的多项式、矩阵维数的线性和矩阵条件数的对数。据我们所知,所有以前的算法要么招致二次依赖于未知矩阵的条件数或二次依赖于矩阵的维数在运行时间。我们的算法是基于一种新的扩展交替最小化,我们表明,即使在存在噪声的标准假设下,理论上的保证。
2014-07-15 cs.DS cs.LG stat.ML
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题,其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分,噪声观察其条目,出现在许多统计,机器学习,和工程应用。在本文中,我们提出了一种新的,信息理论的方法,主动采样(或设计)的矩阵项的噪声矩阵完成,最大熵设计原则的基础上。我们的方法的一个新颖之处是,它隐含地利用不确定性量化(UQ)-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解(例如,相干性)和编码设计(例如,拉丁方)的采样性能和UQ的噪声矩阵完成。使用这样的见解,我们开发了一个有效的后验采样器的UQ,然后用于指导矩阵条目的封闭形式的采样方案。最后,我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares
矩阵补全问题吸引了很多关注,主要是由于著名的Netflix竞争。解决这个问题的两种流行方法是核范数正则化矩阵近似(Candes和Tao,2009,Mazumder,Hastie和Tibshirani,2010)和最大余量矩阵分解(Srebro,Rennie和Jaakkola,2005)。这两个程序在某些情况下解决等效问题,但使用完全不同的算法。在这篇文章中,我们将这两种方法结合在一起,导致一个有效的算法,大矩阵分解和完成,优于这两个。我们开发了一个软件包“softImpute”在R中实现我们的方法,和一个分布式版本的非常大的矩阵使用“火花”集群编程环境。
2014-10-09 stat.ME stat.ML
Regularizing Autoencoder-Based Matrix Completion Models via Manifold Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec;Duke University(杜克大学)
自编码器在基于神经网络的矩阵补全模型中很受欢迎,因为它们能够从部分观测矩阵中检索潜在的潜在因子。然而,当训练数据是稀缺的,他们的性能显着下降,由于过拟合。在本文中,我们使用依赖于多任务学习原理的数据依赖正则化技术来解决过拟合问题。具体来说,我们提出了一个基于自动编码器的矩阵完成模型,该模型将未知矩阵值的预测作为主要任务,并将流形学习作为辅助任务。后者作为一个归纳偏差,导致解决方案,更好地推广。所提出的模型优于现有的基于自动编码器的模型设计的矩阵完成,在知名的数据集实现高重建精度。
2018-07-04 cs.AI cs.LG stat.ML
Faster Matrix Completion Using Randomized SVD
Tsinghua University(清华大学);Old Dominion University(奥多明尼昂大学)
矩阵补全是图像修补和个性化推荐系统等领域广泛使用的一种技术。在这项工作中,我们专注于使用更快的随机奇异值分解(rSVD)来加速矩阵补全。首先,提出了两种处理稀疏矩阵的快速随机算法(rSVD-PI和rSVD-BKI)。它们使用eigSVD过程和几个加速技巧。然后,利用rSVD-BKI算法和一种新的子空间循环技术,对文献[1]中的奇异值阈值(SVT)方法进行加速,实现快速的矩阵完备化。实验表明,在保持相同精度的前提下,本文提出的rSVD算法比基本的rSVD算法[2]快6倍。对于图像修补和电影收视率估计问题,所提出的加速SVT算法消耗的CPU时间分别比使用svds和lansvd的方法少15倍和8倍,而不损失精度。
2018-10-16 cs.LG stat.ML
Collective Matrix Completion
Univ Paris Nanterre(巴黎楠泰尔大学);ESSEC Business School(ESSEC商学院);CREST(法国经济与统计研究所)
矩阵完备化的目的是根据对少量元素的观察来重构数据矩阵。通常在矩阵完成中考虑单个矩阵,其可以是例如推荐系统中的评级矩阵。然而,在实际情况中,数据往往是从多个来源获得的,这导致了矩阵的集合,而不是一个单一的。在这项工作中,我们考虑的问题,集体矩阵完成与多个和异构矩阵,这可以是计数,二进制,连续等,我们首先调查的设置,对于每个源,矩阵条目是从一个指数家庭分布抽样。然后,我们放松了对噪声服从指数族分布的假设,并研究了无分布的情况。在这种情况下,我们不为观察假设任何特定的模型。估计过程是基于最小化的总的拟合优度项和整个集体矩阵的核范数惩罚的总和。我们证明了所提出的估计实现快速收敛速度下的两个考虑的设置,我们证实了我们的结果与数值实验。
2019-10-21 cs.LG stat.ML
Concentration properties of fractional posterior in 1-bit matrix completion
Norwegian University of Science and Technology(挪威科技大学)
本文针对1比特矩阵补全问题,提出分数后验的集中性质理论,使用两种先验分布恢复参数矩阵,无需先验秩信息,且假设条件少于频率派方法。
2024-04-13 cs.LG stat.ML
Constructing confidence sets for the matrix completion problem
在本说明中,我们考虑的问题,构建诚实的和自适应的信心集的矩阵完成问题。对于噪声方差已知的Bernoulli模型,给出了一种构造适应于真矩阵秩未知的置信集的可实现方法。
2017-04-10 math.ST stat.TH
Median Matrix Completion: from Embarrassment to Optimality
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Texas A&M University(德州农工大学)
本文考虑了具有绝对偏差损失的矩阵完备化问题,得到了中位矩阵的一个估计。尽管中位数有几个吸引人的属性,非光滑的绝对偏差损失导致大规模数据集的计算挑战,这是越来越常见的矩阵完成问题。大规模问题的一个简单解决方案是并行计算。然而,过分并行的方式往往会导致低效的估计。基于伪数据的思想,我们提出了一种新的细化步骤,它把这种效率低下的估计到率(近)最优矩阵完成过程。精化估计是正则化最小中值估计的近似,因此不是普通的正则化经验风险估计。这导致了对渐近行为的非标准分析。实验结果也证实了所提出的方法的有效性。
2020-06-18 cs.LG stat.ML
Spectral Geometric Matrix Completion
Technion(以色列理工学院)
深度矩阵分解(DMF)是一种新兴的解决矩阵完备化问题的方法。最近的工作已经确定,梯度下降应用于DMF模型诱导恢复矩阵的秩上的隐式正则化。在这项工作中,我们解释DMF模型通过光谱几何的镜头。这使我们能够在不破坏DMF结构的情况下合并显式正则化,从而享受两个世界的最佳状态。特别是,我们专注于矩阵完成问题的行和/或列之间的潜在几何或拓扑关系。这种关系在许多应用中出现的矩阵完成问题中普遍存在,例如推荐系统和药物-靶标相互作用。我们的贡献使DMF模型能够利用这些关系,并使它们在实际基准上具有竞争力,同时展示了深度线性网络的首批成功应用之一。
2021-06-07 cs.CG cs.CV cs.LG
Causal Matrix Completion
矩阵完备化是从噪声观测的稀疏子集中恢复底层矩阵的研究。传统上,假设矩阵的条目是“完全随机缺失”(MCAR)的,即,每个条目都是随机显示的,独立于其他任何东西,具有均匀的概率。这可能是不现实的,因为存在“潜在混杂因素”,即,未观察到的因素,这些因素决定了基础矩阵的条目和观察到的矩阵中的缺失模式。例如,在电影推荐系统的上下文中--矩阵补全的规范应用--强烈不喜欢恐怖片的用户不太可能看恐怖片。一般来说,这些混杂因素会产生“非随机缺失”(MNAR)数据,这会严重影响任何不纠正这种偏倚的推断程序。我们通过潜在结果的语言开发了一个正式的因果模型矩阵完成,并提供了新的识别参数的各种因果被估量的利益。我们设计了一个程序,我们称之为“合成最近邻”(SNN),估计这些因果被估量。我们证明了我们的估计量的有限样本相合性和渐近正态性。我们的分析也导致新的理论结果的矩阵完成文学。特别是,我们建立了入口智能,即,最大范数,有限样本的一致性和渐近正态性的矩阵完成MNAR数据的结果。作为一种特殊情况,这也为MCAR数据的矩阵完成提供了条目方面的界限。在模拟和真实数据中,我们证明了我们提出的估计量的有效性。
2021-09-30 cs.LG econ.EM math.ST
Consistent Collective Matrix Completion under Joint Low Rank Structure
我们解决了集体矩阵完成问题,共同恢复一组矩阵的共享结构,从部分(和潜在的噪声)的意见。为了确保适定性的问题,我们施加了一个联合低秩结构,其中每个组件矩阵是低秩和潜在空间的低秩因子对应于每个实体是共享的整个集合。首先,我们开发了一个严格的代数表示和操纵集体矩阵结构,并确定一致的集体矩阵估计的充分条件。然后,我们提出了一个易于处理的凸估计解决集体矩阵完成问题,并提供了第一个非平凡的理论保证集体矩阵完成的一致性。我们表明,在第3.1节中所述的合理假设下,具有很高的概率,只要满足定理1所规定的样本复杂性要求,所提出的估计量就可以精确地恢复真实矩阵。本文推导出的样本复杂性要求是最佳的对数因子,并显着提高了标准矩阵完成的平凡扩展所获得的要求。最后,我们提出了一个可扩展的近似算法来解决所提出的凸规划,并通过模拟实验证实了我们的结果。
2015-04-07 cs.LG stat.ML
Matrix Completion Survey: Theory, Algorithms, and Empirical Evaluation
本文综述了矩阵补全的理论与算法,并通过实验评估了自适应采样方案的效果。
2025-12-09 stat.CO
Leveraging Shared Factor Structures for Enhanced Matrix Completion with Nonconvex Penalty Regularization
本文研究了含噪低秩矩阵补全问题,提出了一种在广义因子模型下联合建模观测数据与缺失指示的框架,并采用非凸惩罚正则化解决秩估计问题,有效提升了预测精度并提供了理论保证。
2025-04-05 stat.ME
Solving the Robust Matrix Completion Problem via a System of Nonlinear Equations
Baidu Research(百度研究院)
我们考虑了鲁棒矩阵完备化问题,其目的是从它们的和$M=L_*+S_*\in\mathbb{R}^{m\times n}$的不完全观测中恢复低秩矩阵$L_*$和稀疏矩阵$S_*$。在数学上,将鲁棒矩阵完备化问题转化为求解非线性方程组的问题,然后利用交替方向法求解非线性方程组。此外,该算法是高度并行化的,适合于大规模的问题。从理论上讲,我们的充分条件时,$L_*$可以近似观察到的$M_*$的低秩近似。在适当的假设下,证明了算法线性收敛于真解。数值模拟表明,简单的方法工作预期的,是与国家的最先进的方法。
2020-03-24 cs.LG stat.ML
Deep Learning Approach for Matrix Completion Using Manifold Learning
矩阵完备化由于其在各个研究领域的广泛应用而受到了广泛的关注和研究。现有的矩阵补全方法只考虑数据矩阵中元素之间的非线性(或线性)关系,而忽略了潜在的线性(或非线性)关系。本文提出了一种新的数据矩阵隐变量模型,该模型是线性和非线性模型的组合,并设计了一种新的基于深度神经网络的矩阵补全算法,以解决数据矩阵元素之间的线性和非线性关系。所提出的方法包括两个分支。第一个分支学习列的潜在表示,并通过一系列隐藏的神经网络层重建部分观察矩阵的列。第二个分支对行执行相同的操作。此外,基于多任务学习原理,我们强制这两个分支一起工作,并引入一种新的正则化技术来减少过度拟合。更具体地,数据的缺失条目被恢复为主要任务,并且流形学习被执行为辅助任务。辅助任务约束网络的权重,因此它可以被视为正则化器,从而改进主任务并减少过拟合。在合成数据和实际数据上的实验结果验证了该方法与现有的矩阵补全方法相比的有效性。
2020-12-11 cs.LG stat.ML
Graph Convolutional Matrix Completion
University of Amsterdam(阿姆斯特丹大学);Canadian Institute for Advanced Research(加拿大高等研究院)
我们考虑矩阵完成推荐系统的链接预测图的角度来看。交互数据,如电影评级,可以表示为二分用户项目图与标记的边缘表示观察到的评级。基于图结构数据深度学习的最新进展,我们提出了一个基于二分交互图上可区分消息传递的图自动编码器框架。我们的模型在标准的协同过滤基准测试中表现出了竞争力。在提供免费功能信息或结构化数据(如社交网络)的环境中,我们的框架优于最近的最先进的方法。
2017-10-25 cs.DB cs.IR cs.LG
Adjusting Leverage Scores by Row Weighting: A Practical Approach to Coherent Matrix Completion
Zhejiang University(浙江大学);Rutgers University(罗格斯大学);Shanghai Jiao Tong University(上海交通大学)
低秩矩阵完备化是一个重要的问题,有着广泛的实际应用。当观测值是从底层矩阵元素中均匀采样时,现有的方法都要求矩阵是不相干的。本文给出了标准均匀采样模型下相干矩阵完备化的第一种工作方法。我们的方法是基于加权核范数最小化的思想,在最近的几项工作中提出的,我们的主要贡献是一个实用的方法来计算加权矩阵,使杠杆得分加权后变得更加均匀。在适当的条件下,我们能够推导出理论结果,表明我们的方法的有效性。在合成数据上的实验表明,该方法能够以高精度恢复高度相干的矩阵,而标准的未加权方法即使在无噪声数据上也会失败。
2015-02-10 cs.LG stat.ML
On the Robustness of Cross-Concentrated Sampling for Matrix Completion
University of Central Florida(中佛罗里达大学);Michigan State University(密歇根州立大学)
针对交叉集中采样(CCS)矩阵补全模型对稀疏异常值鲁棒性不明的问题,本文提出鲁棒CCS补全问题及高效非凸迭代算法RCURC,其效率与鲁棒性在合成及真实数据集上获验证。
2024-01-28 cs.IT cs.LG math.IT
Geometric Matrix Completion: A Functional View
LIX, École Polytechnique(巴黎综合理工学院LIX实验室(LIX, École Polytechnique))
提出了几何矩阵完备化问题的一种全泛函观点。从现有的工作中,我们提出了一种新的正则化的启发,从功能图文献,更可解释的和理论上的声音。在具有强大的底层几何结构的合成任务上,我们的框架以巨大的优势(两个数量级)超过了最先进的技术,这表明了我们方法的潜力。在真实的数据集上,我们以以前方法的一小部分计算工作量实现了最先进的结果。我们的代码可在https://github.com/Not-IITian/functional-matrix-completion上公开获取
2020-09-29 cs.CV cs.LG cs.SI
Always Valid Risk Monitoring for Online Matrix Completion
University of California, Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
始终有效的集中不等式越来越多地被用作在线统计学习的性能度量,特别是在生成模型和监督学习的学习中。这种不等式通过允许随机的、自适应选择的样本量而不是离线统计学习中的固定的预先指定的大小来推进在线学习算法设计。然而,建立这样一个始终有效的类型结果的任务矩阵完成是具有挑战性的,远远没有理解的文献。由于这种类型的结果的重要性,这项工作建立和设计的在线矩阵完成问题的始终有效的风险约束过程。这种理论的进步是可能的非渐近鞅浓度和正则化低秩矩阵回归的新组合。我们的研究结果使一个更有效的样本在线算法设计,并作为一个基础,以评估在线实验策略的任务,在线矩阵完成。
2022-11-18 cs.AI cs.LG math.ST
Low-rank matrix completion theory via Plucker coordinates
Key Laboratory of Mathematics Mechanization, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院数学机械化重点实验室)
尽管低秩矩阵完备化的流行,其理论的大部分已经发展的假设下的随机观测模式,而很少有人知道的实际相关的情况下,非随机模式。具体来说,一个基本但很大程度上开放的问题是描述允许唯一或多个完成的模式。本文提供了两个这样的家庭模式的任何秩。实现这一点的关键是一个新的配方低秩矩阵完成Plucker坐标,后者是传统的计算机视觉的工具。这种连接是潜在的意义,一个广泛的家庭矩阵和子空间学习问题与不完整的数据。
2023-02-23 cs.LG math.AG stat.ML
Exponential Family Matrix Completion under Structural Constraints
我们考虑从噪声和部分测量中恢复结构化矩阵的矩阵完成问题。最近的作品提出了易于处理的估计与强大的统计保证的情况下,底层矩阵是低秩,测量组成的子集,无论是确切的个人条目,或条目扰动加性高斯噪声,这是因此隐含地适合于薄尾连续数据。可以说,矩阵补全的常见应用需要估计器用于(a)异构数据-类型,如偏斜-连续、计数、二进制等,(b)对于异构噪声模型(超越高斯),它捕获不同的测量不确定性,以及(c)异构结构约束超越低秩,如块稀疏,或低秩加元素稀疏的叠加结构,等等。在本文中,我们提供了一个非常统一的框架,广义矩阵完成考虑矩阵完成设置,其中矩阵条目是从指数分布的丰富的家庭的任何成员进行采样,并施加一般的结构约束的基础矩阵,捕获的一般正则化$\mathcal{R}(.)$。我们提出了一个简单的凸正则化$M$ -估计的广义框架,并提供了一个统一的和新的统计分析这类估计。最后,我们证实了我们的理论结果模拟数据集。
2015-09-15 cs.LG stat.ML
A regularized deep matrix factorized model of matrix completion for image restoration
College of Arts and Sciences, National University of Defense Technology(国防科技大学文理学院)
利用矩阵完备化进行图像复原已成为一种重要的方法。以前的大多数关于矩阵完备化的工作都集中在低秩性质上,通过对恢复的矩阵施加显式约束,例如核范数的约束或限制矩阵分解分量的维数。最近,理论研究表明,深度线性神经网络在矩阵完备化上具有隐式的低秩偏向。然而,低秩不足以反映自然图像的内在特征。因此,仅具有低秩约束的算法不足以很好地执行图像复原。在这项工作中,我们提出了一个正则化的深度矩阵分解(RDMF)模型的图像复原,它利用了隐式偏差的低秩深神经网络和显式偏差的总变化。我们证明了我们的RDMF模型的有效性与广泛的实验,其中我们的方法超越了最先进的模型在常见的例子,特别是从很少的观察恢复。我们的工作通过将深度学习的隐式偏差与显式正则化相结合,为解决其他逆问题提供了一个更通用的框架。
2020-07-29 cs.CV cs.LG stat.ML