A Generalized Latent Factor Model Approach to Mixed-data Matrix Completion with Entrywise Consistency
London School of Economics and Political Science(伦敦政治经济学院);University of Minnesota(明尼苏达大学)
矩阵补全是一类机器学习方法,它涉及部分观测矩阵中缺失项的预测。本文研究了混合数据的矩阵完备化问题,涉及混合类型的变量的数据(例如,连续的、二进制的、有序的)。我们将其表示为一般非线性因子模型下的低秩矩阵估计问题,然后提出了用于估计低秩矩阵的逐项相合估计量。紧概率误差界推导出建议的估计。所提出的方法进行了评估,通过模拟研究和实际数据的应用,协同过滤和大规模的教育评估。
2022-11-17 cs.LG math.ST stat.ME
A Bayesian Approach for Noisy Matrix Completion: Optimal Rate under General Sampling Distribution
贝叶斯方法的低秩矩阵完成噪声已被证明是非常有效的计算。虽然惩罚最小化方法的行为是很好地理解从理论和计算的角度来看,在这个问题上,贝叶斯估计的理论最优性尚未探讨。本文提出了一般抽样分布下矩阵完备化的贝叶斯估计。我们还提供了一个预言不等式的估计。这个不等式证明,无论矩阵的秩估计,我们的估计达到最小最大最优的收敛速率(对数因子)。最后,我们进行了一个简短的模拟研究。
2015-01-21 math.ST stat.TH
Positive definite Hankel matrix completions and Hamburger moment completions
本文给出了含缺失项的Hamburger矩问题的解。考虑部分正序列的完备化问题。主要结果是一个正定可完成的模式,即模式,保证部分正定序列的汉堡时刻完成的存在性的表征。并给出了几个非正定可完备的模式。
2015-09-21 math.FA math.PR math.ST
Empirical Bayes Matrix Completion
我们开发了一个经验贝叶斯(EB)算法的矩阵完成问题。EB算法是由Efron和Morris(1972)的矩阵均值奇异值收缩估计启发而来的。由于EB算法本质上是应用于简单模型的期望最大化算法,因此除了公差之外,它不需要启发式参数整定。数值结果表明,EB算法实现了一个很好的权衡精度和效率相比,现有的算法,它的工作特别好,当行和列的数量之间的差异是大的。实际数据的应用也表明了EB算法的实用性。
2017-06-06 math.ST stat.ME stat.ML
Nonconvex Matrix Completion with Linearly Parameterized Factors
University of California, Davis(加州大学戴维斯分校);University of Pennsylvania(宾夕法尼亚大学)
矩阵补齐技术的目的是通过一小部分观察到的条目来估算数据矩阵中的大部分缺失条目。在包括协同过滤在内的实际应用中,通常采用先验信息和特殊结构来提高矩阵补全的准确性。在本文中,我们提出了一个统一的非凸优化框架的矩阵完成线性参数化的因素。特别地,通过引入相关参数分解条件,我们可以对非凸目标进行统一的几何分析,建立由任意局部极小值得到的低秩估计的统一上界.也许令人惊讶的是,相关参数因子分解的条件适用于重要的例子,包括子空间约束矩阵完成和反对称矩阵完成。我们的统一的非凸最优化方法的有效性也通过大量的数值模拟经验说明。
2022-03-07 cs.LG math.ST stat.ML
Adaptive confidence sets for matrix completion
本文研究了矩阵完备化的诚实置信集和自适应置信集的存在性问题。我们考虑两种统计模型:迹回归模型和伯努利模型。在迹回归模型中,我们证明了即使在误差方差未知的情况下,也存在适应矩阵秩未知的诚实置信集。与此相反,我们证明了在伯努利模型中,诚实和自适应的信心集存在时,误差方差是已知的先验。在我们的证明过程中,我们得到了一些复合假设测试问题中出现的低秩推理的极大极小率的界。
2017-02-06 math.ST stat.TH
Calibrated Elastic Regularization in Matrix Completion
本文讨论了矩阵完备化问题,即根据一个小的指数子集的观测值估计一个矩阵。我们提出了一个校准谱弹性网方法与核和Frobenius罚款的总和,并开发了一个迭代算法来解决凸极小化问题。迭代算法在通过当前猜测估算不完整矩阵中的缺失条目和通过估算矩阵的缩放软阈值奇异值分解估计矩阵之间交替,直到所得矩阵收敛。随后进行校准步骤以校正由Frobenius罚分引起的偏差。在适当的相干性条件和适当的惩罚水平下,我们证明了所提出的估计器达到了接近最优阶的误差界,并与噪声水平成比例。这提供了一个统一的分析噪声和无噪声矩阵完成问题。仿真结果比较我们的建议与以前的。
2012-11-09 math.ST stat.ML stat.TH
Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion
Sloan School of Management(斯隆管理学院);Operations Research Center(运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院)
我们制定的矩阵完成的问题,没有边信息作为一个非凸优化问题。我们设计的fastImpute基于非凸梯度下降,并显示它收敛到一个全局最小值,保证恢复密切的基础矩阵,而它的规模超过$10^5 \times 10^5$的大小矩阵。我们报告了在合成和真实世界数据集上的实验,这些实验表明fastImpute在恢复矩阵的准确性和所有情况下所需的时间方面都具有竞争力。此外,当大量条目丢失时,fastImpute在具有和不具有边信息的情况下都比当前最先进的矩阵完成方法快$75\%$以上、低MAPE和快$15$倍。
2020-12-31 cs.LG math.OC stat.ME
Time-series imputation using low-rank matrix completion
本文提出基于时间序列块-Hankel矩阵低秩补全的HI插补方法,并通过仿真与五种传统技术比较,验证其在缺失数据插值及尖锐峰值重现方面的竞争力。
2024-08-05 stat.ME
Weighted algorithms for compressed sensing and matrix completion
本文研究了压缩感知和矩阵完备问题的迭代重加权基追踪算法。在第一部分中,我们给出了一个理论解释的事实,重新加权基追踪可以改善基追踪在压缩感知的准确恢复了很多。我们展示了一个条件,链接的RIP和不相干常数的权重的准确性,这确保了准确的恢复。在第二部分中,我们介绍了一个新的算法矩阵完成,基于迭代加权的思想。由于加权核“范数”通常是非凸的,因此它不能容易地用作目标函数。因此,我们定义了一个新的估计的基础上的不动点方程。我们给出了经验证据的事实,这种新的算法导致强大的改进核模最小化的模拟和真实的矩阵完成问题。
2011-07-08 cs.IT math.IT math.ST
Optimal tuning-free convex relaxation for noisy matrix completion
本文针对含噪矩阵补全问题,提出无调参的平方根矩阵补全估计器,证明其在均匀采样下达到最优统计性能,且不依赖噪声大小,并通过与非凸估计器的联系进行分析。
2023-06-06 cs.IT math.IT math.ST
Typical and Generic Ranks in Matrix Completion
我们从几何的角度考虑低秩矩阵的精确完备化问题:给定一个部分填充矩阵M,我们保持指定和未指定元素的位置固定,并研究最小完备秩如何依赖于已知元素的值.如果矩阵的元素是复数,则对于指定和未指定元素的位置的固定模式,存在以正概率出现的唯一完成秩。我们称这个等级为通用完成等级。在实数上,可以有多个以正概率出现的秩;我们称之为典型的完成秩。我们正式介绍这些概念,并提供了一些不等式和确切的结果,典型的和通用的不同家庭的模式的已知和未知的条目的排名。
2019-09-22 cs.NA math.AG math.NA
Causal Matrix Completion
矩阵完备化是从噪声观测的稀疏子集中恢复底层矩阵的研究。传统上,假设矩阵的条目是“完全随机缺失”(MCAR)的,即,每个条目都是随机显示的,独立于其他任何东西,具有均匀的概率。这可能是不现实的,因为存在“潜在混杂因素”,即,未观察到的因素,这些因素决定了基础矩阵的条目和观察到的矩阵中的缺失模式。例如,在电影推荐系统的上下文中--矩阵补全的规范应用--强烈不喜欢恐怖片的用户不太可能看恐怖片。一般来说,这些混杂因素会产生“非随机缺失”(MNAR)数据,这会严重影响任何不纠正这种偏倚的推断程序。我们通过潜在结果的语言开发了一个正式的因果模型矩阵完成,并提供了新的识别参数的各种因果被估量的利益。我们设计了一个程序,我们称之为“合成最近邻”(SNN),估计这些因果被估量。我们证明了我们的估计量的有限样本相合性和渐近正态性。我们的分析也导致新的理论结果的矩阵完成文学。特别是,我们建立了入口智能,即,最大范数,有限样本的一致性和渐近正态性的矩阵完成MNAR数据的结果。作为一种特殊情况,这也为MCAR数据的矩阵完成提供了条目方面的界限。在模拟和真实数据中,我们证明了我们提出的估计量的有效性。
2021-09-30 cs.LG econ.EM math.ST
Matrix Completion for the Independence Model
研究了标准单纯形中部分矩阵完备为秩一矩阵的问题。研究这个问题的动机来自于统计:缺乏合格的完成可以为来自独立模型的部分观测提供证伪检验。对于每一种指定项的模式,我们给出满足的方程和不等式当且仅当一个合格的完成存在。我们还描述了一组有效的完成,我们优化了这个集合。
2016-04-28 math.AG math.CO math.ST
A Max-Norm Constrained Minimization Approach to 1-Bit Matrix Completion
本文考虑了一般非均匀采样分布下的噪声1比特矩阵的完备化问题,利用最大范数作为秩的凸松弛。引入并研究了最大范数约束的最大似然估计。给出了估计的收敛速度。在一般抽样模型下,利用信息论方法建立了极大极小下界。极大极小的上界和下界一起产生Frobenius范数损失的最佳收敛速度。计算算法和数值性能进行了讨论。
2013-09-24 math.ST stat.ML stat.TH
Typical ranks in symmetric matrix completion
研究了对称矩阵的低秩矩阵完备化问题。一般部分指定对称矩阵的完备化的最小秩仅取决于指定元素的位置,而不是它们的值,如果允许复杂的元素。当要求条目是真实的时,情况就不再是这样了,可能的最低等级称为典型等级。本文给出了以$n$为典型秩的$n\times n$对称矩阵的指定整的模式的组合描述。此外,我们准确地描述了当这样一个通用的部分矩阵是最低限度地完成排名$n$。我们还描述了具有低的最大典型秩的条目的模式的典型秩。
2020-10-14 math.AG math.CO math.ST
A note on the statistical view of matrix completion
基于统计模型,给出了矩阵完备化问题的一种简单解释。结合已知的缺失数据分析结果,这种解释表明,即使没有完全随机缺失(MCAR)假设,矩阵补全仍然是一个有效的和原则性的估计程序,几乎所有的矩阵补全的理论研究假设。
2016-05-10 stat.ML
Conformalized matrix completion
本文提出一种基于共形预测的无分布方法conformalized matrix completion(cmc),用于解决矩阵补全中的预测推断与不确定性量化问题,在保证预测覆盖的同时对模型误设具有鲁棒性。
2023-10-23 stat.ME
Always Valid Risk Monitoring for Online Matrix Completion
University of California, Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
始终有效的集中不等式越来越多地被用作在线统计学习的性能度量,特别是在生成模型和监督学习的学习中。这种不等式通过允许随机的、自适应选择的样本量而不是离线统计学习中的固定的预先指定的大小来推进在线学习算法设计。然而,建立这样一个始终有效的类型结果的任务矩阵完成是具有挑战性的,远远没有理解的文献。由于这种类型的结果的重要性,这项工作建立和设计的在线矩阵完成问题的始终有效的风险约束过程。这种理论的进步是可能的非渐近鞅浓度和正则化低秩矩阵回归的新组合。我们的研究结果使一个更有效的样本在线算法设计,并作为一个基础,以评估在线实验策略的任务,在线矩阵完成。
2022-11-18 cs.AI cs.LG math.ST
Weighted matrix completion from non-random, non-uniform sampling patterns
我们研究了当观测模式是确定的且可能是非均匀的情况下的矩阵完备化问题。我们提出了一个简单而有效的去偏投影方案从噪声观测中恢复,并在适当的加权度量下分析了误差。我们引入了一个简单的函数的权重矩阵和采样模式,管理恢复矩阵的准确性。我们得到理论上的保证,上限的恢复误差和几乎匹配的下限,展示在几个政权的最优性。我们的数值实验证明了我们的方法的计算效率和精度,并表明,去偏置是必不可少的,当使用非均匀采样模式。
2019-10-30 cs.IT math.IT math.ST
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题,其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分,噪声观察其条目,出现在许多统计,机器学习,和工程应用。在本文中,我们提出了一种新的,信息理论的方法,主动采样(或设计)的矩阵项的噪声矩阵完成,最大熵设计原则的基础上。我们的方法的一个新颖之处是,它隐含地利用不确定性量化(UQ)-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解(例如,相干性)和编码设计(例如,拉丁方)的采样性能和UQ的噪声矩阵完成。使用这样的见解,我们开发了一个有效的后验采样器的UQ,然后用于指导矩阵条目的封闭形式的采样方案。最后,我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research(雅虎研究院);University of Minnesota – Twin Cities(明尼苏达大学双城分校)
归纳矩阵完备化(IMC)是一类重要的矩阵完备化问题,它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统,多标签学习,字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务,其中底层矩阵遵循IMC模型,即,它由夹在两个已知特征矩阵之间的混合矩阵(先验未知)形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni:2016:NMC的主要定理,并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上,它可以用来推导各种噪声模型的误差界。在本文中,我们实例化我们的主要结果的情况下,高斯噪声,并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
Adversarial Robust Low Rank Matrix Estimation: Compressed Sensing and Matrix Completion
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));The Institute of Statistical Mathematics(统计数学研究所);Center for Advanced Integrated Intelligence Research, RIKEN(理化学研究所先进综合智能研究中心)
本文提出基于Huber损失与核范数惩罚的统一方法,解决对抗污染下的低秩矩阵估计,获得比以往更尖锐的误差界。
2024-05-24 cs.LG math.ST stat.ML
Multivariate Gaussians, Semidefinite Matrix Completion, and Convex Algebraic Geometry
我们研究了由协方差阵的逆矩阵上的线性约束描述的多元正态模型。这种模型的极大似然估计导致的问题,最大化的决定性功能在一个spectrahedron,并在任意线性投影下的正定锥的图像的特征的问题。这些问题的统计和优化的接口在这里检查凸代数几何的角度来看。
2009-06-18 math.AG math.OC math.ST
Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares
矩阵补全问题吸引了很多关注,主要是由于著名的Netflix竞争。解决这个问题的两种流行方法是核范数正则化矩阵近似(Candes和Tao,2009,Mazumder,Hastie和Tibshirani,2010)和最大余量矩阵分解(Srebro,Rennie和Jaakkola,2005)。这两个程序在某些情况下解决等效问题,但使用完全不同的算法。在这篇文章中,我们将这两种方法结合在一起,导致一个有效的算法,大矩阵分解和完成,优于这两个。我们开发了一个软件包“softImpute”在R中实现我们的方法,和一个分布式版本的非常大的矩阵使用“火花”集群编程环境。
2014-10-09 stat.ME stat.ML
Structured low-rank matrix completion for forecasting in time series analysis
Cardiff University(卡迪夫大学);CNRS(法国国家科学研究中心)
本文研究了低秩矩阵补全问题,应用于时间序列预测。基于Hankel矩阵的补全方法和核范数松弛,通过理论和实验证明了适当选择已知观测加权方案的重要性。
2018-02-22 cs.NA cs.SY eess.SY
Leveraging Shared Factor Structures for Enhanced Matrix Completion with Nonconvex Penalty Regularization
本文研究了含噪低秩矩阵补全问题,提出了一种在广义因子模型下联合建模观测数据与缺失指示的框架,并采用非凸惩罚正则化解决秩估计问题,有效提升了预测精度并提供了理论保证。
2025-04-05 stat.ME
Boolean Matrix Factorization and Noisy Completion via Message Passing
Carnegie Mellon University(卡内基梅隆大学);University of Alberta(阿尔伯塔大学)
布尔矩阵分解和布尔矩阵完成噪声观测是理想的无监督数据分析方法,由于其可解释性,但难以执行,由于其NP-硬度。我们把这些问题的最大后验推理问题的图形模型,并提出了一个消息传递的方法,规模与观察和因素的数量呈线性关系。我们的实证研究表明,消息传递是能够恢复低秩布尔矩阵,在理论上可能的恢复的边界,并与最先进的在现实世界中的应用,如协同过滤与大规模的布尔数据相媲美。
2016-02-04 cs.AI cs.DM math.ST
Transductive Matrix Completion with Calibration for Multi-Task Learning
Fujian Normal University(福建师范大学);University of California, Los Angeles(加州大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学);Xiamen University(厦门大学)
多任务学习由于具有多个相关数据源的多目的研究而受到广泛关注。此外,具有矩阵完成的转换是多标签学习中的一种有用方法。在本文中,我们提出了一个转换矩阵完成算法,结合了多任务学习框架下的功能的校准约束。该算法同时恢复不完整的特征矩阵和目标矩阵。幸运的是,校准信息改善了完成结果。特别地,我们为所提出的算法提供了统计保证,并研究了校准信息引起的理论改进。此外,该算法具有次线性收敛速度。实验结果表明,当目标矩阵与特征矩阵之间存在非线性关系时,该算法的性能优于其他方法。
2023-02-20 cs.LG stat.ME stat.ML
Geometric Matrix Completion: A Functional View
LIX, École Polytechnique(巴黎综合理工学院LIX实验室(LIX, École Polytechnique))
提出了几何矩阵完备化问题的一种全泛函观点。从现有的工作中,我们提出了一种新的正则化的启发,从功能图文献,更可解释的和理论上的声音。在具有强大的底层几何结构的合成任务上,我们的框架以巨大的优势(两个数量级)超过了最先进的技术,这表明了我们方法的潜力。在真实的数据集上,我们以以前方法的一小部分计算工作量实现了最先进的结果。我们的代码可在https://github.com/Not-IITian/functional-matrix-completion上公开获取
2020-09-29 cs.CV cs.LG cs.SI
Categorical Matrix Completion
H. Milton Stewart School of Industrial and Systems Engineering(工业与系统工程学院)
本文提出通过扩展一位矩阵补全方法,解决具有类别值的矩阵补全问题,通过核范数约束最大化似然比,建立理论误差界,并在MovieLens数据集上验证方法优势。
2015-07-02 cs.LG cs.NA math.NA
Clustering of Nonnegative Data and an Application to Matrix Completion
University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一个简单的算法聚类非负数据躺在不相交的子空间。我们分析其性能的关系,一定程度的相关性,所述子空间。我们使用我们的聚类算法开发一个矩阵完成算法,它可以优于标准的矩阵完成算法的数据矩阵满足一定的自然条件。
2020-09-02 cs.LG eess.SP stat.ML
Adaptive Matrix Completion for the Users and the Items in Tail
University of Minnesota(明尼苏达大学)
推荐系统被广泛用于向用户推荐最吸引人的物品。这些推荐可以通过应用协同过滤方法来生成。低秩矩阵补全方法是目前最先进的协同过滤方法。在这项工作中,我们表明,在现实世界的数据集的用户项目评级矩阵的评分的偏斜分布影响矩阵完成为基础的方法的准确性。此外,我们表明,一个项目或用户的评级数量正相关的能力,低秩矩阵完成为基础的方法来预测该项目或用户的评级准确。此外,我们使用这些见解来开发四种基于矩阵完成的方法,即,频率自适应评分预测(FARP)、截断矩阵分解(TRUNCATED MATRIX FACTORIZATION,TRUNCATED MATRIX FACTORIZATION WITH DOPPOUT,TRUNCATED MATRIX + DOPPOUT)和逆频率加权矩阵分解(IFWMF),对于用户和用户-项目评分矩阵中评分较少的项目,其性能优于传统的基于矩阵补全的方法。
2020-01-05 cs.IR cs.LG stat.ML
Matrix Completion Survey: Theory, Algorithms, and Empirical Evaluation
Cornell University(康奈尔大学)
本文综述了矩阵补全的理论与算法,并通过实验评估了自适应采样方案的效果。
2025-12-09 stat.CO
Targeted matrix completion
University of Southern California(南加州大学)
矩阵补全是在许多数据分析设置中出现的问题,其中输入由部分观察的矩阵组成(例如,推荐系统、流量矩阵分析等)。经典的矩阵完备化方法假设输入的部分观测矩阵是低秩的。这些方法的成功取决于观察到的条目的数量和矩阵的秩;秩越大,为了准确地完成矩阵,需要观察的条目就越多。在本文中,我们处理矩阵,不一定是低秩本身,而是他们包含低秩子矩阵。我们提出了有针对性的,这是一个通用的框架,完成这样的矩阵。在这个框架中,我们首先提取低秩子矩阵,然后分别对这些低秩子矩阵和剩余矩阵应用矩阵完备化算法。虽然对于完成本身,我们使用国家的最先进的完成方法,我们的结果表明,有针对性的实现显着较小的重建误差比其他经典的矩阵完成方法。本文的关键技术贡献之一在于从输入部分可观测矩阵中识别出低秩子矩阵。
2017-04-30 cs.LG stat.ML
Empirical Bayes 1-bit matrix completion
Department of Mathematical Informatics, Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院数学信息学系);Statistical Mathematics Unit, RIKEN Center for Brain Science(脑科学研究所统计数学单元)
本文提出基于Efron-Morris估计器的经验贝叶斯方法,用于1位矩阵补全,利用二进制矩阵的低秩结构,提升预测精度、校准可靠性和计算效率。
2026-09-30 cs.LG stat.ME stat.ML
Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption
Carnegie Mellon University(卡内基梅隆大学)
矩阵补全通常应用于具有非随机非随机缺失项(MNAR)的数据。例如,考虑一个推荐系统,其中用户倾向于只显示他们喜欢的项目的评级。在这种情况下,依赖于在均匀采样的行和列索引处显示的条目的矩阵完成方法可能会对看不见的用户评级产生过于乐观的预测。最近,各种各样的论文表明,如果我们知道不同矩阵项丢失的概率,我们可以减少MNAR矩阵完成中的这种偏差。这些概率通常使用逻辑斯谛回归或朴素贝叶斯进行建模,这些方法进行强假设,并且缺乏对估计概率准确性的保证。在本文中,我们提出了一个简单的方法来估计这些概率,避免这些缺点。我们的方法遵循的观察,在真实数据中的缺失模式往往表现出较低的核范数结构。然后,我们可以通过将(总是完全观察到的)二进制矩阵指定哪些条目被揭示或缺失到Davenport等人的现有核范数约束矩阵完成算法来估计缺失概率。[2014]。因此,我们通过首先解决不同的矩阵完成问题来解决MNAR矩阵完成问题,该矩阵完成问题恢复缺失概率。我们建立有限样本误差界如何准确这些概率估计和如何以及这些估计debias标准矩阵完成损失的原始矩阵完成。实验结果表明,所提出的去偏策略可以改善现有的各种矩阵补全算法,并使下游矩阵补全精度至少与需要额外辅助信息的逻辑斯谛回归和朴素贝叶斯去偏基线一样好.
2019-10-29 cs.LG stat.ML
Sparse Group Inductive Matrix Completion
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Institute for Information Transmission Problems of RAS(俄罗斯科学院信息传输问题研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Central Research Institute for Epidemiology(中央流行病学研究所)
本文研究了带边信息的矩阵完备化问题(\textit{inductive matrix completion})。在实际应用中,许多侧信道特征通常是无信息的,使得特征选择成为问题的重要部分。我们将特征选择归纳矩阵完成提出了一个矩阵分解框架与组套索正则化侧特征参数矩阵。我们证明,所提出的方法的理论样本的复杂性是低得多相比,它的竞争对手在稀疏问题,并提出了一个有效的优化算法所产生的低秩矩阵完成问题与稀疏正则化。在合成数据集和真实数据集上的实验表明,该方法的性能优于其他方法。
2018-10-06 cs.LG stat.ML
Interpretable Matrix Completion: A Discrete Optimization Approach
Massachusetts Institute of Technology(麻省理工学院)
考虑了$n \times m$矩阵上的矩阵完备化问题。我们引入了可解释矩阵完备化问题,旨在使用边信息为低秩矩阵提供有意义的见解。我们证明了该问题可以转化为一个二元凸优化问题。我们基于随机切割平面的新概念设计OptComplete,以使算法能够有效扩展到大小为$n=10^6$和$m=10^6$的矩阵。我们报告了在合成和真实世界数据集上的实验,这些实验表明,与其他类型的矩阵完成的最先进方法相比,OptComplete具有良好的缩放行为和准确性,同时提供了对影响矩阵的因素的见解。
2020-03-03 cs.LG math.OC stat.ML
Matrix Completion using Kronecker Product Approximation
Temple University(天普大学);Rutgers University(罗格斯大学)
一个矩阵完备化问题是恢复部分可观测矩阵中缺失的元素。现有的大多数矩阵完备化方法都假设其基础完备矩阵具有低秩结构。在本文中,我们介绍了一种替代的和更一般的形式的基本完全矩阵,它假设一个低的克罗内克秩,而不是一个低的正规秩,但包括后者作为一个特殊情况。额外的灵活性允许底层矩阵的更简约的表示,但也提出了确定要使用的适当克罗内克积配置的挑战。我们发现,该配置可以使用均方误差标准,以及修改后的交叉验证标准。我们建立了在适当的条件下的信号噪声比的一致性,这一过程。一个聚合过程也被提出来处理特殊的缺失模式和复杂的底层结构。数值和实证研究进行了证明新方法的性能。
2020-11-13 cs.LG stat.ME stat.ML
A Combinatorial Algebraic Approach for the Identifiability of Low-Rank Matrix Completion
Berlin Institute of Technology (TU Berlin)(柏林工业大学);FU Berlin(柏林自由大学);University of Tokyo(东京大学)
本文通过组合代数方法,首次给出了任意秩矩阵从一组矩阵条目中可辨识的充要组合条件,并提出了新算法。
2012-06-27 cs.DM cs.LG cs.NA
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);the University of Iowa(爱荷华大学);Michigan State University(密歇根州立大学)
本文针对核范数正则化矩阵补全,在目标矩阵顶部特征空间不连贯假设下,首次推导出恢复满秩矩阵最佳低秩逼近的相对误差上界,弥补了现有加性误差界无法刻画完美恢复及特征值偏斜分布的不足。
2024-05-29 cs.LG stat.ML
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统,例如电影评级,计算机视觉,例如图像重建或完成,多任务学习,例如协作建模多个传感器的时间序列趋势,以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如,图像通常包含一组异构的对象,因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度,产生准确的估计缺失的数据,迭代收敛,它是计算上易于处理的迭代次数的可控上限,直到收敛。所提出的技术的准确性进行了验证自然图像,电影收视率,和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Fast Low-Rank Bayesian Matrix Completion with Hierarchical Gaussian Prior Models
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(斯蒂文斯理工学院)
研究了低秩矩阵的完备化问题。为了利用数据矩阵的底层低秩结构,我们提出了一个分层高斯先验模型,其中假设低秩矩阵的列遵循具有零均值和公共精度矩阵的高斯分布,并将Wishart分布指定为精度矩阵的超先验。我们表明,这样的分层高斯先验有可能鼓励低秩的解决方案。基于所提出的层次先验模型,提出了一种矩阵完备化的变分贝叶斯方法,该方法将广义近似消息传递(GAMP)技术嵌入到变分贝叶斯推理中,以避免繁琐的矩阵求逆运算.仿真结果表明,我们提出的方法表现出优于现有的国家的最先进的矩阵完成方法。
2017-08-26 cs.LG stat.ML
Fast matrix completion without the condition number
本文给出了第一个矩阵完备化算法,其运行时间和样本复杂度分别为未知目标矩阵秩的多项式、矩阵维数的线性和矩阵条件数的对数。据我们所知,所有以前的算法要么招致二次依赖于未知矩阵的条件数或二次依赖于矩阵的维数在运行时间。我们的算法是基于一种新的扩展交替最小化,我们表明,即使在存在噪声的标准假设下,理论上的保证。
2014-07-15 cs.DS cs.LG stat.ML
Poisson Matrix Completion
Georgia Institute of Technology(佐治亚理工学院)
我们扩展的理论矩阵完成的情况下,我们使泊松观测的一个子集的条目的低秩矩阵。我们认为(现在)通常的矩阵恢复制定通过极大似然与适当的约束矩阵$M$,并建立理论上的上限和下限的恢复误差。我们的边界是接近最佳的顺序上的$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过调整用于一位矩阵完成\cite{davenport20121}的参数获得的(尽管这两个问题在性质上是不同的),并且调整需要利用泊松似然函数的特性的新技术,并且解决由泊松分布的局部次高斯特性所带来的困难。我们的研究结果突出了一些重要的区别泊松矩阵完成相比,以前的工作在矩阵完成,包括必须施加一个最小的信噪比要求,每个观察到的条目。我们还开发了一个有效的迭代算法,并证明其良好的性能恢复太阳耀斑图像。
2015-03-25 cs.LG stat.ML
Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent
University of Chicago(芝加哥大学)
我们解决的矩形矩阵完成问题,提升未知矩阵的一个半正定矩阵在更高的维度,并使用一个简单的梯度下降方案优化的半定因子的非凸目标。利用$O( μr^2 κ^2 n \max(μ, \log n))$对$n_1 \times n_2$ $μ$ -秩为$r$且条件数为$n = \max(n_1, n_2)$的非相干矩阵的随机观测,该算法以高概率线性收敛到全局最优。
2016-11-22 cs.LG stat.ML
Matrix Completion With Selective Sampling
University of California, Los Angeles(加州大学洛杉矶分校)
矩阵完备化是数据科学中的一个经典问题,其中人们试图在仅观察条目的某个子集的情况下重建低秩矩阵。以前的作者把这个问题称为核范数最小化问题。几乎所有以前的工作假设没有明确的矩阵结构,并使用均匀采样来决定观察到的条目。我们建议的情况下,我们有一些知识的矩阵的结构,并允许设计的观察集的选择性抽样的方法。
2019-04-17 cs.LG stat.ML
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University(波士顿大学)
我们研究交替最小化矩阵完成在最简单的可能设置:完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画,给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Regularizing Autoencoder-Based Matrix Completion Models via Manifold Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec;Duke University(杜克大学)
自编码器在基于神经网络的矩阵补全模型中很受欢迎,因为它们能够从部分观测矩阵中检索潜在的潜在因子。然而,当训练数据是稀缺的,他们的性能显着下降,由于过拟合。在本文中,我们使用依赖于多任务学习原理的数据依赖正则化技术来解决过拟合问题。具体来说,我们提出了一个基于自动编码器的矩阵完成模型,该模型将未知矩阵值的预测作为主要任务,并将流形学习作为辅助任务。后者作为一个归纳偏差,导致解决方案,更好地推广。所提出的模型优于现有的基于自动编码器的模型设计的矩阵完成,在知名的数据集实现高重建精度。
2018-07-04 cs.AI cs.LG stat.ML
Matrix Completion Under Monotonic Single Index Models
Wisconsin Institutes for Discovery(威斯康星发现研究院);UW-Madison(威斯康星大学麦迪逊分校);University of Michigan Ann Arbor(密歇根大学安娜堡分校)
矩阵完备化的最新结果假设所考虑的矩阵是低秩的,或者列是低秩子空间的并集。然而,在现实世界中,这些模型的线性结构被(通常未知的)非线性变换扭曲。本文讨论的挑战,矩阵完成在面对这样的非线性。给定一个矩阵的几个观测值,通过对一个低秩矩阵应用Lipschitz单调函数得到,我们的任务是估计剩余的未观测项。我们提出了一种新的矩阵补全方法,交替低秩矩阵估计和单调函数估计丢失的矩阵元素。均方误差界限提供了对基于矩阵的大小、秩和非线性变换的性质来估计矩阵的程度的洞察。合成和真实世界的数据集上的实证结果证明了所提出的方法的竞争力。
2015-12-29 cs.LG stat.ML
Spectral Geometric Matrix Completion
Technion(以色列理工学院)
深度矩阵分解(DMF)是一种新兴的解决矩阵完备化问题的方法。最近的工作已经确定,梯度下降应用于DMF模型诱导恢复矩阵的秩上的隐式正则化。在这项工作中,我们解释DMF模型通过光谱几何的镜头。这使我们能够在不破坏DMF结构的情况下合并显式正则化,从而享受两个世界的最佳状态。特别是,我们专注于矩阵完成问题的行和/或列之间的潜在几何或拓扑关系。这种关系在许多应用中出现的矩阵完成问题中普遍存在,例如推荐系统和药物-靶标相互作用。我们的贡献使DMF模型能够利用这些关系,并使它们在实际基准上具有竞争力,同时展示了深度线性网络的首批成功应用之一。
2021-06-07 cs.CG cs.CV cs.LG
Cluster Developing 1-Bit Matrix Completion
University of Sydney(悉尼大学)
矩阵补全作为推荐系统的核心技术已经有很长的使用历史。特别是1位矩阵补全,它将预测视为“推荐”或“不推荐”问题,已经证明了它在该领域的意义和有效性。然而,虽然客户和产品聚集成相互作用的集群,国家的最先进的基于模型的1位推荐系统不考虑分组偏见。为了解决这一问题,本文首次在低秩隐变量框架下将特定于组的效应整合到1位推荐系统中,引入了特定于组的1位矩阵完备(GS1 MC)。此外,即使在分组信息无法获得的情况下,也可以增强GS1 MC的能力,通过将稀疏子空间聚类技术集成到GS1 MC中,提出了聚类发展矩阵完成(CDMC)。也就是说,CDMC允许聚类用户/项目,并同时利用他们的群体效应完成矩阵。对合成数据和真实数据的实验表明,GS1 MC优于当前的1位矩阵完成方法。同时,CDMC仅基于稀疏的二进制用户-项目交互数据就能成功地捕获项目的体裁特征。值得注意的是,GS1 MC提供了一个新的见解,纳入和评估聚类方法的有效性,而CDMC可以作为一个新的工具,探索未揭示的社会行为或市场现象。
2019-04-07 cs.LG stat.ML
Unified View of Matrix Completion under General Structural Constraints
本文给出了由{ \em any}范数正则化引起的一般低维结构约束下矩阵完备化的统一分析。我们考虑了一般结构矩阵完备化问题的两种估计,并给出了样本复杂度和估计误差的统一上界。我们的分析依赖于通用链接的结果,我们建立了两个独立的中间结果:(a)在表征高维环境空间中的低维子集的大小或复杂性时,在矩阵完备问题的分析中遇到的某个部分复杂性度量根据高斯宽度的公知复杂性度量来表征,(b)证明了矩阵完备化问题在一般范数正则化下的一种形式的限制强凸性。此外,我们提供了几个非平凡的例子,包括在我们的框架结构,特别是最近提出的光谱$k$支持规范。
2018-11-21 stat.ML