Faster Matrix Completion Using Randomized SVD
Tsinghua University(清华大学);Old Dominion University(奥多明尼昂大学)
矩阵补全是图像修补和个性化推荐系统等领域广泛使用的一种技术。在这项工作中,我们专注于使用更快的随机奇异值分解(rSVD)来加速矩阵补全。首先,提出了两种处理稀疏矩阵的快速随机算法(rSVD-PI和rSVD-BKI)。它们使用eigSVD过程和几个加速技巧。然后,利用rSVD-BKI算法和一种新的子空间循环技术,对文献[1]中的奇异值阈值(SVT)方法进行加速,实现快速的矩阵完备化。实验表明,在保持相同精度的前提下,本文提出的rSVD算法比基本的rSVD算法[2]快6倍。对于图像修补和电影收视率估计问题,所提出的加速SVT算法消耗的CPU时间分别比使用svds和lansvd的方法少15倍和8倍,而不损失精度。
2018-10-16 cs.LG stat.ML
Collective Matrix Completion
Univ Paris Nanterre(巴黎楠泰尔大学);ESSEC Business School(ESSEC商学院);CREST(法国经济与统计研究所)
矩阵完备化的目的是根据对少量元素的观察来重构数据矩阵。通常在矩阵完成中考虑单个矩阵,其可以是例如推荐系统中的评级矩阵。然而,在实际情况中,数据往往是从多个来源获得的,这导致了矩阵的集合,而不是一个单一的。在这项工作中,我们考虑的问题,集体矩阵完成与多个和异构矩阵,这可以是计数,二进制,连续等,我们首先调查的设置,对于每个源,矩阵条目是从一个指数家庭分布抽样。然后,我们放松了对噪声服从指数族分布的假设,并研究了无分布的情况。在这种情况下,我们不为观察假设任何特定的模型。估计过程是基于最小化的总的拟合优度项和整个集体矩阵的核范数惩罚的总和。我们证明了所提出的估计实现快速收敛速度下的两个考虑的设置,我们证实了我们的结果与数值实验。
2019-10-21 cs.LG stat.ML
Spectral Geometric Matrix Completion
Technion(以色列理工学院)
深度矩阵分解(DMF)是一种新兴的解决矩阵完备化问题的方法。最近的工作已经确定,梯度下降应用于DMF模型诱导恢复矩阵的秩上的隐式正则化。在这项工作中,我们解释DMF模型通过光谱几何的镜头。这使我们能够在不破坏DMF结构的情况下合并显式正则化,从而享受两个世界的最佳状态。特别是,我们专注于矩阵完成问题的行和/或列之间的潜在几何或拓扑关系。这种关系在许多应用中出现的矩阵完成问题中普遍存在,例如推荐系统和药物-靶标相互作用。我们的贡献使DMF模型能够利用这些关系,并使它们在实际基准上具有竞争力,同时展示了深度线性网络的首批成功应用之一。
2021-06-07 cs.CG cs.CV cs.LG
Empirical Bayes 1-bit matrix completion
Department of Mathematical Informatics, Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院数学信息学系);Statistical Mathematics Unit, RIKEN Center for Brain Science(脑科学研究所统计数学单元)
本文提出基于Efron-Morris估计器的经验贝叶斯方法,用于1位矩阵补全,利用二进制矩阵的低秩结构,提升预测精度、校准可靠性和计算效率。
2026-09-30 cs.LG stat.ME stat.ML
Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research(雅虎研究院);University of Minnesota – Twin Cities(明尼苏达大学双城分校)
归纳矩阵完备化(IMC)是一类重要的矩阵完备化问题,它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统,多标签学习,字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务,其中底层矩阵遵循IMC模型,即,它由夹在两个已知特征矩阵之间的混合矩阵(先验未知)形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni:2016:NMC的主要定理,并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上,它可以用来推导各种噪声模型的误差界。在本文中,我们实例化我们的主要结果的情况下,高斯噪声,并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
Truncated Matrix Completion - An Empirical Study
University of Michigan(密歇根大学)
本文针对实际应用中采样掩码常依赖基础数据值的问题,通过实验研究并比较了原本适用于数据独立采样模式的多种低秩矩阵补全(LRMC)算法在该类场景下的性能。
2025-04-14 cs.AI cs.LG cs.NA
Adaptive Noisy Matrix Completion
Carnegie Mellon University(卡内基梅隆大学)
低秩矩阵完备化在各种范畴下得到了广泛的研究。该问题可以归类为噪音补全或精确补全,也可以归类为主动或被动补全算法。在本文中,我们专注于自适应矩阵完成与有界类型的噪声。我们假设我们要恢复的矩阵$\mathbf{M}$是由低秩矩阵加上有界小噪声组成的。这个问题以前已经研究了\cite{nina},在一个固定的抽样模型。在这里,我们研究这个问题在自适应设置,我们不断估计的角度与底层的低秩子空间和噪声添加子空间的上界。此外,这里建议的方法,可以被证明需要比上述方法小得多的观察。
2022-03-16 cs.LG
Personalized Query Auto-Completion Through a Lightweight Representation of the User Context
eBay Inc.(eBay公司)
查询自动完成(QAC)是在许多领域(包括Web和电子商务搜索)中广泛使用的功能,基于用户键入的前缀建议完整查询。近年来,QAC在文献中得到了广泛的研究,并且一直表明,添加个性化特征可以显着提高QAC的性能。在这项工作中,我们提出了一种新的个性化QAC的方法,使用轻量级的嵌入通过fastText学习。我们构造一个嵌入的用户上下文查询,这是最后几个查询由用户发出。我们还使用相同的模型来获得要排名的候选查询的嵌入。我们引入排名功能,计算候选查询和上下文查询之间的距离在嵌入空间。然后将这些特征与其他常用的QAC排名特征相结合,以学习排名模型。我们将我们的方法应用于大型电子商务搜索引擎(eBay),并表明具有我们提出的功能的排名器在所有测量的离线指标上都显着优于基线,这些指标包括平均倒数排名(MRR),成功率(SR),平均平均精度(MAP)和归一化折扣累积增益(NDCG)。我们的基线包括最受欢迎的完成(MPC)模型以及没有我们提出的功能的排名模型。具有所提出的特征的排名模型在所有度量上都比MPC模型有$20-30\%$改进。对于所有会话,我们获得了比基线排名模型高的$5\%$改进,当我们限制包含用户上下文的会话时,其提高到大约$10\%$。此外,我们提出的功能也显着优于基于文本的个性化功能在文献中研究之前,并添加基于文本的功能,我们提出的基于嵌入的功能的结果只有轻微的改进。
2019-05-03 cs.AI cs.CL cs.IR
Survey of Matrix Completion Algorithms
Stanford University(斯坦福大学)
自从Netflix提出Netflix Prize问题以来,矩阵完备化问题已经在许多不同的条件下得到了研究。自从发现现实生活中的许多数据集都可以用低秩矩阵进行估计以来,人们在这一领域做了大量的研究工作。自压缩感知提出以来,自适应信号检测得到了众多研究者的关注。在这篇综述论文中,我们将访问一些矩阵补全方法,主要是被动和自适应方向。首先,我们讨论了无源矩阵完成方法与凸优化,第二次有源矩阵完成技术与自适应信号检测方法。传统上,许多机器学习问题都是在被动环境中解决的。然而,后来已经观察到,自适应感测算法多次比以前的算法更有效地执行。因此,在这种情况下的算法已被广泛研究。因此,我们将在本文中提出一些最新的自适应矩阵完成算法,同时提供被动方法。
2022-04-05 cs.LG
Matrix Completion with Sparse Noisy Rows
Stanford University(斯坦福大学)
在不同的基础条件下,研究了矩阵的精确完备化和低秩矩阵的估计问题。本文研究了非退化噪声模型下的精确低秩完备化问题。非退化随机噪声模型在噪声稀疏且存在于某些列中的情况下,已被许多研究者研究过。在本文中,我们假设每行可以接收随机噪声,而不是列,并提出了一个交互式算法,是强大的这种噪声。我们表明,我们使用的参数化技术给出了一个条件时,底层矩阵可以恢复,并提出了一个算法,恢复底层矩阵。
2022-04-05 cs.LG
Lifelong Matrix Completion with Sparsity-Number
Carnegie Mellon University(卡内基梅隆大学)
矩阵完备化问题已经在各种自适应和被动设置下进行了研究。在此之前,研究者们提出了被动的、利用相干参数的两相和单相算法,以及利用稀疏数的多相算法。结果表明,稀疏数法在很多情况下都能达到理论上的下界。然而,上述方法通过矩阵完成过程在多个阶段中运行,因此它在每个阶段做出更多信息决策。因此,很自然,该方法优于以前的算法。本文利用稀疏数的思想,提出了一种单相列空间恢复算法,并将其推广到两相精确矩阵补算法。此外,我们表明,这些方法是有效的多阶段矩阵恢复算法。我们提供实验证据来说明我们算法的性能。
2022-03-16 cs.LG
Efficient Matrix Completion with Gaussian Models
CMLA, ENS Cachan(卡尚高等师范学校CMLA);University of Minnesota(明尼苏达大学)
本文提出了一种基于高斯模型和MAP-EM算法的矩阵/表补齐问题求解框架。与标准和具有挑战性的电影收视率数据的数值实验表明,所提出的方法,可能是最简单的概率模型的基础上,导致在同一球场的最先进的结果,在较低的计算成本。
2010-10-19 cs.LG
An Improved Training Procedure for Neural Autoregressive Data Completion
Stanford University(斯坦福大学);Brown University(布朗大学)
神经自回归模型是显式密度估计器,可实现生成建模的最新似然。根据链式法则,将D维数据分布分解为一维条件分布的自回归积。数据完成是一个比数据生成更复杂的任务:模型必须推断任何部分观察到的输入向量的缺失变量。以前的工作介绍了一个顺序不可知的训练过程,数据完成自回归模型。在任何部分观测的输入向量中的缺失变量可以通过选择观测维度先于未观测维度的顺序并按此顺序计算自回归积来有效地估算。在本文中,我们提供的证据表明,顺序不可知(OA)的训练过程是次优的数据完成。我们提出了一个替代的过程(OA++),达到更好的性能在更少的计算。它可以处理所有的数据完成查询,同时训练比OA过程更少的一维条件分布。此外,这些一维条件分布的训练与其在推理时的预期使用成比例,从而减少过拟合。最后,我们的OA++过程可以利用先验知识的分布推理完成查询,而不是OA。我们支持这些说法与用于评估自回归生成模型的标准数据集的定量实验。
2017-11-23 cs.LG stat.ML
A two-dimensional decomposition approach for matrix completion through gossip
将一个矩阵分解为两个低秩矩阵是许多问题的核心。矩阵补全问题特别是将稀疏矩阵分解为两个非稀疏的低秩矩阵,然后可以用来预测原始矩阵的未知元素。我们提出了一种可扩展和分散的方法,其中不是学习原始输入矩阵的两个因子,而是将原始矩阵分解为网格块,每个因子都可以通过与相邻块的通信(闲聊)单独学习。这消除了对中央服务器的任何需要。我们表明,我们的算法在合成和真实数据集上都表现良好。
2018-01-11 cs.LG
One-Bit Matrix Completion with Differential Privacy
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
一位矩阵补全作为推荐系统中一种流行的协同过滤方法,需要用户收集数据来提供个性化服务。由于阴险的攻击和意想不到的推断,用户数据的发布往往会引发严重的隐私问题。为了解决这个问题,差分隐私(DP)已被广泛用于标准的矩阵完成模型。然而,迄今为止,很少有人知道如何应用DP实现隐私保护在一位矩阵完成。在本文中,我们提出了一个统一的框架,以确保一位矩阵完成DP的强大的隐私保证。在我们的框架中,我们开发了四种不同的私人扰动机制,对应于一位矩阵完成的不同阶段。对于每一种机制,我们设计了一个隐私保护算法,并提供了一个理论上的恢复错误界在适当的条件下。在合成数据集和真实数据集上的数值实验证明了该方法的有效性。与没有隐私保护的一位矩阵完成相比,我们提出的机制可以保持高级别的隐私保护,完成精度的边际损失。
2022-06-08 cs.CR cs.LG
Geometric Matrix Completion: A Functional View
LIX, École Polytechnique(巴黎综合理工学院LIX实验室(LIX, École Polytechnique))
提出了几何矩阵完备化问题的一种全泛函观点。从现有的工作中,我们提出了一种新的正则化的启发,从功能图文献,更可解释的和理论上的声音。在具有强大的底层几何结构的合成任务上,我们的框架以巨大的优势(两个数量级)超过了最先进的技术,这表明了我们方法的潜力。在真实的数据集上,我们以以前方法的一小部分计算工作量实现了最先进的结果。我们的代码可在https://github.com/Not-IITian/functional-matrix-completion上公开获取
2020-09-29 cs.CV cs.LG cs.SI
Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion
Sloan School of Management(斯隆管理学院);Operations Research Center(运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院)
我们制定的矩阵完成的问题,没有边信息作为一个非凸优化问题。我们设计的fastImpute基于非凸梯度下降,并显示它收敛到一个全局最小值,保证恢复密切的基础矩阵,而它的规模超过$10^5 \times 10^5$的大小矩阵。我们报告了在合成和真实世界数据集上的实验,这些实验表明fastImpute在恢复矩阵的准确性和所有情况下所需的时间方面都具有竞争力。此外,当大量条目丢失时,fastImpute在具有和不具有边信息的情况下都比当前最先进的矩阵完成方法快$75\%$以上、低MAPE和快$15$倍。
2020-12-31 cs.LG math.OC stat.ME
Misclassification excess risk bounds for 1-bit matrix completion
Norwegian University of Science and Technology(挪威科技大学)
本文研究1比特矩阵补全的预测误差,证明基于核范数惩罚的逻辑回归方法无需额外对数项即可达到极小极大最优速率。
2023-12-20 cs.LG
Sparse Group Inductive Matrix Completion
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Institute for Information Transmission Problems of RAS(俄罗斯科学院信息传输问题研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Central Research Institute for Epidemiology(中央流行病学研究所)
本文研究了带边信息的矩阵完备化问题(\textit{inductive matrix completion})。在实际应用中,许多侧信道特征通常是无信息的,使得特征选择成为问题的重要部分。我们将特征选择归纳矩阵完成提出了一个矩阵分解框架与组套索正则化侧特征参数矩阵。我们证明,所提出的方法的理论样本的复杂性是低得多相比,它的竞争对手在稀疏问题,并提出了一个有效的优化算法所产生的低秩矩阵完成问题与稀疏正则化。在合成数据集和真实数据集上的实验表明,该方法的性能优于其他方法。
2018-10-06 cs.LG stat.ML
Clustering of Nonnegative Data and an Application to Matrix Completion
University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一个简单的算法聚类非负数据躺在不相交的子空间。我们分析其性能的关系,一定程度的相关性,所述子空间。我们使用我们的聚类算法开发一个矩阵完成算法,它可以优于标准的矩阵完成算法的数据矩阵满足一定的自然条件。
2020-09-02 cs.LG eess.SP stat.ML
Approximate Method of Variational Bayesian Matrix Factorization/Completion with Sparse Prior
Ibaraki University(茨城大学)
在假设观测矩阵是低秩稠密矩阵和稀疏矩阵的乘积的前提下,利用变分贝叶斯方法,推导出了矩阵分解/完备解的解析表达式.考虑到矩阵的稀疏性,我们假设稀疏矩阵的先验服从拉普拉斯分布。然后,我们使用几个近似推导矩阵分解/完成解决方案。通过我们的解决方案,我们还数值评估的性能稀疏矩阵重构矩阵分解,并完成缺失的矩阵元素的矩阵完成。
2018-03-14 cond-mat.dis-nn cs.IT cs.LG
Adaptive Matrix Completion for the Users and the Items in Tail
University of Minnesota(明尼苏达大学)
推荐系统被广泛用于向用户推荐最吸引人的物品。这些推荐可以通过应用协同过滤方法来生成。低秩矩阵补全方法是目前最先进的协同过滤方法。在这项工作中,我们表明,在现实世界的数据集的用户项目评级矩阵的评分的偏斜分布影响矩阵完成为基础的方法的准确性。此外,我们表明,一个项目或用户的评级数量正相关的能力,低秩矩阵完成为基础的方法来预测该项目或用户的评级准确。此外,我们使用这些见解来开发四种基于矩阵完成的方法,即,频率自适应评分预测(FARP)、截断矩阵分解(TRUNCATED MATRIX FACTORIZATION,TRUNCATED MATRIX FACTORIZATION WITH DOPPOUT,TRUNCATED MATRIX + DOPPOUT)和逆频率加权矩阵分解(IFWMF),对于用户和用户-项目评分矩阵中评分较少的项目,其性能优于传统的基于矩阵补全的方法。
2020-01-05 cs.IR cs.LG stat.ML
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);the University of Iowa(爱荷华大学);Michigan State University(密歇根州立大学)
本文针对核范数正则化矩阵补全,在目标矩阵顶部特征空间不连贯假设下,首次推导出恢复满秩矩阵最佳低秩逼近的相对误差上界,弥补了现有加性误差界无法刻画完美恢复及特征值偏斜分布的不足。
2024-05-29 cs.LG stat.ML
Fast Low-Rank Bayesian Matrix Completion with Hierarchical Gaussian Prior Models
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(斯蒂文斯理工学院)
研究了低秩矩阵的完备化问题。为了利用数据矩阵的底层低秩结构,我们提出了一个分层高斯先验模型,其中假设低秩矩阵的列遵循具有零均值和公共精度矩阵的高斯分布,并将Wishart分布指定为精度矩阵的超先验。我们表明,这样的分层高斯先验有可能鼓励低秩的解决方案。基于所提出的层次先验模型,提出了一种矩阵完备化的变分贝叶斯方法,该方法将广义近似消息传递(GAMP)技术嵌入到变分贝叶斯推理中,以避免繁琐的矩阵求逆运算.仿真结果表明,我们提出的方法表现出优于现有的国家的最先进的矩阵完成方法。
2017-08-26 cs.LG stat.ML
Poisson Matrix Completion
Georgia Institute of Technology(佐治亚理工学院)
我们扩展的理论矩阵完成的情况下,我们使泊松观测的一个子集的条目的低秩矩阵。我们认为(现在)通常的矩阵恢复制定通过极大似然与适当的约束矩阵$M$,并建立理论上的上限和下限的恢复误差。我们的边界是接近最佳的顺序上的$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过调整用于一位矩阵完成\cite{davenport20121}的参数获得的(尽管这两个问题在性质上是不同的),并且调整需要利用泊松似然函数的特性的新技术,并且解决由泊松分布的局部次高斯特性所带来的困难。我们的研究结果突出了一些重要的区别泊松矩阵完成相比,以前的工作在矩阵完成,包括必须施加一个最小的信噪比要求,每个观察到的条目。我们还开发了一个有效的迭代算法,并证明其良好的性能恢复太阳耀斑图像。
2015-03-25 cs.LG stat.ML
Uniqueness of Low-Rank Matrix Completion by Rigidity Theory
Princeton University(普林斯顿大学)
在协同过滤、计算机视觉和控制等领域中,分析不完整数据集的潜在因子模型时,经常会遇到从其元素的子集完成低秩矩阵的问题。最近的工作主要集中在构造有效的算法,以便精确或近似地恢复丢失的矩阵条目,并证明已知条目数目的下限,以保证以高概率成功恢复。从数学和算法的角度来看,一个相关的问题是距离几何问题,即从给定的成对距离子集中实现欧几里得空间中的点。刚性理论回答了关于满足给定部分距离集的实现的唯一性的基本问题。我们观察到,刚性理论的基本思想和工具,可以适用于确定低秩矩阵完成的唯一性,其中内积发挥的作用,距离发挥刚性理论。这一观察导致一个有效的随机算法测试本地和全球唯一完成。对我们的分析至关重要的是一个新的矩阵,我们称之为完成矩阵,它作为刚度矩阵的模拟。
2009-02-23 cs.LG
Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent
University of Chicago(芝加哥大学)
我们解决的矩形矩阵完成问题,提升未知矩阵的一个半正定矩阵在更高的维度,并使用一个简单的梯度下降方案优化的半定因子的非凸目标。利用$O( μr^2 κ^2 n \max(μ, \log n))$对$n_1 \times n_2$ $μ$ -秩为$r$且条件数为$n = \max(n_1, n_2)$的非相干矩阵的随机观测,该算法以高概率线性收敛到全局最优。
2016-11-22 cs.LG stat.ML
Model-based Subsampling for Knowledge Graph Completion
Nara Institute of Science and Technology(奈良科学技术研究所);Hokkaido University(北海道大学)
针对现有知识图谱嵌入子采样方法易低估低频查询出现概率的问题,提出基于模型预测估计查询概率的MBS和MIX方法,在多个数据集上提升了主流KGE模型的补全性能。
2023-09-17 cs.AI cs.CL cs.LG
Generalization error bounds for kernel matrix completion and extrapolation
Universitat Politècnica de Catalunya-Barcelona Tech(加泰罗尼亚理工大学-巴塞罗那理工);University of Minnesota(明尼苏达大学)
先验信息可以被合并到矩阵补全中,以提高估计精度并外推缺失的条目。再生核希尔伯特空间提供了利用所述先验信息的工具,并且导出更可靠的算法。本文分析了这种方法的推广误差,并给出了数值试验证实了理论结果。
2019-06-20 cs.LG stat.ML
Nonconvex Matrix Completion with Linearly Parameterized Factors
University of California, Davis(加州大学戴维斯分校);University of Pennsylvania(宾夕法尼亚大学)
矩阵补齐技术的目的是通过一小部分观察到的条目来估算数据矩阵中的大部分缺失条目。在包括协同过滤在内的实际应用中,通常采用先验信息和特殊结构来提高矩阵补全的准确性。在本文中,我们提出了一个统一的非凸优化框架的矩阵完成线性参数化的因素。特别地,通过引入相关参数分解条件,我们可以对非凸目标进行统一的几何分析,建立由任意局部极小值得到的低秩估计的统一上界.也许令人惊讶的是,相关参数因子分解的条件适用于重要的例子,包括子空间约束矩阵完成和反对称矩阵完成。我们的统一的非凸最优化方法的有效性也通过大量的数值模拟经验说明。
2022-03-07 cs.LG math.ST stat.ML
Matrix Completion With Selective Sampling
University of California, Los Angeles(加州大学洛杉矶分校)
矩阵完备化是数据科学中的一个经典问题,其中人们试图在仅观察条目的某个子集的情况下重建低秩矩阵。以前的作者把这个问题称为核范数最小化问题。几乎所有以前的工作假设没有明确的矩阵结构,并使用均匀采样来决定观察到的条目。我们建议的情况下,我们有一些知识的矩阵的结构,并允许设计的观察集的选择性抽样的方法。
2019-04-17 cs.LG stat.ML
Graph-Based Matrix Completion Applied to Weather Data
ICTEAM Institute(ICTEAM研究所);UCLouvain(鲁汶天主教大学);Royal Meteo. Inst. of Belgium(比利时皇家气象研究所)
针对气象站气温数据缺失问题,提出融合空间与时间加权图信息的图正则化低秩矩阵补全方法,实验证明该方法可显著提升数据补全准确率。
2023-06-14 cs.CE cs.LG physics.ao-ph
Interpretable Matrix Completion: A Discrete Optimization Approach
Massachusetts Institute of Technology(麻省理工学院)
考虑了$n \times m$矩阵上的矩阵完备化问题。我们引入了可解释矩阵完备化问题,旨在使用边信息为低秩矩阵提供有意义的见解。我们证明了该问题可以转化为一个二元凸优化问题。我们基于随机切割平面的新概念设计OptComplete,以使算法能够有效扩展到大小为$n=10^6$和$m=10^6$的矩阵。我们报告了在合成和真实世界数据集上的实验,这些实验表明,与其他类型的矩阵完成的最先进方法相比,OptComplete具有良好的缩放行为和准确性,同时提供了对影响矩阵的因素的见解。
2020-03-03 cs.LG math.OC stat.ML
Matrix Completion Under Monotonic Single Index Models
Wisconsin Institutes for Discovery(威斯康星发现研究院);UW-Madison(威斯康星大学麦迪逊分校);University of Michigan Ann Arbor(密歇根大学安娜堡分校)
矩阵完备化的最新结果假设所考虑的矩阵是低秩的,或者列是低秩子空间的并集。然而,在现实世界中,这些模型的线性结构被(通常未知的)非线性变换扭曲。本文讨论的挑战,矩阵完成在面对这样的非线性。给定一个矩阵的几个观测值,通过对一个低秩矩阵应用Lipschitz单调函数得到,我们的任务是估计剩余的未观测项。我们提出了一种新的矩阵补全方法,交替低秩矩阵估计和单调函数估计丢失的矩阵元素。均方误差界限提供了对基于矩阵的大小、秩和非线性变换的性质来估计矩阵的程度的洞察。合成和真实世界的数据集上的实证结果证明了所提出的方法的竞争力。
2015-12-29 cs.LG stat.ML
Conversational Help for Task Completion and Feature Discovery in Personal Assistants
Microsoft India Development Center(微软印度开发中心)
智能个人助理(IPAs)近年来已经变得非常流行。如今,大多数商业IPA都支持各种技能,包括警报、提醒、天气更新、音乐、新闻、事实提示等,列表每天都在增长,因此很难记住执行各种任务所需的命令结构。IPA必须有能力传达有关所支持技能的信息,并指导用户使用执行这些技能所需的正确命令。用户以自然语言与个人助理交互。如果查询寻求关于个人助理的能力的信息,或者请求执行任务的指令,则该查询被定义为帮助查询。在本文中,我们提出了一个互动系统,确定帮助查询和检索适当的反应。我们的系统包括一个基于C-BiLSTM的分类器,它是卷积神经网络(CNN)和双向LSTM(BiLSTM)架构的融合,用于检测帮助查询和语义近似最近邻(ANN)模块,用于将查询映射到适当的预定义响应。对我们的系统在商业IPA的真实查询上的评估以及与流行的传统机器学习和基于深度学习的模型的详细比较表明,我们的系统优于其他方法,并返回相关的帮助查询响应。
2019-07-16 cs.CL cs.HC cs.LG
Errata: Distant Supervision for Relation Extraction with Matrix Completion
Stanford University(斯坦福大学)
距离监督关系抽取的本质是一个不完全的多标签分类问题,具有稀疏和噪声特征。为了解决稀疏性和噪声的挑战,我们提出使用最小秩的分解矩阵上的矩阵完成来解决分类问题。我们将关系分类公式化为在稀疏矩阵中完成测试项(实体对)的未知标签,该稀疏矩阵将训练和测试文本特征与训练标签连接起来。我们的算法框架是基于这样的假设,即按特征和按标签的联合矩阵的秩是低的。我们应用两个优化模型来恢复底层的低秩矩阵,利用特征标签矩阵的稀疏性。然后用不动点延拓(FPC)算法求解矩阵完备化问题,该算法能找到全局最优解。在两个广泛使用的具有不同文本特征维度的数据集上的实验表明,我们的低秩矩阵完成方法显着优于基线和最先进的方法。
2014-11-17 cs.CL cs.LG
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统,例如电影评级,计算机视觉,例如图像重建或完成,多任务学习,例如协作建模多个传感器的时间序列趋势,以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如,图像通常包含一组异构的对象,因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度,产生准确的估计缺失的数据,迭代收敛,它是计算上易于处理的迭代次数的可控上限,直到收敛。所提出的技术的准确性进行了验证自然图像,电影收视率,和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Color Image Recovery Using Generalized Matrix Completion over Higher-Order Finite Dimensional Algebra
School of Electronics and Information, Zhongyuan University of Technology(中原工学院电子与信息学院)
本文提出基于广义高阶标量的“t-矩阵”彩色图像补全模型,通过像素邻域扩展刻画局部约束,并将常用矩阵与张量补全算法扩展至高阶版本,实验表明其性能优于低阶张量和传统矩阵方法。
2023-08-04 cs.CV cs.LG
Concentration properties of fractional posterior in 1-bit matrix completion
Norwegian University of Science and Technology(挪威科技大学)
本文针对1比特矩阵补全问题,提出分数后验的集中性质理论,使用两种先验分布恢复参数矩阵,无需先验秩信息,且假设条件少于频率派方法。
2024-04-13 cs.LG stat.ML
Fast matrix completion without the condition number
本文给出了第一个矩阵完备化算法,其运行时间和样本复杂度分别为未知目标矩阵秩的多项式、矩阵维数的线性和矩阵条件数的对数。据我们所知,所有以前的算法要么招致二次依赖于未知矩阵的条件数或二次依赖于矩阵的维数在运行时间。我们的算法是基于一种新的扩展交替最小化,我们表明,即使在存在噪声的标准假设下,理论上的保证。
2014-07-15 cs.DS cs.LG stat.ML
Median Matrix Completion: from Embarrassment to Optimality
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Texas A&M University(德州农工大学)
本文考虑了具有绝对偏差损失的矩阵完备化问题,得到了中位矩阵的一个估计。尽管中位数有几个吸引人的属性,非光滑的绝对偏差损失导致大规模数据集的计算挑战,这是越来越常见的矩阵完成问题。大规模问题的一个简单解决方案是并行计算。然而,过分并行的方式往往会导致低效的估计。基于伪数据的思想,我们提出了一种新的细化步骤,它把这种效率低下的估计到率(近)最优矩阵完成过程。精化估计是正则化最小中值估计的近似,因此不是普通的正则化经验风险估计。这导致了对渐近行为的非标准分析。实验结果也证实了所提出的方法的有效性。
2020-06-18 cs.LG stat.ML
Graph-Regularized Low-Rank Matrix Completion by Variable Projection
Royal Meteorological Institute of Belgium(比利时皇家气象研究所)
研究低秩矩阵填充问题,核心方法是将图正则化纳入RTRMC框架得到GR-RTRMC,利用矩阵行列内在关系,主要贡献是提高矩阵填充在行列强相关场景下的准确性与鲁棒性。
2026-07-13 cs.LG cs.NA math.NA
Consistent Collective Matrix Completion under Joint Low Rank Structure
我们解决了集体矩阵完成问题,共同恢复一组矩阵的共享结构,从部分(和潜在的噪声)的意见。为了确保适定性的问题,我们施加了一个联合低秩结构,其中每个组件矩阵是低秩和潜在空间的低秩因子对应于每个实体是共享的整个集合。首先,我们开发了一个严格的代数表示和操纵集体矩阵结构,并确定一致的集体矩阵估计的充分条件。然后,我们提出了一个易于处理的凸估计解决集体矩阵完成问题,并提供了第一个非平凡的理论保证集体矩阵完成的一致性。我们表明,在第3.1节中所述的合理假设下,具有很高的概率,只要满足定理1所规定的样本复杂性要求,所提出的估计量就可以精确地恢复真实矩阵。本文推导出的样本复杂性要求是最佳的对数因子,并显着提高了标准矩阵完成的平凡扩展所获得的要求。最后,我们提出了一个可扩展的近似算法来解决所提出的凸规划,并通过模拟实验证实了我们的结果。
2015-04-07 cs.LG stat.ML
Polynomial Precision Dependence Solutions to Alignment Research Center Matrix Completion Problems
Manning College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院)
本文针对Alignment Research Center提出的矩阵补全问题,给出对精度具有多项式依赖的解,通过将其转化为半定规划并利用谱捆绑方法实现快速求解,以支持AI对齐中深度神经网络的高效启发式评估。
2024-01-08 cs.AI cs.LG
Computational Limits for Matrix Completion
IBM Research Almaden(IBM阿尔马登研究院);Microsoft Research(微软研究院);University of California, Berkeley(加州大学伯克利分校)
矩阵完备化是从一个未知的实值低秩矩阵的子样本中恢复该矩阵的问题。最近的重要结果表明,该问题可以有效地解决的假设下,未知矩阵是不相干的,子样本是均匀随机抽取。这些假设是必要的吗?众所周知,矩阵完备化在其全部一般性上是NP-困难的。然而,很少有人知道,如果作出额外的假设,如不一致性,并允许算法输出一个矩阵的秩略高。在本文中,我们证明了矩阵完成仍然是计算棘手的,即使未知矩阵的秩$4$,但我们可以输出任何常数秩矩阵,即使另外,我们假设未知矩阵是不相干的,并显示$90%$的条目。该结果依赖于$4$着色问题的非线性硬度。我们还考虑了半正定矩阵的完备化问题。在这里,我们显示了一个类似的硬度下的标准假设,$\mathrm{P}\ne \mathrm{NP}.$我们的结果大大缩小了现有的可行性结果和计算下限之间的差距。特别是,我们认为,我们的研究结果给出了第一个复杂性理论的理由,为什么需要分布假设超越不一致的假设,以获得积极的结果。在技术方面,我们贡献了几个新的想法,如何编码的低秩优化问题的硬组合问题。我们希望这些技术将有助于进一步理解矩阵完备的计算极限和相关问题。
2014-04-10 cs.CC cs.LG
Regularizing Autoencoder-Based Matrix Completion Models via Manifold Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec;Duke University(杜克大学)
自编码器在基于神经网络的矩阵补全模型中很受欢迎,因为它们能够从部分观测矩阵中检索潜在的潜在因子。然而,当训练数据是稀缺的,他们的性能显着下降,由于过拟合。在本文中,我们使用依赖于多任务学习原理的数据依赖正则化技术来解决过拟合问题。具体来说,我们提出了一个基于自动编码器的矩阵完成模型,该模型将未知矩阵值的预测作为主要任务,并将流形学习作为辅助任务。后者作为一个归纳偏差,导致解决方案,更好地推广。所提出的模型优于现有的基于自动编码器的模型设计的矩阵完成,在知名的数据集实现高重建精度。
2018-07-04 cs.AI cs.LG stat.ML
Matrix Completion in the Unit Hypercube via Structured Matrix Factorization
Tokyo Institute of Technology(东京工业大学);Technicolor AI Lab(特艺集团人工智能实验室)
组织中出现的一些复杂任务可以通过将它们映射到矩阵完成问题来简化。在本文中,我们解决了我们公司面临的一个关键挑战:预测艺术家在电影镜头中渲染视觉效果(VFX)的效率。我们通过使用双重方法来应对这一挑战:首先,我们将此任务转换为约束矩阵完成问题,其中条目在单位区间[0,1]内有界;其次,我们提出了两个新的矩阵分解模型,利用我们对VFX环境的了解。我们的第一种方法,专业知识矩阵分解(EMF),是一种可解释的方法,结构的潜在因素加权用户项目的相互作用。第二个,生存矩阵分解(SMF),而是一个概率模型的基本过程定义员工的效率。我们通过对我们的VFX数据集和另外两个值也在[0,1]区间内有界的数据集进行广泛的数值测试,证明了我们提出的模型的有效性。
2019-05-30 cs.LG stat.ML
Solving the Robust Matrix Completion Problem via a System of Nonlinear Equations
Baidu Research(百度研究院)
我们考虑了鲁棒矩阵完备化问题,其目的是从它们的和$M=L_*+S_*\in\mathbb{R}^{m\times n}$的不完全观测中恢复低秩矩阵$L_*$和稀疏矩阵$S_*$。在数学上,将鲁棒矩阵完备化问题转化为求解非线性方程组的问题,然后利用交替方向法求解非线性方程组。此外,该算法是高度并行化的,适合于大规模的问题。从理论上讲,我们的充分条件时,$L_*$可以近似观察到的$M_*$的低秩近似。在适当的假设下,证明了算法线性收敛于真解。数值模拟表明,简单的方法工作预期的,是与国家的最先进的方法。
2020-03-24 cs.LG stat.ML
Deep Learning Approach for Matrix Completion Using Manifold Learning
矩阵完备化由于其在各个研究领域的广泛应用而受到了广泛的关注和研究。现有的矩阵补全方法只考虑数据矩阵中元素之间的非线性(或线性)关系,而忽略了潜在的线性(或非线性)关系。本文提出了一种新的数据矩阵隐变量模型,该模型是线性和非线性模型的组合,并设计了一种新的基于深度神经网络的矩阵补全算法,以解决数据矩阵元素之间的线性和非线性关系。所提出的方法包括两个分支。第一个分支学习列的潜在表示,并通过一系列隐藏的神经网络层重建部分观察矩阵的列。第二个分支对行执行相同的操作。此外,基于多任务学习原理,我们强制这两个分支一起工作,并引入一种新的正则化技术来减少过度拟合。更具体地,数据的缺失条目被恢复为主要任务,并且流形学习被执行为辅助任务。辅助任务约束网络的权重,因此它可以被视为正则化器,从而改进主任务并减少过拟合。在合成数据和实际数据上的实验结果验证了该方法与现有的矩阵补全方法相比的有效性。
2020-12-11 cs.LG stat.ML
Ad Hoc Microphone Array Calibration: Euclidean Distance Matrix Completion Algorithm and Theoretical Guarantees
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文讨论的问题,ad hoc麦克风阵列校准麦克风之间的距离只有部分信息。我们构造了一个矩阵组成的成对距离,并提出了一种新的欧氏距离矩阵完成算法的基础上估计丢失的条目交替低秩矩阵完成和投影到欧氏距离空间。这种方法限制恢复矩阵的EDM锥在矩阵完成算法的每次迭代。考虑到随机和局部结构的缺失条目以及已知距离上的测量噪声,获得了校准性能的理论保证。这项研究阐明了校准误差和麦克风的数量以及噪声水平和缺失距离的比率之间的联系。真实数据记录和模拟设置进行彻底的实验,以证明这些理论的见解。一个显着的改善是由建议的欧几里德距离矩阵完成算法超过国家的最先进的技术,为ad hoc麦克风阵列校准。
2014-08-31 cs.LG cs.SD
Matrix Completion under Low-Rank Missing Mechanism
Fudan University(复旦大学);Texas A&M University(德州农工大学);Peking University(北京大学)
矩阵完备化是一个现代的缺失数据问题,其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分,现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中,我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵,并进一步通过逆概率加权来完成目标矩阵。由于高维和极端(即,非常小)的真实概率矩阵的性质,需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
Adjusting Leverage Scores by Row Weighting: A Practical Approach to Coherent Matrix Completion
Zhejiang University(浙江大学);Rutgers University(罗格斯大学);Shanghai Jiao Tong University(上海交通大学)
低秩矩阵完备化是一个重要的问题,有着广泛的实际应用。当观测值是从底层矩阵元素中均匀采样时,现有的方法都要求矩阵是不相干的。本文给出了标准均匀采样模型下相干矩阵完备化的第一种工作方法。我们的方法是基于加权核范数最小化的思想,在最近的几项工作中提出的,我们的主要贡献是一个实用的方法来计算加权矩阵,使杠杆得分加权后变得更加均匀。在适当的条件下,我们能够推导出理论结果,表明我们的方法的有效性。在合成数据上的实验表明,该方法能够以高精度恢复高度相干的矩阵,而标准的未加权方法即使在无噪声数据上也会失败。
2015-02-10 cs.LG stat.ML
Transductive Matrix Completion with Calibration for Multi-Task Learning
Fujian Normal University(福建师范大学);University of California, Los Angeles(加州大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学);Xiamen University(厦门大学)
多任务学习由于具有多个相关数据源的多目的研究而受到广泛关注。此外,具有矩阵完成的转换是多标签学习中的一种有用方法。在本文中,我们提出了一个转换矩阵完成算法,结合了多任务学习框架下的功能的校准约束。该算法同时恢复不完整的特征矩阵和目标矩阵。幸运的是,校准信息改善了完成结果。特别地,我们为所提出的算法提供了统计保证,并研究了校准信息引起的理论改进。此外,该算法具有次线性收敛速度。实验结果表明,当目标矩阵与特征矩阵之间存在非线性关系时,该算法的性能优于其他方法。
2023-02-20 cs.LG stat.ME stat.ML
A Riemannian gossip approach to decentralized matrix completion
Amazon Development Centre India(亚马逊印度开发中心);The University of Electro-Communications(电气通信大学)
本文提出基于黎曼流形的新型 gossip 算法,用于低秩去中心化矩阵补全问题,实现局部矩阵补全和全局低秩因子的渐近一致性,具有可扩展性和并行性。
2016-05-23 cs.LG cs.NA math.NA