Social Trust Prediction via Max-norm Constrained 1-bit Matrix Completion
Hefei University of Technology(合肥工业大学);Rutgers University(罗格斯大学);National University of Singapore(新加坡国立大学)
社会信任预测解决了探索社交网络中用户之间的交互的重要问题。自然地,这个问题可以在矩阵补全框架中公式化,每个条目指示信任或不信任。然而,社会信任问题存在两个挑战:1)观察到的数据具有符号(1位)测量; 2)它们通常是非均匀采样的。以前的大多数矩阵补全方法都不能很好地处理这两个问题。受最大范数的最新进展的启发,我们提出了解决问题的1位最大范数约束的制定。由于最大范数不容易优化,我们利用了最大范数的重新制定,这有利于一个有效的投影梯度下降算法。我们证明了我们的配方在两个基准数据集上的优越性。
2015-04-24 cs.LG cs.SI stat.ML
A Majorization-Minimization Gauss-Newton Method for 1-Bit Matrix Completion
University of California, Riverside(加利福尼亚大学河滨分校);Tencent(腾讯);Rice University(莱斯大学);Weizmann Institute of Science(魏茨曼科学研究所)
提出MMGN方法解决1-bit矩阵补全问题,通过majorization-minimization原理转化为标准低秩子问题并用Gauss-Newton求解,实验证明其比现有方法更准确、快速且对spikiness不敏感。
2024-09-23 cs.LG stat.ML
Concentration properties of fractional posterior in 1-bit matrix completion
Norwegian University of Science and Technology(挪威科技大学)
本文针对1比特矩阵补全问题,提出分数后验的集中性质理论,使用两种先验分布恢复参数矩阵,无需先验秩信息,且假设条件少于频率派方法。
2024-04-13 cs.LG stat.ML
1-Bit Matrix Completion under Exact Low-Rank Constraint
我们考虑了在真实底层矩阵$M^*$上的精确秩约束下的噪声1位矩阵完备化问题。代替观察矩阵$M^*$的噪声连续值条目的子集,我们观察根据概率模型生成的噪声1位(或二进制)测量的子集。我们考虑$M^*$的约束极大似然估计,约束下的条目式无穷范数的$M^*$和一个确切的秩约束。这是在以前的工作中使用凸松弛的秩。我们提供了一个上界的矩阵估计误差在此模型下。与已有的结果相比,我们的界具有更快的收敛速度与矩阵维数时,显示的1位观测的分数是固定的,独立于矩阵维数。我们还提出了一个迭代算法来解决我们的非凸优化与证书的全局最优性的极限点。该算法基于$M^*$的低秩分解。我们验证了合成和真实数据的方法与现有的方法相比,具有更好的性能。
2015-02-24 stat.ML
Constructing confidence sets for the matrix completion problem
在本说明中,我们考虑的问题,构建诚实的和自适应的信心集的矩阵完成问题。对于噪声方差已知的Bernoulli模型,给出了一种构造适应于真矩阵秩未知的置信集的可实现方法。
2017-04-10 math.ST stat.TH
Matrix Completion and Tensor Rank
本文证明了低秩矩阵完备化问题可以归结为求某个张量的秩的问题。
2013-07-23 math.OC math.ST stat.TH
1-bit Matrix Completion: PAC-Bayesian Analysis of a Variational Approximation
由于具有挑战性的应用,如协同过滤,矩阵补全问题在过去几年中得到了广泛的研究。不同的方法依赖于对矩阵的不同结构假设。在这里,我们专注于完成一个(可能)低秩矩阵与二进制项目,所谓的1位矩阵完成问题。我们的方法依赖于机器学习理论的工具:经验风险最小化及其凸松弛。我们提出了一个算法来计算变分近似的伪后验。由于凸松弛,相应的最小化问题是双凸的,因此该方法在实践中表现良好。我们还通过PAC-贝叶斯学习界限研究了这种变分逼近的性能。相反,以前的作品,专注于上界的估计误差的M与各种矩阵的规范,我们能够从这个分析中得出一个PAC界的预测误差,我们的算法。我们主要集中在凸松弛通过铰链损失,为此,我们提出了完整的分析,完整的模拟研究和测试的MovieLens数据集。然而,我们也讨论了变分近似处理逻辑损失。
2016-04-14 stat.ML
Matrix completion by singular value thresholding: sharp bounds
我们考虑矩阵完备化问题,其目的是估计一个大的数据矩阵,只有一个相对较小的随机子集的条目被观察到。迭代阈值法是解决矩阵完备化问题的常用方法。尽管他们的经验成功,这种迭代阈值方法的理论保证知之甚少。本文的目的是为一种迭代阈值算法提供强有力的理论保证,该算法是对softImpute算法的一种改进,类似于核范数惩罚法和一步阈值法。我们的结果的一个重要结果是矩阵完备化问题的精确极小极大最优收敛速度,直到我们只知道一个对数因子。
2015-01-31 math.ST stat.TH
Sharp Bounds for Multiple Models in Matrix Completion
Michigan State University(密歇根州立大学)
本文通过先进矩阵集中不等式,消除矩阵补全收敛速率中的维度因子,证明三种估计器的最小最大最优性。
2026-03-05 math.ST stat.TH
Positive definite Hankel matrix completions and Hamburger moment completions
本文给出了含缺失项的Hamburger矩问题的解。考虑部分正序列的完备化问题。主要结果是一个正定可完成的模式,即模式,保证部分正定序列的汉堡时刻完成的存在性的表征。并给出了几个非正定可完备的模式。
2015-09-21 math.FA math.PR math.ST
Nonconvex Matrix Completion with Linearly Parameterized Factors
University of California, Davis(加州大学戴维斯分校);University of Pennsylvania(宾夕法尼亚大学)
矩阵补齐技术的目的是通过一小部分观察到的条目来估算数据矩阵中的大部分缺失条目。在包括协同过滤在内的实际应用中,通常采用先验信息和特殊结构来提高矩阵补全的准确性。在本文中,我们提出了一个统一的非凸优化框架的矩阵完成线性参数化的因素。特别地,通过引入相关参数分解条件,我们可以对非凸目标进行统一的几何分析,建立由任意局部极小值得到的低秩估计的统一上界.也许令人惊讶的是,相关参数因子分解的条件适用于重要的例子,包括子空间约束矩阵完成和反对称矩阵完成。我们的统一的非凸最优化方法的有效性也通过大量的数值模拟经验说明。
2022-03-07 cs.LG math.ST stat.ML
A Bayesian Approach for Noisy Matrix Completion: Optimal Rate under General Sampling Distribution
贝叶斯方法的低秩矩阵完成噪声已被证明是非常有效的计算。虽然惩罚最小化方法的行为是很好地理解从理论和计算的角度来看,在这个问题上,贝叶斯估计的理论最优性尚未探讨。本文提出了一般抽样分布下矩阵完备化的贝叶斯估计。我们还提供了一个预言不等式的估计。这个不等式证明,无论矩阵的秩估计,我们的估计达到最小最大最优的收敛速率(对数因子)。最后,我们进行了一个简短的模拟研究。
2015-01-21 math.ST stat.TH
Adaptive confidence sets for matrix completion
本文研究了矩阵完备化的诚实置信集和自适应置信集的存在性问题。我们考虑两种统计模型:迹回归模型和伯努利模型。在迹回归模型中,我们证明了即使在误差方差未知的情况下,也存在适应矩阵秩未知的诚实置信集。与此相反,我们证明了在伯努利模型中,诚实和自适应的信心集存在时,误差方差是已知的先验。在我们的证明过程中,我们得到了一些复合假设测试问题中出现的低秩推理的极大极小率的界。
2017-02-06 math.ST stat.TH
Information-theoretic Bounds on Matrix Completion under Union of Subspaces Model
在这个简短的说明中,我们扩展了一些最近的结果矩阵完成的假设下,矩阵的列可以分组(集群)到子空间(不一定不相交或独立)。该模型偏离了文献中处理大数据应用程序的压缩和恢复的典型假设。这些结果对信息缺失或不完全情况下的子空间聚类问题有直接的影响。
2015-08-14 cs.IT math.IT stat.ML
Matrix Completion under Low-Rank Missing Mechanism
Fudan University(复旦大学);Texas A&M University(德州农工大学);Peking University(北京大学)
矩阵完备化是一个现代的缺失数据问题,其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分,现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中,我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵,并进一步通过逆概率加权来完成目标矩阵。由于高维和极端(即,非常小)的真实概率矩阵的性质,需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
Calibrated Elastic Regularization in Matrix Completion
本文讨论了矩阵完备化问题,即根据一个小的指数子集的观测值估计一个矩阵。我们提出了一个校准谱弹性网方法与核和Frobenius罚款的总和,并开发了一个迭代算法来解决凸极小化问题。迭代算法在通过当前猜测估算不完整矩阵中的缺失条目和通过估算矩阵的缩放软阈值奇异值分解估计矩阵之间交替,直到所得矩阵收敛。随后进行校准步骤以校正由Frobenius罚分引起的偏差。在适当的相干性条件和适当的惩罚水平下,我们证明了所提出的估计器达到了接近最优阶的误差界,并与噪声水平成比例。这提供了一个统一的分析噪声和无噪声矩阵完成问题。仿真结果比较我们的建议与以前的。
2012-11-09 math.ST stat.ML stat.TH
Typical and Generic Ranks in Matrix Completion
我们从几何的角度考虑低秩矩阵的精确完备化问题:给定一个部分填充矩阵M,我们保持指定和未指定元素的位置固定,并研究最小完备秩如何依赖于已知元素的值.如果矩阵的元素是复数,则对于指定和未指定元素的位置的固定模式,存在以正概率出现的唯一完成秩。我们称这个等级为通用完成等级。在实数上,可以有多个以正概率出现的秩;我们称之为典型的完成秩。我们正式介绍这些概念,并提供了一些不等式和确切的结果,典型的和通用的不同家庭的模式的已知和未知的条目的排名。
2019-09-22 cs.NA math.AG math.NA
A Generalized Latent Factor Model Approach to Mixed-data Matrix Completion with Entrywise Consistency
London School of Economics and Political Science(伦敦政治经济学院);University of Minnesota(明尼苏达大学)
矩阵补全是一类机器学习方法,它涉及部分观测矩阵中缺失项的预测。本文研究了混合数据的矩阵完备化问题,涉及混合类型的变量的数据(例如,连续的、二进制的、有序的)。我们将其表示为一般非线性因子模型下的低秩矩阵估计问题,然后提出了用于估计低秩矩阵的逐项相合估计量。紧概率误差界推导出建议的估计。所提出的方法进行了评估,通过模拟研究和实际数据的应用,协同过滤和大规模的教育评估。
2022-11-17 cs.LG math.ST stat.ME
Causal Matrix Completion
矩阵完备化是从噪声观测的稀疏子集中恢复底层矩阵的研究。传统上,假设矩阵的条目是“完全随机缺失”(MCAR)的,即,每个条目都是随机显示的,独立于其他任何东西,具有均匀的概率。这可能是不现实的,因为存在“潜在混杂因素”,即,未观察到的因素,这些因素决定了基础矩阵的条目和观察到的矩阵中的缺失模式。例如,在电影推荐系统的上下文中--矩阵补全的规范应用--强烈不喜欢恐怖片的用户不太可能看恐怖片。一般来说,这些混杂因素会产生“非随机缺失”(MNAR)数据,这会严重影响任何不纠正这种偏倚的推断程序。我们通过潜在结果的语言开发了一个正式的因果模型矩阵完成,并提供了新的识别参数的各种因果被估量的利益。我们设计了一个程序,我们称之为“合成最近邻”(SNN),估计这些因果被估量。我们证明了我们的估计量的有限样本相合性和渐近正态性。我们的分析也导致新的理论结果的矩阵完成文学。特别是,我们建立了入口智能,即,最大范数,有限样本的一致性和渐近正态性的矩阵完成MNAR数据的结果。作为一种特殊情况,这也为MCAR数据的矩阵完成提供了条目方面的界限。在模拟和真实数据中,我们证明了我们提出的估计量的有效性。
2021-09-30 cs.LG econ.EM math.ST
Matrix Completion for the Independence Model
研究了标准单纯形中部分矩阵完备为秩一矩阵的问题。研究这个问题的动机来自于统计:缺乏合格的完成可以为来自独立模型的部分观测提供证伪检验。对于每一种指定项的模式,我们给出满足的方程和不等式当且仅当一个合格的完成存在。我们还描述了一组有效的完成,我们优化了这个集合。
2016-04-28 math.AG math.CO math.ST
Typical ranks in symmetric matrix completion
研究了对称矩阵的低秩矩阵完备化问题。一般部分指定对称矩阵的完备化的最小秩仅取决于指定元素的位置,而不是它们的值,如果允许复杂的元素。当要求条目是真实的时,情况就不再是这样了,可能的最低等级称为典型等级。本文给出了以$n$为典型秩的$n\times n$对称矩阵的指定整的模式的组合描述。此外,我们准确地描述了当这样一个通用的部分矩阵是最低限度地完成排名$n$。我们还描述了具有低的最大典型秩的条目的模式的典型秩。
2020-10-14 math.AG math.CO math.ST
A note on the statistical view of matrix completion
基于统计模型,给出了矩阵完备化问题的一种简单解释。结合已知的缺失数据分析结果,这种解释表明,即使没有完全随机缺失(MCAR)假设,矩阵补全仍然是一个有效的和原则性的估计程序,几乎所有的矩阵补全的理论研究假设。
2016-05-10 stat.ML
Structured Matrix Completion with Applications to Genomic Data Integration
矩阵完备化在统计学、应用数学和电子工程等领域引起了广泛的关注。目前关于矩阵补全的文献主要集中在独立采样模型上,在该模型下,单独观察到的条目被独立地采样。受基因组数据整合应用的启发,我们提出了一个新的框架结构化矩阵完成(SMC)来处理结构化缺失的设计。具体来说,我们提出的方法的目的是在有效的矩阵恢复时,观察到的一个子集的行和列的近似低秩矩阵。我们提出的SMC方法的理论依据,并推导出下限的估计误差,这两者一起建立在某些类的近似低秩矩阵的最佳恢复率。仿真研究表明,该方法在有限样本情况下,对多种结构都有较好的性能。该方法被应用于整合几个卵巢癌基因组研究与不同程度的基因组测量,这使我们能够构建更准确的预测规则卵巢癌生存。
2015-04-08 math.ST stat.ME stat.ML
On the Robustness of Cross-Concentrated Sampling for Matrix Completion
University of Central Florida(中佛罗里达大学);Michigan State University(密歇根州立大学)
针对交叉集中采样(CCS)矩阵补全模型对稀疏异常值鲁棒性不明的问题,本文提出鲁棒CCS补全问题及高效非凸迭代算法RCURC,其效率与鲁棒性在合成及真实数据集上获验证。
2024-01-28 cs.IT cs.LG math.IT
Always Valid Risk Monitoring for Online Matrix Completion
University of California, Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
始终有效的集中不等式越来越多地被用作在线统计学习的性能度量,特别是在生成模型和监督学习的学习中。这种不等式通过允许随机的、自适应选择的样本量而不是离线统计学习中的固定的预先指定的大小来推进在线学习算法设计。然而,建立这样一个始终有效的类型结果的任务矩阵完成是具有挑战性的,远远没有理解的文献。由于这种类型的结果的重要性,这项工作建立和设计的在线矩阵完成问题的始终有效的风险约束过程。这种理论的进步是可能的非渐近鞅浓度和正则化低秩矩阵回归的新组合。我们的研究结果使一个更有效的样本在线算法设计,并作为一个基础,以评估在线实验策略的任务,在线矩阵完成。
2022-11-18 cs.AI cs.LG math.ST
Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research(雅虎研究院);University of Minnesota – Twin Cities(明尼苏达大学双城分校)
归纳矩阵完备化(IMC)是一类重要的矩阵完备化问题,它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统,多标签学习,字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务,其中底层矩阵遵循IMC模型,即,它由夹在两个已知特征矩阵之间的混合矩阵(先验未知)形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni:2016:NMC的主要定理,并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上,它可以用来推导各种噪声模型的误差界。在本文中,我们实例化我们的主要结果的情况下,高斯噪声,并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
Adversarial Robust Low Rank Matrix Estimation: Compressed Sensing and Matrix Completion
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));The Institute of Statistical Mathematics(统计数学研究所);Center for Advanced Integrated Intelligence Research, RIKEN(理化学研究所先进综合智能研究中心)
本文提出基于Huber损失与核范数惩罚的统一方法,解决对抗污染下的低秩矩阵估计,获得比以往更尖锐的误差界。
2024-05-24 cs.LG math.ST stat.ML
Multivariate Gaussians, Semidefinite Matrix Completion, and Convex Algebraic Geometry
我们研究了由协方差阵的逆矩阵上的线性约束描述的多元正态模型。这种模型的极大似然估计导致的问题,最大化的决定性功能在一个spectrahedron,并在任意线性投影下的正定锥的图像的特征的问题。这些问题的统计和优化的接口在这里检查凸代数几何的角度来看。
2009-06-18 math.AG math.OC math.ST
Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion
Sloan School of Management(斯隆管理学院);Operations Research Center(运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院)
我们制定的矩阵完成的问题,没有边信息作为一个非凸优化问题。我们设计的fastImpute基于非凸梯度下降,并显示它收敛到一个全局最小值,保证恢复密切的基础矩阵,而它的规模超过$10^5 \times 10^5$的大小矩阵。我们报告了在合成和真实世界数据集上的实验,这些实验表明fastImpute在恢复矩阵的准确性和所有情况下所需的时间方面都具有竞争力。此外,当大量条目丢失时,fastImpute在具有和不具有边信息的情况下都比当前最先进的矩阵完成方法快$75\%$以上、低MAPE和快$15$倍。
2020-12-31 cs.LG math.OC stat.ME
Categorical Matrix Completion
H. Milton Stewart School of Industrial and Systems Engineering(工业与系统工程学院)
本文提出通过扩展一位矩阵补全方法,解决具有类别值的矩阵补全问题,通过核范数约束最大化似然比,建立理论误差界,并在MovieLens数据集上验证方法优势。
2015-07-02 cs.LG cs.NA math.NA
Clustering of Nonnegative Data and an Application to Matrix Completion
University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一个简单的算法聚类非负数据躺在不相交的子空间。我们分析其性能的关系,一定程度的相关性,所述子空间。我们使用我们的聚类算法开发一个矩阵完成算法,它可以优于标准的矩阵完成算法的数据矩阵满足一定的自然条件。
2020-09-02 cs.LG eess.SP stat.ML
Adaptive Matrix Completion for the Users and the Items in Tail
University of Minnesota(明尼苏达大学)
推荐系统被广泛用于向用户推荐最吸引人的物品。这些推荐可以通过应用协同过滤方法来生成。低秩矩阵补全方法是目前最先进的协同过滤方法。在这项工作中,我们表明,在现实世界的数据集的用户项目评级矩阵的评分的偏斜分布影响矩阵完成为基础的方法的准确性。此外,我们表明,一个项目或用户的评级数量正相关的能力,低秩矩阵完成为基础的方法来预测该项目或用户的评级准确。此外,我们使用这些见解来开发四种基于矩阵完成的方法,即,频率自适应评分预测(FARP)、截断矩阵分解(TRUNCATED MATRIX FACTORIZATION,TRUNCATED MATRIX FACTORIZATION WITH DOPPOUT,TRUNCATED MATRIX + DOPPOUT)和逆频率加权矩阵分解(IFWMF),对于用户和用户-项目评分矩阵中评分较少的项目,其性能优于传统的基于矩阵补全的方法。
2020-01-05 cs.IR cs.LG stat.ML
Matrix Completion Survey: Theory, Algorithms, and Empirical Evaluation
本文综述了矩阵补全的理论与算法,并通过实验评估了自适应采样方案的效果。
2025-12-09 stat.CO
Targeted matrix completion
University of Southern California(南加州大学)
矩阵补全是在许多数据分析设置中出现的问题,其中输入由部分观察的矩阵组成(例如,推荐系统、流量矩阵分析等)。经典的矩阵完备化方法假设输入的部分观测矩阵是低秩的。这些方法的成功取决于观察到的条目的数量和矩阵的秩;秩越大,为了准确地完成矩阵,需要观察的条目就越多。在本文中,我们处理矩阵,不一定是低秩本身,而是他们包含低秩子矩阵。我们提出了有针对性的,这是一个通用的框架,完成这样的矩阵。在这个框架中,我们首先提取低秩子矩阵,然后分别对这些低秩子矩阵和剩余矩阵应用矩阵完备化算法。虽然对于完成本身,我们使用国家的最先进的完成方法,我们的结果表明,有针对性的实现显着较小的重建误差比其他经典的矩阵完成方法。本文的关键技术贡献之一在于从输入部分可观测矩阵中识别出低秩子矩阵。
2017-04-30 cs.LG stat.ML
Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption
Carnegie Mellon University(卡内基梅隆大学)
矩阵补全通常应用于具有非随机非随机缺失项(MNAR)的数据。例如,考虑一个推荐系统,其中用户倾向于只显示他们喜欢的项目的评级。在这种情况下,依赖于在均匀采样的行和列索引处显示的条目的矩阵完成方法可能会对看不见的用户评级产生过于乐观的预测。最近,各种各样的论文表明,如果我们知道不同矩阵项丢失的概率,我们可以减少MNAR矩阵完成中的这种偏差。这些概率通常使用逻辑斯谛回归或朴素贝叶斯进行建模,这些方法进行强假设,并且缺乏对估计概率准确性的保证。在本文中,我们提出了一个简单的方法来估计这些概率,避免这些缺点。我们的方法遵循的观察,在真实数据中的缺失模式往往表现出较低的核范数结构。然后,我们可以通过将(总是完全观察到的)二进制矩阵指定哪些条目被揭示或缺失到Davenport等人的现有核范数约束矩阵完成算法来估计缺失概率。[2014]。因此,我们通过首先解决不同的矩阵完成问题来解决MNAR矩阵完成问题,该矩阵完成问题恢复缺失概率。我们建立有限样本误差界如何准确这些概率估计和如何以及这些估计debias标准矩阵完成损失的原始矩阵完成。实验结果表明,所提出的去偏策略可以改善现有的各种矩阵补全算法,并使下游矩阵补全精度至少与需要额外辅助信息的逻辑斯谛回归和朴素贝叶斯去偏基线一样好.
2019-10-29 cs.LG stat.ML
Sparse Group Inductive Matrix Completion
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Institute for Information Transmission Problems of RAS(俄罗斯科学院信息传输问题研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Central Research Institute for Epidemiology(中央流行病学研究所)
本文研究了带边信息的矩阵完备化问题(\textit{inductive matrix completion})。在实际应用中,许多侧信道特征通常是无信息的,使得特征选择成为问题的重要部分。我们将特征选择归纳矩阵完成提出了一个矩阵分解框架与组套索正则化侧特征参数矩阵。我们证明,所提出的方法的理论样本的复杂性是低得多相比,它的竞争对手在稀疏问题,并提出了一个有效的优化算法所产生的低秩矩阵完成问题与稀疏正则化。在合成数据集和真实数据集上的实验表明,该方法的性能优于其他方法。
2018-10-06 cs.LG stat.ML
Interpretable Matrix Completion: A Discrete Optimization Approach
Massachusetts Institute of Technology(麻省理工学院)
考虑了$n \times m$矩阵上的矩阵完备化问题。我们引入了可解释矩阵完备化问题,旨在使用边信息为低秩矩阵提供有意义的见解。我们证明了该问题可以转化为一个二元凸优化问题。我们基于随机切割平面的新概念设计OptComplete,以使算法能够有效扩展到大小为$n=10^6$和$m=10^6$的矩阵。我们报告了在合成和真实世界数据集上的实验,这些实验表明,与其他类型的矩阵完成的最先进方法相比,OptComplete具有良好的缩放行为和准确性,同时提供了对影响矩阵的因素的见解。
2020-03-03 cs.LG math.OC stat.ML
Structured low-rank matrix completion for forecasting in time series analysis
Cardiff University(卡迪夫大学);CNRS(法国国家科学研究中心)
本文研究了低秩矩阵补全问题,应用于时间序列预测。基于Hankel矩阵的补全方法和核范数松弛,通过理论和实验证明了适当选择已知观测加权方案的重要性。
2018-02-22 cs.NA cs.SY eess.SY
A Combinatorial Algebraic Approach for the Identifiability of Low-Rank Matrix Completion
Berlin Institute of Technology (TU Berlin)(柏林工业大学);FU Berlin(柏林自由大学);University of Tokyo(东京大学)
本文通过组合代数方法,首次给出了任意秩矩阵从一组矩阵条目中可辨识的充要组合条件,并提出了新算法。
2012-06-27 cs.DM cs.LG cs.NA
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);the University of Iowa(爱荷华大学);Michigan State University(密歇根州立大学)
本文针对核范数正则化矩阵补全,在目标矩阵顶部特征空间不连贯假设下,首次推导出恢复满秩矩阵最佳低秩逼近的相对误差上界,弥补了现有加性误差界无法刻画完美恢复及特征值偏斜分布的不足。
2024-05-29 cs.LG stat.ML
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统,例如电影评级,计算机视觉,例如图像重建或完成,多任务学习,例如协作建模多个传感器的时间序列趋势,以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如,图像通常包含一组异构的对象,因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度,产生准确的估计缺失的数据,迭代收敛,它是计算上易于处理的迭代次数的可控上限,直到收敛。所提出的技术的准确性进行了验证自然图像,电影收视率,和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Fast Low-Rank Bayesian Matrix Completion with Hierarchical Gaussian Prior Models
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(斯蒂文斯理工学院)
研究了低秩矩阵的完备化问题。为了利用数据矩阵的底层低秩结构,我们提出了一个分层高斯先验模型,其中假设低秩矩阵的列遵循具有零均值和公共精度矩阵的高斯分布,并将Wishart分布指定为精度矩阵的超先验。我们表明,这样的分层高斯先验有可能鼓励低秩的解决方案。基于所提出的层次先验模型,提出了一种矩阵完备化的变分贝叶斯方法,该方法将广义近似消息传递(GAMP)技术嵌入到变分贝叶斯推理中,以避免繁琐的矩阵求逆运算.仿真结果表明,我们提出的方法表现出优于现有的国家的最先进的矩阵完成方法。
2017-08-26 cs.LG stat.ML
Time-series imputation using low-rank matrix completion
本文提出基于时间序列块-Hankel矩阵低秩补全的HI插补方法,并通过仿真与五种传统技术比较,验证其在缺失数据插值及尖锐峰值重现方面的竞争力。
2024-08-05 stat.ME
Fast matrix completion without the condition number
本文给出了第一个矩阵完备化算法,其运行时间和样本复杂度分别为未知目标矩阵秩的多项式、矩阵维数的线性和矩阵条件数的对数。据我们所知,所有以前的算法要么招致二次依赖于未知矩阵的条件数或二次依赖于矩阵的维数在运行时间。我们的算法是基于一种新的扩展交替最小化,我们表明,即使在存在噪声的标准假设下,理论上的保证。
2014-07-15 cs.DS cs.LG stat.ML
Poisson Matrix Completion
Georgia Institute of Technology(佐治亚理工学院)
我们扩展的理论矩阵完成的情况下,我们使泊松观测的一个子集的条目的低秩矩阵。我们认为(现在)通常的矩阵恢复制定通过极大似然与适当的约束矩阵$M$,并建立理论上的上限和下限的恢复误差。我们的边界是接近最佳的顺序上的$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过调整用于一位矩阵完成\cite{davenport20121}的参数获得的(尽管这两个问题在性质上是不同的),并且调整需要利用泊松似然函数的特性的新技术,并且解决由泊松分布的局部次高斯特性所带来的困难。我们的研究结果突出了一些重要的区别泊松矩阵完成相比,以前的工作在矩阵完成,包括必须施加一个最小的信噪比要求,每个观察到的条目。我们还开发了一个有效的迭代算法,并证明其良好的性能恢复太阳耀斑图像。
2015-03-25 cs.LG stat.ML
Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent
University of Chicago(芝加哥大学)
我们解决的矩形矩阵完成问题,提升未知矩阵的一个半正定矩阵在更高的维度,并使用一个简单的梯度下降方案优化的半定因子的非凸目标。利用$O( μr^2 κ^2 n \max(μ, \log n))$对$n_1 \times n_2$ $μ$ -秩为$r$且条件数为$n = \max(n_1, n_2)$的非相干矩阵的随机观测,该算法以高概率线性收敛到全局最优。
2016-11-22 cs.LG stat.ML
Matrix Completion With Selective Sampling
University of California, Los Angeles(加州大学洛杉矶分校)
矩阵完备化是数据科学中的一个经典问题,其中人们试图在仅观察条目的某个子集的情况下重建低秩矩阵。以前的作者把这个问题称为核范数最小化问题。几乎所有以前的工作假设没有明确的矩阵结构,并使用均匀采样来决定观察到的条目。我们建议的情况下,我们有一些知识的矩阵的结构,并允许设计的观察集的选择性抽样的方法。
2019-04-17 cs.LG stat.ML
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University(波士顿大学)
我们研究交替最小化矩阵完成在最简单的可能设置:完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画,给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Regularizing Autoencoder-Based Matrix Completion Models via Manifold Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec;Duke University(杜克大学)
自编码器在基于神经网络的矩阵补全模型中很受欢迎,因为它们能够从部分观测矩阵中检索潜在的潜在因子。然而,当训练数据是稀缺的,他们的性能显着下降,由于过拟合。在本文中,我们使用依赖于多任务学习原理的数据依赖正则化技术来解决过拟合问题。具体来说,我们提出了一个基于自动编码器的矩阵完成模型,该模型将未知矩阵值的预测作为主要任务,并将流形学习作为辅助任务。后者作为一个归纳偏差,导致解决方案,更好地推广。所提出的模型优于现有的基于自动编码器的模型设计的矩阵完成,在知名的数据集实现高重建精度。
2018-07-04 cs.AI cs.LG stat.ML
Matrix Completion Under Monotonic Single Index Models
Wisconsin Institutes for Discovery(威斯康星发现研究院);UW-Madison(威斯康星大学麦迪逊分校);University of Michigan Ann Arbor(密歇根大学安娜堡分校)
矩阵完备化的最新结果假设所考虑的矩阵是低秩的,或者列是低秩子空间的并集。然而,在现实世界中,这些模型的线性结构被(通常未知的)非线性变换扭曲。本文讨论的挑战,矩阵完成在面对这样的非线性。给定一个矩阵的几个观测值,通过对一个低秩矩阵应用Lipschitz单调函数得到,我们的任务是估计剩余的未观测项。我们提出了一种新的矩阵补全方法,交替低秩矩阵估计和单调函数估计丢失的矩阵元素。均方误差界限提供了对基于矩阵的大小、秩和非线性变换的性质来估计矩阵的程度的洞察。合成和真实世界的数据集上的实证结果证明了所提出的方法的竞争力。
2015-12-29 cs.LG stat.ML
Spectral Geometric Matrix Completion
Technion(以色列理工学院)
深度矩阵分解(DMF)是一种新兴的解决矩阵完备化问题的方法。最近的工作已经确定,梯度下降应用于DMF模型诱导恢复矩阵的秩上的隐式正则化。在这项工作中,我们解释DMF模型通过光谱几何的镜头。这使我们能够在不破坏DMF结构的情况下合并显式正则化,从而享受两个世界的最佳状态。特别是,我们专注于矩阵完成问题的行和/或列之间的潜在几何或拓扑关系。这种关系在许多应用中出现的矩阵完成问题中普遍存在,例如推荐系统和药物-靶标相互作用。我们的贡献使DMF模型能够利用这些关系,并使它们在实际基准上具有竞争力,同时展示了深度线性网络的首批成功应用之一。
2021-06-07 cs.CG cs.CV cs.LG
Unified View of Matrix Completion under General Structural Constraints
本文给出了由{ \em any}范数正则化引起的一般低维结构约束下矩阵完备化的统一分析。我们考虑了一般结构矩阵完备化问题的两种估计,并给出了样本复杂度和估计误差的统一上界。我们的分析依赖于通用链接的结果,我们建立了两个独立的中间结果:(a)在表征高维环境空间中的低维子集的大小或复杂性时,在矩阵完备问题的分析中遇到的某个部分复杂性度量根据高斯宽度的公知复杂性度量来表征,(b)证明了矩阵完备化问题在一般范数正则化下的一种形式的限制强凸性。此外,我们提供了几个非平凡的例子,包括在我们的框架结构,特别是最近提出的光谱$k$支持规范。
2018-11-21 stat.ML
Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares
矩阵补全问题吸引了很多关注,主要是由于著名的Netflix竞争。解决这个问题的两种流行方法是核范数正则化矩阵近似(Candes和Tao,2009,Mazumder,Hastie和Tibshirani,2010)和最大余量矩阵分解(Srebro,Rennie和Jaakkola,2005)。这两个程序在某些情况下解决等效问题,但使用完全不同的算法。在这篇文章中,我们将这两种方法结合在一起,导致一个有效的算法,大矩阵分解和完成,优于这两个。我们开发了一个软件包“softImpute”在R中实现我们的方法,和一个分布式版本的非常大的矩阵使用“火花”集群编程环境。
2014-10-09 stat.ME stat.ML
Algebraic-Combinatorial Methods for Low-Rank Matrix Completion with Application to Athletic Performance Prediction
本文提出了新的算法,利用矩阵完成任务的内在代数和组合结构,估计在一般低秩设置的缺失条目。对于积极的数据,我们在模拟和从部分观察到的数据预测运动表现的任务中,在准确性和计算效率方面都取得了优于最先进的核规范的结果。
2014-06-11 stat.ML