Uncertainty Quantification For Low-Rank Matrix Completion With Heterogeneous and Sub-Exponential Noise
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
低秩矩阵完成与异构和次指数(相对于均匀和高斯)噪声的问题是特别相关的一些应用在现代商业。例子包括小组销售数据和从网络商务系统(如推荐引擎)收集的数据。一个重要的未解决的问题,这个问题是描述下常见的低秩估计估计矩阵元素的分布。这样的特性是必不可少的任何应用,需要量化的不确定性,在这些估计,迄今为止,只有在假设均匀高斯噪声。在这里,我们的特点估计矩阵条目的分布时,观察噪声是异构的次指数,并提供,作为一个应用程序,明确的公式,这种分布时,观察到的条目是泊松分布或二进制分布。
2021-10-22 cs.LG stat.ML
Always Valid Risk Monitoring for Online Matrix Completion
University of California, Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
始终有效的集中不等式越来越多地被用作在线统计学习的性能度量,特别是在生成模型和监督学习的学习中。这种不等式通过允许随机的、自适应选择的样本量而不是离线统计学习中的固定的预先指定的大小来推进在线学习算法设计。然而,建立这样一个始终有效的类型结果的任务矩阵完成是具有挑战性的,远远没有理解的文献。由于这种类型的结果的重要性,这项工作建立和设计的在线矩阵完成问题的始终有效的风险约束过程。这种理论的进步是可能的非渐近鞅浓度和正则化低秩矩阵回归的新组合。我们的研究结果使一个更有效的样本在线算法设计,并作为一个基础,以评估在线实验策略的任务,在线矩阵完成。
2022-11-18 cs.AI cs.LG math.ST
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research(百度研究院);Paradigm Inc.(第四范式公司);Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题,即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩,最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能,并具有良好的理论特性,但由于重复访问单个奇异值,计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解,提出了一种新的非凸低秩正则化器,称为“核范数减Frobenius范数”正则化器,它是可扩展的,自适应的和声音。我们首先证明了它具有自适应收缩特性。此外,我们发现它的因式分解的形式,绕过奇异值的计算,并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明,所提出的方法获得了最先进的恢复性能,同时是最快的相比,现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Preference Completion from Partial Rankings
University of Texas, Austin(德克萨斯大学奥斯汀分校);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一种新的和有效的算法的协作偏好完成的问题,它涉及到联合估计个性化的排名为一组实体在一组共享的项目,根据有限数量的观察到的亲和力值。我们的方法利用了这样的观察,即虽然偏好通常被记录为数值分数,但预测的兴趣量是潜在的排名。因此,试图紧密匹配记录的分数可能会导致过拟合和损害泛化性能。相反,我们提出了一个估计,直接适合潜在的偏好顺序,结合核规范约束,以鼓励低秩参数。除了(近似)正确性的排名顺序,建议的估计没有生成假设的数值分数的观察。一个后果是,建议的估计可以适合任何一致的部分排名的一个子集的项目表示为一个有向无环图(DAG),概括的标准技术,只能适合偏好得分。尽管这种一般性,监督代表总或分块总订单,我们的算法的计算复杂度是在一个$\log$因子的标准算法的核范数正则化为基础的估计矩阵完成。我们进一步展示了一个新颖的和具有挑战性的应用程序的协作排名的大脑区域和认知神经科学术语之间的关联有前途的实证结果。
2016-11-14 cs.LG stat.ML
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);the University of Iowa(爱荷华大学);Michigan State University(密歇根州立大学)
本文针对核范数正则化矩阵补全,在目标矩阵顶部特征空间不连贯假设下,首次推导出恢复满秩矩阵最佳低秩逼近的相对误差上界,弥补了现有加性误差界无法刻画完美恢复及特征值偏斜分布的不足。
2024-05-29 cs.LG stat.ML
Matrix Completion Under Monotonic Single Index Models
Wisconsin Institutes for Discovery(威斯康星发现研究院);UW-Madison(威斯康星大学麦迪逊分校);University of Michigan Ann Arbor(密歇根大学安娜堡分校)
矩阵完备化的最新结果假设所考虑的矩阵是低秩的,或者列是低秩子空间的并集。然而,在现实世界中,这些模型的线性结构被(通常未知的)非线性变换扭曲。本文讨论的挑战,矩阵完成在面对这样的非线性。给定一个矩阵的几个观测值,通过对一个低秩矩阵应用Lipschitz单调函数得到,我们的任务是估计剩余的未观测项。我们提出了一种新的矩阵补全方法,交替低秩矩阵估计和单调函数估计丢失的矩阵元素。均方误差界限提供了对基于矩阵的大小、秩和非线性变换的性质来估计矩阵的程度的洞察。合成和真实世界的数据集上的实证结果证明了所提出的方法的竞争力。
2015-12-29 cs.LG stat.ML
Tensor Completion for Weakly-dependent Data on Graph for Metro Passenger Flow Prediction
The Hong Kong University of Science and Technology(香港科技大学);Arizona State University(亚利桑那州立大学);Tsinghua University(清华大学)
由于张量数据的普遍存在,低秩张量分解和完备化引起了学术界的极大兴趣。然而,低秩结构是一个全局属性,当数据呈现复杂和弱依赖性时,给定特定的图结构,这将无法实现。一个特定的应用,激发这项研究是时空数据分析。如初步研究所示,弱依赖性会恶化低秩张量完成性能。本文通过引入$L_{1}$ -范数惩罚和图拉普拉斯惩罚,提出了一种新的低秩CANDECOMP / PARAFAC(CP)张量分解和完成框架,用于对图的弱依赖进行建模.我们进一步提出了一个有效的优化算法的基础上的块坐标下降有效的估计。基于香港地铁客流数据进行了案例研究,以证明改进的性能比常规张量完成方法。
2019-12-11 cs.LG stat.ML
Online Matrix Completion with Side Information
University College London(伦敦大学学院)
给出了一个带边信息的二元矩阵在线完备化的在线算法,并证明了新的错误界和遗憾界。我们证明的错误界的形式为$\tilde{O}(D/γ^2)$。术语$1/γ^2$类似于SVM(感知器)边界中的通常裕度项。更具体地说,如果我们假设存在基础$m \times n$矩阵到$P Q^\intercal$的某种因子分解,其中$P$的行在$\mathcal{R}^d$中被解释为“分类器”,而$Q$的行在$\mathcal{R}^d$中被解释为“实例”,则$γ$是与观察到的矩阵一致的所有因子分解$P Q^\intercal$上的最大(归一化)余量。准维项$D$测量边信息的质量。在存在空洞的边信息时,$D= m+n$ .然而,如果边信息预测矩阵的基本因式分解,则在理想情况下,为$D \in O(k + \ell)$,其中$k$是不同行因子的数目,而$\ell$是不同列因子的数目。我们还提供了一个概括我们的算法的归纳设置。在该设置中,我们提供了一个不预先直接指定边信息的示例。对于该示例,准维度$D$现在由$O(k^2 + \ell^2)$界定。
2020-05-15 cs.LG stat.ML
Low-rank matrix completion theory via Plucker coordinates
Key Laboratory of Mathematics Mechanization, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院数学机械化重点实验室)
尽管低秩矩阵完备化的流行,其理论的大部分已经发展的假设下的随机观测模式,而很少有人知道的实际相关的情况下,非随机模式。具体来说,一个基本但很大程度上开放的问题是描述允许唯一或多个完成的模式。本文提供了两个这样的家庭模式的任何秩。实现这一点的关键是一个新的配方低秩矩阵完成Plucker坐标,后者是传统的计算机视觉的工具。这种连接是潜在的意义,一个广泛的家庭矩阵和子空间学习问题与不完整的数据。
2023-02-23 cs.LG math.AG stat.ML
Low-rank optimization for distance matrix completion
University of Liège(列日大学)
本文研究了低秩距离矩阵的完备化问题。当数据嵌入空间的维度可能未知但与所考虑的数据点的数量相比很小时,这个问题相当于恢复距离矩阵的缺失条目。重点是高维问题。我们将所考虑的问题转化为低秩正半定矩阵集合上的最优化问题,并提出了两个有效的低秩距离矩阵完备化算法。此外,我们提出了一种策略来确定嵌入空间的维数。由此产生的算法规模高维问题和单调收敛到一个全球性的解决方案的问题。最后,数值实验表明所提出的算法在基准测试中具有良好的性能。
2013-04-25 cs.LG math.OC stat.ML
Algebraic-Combinatorial Methods for Low-Rank Matrix Completion with Application to Athletic Performance Prediction
本文提出了新的算法,利用矩阵完成任务的内在代数和组合结构,估计在一般低秩设置的缺失条目。对于积极的数据,我们在模拟和从部分观察到的数据预测运动表现的任务中,在准确性和计算效率方面都取得了优于最先进的核规范的结果。
2014-06-11 stat.ML
Disjunctive Branch-and-Bound for Certifiably Optimal Low-Rank Matrix Completion
本文提出了一种基于离散分支限界法的低秩矩阵补全方法,通过凸松弛和优化策略,实现可证明最优的矩阵补全,显著降低最优性差距并提升测试误差表现。
2026-03-11 cs.LG math.OC stat.ML
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Microsoft Research New England(微软新英格兰研究院)
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题,它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止,大多数关于这个问题的可证明算法都局限于离线设置,在离线设置中,它们同时使用所有观测值来提供未知矩阵的估计。然而,在许多应用程序中,在线版本更有吸引力,我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的,但是它们对于在线设置可能是非常低效的。在本文中,我们提出了第一个可证明的,有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始,然后执行非凸随机梯度下降(SGD)。在每次观察之后,它执行仅涉及两个高矩阵的一行的快速更新,从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置,在离线设置中,它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架,以表明SGD更新往往远离鞍面,并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University(波士顿大学)
我们研究交替最小化矩阵完成在最简单的可能设置:完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画,给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Algebraic Variety Models for High-Rank Matrix Completion
我们考虑低秩矩阵完成的情况下,数据属于代数簇,即每个数据点是一个系统的多项式方程的解决方案的推广。在这种情况下,原始矩阵可能是高秩的,但是在将每列映射到单项式特征的高维空间之后,它变成低秩的。许多线性模型的扩展,包括仿射子空间及其并集,都可以用一个模型来描述。此外,品种可以用来模拟更丰富的一类非线性二次和更高的次数曲线和曲面。我们研究了矩阵完备化的采样要求,重点是仿射子空间的并集。我们还提出了一个有效的矩阵完成算法,最大限度地减少了一个凸或非凸代理的秩矩阵的单项功能。我们的算法使用著名的“内核技巧”,以避免直接与高维单项矩阵。我们表明,该算法是能够恢复合成生成的数据预测采样复杂度的界限。该算法也优于标准的低秩矩阵完成和子空间聚类技术在实验中与真实数据。
2017-03-28 stat.ML
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis(加州大学戴维斯分校)
鲁棒低秩矩阵完备(RMC),或部分观测数据的鲁棒主成分分析,在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加,其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式,它最小化低秩矩阵的核范数(以促进低秩)和稀疏矩阵的l1范数(以促进稀疏性)。本文在低秩矩阵完备化和黎曼优化的基础上,将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的,因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后,我们提出了一个交替流形近端梯度延拓(AManPGC)方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明,所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统,例如电影评级,计算机视觉,例如图像重建或完成,多任务学习,例如协作建模多个传感器的时间序列趋势,以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如,图像通常包含一组异构的对象,因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度,产生准确的估计缺失的数据,迭代收敛,它是计算上易于处理的迭代次数的可控上限,直到收敛。所提出的技术的准确性进行了验证自然图像,电影收视率,和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University(中南大学)
针对运营车队无法探索及模拟器与目标动态差异问题,提出完成度感知的跨保真度离线到在线强化学习方法,用于多线路公交驻站控制,解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
A Characterization of Deterministic Sampling Patterns for Low-Rank Matrix Completion
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
低秩矩阵完备化(LRMC)问题出现在各种各样的应用中。以往的理论主要提供了随机抽样缺失下的完备性条件。本文研究了完备性的确定性条件。不完全的$d \times N$矩阵是秩- $r$可完全的,如果最多有1000个秩- $r$矩阵与它的所有观测项一致.有限可完成性是LRMC的临界点,因为一个可完成矩阵的一些额外样本保证了它的唯一可完成性。本文的主要贡献是有限完备性的确定性抽样条件。我们用它来获得确定性的采样条件,可以有效地验证独特的可完成性。我们还表明,在均匀随机抽样方案下,如果观察到每列的$O(\max\{r,\log d\})$条目,则这些条件以高概率满足。这些发现有几个LRMC上的下界,样本和计算的复杂性,一致性的作用,自适应设置和任何完成算法的验证的影响。我们补充我们的理论结果与实验,支持我们的研究结果和激励未来的分析未知的采样制度。
2016-10-11 cs.LG math.AG stat.ML
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology(埼玉工业大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Imperial College London(帝国理工学院);Hangzhou Dianzi University(杭州电子科技大学);Guangdong University of Technology(广东工业大学)
传统的低秩张量分解模型在张量补全任务中,由于模型敏感性高,存在模型选择困难的问题。特别地,对于张量环(TR)分解,模型可能性的数量随着张量阶数呈指数增长,这使得找到最佳TR分解变得相当具有挑战性。在本文中,通过利用TR潜在空间的低秩结构,我们提出了一种新的张量完成方法,这是强大的模型选择。与对数据空间施加低秩约束不同,我们在潜在TR因子上引入核范数正则化,从而在更小的尺度上执行使用奇异值分解(SVD)的优化步骤。利用交替方向乘子法(ADMM)方案,可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担,从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明,所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
Matrix Completion and Tensor Rank
本文证明了低秩矩阵完备化问题可以归结为求某个张量的秩的问题。
2013-07-23 math.OC math.ST stat.TH
Model-free Nonconvex Matrix Completion: Local Minima Analysis and Applications in Memory-efficient Kernel PCA
University of California Davis(加州大学戴维斯分校)
研究了利用非凸优化方法从部分元素逼近正半定矩阵的低秩问题。在不对秩匹配、条件数或特征空间不相干参数作任何假设的情况下,我们刻画了基于局部最小值的低秩分解逼近固定正半定矩阵的性能.此外,在对条件数和特征空间不相干参数的秩匹配和有界性的某些假设下,我们的主要定理的推论改进了Ge等人[2016,2017]中无伪局部极小值的非凸矩阵完备的最新采样率结果。此外,我们研究了当所提出的非凸优化结果在准确的低秩近似,即使在存在大的条件数,大的不相干参数,或秩失配。我们还建议将非凸优化应用于内存有效的核PCA。数值实验表明,与Nyström方法相比,该方法在低秩近似和聚类方面都具有更好的稳定性.
2019-04-04 cs.LG math.OC stat.ML
Matrix Completion under Low-Rank Missing Mechanism
Fudan University(复旦大学);Texas A&M University(德州农工大学);Peking University(北京大学)
矩阵完备化是一个现代的缺失数据问题,其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分,现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中,我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵,并进一步通过逆概率加权来完成目标矩阵。由于高维和极端(即,非常小)的真实概率矩阵的性质,需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
A Combinatorial Algebraic Approach for the Identifiability of Low-Rank Matrix Completion
Berlin Institute of Technology (TU Berlin)(柏林工业大学);FU Berlin(柏林自由大学);University of Tokyo(东京大学)
本文通过组合代数方法,首次给出了任意秩矩阵从一组矩阵条目中可辨识的充要组合条件,并提出了新算法。
2012-06-27 cs.DM cs.LG cs.NA
High-Rank Matrix Completion and Subspace Clustering with Missing Data
Boston University(波士顿大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本文在矩阵列属于多个低秩子空间并的假设下,研究了多缺元矩阵的补问题。这将标准的低秩矩阵完备化问题推广到矩阵秩可以很高甚至满秩的情况。由于列属于子空间的并集,因此该问题也可以被视为子空间聚类问题的缺失数据版本。设X是一个n × N矩阵,其(完全)列位于至多k个子空间的并集中,每个子空间的秩<= r < n,并假设N >> kn。本文的主要结果表明,在温和的假设下,只要X的至少CrNlog^2(n)个元素是随机一致观测的,且C>1是一个常数,取决于通常的不相干条件、子空间的几何排列以及列在子空间上的分布,那么X的每一列都可以以很高的概率从不完整的版本完美地恢复。数值实验结果表明,并应用于互联网的距离矩阵完成和拓扑结构识别。
2011-12-27 cs.IT cs.LG math.IT
Low Permutation-rank Matrices: Structural Properties and Noisy Completion
CMU(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
我们考虑的问题,噪声矩阵完成,其中的目标是重建一个结构化的矩阵,其条目部分观察到的噪音。这个欠定逆问题的标准方法是基于假设基础矩阵具有低秩,或者由低秩矩阵很好地近似。在本文中,我们提出了一个更丰富的模型的基础上,我们所谓的“置换秩”的矩阵。我们首先描述了经典的非负秩模型如何强制执行在实践中可能不受欢迎的限制,以及如何通过使用更丰富的置换秩模型来避免这些限制。其次,我们建立了新的置换为基础的模型下的最小最大估计率,并证明了令人惊讶的是,最小最大的估计率的对数因子下的典型的低秩模型。第三,我们分析了一个计算效率高的奇异值阈值算法,已知是最佳的低秩设置,并表明它也同时产生一个相合估计量的低排列秩设置。最后,我们提出了各种结构的结果,其特征的唯一性的置换秩分解,并表征凸近似的置换秩多面体。
2017-09-01 cs.IT cs.LG math.IT
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成,并提出了新的算法,采用自适应采样方案,以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵(张量)的列空间具有高度信息性的条目,因此,即使当行空间高度一致时,我们的结果也成立,与以前的分析相反。在没有噪声的情况下,我们表明,可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明,可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复,我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟,验证我们的理论,并证明我们的算法的可扩展性。
2013-11-09 stat.ML
Low-rank Distributional Matrix Completion
University of Texas at Dallas(德克萨斯大学达拉斯分校);Texas A&M University(德克萨斯农工大学)
针对每个条目为概率分布的矩阵,提出基于核均值嵌入和Tucker秩的低秩结构,通过函数展开算子连接无限维与有限维,实现分布矩阵补全并给出非渐近误差界。
2026-06-02 cs.LG math.ST stat.ML
Typical and Generic Ranks in Matrix Completion
我们从几何的角度考虑低秩矩阵的精确完备化问题:给定一个部分填充矩阵M,我们保持指定和未指定元素的位置固定,并研究最小完备秩如何依赖于已知元素的值.如果矩阵的元素是复数,则对于指定和未指定元素的位置的固定模式,存在以正概率出现的唯一完成秩。我们称这个等级为通用完成等级。在实数上,可以有多个以正概率出现的秩;我们称之为典型的完成秩。我们正式介绍这些概念,并提供了一些不等式和确切的结果,典型的和通用的不同家庭的模式的已知和未知的条目的排名。
2019-09-22 cs.NA math.AG math.NA
Online Matrix Completion Through Nuclear Norm Regularisation
本文的主要目的是提出一种在线完成矩阵补全的新方法。出于各种各样的应用,从推荐系统的设计,传感器网络定位,通过地震数据重建,我们认为矩阵完成问题时,项目的兴趣矩阵逐渐观察。准确地说,我们将自己置于预测规则应该逐步细化的情况下,而不是每次观察到的条目样本增加时都从头开始重新计算。将现有的矩阵补全方法扩展到序列预测环境确实是大数据时代的一个主要问题,但文献中很少涉及。本文中提出的算法建立在Mazumder等人(2010)中介绍的软插补方法的基础上。主要的新颖性主要来自于使用随机技术来计算和更新算法中涉及的奇异值分解(SVD)。虽然解除武装的简单性,提出的方法证明是非常有效的,同时需要减少计算。几个数值实验的基础上,真实的数据集说明了它的性能,连同初步的结果,给它的理论基础。
2014-01-10 stat.ML
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology(佐治亚理工学院)
本文针对泊松噪声下的低秩矩阵去噪与补全问题,分析三种估计器并给出依赖秩、观测比例及行列和的上界误差,证明其极小极大最优性,并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
Structured low-rank matrix completion for forecasting in time series analysis
Cardiff University(卡迪夫大学);CNRS(法国国家科学研究中心)
本文研究了低秩矩阵补全问题,应用于时间序列预测。基于Hankel矩阵的补全方法和核范数松弛,通过理论和实验证明了适当选择已知观测加权方案的重要性。
2018-02-22 cs.NA cs.SY eess.SY
Orthogonal Rank-One Matrix Pursuit for Low Rank Matrix Completion
Arizona State University(亚利桑那州立大学);The University of Georgia(佐治亚大学);Simon Frasor University(西蒙弗雷泽大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出一种高效可扩展的低秩矩阵补全算法,通过将正交匹配追踪方法扩展到矩阵领域,并引入新的权重更新规则降低计算和存储复杂度,具有线性收敛速度和单一可调参数,适用于大规模学习问题。
2014-04-16 cs.LG cs.NA math.NA
1-Bit Matrix Completion under Exact Low-Rank Constraint
我们考虑了在真实底层矩阵$M^*$上的精确秩约束下的噪声1位矩阵完备化问题。代替观察矩阵$M^*$的噪声连续值条目的子集,我们观察根据概率模型生成的噪声1位(或二进制)测量的子集。我们考虑$M^*$的约束极大似然估计,约束下的条目式无穷范数的$M^*$和一个确切的秩约束。这是在以前的工作中使用凸松弛的秩。我们提供了一个上界的矩阵估计误差在此模型下。与已有的结果相比,我们的界具有更快的收敛速度与矩阵维数时,显示的1位观测的分数是固定的,独立于矩阵维数。我们还提出了一个迭代算法来解决我们的非凸优化与证书的全局最优性的极限点。该算法基于$M^*$的低秩分解。我们验证了合成和真实数据的方法与现有的方法相比,具有更好的性能。
2015-02-24 stat.ML
Ranking Recovery from Limited Comparisons using Low-Rank Matrix Completion
School of Electrical Engineering, Tel-Aviv University(特拉维夫大学电气工程学院);Electrical Engineering Department, University of Colorado Denver(科罗拉多大学丹佛分校电气工程系)
本文提出利用低秩矩阵补全方法解决经典排名聚合问题,通过矩阵形式处理部分噪声比较数据,结合交替最小化算法和最大似然估计,重建真实偏好强度。
2018-06-14 cs.LG cs.NA math.NA
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University(阿尔托大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出一种基于代数几何和拟阵理论的代数组合新视角,通过研究少量条目间的关系来解决低秩矩阵补全问题,并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
RLSynC: Offline-Online Reinforcement Learning for Synthon Completion
The Ohio State University(俄亥俄州立大学)
本文提出离线-在线强化学习方法 RLSynC,通过为每个合成子分配同步决策智能体并结合正向合成模型指导动作搜索,在合成子补全任务上超越现有方法,最高提升14.9%。
2024-03-29 cs.AI cs.LG
Typical ranks in symmetric matrix completion
研究了对称矩阵的低秩矩阵完备化问题。一般部分指定对称矩阵的完备化的最小秩仅取决于指定元素的位置,而不是它们的值,如果允许复杂的元素。当要求条目是真实的时,情况就不再是这样了,可能的最低等级称为典型等级。本文给出了以$n$为典型秩的$n\times n$对称矩阵的指定整的模式的组合描述。此外,我们准确地描述了当这样一个通用的部分矩阵是最低限度地完成排名$n$。我们还描述了具有低的最大典型秩的条目的模式的典型秩。
2020-10-14 math.AG math.CO math.ST
Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares
矩阵补全问题吸引了很多关注,主要是由于著名的Netflix竞争。解决这个问题的两种流行方法是核范数正则化矩阵近似(Candes和Tao,2009,Mazumder,Hastie和Tibshirani,2010)和最大余量矩阵分解(Srebro,Rennie和Jaakkola,2005)。这两个程序在某些情况下解决等效问题,但使用完全不同的算法。在这篇文章中,我们将这两种方法结合在一起,导致一个有效的算法,大矩阵分解和完成,优于这两个。我们开发了一个软件包“softImpute”在R中实现我们的方法,和一个分布式版本的非常大的矩阵使用“火花”集群编程环境。
2014-10-09 stat.ME stat.ML
Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent
基于因式分解的梯度下降算法是一种可扩展的、高效的低秩矩阵完备化算法。结构化非凸优化的最新进展在低秩矩阵和样本集上的某些统计假设下为梯度下降算法提供了整体收敛保证。然而,虽然理论表明梯度下降法具有快速线性收敛到问题的全局解的能力,但边界技术的普遍性质使其无法获得对收敛速度收敛速率的准确估计。在本文中,我们进行了局部分析的精确线性收敛速率的梯度下降的因式分解为基础的矩阵完成对称矩阵。在不对底层模型作任何额外假设的情况下,我们确定了梯度下降算法局部收敛的确定性条件,该条件仅依赖于解矩阵和采样集.更重要的是,我们的分析提供了一个封闭形式的表达式的渐近收敛速率,完全匹配的线性收敛在实践中观察到的。据我们所知,我们的结果是第一个提供了确切的收敛速率梯度下降矩阵分解在欧氏空间矩阵完成。
2021-02-06 math.OC stat.ML
Time-series imputation using low-rank matrix completion
本文提出基于时间序列块-Hankel矩阵低秩补全的HI插补方法,并通过仿真与五种传统技术比较,验证其在缺失数据插值及尖锐峰值重现方面的竞争力。
2024-08-05 stat.ME
Online Matrix Completion and Online Robust PCA
本文研究了两个相互关联的问题--在线鲁棒PCA(RPCA)和在线低秩矩阵完备化(MC)。在Candès等人最近的工作中,RPCA已被定义为将低秩矩阵(真实数据)$L:=[\ell_1, \ell_2, \dots \ell_{t}, \dots , \ell_{t_{\max}}]$和稀疏矩阵(离群值)$S:=[x_1, x_2, \dots x_{t}, \dots, x_{t_{\max}}]$与它们的和$M:=L+S$分离的问题。我们的工作使用RPCA的这个定义。出现这两个问题的重要应用是在视频分析中尝试分离稀疏前景(例如,移动物体)和缓慢变化的背景。虽然最近有大量的工作都在开发和分析批量RPCA和批量MC算法,在线问题在很大程度上是开放的。在这项工作中,我们开发了一个实际的修改我们最近提出的算法来解决在线RPCA和在线MC问题。这项工作的主要贡献是,我们得到的正确性结果所提出的算法在温和的假设。我们需要的假设是:(a)初始子空间的良好估计是可用的(在视频监视中使用仅背景帧的短序列容易获得);(b)$\ell_t$服从“慢子空间变化”假设;(c)用于从中生成$\ell_t$的子空间的基向量是密集的(非稀疏);(d)$x_t$的支持至少每隔一段时间改变至少一定量;以及(e)适当地设置算法参数
2015-06-26 cs.IT math.IT stat.ML
Low-Rank Approximation and Completion of Positive Tensors
University of California, Berkeley(加州大学伯克利分校)
与矩阵情况不同,计算张量的低秩近似是NP困难的,并且通常是数值不适定的。即使是张量的最佳秩-1近似也是NP困难的。在本文中,我们使用凸优化发展多项式时间算法的低秩逼近和完善的正张量。我们的方法是使用代数拓扑定义一个新的(数值适定性)分解的正张量,我们证明是等价的标准张量分解在重要的情况下。虽然计算这个分解是一个非凸的最优化问题,我们证明了它可以精确地转化为凸优化问题。这使我们能够构造多项式时间的随机算法来计算这种分解和解决低秩张量近似问题。结果之一是,正张量的最佳秩1近似可以在多项式时间内计算。我们的框架下一个扩展到张量完成问题,其中张量的噪声条目被观察到,然后用于估计丢失的条目。我们提供了一个多项式时间算法,对于特定的情况下,需要一个多项式(张量顺序)数量的测量,与现有的方法,需要一个指数数量的测量。这些算法被扩展到利用张量的稀疏性,以减少所需的测量次数。最后,我们提供了一个新的解释统计回归问题的分类变量张量完成问题,和合成数据和数据从生物工程代谢网络的数值例子表明,我们的方法在这个问题上的改进性能。
2016-09-13 cs.LG math.ST stat.TH
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架,用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述:用于决定是否可以重建条目的有效算法,以及如果可以,则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下,我们的算法是准确的。对于秩一矩阵,新算法是快速的,承认一个高度并行的实现,并产生一个误差最小化估计,定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
An Extended Frank-Wolfe Method with "In-Face" Directions, and its Application to Low-Rank Matrix Completion
主要由低秩矩阵完成问题的动机,我们提出了一个扩展的Frank-Wolfe方法,旨在诱导近最优解的低维面的可行域。这是通过一种新的方法来实现的,在每次迭代中生成“面内”方向,以及通过新的选择规则来选择面内和“常规”Frank-Wolfe步骤。我们的框架生成的面方向概括了沃尔夫介绍的远离步骤的概念。特别地,面内方向总是将下一个面保持在包含当前面的最小面内。我们提出了新的方法,权衡效率计算近最优解与上界上的最小面的迭代。我们将新的方法应用到矩阵补全问题,其中低维面对应于低秩矩阵。我们目前的计算结果表明,我们的方法在产生近最优解的非常低的排名的有效性。在人工和真实数据集上,我们证明了与Frank-Wolfe方法或其传统的远离步骤变体相比,在计算非常低秩的近最优解时的显着加速。
2015-11-06 math.OC stat.CO stat.ML
A Rank-Corrected Procedure for Matrix Completion with Fixed Basis Coefficients
National University of Singapore(新加坡国立大学);South China University of Technology(华南理工大学)
针对核范数在固定基系数矩阵补全中的局限性,提出一种基于核半范数的秩校正方法,并证明其非渐近恢复误差界可降低约50%,同时给出秩一致性的充要条件。
2015-06-22 cs.IT cs.NA math.IT
Data-fusion using factor analysis and low-rank matrix completion
数据融合涉及多个相关数据集的集成。统计文件匹配问题是多变量分析中的一个典型数据融合问题,其目标是在只观测到严格的边缘分布子集时,确定一组变量的联合分布。考虑到缺失数据模式,估计全套变量的协方差阵具有挑战性。因子分析模型在数据生成过程中使用低维潜变量,这在完全数据矩阵和总体协方差阵中引入了低秩分量。利用因子分析模型的低秩结构,可以通过低秩矩阵补全从不完整数据中估计完整的协方差阵。我们证明了可识别的因素分析模型中的统计文件匹配问题的条件下,在观察到的边缘子集的因素和共享变量的数量。此外,我们提供了一个期望最大化算法的参数估计。在几个真实的数据集上,因子模型在文件匹配问题中给出了比低秩矩阵完成的常见方法更小的重建误差。
2021-04-07 stat.ME
Parallel matrix factorization for low-rank tensor completion
Rice University(莱斯大学);Dalian University of Technology(大连理工大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出通过同时进行所有模式矩阵化低秩矩阵分解来恢复低秩张量,采用交替最小化算法并结合自适应秩调整策略,有效从更少样本中恢复合成低秩张量,并在真实数据上表现优异。
2015-03-24 cs.NA math.NA stat.CO
A deterministic theory of low rank matrix completion
利用一组显示元素完成一个大型低秩矩阵的问题在过去的十年里受到了广泛的关注。本文的主要结果给出了具有任意缺失模式的矩阵完备化问题序列渐近可解的一个充要条件,用图极限论的语言表述。然后,它表明,一个小的修改的Candès-Recht核范数最小化算法提供了所需的渐近解时,该序列的问题是渐近可解的。该理论是完全确定的,没有随机性的假设。列出了一些未决问题。
2021-04-16 math.CO math.PR math.ST
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题,其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分,噪声观察其条目,出现在许多统计,机器学习,和工程应用。在本文中,我们提出了一种新的,信息理论的方法,主动采样(或设计)的矩阵项的噪声矩阵完成,最大熵设计原则的基础上。我们的方法的一个新颖之处是,它隐含地利用不确定性量化(UQ)-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解(例如,相干性)和编码设计(例如,拉丁方)的采样性能和UQ的噪声矩阵完成。使用这样的见解,我们开发了一个有效的后验采样器的UQ,然后用于指导矩阵条目的封闭形式的采样方案。最后,我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
Noisy low-rank matrix completion with general sampling distribution
本文研究了带噪声的矩阵完备化问题。与以前的作品不同,我们考虑相当一般的采样分布,我们不需要知道或估计噪声的方差。提出了两个新的核范数惩罚估计,其中一个是平方根型的。我们分析了他们的性能在高维尺度下,并提供非渐近界的Frobenius范数误差。直到对数因子,这些性能保证在许多情况下是最小最大最优的。
2014-02-05 math.ST stat.TH
Rank Determination for Low-Rank Data Completion
Columbia University(哥伦比亚大学);Purdue University(普渡大学)
近年来,对于给定秩的低秩矩阵或张量的有限可完备性,得到了抽样模式的基本条件。在本文中,我们考虑的情况下,排名是不给定的,我们的目标是近似未知的排名的基础上采样条目的位置和一些给定的完成。我们考虑了一些数据模型,包括单视图矩阵,多视图矩阵,CP张量,张量训练张量和Tucker张量。对于这些数据模型中的每一个,我们提供了一个上界的秩时,一个任意的低秩完成。我们确定性地描述这些界限,即,假设采样模式满足某些组合性质,概率为1,并且概率上,即,假设采样概率高于某个阈值,则具有高概率。此外,对于单视图矩阵和CP张量,我们能够证明,如果最低秩完成给定,所获得的上界正好等于未知秩。此外,我们提供了数值实验的情况下,单视图矩阵,我们使用核范数最小化找到一个低秩完成的采样数据,我们观察到,在大多数情况下,建议的上限上的秩等于真正的秩。
2017-07-03 cs.LG stat.ML
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida(中佛罗里达大学)
张量补全的目标是从其条目的子集中恢复张量,通常是通过利用其低秩属性。在张量秩的几个有用的定义中,低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法,但这些算法利用二阶统计量来测量误差残差,当观察到的条目包含大的离群值时,这可能不能很好地工作。在本文中,我们提出了一个新的目标函数的低管秩张量完成,它使用相关熵作为误差测量,以减轻离群值的影响。为了有效地优化所提出的目标,我们利用半二次最小化技术,从而将优化转化为加权低管秩张量因式分解问题。随后,我们提出了两个简单而有效的算法来获得解决方案,并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明,所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Low-rank Tensor Grid for Image Completion
University of Electronic Science and Technology of China(电子科技大学)
张量补全通过利用多路数据的低秩结构来估计缺失的分量。最近提出的基于张量训练(TT)和张量环(TR)的方法在图像恢复方面表现出比经典方法更好的性能。与TT和TR相比,投影纠缠对态(PEPS),也称为张量网格(TG),允许更多的不同维度之间的相互作用,并可能导致更紧凑的表示。在本文中,我们提出了低秩张量网格的基础上进行图像完成。采用两阶段密度矩阵重整化群算法对由多个TT分解组成的TG分解进行初始化。通过求解交替最小二乘问题,可以交替地获得潜在TG因子。为了进一步提高计算效率,采用并行矩阵分解的方法,提出了一种低秩TG完备化的多线性矩阵分解方法。在合成数据和真实图像上的实验结果表明,所提出的方法在恢复精度方面优于现有的方法。
2020-04-23 cs.LG stat.ML