Sparse Signal Recovery under Poisson Statistics
我们的动机是在一些应用程序中出现的问题,如在线营销和爆炸物检测,其中观察通常使用泊松统计建模。我们将每个观测值建模为泊松随机变量,其均值是已知模式的稀疏线性叠加。与许多传统的问题不同,这里的观测结果并不相同,因为它们与不同的传感方式相关联。我们分析的最大似然(ML)解码器,其中对于我们的泊松设置涉及到一个非线性最优化,但计算上是易处理的性能。当测量值被泊松噪声污染时,我们推导出稀疏恢复的基本样本复杂度界。与具有高斯噪声的最小二乘线性回归设置相反,我们观察到除了稀疏性之外,参数的尺度也从根本上影响样本复杂度。我们引入了一个新的概念,限制Likewise扰动(RLP),共同占规模和稀疏性。我们推导出样本的复杂性界$\ell_1$正则化ML估计的RLP和进一步专门确定性和随机感测矩阵设计这些结果。
2014-07-29 math.ST stat.TH
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China(电子科技大学)
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能,在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性,我们提出了鲁棒张量环完备(RTRC),它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束,而稀疏分量由其l1范数正则化。我们分析了RTRC模型,并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题,并快速求解。在数值实验中,我们验证了所提出的方法在合成数据上的恢复条件,并表明所提出的方法在许多真实世界的基于数据的任务中,即,光场图像恢复,人脸图像中的阴影去除,以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
Sample-efficient inductive matrix completion with noise and inexact side-information
Yale Department of Statistics and Data Sciences, Yale University(耶鲁大学统计与数据科学系);UChicago Department of Statistics, University of Chicago(芝加哥大学统计系)
本文研究了在存在噪声和不精确侧信息的情况下,通过非凸投影梯度下降算法实现样本高效的归纳矩阵补全,提出了一个适用于有效问题规模的正则性条件,实现了线性收敛和估计误差仅依赖于有效问题规模的结论。
2026-06-09 cs.IT cs.LG math.IT
Structured Matrix Completion with Applications to Genomic Data Integration
矩阵完备化在统计学、应用数学和电子工程等领域引起了广泛的关注。目前关于矩阵补全的文献主要集中在独立采样模型上,在该模型下,单独观察到的条目被独立地采样。受基因组数据整合应用的启发,我们提出了一个新的框架结构化矩阵完成(SMC)来处理结构化缺失的设计。具体来说,我们提出的方法的目的是在有效的矩阵恢复时,观察到的一个子集的行和列的近似低秩矩阵。我们提出的SMC方法的理论依据,并推导出下限的估计误差,这两者一起建立在某些类的近似低秩矩阵的最佳恢复率。仿真研究表明,该方法在有限样本情况下,对多种结构都有较好的性能。该方法被应用于整合几个卵巢癌基因组研究与不同程度的基因组测量,这使我们能够构建更准确的预测规则卵巢癌生存。
2015-04-08 math.ST stat.ME stat.ML
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学);the University of Iowa(爱荷华大学);Michigan State University(密歇根州立大学)
本文针对核范数正则化矩阵补全,在目标矩阵顶部特征空间不连贯假设下,首次推导出恢复满秩矩阵最佳低秩逼近的相对误差上界,弥补了现有加性误差界无法刻画完美恢复及特征值偏斜分布的不足。
2024-05-29 cs.LG stat.ML
Binary matrix completion with nonconvex regularizers
许多实际问题都涉及到从部分信息中恢复二进制矩阵,这使得二进制矩阵补全(BMC)技术在机器学习中受到越来越多的关注。特别地,我们考虑BMC问题的一个特殊情况,其中只有一个子集的正元素可以观察到。近年来,基于凸正则化的方法是解决这一问题的主流方法。然而,非凸替代在标准矩阵完备化中的应用已经证明了更好的经验性能。因此,我们提出了一种新的BMC模型与非凸正则化,并提供了恢复保证模型。此外,对于求解结果非凸优化问题,我们改进了流行的邻近算法与加速策略。可以保证算法的收敛速度为${1/T}$的数量级,其中$T$是迭代次数。在合成数据集和真实数据集上进行的大量实验表明,该方法优于其他竞争方法。
2019-04-08 cs.LG stat.ML
Weighted algorithms for compressed sensing and matrix completion
本文研究了压缩感知和矩阵完备问题的迭代重加权基追踪算法。在第一部分中,我们给出了一个理论解释的事实,重新加权基追踪可以改善基追踪在压缩感知的准确恢复了很多。我们展示了一个条件,链接的RIP和不相干常数的权重的准确性,这确保了准确的恢复。在第二部分中,我们介绍了一个新的算法矩阵完成,基于迭代加权的思想。由于加权核“范数”通常是非凸的,因此它不能容易地用作目标函数。因此,我们定义了一个新的估计的基础上的不动点方程。我们给出了经验证据的事实,这种新的算法导致强大的改进核模最小化的模拟和真实的矩阵完成问题。
2011-07-08 cs.IT math.IT math.ST
Weighted matrix completion from non-random, non-uniform sampling patterns
我们研究了当观测模式是确定的且可能是非均匀的情况下的矩阵完备化问题。我们提出了一个简单而有效的去偏投影方案从噪声观测中恢复,并在适当的加权度量下分析了误差。我们引入了一个简单的函数的权重矩阵和采样模式,管理恢复矩阵的准确性。我们得到理论上的保证,上限的恢复误差和几乎匹配的下限,展示在几个政权的最优性。我们的数值实验证明了我们的方法的计算效率和精度,并表明,去偏置是必不可少的,当使用非均匀采样模式。
2019-10-30 cs.IT math.IT math.ST
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research(百度研究院);Paradigm Inc.(第四范式公司);Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题,即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩,最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能,并具有良好的理论特性,但由于重复访问单个奇异值,计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解,提出了一种新的非凸低秩正则化器,称为“核范数减Frobenius范数”正则化器,它是可扩展的,自适应的和声音。我们首先证明了它具有自适应收缩特性。此外,我们发现它的因式分解的形式,绕过奇异值的计算,并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明,所提出的方法获得了最先进的恢复性能,同时是最快的相比,现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Deeply Learned Robust Matrix Completion for Large-scale Low-rank Data Recovery
School of Data, Mathematical, and Statistical Sciences and the Department of Computer Science, University of Central Florida(数据、数学与统计科学学院和计算机科学系,中央佛罗里达大学);School of Data, Mathematical, and Statistical Sciences, University of Central Florida(数据、数学与统计科学学院,中央佛罗里达大学);Damo Academy, Alibaba US(阿里云美国研究院)
本文提出了一种可扩展且可学习的非凸方法,即学得鲁棒矩阵补全(LRMC),用于大规模鲁棒矩阵补全问题,该方法具有低计算复杂度和线性收敛性,并通过深度展开有效学习自由参数以实现最优性能,同时在合成数据集和实际应用中验证了其优越的实验性能。
2026-01-27 cs.CV cs.IT cs.LG
Robust Matrix Completion
本文研究了一个低秩矩阵在其大部分元素不可观测且部分观测元素被破坏的情况下的恢复问题。观测是我们希望恢复的低秩矩阵的和的噪声实现,第二个矩阵具有互补的稀疏结构,例如元素或列稀疏性。我们分析了一类估计通过解决一个约束凸优化问题,结合了核范数和凸松弛稀疏约束。我们的结果是同时存在的随机和确定性模式的抽样方案。我们提供了保证的低秩和稀疏成分的部分和损坏的观测在噪声的存在下,并表明所获得的收敛速度是最小最大最优的恢复。
2016-07-04 math.ST stat.TH
Robust Matrix Completion with Mixed Data Types
Cornell University(康奈尔大学)
我们考虑了恢复一个结构化的低秩矩阵部分观察项目与混合数据类型的矩阵完成问题。绝大多数的解决方案都提出了计算上可行的估计与强有力的统计保证的情况下,在矩阵中的数据的基本分布是连续的。最近的一些方法已经扩展使用类似的想法,这些估计的情况下,基本分布属于指数家族。这些方法中的大多数假设只有一个底层分布,并且低秩约束由矩阵Schatten范数正则化。我们提出了一种计算上可行的统计方法,具有很强的恢复保证,以及适合并行化的算法框架,以在一个步骤中恢复混合数据类型的部分观察条目的低秩矩阵。我们还提供了大量的模拟证据,证实我们的理论结果。
2020-05-25 cs.LG math.ST stat.ML
Iterative Null-space Projection Method with Adaptive Thresholding in Sparse Signal Recovery and Matrix Completion
自适应阈值方法已被证明产生高信噪比和快速收敛在寻找压缩感知(CS)问题的解决方案。最近,据观察,一类迭代稀疏恢复算法,如迭代方法与自适应采样保持(IMAT)的鲁棒性已优于著名的LASSO算法的重建质量,收敛速度,和对噪声的敏感性。在本文中,我们介绍了一种新的方法来解决CS问题。该方法的逻辑基于阈值化信号到感测矩阵的零空间上的迭代投影。通过在阈值化子空间上投影来恢复期望信号的支持,从而进行阈值化。仿真结果表明,该方法具有产生显着的输出SNR值的能力与约两倍的稀疏数一样多的样本,而其他方法无法恢复信号时,接近所需的样本数的代数界。正如模拟中观察到的那样,我们方法的计算复杂性也与其他方法相当。我们还扩展了我们的算法矩阵完成(MC)的情况下,并比较其效率,其他知名的方法MC在文献中。
2016-11-04 cs.IT math.IT stat.ME
Clipped Matrix Completion: A Remedy for Ceiling Effects
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们考虑的问题,恢复低秩矩阵从其裁剪的意见。在许多科学领域中,可以想象会出现截断现象,这会妨碍统计分析。另一方面,矩阵补元方法利用低秩补元原理,可以从各种信息缺损中恢复出低秩矩阵。然而,低秩MC的当前理论保证不适用于裁剪矩阵,因为赤字取决于基础值。因此,截断矩阵完备化(CMC)的可行性并不是微不足道的。在本文中,我们首先提供了一个理论上的保证,通过使用迹范数最小化算法的CMC的精确恢复。此外,我们提出了实用的CMC算法,通过扩展普通MC方法。我们的扩展是使用平方铰链损失代替平方损失,以减少对修剪条目的过度估计的惩罚。我们还提出了一个新的正则化项为CMC量身定制。它是两个迹范数项的组合,并且我们在理论上限制了正则化下的恢复误差。我们证明了所提出的方法的有效性,通过实验使用合成和基准数据的推荐系统。
2019-03-04 cs.LG stat.ML
Matrix Completion on Graphs
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Università della Svizzera Italiana(瑞士意大利语区大学)
在给定几个矩阵元素的情况下求矩阵的缺失值的问题,称为矩阵补齐,近年来引起了人们的广泛关注。虽然标准低秩假设下的问题是NP难的,但Candès和Recht表明,如果观察到的条目数量足够大,它可以完全放松。在这项工作中,我们引入了一种新的矩阵完成模型,利用邻近信息的行和列,假设他们形成社区。这个假设在一些现实世界的问题中是有意义的,比如在推荐系统中,有一些社区的人分享偏好,而产品形成了获得类似评级的集群。因此,我们的主要目标是找到一个低秩的解决方案,该解决方案是由图形编码的行和列的接近度构成的。我们借用流形学习的思想来限制我们的解决方案在这些图上是平滑的,以便隐含地强制行和列的接近。我们的矩阵恢复模型被配制成一个凸非光滑优化问题,为它提供了一个适定的迭代方案。我们研究和评估所提出的矩阵完成合成和真实数据,表明所提出的结构化低秩恢复模型优于标准的矩阵完成模型在许多情况下。
2014-11-27 cs.LG stat.ML
A Rank-Corrected Procedure for Matrix Completion with Fixed Basis Coefficients
National University of Singapore(新加坡国立大学);South China University of Technology(华南理工大学)
针对核范数在固定基系数矩阵补全中的局限性,提出一种基于核半范数的秩校正方法,并证明其非渐近恢复误差界可降低约50%,同时给出秩一致性的充要条件。
2015-06-22 cs.IT cs.NA math.IT
Low-rank Matrix Recovery from Errors and Erasures
本文考虑从一个同时包含两个(a)擦除:大多数条目未被观察到,和(b)错误:(未知)位置的恒定分数的值被任意损坏的观察版本的低秩矩阵的恢复。我们提供了一个新的统一的性能保证时,最小化的秩加支持的自然凸松弛成功的精确恢复。我们的结果允许同时存在的随机和确定性的组件在错误和擦除模式。一方面,通过以不同的方式专门化这一单一结果而获得的推论恢复(直到多对数因子)矩阵完成以及稀疏和低秩矩阵恢复中的所有现有工作。另一方面,我们的结果也提供了第一个保证(a)恢复时,我们观察到一个消失的分数的条目损坏的矩阵,和(b)确定性矩阵完成。
2011-08-25 cs.IT math.IT stat.ML
Fast Methods for Recovering Sparse Parameters in Linear Low Rank Models
在本文中,我们研究的恢复稀疏的权重向量(参数向量)从一组噪声的线性组合。然而,只有关于表示线性组合的矩阵的部分信息可用。假设矩阵具有低秩结构,一个自然的解决方案是首先对数据应用矩阵补全,然后解决由此产生的压缩感知问题。在大规模MIMO和医疗数据等大数据应用中,矩阵完成步骤会带来巨大的计算负担。在这里,我们建议通过忽略稀疏向量中对应于零元素的列来降低完成任务的计算成本。为此,我们采用了一种技术,最初近似的稀疏向量的支持。我们进一步建议将部分矩阵完备化和稀疏向量恢复统一为一个扩展的四步问题。仿真结果表明,增强的方法实现了最佳的性能,而这两种方法优于自然的两步技术,大大减少了计算需求。
2016-11-17 cs.LG stat.ML
Optimal Low-Rank Tensor Recovery from Separable Measurements: Four Contractions Suffice
Yahoo! Labs(雅虎实验室);UT Austin(得克萨斯大学奥斯汀分校);Colorado School of Mines(科罗拉多矿业学院)
张量在许多现代机器学习和信号处理应用中起着核心作用。在这样的应用中,目标张量通常是低秩的,即,可以表示为少量秩一张量的和。这促使我们考虑从一类称为可分离测量的线性测量中恢复低秩张量的问题。作为具体的例子,我们专注于两种不同类型的可分离测量机制(a)随机投影,其中每个测量对应于张量与合适的随机张量的内积,以及(b)完成问题,其中测量构成条目的随机集的揭示。我们提出了一个计算效率高的算法,严格和顺序最优的样本复杂性的结果(对数因子)张量恢复。我们的方法是基于减少矩阵完成的子问题和适应的Leeclans的方法张量分解。我们扩展的方法和样本复杂性的结果,高阶张量,并通过实验验证我们的理论结果。
2015-05-15 cs.IT cs.LG math.IT
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University(康奈尔大学)
本文提出了一类新的非凸正则化子,用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐,事实上,我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外,这些因子组稀疏正则化器可以写成因子化的形式,从而实现高效和有效的非凸优化;值得注意的是,该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界,这表明随着$p$的减小,Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比,因子组稀疏正则化更有效,更准确,并且对秩的初始猜测具有鲁棒性。实验结果表明,因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Boolean Matrix Factorization and Noisy Completion via Message Passing
Carnegie Mellon University(卡内基梅隆大学);University of Alberta(阿尔伯塔大学)
布尔矩阵分解和布尔矩阵完成噪声观测是理想的无监督数据分析方法,由于其可解释性,但难以执行,由于其NP-硬度。我们把这些问题的最大后验推理问题的图形模型,并提出了一个消息传递的方法,规模与观察和因素的数量呈线性关系。我们的实证研究表明,消息传递是能够恢复低秩布尔矩阵,在理论上可能的恢复的边界,并与最先进的在现实世界中的应用,如协同过滤与大规模的布尔数据相媲美。
2016-02-04 cs.AI cs.DM math.ST
Approximately low-rank recovery from noisy and local measurements by convex program
从经典的系统辨识到信号处理和统计学中的更现代的矩阵补全,低秩矩阵模型已经普遍地用于许多应用。由于核范数可以导出反问题的低秩解,因此它被用作低秩的凸替代。虽然用于低秩的核范数与通过奇异值分解用于稀疏性的$\ell_1$范数具有很好的相似性,但其他矩阵范数也会导致低秩。特别是作为一个解释矩阵作为一个线性算子之间的巴拿赫空间,各种张量积规范推广的作用,核规范。我们提供了一个张量范数约束估计恢复近似低秩矩阵从本地测量损坏的噪声。张量范数正则化器的设计,以适应当地的结构。通过对巴拿赫空间的张量积应用Maurey的经验方法,得到了矩阵完备化和分散作图下估计量的统计分析.估计器提供了一个接近最优的误差界在极大极小意义上,并承认这些应用程序的多项式时间算法。
2023-03-03 math.FA math.ST stat.TH
Learning Parameters for Weighted Matrix Completion via Empirical Estimation
最近,理论上的保证已经获得了矩阵完成在非均匀采样制度。特别是,如果抽样分布与底层矩阵的杠杆分数一致,那么核范数最小化将以高概率精确地恢复低秩矩阵。在本文中,我们分析了非均匀抽样分布可能与基础矩阵的杠杆分数一致或不一致的情况。在这里,我们探索学习加权核范数最小化的经验抽样分布的参数。我们为这些学习的权重提供了一个充分条件,为加权核范数最小化提供了一个精确的恢复保证。它已经建立了一个具体的选择的权重,在真实的采样分布不仅允许加权核范数最小化,以准确地恢复低秩矩阵,但也允许在精确的恢复条件的量化放松。在这篇文章中,我们扩展了这种可量化的放松,在确切的恢复条件下,定义类似的经验分布,而不是真正的抽样分布的权重的具体选择。为了实现这一点,我们采用了浓度的测量界和大偏差界。我们还提出了健康的鲁棒性的加权核范数最小化算法的经验学习的权重的选择的数值证据。这些数值实验表明,对于各种易于计算的经验权重,加权核范数最小化优于非加权核范数最小化在非均匀采样制度。
2015-04-02 stat.ML
Detection thresholds in very sparse matrix completion
令$A$是大小为$m\times n$的矩形矩阵,并且$A_1$是随机矩阵,其中$A$的每个条目乘以具有参数$1/2$的独立的$\{0,1\}$ -伯努利随机变量。本文讨论了随机诱导非对称矩阵$A_1 (A - A_1)^*$和$(A-A_1)^*A_1$的非厄米特本征谱比其奇异值分解或$A A^*$和$A^* A$的本征谱在何时、如何以及为什么能捕捉到更多关于$A$主成分结构的相关信息。提示:非对称性导致随机性打破了削弱SVD的回声室效应。我们说明了应用程序的低秩矩阵完成问题的设置,每个条目观察概率$d/n$,包括非常稀疏的制度,其中$d$是为了$1$,通过奇异值分解的$A$矩阵完成失败或产生不可靠的恢复。我们确定了一个渐近精确的,依赖于矩阵的,非通用的检测阈值,超过该阈值,使用一种新的,通用的数据驱动的矩阵完成算法的可靠的,统计上最优的矩阵恢复是可能的。平均左和右特征向量可证明提高了恢复矩阵,但不是检测阈值。我们定义了另一种不对称的程序,绕过随机化的步骤,并具有检测阈值,这是一个常数因子较小,但与一个计算成本是由观察到的条目的数量的多项式因子较大。这两个检测阈值打破了表面上的障碍,由于众所周知的信息理论极限$d \asymp \log n$矩阵完成在文献中发现。
2020-08-04 math.PR math.ST stat.TH
Signal Recovery on Graphs: Variation Minimization
Carnegie Mellon University(卡内基梅隆大学);HP Vertica(惠普Vertica)
我们把图上的信号恢复问题看作是把具有复杂结构的数据模型看作是图上的信号。图形信号恢复意味着从噪声、损坏或不完整的测量中恢复一个或多个平滑图形信号。我们提出了一个图形信号模型和制定信号恢复作为相应的优化问题。我们利用乘子交替方向法给出了一个一般解。接下来,我们将展示信号修复,矩阵补全,鲁棒主成分分析和异常检测如何与图形信号恢复相关,并提供相应的具体解决方案和理论分析。最后,我们验证了所提出的方法在现实世界中的恢复问题,包括在线博客分类,桥梁状态识别,温度估计,推荐系统,和专家意见的在线博客分类组合。
2015-05-29 cs.LG cs.SI stat.ML
Information-theoretic Bounds on Matrix Completion under Union of Subspaces Model
在这个简短的说明中,我们扩展了一些最近的结果矩阵完成的假设下,矩阵的列可以分组(集群)到子空间(不一定不相交或独立)。该模型偏离了文献中处理大数据应用程序的压缩和恢复的典型假设。这些结果对信息缺失或不完全情况下的子空间聚类问题有直接的影响。
2015-08-14 cs.IT math.IT stat.ML
A non-backtracking method for long matrix and tensor completion
针对长矩阵及对应张量补全问题,提出基于非回溯楔算子的谱算法,在特定采样阈值下实现带可量化误差的弱恢复与弱一致性,拓展了低秩矩阵和张量补全的理论边界。
2024-06-21 math.PR math.ST stat.TH
Spectral Compressed Sensing via Structured Matrix Completion
Stanford University(斯坦福大学);The Ohio State University(俄亥俄州立大学)
本文提出基于结构矩阵补全的增强矩阵补全算法,用于从少量时域样本中恢复谱稀疏对象,通过核范数最小化实现完美恢复,且在信息理论极限附近具有鲁棒性和超分辨率应用能力。
2013-05-01 cs.IT cs.LG cs.NA
Functional Data Analysis by Matrix Completion
函数数据分析通常通过平滑进行,然后进行函数PCA。这种范例隐含地假设粗糙的变化是由于滋扰噪声。尽管如此,相关的功能特征,如时间局部化或短尺度波动可能确实是粗糙的相对于全球尺度,但仍然在较短的尺度平滑。这些可能与平滑和PCA的全局平滑变化分量混淆,可能会扭曲分析的简约性和可解释性。本文的目标是研究如何平滑和粗糙的变化可以恢复离散观测的功能数据的基础上。假设一个功能数据产生的两个不相关的组件,一个光滑和粗糙的总和,我们开发的两个相应的协方差算子的恢复可识别性条件。关键的见解是,它们应该具有互补形式的简约性:一个光滑和有限的秩(大规模),另一个带状和潜在的无限秩(小规模)。我们的条件阐明了等级,带宽和网格分辨率之间的精确相互作用。在这些条件下,我们表明,恢复问题是等价的秩约束矩阵完成,并利用这两个协方差的估计,而不假设知识的真实带宽或秩,我们研究其渐近行为,然后用它们来恢复每个功能数据的平滑和粗糙的组成部分,最好的线性预测。因此,我们有效地产生单独的功能PCA的平滑和粗糙的变化。
2018-09-18 math.ST stat.ME stat.TH
Robust Spectral Compressed Sensing via Structured Matrix Completion
Stanford University(斯坦福大学);The Ohio State University(俄亥俄州立大学)
本文提出一种无需先验模型阶数的增强矩阵补全算法,用于恢复频谱稀疏信号,证明在满足一定不相干条件时,算法能在样本数超过r log⁴n时实现完美恢复,并对噪声和部分样本损坏具有鲁棒性。
2014-07-20 cs.IT cs.NA cs.SY
Tensor Train Completion from Fiberwise Observations Along a Single Mode
本文提出一种利用纤维-wise观测模式进行张量展开的方法,通过标准线性代数运算实现高效且确定性的张量补全。
2026-03-11 cs.LG cs.NA eess.SP
Parallel matrix factorization for low-rank tensor completion
Rice University(莱斯大学);Dalian University of Technology(大连理工大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出通过同时进行所有模式矩阵化低秩矩阵分解来恢复低秩张量,采用交替最小化算法并结合自适应秩调整策略,有效从更少样本中恢复合成低秩张量,并在真实数据上表现优异。
2015-03-24 cs.NA math.NA stat.CO
Matrix Completion via Max-Norm Constrained Optimization
University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学)
在均匀采样模型下,矩阵完备化已经得到了很好的研究,迹范数正则化方法在这种情况下在理论和数值上都有很好的表现。然而,均匀采样模型对于一系列应用是不现实的,并且当底层采样方案是非均匀的时,标准迹范数松弛可以表现得非常差。本文提出并分析了一般抽样模型下噪声矩阵完备化的最大范数约束经验风险最小化方法。在近似低秩矩阵重构的背景下,在Frobenius范数损失下建立了最优收敛速度。结果表明,最大范数约束的方法是极大极小率最优的,并产生一个统一的和强大的近似恢复保证,相对于采样分布。该方法的计算效率也进行了讨论,基于一阶算法求解凸优化涉及最大范数正则化。
2017-04-28 cs.IT cs.LG math.IT
Robust matrix completion via Novel M-estimator Functions
针对传统M估计器会降低未受污染数据权重的问题,提出生成仅降低异常值权重的非凸函数框架,将其应用于多种函数构建鲁棒损失,开发鲁棒矩阵补全高效算法并分析收敛性,数值实验验证其在恢复精度和运行时间上更优。
2023-10-08 eess.SP stat.ML
Robust Low-rank Tensor Recovery: Models and Algorithms
鲁棒张量恢复在鲁棒张量分解中起着重要作用,用于多线性数据分析,以防止异常值,严重损坏和缺失值,并具有多种应用。在本文中,我们研究了鲁棒的低秩张量恢复问题的凸优化框架,鲁棒主成分分析和张量完成的最新进展。我们提出了定制的优化算法与全局收敛的保证,解决约束和拉格朗日公式的问题。这些算法是基于高效的交替方向增广拉格朗日和加速邻近梯度方法。我们还提出了一个非凸模型,往往可以改善凸模型的恢复结果。我们调查的经验可恢复性的凸和非凸的配方和模拟数据上的算法的计算性能进行比较。我们通过一些实际应用证明了这种凸优化框架的鲁棒低秩张量恢复的实际有效性。
2013-11-24 stat.ML
Estimation of Kullback-Leibler losses for noisy recovery problems within the exponential family
我们解决的问题估计Kullback-Leibler损失,而不是平方损失的恢复问题中的噪声分布在指数家庭。受Stein无偏风险估计器(SURE)的启发,我们展示了这些损失可以无偏估计或估计有控制的偏差的条件。在应用中的图像去噪和变量选择与Gamma和泊松噪声的参数选择问题的模拟说明的Kullback-Leibler损失和建议的估计的兴趣。
2017-08-21 stat.AP stat.ME
Max-Norm Optimization for Robust Matrix Recovery
本文研究了任意抽样方案下的矩阵完备化问题。我们提出了一个新的估计,结合最大范数和核范数正则化,基于此,我们可以进行有效的低秩矩阵恢复使用一般非均匀和未知的采样分布下的加性噪声观察到的条目的随机子集。该方法大大放松了广泛使用的核范数惩罚方法所施加的均匀采样假设,并使低秩矩阵恢复在更实际的环境中变得可行。理论上,我们证明了所提出的估计器在不同的设置下实现快速收敛。在计算上,我们提出了一种交替方向的乘子算法来有效地计算估计量,它弥补了最大范数正则化机器学习方法理论与实践之间的差距。此外,我们提供了彻底的数值研究,以评估所提出的方法使用模拟和真实的数据集。
2016-09-24 math.OC stat.ML
Confidence-constrained joint sparsity recovery under the Poisson noise model
Oregon State University(俄勒冈州立大学)
我们的工作主要集中在联合稀疏恢复问题的共同稀疏模式被破坏的泊松噪声。我们制定了最小二乘(LS)和极大似然(ML)框架下的置信约束优化问题,并研究了原始行稀疏和行稀疏模式的完美重建的条件。然而,置信约束优化问题是非凸的。利用凸松弛,提出了一种替代的凸重新制定的问题。我们评估所提出的方法的性能,使用模拟结果的合成数据,并显示建议行稀疏和行稀疏模式恢复框架的有效性。
2013-10-09 cs.LG stat.ML
Patch Tracking-based Streaming Tensor Ring Completion for Visual Data Recovery
University of Central Florida(中佛罗里达大学)
张量完备化的目的是通过利用部分观测张量的低秩结构来恢复其丢失的条目,并已被应用于视觉数据恢复。在数据顺序到达的应用中,例如流式视频完成,张量的丢失条目需要以流式方式动态恢复。传统的流张量补全算法将整个视觉数据视为张量,当张量子空间沿时间维度发生较大变化(例如由于视频帧之间的强烈运动)时,这种算法可能无法令人满意地工作。在本文中,我们开发了一种新的补丁跟踪为基础的流张量环完成框架的视觉数据恢复。给定新传入的帧,从先前帧跟踪小块。同时,对于每一个跟踪补丁,补丁张量构造从新的帧堆叠相似的补丁。然后使用流式张量环完成算法完成补丁张量,并使用完成的补丁张量恢复传入帧。我们提出了一种新的补丁跟踪策略,可以准确,有效地跟踪补丁丢失的数据。此外,提出了一种新的流张量环补齐算法,该算法能够高效准确地更新潜在核张量,补齐补丁张量中缺失的条目。大量的实验结果表明,所提出的算法相比,批处理和流式状态的最先进的张量完成方法的优越性能。
2022-08-12 cs.CV cs.LG
Tensor train completion: local recovery guarantees via Riemannian optimization
Marchuk Institute of Numerical Mathematics RAS(俄罗斯科学院马尔丘克数值数学研究所)
本文研究张量火车补全问题,通过基于奇异值调和平均的新界和核心相干性概念,给出了黎曼梯度下降局部收敛所需的随机采样元素数量保证,并推广到带辅助子空间信息的情形。
2023-08-30 cs.LG cs.NA math.NA
Generalization Bounds for Inductive Matrix Completion in Low-noise Settings
Singapore Management University (SMU)(新加坡管理大学);Czech Technical University in Prague (CTU)(捷克理工大学);Hong Kong Baptist University (HKBU)(香港浸会大学);Technische Universität Kaiserslautern (TUK)(凯泽斯劳滕工业大学)
本文研究了独立同分布下的归纳矩阵完备化问题。在低噪声状态下的亚高斯噪声假设,具有条目的均匀采样。我们首次得到了具有以下三个性质的推广界:(1)它们的尺度类似于噪声的标准差,特别是在精确恢复的情况下,它们趋近于零;(2)即使在噪声存在的情况下,当样本容量趋于无穷大时,它们也收敛于零;以及(3)对于边信息的固定维数,它们仅对矩阵的大小具有对数依赖性。从许多近似恢复的作品中,我们提出了有界Lipschitz损失和绝对损失的结果,后者依赖于Talagrand型不等式。证明创建一个桥梁之间的两种方法的理论分析矩阵完成,因为它们包括在一个组合的技术,从精确的恢复文献和近似恢复文献。
2022-12-16 cs.LG stat.ML
Cross: Efficient Low-rank Tensor Completion
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
张量或高阶数组的完备化在最近的研究中引起了极大的关注。目前关于张量完备化的文献主要集中在从一组均匀随机测量的条目中恢复,并且实现恢复所需的测量数量不能保证是最优的。此外,以前的一些方法的实现是NP难的。在这篇文章中,我们提出了一个框架,通过一个新的张量测量计划,我们命名为十字架低秩张量完成。所提出的程序是有效的,易于实施。特别是,我们表明,三阶张量的塔克秩- $(r_1, r_2, r_3)$在$p_1$- $p_2$ - $p_3$维空间可以恢复从尽可能少的$r_1r_2r_3 + r_1(p_1-r_1) + r_2(p_2-r_2) + r_3(p_3-r_3)$无噪声测量,这符合样本的复杂性下限。在噪声测量的情况下,我们还开发了一个理论上的上限和匹配的Minimax下界恢复误差在某些类别的低秩张量的建议的程序。结果可以进一步推广到四阶或更高阶张量。仿真研究表明,该方法在各种设置下都有很好的性能。最后,通过一个真实的神经成像数据集说明了该过程。
2018-11-27 cs.LG math.ST stat.ME
Color Image Recovery Using Generalized Matrix Completion over Higher-Order Finite Dimensional Algebra
School of Electronics and Information, Zhongyuan University of Technology(中原工学院电子与信息学院)
本文提出基于广义高阶标量的“t-矩阵”彩色图像补全模型,通过像素邻域扩展刻画局部约束,并将常用矩阵与张量补全算法扩展至高阶版本,实验表明其性能优于低阶张量和传统矩阵方法。
2023-08-04 cs.CV cs.LG
A Parameter-free Nonconvex Low-rank Tensor Completion Model for Spatiotemporal Traffic Data Recovery
Southeast University(东南大学)
交通数据长期遭受丢失和损坏,导致后续智能交通系统(ITS)应用的准确性和实用性降低。注意到交通数据固有的低秩属性,许多研究将丢失的交通数据恢复描述为低秩张量完成(LRTC)问题。由于LRTC中秩最小化的非凸性和离散性,现有的方法要么用远离秩函数的凸代理函数代替秩,要么用涉及多个参数的非凸代理函数近似秩。在这项研究中,我们提出了一个无参数的非凸张量完成模型(TC-PFNC)的交通数据恢复,其中基于日志的松弛项被设计来近似张量代数秩。此外,以前的研究通常假设观察结果是可靠的,没有任何离群值。因此,我们扩展了TC-PFNC到一个强大的版本(RTC-PFNC)通过建模潜在的流量数据离群值,它可以恢复部分和损坏的观测值的缺失值,并删除观测值中的异常。阐述了基于交替方向乘子法的TC-PFNC和RTC-PFNC的数值解。在四个真实流量数据集上进行的大量实验结果表明,所提出的方法在丢失和损坏的数据恢复方面优于其他最先进的方法。本文中使用的代码可在https://github.com/YoungHe49/T-ITSPFNC上获得。
2022-09-28 cs.LG eess.SP
GNMR: A provable one-line algorithm for low rank matrix recovery
Weizmann Institute of Science(魏茨曼科学研究所)
低秩矩阵恢复问题,包括矩阵补全和矩阵检测,出现在广泛的应用。在这项工作中,我们提出了GNMR -一个非常简单的迭代算法低秩矩阵恢复,基于高斯-牛顿线性化。在理论方面,我们得到恢复保证GNMR在矩阵检测和矩阵完成设置。其中一些结果改进了目前已知的其他方法。GNMR的一个关键属性是它在整个迭代过程中隐式地保持因子矩阵近似平衡。在经验方面,我们表明,对于均匀采样的矩阵完成,GNMR比几种流行的方法表现得更好,特别是当给出非常少的观测接近信息限制时。
2022-04-27 cs.LG cs.NA math.NA
Negative Binomial Matrix Completion
University of California, Merced(加州大学默塞德分校);University of California, Irvine(加州大学欧文分校)
本文针对过度离散计数数据提出负二项矩阵补全方法,通过核范数正则化模型和近端梯度下降求解,并在真实数据上验证其优于泊松矩阵补全。
2024-08-28 cs.CV cs.LG eess.IV
Robust Tensor Completion via Gradient Tensor Nulclear L1-L2 Norm for Traffic Data Recovery
School of Mathematics and Statistics, Xi’an Jiaotong University(数学与统计学学院,西安交通大学);Department of Civil Engineering, McGill University(土木工程系,麦吉尔大学)
针对交通数据同时存在缺失和噪声的双重退化问题,提出基于梯度张量核L1-L2范数的鲁棒张量补全模型RTC-GTNLN,无需权衡参数即可同时利用全局低秩性与局部一致性,在复杂恢复场景中优于现有方法。
2025-06-28 cs.LG eess.SP stat.ML
Provable Tensor Ring Completion
University of Electronic Science and Technology of China (UESTC)(电子科技大学);School of Information and Communication Engineering, University of Electronic Science and Technology of China (UESTC)(电子科技大学信息与通信工程学院)
张量完成从有限数量的测量恢复多维数组。利用最近提出的张量环(TR)分解,本文证明了在给定n^{d/2} r^2 ln^7(n^{d/2})个样本的情况下,通过求解凸优化程序,可以以很高的概率精确地恢复维数为n、TR秩为r的d阶张量.所提出的TR不相干条件下的结果保持类似的矩阵不相干条件。通过对合成数据的实验,验证了该方法对TR完成的恢复保证。此外,在真实数据上的实验表明,我们的方法提高了恢复性能相比,国家的最先进的方法。
2020-01-09 cs.LG stat.ML
High-order Tensor Completion for Data Recovery via Sparse Tensor-train Optimization
Graduate School of Engineering, Saitama Institute of Technology, Japan(埼玉工科大学工学研究科);Tensor Learning Unit, RIKEN Center for Advanced Intelligence Project (AIP), Japan(日本先进情报项目(AIP)RIKEN智能学习单元);School of Automation, Guangdong University of Technology, China(广东技术大学自动化学院);School of Computer Science and Technology, Hangzhou Dianzi University, China(杭州电子科技大学计算机科学与技术学院)
本文提出稀疏张量-列车优化算法,通过将缺失数据视为稀疏张量并利用一阶优化方法求解张量-列车分解因子,有效提升低阶和高阶张量补全性能,尤其在高缺失率下表现优异。
2018-03-22 cs.LG cs.NA math.NA
Low-rank Tensor Grid for Image Completion
University of Electronic Science and Technology of China(电子科技大学)
张量补全通过利用多路数据的低秩结构来估计缺失的分量。最近提出的基于张量训练(TT)和张量环(TR)的方法在图像恢复方面表现出比经典方法更好的性能。与TT和TR相比,投影纠缠对态(PEPS),也称为张量网格(TG),允许更多的不同维度之间的相互作用,并可能导致更紧凑的表示。在本文中,我们提出了低秩张量网格的基础上进行图像完成。采用两阶段密度矩阵重整化群算法对由多个TT分解组成的TG分解进行初始化。通过求解交替最小二乘问题,可以交替地获得潜在TG因子。为了进一步提高计算效率,采用并行矩阵分解的方法,提出了一种低秩TG完备化的多线性矩阵分解方法。在合成数据和真实图像上的实验结果表明,所提出的方法在恢复精度方面优于现有的方法。
2020-04-23 cs.LG stat.ML
Online Graph Completion: Multivariate Signal Recovery in Computer Vision
University of Wisconsin(威斯康星大学);William S. Middleton VA Hospital(威廉·S·米德尔顿退伍军人医院)
在计算机视觉和机器学习中采用“人在回路中”范例正导致各种应用,其中实际的数据采集(例如,人类监督)和底层推理算法紧密交织。虽然主动学习中的经典工作在学习模块涉及分类和回归任务时提供了有效的解决方案,但许多实际问题,例如部分观察到的测量,财务约束,甚至数据的其他分布或结构方面通常不在此处理范围内。例如,随着对表现为矩阵(或张量)的数据的部分测量的顺序采集,用于完成(或协同过滤)剩余条目的新策略最近才被研究。受视觉问题的启发,我们试图通过众包平台注释大型图像数据集,或者使用人类反馈补充来自最先进的对象检测器的结果,我们研究了定义在图上的“完成”问题,其中必须顺序进行额外测量的请求。我们设计的优化模型在傅立叶域的图形描述如何基于自适应子模块化的思想提供算法,在实践中工作良好。在从Imgur收集的大量图像中,我们看到了很有希望的结果,这些图像很难分类。我们还展示了神经影像学实验设计问题的应用。
2020-08-12 cs.CV cs.LG eess.SP
Lifelong Matrix Completion with Sparsity-Number
Carnegie Mellon University(卡内基梅隆大学)
矩阵完备化问题已经在各种自适应和被动设置下进行了研究。在此之前,研究者们提出了被动的、利用相干参数的两相和单相算法,以及利用稀疏数的多相算法。结果表明,稀疏数法在很多情况下都能达到理论上的下界。然而,上述方法通过矩阵完成过程在多个阶段中运行,因此它在每个阶段做出更多信息决策。因此,很自然,该方法优于以前的算法。本文利用稀疏数的思想,提出了一种单相列空间恢复算法,并将其推广到两相精确矩阵补算法。此外,我们表明,这些方法是有效的多阶段矩阵恢复算法。我们提供实验证据来说明我们算法的性能。
2022-03-16 cs.LG
Strongly Convex Programming for Exact Matrix Completion and Robust Principal Component Analysis
National University of Defense Technology(国防科技大学);University of Iowa(爱荷华大学)
在矩阵完备(MC)和鲁棒主元分析(RPCA)中,一个共同的任务是从给定的数据矩阵中恢复一个低秩矩阵。近年来,特别是Cand`es等人的开创性工作发表后,这些问题引起了应用科学各领域的极大关注。MC和RPCA中的一个基本结果是,基于核范数的凸优化在适当的条件下导致精确的低秩矩阵恢复。在本文中,我们扩展了这一结果表明,强凸优化可以保证准确的低秩矩阵恢复以及。本文的结果不仅提供了强凸模型导致精确低秩矩阵恢复的充分条件,而且对实际算法中如何选择合适的参数具有指导意义。
2012-01-05 cs.IT cs.LG math.IT
Matrix Completion with Graph Information: A Provable Nonconvex Optimization Approach
针对图辅助信息矩阵补全问题,提出非凸优化算法GSGD,解决现有图拉普拉斯正则化方法的局限,理论证明其线性收敛到全局最优且样本复杂度近优,实验验证其恢复精度和可扩展性更优。
2025-02-12 cs.LG math.OC