Improved dependence on coherence in eigenvector and eigenvalue estimation error bounds
本文提出新的矩阵集中不等式,用于改进特征向量与特征值估计误差界对相干性的依赖,并在噪声标准差与 Orlicz 1-范数相当时得到无相干性保证。
2025-02-14 math.ST stat.TH
Bayesian methods for low-rank matrix estimation: short survey and theoretical study
低秩矩阵估计问题由于其具有挑战性的应用而受到广泛关注。在秩罚方法和凸松弛方法的理论和应用方面已经做了大量的工作。然而,只有少数论文考虑贝叶斯估计。在本文中,我们回顾了不同类型的先验矩阵,有利于低秩。我们还证明了所得到的贝叶斯估计,在适当的假设下,享有相同的最优性性质的基础上惩罚。
2018-06-26 stat.ML
Towards Faster Rates and Oracle Property for Low-Rank Matrix Estimation
我们提出了一个统一的框架,低秩矩阵估计与非凸处罚。我们首先证明了所提出的估计获得更快的统计速度比传统的低秩矩阵估计与核范数惩罚。此外,我们严格证明了在非零奇异值的大小满足一定条件的情况下,所提出的估计量具有预言性质(即,精确地恢复矩阵的真实秩),除了获得更快的速率之外。据我们所知,这是第一个工作,建立了理论的低秩矩阵估计与非凸罚,确认的优势,非凸罚矩阵完成。合成和真实世界的数据集上的数值实验证实了我们的理论。
2015-07-06 stat.ML
Bootstrap-Based Regularization for Low-Rank Matrix Estimation
Agrocampus Ouest(西部农业学院);INRIA Saclay(法国国家信息与自动化研究所萨克莱分部);Université Paris-Sud(巴黎南大学);Stanford University(斯坦福大学)
我们开发了一个灵活的低秩矩阵估计框架,使我们能够通过一个简单的自举算法将噪声模型转换为正则化方案。有效地,我们的程序寻求一个自动编码的基础上观察到的矩阵是稳定的,相对于指定的噪声模型,我们称之为一个稳定的自动编码器的过程。在最简单的情况下,与各向同性噪声模型,我们的方法是等价的经典奇异值收缩估计。对于非各向同性噪声模型,例如,泊松噪声,该方法不减少奇异值收缩,而是产生新的估计,在实验中表现良好。此外,通过迭代我们的稳定自动编码方案,我们可以自动生成低秩估计,而无需指定目标秩作为调优参数。
2016-06-28 cs.LG stat.ME stat.ML
Convexity in Disguise: A Theoretical Framework for Nonconvex Low-Rank Matrix Estimation
Department of Statistics, University of Michigan(密歇根大学统计系)
本文提出了一种理论框架,揭示了非凸方法在低秩估计中的内在凸性机制,通过良性正则化器提供新的理论保证。
2026-05-06 cs.IT cs.LG math.IT
Low-Rank Matrix Estimation From Rank-One Projections by Unlifted Convex Optimization
Georgia Institute of Technology(佐治亚理工学院);The Ohio State University(俄亥俄州立大学)
研究了从秩一投影中恢复低秩矩阵的凸估计。使用初始估计的目标$d_1\times d_2$矩阵的秩- $r$的因素,估计承认一个实用的次梯度法操作的空间尺寸$r(d_1+d_2)$。这个属性使得估计显着更具可扩展性比基于提升和半定规划的凸估计。此外,我们提出了一个精简的分析下,真正的高斯测量模型,以及部分去随机化的测量模型,通过使用球形$t$设计的精确恢复。我们表明,在这两个模型的估计成功,具有很高的概率,如果测量的数量超过$r^2 (d_1+d_2)$一些对数因子。这个样本的复杂性改善了现有的非凸迭代算法的结果。
2021-01-10 cs.LG math.ST stat.ML
Optimal Schatten-q and Ky-Fan-k Norm Rate of Low Rank Matrix Estimation
在本文中,我们考虑使用矩阵版本的Dantzig矩阵估计$\hat{A}_λ^d$或矩阵版本的LASSO估计$\hat{A}_λ^L$的低秩矩阵估计。我们考虑亚高斯测量,$i.e.$,测量$X_1,\ldots,X_n\in\mathbb{R}^{m\times m}$具有$i.i.d.$亚高斯项。假设$\textrm{rank}(A_0)=r$。证明了当$n\geq Cm[r^2\vee r\log(m)\log(n)]$对某些$C>0$,$\hat{A}_λ^d$和$\hat{A}_λ^L$在谱范数下都能得到估计精度的最优上界(除了一些对数项).利用Grassmann流形的度量熵,构造了谱范数下估计精度的(近)匹配Minimax下界。对于每个$1\leq q\leq\infty$,在Schatten-q范数下给出了估计精度的上界和匹配Minimax下界(对数项除外).作为一个直接的推论,我们证明了在Ky-Fan-k范数下每个$1\leq k\leq m$的估计精度的上界和极大极小下界。
2014-04-03 stat.ML
On Approximation Guarantees for Greedy Low Rank Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提供了新的近似保证贪婪的低秩矩阵估计的标准假设下的限制强凸性和光滑性。我们的新的分析还揭示了以前未知的低秩估计和组合优化之间的连接,以至于我们的界限让人想起相应的近似界次模最大化。此外,我们还提供统计恢复保证。最后,我们提出了经验比较贪婪估计与既定的基线上的两个重要的现实世界的问题。
2017-03-08 cs.IT cs.LG math.IT
A Unified Computational and Statistical Framework for Nonconvex Low-Rank Matrix Estimation
提出了一个基于梯度下降算法的非凸优化估计低秩矩阵的统一框架。我们的框架是相当普遍的,可以适用于噪声和无噪声的意见。在噪声观测的一般情况下,我们证明了我们的算法是保证线性收敛到未知的低秩矩阵最小最大最优统计误差,提供了一个适当的初始估计。而在一般的无噪声设置,我们的算法收敛到未知的低秩矩阵在一个线性的速度,并使准确的恢复与最佳的样本复杂度。此外,我们开发了一个新的初始化算法,以提供一个所需的初始估计,它优于现有的初始化算法的非凸低秩矩阵估计。我们通过三个例子来说明我们的框架的优越性:矩阵回归,矩阵完成,和一位矩阵完成。我们还证实了我们的理论,通过大量的实验合成数据。
2016-10-17 stat.ML
Coherence and sufficient sampling densities for reconstruction in compressed sensing
University College London(伦敦大学学院);FU-Berlin(柏林自由大学)
我们给出了一个新的,非常普遍的,制定的压缩感知问题的坐标投影的分析品种,并获得足够的采样率信号重建。我们的边界是线性的信号空间的一致性,一个几何参数独立的特定的信号和测量,和对数的环境维度的信号。我们通过推导出独立于真矩阵的低秩矩阵完备化和距离矩阵完备化的足够的采样密度来证明我们的方法。
2013-11-02 cs.IT cs.LG math.AG
Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence
University of Chicago(芝加哥大学);Duke University(杜克大学)
本文针对含噪线性测量下的低 Tucker 秩张量估计问题,提出黎曼高斯-牛顿方法,首次证明其在含噪环境下的局部二次收敛性,并给出匹配的误差上下界以证明统计最优性,通过张量回归和张量 SVD 应用及仿真验证了理论结果。
2023-07-09 cs.LG cs.NA math.NA
A Novel Tensor Factorization-Based Method with Robustness to Inaccurate Rank Estimation
Wenzhou University(温州大学);Memorial University of Newfoundland(纽芬兰纪念大学)
本文提出一种具有双重低秩约束的新型张量范数,有效解决了张量恢复中过度依赖秩估计与计算成本大的问题,理论证明其对不准确的秩估计具有鲁棒性,且将每次迭代成本降至$\mathcal{O}(n^3\log n +kn^3)$。
2023-05-19 cs.LG
Application of the Ranking Relative Principal Component Attributes Network Model (REL-PCANet) for the Inclusive Development Index Estimation
2018年,在达沃斯世界经济论坛上,提出了一项新的国家经济表现指标,名为包容性发展指数(IDI),由12个指标组成。新的衡量标准意味着各国可能需要实现结构性改革,以改善经济扩张和社会包容表现。这就是为什么IDI计算方法必须具有强大的统计和数学基础,以便结果对公共目的准确和透明。在目前的工作中,我们提出了一种新的方法的IDI估计-排名相对主成分属性网络模型(PCANet)。该模型是基于ARM和RankNet的原则,并结合PCA的元素,应用于图像识别和学习排序机制的技术。此外,我们定义了一个新的方法来估计目标概率矩阵,以反映国家的包容性发展的动态变化。实证研究表明,PCANet能够保证可靠和稳健的评分和排名,因此建议在实际中实施。
2018-04-16 cs.CE stat.ML
False Discovery and Its Control in Low Rank Estimation
由低秩矩阵指定的模型在当代应用中是普遍存在的。在许多这些问题域中,低秩矩阵的行/列空间结构携带关于一些基本现象的信息,并且在推理设置中评估估计的低秩矩阵的行/列空间在多大程度上表示关于该现象的发现是有意义的。然而,与变量选择相反,我们缺乏一个正式的框架来评估低秩估计中的真/假发现;特别是,困难的关键来源是发现的标准概念是离散的,不适合低秩矩阵的平滑结构。我们解决这个挑战,通过几何重新表述的概念的发现,然后使一个自然的定义在低秩的情况下。我们描述和分析了一个推广的稳定性选择方法的Meinshausen和Bühlmann控制错误的发现,在低秩估计,我们证明了它的效用相比,以前的方法通过数值实验。
2020-06-19 stat.ME
MMSE of probabilistic low-rank matrix estimation: Universality with respect to the output channel
本文考虑了低秩矩阵的概率估计,从其元素的非线性逐元素测量。我们推导出相应的近似消息传递(AMP)算法及其状态演化。依赖于非严格的,但标准的假设,统计物理学的动机,我们的最小均方误差(MMSE)可实现的信息理论和AMP算法的特点。与线性估计的相关问题不同,在本设置中,MMSE仅通过单个参数-其Fisher信息依赖于输出信道。我们说明了这一惊人的发现,通过分析子矩阵本地化,并检测隐藏在一个密集的随机块模型的社区。在这个例子中,我们定位了计算和统计边界,这些边界对于大于4的秩是不相等的。
2016-01-05 cond-mat.stat-mech cs.IT math.IT
denoiseR: A Package for Low Rank Matrix Estimation
我们介绍denoiseR,一个R包,提供了一个统一的实现几个国家的最先进的建议,正则化低秩矩阵估计,以及自动选择的正则化参数。我们还扩展了这些方法以允许缺失值。本文讨论的正则化方案是围绕奇异值收缩和基于自举的稳定性参数构建的。我们通过将其应用于几个真实和模拟数据集来说明如何使用该包,并突出不同实现方法的优点和缺点。
2018-08-08 stat.AP stat.ME
Sharp Oracle Inequalities in Low Rank Estimation
研究了埃尔米特矩阵空间上具有凸损失和核范数惩罚的线性泛函凸集上的惩罚经验风险最小化问题.这种惩罚通常用于低秩矩阵恢复的情况下,当目标函数可以很好地近似由相对小秩(与矩阵的大小相比)的埃尔米特矩阵生成的线性泛函。我们的目标是证明尖锐的低秩预言不等式,涉及超额风险(近似误差)与常数等于1和随机误差项与正确的依赖关系的秩的预言。
2012-10-10 math.ST stat.TH
Von Neumann Entropy Penalization and Low Rank Matrix Estimation
研究了单位迹的厄米特非负定矩阵(如量子态层析成像中的密度矩阵)的统计估计问题。该方法是基于惩罚最小二乘法与冯诺依曼熵定义的复杂性惩罚。一些预言不等式已被证明,显示如何估计的误差取决于排名和其他特性的预言。证明方法基于经验过程理论和随机矩阵的概率不等式,特别是Bernstein不等式的非交换形式。
2010-09-13 math.ST stat.TH
Optimal Estimation and Rank Detection for Sparse Spiked Covariance Matrices
本文研究了高维稀疏加样协方差阵模型,研究了协方差阵和主子空间的Minimax估计以及Minimax秩检测。建立了在谱范数下估计尖峰协方差矩阵的最优收敛速率,这需要与估计其他结构化协方差阵(如可带或稀疏协方差阵)的技术显著不同的技术。我们还建立了谱范数下的极小极大率,用于估计主成分分析中的主要感兴趣对象主子空间。此外,最佳速率的秩检测边界得到。这一结果也解决了Berthet和Rigollet [1]最近的一篇论文中的空白,其中考虑了秩1的特殊情况。
2016-03-25 math.ST stat.TH
Joint rank and variable selection for parsimonious estimation in a high-dimensional finite mixture regression model
本文研究了高维多元响应回归模型的有限混合模型的降维技术。响应的维数和预测变量的数量都允许超过样本量。我们考虑预测器的选择和降秩,以获得低维近似。引入了一类具有快速收敛速率的估计量。我们将此结果应用于[11]中介绍的特定程序,其中相关预测因子由Group-Lasso选择。
2017-02-16 math.ST stat.TH
Mutual Information in Rank-One Matrix Estimation
我们认为,从噪声和可能性的非线性元素的测量xxT,一个非常通用的问题,包含,例如随机2块模型,子矩阵本地化或随机矩阵的尖峰扰动的知识的n维向量x的估计。我们使用的插值方法提出的Guerra和Korada和Macris后来完善。我们证明了Bethe互信息(与Bethe自由能有关,并由Lebanon等人在非严格腔方法的基础上证明是精确的)总是给出精确互信息的上界.我们还提供了一个下界使用类似的技术。为了具体起见,我们说明了我们的研究结果的稀疏PCA问题,并观察到(a)我们的边界匹配的参数和(b),它存在一个区域中的光谱仍然没有信息的相变。虽然我们只给出了秩为1的对称矩阵估计的情况,但我们的证明技术很容易扩展到低秩对称矩阵或低秩对称张量估计
2016-03-28 cond-mat.dis-nn cs.IT math.IT
Low-rank Matrix Estimation with Inhomogeneous Noise
针对通用非齐次输出信道下的低秩矩阵估计问题,推广尖峰矩阵模型至稠密度校正随机块模型等场景,采用多物种自旋玻璃研究技术推导并证明大尺寸极限下自由能表达式,建立信号检测阈值研究框架并讨论其在度校正随机块模型中的应用。
2022-08-11 cond-mat.dis-nn math.PR math.ST
High-dimensional covariance matrix estimation using a low-rank and diagonal decomposition
在协方差/精度矩阵可分解为低秩分量L和对角分量D的假设下,研究了高维协方差/精度矩阵的估计. L的秩可以选择为小的或由惩罚函数控制。在适当的条件下,人口协方差/精度矩阵本身和惩罚函数,我们证明了一些一致性结果,我们的估计。一个分块坐标下降算法,迭代更新L和D,然后提出在实践中获得的估计。最后,各种数值实验:使用模拟数据,我们表明,我们的估计表现相当不错的Kullback-Leibler损失方面,使用股票收益率数据,我们表明,我们的方法可以应用于获得增强的解决方案的Markowitz投资组合选择问题。
2018-02-16 stat.ME
An Unsupervised Generative Neural Approach for InSAR Phase Filtering and Coherence Estimation
University of Alberta(阿尔伯塔大学);vGeomatics(3vGeomatics 公司)
相位滤波和像素质量(相干性)估计是从干涉合成孔径雷达(InSAR)图像生成数字高程模型(DEM)的关键,因为它消除了空间不一致(残留),并极大地改善了后续的解缠。大量的InSAR数据有助于地理区域的广域监测(WAM)。并行计算的进步加速了卷积神经网络(CNN)的发展,使其在视觉模式识别方面优于人类的表现,这使得CNN成为WAM的良好选择。然而,这项研究在很大程度上是未经探索的。因此,我们提出了“GenInSAR”,一个基于CNN的联合相位滤波和相干估计的生成模型,直接学习InSAR数据分布。GenInSAR在卫星和模拟噪声InSAR图像上的无监督训练在总残留减少方面优于其他五种相关方法(平均优于16.5%以上),并且分支切割周围的过度平滑/伪影较少。与相关方法相比,GenInSAR的相位、相干均方根误差和相位余弦误差分别平均改善了0.54、0.07和0.05。
2020-08-09 cs.LG eess.IV stat.ML
Estimation of Markov Chain via Rank-Constrained Likelihood
Princeton University(普林斯顿大学)
研究了低秩马尔可夫链的经验轨迹估计问题。我们提出了一种基于秩约束似然最大化的非凸估计。统计上界提供的Kullback-Leiber分歧和$\ell_2$之间的估计和真正的转移矩阵的风险。该估计器揭示了一个压缩的状态空间的马尔可夫链。我们还开发了一种新的DC(凸函数差分)规划算法来解决秩约束非光滑优化问题。收敛结果成立。实验结果表明,该估计器实现了更好的经验性能比其他流行的方法。
2018-07-19 cs.LG math.OC stat.ML
Deep learning based 2.5D flow field estimation for maximum intensity projections of 4D optical coherence tomography
Leibniz Universität Hannover(汉诺威莱布尼茨大学);Institute of Mechatronic Systems(机电系统研究所)
在显微外科手术中,激光已经成为骨骼消融的精确工具。一个挑战是用4D光学相干断层扫描(OCT)自动控制激光骨消融。OCT作为高分辨率成像模式提供组织的体积图像,并预测骨位置和方向(姿态)以及厚度的信息。然而,用于基于OCT的激光消融控制的现有方法依赖于外部跟踪系统或侵入性消融的人工界标,用于跟踪OCT探头相对于组织的姿态。这可以通过估计由基于OCT的激光消融系统和患者之间的相对运动引起的场景流来代替。因此,本文讨论了2.5维场景流估计的体积OCT图像的应用在激光烧蚀。我们提出了一个半监督的卷积神经网络为基础的跟踪计划,随后的三维OCT卷,并将其应用到一个现实的半合成数据集的离体人体颞骨标本。场景流估计在一个两阶段的方法。在第一阶段中,2D横向场景流计算普查转换的en-face最大强度投影的参数。在此之后,通过预测的横向流来扭曲投影,并且估计1D深度流。神经网络的训练是半监督的,结合误差的地面真理和扭曲的图像与空间流平滑的假设重建误差。定量评价揭示了由OCT探头和骨之间的模拟相对运动引起的场景流估计的$ (4.7\pm{}3.5) $体素或$ 27.5 \pm 20.5 μ\mathrm{m} $的平均终点误差。4D OCT的场景流估计使其能够用于乳突骨结构的无标记跟踪,用于一般的图像引导和自动激光消融控制。
2019-02-19 cs.CV cs.LG stat.ML
Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors
Communications Research Laboratory, Ilmenau University of Technology(伊门瑙技术大学通讯研究实验室);School of Electrical and Computer Engineering, Tel Aviv University(特拉维夫大学电气与计算机工程学院)
本文针对从观测数据估计联合PMF张量低秩分量及推断其秩的问题,提出贝叶斯框架,指定模型并采用先验分布,基于变分推断得出确定性解,经实验验证该方法在多方面具有优势。
2026-07-10 cs.LG eess.SP stat.ML
Modeling and Topology Estimation of Low Rank Dynamical Networks
Peking University(北京大学)
本文提出低秩动态网络模型,利用因果维纳滤波建立滤波器稀疏性与条件Granger因果关系的充要条件,并据此开发一致的网络边估计方法,仿真验证了框架简约性与估计一致性。
2025-11-10 cs.GR stat.ML
Optimal Estimation of Low Rank Density Matrices
密度矩阵是描述量子系统状态的单位迹的半正定厄米特矩阵。本文的目标是开发极小极大下界的错误率估计的低秩密度矩阵的跟踪回归模型中使用的量子状态层析成像(特别是,在泡利测量的情况下)与显式依赖的秩和其他复杂性参数的界限。这样的界限建立了几个统计相关的距离,包括量子版本的库尔贝克-莱布勒散度(相对熵距离)和Hellinger距离(所谓的Bures距离),和Schatten $p$ -范数距离。尖锐的上界和预言不等式的最小二乘估计与冯诺依曼熵惩罚得到的极小极大下界达到(对数因子),这些距离。
2016-04-18 stat.ML
Statistical and computational rates in high rank tensor estimation
针对高阶张量估计问题,提出了包含高秩与低秩模型的生成式隐变量张量模型,揭示了高维张量呈对数秩的特性,并设计了多项式时间谱算法以实现计算最优速率。
2023-04-08 math.ST stat.ME stat.ML
Sparse and Low-Rank Covariance Matrices Estimation
本文的目的是从半定总体协方差阵中获得同时稀疏和低秩的估计。我们首先受益于一个凸优化开发$l_1$ -范数惩罚,鼓励稀疏性和核范数有利于低秩属性。对于所提出的估计量,我们证明了估计率的Frobenious范数在一般情况下可以是$O(\sqrt{s(\log{r})/n})$阶,其中$s$和$r$分别表示稀疏条目数和总体协方差的秩,$n$表示样本容量.最后提出了一种有效的具有全局收敛性的乘子交替方向法,并通过数值模拟说明了该方法的优点.
2014-08-07 math.OC math.ST stat.ML