Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology（麻省理工学院）
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中，我们接收到秩未知的$r$张量的$n$条目，并希望精确地完成剩余的条目。在不可知张量完备化中，我们不对未知张量的秩做任何假设，而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习，我们给出了第一个多项式时间算法，该算法获得了“快速”（即，$O(1/n)$型）速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式，权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明，张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱，并允许我们建立各种张量回归模型的限制特征值类型的保证，张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra（2016），他们给出了不可知张量完成的缓慢速率，以及Potechin和Steurer（2017），他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的，我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Fast low-rank estimation by projected gradient descent: General statistical and algorithmic guarantees
University of California, Berkeley（加州大学伯克利分校）
具有秩约束的最优化问题在许多应用中出现，包括矩阵回归、结构PCA、矩阵完备化和矩阵分解问题。一个有吸引力的启发式解决这样的问题是因式分解的低秩矩阵，并运行投影梯度下降的非凸因式分解的最优化问题。这个问题的目标是提供一个一般的理论框架，以了解当这样的方法工作良好，并描述所产生的不动点的性质。我们提供了一组简单的条件下，投影梯度下降，当给定一个合适的初始化，几何收敛到一个统计上有用的解决方案。我们的结果是适用的，即使当初始解是任何区域的局部凸，甚至当问题是全球凹。工作在一个非渐近的框架，我们表明，我们的条件是满足广泛的具体模型，包括矩阵回归，结构PCA，矩阵完成与真正的和量化的意见，矩阵分解，图聚类问题。仿真结果与理论预测吻合良好。
2015-09-10 cs.LG math.ST stat.ML
On Approximation Guarantees for Greedy Low Rank Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提供了新的近似保证贪婪的低秩矩阵估计的标准假设下的限制强凸性和光滑性。我们的新的分析还揭示了以前未知的低秩估计和组合优化之间的连接，以至于我们的界限让人想起相应的近似界次模最大化。此外，我们还提供统计恢复保证。最后，我们提出了经验比较贪婪估计与既定的基线上的两个重要的现实世界的问题。
2017-03-08 cs.IT cs.LG math.IT
Nonlinear Inductive Matrix Completion based on One-layer Neural Networks
UT-Austin（得克萨斯大学奥斯汀分校）；Harvard University（哈佛大学）；Microsoft Research, India（微软印度研究院）；Amazon/A9（亚马逊A9）
推荐系统的目标是通过利用现有的评分集以及某些用户/项目特征来预测用户对给定项目的兴趣。对这个问题建模的标准方法是归纳矩阵完成，其中预测的评级被建模为用户和投影到潜在空间上的项目特征的内积。为了从少量的观察到的评级有效地学习参数，潜在空间被约束为低维，这意味着参数矩阵被约束为低秩。然而，这种评级的双线性建模在实践中可能是限制性的，并且非线性预测函数可以导致显著的改进。在预测函数中引入非线性的自然方法是在投影的用户/项目特征之上应用非线性激活函数。非线性的施加进一步使已经具有挑战性的问题复杂化，该问题具有两个非凸性来源：a）参数矩阵的低秩结构，以及b）非线性激活函数。我们表明，仍然可以解决的非线性归纳矩阵完成问题，使用梯度下降型方法，只要解决方案是初始化好。也就是说，接近最优，优化函数是强凸的，因此允许标准优化技术，至少对于某些激活函数，如Sigmoid和tanh。我们还强调了激活函数的重要性，并展示了ReLU如何表现出与sigmoid函数显著不同的行为。最后，我们将我们提出的技术应用于推荐系统和半监督聚类，并表明我们的方法可以比标准的线性归纳矩阵完成方法带来更好的性能。
2018-05-26 cs.LG stat.ML
Restricted Strong Convexity Implies Weak Submodularity
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们连接高维子集选择和子模最大化。我们的结果将Das和Kempe（2011）的工作从线性回归的设定扩展到任意目标函数。对于贪婪特征选择，这种连接使我们能够在没有统计建模假设的情况下获得几种方法的强乘法性能界限。我们还得到了恢复保证，这种形式下的标准假设。我们的工作表明，贪婪算法在一个恒定的因素，从最好的可能的子集选择解决方案的广泛的一般目标函数。我们的方法允许直接控制所获得的特征的数量，而不是只隐式控制稀疏性的正则化参数。我们的证明技术使用的概念，弱子模块最初定义的达斯和肯普。我们画出凸分析和子模块集函数理论，这可能是独立的兴趣，其他统计学习应用程序的组合结构之间的连接。
2017-10-12 cs.IT cs.LG math.IT
Online Low Rank Matrix Completion
Google Research（谷歌研究院）
研究了具有$\mathsf{M}$用户、$\mathsf{N}$项目和$\mathsf{T}$轮的{ \em online}低秩矩阵补全问题.在每一轮中，该算法为每个用户推荐一个项目，并从低秩用户-项目偏好矩阵中获取（噪声）奖励。我们的目标是设计一个方法与次线性遗憾（在$\mathsf{T}$）和接近最佳的依赖于$\mathsf{M}$和$\mathsf{N}$。这个问题可以很容易地映射到标准的多臂强盗问题，其中每个项目是一个{ \em独立}的手臂，但这会导致遗憾，因为手臂和用户之间的相关性没有被利用。另一方面，由于低秩流形的非凸性，利用奖励矩阵的低秩结构是具有挑战性的。我们首先证明，低秩结构可以利用一个简单的探索，然后提交（ETC）的方法，确保遗憾的$O(\mathsf{polylog} (\mathsf{M}+\mathsf{N}) \mathsf{T}^{2/3})$。也就是说，每个用户大约只需要$\mathsf{polylog} (\mathsf{M}+\mathsf{N})$项目推荐就可以获得重要的解决方案。然后，我们改进我们的排名- $1$设置，这本身是相当具有挑战性的，并封装了一些关键问题的结果。在这里，我们提出了\textsc{OCTAL}（使用迭代用户cLustering的在线协作过滤），保证了$O(\mathsf{polylog} (\mathsf{M}+\ma…
2023-03-07 cs.LG stat.ML
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Microsoft Research New England（微软新英格兰研究院）
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题，它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止，大多数关于这个问题的可证明算法都局限于离线设置，在离线设置中，它们同时使用所有观测值来提供未知矩阵的估计。然而，在许多应用程序中，在线版本更有吸引力，我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的，但是它们对于在线设置可能是非常低效的。在本文中，我们提出了第一个可证明的，有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始，然后执行非凸随机梯度下降（SGD）。在每次观察之后，它执行仅涉及两个高矩阵的一行的快速更新，从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置，在离线设置中，它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架，以表明SGD更新往往远离鞍面，并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
RSG: Beating Subgradient Method without Smoothness and Strong Convexity
在本文中，我们研究了一个{ \bf R}启动{ \bf S}ub{ \bf G}梯度（RSG）方法，定期重新启动标准次梯度方法（SG）的效率。我们表明，当应用到一个广泛的一类凸优化问题，RSG方法可以找到一个$ε$ -最优解具有较低的复杂性比SG方法。特别是，我们首先表明，RSG可以减少SG的迭代复杂性之间的距离的依赖性的初始解和最佳集之间的$ε$水平集和最佳集{乘以一个对数因子}。此外，我们显示的优势，RSG SG在解决三个不同的家庭的凸优化问题。(a)对于上图为多面体的问题，证明了RSG线性收敛。(b)对于$ε$ -子水平集上具有局部二次增长性质的问题，RSG具有$O(\frac{1}ε\log(\frac{1}ε))$迭代复杂度. (c)对于具有局部Kurdyka-Eschojasiewicz性质且幂常数为$β\in[0,1)$的问题，RSG具有$O(\frac{1}{ε^{2β}}\log(\frac{1}ε))$迭代复杂度.我们的分析的新颖之处在于利用一阶最优残差的下界在$ε$水平集。正是这种新颖性使我们能够探索函数的局部性质（例如，局部二次增长性质、局部Kurdyka-Schojasiewicz性质、更一般的局部误差界条件）来改进RSG的收敛性。{我们还开发了一个实用的变体RSG享受更快的收敛速度比SG方法，它可以运行，而不知道所涉及的参数在局部误差界条件。}我们证明了…
2018-11-12 math.OC stat.ML
Relaxed Leverage Sampling for Low-rank Matrix Completion
Xerox Research Center India（施乐印度研究中心）
我们考虑的问题，通过标准的核范数最小化框架的任何$m\times n$矩阵的秩$\varrho$从少量的观察到的条目的精确恢复。这种低秩矩阵具有自由度$(m+n)\varrho - \varrho^2$。我们发现，任何任意低秩矩阵可以完全恢复从一个$Θ\left(((m+n)\varrho - \varrho^2)\log^2(m+n)\right)$随机采样的条目，从而匹配所需的条目数的下限（在自由度方面），与一个额外的因素$O(\log^2(m+n))$。为了达到样本大小的这个界限，我们观察每个条目的概率与相应的行和列杠杆分数之和成比例，减去它们的乘积。我们表明，这种放宽抽样概率（与Chen et al，2014中的杠杆分数之和相反）可以为我们提供$O(\varrho^2\log^2(m+n))$附加改进Chen et al，2014获得的（最知名的）样本量，用于核范数最小化。实际数据的实验证实了理论上的样本容量的改善。此外，$(a)$非相干矩阵（具有受限的杠杆分数）和仅具有一个行或列空间的$(b)$矩阵的精确恢复可以使用我们的放松杠杆分数采样，经由核范数最小化，而无需先验地知道杠杆分数。在这种情况下，我们也可以提高样本量。
2016-04-07 cs.IT cs.LG math.IT
A Universal Variance Reduction-Based Catalyst for Nonconvex Low-Rank Matrix Recovery
我们提出了一个通用框架的基础上，一个新的随机方差减少梯度下降算法加速非凸低秩矩阵恢复。从一个适当的初始估计，我们提出的算法进行投影梯度下降的基础上，一种新的半随机梯度专门设计用于低秩矩阵恢复。基于弱约束强凸性和光滑性条件，我们导出了约束Lipschitz连续梯度性质的投影概念，并证明了算法对未知低秩矩阵具有线性收敛速度，同时降低了计算复杂度.此外，我们的算法可以用于无噪声和噪声观测，其中最佳的样本复杂度和最小最大最优统计率可以分别获得。我们进一步说明了我们的通用框架的优越性，通过几个具体的例子，理论和实验。
2017-01-19 stat.ML
Euclidean Distance Matrix Completion via Asymmetric Projected Gradient Descent
School of Electronics and Communication Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学电子与通信工程学院（深圳校区））
本文提出非对称投影梯度下降算法，用于欧几里得距离矩阵补全，首次给出无需样本分割的全局收敛保证，实验显示丰富样本下线性收敛，但有限样本下性能逊于s-stress优化。
2025-10-17 cs.LG eess.SP stat.ML
Optimal Precoding Design for Monostatic ISAC Systems: MSE Lower Bound and DoF Completion
在这封信中，我们研究了单基地下行链路综合传感和通信（ISAC）系统的参数估计性能。特别是，我们分析的均方误差（MSE）下限的目标感测在下行链路ISAC系统，揭示了次优在重新使用传统的通信波形感测。为了实现一个实用的双功能波形，我们提出了一种波形增强策略，施加一个额外的信号结构，即自由度（DoF）完成方法。所提出的方法是能够提高ISAC系统的参数估计性能，并实现推导的MSE下界。为了提高所提出的策略的性能，我们制定了一个MSE最小化问题来设计ISAC预编码器，受通信用户的信号干扰噪声比（SINR）的约束。尽管波形设计问题的非凸性，我们通过半定松弛（SDR）和建议的建设性方法获得其全局最优解。仿真结果验证了所提出的DoF完成技术能够达到推导出的MSE下限，以及基于MSE的ISAC波形设计的有效性。
2022-03-12 cs.IT eess.SP math.IT
Robust Matrix Completion with Deterministic Sampling via Convex Optimization
本文针对确定性采样下的鲁棒矩阵补全问题，提出受限近似∞-等距性质，证明满足该性质及两个已有条件时，凸优化可高概率精确恢复被异常值污染的低秩非相干方阵。
2024-10-07 cs.IT math.IT
Low-rank Matrix Completion in a General Non-orthogonal Basis
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文研究了在任意基下利用少量展开系数恢复低秩矩阵的问题，提出了一种基于对偶基的对偶证书分析方法，无需假设限制等距性质，通过引入相关性条件，证明在满足该条件和低秩矩阵具有相干性的情况下，可以以高概率从O(nrνlog²n)个均匀随机展开系数中恢复真实矩阵。
2018-12-14 cs.IT cs.NA math.IT
Nonconvex Matrix Factorization is Geodesically Convex: Global Landscape Analysis for Fixed-rank Matrix Optimization From a Riemannian Perspective
Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究固定秩半正定约束的矩阵优化问题，利用Burer-Monteiro分解和黎曼商几何，刻画分解目标函数全局景观，为普通梯度下降优越性能提供几何解释，还给出弱条件下测地凸性及相关凸性半径定量界。
2026-07-21 cs.IT cs.LG cs.NA
On Monotonicity of the Optimal Transmission Policy in Cross-layer Adaptive m-QAM Modulation
本文考虑了一种跨层自适应调制系统，该系统被建模为马尔可夫决策过程（MDP）。研究了如何利用最优传输策略的单调性来降低动态规划的计算复杂度。在该系统中，调度器控制m正交幅度调制（m-QAM）的比特率，以便最小化由数据链路层中的队列溢出和物理层中的传输功率消耗引起的长期损失。这项工作分两步进行。首先，我们观察DP的L-自然凸性和子模块性，证明了最优策略总是队列占用/状态不减，并推导出它是队列和信道状态都不减的充分条件。我们还表明，由于DP的L-自然凸性，队列状态的最优策略的变化受到有界边际效应的限制：相邻队列状态之间的最优策略的增量不大于1。其次，我们利用单调性的结果提出了两个低复杂度的算法：基于L-自然凸性的单调策略迭代（MPI）和离散同时扰动随机逼近（DSPSA）。实验结果表明，基于L-自然凸性的MPI算法的时间复杂度远低于DP算法，基于子模块性和DSPSA的MPI算法能够在系统参数变化时自适应地跟踪最优策略。
2015-08-21 cs.IT math.IT stat.ML
Exact Reconstruction of Euclidean Distance Geometry Problem Using Low-rank Matrix Completion
Department of Mathematics, Rensselaer Polytechnic Institute（罗切斯特理工学院数学系）
本文提出了一种利用低秩矩阵补全方法来解决欧几里得距离几何问题的框架，通过引入双基方法理论分析重构问题，并在不同三维数据和蛋白质分子上的数值测试验证了算法的有效性和效率。
2018-10-28 cs.IT cs.LG cs.NA
A strong restricted isometry property, with an application to phaseless compressed sensing
Massachusetts Institute of Technology（麻省理工学院）；Academy of Mathematics and System Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文提出强限制等距性质（SRIP），用于相位缺失压缩感知，证明在满足SRIP的条件下，通过最小化ℓ1范数可恢复信号，并展示随机高斯矩阵满足SRIP，从而实现相位缺失压缩感知。
2014-04-15 cs.IT cs.NA math.IT
Global Optimality in Low-rank Matrix Optimization
本文研究了秩至多为$r$的矩形$n\times m$矩阵集合上的一般目标函数$f(X)$的极小化问题。为了减少计算负担，我们将变量$X$分解为两个较小矩阵的乘积，并在这两个矩阵上进行优化，而不是$X$。尽管结果是非凸的，但最近在矩阵完备化和感知方面的研究表明，因子化问题没有虚假的局部极小值，并遵守所谓的严格鞍性质（函数在所有临界点都有方向负曲率，但局部极小值）。我们分析了一个一般的，但条件良好的目标函数$f(X)$的限制强凸性和限制强光滑常数是可比的全球几何。特别是，我们表明，重新制定的目标函数没有虚假的局部极小值，并遵守严格的鞍性质。这些几何性质意味着一些迭代优化算法（如梯度下降）可以证明解决的因式分解问题的全局收敛性。
2018-03-02 cs.IT math.IT math.OC
