Generalized rank-constrained matrix approximations
Shmuel Friedland, Anatoli Torokhti
本文给出了Frobenius范数下秩约束矩阵逼近的显式解，推广了经典的低秩矩阵逼近问题。
在本文中，我们给出了Frobenius范数下秩约束矩阵逼近的显式解，这是经典的用秩至多为k的矩阵逼近m×n矩阵A的推广。
In this paper we give an explicit solution to the rank constrained matrix approximation in Frobenius norm, which is a generalization of the classical approximation of an m by n matrix A by a matrix of rank k at most.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Rank-constrained Hyperbolic Programming
我们推广秩约束优化一般双曲规划（HP）使用拟阵秩的概念。分别对于LP和SDP，这减少到稀疏约束的LP和秩约束的SDP，它们已经被很好地研究。但是对于QCQP和SOCP，我们得到了新的有趣的最优化问题。例如，秩约束的SOCP包括加权最大割和非凸QP作为特殊情况，并且丢弃秩约束产生这些问题的标准SOCP松弛。我们将展示（i）如何对SOCP和QCQP进行秩约简，（ii）秩约束的SOCP和秩约束的QCQP是NP-困难的，以及（iii）秩约束的SDP的改进结果，表明如果约束的数量是$m$，并且对于某些$ε>0$，秩约束小于$2^{1/2-ε} \sqrt{m}$，则问题是NP-困难的。我们还将研究稀疏约束的HP，并将LP稀疏化的结果扩展到SOCP和QCQP。特别地，我们证明了：（a）总存在一个基数至多为约束个数两倍的SOCP解和（b）一个基数至多为线性约束个数和二次约束中矩阵秩之和的QCQP解，并且（a）和（b）都可以有效地找到.
Trading off 1-norm and sparsity against rank for linear models using mathematical optimization: 1-norm minimizing partially reflexive ah-symmetric generalized inverses
M-P（Moore-Penrose）伪逆的一个关键应用是计算不相容线性方程组的最小二乘解。不管给定的输入矩阵是否稀疏，它的M-P伪逆可能是稠密的，这可能导致高计算负担，特别是当我们处理高维矩阵时。M-P伪逆具有四个性质，但在计算最小二乘解时只需满足其中两个性质。Fampa和Lee（2018）以及Xu，Fampa，Lee和Ponte（2019）提出了局部搜索过程来构造满足两个关键M-P性质的稀疏块结构广义逆，再加上一个（所谓的自反性质）。这个附加的M-P性质等价于在广义逆上施加一个最小秩条件。（向量）1-范数最小化是用来诱导稀疏性，重要的是，以保持控制下的广义逆构造的条目的幅度。在这里，我们调查之间的权衡低1-范数和低秩的广义逆，可用于计算的最小二乘解。我们提出了几种算法的方法，从一个$1$-范数最小化广义逆，满足两个关键的M-P属性，并逐步降低其排名，通过迭代施加自反属性。算法迭代直到广义逆具有最小可能秩。在迭代过程中，我们产生中间解决方案，权衡低1-范数（通常是高稀疏性）和低秩。
Learning of Generalized Low-Rank Models: A Greedy Approach
本文提出一种灵活的贪心算法，用于解决通用低秩模型的优化问题，支持平滑或非平滑、一般凸或强凸目标，具有低时间复杂度和快收敛速度，实验显示其速度优于现有方法，预测性能相当或更优。
Error bounds for rank constrained optimization problems and applications
研究了秩约束最优化问题，其可行集为秩约束集$\mathcal{R}=\!\big\{X\in\mathbb{X}\ |\ {\rm rank}(X)\le κ\big\}$与闭凸集$Ω$的交.在与原点的可行集相关联的一个多功能函数的镇定下，我们分别建立了估计从任何$X\in Ω$（$X\in\mathbb{X}$）到可行集和解集的距离的局部（全局）Lipschitz型误差界，该误差界是三类常见的秩约束最优化问题所特别满足的.作为局部Lipschitzian型误差界的一个应用，我们证明了当罚参数超过某个阈值时，将秩约束移入目标所产生的罚问题的全局最优解集与原问题的全局最优解集一致，在这个意义上，罚问题是精确的.这特别地为（Gao and Sun，2010）中的罚问题（32）是否精确的公开问题提供了肯定的答案。作为另一个应用，我们推导出的误差界的迭代产生的多级凸松弛方法，这三类秩约束问题，并表明该界是不增加的阶段数的增加。
Estimation of Markov Chain via Rank-Constrained Likelihood
研究了低秩马尔可夫链的经验轨迹估计问题。我们提出了一种基于秩约束似然最大化的非凸估计。统计上界提供的Kullback-Leiber分歧和$\ell_2$之间的估计和真正的转移矩阵的风险。该估计器揭示了一个压缩的状态空间的马尔可夫链。我们还开发了一种新的DC（凸函数差分）规划算法来解决秩约束非光滑优化问题。收敛结果成立。实验结果表明，该估计器实现了更好的经验性能比其他流行的方法。
A note on rank constrained solutions to linear matrix equations
本文提出一种启发式方法求解线性矩阵方程的秩约束解，通过最小化非凸二次函数（称作低秩函数）实现，虽无严格证明，但通过模拟验证其有效性。
Generalized Scaling for the Constrained Maximum-Entropy Sampling Problem
约束最大熵抽样问题，在实验设计中出现的离散优化问题的最佳技术，是通过各种凹连续松弛的目标函数。在这种情况下，标准的边界增强技术是缩放。我们将这种技术推广到广义尺度，我们给出了数学结果，旨在支持算法方法计算最佳广义尺度，我们给出的计算结果表明，基准问题的实例广义尺度的有用性。
Optimal Sparse Output Feedback Control Design: a Rank Constrained Optimization Approach
研究了连续线性定常系统的最优稀疏输出反馈控制器综合问题，当反馈增益为静态且满足特定的结构约束时.通过在优化费用函数中引入一个惩罚反馈增益非零项个数的附加项，我们证明了这个非凸优化问题可以等价地转化为一个秩约束优化问题，因此，它是一个NP-难问题.我们进一步利用我们的秩约束的方法来定义一个结构化的输出反馈控制的可行性测试与整体收敛性，然后，获得最优成本的上/下界的稀疏输出反馈控制问题。此外，我们表明，我们的问题重新制定允许我们将额外的实施约束，如控制输入或系统输出的范数界，通过同化到秩约束。我们建议利用一个版本的交替方向法的乘法器（ADMM）作为一种有效的方法来次最优地解决等价秩约束问题。作为一种特殊情况，我们研究了稀疏稳定输出反馈控制器的设计问题，并证明了它实际上是一个结构化的矩阵恢复问题，其中感兴趣的矩阵同时是稀疏和低秩的。此外，我们表明，这个矩阵恢复问题可以等价地投在一个典型的和良好的研究秩最小化问题的形式。最后，我们用数值例子说明我们提出的方法的性能。
Nonconvex ADMM for Rank-Constrained Matrix Sensing Problem
本文针对秩约束矩阵感知问题提出一种基于ADMM的非凸算法，利用KL性质证明其全局收敛，并在低采样率噪声矩阵补全实验中表现更优。
On Error Bounds for Rank-Constrained Affine Matrix Sets
针对秩约束矩阵问题迭代算法收敛分析依赖的局部误差界指数不明确的问题，本文推导了秩约束仿射可行集带显式维度相关指数的赫尔德型局部误差界，为数值方法收敛分析提供几何定量基础。
Proximal algorithms for constrained composite optimization, with applications to solving low-rank SDPs
研究了一类具有凸复合结构的（潜在非凸）约束最优化问题。通过一种新的分析非光滑几何，我们表明，近似型算法应用于精确的罚款制定这样的问题表现出局部线性收敛的二次增长条件下，我们认为确保组成结构。我们的结果的主要应用是低秩半定优化与Burer-Monteiro分解。通过半定问题中的结构，我们精确地确定了因子分解问题中二次增长的条件，这对于理解矩阵因子分解可能具有独立的意义。
Generalized singular value thresholding operator to affine matrix rank minimization problem
众所周知，仿射矩阵秩最小化问题是NP-难的，并且由于秩函数的组合性质，所有已知的精确求解它的算法在理论上和实践中都是双指数的。本文提出了一种广义奇异值阈值算子来解决仿射矩阵秩最小化问题。数值实验表明，我们的算法执行有效地找到一个低秩矩阵相比，一些国家的最先进的方法。
Generalized low rank approximation to the symmetric positive semidefinite matrix
本文研究对称正半定矩阵在Frobenius范数下的广义低秩逼近：$$\underset{ rank(X)\leq k}{\min} \sum^m_{i=1}\left \Vert A_i - B_i XB_i^T \right \Vert^2_F,$$，其中$X$是未知对称正半定矩阵，$k$是正整数.首先利用正半定矩阵$Y$的性质，将广义低秩逼近问题转化为无约束广义最优化问题.然后应用非线性共轭梯度法求解广义最优化问题。最后给出了数值算例，说明了数值算法的可行性.
A note on alternating direction method of multipliers with generalized augmented terms for constrained sparse least absolute deviation
本技术说明是我们研究论文的辅助材料（Itoh和Parente，2019）。本文讨论了广义增广乘子的交替方向法（ADMM-GAT），并引入了一种有效使用ADMM-GAT的广义残差平衡技术。这些技术被应用到最小绝对偏差和它的约束版本和它们的算法细节。这些算法用于实现（Itoh和Parente，2019）中描述的方法。
Local Convergence of Proximal Splitting Methods for Rank Constrained Problems
我们分析的局部收敛的邻近分裂算法解决最优化问题是凸除了秩约束。对于这一点，我们显示的条件下，涉及秩约束的函数的邻近算子是局部相同的凸包络的邻近算子，因此意味着局部收敛。条件意味着，非凸算法局部收敛到一个解决方案，只要一个凸松弛涉及凸包络可以预期解决非凸问题。
Recursive Importance Sketching for Rank Constrained Least Squares: Algorithms and High-order Convergence
本文提出了{ \it \underline{R}递归} { \it \underline{I}重要性}{\it \underline{S} ketching}算法求解{ \it \underline{R} ank}约束最小二乘{ \it \underline{O}优化}（RISRO）. RISRO的关键步骤是递归重要性草图，一个新的草图框架的基础上确定性设计的递归投影，这显着不同于随机草图在文献\citep{mahoney2011randomized,woodruff2014sketching}。在这个新的草图框架下，可以重新解释文献中现有的几种算法，RISRO提供了明显的优势。RISRO易于实现，计算效率高，每次迭代的核心过程是解决降维最小二乘问题。在较弱的条件下，我们建立了RISRO的局部二次线性收敛速度和二次收敛速率。我们还发现了一个深刻的连接RISRO的黎曼高斯-牛顿算法固定秩矩阵。RISRO的有效性在机器学习和统计学中的两个应用中得到了证明：低秩矩阵迹回归和相位检索。仿真研究表明，优越的数值性能的RISRO。
Interference Alignment Designs for Secure Multiuser MIMO Systems: Rank Constrained Rank Minimization Approach
在本文中，我们制定的干扰对齐（IA）问题的多用户多输入多输出（MIMO）系统中存在的窃听作为一个秩约束秩最小化（RCRM）问题。所提出的秩最小化IA方案的目的是找到预编码和接收器子空间矩阵，以将干扰和窃听信号对齐到最低维度的子空间中，同时保持所需的信号子空间跨越全部可用的空间维度。针对秩函数的非凸性，提出了RCRM问题的两种凸松弛，即核范数（NN）和加权核范数（RNN），并将秩约束转化为等价的、易处理的约束.然后，我们推导出一个坐标下降的方法来获得IA计划的解决方案。仿真结果表明，我们提出的IA设计优于传统的IA设计的平均保密和率。另一方面，我们提出的设计执行相同或更好的比其他安全IA计划，占低干扰和窃听信号功率，而不是低维度的干扰和窃听信号矩阵的系统，实现完美的IA。
Low solution rank of the matrix LASSO under RIP with consequences for rank-constrained algorithms
研究揭示在RIP条件下，矩阵LASSO解具有低秩性，对非凸秩约束优化方法有理论影响，证明低秩投影梯度下降可线性收敛至LASSO解，且Burer-Monteiro分解问题的非凸景观良性。
Rank-constrained fundamental matrix estimation by polynomial global optimization versus the eight-point algorithm
基本矩阵可以从点匹配估计。目前的黄金标准是引导八点算法和双视图投影光束法平差。八点算法首先通过最小化代数代价来计算简单的线性最小二乘解，然后将结果投影到最近的秩亏矩阵。我们提出了一个单步法，解决了八点算法的两个步骤。使用最近的结果从多项式全局优化，我们的方法找到的秩亏矩阵，正是最小化的代数成本。在这种特殊情况下，最优化方法被简化为求解非常短的凸线性问题序列，这些问题在计算上高效且数值稳定。目前的黄金标准是众所周知的是非常有效的，但仍然优于我们的秩约束方法的自助光束法平差。这是在模拟和标准真实数据集上演示的。通过我们的初始化，光束法平差一致地找到更好的局部极小值（实现更低的重投影误差），并且需要更少的迭代来收敛。
An inexact proximal DC algorithm with sieving strategy for rank constrained least squares semidefinite programming
本文考虑了用于数据降维（DR）的有监督距离保持投影（SDPP）的最优化问题，该问题等价于秩约束最小二乘半定规划（RCLSSDP）。为了克服秩约束带来的困难，采用凸差分正则化策略，将RCLSSDP转化为一系列带DC正则化的最小二乘半定规划（DCLSSDP）.提出了一种带筛选策略的非精确邻近DC算法（s-iPDCA）求解DCLSSDP，其子问题采用加速块坐标下降法（ABCD）求解.收敛性分析表明，生成的s-iPDCA序列全局收敛于相应DC问题的平稳点.通过对COIL-20数据库的DR实验，将s-iPDCA算法与经典的邻近DC算法（PDCA）和PDCA外推算法（PDCAe）进行了比较，结果表明，s-iPDCA算法在求解效率上优于PDCA和PDCAe算法.在ORL数据库和YaleB数据库上进行的DR人脸识别实验表明，秩约束核SDPP（RCKSDPP）与核半定SDPP（KSSDPP）和核主成分分析（KPCA）的识别率相比，具有较好的识别效果。
Explicit MPC for the constrained zonotope case with low-rank matrix updates
针对显式MPC计算量随维度和时域指数增长的问题，利用constrained-zonotope几何特性，在提升生成空间中通过二阶最优性条件求解，采用低秩矩阵更新和候选有效集解析枚举加速显式解计算。
An Iterative Method for Nonconvex Quadratically Constrained Quadratic Programs
研究了非凸二次约束二次规划（QCQP）问题的迭代法.现有的求解非凸QCQP问题的方法之一是将对未知矩阵的秩1约束松弛为半定约束，从而得到最优值的上界，但没有找到精确解。通过重新考虑秩一矩阵，提出了一种逐步逼近秩一约束的迭代秩最小化方法。每一次迭代都被表示为一个带半定约束的凸问题。为了提高算法的可扩展性和计算效率，提出了一种增广拉格朗日方法--扩展Uzawa算法。仿真实例使用所提出的方法和比较结果从其他方法提供和讨论。
Optimistic Noise-Aware Sequential Quadratic Programming for Equality Constrained Optimization with Rank-Deficient Jacobians
本文提出一种乐观噪声感知序列二次规划算法，通过步长分解策略处理秩亏Jacobian等式约束下的含噪优化问题，并证明其收敛到稳定点邻域。
A Stochastic Sequential Quadratic Optimization Algorithm for Nonlinear Equality Constrained Optimization with Rank-Deficient Jacobians
提出了一种序列二次优化算法，用于求解光滑非线性等式约束最优化问题，其中目标函数由随机函数的期望定义。所提出的方法的算法结构是基于在文献中已知的在实践中广泛有效的步骤分解策略，其中每个搜索方向被计算为正常步骤（朝向线性化可行性）和切向步骤（朝向约束雅可比矩阵的零空间中的目标减少）的和。然而，所提出的方法是独特的，从其他文献中，它既允许使用随机目标梯度估计，并具有收敛保证，即使在设置中的约束雅可比矩阵可能是秩亏。数值实验的结果表明，该算法提供了优越的性能相比，流行的替代品。
Accelerated Nonconvex ADMM with Self-Adaptive Penalty for Rank-Constrained Model Identification
本文针对秩约束模型辨识问题，提出一种基于增广拉格朗日函数一阶分析的自适应惩罚更新策略，并结合Anderson加速方案，有效加速了非凸ADMM的收敛并降低了对惩罚参数调节的依赖。
State Constrained Optimization with Partial Differential Equations via Generalized Gradients
我们考虑由偏微分方程（PDE）约束的最优化问题，并在PDE的解上加上额外的约束。我们开发了一个通用的和通用的框架，使用无限值的惩罚函数和克拉克次梯度，并将其应用到框约束问题，以及更一般的约束中产生的应用程序，如在子域中的状态的平均值的约束。该框架还考虑到约束中不连续数据的问题。我们给出了该算法的数值结果的椭圆形的情况下，并与其他状态约束算法进行比较。
Broyden quasi-Newton secant-type method for solving constrained mixed generalized equations
本文提出一种Broyden拟牛顿割线型方法变体，结合条件梯度法处理约束，用于求解含不可微函数的约束混合广义方程，并在Lipschitz连续性、修正Broyden更新和度量正则性假设下证明了算法的Q-线性局部收敛性。
An equivalence between critical points for rank constraints versus low-rank factorizations
低秩最优化问题中的两种常见方法是直接对矩阵变量进行秩约束，或者在低秩分解上进行优化，从而隐式地确保秩约束。在本文中，我们研究了秩约束和因子分解方法之间的自然联系。我们发现，所有的二阶固定点的因式分解的目标函数对应于不动点的投影梯度下降运行在原来的问题（其中的投影步骤强制执行的秩约束）。这一结果使我们能够统一许多现有的优化保证，已被证明是特别是在秩约束或因子分解设置，并导致新的结果为某些设置的问题。我们展示了我们的结果的应用程序中出现的矩阵逆问题的几个具体的低秩最优化问题。
1-norm minimization and minimum-rank structured sparsity for symmetric and ah-symmetric generalized inverses: rank one and two
广义逆在统计学和应用矩阵代数的其他领域中很重要。实矩阵$A$的\emph{generalized inverse}是满足Moore-Penrose（M-P）性质$AHA=A$的矩阵$H$。如果$H$也满足M-P性质$HAH=H$，则称为\emph{reflexive}。广义逆的自反性等价于最小秩，这是一个非常理想的性质。我们认为方面的对称性有关的计算各种\emph{sparse}自反广义逆的$A$。通常，我们使用（向量）1-范数最小化来诱导稀疏性并保持条目的大小处于控制之下。当$A$是对称的时，对称的$H$是非常理想的，但是通常对$H$的这种限制不会导致1-范数最小化自反广义逆。我们研究了一个块构造方法，以产生一个对称的自反广义逆的结构，并保证稀疏性。设$A$的秩为$r$，证明了当（i）$r=1$和（ii）$r=2$和$A$非负时，这类1-范数极小化广义逆是1-范数极小化对称广义逆.我们考虑的对称性的另一个方面与另一个M-P性质有关：如果$AH$是对称的，则$H$是\emph{ah-symmetric}。ah-对称性足以使广义逆用于通过$x:=Hb$使用$H$求解最小二乘问题$\min\{\|Ax-b\|_2:~x\in\mathbb{R}^n\}$。本文研究了一种列块构造方法来构造具有稀疏性的对称自反广义逆。证明了当（i）$r=1$和（ii）$r=2$和$A$满足技术条件时，这类…
Sync-Rank: Robust Ranking, Constrained Ranking and Rank Aggregation via Eigenvector and Semidefinite Programming Synchronization
我们认为经典的问题，建立一组n个项目的统计排名给定一组不一致和不完整的成对比较等项目。该问题的实例化出现在数据分析中的许多应用中（例如，在体育数据中对球队进行排名）、计算机视觉和机器学习。我们将上述不完全噪声信息下的排序问题表述为平面旋转群SO（2）上的群同步问题的一个实例，其有用性近年来已在许多应用中得到证明。它的最小二乘解可以近似的频谱或半定规划（SDP）松弛，然后通过舍入过程。我们进行了广泛的数值模拟合成和真实世界的数据集，表明我们提出的方法相比，毫不逊色，从最近的文献中的其他算法。现有的理论保证组同步问题意味着在排名数据中允许的最大噪声量的下限，同时仍然实现精确的恢复。我们提出了一个类似的基于同步的算法的排名聚合问题，它集成在一个全球一致的排名成对比较由不同的评级系统在同一组项目。我们还讨论了半监督排名的问题时，有可用的信息对地面真理排名的一个子集的球员，并提出了一个算法的基础上SDP恢复排名的其余球员。最后，同步为基础的排名，结合频谱技术的denominator子图的问题，允许一个提取本地一致的部分排名，换句话说，以确定排名的一个小子集的球员，其成对的比较是少噪音比其余的数据，其他方法是无法识别。
On the Exactness of Dantzig-Wolfe Relaxation for Rank Constrained Optimization Problems
该研究针对秩约束优化问题（RCOP），推导了Dantzig-Wolfe松弛（DWR）实现极点、凸包、目标值三类精确性的充要条件，统一拓展了QCQP与公平无监督学习的现有结果，可用于推导新的精确性结论。
Generalized Low Rank Models
主成分分析（PCA）是一种用于通过低秩矩阵来近似表格数据集的公知技术。在这里，我们扩展了PCA的思想来处理由数值，布尔，分类，有序和其他数据类型组成的任意数据集。这个框架包含了许多众所周知的技术在数据分析中，如非负矩阵分解，矩阵完成，稀疏和鲁棒PCA，$k$-手段，$k$-SVD，和最大间距矩阵分解。该方法处理异构数据集，并导致一致的计划，压缩，去噪，并同时在所有数据类型的缺失条目。它还承认一些有趣的解释，低排名的因素，允许聚类的例子或功能。我们提出了几个并行算法来拟合广义低秩模型，并描述了实现和数值结果。
Momentum-inspired Low-Rank Coordinate Descent for Diagonally Constrained SDPs
提出了一种新的、实用的、可证明的方法，利用加速非凸规划求解大规模对角约束半定规划问题。我们的算法非平凡地结合加速运动的凸优化与坐标幂迭代和矩阵分解技术。该算法实现起来非常简单，只增加了一个额外的超参数--动量。我们证明了该方法在最优解的邻域内具有局部线性收敛，并且总是收敛到一个一阶临界点。实验上，我们展示了我们的方法的优点上的三个主要应用领域：MaxCut，MaxSAT，和MIMO信号检测。在所有情况下，我们的方法都比非凸和凸SDP求解器提供了显着的加速-比最先进的非凸求解器快5倍，比凸SDP求解器快9到10^3倍-具有可比或更高的解决方案质量。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。