Generalized rank-constrained matrix approximations
本文给出了Frobenius范数下秩约束矩阵逼近的显式解，推广了经典的低秩矩阵逼近问题。
2006-03-29 cs.NA math.NA math.OC
Technical Note: PDE-constrained Optimization Formulation for Tumor Growth Model Calibration
我们讨论的解决方案算法，用于校准肿瘤生长模型的成像数据构成的确定性逆问题。正演模型由一个非线性、时变的反应扩散偏微分方程（PDE）组成，未知参数（扩散率和增殖率）为空间场。我们使用一个维度无关的全球化，不精确的牛顿共轭梯度算法来解决偏微分方程约束的优化。所需的梯度和海森行动也提出了使用伴随方法和拉格朗日形式主义。
2023-02-15 cs.CE math.OC
Lecture notes on non-convex algorithms for low-rank matrix recovery
低秩矩阵恢复问题是在信号处理、成像和机器学习等各个领域中自然出现的逆问题。它们是非凸的，是NP-困难的。因此，这是一个微妙的问题，设计有效的恢复算法，并提供严格的理论见解，这些算法的行为。这些笔记的目的是回顾最近的进展，在这个方向上的类所谓的“非凸算法”，特别关注的证明技术。虽然他们的目的是介绍最近的研究工作，这些笔记已经写的意图，尽可能多地，非专业人士访问。
2021-05-21 math.OC math.ST stat.TH
Error bounds for rank constrained optimization problems and applications
研究了秩约束最优化问题，其可行集为秩约束集$\mathcal{R}=\!\big\{X\in\mathbb{X}\ |\ {\rm rank}(X)\le κ\big\}$与闭凸集$Ω$的交.在与原点的可行集相关联的一个多功能函数的镇定下，我们分别建立了估计从任何$X\in Ω$（$X\in\mathbb{X}$）到可行集和解集的距离的局部（全局）Lipschitz型误差界，该误差界是三类常见的秩约束最优化问题所特别满足的.作为局部Lipschitzian型误差界的一个应用，我们证明了当罚参数超过某个阈值时，将秩约束移入目标所产生的罚问题的全局最优解集与原问题的全局最优解集一致，在这个意义上，罚问题是精确的.这特别地为（Gao and Sun，2010）中的罚问题（32）是否精确的公开问题提供了肯定的答案。作为另一个应用，我们推导出的误差界的迭代产生的多级凸松弛方法，这三类秩约束问题，并表明该界是不增加的阶段数的增加。
2016-03-23 math.OC
Estimation of Markov Chain via Rank-Constrained Likelihood
Princeton University（普林斯顿大学）
研究了低秩马尔可夫链的经验轨迹估计问题。我们提出了一种基于秩约束似然最大化的非凸估计。统计上界提供的Kullback-Leiber分歧和$\ell_2$之间的估计和真正的转移矩阵的风险。该估计器揭示了一个压缩的状态空间的马尔可夫链。我们还开发了一种新的DC（凸函数差分）规划算法来解决秩约束非光滑优化问题。收敛结果成立。实验结果表明，该估计器实现了更好的经验性能比其他流行的方法。
2018-07-19 cs.LG math.OC stat.ML
A Note on the Convergence of ADMM for Linearly Constrained Convex Optimization Problems
本说明有两个目的。首先，我们构造了一个反例，证明了Boyd等人[Found. Trends Mach.学习. 3（1）1-122（2011）]可以是假的，如果没有先验条件的存在性的解决方案，所有涉及的子问题被假定为成立。其次，我们提出了相当温和的条件，以保证所有子问题的解决方案的存在性，并提供了严格的收敛性分析ADMM，在一个更一般和有用的半邻近ADMM（sPADMM）设置考虑Fazel等人[SIAM J.矩阵分析。34（3）946-977（2013）]，具有计算上更有吸引力的大步长，其甚至可以超过实际上更优选的黄金比例$(1+\sqrt{5})/2$。
2016-02-22 math.OC
A Note On the Rank of the Optimal Matrix in Symmetric Toeplitz Matrix Completion Problem
本文针对对称Toeplitz矩阵补全问题，利用三角矩和半无限问题定理，给出了最小化矩阵秩目标的上界，并证明该上界小于线性约束数的两倍，属该领域首批研究。
2019-05-03 math.OC
Optimal Sparse Output Feedback Control Design: a Rank Constrained Optimization Approach
研究了连续线性定常系统的最优稀疏输出反馈控制器综合问题，当反馈增益为静态且满足特定的结构约束时.通过在优化费用函数中引入一个惩罚反馈增益非零项个数的附加项，我们证明了这个非凸优化问题可以等价地转化为一个秩约束优化问题，因此，它是一个NP-难问题.我们进一步利用我们的秩约束的方法来定义一个结构化的输出反馈控制的可行性测试与整体收敛性，然后，获得最优成本的上/下界的稀疏输出反馈控制问题。此外，我们表明，我们的问题重新制定允许我们将额外的实施约束，如控制输入或系统输出的范数界，通过同化到秩约束。我们建议利用一个版本的交替方向法的乘法器（ADMM）作为一种有效的方法来次最优地解决等价秩约束问题。作为一种特殊情况，我们研究了稀疏稳定输出反馈控制器的设计问题，并证明了它实际上是一个结构化的矩阵恢复问题，其中感兴趣的矩阵同时是稀疏和低秩的。此外，我们表明，这个矩阵恢复问题可以等价地投在一个典型的和良好的研究秩最小化问题的形式。最后，我们用数值例子说明我们提出的方法的性能。
2015-06-22 math.OC
Nonconvex ADMM for Rank-Constrained Matrix Sensing Problem
本文针对秩约束矩阵感知问题提出一种基于ADMM的非凸算法，利用KL性质证明其全局收敛，并在低采样率噪声矩阵补全实验中表现更优。
2023-12-03 math.OC
On Error Bounds for Rank-Constrained Affine Matrix Sets
针对秩约束矩阵问题迭代算法收敛分析依赖的局部误差界指数不明确的问题，本文推导了秩约束仿射可行集带显式维度相关指数的赫尔德型局部误差界，为数值方法收敛分析提供几何定量基础。
2025-10-02 math.OC
Proximal algorithms for constrained composite optimization, with applications to solving low-rank SDPs
Stanford University（斯坦福大学）
研究了一类具有凸复合结构的（潜在非凸）约束最优化问题。通过一种新的分析非光滑几何，我们表明，近似型算法应用于精确的罚款制定这样的问题表现出局部线性收敛的二次增长条件下，我们认为确保组成结构。我们的结果的主要应用是低秩半定优化与Burer-Monteiro分解。通过半定问题中的结构，我们精确地确定了因子分解问题中二次增长的条件，这对于理解矩阵因子分解可能具有独立的意义。
2019-03-01 cs.LG math.OC
A note on preconditioning weighted linear least squares, with consequences for weakly-constrained variational data assimilation
Université de Toulouse, INP, IRIT（图卢兹大学，国立理工学院，IRIT）；CERFACS（欧洲中尺度气象应用研究中心）；NAXYS, University of Namur（纳穆尔大学 NAXYS 实验室）
本文分析了使用模型矩阵近似进行线性加权最小二乘预条件化的影响，探讨了模型和加权矩阵的特征结构之间的相互作用，并通过一个小例子说明此类预条件器可能的低效性，最后讨论了这些结果在弱约束4D-Var数据同化问题中的影响。
2017-09-26 cs.NA math.NA math.OC
Note on a Differential-Geometrical Construction of Optimal Directions in Linearly-Constrained Systems
本文给出了最优单位范数方向hat（x）= x/ |x|的一个解析构造，它使目标线性表达式B最大化或最小化。hat（x），服从形式[A]的线性约束系统。x = 0，其中x是要被确定直到整体归一化常数的未知n维实向量，0是m维零向量，并且给出n维实向量B和m个\times n维实矩阵[A]（其中0 =这个问题的分析解可以表示为双楔和Hodge-star乘积的微分形式的组合。
2010-09-21 hep-ph math.DG math.OC
A Note on Multigrid Preconditioning for Fractional PDE-Constrained Optimization Problems
本文提出了求解分数阶扩散方程约束的二次最优化问题的多重网格预处理方法。多重网格方法中的所有在一次的方法来解决一阶最优Karush-Kuhn-Tucker（KKT）系统是广泛流行的，但他们的发展依赖于底层系统是稀疏的。另一方面，对于大多数离散化，期望分数算子的矩阵表示是稠密的。我们开发了一个预处理策略，我们的问题的基础上减少的方法，即我们消除了状态约束，使用控制到状态映射。我们的多重网格预处理方法显示了CG迭代次数的显着减少。我们评估质量的预处理的光谱距离。最后，我们对这个预处理器进行了部分理论分析，并提出了一个猜想，该猜想得到了我们的数值实验的明确支持。
2020-10-27 cs.NA math.NA math.OC
Local Convergence of Proximal Splitting Methods for Rank Constrained Problems
Lund University（隆德大学）
我们分析的局部收敛的邻近分裂算法解决最优化问题是凸除了秩约束。对于这一点，我们显示的条件下，涉及秩约束的函数的邻近算子是局部相同的凸包络的邻近算子，因此意味着局部收敛。条件意味着，非凸算法局部收敛到一个解决方案，只要一个凸松弛涉及凸包络可以预期解决非凸问题。
2017-10-11 cs.LG math.OC stat.ML
Interference Alignment Designs for Secure Multiuser MIMO Systems: Rank Constrained Rank Minimization Approach
在本文中，我们制定的干扰对齐（IA）问题的多用户多输入多输出（MIMO）系统中存在的窃听作为一个秩约束秩最小化（RCRM）问题。所提出的秩最小化IA方案的目的是找到预编码和接收器子空间矩阵，以将干扰和窃听信号对齐到最低维度的子空间中，同时保持所需的信号子空间跨越全部可用的空间维度。针对秩函数的非凸性，提出了RCRM问题的两种凸松弛，即核范数（NN）和加权核范数（RNN），并将秩约束转化为等价的、易处理的约束.然后，我们推导出一个坐标下降的方法来获得IA计划的解决方案。仿真结果表明，我们提出的IA设计优于传统的IA设计的平均保密和率。另一方面，我们提出的设计执行相同或更好的比其他安全IA计划，占低干扰和窃听信号功率，而不是低维度的干扰和窃听信号矩阵的系统，实现完美的IA。
2015-08-04 cs.IT math.IT math.OC
Low solution rank of the matrix LASSO under RIP with consequences for rank-constrained algorithms
Institute of Mathematics, EPFL（洛桑联邦理工学院数学研究所）
研究揭示在RIP条件下，矩阵LASSO解具有低秩性，对非凸秩约束优化方法有理论影响，证明低秩投影梯度下降可线性收敛至LASSO解，且Burer-Monteiro分解问题的非凸景观良性。
2025-04-22 math.OC math.ST stat.TH
Rank-constrained fundamental matrix estimation by polynomial global optimization versus the eight-point algorithm
基本矩阵可以从点匹配估计。目前的黄金标准是引导八点算法和双视图投影光束法平差。八点算法首先通过最小化代数代价来计算简单的线性最小二乘解，然后将结果投影到最近的秩亏矩阵。我们提出了一个单步法，解决了八点算法的两个步骤。使用最近的结果从多项式全局优化，我们的方法找到的秩亏矩阵，正是最小化的代数成本。在这种特殊情况下，最优化方法被简化为求解非常短的凸线性问题序列，这些问题在计算上高效且数值稳定。目前的黄金标准是众所周知的是非常有效的，但仍然优于我们的秩约束方法的自助光束法平差。这是在模拟和标准真实数据集上演示的。通过我们的初始化，光束法平差一致地找到更好的局部极小值（实现更低的重投影误差），并且需要更少的迭代来收敛。
2014-03-19 math.OC
An inexact proximal DC algorithm with sieving strategy for rank constrained least squares semidefinite programming
本文考虑了用于数据降维（DR）的有监督距离保持投影（SDPP）的最优化问题，该问题等价于秩约束最小二乘半定规划（RCLSSDP）。为了克服秩约束带来的困难，采用凸差分正则化策略，将RCLSSDP转化为一系列带DC正则化的最小二乘半定规划（DCLSSDP）.提出了一种带筛选策略的非精确邻近DC算法（s-iPDCA）求解DCLSSDP，其子问题采用加速块坐标下降法（ABCD）求解.收敛性分析表明，生成的s-iPDCA序列全局收敛于相应DC问题的平稳点.通过对COIL-20数据库的DR实验，将s-iPDCA算法与经典的邻近DC算法（PDCA）和PDCA外推算法（PDCAe）进行了比较，结果表明，s-iPDCA算法在求解效率上优于PDCA和PDCAe算法.在ORL数据库和YaleB数据库上进行的DR人脸识别实验表明，秩约束核SDPP（RCKSDPP）与核半定SDPP（KSSDPP）和核主成分分析（KPCA）的识别率相比，具有较好的识别效果。
2021-05-26 math.OC
An Iterative Method for Nonconvex Quadratically Constrained Quadratic Programs
研究了非凸二次约束二次规划（QCQP）问题的迭代法.现有的求解非凸QCQP问题的方法之一是将对未知矩阵的秩1约束松弛为半定约束，从而得到最优值的上界，但没有找到精确解。通过重新考虑秩一矩阵，提出了一种逐步逼近秩一约束的迭代秩最小化方法。每一次迭代都被表示为一个带半定约束的凸问题。为了提高算法的可扩展性和计算效率，提出了一种增广拉格朗日方法--扩展Uzawa算法。仿真实例使用所提出的方法和比较结果从其他方法提供和讨论。
2016-09-08 math.OC
Optimistic Noise-Aware Sequential Quadratic Programming for Equality Constrained Optimization with Rank-Deficient Jacobians
本文提出一种乐观噪声感知序列二次规划算法，通过步长分解策略处理秩亏Jacobian等式约束下的含噪优化问题，并证明其收敛到稳定点邻域。
2025-03-09 math.OC
A note on stationarity in constrained optimization
该约束优化研究指出通用情形下临界性是合适的平稳性概念，但实际场景中Fréchet平稳性更典型，通过半代数集上函数临界点性质、投影梯度算法聚点性质两个结果给出简洁自包含的论证。
2024-11-04 math.OC
A Stochastic Sequential Quadratic Optimization Algorithm for Nonlinear Equality Constrained Optimization with Rank-Deficient Jacobians
提出了一种序列二次优化算法，用于求解光滑非线性等式约束最优化问题，其中目标函数由随机函数的期望定义。所提出的方法的算法结构是基于在文献中已知的在实践中广泛有效的步骤分解策略，其中每个搜索方向被计算为正常步骤（朝向线性化可行性）和切向步骤（朝向约束雅可比矩阵的零空间中的目标减少）的和。然而，所提出的方法是独特的，从其他文献中，它既允许使用随机目标梯度估计，并具有收敛保证，即使在设置中的约束雅可比矩阵可能是秩亏。数值实验的结果表明，该算法提供了优越的性能相比，流行的替代品。
2023-03-16 math.OC stat.ML
Sync-Rank: Robust Ranking, Constrained Ranking and Rank Aggregation via Eigenvector and Semidefinite Programming Synchronization
UCLA（加州大学洛杉矶分校）
我们认为经典的问题，建立一组n个项目的统计排名给定一组不一致和不完整的成对比较等项目。该问题的实例化出现在数据分析中的许多应用中（例如，在体育数据中对球队进行排名）、计算机视觉和机器学习。我们将上述不完全噪声信息下的排序问题表述为平面旋转群SO（2）上的群同步问题的一个实例，其有用性近年来已在许多应用中得到证明。它的最小二乘解可以近似的频谱或半定规划（SDP）松弛，然后通过舍入过程。我们进行了广泛的数值模拟合成和真实世界的数据集，表明我们提出的方法相比，毫不逊色，从最近的文献中的其他算法。现有的理论保证组同步问题意味着在排名数据中允许的最大噪声量的下限，同时仍然实现精确的恢复。我们提出了一个类似的基于同步的算法的排名聚合问题，它集成在一个全球一致的排名成对比较由不同的评级系统在同一组项目。我们还讨论了半监督排名的问题时，有可用的信息对地面真理排名的一个子集的球员，并提出了一个算法的基础上SDP恢复排名的其余球员。最后，同步为基础的排名，结合频谱技术的denominator子图的问题，允许一个提取本地一致的部分排名，换句话说，以确定排名的一个小子集的球员，其成对的比较是少噪音比其余的数据，其他方法是无法识别。
2015-04-05 cs.LG cs.SI math.OC
A note on approximating the nearest stable discrete-time descriptor system with fixed rank
Université de Mons（蒙斯大学）；TU Berlin（柏林工业大学）；Indian Institute of Technology Delhi（德里印度理工学院）
本文提出了一种用固定秩近似稳定离散时间描述系统的方法，通过将非凸问题转化为简单可行集的优化问题，采用块坐标下降法得到一个近邻的正则索引一稳定系统。
2018-07-12 cs.NA math.NA math.OC
Recursive Importance Sketching for Rank Constrained Least Squares: Algorithms and High-order Convergence
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Xiamen University（厦门大学）；Fudan University（复旦大学）；Duke University（杜克大学）
本文提出了{ \it \underline{R}递归} { \it \underline{I}重要性}{\it \underline{S} ketching}算法求解{ \it \underline{R} ank}约束最小二乘{ \it \underline{O}优化}（RISRO）. RISRO的关键步骤是递归重要性草图，一个新的草图框架的基础上确定性设计的递归投影，这显着不同于随机草图在文献\citep{mahoney2011randomized,woodruff2014sketching}。在这个新的草图框架下，可以重新解释文献中现有的几种算法，RISRO提供了明显的优势。RISRO易于实现，计算效率高，每次迭代的核心过程是解决降维最小二乘问题。在较弱的条件下，我们建立了RISRO的局部二次线性收敛速度和二次收敛速率。我们还发现了一个深刻的连接RISRO的黎曼高斯-牛顿算法固定秩矩阵。RISRO的有效性在机器学习和统计学中的两个应用中得到了证明：低秩矩阵迹回归和相位检索。仿真研究表明，优越的数值性能的RISRO。
2022-12-05 cs.LG cs.NA math.NA
