A Linear Scalarization Proximal Point Method for Quasiconvex Multiobjective Minimization
本文提出了一种求解任意下半连续拟凸多目标极小化问题的线性标量化邻近点法。在一些自然的假设下，利用邻近参数有界的条件，证明了算法产生的序列的收敛性，并在目标函数连续的情况下，证明了算法产生的序列收敛于广义临界点。此外，如果每次迭代最小化邻近正则化函数和邻近参数收敛到零，我们证明了收敛到一个弱Pareto解。在连续可微情形下，证明了该序列对Pareto临界点的整体收敛，并给出了一个具有相同收敛性质的非精确算法.当目标函数为凸函数且满足一个尖锐极小值条件时，我们还分析了算法有限收敛到Pareto最优点的特殊情况。
2015-10-02 math.OC
Derivative-Free Global Minimization in One Dimension: Relaxation, Monte Carlo, and Sampling
本文提出一种融合松弛泛函梯度流、Monte Carlo、拒绝采样与自适应技术的一维无导数全局优化算法，证明其收敛性并通过基准测试验证其高效性。
2023-08-17 math.OC
Universal Majorization-Minimization Algorithms
Google（谷歌公司）
针对传统MM算法需手工推导majorizer、适用场景有限的问题，提出基于泰勒模式自动微分推广技术的通用MM优化器，可自动推导majorizer，适用于任意问题且无需超参数调优、任意起始点均可收敛。
2023-07-31 cs.LG math.OC stat.CO
Adaptive Regularization Minimization Algorithms with Non-Smooth Norms and Euclidean Curvature
考虑了无约束非线性极小化问题的一种正则化算法（AR 1 pGN），该算法使用的模型由任意阶的泰勒展开式和包含可能非光滑范数的正则化项组成.结果表明，范数的非光滑性并不影响使用$p$导数求一阶$ε_1$ -近似极小值的计算复杂性的$O(ε_1^{-(p+1)/p})$上界，而且这个结果并不依赖于$\Re^n$中范数的等价性.它还表明，如果$p=2$，界的$O(ε_2^{-3})$评估寻找二阶$ε_2$近似极小仍然持有的变体AR 1 pGN命名为AR 2GN，尽管可能的非光滑性质的正则项。此外，适应现有的理论处理的非光滑结果在一个有趣的修改子问题终止规则，导致更紧凑的复杂性分析。特别是，它示出了当牛顿的步骤是可接受的自适应正则化方法。讨论了非光滑范数正则化的二次多项式的近似极小化问题，并给出了一个新的近似二阶最优性必要条件最优性条件。然后提出了一个专门的算法，以执行一阶和二阶条件，这些条件足够强，以确保在AR 1 pGN（当$p=2$）和AR 2GN中存在合适的步骤，并分析了其迭代复杂性。
2021-05-27 math.OC
Convergence analysis of a norm minimization-based convex vector optimization algorithm
本文提出一种外部逼近算法求解有界凸向量优化问题，通过改进范数最小化标量化模型，证明了有限步终止性及Hausdorff距离误差界，并给出了任意范数与欧几里得范数下的收敛率。
2023-05-23 math.OC
Optimal fine-scale structures in compliance minimization for a uniaxial load in three space dimensions
我们考虑的形状和拓扑最优化问题设计的结构，最大限度地减少材料消耗和（线性）弹性顺应性在一个固定的给定的边界载荷的加权和。众所周知，这个问题通常不是适定的，因为它的解决方案通常需要使用无限精细的微观结构。因此，我们研究奇摄动问题的影响，增加了结构周长的成本。对于二维空间中的单轴和剪切载荷，文献中已经推导出相应的能量标度律。这项工作现在推导出在三维空间中的单轴载荷的情况下的标度律，这可以被认为是最简单的三维设置。从本质上讲，它是预期（并确认在这篇文章中），对于单轴负载的遵守行为几乎像一个标量通量问题的耗散，使下界从模式分析超导体可以直接应用。然而，上界需要对从超导体已知的结构进行非平凡的修改。这些是必要的，因为在弹性力学中，人们有力矩平衡的附加约束。
2022-06-20 math.OC
Approximate Dynamic Programming based on High Dimensional Model Representation
本文介绍了Bellman方程的隐式高维模型表示（HDMR）算法。这种近似技术大大减少了算法的内存需求。此外，我们表明，HDMR使快速近似最小化，这是必不可少的贝尔曼函数的评价。在每个时间步中，参数化的HDMR最小化问题被松弛为置信域问题，所有问题共享同一矩阵。找到它的特征值分解，我们有效地实现所有极小值的估计。HDMR避免了它们的全域表示，然后在下一个时间步中递归地使用相同的方法。一个说明性的例子，N臂bandid问题。我们假设新建立的近似HDMR最小化和置信域问题之间的联系也可以有益于许多其他应用。
2012-10-02 math.OC
Optimal approximation for unconstrained non-submodular minimization
Massachusetts Institute of Technology（麻省理工学院）
子模函数极小化问题已经得到了很好的研究，现有的算法可以精确地解决它，或者可以达到任意的精度。然而，在许多应用中，例如结构化稀疏学习或批量贝叶斯优化，目标函数不是精确的子模，而是接近的。在这种情况下，不存在理论上的保证。事实上，次模最小化算法依赖于次模性和凸性之间的复杂联系。我们展示了如何将这些关系扩展到最小化非次模函数的近似保证，其特征在于函数是如何接近次模的。我们还将这一结果扩展到噪声函数的评价。我们的近似结果是第一次最小化非次模函数，是最佳的，我们的匹配下界建立。
2022-03-09 cs.DM cs.DS cs.LG
The Quadratic Graver Cone, Quadratic Integer Minimization, and Extensions
研究了在变维整数点上极小化满足线性不等式的二次函数的非线性整数规划问题。我们证明了当定义系统的矩阵的Graver基给定，且二次函数位于一个合适的{ \em对偶Graver锥}中时，问题可以在多项式时间内求解.本文讨论了这一锥与正半定矩阵的锥之间的关系，并证明了二者互不包含。所以我们可以在多项式时间内最小化一些非凸和一些（包括所有可分的）凸二次曲面。最后，我们推广我们的结果，有效的整数最小化的任意次数的多元多项式函数躺在适当的锥。
2010-06-04 cs.DM cs.DS math.CO
Minimization of the buckling load of a clamped plate with perimeter constraint
本文研究任意维度下带周长约束的屈曲载荷最小化问题，证明二维最小化板为凸集，高维最优集合为开连通集，并证明高阶特征值在指定周长的凸集族中存在最小化子。
2023-07-06 math.AP math.OC
Convex Optimization for Parallel Energy Minimization
INRIA（法国国家信息与自动化研究所）；Instituto de Ingeniería del Conocimiento（知识工程研究所）；Universidad Autónoma de Madrid（马德里自治大学）；Massachusetts Institute of Technology（麻省理工学院）
能量最小化一直是计算机视觉研究的核心问题。随着图像尺寸（2D和3D）的增长，现在非常期望并行地运行能量最小化算法。但现有的许多算法，特别是一些有效的组合算法，很难并行化。通过利用凸和次模理论的结果，我们重新制定的二次能量最小化问题作为一个总变分去噪的问题，这，当被视为几何，使使用基于投影和反射的凸方法。由此产生的min-cut算法（和代码）在概念上非常简单，并且解决了一系列TV去噪问题。我们进行了广泛的实证评估比较国家的最先进的组合算法和凸优化技术。在小问题上，迭代凸方法与组合最大流算法相匹配，而在较大的问题上，它们提供了其他灵活性和重要的收益：（a）它们的内存占用很小;（b）它们的直接并行性适合多核平台;（c）它们可以很容易地热启动;（d）它们可以快速达到近似好的解决方案，从而实现更快的“不精确”解决方案。我们的方法基于子模块性和凸性的一个关键后果是，它允许将任何任意的组合或凸方法作为子程序，这使得人们可以获得混合组合和凸优化算法，受益于两者的优势。
2015-03-05 cs.CV math.OC
An Equivalence Between Static and Dynamic Regret Minimization
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）；KAUST（阿卜杜拉国王科技大学）
该研究证明在线凸优化线性损失下动态与静态遗憾最小化等价，揭示损失方差与比较器可变性的下界权衡，首次证伪平方路径长度自适应的遗憾界，提出局部平滑可变性概念与对应动态遗憾保证算法。
2024-11-01 cs.LG math.OC stat.ML
Semi-proximal Mirror-Prox for Nonsmooth Composite Minimization
GeorgiaTech（佐治亚理工学院）；NYU（纽约大学）；Inria（法国国家信息与自动化研究所）
我们提出了一个新的一阶优化算法来解决高维非光滑复合极小化问题。这类问题的典型示例具有分解成非平滑经验风险部分和非平滑正则化惩罚的目标。所提出的算法，称为半近端双Prox，利用芬克尔型表示的一部分的目标，而通过线性最小化的域处理的其他部分的目标。该算法与更经典的平滑近似梯度算法相反，后者需要在每次迭代时计算近似算子，因此对于高维问题是不切实际的。我们建立了理论上的收敛速度的半邻近的双Prox，它表现出最佳的复杂性界，即$O(1/ε^2)$，为数量的调用线性最小化oracle。我们提出了有前途的实验结果显示的兴趣的方法相比，竞争的方法。
2015-07-06 cs.LG math.OC
Minimization of $λ_2(Ω)$ with a perimeter constraint
研究了拉普拉斯算子在给定周长的集合中的第二Dirichlet特征值的极小化问题。在两个维度，我们证明了最佳存在，是凸的，定期的，其边界恰好包含两个点的曲率为零。在$N$维中，我们证明了一类关于集合包含和$γ$下连续的泛函的更一般的存在性定理.
2009-06-02 math.AP math.OC math.SP
Distributionally Robust Variance Minimization: Tight Variance Bounds over $f$-Divergence Neighborhoods
分布鲁棒优化（DRO）是一种广泛使用的框架，用于在随机性和模型形式不确定性的情况下优化目标泛函。许多DRO问题的实际解决方案中的关键步骤是对所选模型模糊度集（通常是无穷维的）的优化进行易于处理的重新表述。以前的工作已经解决了这个问题的情况下，目标功能是一个期望值。在本文中，我们研究的目标泛函是一个期望值和方差惩罚项的总和。证明了相应的方差惩罚DRO问题在$f$ -发散邻域上可以转化为有限维凸优化问题。该结果还提供了对方差的严格的不确定性量化界限。
2021-04-20 math.OC math.PR
Existence of an optimal domain for minimizing the fundamental tone of a clamped plate of prescribed volume in arbitrary dimension
在19世纪，瑞利勋爵（Lord Rayleigh）指出，在所有给定面积的固定板中，圆盘最小化了基音。20世纪90年代，N. S. Nadirashvili在$\mathbb{R}^2$和M. S.阿什博河D. Benguria在$\mathbb{R}^2$和$\mathbb{R}^3$中给出了证明。本文证明了在给定测度下，在$\mathbb{R}^n$的所有开有界子集中，最小化基音的最优域$n\geq 4$的存在性.我们将固支板的基频最小化问题表示为一个带有惩罚项的体积约束的自由边界值问题。当惩罚参数变小时，我们证明了最优形状问题得到了解决。
2021-09-03 math.AP math.OC
RAPID: Rapidly Accelerated Proximal Gradient Algorithms for Convex Minimization
Boston University（波士顿大学）
本文提出了一种新的加速邻近梯度（APG）算法。为了最小化一个凸函数$f(\mathbf{x})$，我们的算法在APG中的每个邻近梯度步骤之后引入一个简单的线搜索步骤，使得在固定变量$\mathbf{x}$的情况下，双凸函数$f(θ\mathbf{x})$在标量变量$θ>0$上最小化。我们提出了两种新的方法来构建辅助变量的APG的基础上的中间解决方案的最近梯度和线搜索步骤。我们证明了在任意迭代步长$t (t\geq1)$，我们的算法可以达到一个更小的上限之间的差距的当前和最优的目标值比传统的APG方法，如FISTA，使它在实践中收敛速度更快。事实上，我们的算法可以潜在地应用于许多重要的凸优化问题，如稀疏线性回归和核支持向量机。我们的实验结果清楚地表明，我们的算法收敛速度比APG在上述所有的应用程序，甚至与一些复杂的求解器。
2014-06-18 cs.LG math.OC stat.ML
Minimization of p-Laplacian via the Finite Element Method in MATLAB
能量泛函的最小化基于有限元法的离散化和信赖域法的优化。一个关键的工具是一个本地评估的近似梯度连同稀疏的黑塞矩阵。我们描述了一个矢量化的MATLAB实现的p-Laplace问题在一个和两个空间维度，但它很容易适用于其他能源配方。
2021-05-16 cs.NA math.NA math.OC
Convergence of fixed-point continuation algorithms for matrix rank minimization
矩阵秩最小化问题在系统辨识、最优控制、低维嵌入等领域有着广泛的应用。由于该问题一般是NP-困难的，因此其凸松弛问题--核范数最小化问题往往被求解。最近，Ma，Goldfarb和Chen提出了一种求解核范数最小化问题的不动点延拓算法.该算法通过引入一种近似的奇异值分解技术，通常可以得到矩阵秩最小化问题的解。本文研究了矩阵秩最小化问题的不动点延拓算法及其变形的收敛性和可恢复性。启发式确定矩阵的秩时，其真实的秩是未知的也提出了。这些算法中的一些与压缩感知中的贪婪算法密切相关。这些算法求解仿射约束矩阵秩最小化问题的数值结果的报告。
2010-12-29 cs.IT math.IT math.OC
Interference Alignment Designs for Secure Multiuser MIMO Systems: Rank Constrained Rank Minimization Approach
在本文中，我们制定的干扰对齐（IA）问题的多用户多输入多输出（MIMO）系统中存在的窃听作为一个秩约束秩最小化（RCRM）问题。所提出的秩最小化IA方案的目的是找到预编码和接收器子空间矩阵，以将干扰和窃听信号对齐到最低维度的子空间中，同时保持所需的信号子空间跨越全部可用的空间维度。针对秩函数的非凸性，提出了RCRM问题的两种凸松弛，即核范数（NN）和加权核范数（RNN），并将秩约束转化为等价的、易处理的约束.然后，我们推导出一个坐标下降的方法来获得IA计划的解决方案。仿真结果表明，我们提出的IA设计优于传统的IA设计的平均保密和率。另一方面，我们提出的设计执行相同或更好的比其他安全IA计划，占低干扰和窃听信号功率，而不是低维度的干扰和窃听信号矩阵的系统，实现完美的IA。
2015-08-04 cs.IT math.IT math.OC
Asymptotic Dynamics of Alternating Minimization for Bilinear Regression
本研究利用副本方法分析渐近极限下双线性回归交替最小化的动力学，发现其可由二维离散随机过程描述并揭示记忆依赖结构，理论框架可扩展至其他迭代算法分析。
2025-01-31 cond-mat.dis-nn math.OC stat.ML
Unified Analysis on L1 over L2 Minimization for signal recovery
在本文中，我们进行了一个统一的研究$L_1$在$L_2$稀疏促进模型，这是广泛使用的制度的相干字典恢复稀疏非负/任意信号。首先，我们对约束和无约束$L_{1}/L_{2}$模型的整体解的存在性给出了统一的理论分析。其次，我们分析了这些$L_{1}/L_{2}$模型的任何局部极小的稀疏性，作为一个证书，以排除非局部极小平稳解。第三，我们得到了非负约束下$L_{1} / L_{2}$邻近算子的解析解。在此基础上，我们将乘子交替方向法以一种特殊的分裂方式应用于非负约束的无约束模型，称为ADMM $_p^+$。我们建立了它的全局收敛到d-平稳的解决方案（尖锐的平稳）没有库尔迪卡-Eschojasiewicz假设。大量的数值模拟证实了ADMM $_p^+$优于国家的最先进的方法在稀疏恢复。具体地，ADMM $_p^+$将计算时间减少约$95\%\sim99\%$，同时实现比用于波长未对准问题的常用缩放梯度投影法高得多的精度。
2023-01-22 cs.IT math.IT math.OC
Nonlinear Bipartite Matching
研究了二部匹配上的非线性目标函数的优化问题。虽然这个问题一般是棘手的，我们提供了几个有效的算法，它包括一个确定性的算法，最大限度地提高凸目标，近似算法的范数最小化和最大化，和随机算法优化任意目标。
2006-05-23 cs.CC cs.DM math.CO
