A norm minimization-based convex vector optimization algorithm

On the Arrow-Hurwicz differential system for linearly constrained convex minimization

In a real Hilbert space setting, we reconsider the classical Arrow-Hurwicz differential system in view of solving linearly constrained convex minimization problems. We investigate the asymptotic properties of the differential system and provide conditions for which its solutions converge towards a saddle point of the Lagrangian associated with the convex minimization problem. Our convergence analysis mainly relies on a `Lagrangian identity' which naturally extends on the well-known descent property of the classical continuous steepest descent method. In addition, we present asymptotic estimate…

混合凸极小化的对偶性

Duality for Mixed-Integer Convex Minimization

我们以两种方式将标准的Karush-Kuhn-Tucker最优性条件推广到具有凸目标、凸泛函约束和某些变量必须是整数的额外要求的问题。虽然标准的Karush-Kuhn-Tucker条件涉及分离超平面，我们的扩展是基于无格多面体。我们的最优性条件允许我们定义一个精确的对偶我们原来的混合整数凸问题。

凸函数级数：次微分、共轭及其在熵极小化中的应用

Series of convex functions: subdifferential, conjugate and applications to entropy minimization

X给出了定义在巴拿赫空间上的一系列凸函数之和的次微分公式. Y. 1998年的郑。本文除了将郑文的结果稍微推广到局部凸空间外，还给出了一个凸函数的可数和的共轭公式。然后利用这些结果计算了与熵最小化有关的两种情形下的次微分和共轭，并研究了统计物理中遇到的一个具体例子.

On the oracle complexity of smooth strongly convex minimization

We construct a family of functions suitable for establishing lower bounds on the oracle complexity of first-order minimization of smooth strongly-convex functions. Based on this construction, we derive new lower bounds on the complexity of strongly-convex minimization under various inaccuracy criteria. The new bounds match the known upper bounds up to a constant factor, and when the inaccuracy of a solution is measured by its distance to the solution set, the new lower bound exactly matches the upper bound obtained by the recent Information-Theoretic Exact Method by the same authors, thereby e…

线性约束凸极小化的乘子投影方法

Projective method of multipliers for linearly constrained convex minimization

本文提出了一种求解线性约束凸优化问题的方法，该方法是将Eckstein和Svaiter提出的求两个单调算子和的零点的已知算法应用于对偶问题.我们建立收敛速度的新方法，我们目前的应用程序，电视去噪和压缩感知问题。

A Non-Monotone Conjugate Subgradient Type Method for Minimization of Convex Functions

We suggest a conjugate subgradient type method without any line-search for minimization of convex non differentiable functions. Unlike the custom methods of this class, it does not require monotone decrease of the goal function and reduces the implementation cost of each iteration essentially. At the same time, its step-size procedure takes into account behavior of the method along the iteration points. Preliminary results of computational experiments confirm efficiency of the proposed modification.

Inexact Newton method for minimization of convex piecewise quadratic functions

An inexact Newton type method for numerical minimization of convex piecewise quadratic functions is considered and its convergence is analyzed. Earlier, a similar method was successfully applied to optimizaton problems arising in numerical grid generation. The method can be applied for computing a minimum norm nonnegative solution of underdetermined system of linear equations or for finding the distance between two convex polyhedra. The performance of the method is tested using sample data from NETLIB family of the University of Florida sparse matrix collection as well as quasirandom data.

使用长步长的M-凸函数最小化最速下降算法

Steepest Descent Algorithm for M-convex Function Minimization Using Long Step Length

本文针对整数格点上的M-凸函数最小化问题，提出在最速下降算法及其变体中有效使用长步长，以减少运行时间并获得改进的时间界。

Conditional Infimum and Hidden Convexity in Optimization

Detecting hidden convexity is one of the tools to address nonconvex minimization problems. After giving a formal definition of hidden convexity, we introduce the notion of conditional infimum, as it will prove instrumental in detecting hidden convexity. We develop the theory of the conditional infimum, and we establish a tower property, relevant for minimization problems. Thus equipped, we provide a sufficient condition for hidden convexity in nonconvex minimization problems. We illustrate our result on nonconvex quadratic minimization problems. We conclude with perspectives for using the cond…

随机三复合凸极小化

Stochastic Three-Composite Convex Minimization

本文提出了一种求解三个凸函数之和极小化的随机最优化方法，其中一个凸函数具有Lipschitz连续梯度和限制强凸性。我们的方法是最适合的设置，它是计算上有利的处理光滑项的分解与其随机梯度估计和其他两个功能分别与他们的邻近算子，如双重正则化的经验风险最小化问题。在光滑项的随机梯度估计的标准假设下，我们证明了所提出的算法的收敛性。我们的方法在原始空间中操作，可以被认为是三算子分裂方法的随机扩展。数值证据支持我们的方法在现实世界中的问题的有效性。

复合凸极小化的条件梯度框架及其在半定规划中的应用

A Conditional Gradient Framework for Composite Convex Minimization with Applications to Semidefinite Programming

我们提出了一个具有广泛应用的复合凸最小化模板的条件梯度框架。我们的方法结合了平滑和同伦技术的CGM框架下，并证明达到最佳的$\mathcal{O}(1/\sqrt{k})$收敛速度。我们证明了，同样的速度举行，如果线性子问题近似解决加性或乘性误差。与相关工作相比，当非光滑项是指示函数时，我们能够刻画收敛性。我们的框架的具体应用包括非光滑最小化，半定规划，最小化与线性包含约束的紧域。数字证据证明了我们的框架的好处。

基于Optimization的凸分段仿射函数解的唯一性及其在约束$\ell_1$极小化中的应用

Solution Uniqueness of Convex Piecewise Affine Functions Based Optimization with Applications to Constrained $\ell_1$ Minimization

本文研究了一类带有凸分段仿射函数和一般多面体约束的凸优化问题的解的唯一性。这类问题包含了许多重要的多面体约束$\ell_1$恢复问题所产生的稀疏优化，如基追踪，LASSO，和基追踪去噪，以及多面体规范恢复。通过利用凸分段仿射函数和凸分析工具的最大公式，我们开发了对偶变量的必要和充分的唯一性条件，通过简单而统一的方法，这些条件适用于广泛的$\ell_1$最小化问题下可能的多面体约束。提出了一种有效的线性规划方法来验证解的唯一性条件。本文所得到的结果不仅恢复了文献中已知的解的唯一性条件，通过删除限制性假设，但也产生新的唯一性条件，更广泛的约束$\ell_1$ -极小化问题。

具有一个强凸块的凸极小问题的收敛$3$ -块半邻近ADMM

A Convergent $3$-Block Semi-Proximal ADMM for Convex Minimization Problems with One Strongly Convex Block

本文提出了一种求解$3$ -块可分凸极小化问题的半近似交替方向法（ADMM），目标函数的第二个块为强凸函数，约束为一个耦合线性方程组.通过适当地选择半邻近项，我们建立了所提出的半邻近ADMM的步长$τ\in (0, (1+\sqrt{5})/2)$和罚参数$σ\in (0, +\infty)$的整体收敛。具体地，如果$σ>0$小于某个阈值并且线性方程约束中的第一和第三线性算子是单射的，则可以丢弃所有三个添加的半邻近项，并且因此，收敛的$3$块半邻近ADMM简化为具有$τ\in (0, (1+\sqrt{5})/2)$的直接扩展的$3$块ADMM。

FISTA在仿射约束凸二次最优化中的强收敛性

Strong Convergence of FISTA for Affinely Constrained Convex Quadratic Minimization

本文证明了在无闭合条件假设下，FISTA在仿射二次优化中的强收敛性，并特别指出了Nesterov加速梯度法在凸二次目标函数中的强收敛性。

求解凸极小化问题的带速率$O(1/k^{1.5})$的快速对偶邻近梯度算法

Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization

考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度（FDPG）方法以速率$O(1/k^2)$减小对偶函数，从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法，保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联，所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。

One Method for Minimization a Convex Lipschitz-Continuous Function of 2 Variables on a Fixed Square

In the article we have obtained some estimates of the rate of convergence for the recently proposed by Yu.E. Nesterov method of minimization of a convex Lipschitz-continuous function of two variables on a square with a fixed side. The method consists in solving auxiliary problems of one-dimensional minimization along the separating segments and does not imply the calculation of the exact value of the gradient of the objective functional. Experiments have shown that the method under consideration can achieve the desired accuracy of solving the problem in less time than the other methods (gradie…

On the rate of convergence of alternating minimization for non-smooth non-strongly convex optimization in Banach spaces

In this paper, the convergence of alternating minimization is established for non-smooth convex optimization in Banach spaces, and novel rates of convergence are provided. As objective function a composition of a smooth and a non-smooth part is considered with the latter being block-separable, e.g., corresponding to convex constraints or regularization. For the smooth part, three different relaxations of strong convexity are considered: (i) quasi-strong convexity; (ii) quadratic functional growth; and (iii) plain convexity. Linear convergence is established for the first two cases, generalizin…

An inertial alternating direction method of multipliers for solving a two-block separable convex minimization problem

The alternating direction method of multipliers (ADMM) is a widely used method for solving many convex minimization models arising in signal and image processing. In this paper, we propose an inertial ADMM for solving a two-block separable convex minimization problem with linear equality constraints. This algorithm is obtained by making use of the inertial Douglas-Rachford splitting algorithm to the corresponding dual of the primal problem. We study the convergence analysis of the proposed algorithm in infinite-dimensional Hilbert spaces. Furthermore, we apply the proposed algorithm on the rob…

仿射约束下强凸单函数极小化问题的对偶方法

Dual approaches to the strongly convex simple function minimization problem under affine restrictions

本文研究了带仿射型约束的强凸优化问题。建立了对偶问题，并利用快速梯度法求解对偶问题。我们利用这种方法的原始-对偶结构来构造原始问题的解。该文件包含了很多不同的技巧，允许推广上述结果，几乎所有的方法，我们想选择解决对偶问题。

凸泛函随机极小化的变分方法

A variational approach to stochastic minimization of convex functionals

最小化凸积分泛函的随机方法，由Robbins和Monro在20世纪50年代早期发起，依赖于梯度（或次梯度，如果函数不光滑）的评估并在相应的方向上移动。相比之下，我们使用变分技术导致隐式随机最小化方法，最近出现在几个不同的背景下。这种方法是可取的，只要底层空间不具有可微结构，而且它表现出更好的稳定性，这使得它更可取，甚至在线性空间。我们的结果制定在局部紧Hadamard空间，但他们是新的，即使在欧几里得空间，主要的新颖性是更一般的增长条件的功能。我们验证了我们的收敛性定理的假设是满足在几个经典的极小化问题。

含指示变量的凸子模极小化

Convex Submodular Minimization with Indicator Variables

针对含指示变量的广义凸子模优化问题，提出经重构简化为二元子模极小化的强多项式求解方法，结合特定光滑条件下的参数化极端基计算，实现高效求解并获数值实验验证。

An Optimal Algorithm for Strongly Convex Minimization under Affine Constraints

Optimization problems under affine constraints appear in various areas of machine learning. We consider the task of minimizing a smooth strongly convex function F(x) under the affine constraint Kx=b, with an oracle providing evaluations of the gradient of F and multiplications by K and its transpose. We provide lower bounds on the number of gradient computations and matrix multiplications to achieve a given accuracy. Then we propose an accelerated primal-dual algorithm achieving these lower bounds. Our algorithm is the first optimal algorithm for this class of problems.

凸优化的牛顿型交替极小化算法

Newton-type Alternating Minimization Algorithm for Convex Optimization

本文提出了求解结构化非光滑凸优化问题的NAMA（Newton-type Alternating Minimization Algorithm）算法，其中两个函数之和是极小化的，其中一个是强凸函数，另一个是由一个线性映射组成的.所提出的算法是一个线搜索法在一个连续的，实值的，精确罚函数相应的对偶问题，这是计算通过评估增广拉格朗日在原始点交替最小化。因此，NAMA依赖于与经典交替最小化算法（AMA）完全相同的计算，AMA也称为双近端梯度法。在标准假设下，该算法具有强收敛性，而在较弱的附加假设下，只要搜索方向按拟牛顿公式选取，则算法的渐近收敛是超线性的.由于其简单性，所提出的方法是非常适合于嵌入式应用程序和大规模的问题。实验结果表明，NAMA算法中使用有限内存方向大大提高了收敛速度。

带二次耦合项的不可分凸极小化模型的扩展ADMM和BCD：收敛性分析及启示

Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights

本文对具有二次耦合项的不可分极小化模型建立了乘子的近似交替方向法（ADMM）和块坐标下降法（BCD）的收敛性.本文提出的新的收敛结果回答了几个开放的问题，一直是相当多的讨论的主题。我们首先扩展2块近端ADMM线性约束的凸优化与耦合二次目标函数，理论上的理解是目前缺乏的一个领域，并证明了由近端ADMM产生的序列逐点收敛到一个原始-对偶解决方案对。将随机置换ADMM（RPADMM）应用于不可分多块凸优化，并证明了其对一类不可分二次规划问题的期望收敛性。当线性约束消失时，2-块邻近ADMM和RPADMM退化为2-块循环邻近BCD方法和随机排列BCD（RPBCD）。我们的研究提供了第一个2-块循环邻近BCD的收敛结果，而不假设迭代的有界性。我们还从理论上建立了凸二次优化的多块RPBCD的期望收敛性结果。此外，我们证明了RPBCD可能有一个更差的收敛速度比循环接近BCD 2块凸二次极小化问题。虽然RPADMM和RPBCD的结果仅限于二次极小化模型，但它们提供了一些有趣的见解：1）随机置换使ADMM和BCD对多块凸极小化问题更具鲁棒性; 2）循环BCD对“好”问题的性能可能优于RPBCD，因此RPBCD在求解一般凸优化问题时应谨慎应用。

分块结构可分凸整数极小化问题的Graver基与邻近技术

Graver basis and proximity techniques for block-structured separable convex integer minimization problems

考虑N重4块可分解整数规划，它同时推广了N重整数规划和N种情形的两阶段随机整数规划。在以前的工作[R。Hemmecke，M.克普河Weismartel，N重4块可分解整数规划优化的多项式时间算法，Proc. IPCO 2010，计算机科学讲义，第6080卷，Springer，2010，pp. 219- 229]，证明了对于固定的块但变量N，这些整数规划对于任何线性目标都是多项式时间可解的。我们将这一结果推广到可分凸目标函数的极小化问题。我们的算法结合了Graver基技术与邻近结果[D.S. Hochbaum和J.G. Shanthikumar，凸可分离优化不比线性最优化难多少，J. ACM 37（1990），843- 862]，它允许我们使用凸连续优化作为子程序。

椭圆中心法用于强凸最小化

The Method of Ellipcenters for strongly convex minimization

本文提出椭圆中心法用于强凸最小化问题，证明其在一般可微强凸目标下的收敛性，扩展了该方法的应用范围。

凸整数极小化的多项式预言时间算法

A polynomial oracle-time algorithm for convex integer minimization

在本文中，我们考虑的解决方案，某些凸整数极小化问题的贪婪增广程序。我们表明，一个贪婪的增广过程，只需要多项式的许多增广步骤来解决给定的问题，只采用某些Graver基地的方向。我们将这些结果推广到凸$N$倍整数极小化问题和凸2阶段随机整数极小化问题。最后，我们提出了一些应用的凸$N$倍整数最小化问题，我们的方法提供了多项式时间的解决方案的算法。

多块ADMM求解一类非强凸极小化问题的迭代复杂性分析

Iteration Complexity Analysis of Multi-Block ADMM for a Family of Convex Minimization without Strong Convexity

乘子交替方向法因其优越的实用性能而被广泛应用于求解结构凸优化问题。然而，在理论方面，[7]中示出了一个反例，该反例表明用于最小化具有由线性约束链接的$N$块变量的$N$ $(N\geq 3)$凸函数的和的多块ADMM可能发散。因此，进一步研究输入侧上的充分条件以保证多块ADMM的收敛性是非常有意义的。现有的结果通常需要强凸性的部分目标。在本文中，我们提出的收敛性和收敛速度的多块ADMM适用于解决某些$N$块$(N\geq 3)$凸极小化问题，而不需要强凸性。具体地说，我们证明了以下两个结果：（1）多块ADMM通过对原问题求解一个相关的扰动，在$O(1/ε^2)$迭代内返回一个$ε$ -最优解;（2）当多块ADMM被应用于解决某个共享问题时，多块ADMM在$O(1/ε)$迭代内返回$ε$最优解，在增广拉格朗日函数满足Kurdyka-Lojasiewicz性质的条件下，该性质基本上覆盖了除某些病态情况外的大多数凸优化模型.

线性约束凸优化乘子块逐次上界极小化方法

A Block Successive Upper Bound Minimization Method of Multipliers for Linearly Constrained Convex Optimization

考虑线性耦合约束下光滑凸函数与可分非光滑凸函数之和的极小化问题。这种形式的问题出现在许多当代应用中，包括信号处理、无线网络和智能电网供应。出于这些应用程序的巨大规模，我们提出了一类新的一阶原始对偶法称为块连续上限最小化方法的乘数（BSUM-M）来解决这个家庭的问题。BSUM-M通过最小化原始问题的增广拉格朗日量的局部紧上界来连续更新原始变量块，然后以封闭形式对对偶变量进行梯度类型更新。我们表明，在一定的规律性条件下，当原始块变量更新的确定性或随机的方式，BSUM-M收敛到一组最优解。此外，在没有线性约束的情况下，我们证明了BSUM-M，它减少到块连续上限最小化（BSUM）方法，是能够线性收敛没有强凸性。

带 Moreau 包络的凸差函数极小化问题的逼近分析

Approximation analysis for the minimization problem of difference-of-convex functions with Moreau envelopes

本文利用 Moreau 包络和 Moreau 梯度下降法研究凸差函数极小化问题，通过灵活正则化各分量，证明惯性梯度法与经典梯度下降均收敛到原问题的近似稳定点。

近似求和凸与强凸函数的最优加速方法

Optimal Acceleration for Proximal Minimization of the Sum of Convex and Strongly Convex Functions

本文提出了一种加速方法FDR，改进了之前工作的常数，并证明了$\mathcal{O}(1/N^2)$收敛速率和FDR的主导常数都是最优的。

无需线搜索的自适应Bregman近似梯度法用于在局部相对平滑性下的凸最小化

Linesearch-free adaptive Bregman proximal gradient for convex minimization under local relative smoothness

本文提出了一种无需全局相对平滑性或强凸性假设的自适应Bregman近似梯度算法，通过局部曲率估计生成步长，避免了回溯线搜索。利用Bregman泛化的Young不等式控制关键内积，适用于局部相对平滑的可微项问题。

线性极小化预言机给定区域上双线性鞍点问题和带仿射单调算子的变分不等式的分解技巧

Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles

求解大型凸凹鞍点问题和单调算子的变分不等式的一阶方法大多数都是近似算法，在每次迭代时都需要极小化问题区域X上的一个线性型与一个强凸函数之和。为了使这样的算法实用，X应该是近似友好的--允许一个强凸函数，容易使线性扰动最小化。作为一个副产品，X允许一个计算成本低的线性最小化Oracle（LMO），能够最小化X个线性型。然而，在一些重要的情况下，廉价的LMO确实是可用的，但是X不是邻近友好的，这促使搜索仅基于LMO的算法。对于光滑凸极小化问题，存在一种经典的基于线性最优的算法--条件梯度算法。与此相反，我们已知的其他问题的凸结构（非光滑凸最小化，凹凸鞍点问题，甚至作为简单的双线性，和变分不等式与单调算子，甚至作为简单的仿射）的基于LMO的技术是相当新的，并利用共同的方法基于Fenchel型表示的相关目标/向量场。本文的目标是开发一种替代的（似乎更简单）基于LMO的分解技术的双线性鞍点问题和变分不等式与仿射单调算子。

光滑凸极小化的优化一阶方法

Optimized first-order methods for smooth convex minimization

我们引入新的优化一阶光滑无约束凸极小化方法。Drori和Teboulle最近描述了一种计算一类一阶算法中的$N$ -迭代最优步长系数的数值方法，这些一阶算法包括梯度法、重球法和Nesterov的快速梯度法。然而，Drori和Teboulle的数值方法是计算昂贵的大型$N$，相应的数值优化的一阶算法需要不切实际的内存和计算的大规模最优化问题。在本文中，我们提出了优化的一阶算法，实现了收敛范围是2倍小于Nesterov的快速梯度法，我们的边界被发现解析和细化的数值界。此外，所提出的优化一阶方法具有高效的递归形式，非常类似于Nesterov的快速梯度法。

面向(非)凸优化的一般高阶majorization-minimization算法的系统方法

A systematic approach to general higher-order majorization-minimization algorithms for (non)convex optimization

本文提出一般高阶majorization-minimization算法框架，解决(非)凸(非)光滑优化问题，并证明了其从全局次线性到局部超线性的收敛速率及稳定点保证。

三个凸可分函数和极小化的原-对偶不动点算法

A primal-dual fixed-point algorithm for minimization of the sum of three convex separable functions

图像处理和信号恢复中的许多问题都可以归结为三个凸可分函数之和的最小化问题。通常，目标函数包括具有Lipschitz连续梯度的光滑函数、线性复合非光滑函数和非光滑函数。在本文中，我们提出了一个原始-对偶不动点（PDFP）计划来解决上述问题。当非光滑函数可以通过其邻近算子（如$\ell_1$型正则化）求解时，该算法是一种完全分裂的对称格式，只涉及显式梯度算子和线性算子，不需要内迭代.我们研究了该算法的收敛性，并通过融合LASSO和图像恢复与非负约束和稀疏正则化的例子来说明它的效率。

凸优化具有次线性收敛速度的交替极小化方法的变形

Variants of alternating minimization method with sublinear rates of convergence for convex optimization

交替极小化（AM）方法是求解变量由两个块组成的凸函数极小化问题的一种基本方法。如何有效地求解每一个子问题是应用AM方法时最关心的问题。在本文中，我们调查这一任务，并设计了两个新的变体的AM方法借用近端线性化技术。第一种变式非常适合于一半子问题难以求解而另一半子问题可以直接计算的情况。第二种变体是为并行计算而设计的。这两种方法在每个迭代步骤中都具有简单性的特点。从理论上讲，在邻近算子的帮助下，我们首先将新的和现有的AM变体写成统一的表达式，然后证明它们在非常小的假设下具有次线性收敛速度。

光滑凸极小化优化梯度法的推广

Generalizing the optimized gradient method for smooth convex minimization

本文推广了优化梯度法（OGM），它能使光滑凸极小化一阶方法的最坏费用函数界达到最优。具体而言，本文研究了广义的制定OGM和分析其最坏情况下的利率的函数值和范数的函数梯度。本文还提出了一种新的算法称为OGM-OG，它是在OGM的广义家庭，并具有最好的已知的分析最坏情况下的限制率$O(1/N^{1.5})$的梯度范数下降固定步骤的一阶方法。本文还证明了Nesterov的快速梯度法具有$O(1/N^{1.5})$最坏情况梯度范数率，但常数大于OGM-OG。证明是基于最坏情况下的分析称为性能估计问题。

交替线性最小化：重新审视冯·诺依曼的交替投影

Alternating Linear Minimization: Revisiting von Neumann's alternating projections

本文提出一种在仅能使用线性最小化算子的情况下，通过交替投影找到两个凸集交集的算法，扩展了冯·诺依曼经典结果的应用范围。

强凸集上线性最小化oracle方法的下界

Lower Bounds for Linear Minimization Oracle Methods Optimizing over Strongly Convex Sets

研究强凸集上线性最小化oracle方法的下界，证明确定性方法在保证目标间隙小于ε时的迭代次数下界，并指出在特定光滑条件下基于跨度的LMO方法无法改进复杂度。

非欧几里得Hölder光滑凸优化中的最优梯度范数最小化

Optimal Gradient-Norm Minimization in Non-Euclidean Hölder-Smooth Convex Optimization

本研究针对关于ℓₚ范数的Hölder光滑凸优化问题，开发两类算法填补了梯度范数最小化的复杂度差距，解决了p>2等未决问题，实现近最优梯度或acular复杂度。

光滑凸极小化一阶方法的性能：一种新方法

Performance of first-order methods for smooth convex minimization: a novel approach

我们介绍了一种新的方法来分析一阶黑箱最优化方法的性能。本文主要研究欧几里得空间$R^d$上的光滑无约束凸极小问题。我们的方法依赖于观察，根据定义，黑盒最优化方法的最坏情况行为本身就是一个最优化问题，我们称之为性能估计问题（PEP）。我们制定和分析PEP两类一阶算法。我们首先将这种方法应用于经典的梯度法，并推导出一个新的和严格的分析界限，其性能。然后，我们考虑更广泛的一类一阶黑箱方法，其中包括所谓的重球方法和快速梯度计划。我们表明，对于这个更广泛的类，它是可能的，这些方法的性能，通过解决一个充分放松的凸半定PEP得到新的数值界。最后，我们展示了一个有效的程序，找到最佳的步长，从而在一阶黑盒方法，达到最佳性能。

凸规划中梯度最小化的高阶累积正则化

High-order Accumulative Regularization for Gradient Minimization in Convex Programming

针对现有高阶方法中函数值残差与梯度范数收敛率不匹配的问题，本文提出高阶累积正则化框架，将快速函数值残差收敛率转化为梯度范数收敛率，设计无参数算法并扩展至一致凸情形，推广现有方法且恢复一阶算法特例。

线性约束强凸极小问题的快速原-对偶梯度法

Fast Primal-Dual Gradient Method for Strongly Convex Minimization Problems with Linear Constraints

本文考虑了一类目标函数为强凸的最优化问题，其可行集由简单凸集与由若干线性等式和不等式约束给出的集的交给出.许多应用中的最优化问题都可以用这种形式表示，例如熵线性规划，岭回归，弹性网，正则化最优输运等。我们将快速梯度法应用于对偶问题，使其成为原始-对偶问题，从而不仅允许解决对偶问题，而且构造原问题的近最优和近可行解。我们还证明了一个定理的收敛速度为所提出的算法的目标函数和线性约束不可行。

关于拟L$^{\ atural}$-凸函数最小化的最速下降算法的注记

Note on Steepest Descent Algorithm for Quasi L$^{\natural}$-convex Function Minimization

该研究定义了半严格拟L$^{\ atural}$-凸函数这类离散拟凸函数，证明L$^{\ atural}$-凸函数最小化的最速下降算法对其适用，并拓展迭代次数分析，揭示该算法的测地性质。

带指示变量的凸次模最小化

Convex Submodular Minimization with Indicator Variables

本文研究带指示变量的凸次模优化问题，证明其可归约为二元次模最小化从而强多项式可解，并提出基于极端基的参数化快速求解方法，通过数值实验验证了其效率。

加速邻近坐标梯度法及其在正则化经验风险最小化中的应用

An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization

考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。

ADMM 与线性化 ADMM 用于弱凸最小化

ADMM and Linearized ADMM for Weakly Convex Minimization

针对光滑凸项加弱凸非光滑项的优化问题，提出 ADMM 及线性化 LADMM 分裂算法，证明收敛到方向稳定解，实验验证高效且解质量与基线相当。

关于积分凸集上递减最小化的一个结构定理的两种证明

Two Proofs of a Structural Theorem of Decreasing Minimization on Integrally Convex Sets

本文针对积分凸集上递减最小化（字典序优化）的结构定理，分别利用Fenchel型对偶定理与Farkas引理给出两种证明，阐明递减最小元素集为单位离散立方体与凸包某面的交集。

大规模凸极小化问题的加速一阶方法

Accelerated first-order methods for large-scale convex minimization

本文讨论了具有Lipschitz连续梯度的光滑问题、具有次梯度有界变差的非光滑问题、具有Hölder连续梯度的弱光滑问题的几种（子）梯度法的最优复杂性.所提出的计划是最佳的光滑强凸问题的Lipschitz连续梯度和最佳的对数因子的非光滑问题的有界变化的次梯度。更具体地说，我们提出了两个估计序列的目标，并给出了两个迭代计划，为他们每个。在这两种情况下，第一个方案需要平滑参数和Hölder常数，而第二个方案是无参数的（除了强凸性参数，如果它不可用，我们设置为零），代价是应用非单调回溯线搜索。所有建议的计划的复杂性分析。在稀疏优化和机器学习中的一些应用的数值结果报告，证实了理论基础。

关于非光滑且相对弱凸的最小化问题

On Nonsmooth and Relatively Weakly Convex Minimization

本文研究非光滑非凸复合优化问题，提出满足次梯度上界条件的确定性Bregman邻近次梯度方法，放宽正则项凸性要求，还拓展出随机场景下收敛速率为$\text{O}(\text{ε}^{-4})$的基于模型的最小化方法及随机预言机访问场景的框架。

一个用于凸最小化与带非线性复合的单调包含问题的扰动框架

A Perturbation Framework for Convex Minimization and Monotone Inclusion Problems with Nonlinear Compositions

本文提出基于Rockafellar扰动理论的框架，用于求解带非线性复合的凸最小化与单调包含问题，在Hilbert空间导出首个完全分裂的块迭代原始-对偶近端算法。

基于非凸分式函数罚的仿射矩阵秩最小化问题

Affine matrix rank minimization problem via non-convex fraction function penalty

仿射矩阵秩最小化问题是一个在许多领域有着重要应用的基本问题。这是众所周知的，这个问题是组合和NP-困难的一般。本文研究了一个连续提升的低秩非凸分式函数来代替该NP难问题中的秩函数。受压缩感知研究的启发，提出了一种迭代奇异值阈值算法来解决正则化变换后的仿射矩阵秩最小化问题。对于不同的$a>0$，通过调整不同的$a$值，可以得到更好的结果，这也是迭代奇异值阈值分割算法相对于现有方法的优点之一。数值实验表明，该阈值算法对于求解正则化变换后的仿射矩阵秩最小化问题是可行的。证明了正则化参数$λ>0$的取值不能太大。实际上，存在$\barλ>0$，使得正则化变换的仿射矩阵秩最小化问题的最优解对于任何$λ>\barλ$都等于零。对矩阵补全问题的数值实验表明，该算法在寻找低秩矩阵方面具有很强的性能，对图像修复问题的数值实验表明，该算法比现有的一些方法具有更好的性能。

On the relations of stochastic convex optimization problems with empirical risk minimization problems on $p$-norm balls

In this paper, we consider convex stochastic optimization problems arising in machine learning applications (e.g., risk minimization) and mathematical statistics (e.g., maximum likelihood estimation). There are two main approaches to solve such kinds of problems, namely the Stochastic Approximation approach (online approach) and the Sample Average Approximation approach, also known as the Monte Carlo approach, (offline approach). In the offline approach, the problem is replaced by its empirical counterpart (the empirical risk minimization problem). The natural question is how to define the pro…