Randomized sketch descent methods for non-separable linearly constrained optimization
本文研究了具有多个线性耦合约束的大规模光滑最优化问题。由于约束的不可分离性，不能保证任意的随机草图。因此，我们首先调查的充要条件和充分条件的草图采样有明确的算法。基于这些采样条件，我们开发了新的草图下降法，特别是随机草图下降和加速随机草图下降法，以解决一般光滑线性约束问题。据我们所知，这是随机草图下降算法的多个不可分离的线性约束的最优化问题的收敛性分析。在一般情况下，当目标函数是光滑的和非凸的，我们证明了非加速变量的次线性率在期望的适当的最优性措施。在光滑凸的情况下，我们推导出这两种算法，非加速和加速随机草图下降，次线性收敛速度的期望值的目标函数。另外，如果目标函数满足强凸性条件，则两种算法均线性收敛于期望值。在特殊情况下，复杂性边界是已知的一些特定的草图算法，如坐标下降法的最优化问题与一个单一的线性耦合约束，我们的理论恢复最知名的界限。我们还表明，当随机草图是素描坐标方向随机产生更好的结果比固定的选择规则。最后，我们提出了一些数值例子来说明我们的新算法的性能。
2018-08-07 math.OC
Portfolio Optimization in Affine Models with Markov Switching
考虑了一个随机因子金融模型，其中资产价格过程和随机因子过程依赖于一个可观测的马尔可夫链，并具有仿射结构。我们面对有限时间的投资期限，并推导出最优的动态投资策略，使投资者的期望效用最大化，从终端财富。为了达到这个目的，我们应用默顿的方法，因为我们处理的是一个不完全的市场。基于马尔可夫链的半鞅特征，我们首先导出了哈密顿-雅可比-贝尔曼方程，在我们的例子中，它对应于一个耦合的非线性偏微分方程组。利用仿射结构的模型，我们推导出简单的表达式的情况下，没有杠杆，即没有相关性之间的布朗运动驱动资产价格和随机因素的解决方案。在杠杆的存在下，我们提出了一个可分离的animals，这导致在这种情况下，以及明确的解决方案。一般验证结果也得到了证明。结果示出的特殊情况下的马尔可夫调制赫斯顿模型。
2014-03-20 math.OC q-fin.PM
Large-scale randomized-coordinate descent methods with non-separable linear constraints
我们发展了线性约束凸优化的随机（块）坐标下降（CD）方法。与大多数CD方法不同，我们不假设约束是可分离的，而是让它们线性耦合。据我们所知，我们是第一个CD方法，允许线性耦合约束，而不会使全局迭代复杂性有一个指数依赖于约束的数量。我们目前的算法和分析四个关键问题的情况下：（一）光滑;（二）光滑+非光滑可分离;（三）异步并行;（四）随机。我们通过仿真实验说明了我们的算法的经验行为。
2015-06-10 math.OC stat.ML
Large Stepsizes Federated Learning on Logistic Regression with Linearly Separable Data: The Case of Heterogeneous Devices
The Chinese University of Hong Kong（香港中文大学）；University of Minnesota（明尼苏达大学）
本文研究线性可分数据下使用FedAvg训练逻辑回归模型，证明任意大步长下算法稳定且目标值以O(1/R)收敛，异构性影响渐消，并通过实验验证。
2026-10-06 cs.LG math.OC
On Accelerating Large-Scale Robust Portfolio Optimization
针对大规模稳健投资组合优化计算成本高的问题，提出扩展支撑超平面近似方法，在标普500成分股组合验证中，相比传统ELG优化大幅缩短计算时间，同时保持稳健样本外表现，提供可扩展的实用解决方案。
2024-08-15 cs.SY eess.SY math.OC
On the optimal portfolio problem with partial information and related mean field games with relative performance criteria
University of Chicago（芝加哥大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Oxford-Man Institute, University of Oxford（牛津大学牛津人研究所）
研究股票漂移部分信息下的最优投资组合选择，通过新方法求解单代理问题并推广到N人博弈的均值场极限，得到显式解和正则性结果。
2026-05-25 math.OC
Bregman Proximal Linearized ADMM for Minimizing Separable Sums Coupled by a Difference of Functions
本文提出一种结合Bregman距离的线性化ADMM分裂算法，用于求解由函数差耦合的非凸非光滑可分离复合优化问题，并证明了其子序列及全序列收敛性，在鲁棒PCA和最优潮流问题上验证了有效性。
2024-09-30 math.OC
Simplicity Bias of Two-Layer Networks beyond Linearly Separable Data
INSAIT；Sofia University（索非亚大学）
本文研究两层神经网络在一般数据集（不限于线性可分）上的简单性偏差，证明训练早期特征聚集于少数方向，并在XOR类数据上精确刻画特征，表明中期特征更利于分布外泛化。
2024-11-07 cs.LG math.OC stat.ML
Learning ReLU Networks on Linearly Separable Data: Algorithm, Optimality, and Generalization
University of Minnesota（明尼苏达大学）；Beijing Institute of Technology（北京理工大学）；Tongji University（同济大学）
具有Rectified Linear Unit（ReLU）激活函数的神经网络（也称为ReLU网络）在各个领域取得了巨大的经验成功。尽管如此，现有的学习ReLU网络的结果要么假设底层数据分布是高斯分布，要么要求网络大小和/或训练大小足够大。在这种情况下，学习双层ReLU网络的问题是在二进制分类设置中进行的，其中数据是线性可分离的，并且采用铰链损失标准。利用随机噪声扰动的力量，本文提出了一种新的随机梯度下降（SGD）算法，该算法可以训练任何单隐藏层ReLU网络以达到全局最优，尽管存在无限多个坏的局部极小值，极大值和鞍点。这是同类结果中的第一个，不需要对数据分布，训练/网络大小或初始化进行假设。收敛到一个全局最小的迭代算法进行了分析，通过建立一个上限和一个下限的非零更新的数量进行。此外，为使用利用经典压缩边界的新型SGD训练的ReLU网络开发了泛化保证。这些保证突出了可靠学习ReLU网络和泄漏ReLU网络在样本复杂性方面的关键区别（至少在最坏的情况下）。仿真数据和实际图像的数值试验验证了算法的有效性和理论的实用价值。
2019-04-06 cs.IT cs.LG math.IT
An Alternating Direction Method of Multipliers for Utility-based Shortfall Risk Portfolio Optimization
School of Data Science, Fudan University（复旦大学数据科学学院）；Department of Industrial and Systems Engineering, University of Minnesota（明尼苏达大学工业与系统工程系）
针对基于效用短缺风险的投资组合优化问题，提出结合样本平均近似与交替方向乘子法的快速可扩展算法，并设计半光滑牛顿法处理高维投影子问题，实现超线性收敛与显著加速。
2026-09-14 math.OC
The Boosted Difference of Convex Functions Algorithm for Value-at-Risk Constrained Portfolio Optimization
本文提出增强型凸函数差分算法（BDCA）求解VaR约束的Markowitz投资组合优化问题，通过新颖线搜索框架处理非光滑DC规划，证明线性收敛，并在挑战性条件下展现出优于机会约束方法的鲁棒性。
2025-10-27 math.OC q-fin.PM q-fin.RM
Separable Convex Optimization with Nested Lower and Upper Constraints
我们研究了一个凸资源分配问题，其中分配的部分和被施加上下界。该模型与大范围的应用有关，包括生产计划、速度优化、分层抽样、支持向量机、投资组合管理和电信。我们提出了一个有效的无梯度分治算法，它使用单调性参数从递归调用中生成有效的边界，并根据子问题的信息消除链接约束。该算法不需要严格的凸性或可微性。它在$\mathcal{O}(n \log m \log \frac{n B}ε)$时间内产生连续问题的$ε$近似解，在$\mathcal{O}(n \log m \log B)$时间内产生整数解，其中$n$是决策变量的数量，$m$是约束的数量，$B$是资源约束。对于线性和二次情形，也实现了$\mathcal{O}(n \log m)$的复杂性。这些是迄今为止这个重要问题类已知的最好的复杂性。我们的实验分析证实了该方法的良好性能，它可以在几秒钟内为多达1，000，000个变量的问题提供最佳解决方案。支持向量有序回归问题的应用前景也进行了研究。
2018-09-08 math.OC
Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出混合雅可比和高斯-塞德尔块坐标更新方法，用于解决线性约束多块结构凸规划问题，通过选择合适的仿射混合矩阵实现理论收敛性，并在数值上优于随机对偶块坐标更新方法。
2018-01-03 cs.NA math.NA math.OC
DOT and DOP: Linearly Convergent Algorithms for Finding Fixed Points of Multi-Agent Operators
研究了有向非平衡多智能体网络上全局算子的分布式不动点寻找问题，其中全局算子是拟非扩张的，每个智能体只能部分地访问全局算子.讨论了两种情况，即全局算子是和可分的块可分的。对于第一种情况，全局算子是局部算子的和，假设局部算子是Lipschitz，每个局部算子都是每个个体Agent所私有的。针对这种情况，提出了一种分布式（或分散式）算法，称为分布式拟平均算子跟踪算法（DOT），并对其进行了严格的分析，证明了该算法在线性正则条件下能够以线性速率收敛到全局算子的不动点，这比现有凸优化文献中对费用函数的强凸性假设要弱.对于第二种情况，全局算子由一组局部块算子组成，这些局部块算子是Lipschitz算子，并且只能由每个个体代理访问。在此基础上，提出了一种分布式算法，称为分布式拟平均算子播放算法（DOP），并证明了在线性正则性条件下，该算法线性收敛于全局算子的一个不动点.上述研究问题为许多有趣的问题提供了一个统一的框架。作为例子，建议DOT和DOP被用来处理分布式优化和多人博弈下的部分决策信息。最后，数值例子来证实理论结果。
2021-07-11 math.OC
Faster Convergence of a Randomized Coordinate Descent Method for Linearly Constrained Optimization Problems
线性耦合约束下可分凸函数的极小化问题在经济系统、分布式控制、网络流等领域都有广泛的应用。解决这个问题的主要挑战是，数据的大小是非常大的，这使得通常的基于梯度的方法不可行。最近，Necoara，Nesterov和Glineur [Journal of Optimization Theory and Applications，173（2017）227-2254]提出了一种有效的随机坐标下降法来解决这种类型的最优化问题，并给出了一个吸引人的收敛性分析。在本文中，我们开发了新的技术来分析这种算法的收敛性，这是能够大大改善的结果。这个精炼的结果是通过扩展Nesterov开发的Nesterov的第二种技术[SIAM J. Optim. 22（2012）341-362]中描述的方法应用于具有线性耦合约束的一般最优化问题。在我们的分析中，一个新的技术是建立线性约束的子空间的基向量。
2017-09-04 math.OC
Distributed Majorization-Minimization for Laplacian Regularized Problems
我们考虑最小化块可分离的凸函数（可能不可微，并包括约束）加拉普拉斯正则化，一个问题，出现在应用程序中，包括模型拟合，正则化分层模型，和多期投资组合优化的问题。我们开发了一个分布式优化最小化方法，这个一般性的问题，并得出一个完整的，自包含的，一般的，简单的收敛性证明。我们的方法是能够扩展到非常大的问题，我们说明了我们的方法在两个应用程序，证明其可扩展性和准确性。
2018-03-30 math.OC
Convergence analysis of accelerated algorithms via a mixed-order dynamical system for separable nonsmooth convex optimization
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, School of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院，统计智能计算与监测重庆市重点实验室）
本文研究了混合阶动态系统衍生的两种算法，用于解决包含两个非光滑复合结构目标函数的线性等式约束凸优化问题，提出新的双变量算法和分裂算法，并证明其非平稳收敛性及强收敛性。
2026-03-24 math.OC
KL property of exponent $1/2$ of quadratic functions under nonnegative zero-norm constraints and applications
研究了两类非负零范数约束下的二次优化问题：非负零范数球面约束和零范数单纯形约束，这两类约束分别在非负稀疏本征值问题和稀疏投资组合问题中有重要应用.我们建立了这些非凸非光滑最优化问题的目标函数的指数为1/2的KL性质，并利用这一重要性质提出了一种全局线性收敛的投影梯度下降（PGD）方法.数值结果包括非负稀疏主成分分析和稀疏投资组合问题的合成和真实数据，以证实理论结果。
2019-09-02 math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
An inexact version of the symmetric proximal ADMM for solving separable convex optimization
本文提出并分析了求解线性约束最优化问题的对称邻近交替方向法（ADMM）的一个不精确形式。基本上，该方法允许它的第一个子问题不精确地解决，以这种方式，一个相对近似的标准是满意的。根据迭代次数$k$，我们建立了该方法在加速度参数域上的全局$\mathcal{O} (1/ \sqrt{k})$逐点收敛速度和$\mathcal{O} (1/ {k})$各态历经收敛速度，这与精确情形下已知的最大收敛速度一致.由于对称邻近ADMM可以看作是一类ADMM的变种，新算法以及它的收敛速度推广，特别是在文献中的许多其他。数值实验说明了该方法的实际优势的报告。据我们所知，这项工作是第一个研究对称近端ADMM的不精确版本。
2020-06-04 math.OC
The Golden Ratio Proximal ADMM with Norm Independent Step-Sizes for Separable Convex Optimization
Indian Institute of Technology Madras（印度马德拉斯理工学院）；The University of Melbourne（墨尔本大学）
提出两种无需算子范数估计的黄金比例近端ADMM步长策略，证明全局收敛性和次线性收敛率，并通过数值实验验证其有效性。
2026-06-17 math.OC
Accelerated linearized alternating direction method of multipliers with Nesterov extrapolation
针对两块线性约束复合凸优化问题，本文利用 Nesterov 外推提出两类加速线性化 ADMM，在强凸与 Lipschitz 梯度条件下取得 O(1/k^2) 非遍历收敛率。
2024-05-10 math.OC
Implicit Bias of Mirror Flow on Separable Data
EPFL（洛桑联邦理工学院）；Télécom Paris（巴黎电信学院）
本文研究了线性可分分类问题中 mirror flow 的隐式偏差，证明在指数尾损失和温和假设下，其迭代方向收敛至由势函数地平线函数定义的最大间隔分类器，并给出可分势函数的计算公式及数值验证。
2024-11-13 cs.LG math.OC stat.ML
Random block coordinate descent methods for linearly constrained optimization over networks
本文提出了求解网络上线性约束可分凸问题的随机块坐标梯度下降法。由于我们耦合的问题中的约束，我们设计了一个算法，并行更新$τ\geq 2$（块）组件每次迭代。此外，对于该方法，可以根据网络的结构以分布式方式执行计算。然而，当网络中的节点数$N$较大时，其每次迭代的复杂度通常比全梯度法便宜。我们证明，对于这种方法，我们在预期中获得的$ε$ -准确的解决方案，在最多$\mathcal{O}(\frac{N}{τε})$迭代，从而收敛速度线性依赖于（块）组件$τ$的数量进行更新。对于强凸函数，新方法线性收敛。我们还重点讨论了如何选择概率，使随机化算法尽可能快地收敛，我们到达解决稀疏SDP。最后，我们描述了几个应用程序，适合在我们的框架，特别是凸可行性问题。数值上，我们表明，并行坐标下降法与$τ>2$加速其基本对应的$τ=2$。
2015-12-11 math.OC
A Boosted-DCA with Power-Sum-DC Decomposition for Linearly Constrained Polynomial Programs
本文提出基于幂和表示的多项式DC分解，并引入BDCAe算法结合FDPG方法高效求解线性约束多项式规划，理论证明其收敛性且数值实验验证了其优越性。
2024-02-20 math.OC
An Adaptive Proximal ADMM for Nonconvex Linearly Constrained Composite Programs
Oregon State University（俄勒冈州立大学）；Texas A&M University（德克萨斯农工大学）；Georgia Institute of Technology（佐治亚理工学院）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种自适应近端交替方向乘子法解决线性约束复合优化问题，假设目标函数光滑部分弱凸，非光滑部分凸且块分离。方法自适应于所有参数，允许每个块近端子问题近似求解，通过迭代步骤和自适应测试确定是否更新拉格朗日乘子和惩罚参数，无需约束矩阵秩假设，证明在迭代次数上达到最优复杂度。
2026-04-30 math.OC
An active-set method for sparse approximations. Part II: General piecewise-linear terms
本文提出了一种有效的有效集方法，用于求解目标中含有一般分段线性项的凸二次规划问题，并应用于稀疏逼近和风险最小化。该方法利用目标中出现的分段线性项的结构，以显着减少其内存需求，从而提高其效率。我们展示了鲁棒性所提出的解决方案在风险规避投资组合选择，分位数回归，并通过线性支持向量机的二进制分类中出现的各种问题。我们提供的计算证据证明，在现实世界的数据集，有效地处理各种问题的求解器的能力，通过比较它对一个有效的通用内点求解器，以及一个国家的最先进的交替方向法的乘数。这项工作补充了所附的文件[``一个有效集方法稀疏近似。第一部分：可分离的$\ell_1$术语”，S. Pougkakiotis，J. Gondzio，D. S. Kalogerias]中，讨论了可分$\ell_1$项的情形，分析了其收敛性，并提出了相应的线性系解的通用预处理策略.
2023-02-28 math.OC
A Block Successive Upper Bound Minimization Method of Multipliers for Linearly Constrained Convex Optimization
考虑线性耦合约束下光滑凸函数与可分非光滑凸函数之和的极小化问题。这种形式的问题出现在许多当代应用中，包括信号处理、无线网络和智能电网供应。出于这些应用程序的巨大规模，我们提出了一类新的一阶原始对偶法称为块连续上限最小化方法的乘数（BSUM-M）来解决这个家庭的问题。BSUM-M通过最小化原始问题的增广拉格朗日量的局部紧上界来连续更新原始变量块，然后以封闭形式对对偶变量进行梯度类型更新。我们表明，在一定的规律性条件下，当原始块变量更新的确定性或随机的方式，BSUM-M收敛到一组最优解。此外，在没有线性约束的情况下，我们证明了BSUM-M，它减少到块连续上限最小化（BSUM）方法，是能够线性收敛没有强凸性。
2014-01-28 math.OC
Gradient Descent on Logistic Regression with Non-Separable Data and Large Step Sizes
Cornell University（康奈尔大学）；ELLIS Institute Tübingen（ELLIS图宾根研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）
该研究分析不可分数据下带大步长的逻辑回归梯度下降的动力学，发现其全局收敛性不成立，步长在1/λ与2/λ间时可收敛到稳定周期，高维下步长小于1/λ也可能出现该情况。
2026-09-03 cs.LG math.OC
Parametrization and convergence of a primal-dual block-coordinate approach to linearly-constrained nonsmooth optimization
本文研究了线性约束下非光滑复合凸优化的 Chambolle-Pock 原始-对偶随机块坐标算法，利用矩阵预处理推导出严格次线性收敛速率，并通过服务定价的最优传输实验验证了其鲁棒性。
2024-08-29 cs.DC cs.MA math.OC
A subspace-accelerated split Bregman method for sparse data recovery with joint l1-type regularizers
我们提出了一个子空间加速Bregman方法的线性约束最小化的形式$f(\mathbf{u})+τ_1 \|\mathbf{u}\|_1 + τ_2 \|D\,\mathbf{u}\|_1$，其中$f$是一个光滑的凸函数和$D$代表一个线性算子，例如，有限差分算子，在各向异性全变差和融合套索正则化。这种类型的问题出现在各种各样的应用，包括投资组合优化和学习的预测模型从功能磁共振成像（fMRI）的数据，并在脑电图的源检测问题。使用$\|D\,\mathbf{u}\|_1$的目的是鼓励解决方案中的结构稀疏性。选择执行加速的子空间，使得目标函数的约束是当前目标的邻域中的光滑函数。利用真实数据集对多期投资组合问题进行的数值实验表明了该方法的有效性。
2020-03-23 cs.NA math.NA math.OC
Achieving Margin Maximization Exponentially Fast via Progressive Norm Rescaling
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
本文提出渐进重缩放梯度下降（PRGD）算法，通过分析归一化梯度速度场实现指数速率的间隔最大化，突破了现有梯度方法的多项式速率瓶颈，并在实验中验证了其有效性。
2024-12-26 cs.LG math.OC
Direct solution of the inverse optimization problem of load sharing between muscles
针对肌肉骨骼系统生物力学中的超静定肌肉载荷分配问题，提出了一种基于线性约束最优化问题的解构造可分离的齐次代价函数的方法，该代价函数包含该费用函数。该构造利用了Schroeder函数方程的柯尼希斯解。
2006-11-16 math.OC q-bio.TO
A unified approach to mixed-integer optimization problems with logical constraints
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
本文提出了一个统一的框架来解决一类带有逻辑约束决策变量的经典混合整数最优化问题，包括网络设计、设施选址、机组组合、稀疏组合选择、二次优化、稀疏主分析和稀疏学习问题。这些问题表现出连续变量和离散变量之间的逻辑关系，通常使用大M公式进行线性重新表述。在这项工作中，我们挑战这种长期的建模实践，并以非线性的方式表达逻辑约束。通过施加正则化条件，我们将这些问题重新表述为凸二元最优化问题，这是可解的使用外近似过程。在数值实验中，我们建立了一个通用的数值策略，它结合了切割平面，一阶和局部搜索法，解决这些问题的速度更快，规模更大，比最先进的混合整数线性或二阶锥方法。我们的方法成功地解决了100个节点的网络设计问题，并提供了比最先进的解决方案高出40%的解决方案;稀疏投资组合选择问题，最多有3,200只证券，而以前的尝试只有400只证券;稀疏回归问题，最多有100,000个协变量。
2021-01-25 cs.LG math.OC stat.ML
