A double smoothing technique for solving unconstrained nondifferentiable convex optimization problems
本文的目的是在有限维空间中提出一种求解一类无约束不可微凸优化问题的有效算法。为此,我们制定第一Fenchel对偶问题和正规化它在两个步骤成为一个可微的强凸Lipschitz连续梯度。然后通过快速梯度法求解双重正则化对偶问题,目的是加速所得的收敛方案。最后将理论结果应用于图像处理中的l1正则化问题。
2012-03-09 math.OC
Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers
Brookhaven National Laboratory(布鲁克海文国家实验室);Rutgers University(罗格斯大学)
我们提出了一个新的,随机变量的投影分裂(PS)家庭的算法单调包含问题。它可以解决鲁棒ML等应用中出现的最小-最大和非合作对策公式,而不会出现与梯度下降-上升相关的收敛问题,而梯度下降-上升是目前这种情况下的事实上的标准方法。我们的建议是第一个版本的PS能够使用随机(而不是确定性)梯度预言。它也是第一个可以解决最小-最大博弈的随机方法,同时可以通过投影和邻近算子轻松处理多个约束和非光滑正则化。我们关闭一个分布鲁棒稀疏逻辑斯谛回归问题的数值实验。
2021-06-24 cs.LG math.OC
Solving Orthogonal Group Synchronization via Convex and Low-Rank Optimization: Tightness and Landscape Analysis
群同步的目的是从它们的噪声成对测量中恢复群元素。它在社区检测、时钟同步和联合对准问题中有着广泛的应用。本文主要研究了低温电磁学和计算机视觉中常用的正交群同步方法。然而,通过寻找最小二乘估计来检索组元素通常是NP困难的。本文首先研究了正交群同步的半定规划松弛及其紧性,即,SDP估计器完全等于最小二乘估计器。此外,我们调查的性能的Burer-Monteiro分解在解决SDP松弛通过分析其相应的优化景观。我们提供了确定性的充分条件,保证:(i)SDP松弛的紧密性;(ii)由Burer-Monteiro方法产生的优化景观是良性的,即,全局最优值恰好是最小二乘估计器,并且不存在其它伪局部最优值。我们的结果提供了一个坚实的理论证明,为什么Burer-Monteiro方法是非常有效的,有效的解决大规模的SDPs所产生的正交群同步。我们进行数值实验,以补充我们的理论分析,这为未来的研究方向提供了见解。
2020-06-01 cs.IT math.IT math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是,算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿(IQN)策略,特别是增量BFGS(IBFGS)策略。一个应用IBFGS策略的问题直接,而其他应用IBFGS策略的差异凸重构,平滑逼近,或(强)凸局部逼近。实验表明,所有IBFGS方法在实践中表现良好,并且都优于最先进的捆绑方法。
2022-07-20 math.OC
Solving graph coloring problems with the Douglas-Rachford algorithm
我们提出的道格拉斯-Rachford算法作为一个成功的启发式解决图着色问题。给定一组颜色,这些类型的问题包括为图的每个节点分配颜色,以这种方式,每对相邻节点都被分配不同的颜色。我们制定的图着色问题作为一个适当的可行性问题,可以有效地解决道格拉斯-Rachford算法,尽管从组合性质的问题所产生的非凸性。图着色问题的不同修改和应用也被提出。各种计算实验表明,该方法具有良好的性能。
2016-12-15 math.CO math.OC
Algorithms for Overcoming the Curse of Dimensionality for Certain Hamilton-Jacobi Equations Arising in Control Theory and Elsewhere
时间相关的Hamilton Jacobi Isaacs偏微分方程(HJ PDE)在分析连续动态博弈和控制理论问题中起着重要的作用。一个重要的工具,这样的问题,当他们涉及几何运动是水平集方法。这首先用于可达性问题。这些算法的成本,事实上,所有的PDE数值逼近是指数的空间维度和时间。在这项工作中,我们提出并测试方法解决了一大类的HJ PDE相关的最优控制问题,而不使用网格或数值逼近。相反,我们使用经典的霍普夫公式解决初值问题HJ PDE。我们已经注意到,如果哈密尔顿算子是凸的并且是一次正齐次的,则存在非常快速的方法来解决所产生的最优化问题。这与基于$\ell_1$优化的用于解决压缩感测中的问题的快速方法非常相关。我们似乎得到了在维数上是多项式的方法。我们的算法是非常快的,需要非常低的内存,是完全并行化。我们可以在非常高的维度上计算解及其梯度,每次计算在笔记本电脑上需要$10^{-4}$到$10^{-8}$秒。详细说明了如何从一类最优控制问题的相关初始值HJ-PDE的数值解中数值计算最优控制。我们表明,我们的算法计算所有的数量,我们需要很容易地获得控制器。维数灾难(curse of dimensionality)一词是由Richard Bellman在1957年提出的,当时他考虑了动态最优化中的问题。
2016-05-06 math.OC
A quadratic Grassmann manifold optimization problem arising from quantum embedding methods
CPHT, CNRS, Ecole Polytechnique, IP Paris(法国国家科学研究中心,巴黎综合理工学院,巴黎理工学院);CERMICS, ENPC, IP Paris, CNRS(法国国立路桥学校计算数学与模拟中心,法国国家科学研究中心,巴黎理工学院);MATHERIALS team-project, Inria Paris(Inria巴黎研究所MATHERIALS项目组);Department of Mathematical Sciences, Rensselaer Polytechnic Institute(伦斯勒理工学院数学系);Department of Mathematics, University of California, Berkeley(加州大学伯克利分校数学系);Applied Mathematics and Computational Research Division, Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室应用数学与计算研究部)
本文研究了在Grassmann流形上最小化二次函数的优化问题,提出通过辅助凸问题求解全局极小值,并改进Riemannian优化和SCF算法的性能,应用于量子嵌入方法中的浴轨道构造。
2026-10-21 math.OC quant-ph
Approximate solution of system of equations arising in interior-point methods for bound-constrained optimization
针对界约束优化内点法的牛顿系统求解权衡问题,提出基于有效/无效约束启发式估计的部分与完全近似解,及两种含部分近似解中间步骤的类牛顿法,给出理论误差界与数值验证结果。
2020-11-15 math.OC
A Two-Level Graph Partitioning Problem Arising in Mobile Wireless Communications
在k-划分问题(k-PP)中,给定一个边加权的无向图,并且必须将节点集划分为至多k个子集,以便最小化(或最大化)具有相同簇中的端点的边的总权重。在数据挖掘的背景下,已经研究了这个问题的各种层次变体。我们认为,在移动无线通信中出现的“两级”的变体。我们表明,一个精确的算法的基础上智能预处理,切割平面和破缺是能够解决小型和中型的实例证明最优,并提供强大的下界较大的情况下。
2017-05-24 cs.DS math.CO math.OC
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法,其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”(IMRO)格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题,在许多应用中出现,包括稀疏恢复压缩感知,机器学习和统计。我们的数值实验表明,所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种,显示它匹配已知的最佳界限。
2017-01-19 math.OC
A Re-solving Heuristic for Dynamic Assortment Optimization with Knapsack Constraints
Stern School of Business, New York University(纽约大学斯特恩商学院);Department of Statistics and Operations Research, University of North Carolina(北卡罗来纳大学统计与运筹学系);Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院);Yau Mathematical Sciences Center & Department of Mathematical Sciences, Tsinghua University(清华大学丘成桐数学科学中心及数学科学系)
针对带背包约束和MNL的动态选品优化问题,提出一种基于epoch的重新求解算法,将非线性流体近似转化为线性规划,并证明其遗憾随时间长度和资源容量呈对数级增长。
2025-11-03 math.OC stat.ML
An inertial alternating direction method of multipliers for solving a two-block separable convex minimization problem
乘子的交替方向法(ADMM)是求解信号和图像处理中出现的许多凸极小化模型的广泛使用的方法。本文提出了一个求解带线性等式约束的两块可分凸极小化问题的惯性ADMM。该算法是利用惯性Douglas-Rachford分裂算法对原问题的对偶问题进行分裂得到的。在无限维希尔伯特空间中研究了该算法的收敛性。此外,我们将该算法应用于鲁棒主成分追踪问题,并将其与其他最先进的算法进行比较。数值结果表明了该算法的优越性。
2021-04-01 math.OC
Efficient Solution of Discrete Subproblems Arising in Integer Optimal Control with Total Variation Regularization
我们考虑一类整数线性规划(IP),它是求解控制问题的信赖域算法的信赖域子问题的离散化,其中控制输入是一维域上的整数值函数,并在目标中用全变差项正则化,这可以解释为不同控制模式之间切换代价的惩罚.我们证明,解决所考虑的问题类的一个实例是相当于解决一个资源受限的最短路问题(RCSPP)的分层有向无圈图。这种结构的发现产生了一个算法的解决方案的拓扑排序和相应的运行时的复杂性,是二次的离散化间隔的数量的基础上的控制问题,一个问题实例的大小的主要量词的基础上。我们还考虑了RCSPP的解决方案与$A^*$算法。具体而言,拉格朗日松弛的分析产生一致的启发式函数的$A^*$算法和预处理过程,可以用来加速$A^*$算法的RCSPP而不失去最优的计算解决方案。我们通过对几个整数最优控制问题执行信赖域算法来生成IP实例。数值结果表明,加速的$A^*$算法和拓扑排序明显优于通用IP求解器。此外,加速的$A^*$算法能够优于较大的问题实例的拓扑排序。
2022-06-03 math.OC
An outer reflected forward-backward splitting algorithm for solving monotone inclusions
单调包含在解决信号和图像处理、机器学习、医学图像重建等领域的各种凸优化问题中有着广泛的应用。本文提出了一种新的分裂算法,即外反射前向-后向分裂算法,用于求极大单调算子、单调Lipschitz算子和余强制算子之和的零点.在对迭代参数较弱的条件下,证明了算法的收敛性。作为应用,我们将所提出的算法用于求解包含单调Lipschitz算子、余强制算子以及算子的并行和的复合单调包含问题。该算法的优点是它是一个完全分裂的算法,其中Lipschitz算子和余强制算子通过显式步骤处理,极大单调算子通过它们的预解式处理.
2020-09-26 math.OC
The neural network models with delays for solving absolute value equations
Liaoning Technical University(辽宁工程技术大学);Fujian Normal University(福建师范大学);Beihang University(北京航空航天大学)
提出带混合时滞的无逆神经网络模型求解绝对值方程,利用Lyapunov-Krasovskii理论和LMI方法证明指数收敛,可处理$\|A^{-1}\|>1$情形,数值实验验证有效性。
2023-10-17 cs.LG math.DS math.OC
Exploring the Power of Graph Neural Networks in Solving Linear Optimization Problems
RWTH Aachen University(亚琛工业大学);Polytechnique Montréal(蒙特利尔综合理工学院)
本文证明消息传递图神经网络能模拟线性规划内点法,并作为轻量级代理高效求解LP松弛,在标准组合优化问题上超越传统求解器。
2023-10-16 cs.AI cs.LG cs.NE
A Decomposition Method for Solving Multicommodity Network Equilibrium
我们考虑了Rockafellar在1995年提出的多商品网络均衡问题的数值方面。我们的方法依赖于灵活的单调算子分裂框架最近提出的Combettes和Eckstein。
2021-08-07 math.OC
Solving Composite Fixed Point Problems with Block Updates
通过在每次迭代中只激活一个算子块,可以用各种策略迭代地构造非扩张算子的公共不动点。在更具有挑战性的一类复合不动点问题,涉及运营商,不共享共同的不动点,目前的方法需要激活的所有运营商在每次迭代,并保持收敛,同时更新只有块的运营商的问题是开放的。我们提出了一种方法,实现这一目标,并分析其渐近行为。弱,强,和线性收敛的结果,建立利用与理论的集中阵列。应用到几个非线性和非光滑分析问题,从单调包含和不一致的可行性问题,最小化问题中出现的数据科学。
2021-02-07 math.FA math.OC
Analytical and numerical solutions to ergodic control problems arising in environmental management
优化长期目标的环境管理是一个遍历控制问题,其解决方案可以通过求解相关的非局部Hamilton-Jacobi-Bellman(HJB)方程来实现。泥沙存储管理作为一个现代工程问题,我们制定,分析和计算离散观测下的一个新的遍历控制问题:一个简单但不平凡的数学问题。我们给出了相应的具有唯一非光滑性和间断性的HJB方程的最优性和比较结果。为了数值计算HJB方程,我们提出了一种新的快速扫描方法,该方法既不需要伪时间积分,也不需要消失折扣。最优策略和有效的哈密顿量,然后同时计算。计算分析了数值解的收敛速度。一个先进的鲁棒控制对应的动态涉及的不确定性也被认为是数字。
2021-04-25 cs.NA math.NA math.OC
QPDAS: Dual Active Set Solver for Mixed Constraint Quadratic Programming
利用对偶问题的有效集方法,给出了求解一般混合约束凸二次规划问题的一种方法。该方法类似于现有的有效集方法,但我们提出了一种新的方法来解决在算法中出现的线性系。有两个主要的贡献,我们提出了一种新的方式分解的线性系,并显示如何迭代细化可以用来实现良好的精度和解决这两种类型的子问题,所产生的半定问题。
2019-11-28 math.OC
Solving eigenvalue PDEs of metastable diffusion processes using artificial neural networks
本文考虑亚稳扩散过程无穷小生成元的特征值偏微分方程问题。针对这类高维本征值问题,提出了一种基于训练人工神经网络的数值算法。该算法能够找到多个领先的特征对,通过解决一个单一的训练任务。这对于理解大时间尺度上亚稳态过程的动力学行为是有用的。我们证明了我们的算法在高维模型问题上的能力,并在简单的分子系统丙氨酸二肽。
2022-05-06 math.OC
An adaptive adjoint-oriented neural network for solving parametric optimal control problems with singularities
ShanghaiTech University(上海科技大学);Shanghai Lixin University of Accounting and Finance(上海立信会计金融学院)
本文提出自适应伴随导向神经网络,用于求解具有奇点的参数最优控制问题,通过结合深度自适应采样技术提升模型泛化能力。
2025-12-21 math.OC
Stabilization of Integral Difference Equations by Solving a Corona Problem
Université Paris-Saclay, CNRS, CentraleSupélec(巴黎萨克雷大学、法国国家科学研究中心、中央苏佩莱克学院)
针对具有标量控制输入和点状及分布输入时滞的积分差分方程,提出基于积分算子的状态反馈镇定控制器,通过求解 Corona 问题中的卷积方程确定控制器核,并在谱可镇定条件下保证闭环稳定性。
2026-06-15 math.OC
Deep Neural Network Structures Solving Variational Inequalities
受深度神经网络中出现的结构的启发,我们研究了在不同空间上定义的交替邻近和仿射算子的非线性复合模型。我们首先证明了神经网络中使用的各种激活算子实际上都是邻近算子。然后,我们建立条件的平均建议的复合结构,并调查其渐近性质。结果表明,所得到的过程的限制解决了一个变分不等式,在一般情况下,不来自最小化问题。
2019-03-15 math.OC
A Re-solving Heuristic with Uniformly Bounded Loss for Network Revenue Management
我们认为,规范(基于数量)的网络收入管理问题,一个公司接受或拒绝传入的客户请求,以最大限度地提高预期收入有限的资源。由于维数灾难的存在,当资源数量很大时,用动态规划精确解该问题是困难的。我们研究了一个家庭的重新解决的算法,定期重新优化近似的原始问题被称为确定性线性规划(DLP),随机客户的到来被替换为他们的期望。我们发现,在一般情况下,频繁地重新解决DLP产生相同的顺序的收入损失,因为人们会得到没有重新解决,其规模的时间跨度长度和资源容量的平方根。通过重新解决DLP在几个选定的时间点和应用阈值的客户接受概率,我们设计了一个新的重新求解启发式的收入损失是一致的有界的一个常数,是独立的时间范围和资源能力。
2018-12-11 math.OC
Impacts of Network Topology on the Performance of a Distributed Algorithm Solving Linear Equations
最近,已经提出了一种分布式算法的多代理网络解决线性代数方程的系统,通过假设每个代理只知道系统的一部分,并能够与最近的邻居更新他们的本地解决方案。本文研究了网络拓扑结构对算法指数收敛性的影响。研究发现,平均度越高、直径越小、度分布越均匀的网络收敛速度越快。分析和数值结果。
2016-03-14 math.OC
A parameterized proximal point algorithm for separable convex optimization
本文提出了求解一类线性和凸约束可分凸规划问题的参数化邻近点法(P-PPA)。该算法是全局收敛的,最坏情况下的收敛速度为O(1/t)收敛速度,其中t表示迭代次数.通过合理选择算法参数,对一个由统计学习引起的稀疏最优化问题的数值实验表明,该算法的性能明显优于其他最先进的方法,如交替方向法和松弛邻近点法.
2018-12-10 math.OC
Solving high-dimensional nonlinear filtering problems using a tensor train decomposition method
本文提出了一种有效的解决高维非线性滤波(NLF)问题的数值方法。具体来说,我们使用张量训练分解方法来解决所产生的NLF问题的前向Kolmogorov方程(FKE)。我们的方法包括离线和在线阶段。在离线阶段,我们使用有限差分法离散的偏微分算子参与FKE和提取低维结构的解决方案空间中使用张量训练分解方法。此外,我们使用张量训练分解方法来近似FKE算子的演化。在在线阶段,使用预先计算的低秩近似张量,我们可以快速求解FKE给定的新的观测数据。因此,我们可以实时地解决NLF问题。在一些温和的假设下,我们提供了所提出的方法的收敛性分析。最后,我们提出的数值结果显示所提出的方法在解决高维NLF问题的效率和精度。
2019-08-12 cs.CE cs.NA cs.SY
Policy Iteration for Multiplicative Noise Output Feedback Control
提出了一种求解乘性噪声线性二次输出反馈设计问题的策略迭代算法。该算法求解一类线性动态控制策略下部分可观测马尔可夫决策过程(POMDP)的估计和控制的耦合Riccati方程组。我们在数值实验中显示出更快的收敛速度比值迭代算法,以前唯一已知的算法解决这类问题。结果表明,在更一般的POMDPs的政策优化算法,包括潜在的开发新的近似数据驱动的方法时,模型参数不可用的未来研究方向。
2022-03-31 cs.SY eess.SY math.OC