An inexact golden ratio primal-dual algorithm with linesearch step for a saddle point problem
College of Science, Chongqing University of Posts and Telecommunications(重庆邮电大学理学院)
本文提出带线搜索的非精确黄金比例原始-对偶算法IP-GRPDAL,通过凸组合替代外推实现更大步长,证明了O(1/N)遍历收敛率,并在强凸条件下获得加速O(1/N²)及线性收敛速率。
2025-09-20 math.OC
A golden ratio primal-dual algorithm for structured convex optimization
设计、分析和测试了一种求解结构凸优化问题的黄金比例原始对偶法(GRPDA),其中目标函数是两个闭正常凸函数之和,其中一个函数包含一个线性变换的复合函数. GRPDA保留了经典原始对偶法(PDA)的所有有利特征,即,原始变量和对偶变量以Gauss-Seidel方式更新,并且每次迭代成本由两个分量函数和两个矩阵-向量乘法的邻近点映射的评估来支配。与传统的PDA相比,GRPDA的新颖之处在于它是基于基本上整个迭代轨迹的凸组合构造的。我们发现,GRPDA收敛在一个更广泛的参数范围内比经典的PDA,只要倒数的凸组合参数是有界的黄金分割比,这解释了算法的名称。基于原始-对偶间隙函数,建立了O(1/N)遍历收敛速度的结果,其中N表示迭代次数。当原问题或对偶问题为强凸问题时,构造了一个加速GRPDA,将遍历收敛速度从O(1/N)提高到O(1/N2).此外,我们证明了正则化最小二乘和线性等式约束问题的凸组合参数的倒数可以从黄金分割率扩展到2,同时可以采取松弛步骤。通过对LASSO、非负最小二乘和极大极小矩阵对策问题的数值计算,并与现有算法进行比较,验证了本文算法的有效性.
2020-08-29 math.OC
A linesearch projection algorithm for solving equilibrium problems without monotonicity in Hilbert spaces
提出了一种求解希尔伯特空间中非单调非Lipschitz平衡问题的线性投影算法。在Minty平衡问题解集非空的假设下,证明了该算法产生的序列强收敛于平衡问题的解.与已有的方法相比,我们没有使用Fejér单调性的证明策略的收敛性。这来自于在每次迭代时将一个不动点而不是当前点投影到可行集的子集上。此外,采用Armijo线性搜索没有次梯度在CPU时间有很大的优势。数值实验证明了该算法的有效性和强度。
2021-03-03 math.OC
Unrestricted Douglas-Rachford algorithms for solving convex feasibility problems in Hilbert space
本文研究了希尔伯特空间中的凸可行性问题。近年来在该领域中获得了很多兴趣的一种特定方法是道格拉斯-拉奇福德(DR)算法。该算法最初于1956年引入,用于求解定常和非定常热方程。然后在1979年,Lions和Mercier调整和扩展了该算法,目的是解决CFPs和更一般的问题,例如找到两个最大单调算子之和的零点。在过去的十年中,已经出现了许多实现有关该算法的各种概念的发展。我们引入了一个不受限制的DR算法,它提供了一个一般的框架,这样的概念。使用有限个强非扩张算子的无限制乘积,我们应用这个框架来提供新的迭代法,其中,\textit{inter alia},这样的算子可以在我们的\无限制\color DR算法的方案中使用的算子之间交错。
2022-11-05 math.OC
A Hybrid Algorithm for Monotone Variational Inequalities
Delft University of Technology(代尔夫特理工大学);University of Toronto(多伦多大学)
本文提出两种新方法解决单调变分不等式问题,通过调整动量参数提升收敛速度,并在多个机器学习和控制领域的问题中验证了算法性能。
2026-04-04 math.OC
Viscosity Iterative algorithm for solving Variational Inclusion and Fixed point problems involving Multivalued Quasi-Nonexpansive and Demicontractive Operators in real Hilbert Space
针对含多值拟非扩张与半压缩算子的变分包含及不动点问题,提出结合黏性逼近和额外迭代序列的改进通用迭代算法,并证明其强收敛性。
2025-01-11 math.OC
Outer Approximation Methods for Solving Variational Inequalities in Hilbert Space
本文研究实希尔伯特空间中闭凸集$C$上由强单调Lipschitz连续算子$F$控制的变分不等式.我们假定集合$C$可以外逼近为一类称为割集的拟非扩张算子序列的不动点集。我们提出了一种迭代法,其主要思想是在每一步投影到一个特定的半空间构造使用的输入数据。我们的方法是基于福岛在1986年提出的一种方法,最近已扩展了几个作者。本文建立了希尔伯特空间中的强收敛定理。我们强调,据我们所知,福岛的方法到目前为止只被认为是在欧几里得设置与不同的条件$F$。我们提供了几个例子的情况下,$C$是共同的不动点集的有限数量的刀具与我们的理论结果的数值说明。
2017-02-02 math.OC
A Stochastic forward-backward splitting method for solving monotone inclusions in Hilbert spaces
提出并分析了求解由极大单调算子与单值极大单调余算子之和构成的单调包含的一种新的随机前后分裂算法的收敛性.后者的框架有一些有趣的特殊情况下,包括变分不等式和凸最小化问题,而随机方法实际上是相关的数据扰动帐户。我们提出的算法是经典的确定性向前向后方法的随机扩展,并得到考虑的组合的极大单调算子的预解式与基于单值算子的随机估计的前一步。我们的研究提供了一个非渐近的误差分析的期望强单调的情况下,以及几乎必然收敛在较弱的假设。我们考虑的方法可以避免平均,一个功能的关键时,考虑基于稀疏性的方法,并为最小化问题,它允许获得匹配的收敛速度随机扩展所获得的所谓的加速方法。随机拟Fejer序列是证明几乎必然收敛的关键技术工具。
2015-02-20 math.OC
A two-step inertial method with a new step-size rule for variational inequalities in hilbert spaces
Chongqing Normal University(重庆师范大学);Near East University(近东大学)
本文提出了一种新的两步惯性方法,用于求解Hilbert空间中的变分不等式,该方法结合自适应和Armijo型步长规则,无需Lipschitz条件,具有更广的应用范围。
2026-01-15 math.OC
Optimal approximation of discrete-time multirate systems on Hilbert spaces
我们研究离散时间$(m,n)$ -多速率系统可分离的希尔伯特空间,解决了这样一个系统的近似问题,其中有一个较短的多速率周期$(m/q,n/q)$,最佳的希尔伯特-施密特规范。我们的工作在状态空间设置,提供两个状态空间表示的最佳逼近表示的状态空间表示的原始系统。
2020-05-04 math.OC
Solving Monge problem by Hilbert space embeddings of probability measures
Department of Mathematical and Computing Science, Institute of Science Tokyo(东京科学大学数学与计算科学系)
本文提出基于希尔伯特空间嵌入的概率测度深度学习方法,用于求解大规模最优质量运输问题,并证明其在$ L^2 $成本下的收敛性。
2026-02-15 cs.NA math.NA math.OC
Solving Chance Constrained Optimization under Non-Parametric Uncertainty Through Hilbert Space Embedding
本文给出了一类非参数不确定性条件下的机会约束优化问题的一个有效算法。我们的算法是建立在再生核希尔伯特空间(RKHS)中的函数表示任意分布的可能性。我们使用这个基础,制定机会约束优化作为一个最小化之间的距离所需的分布和分布的约束函数在RKHS。我们提供了一个系统的方法来构建所需的分布的基础上的概念的情况下近似。此外,我们使用的核心技巧表明,我们重新制定的优化问题的计算复杂性是解决一个确定性的机会约束优化的变体。我们验证了我们的配方上的两个重要的机器人/控制应用:(一)反应性碰撞避免移动机器人在不确定的动态环境和(ii)基于逆动力学的路径跟踪感知不确定性下的机械手。在这两种应用中,潜在的机会约束被定义为高度非线性和非凸函数的不确定参数,也可能是决策变量。我们还基准我们的配方与现有的方法在样本的复杂性和实现的最佳成本突出显着改善这两个指标。
2018-11-22 cs.RO math.OC
Tseng Splitting Method with Double Inertial Steps for Solving Monotone Inclusion Problems
基于双惯性外推步策略和松弛技术,提出了一种求解实希尔伯特空间中单调包含问题的双惯性外推步自适应Tseng分裂方法.最后,我们提供了一些数值实验来说明我们的算法的性能和理论结果。
2022-09-24 math.OC
A deep learning approach to multi-marginal optimal transport via Hilbert space embeddings of probability measures
本文提出一种基于概率测度Hilbert空间嵌入和最大均值差异惩罚技术的深度学习数值方法,高效求解多边际Monge问题,并通过合成数据实验验证了其有效性。
2025-07-12 math.OC
The Forward-Backward-Forward Method from continuous and discrete perspective for pseudo-monotone variational inequalities in Hilbert spaces
Tseng的forward-backward-forward算法在求解单调和Lipschitz连续算子控制的凸闭集上的变分不等式时,是Korpelevich的外梯度法的一个有价值的替代方法,因为它在每一步中只需要一次投影运算。然而,众所周知,Korpelevich的方法收敛,因此也可以用于解决由伪单调和Lipschitz连续算子控制的变分不等式。本文首先将一个伪单调变分不等式与一个向前-向后-向前动力系统联系起来,并对生成的轨迹进行了渐近分析。该系统的显式时间离散的结果成曾的前向后向前算法与松弛因子,我们证明收敛时,也适用于伪单调变分不等式。此外,我们证明了在强伪单调性下保证了线性收敛。对多面体集上的伪单调变分不等式和分式规划问题进行了数值实验。
2020-07-31 math.OC
A Relaxed-Projection Splitting Algorithm for Variational Inequalities in Hilbert Spaces
在希尔伯特空间中,给出了求解非光滑极大单调算子和的变分不等式的松弛投影分裂算法,其中可行集由非线性非光滑连续凸函数不等式定义.在我们的方案中,可行集上的正交投影被替换为分离超平面上的投影。此外,所提出的方法的每次迭代由简单的次梯度样步骤,这不需要一个非平凡的子问题的解决方案,只使用个别运营商,这利用了问题的结构。在算子单调性和解的存在性的假设下,证明了生成的序列弱收敛于解。
2015-12-29 math.OC
Generalized Bregman Projection Algorithms for Solving Nonlinear Split Feasibility Problems in Infinite-Dimensional Spaces
针对无限维希尔伯特空间的非线性分裂可行性问题,提出融合Bregman投影、近端梯度步和自适应惯性项的广义Bregman投影算法,证明强收敛性且实验验证其优于经典方法,推动相关优化技术发展。
2025-05-14 math.OC
A hybrid method without extrapolation step for solving variational inequality problems
本文在希尔伯特空间中引入了一种求解单调Lipschitz-连续映射的变分不等式问题的新方法。迭代过程是基于两个著名的投影方法和混合(或外近似)方法。然而,我们在投影方法中不使用外推步骤。在我们的方法中没有一个投影的原因是混合方法中集合的选择略有不同。我们证明了我们的方法产生的序列的强收敛性。
2015-01-28 math.OC
Analysis of Fully Preconditioned ADMM with Relaxation in Hilbert Spaces
乘子交替方向法(ADMM)是一种有效的一阶方法,在信号处理和成像中有着广泛的应用。然而,Eckstein和Bertsakas的\cite{EP}在无限维希尔伯特空间中研究的带松弛的ADMM的弱收敛性至今没有明确的结果.本文利用一种“部分”间隙分析,证明了无限维希尔伯特空间中一般的预条件松弛ADMM的弱收敛性,并在较弱的条件下对所有涉及的隐式方程进行了预处理.对于“部分”间隙函数,我们也给出了相应的遍历收敛速度。此外,根据\cite{DGBA}中Gabay的思想,还讨论了某些预处理和松弛ADMM与相应的Douglas-Rachford分裂方法之间的联系.数值试验也表明了所提出的预处理ADMM的超松弛变体的效率。
2017-11-20 math.OC
Weak and strong convergence of an inertial proximal method for solving bilevel monotone equilibrium problems
本文介绍一种求解希尔伯特空间中两个单调平衡双函数的两层问题的惯性逼近方法。在适当的条件下,在不对轨迹作任何限制性假设的情况下,证明了由迭代法产生的序列的弱收敛性和强收敛性。两个特殊的情况下,说明所提出的方法进行了讨论,相对于分层极小化问题和平衡问题下鞍点约束。最后,通过数值算例验证了算法的可实现性.该算法及其收敛性结果改进和发展了前人的结果。
2022-10-19 math.OC
Iterative methods for the split common fixed-point problem in Hilbert spaces
分裂公共不动点问题是一个反问题,它是在一个不动点集合中寻找一个元素,使得它在一个有界线性算子下的像属于另一个不动点集合。最近,Censor和Segal提出了一种有效的算法来解决这样的问题。然而,要使用他们的算法,需要知道关于有界线性算子的范数的先验信息。本文提出了一个新的算法,它不需要任何先验信息的操作符范数,我们建立了一些温和的假设下,所提出的算法的弱收敛性。
2014-10-31 math.OC
Four Operator Splitting via a Forward-Backward-Half-Forward Algorithm with Line Search
在这篇文章中,我们提供了一个分裂方法来解决实希尔伯特空间中涉及四个算子的单调包含:极大单调,单调Lipschitz算子,余强制算子和单调连续算子。该方法充分利用了每个算子的内在性质,推广了前-后-半前向分裂和Tseng算法。在每次迭代中,我们的算法定义的步长使用线搜索,其中单调Lipschitzian和cocoercive运营商只需要一个激活。我们还得到了实希尔伯特空间中非线性约束复合凸优化问题的一种求解方法。最后,我们实现了我们的算法在一个非线性约束的最小二乘问题,我们比较其性能与文献中的方法。
2022-07-18 math.OC
Solving Composite Monotone Inclusions in Reflexive Banach Spaces by Constructing Best Bregman Approximations from Their Kuhn-Tucker Set
介绍了希尔伯特空间外复合单调包含的第一算子分裂方法。该方法从复合单调包含的Kuhn-Tucker集出发,迭代地构造出对任意点的最佳Bregman逼近.强收敛建立在自反巴拿赫空间,而不需要额外的限制的单调算子或知识的规范的线性算子参与的模型。通过Bregman距离为基础的预解算子激活的单调算子。该方法是新颖的,即使在欧几里得空间,在那里它提供了一种替代通常的邻近方法的基础上的标准距离。
2015-09-09 math.OC
On Weak and Strong Convergence of the Projected Gradient Method for Convex Optimization in real Hilbert Spaces
研究了求解希尔伯特空间中约束凸极小化问题的投影梯度法的收敛性。我们表明,由采用Armijo线阵的方法产生的点序列弱收敛到所考虑的凸优化问题的解决方案。弱收敛是通过假设目标函数的凸性和Gateaux可微性来建立的,目标函数的Gateaux导数在有界集上是一致连续的。此外,我们对经典的投影梯度法提出了一些改进,以获得强收敛性。新的变体具有以下理想的性质:生成的点的序列是完全包含在一个球的直径等于之间的距离的初始点和解决方案集,和整个序列强烈收敛到最接近的初始点的问题的解决方案。在不作Lipschitz连续性假设的情况下,对这两种方法进行了收敛性分析.
2015-08-07 math.OC
Projection methods for solving split equilibrium problems
考虑了希尔伯特空间中一类涉及分支平衡问题的分裂反问题。因此,这个问题被称为分裂平衡问题(SEP)。已知求解问题(SEP)的几乎解方法是由两种基本方法设计的,即邻近点方法和扩展的外梯度方法(或两步类邻近方法)。与以往的结果不同,本文引入了一个新的算法,该算法仅基于投影方法,求问题(SEP)的解的近似,并在较弱的条件下证明了所得到的算法是弱收敛的.数值结果表明了算法的收敛性,并与其它算法进行了比较。
2019-04-16 math.OC
An inertial alternating direction method of multipliers for solving a two-block separable convex minimization problem
乘子的交替方向法(ADMM)是求解信号和图像处理中出现的许多凸极小化模型的广泛使用的方法。本文提出了一个求解带线性等式约束的两块可分凸极小化问题的惯性ADMM。该算法是利用惯性Douglas-Rachford分裂算法对原问题的对偶问题进行分裂得到的。在无限维希尔伯特空间中研究了该算法的收敛性。此外,我们将该算法应用于鲁棒主成分追踪问题,并将其与其他最先进的算法进行比较。数值结果表明了该算法的优越性。
2021-04-01 math.OC
Forward-partial inverse-half-forward splitting algorithm for solving monotone inclusions
本文给出了求解实希尔伯特空间中涉及向量子空间的法锥、极大单调算子、单调Lipschitz算子和余强制算子之和的耦合单调包含的分裂算法。该方法利用了每个算子的内在性质,推广了部分逆方法和前-后-半前向分裂等方法。在每次迭代中,我们的算法需要两次计算的Lipschitzian算子,而cocoercive运营商被激活只有一次。利用积空间技巧,给出了含线性算子的复合单调原对偶包含的一种求解方法,并将其应用于求解约束复合凸优化问题.最后,我们将我们的算法应用到一个约束全变差最小二乘问题,并将其性能与文献中的有效方法进行比较。
2022-02-07 math.OC
Inexact DC Algorithms in Hilbert Spaces with Applications to PDE-Constrained Optimization
Ho Chi Minh City University of Education(胡志明市教育大学);Wayne State University(韦恩州立大学);Rowan University(罗文大学);Oakland University(奥克兰大学)
本文提出了一种不精确自适应算法I-ADCA,用于在Hilbert空间中求解差分凸函数的最小化问题,并应用于带有控制约束和非凸稀疏正则化的椭圆最优控制问题。
2026-01-10 math.OC
Regularization methods for solving hierarchical variational inequalities with complexity guarantees
University of Oxford(牛津大学);Mannheim University(曼海姆大学)
本文提出了一种基于Tikhonov正则化和近端惩罚的双循环方法,用于求解分层变分不等式问题,并提供了复杂性保证和收敛速率分析。
2026-01-05 math.OC
The range of the Douglas-Rachford operator in infinite-dimensional Hilbert spaces
Douglas-Rachford算法是求解凸优化问题的一种重要的分裂算法。最近,该方法已经成功地找到了不一致情况下最优化问题的广义解(假设存在一个解),即,当一个解决方案不存在时。不一致情形的收敛性分析取决于与Douglas-Rachford分裂算子相关的位移算子的值域和相应的最小位移向量的研究。本文在对基本算子作适当假设的情况下,给出了(可能)无限维希尔伯特空间中Douglas-Rachford分裂算子的值域.我们的新结果补充了有限维希尔伯特空间中的已知结果。几个例子说明和加强我们的结论。
2022-06-14 math.FA math.OC
Self adaptive inertial extragradient algorithms for solving variational inequality problems
本文研究实希尔伯特空间中求解单调Lipschitz连续算子的变分不等式问题的两个Mann型惯性外梯度算法的强收敛性,并设计了新的步长.我们的算法的强收敛性定理证明了没有先验知识的Lipschitz常数的操作。最后,我们提供了一些数值实验来说明所提出的算法的性能,并提供与相关的比较。
2020-06-07 math.FA math.OC
Learning solutions to some toy constrained optimization problems in infinite dimensional Hilbert spaces
International Centre for Theoretical Sciences - TIFR(塔塔基础研究所理论科学国际中心);The University of Sydney(悉尼大学)
本文提出了罚函数法和增广Lagrangian法在无限维Hilbert空间中的深度学习实现,并在变分法与物理学的玩具问题上验证了其近似效果,同时利用Lagrange乘子更新规则实现了显著加速。
2024-01-08 cs.LG math.OC
Simultaneously Solving Infinitely Many LQ Mean Field Games In Hilbert Spaces: The Power of Neural Operators
Department of Statistical Sciences, University of Toronto(统计科学系,多伦多大学);Department of Mathematics and Statistics, McMaster University(数学与统计学系,麦 master 大学);The Vector Institute(向量研究所)
针对传统平均场博弈求解器逐个实例求解的局限,本文提出用神经算子学习从问题数据到均衡策略的映射,并给出统计保证,证明在无限维LQ MFG中少量采样训练即可可靠求解未见变体。
2025-10-22 cs.LG cs.NA math.NA
Second order semi-smooth Proximal Newton methods in Hilbert spaces
我们开发了一个全球化的近似牛顿方法的复合和可能的非凸极小化问题在希尔伯特空间。此外,我们对复合目标泛函的可微性和凸性的限制性假设比现有的理论少。至于可微的光滑部分的目标函数而言,我们引入了二阶半光滑的概念,并讨论为什么它构成了一个足够的框架,我们的近端牛顿法。然而,整体收敛以及局部加速仍然适用于我们的情况。最后,通过求解函数空间中的一个玩具模型问题,展示了算法的收敛性。
2021-10-31 cs.NA math.NA math.OC
Error bounds for model reduction of feedback-controlled linear stochastic dynamics on Hilbert spaces
研究了基于平衡截断的Ornstein-Uhlenbeck过程和带乘性噪声的线性S(P)DE的保结构模型降阶方法。在这项研究中,我们第一次包括非零初始条件的分析。此外,我们允许反馈控制动态解决随机最优控制问题的降阶模型和证明新的误差界一类线性二次调节器问题。我们提供了数值证据的界限,并讨论了我们的方法,以增强非平衡统计力学的抽样方法的应用。
2022-03-17 cs.NA math.DS math.NA
Proximal and Contraction method with Relaxed Inertial and Correction Terms for Solving Mixed Variational Inequality Problems
University of the Witwatersrand(威特沃特斯兰德大学);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
本文提出了一种结合松弛惯性与修正项的近端与收缩方法,用于高效求解混合变分不等式问题,并通过实验验证了其有效性。
2025-11-23 cs.NA math.NA math.OC
Solving Equilibrium Problem with New Inertial Technique
University of the Witwatersrand(威特沃特斯兰德大学);University of Sharjah(沙迦大学);Near East University(近东大学);Chongqing Normal University(重庆师范大学)
本文提出一种结合惯性与修正项的次梯度extragradient方法,用于高效求解均衡问题,并在特定条件下实现线性收敛。
2025-11-23 cs.NA math.NA math.OC
Several self-adaptive inertial projection algorithms for solving split variational inclusion problems
针对无限维希尔伯特空间中的分裂变分包含问题,提出了多种采用无需算子范数的自适应步长的惯性投影算法,证明了其强收敛性,并通过实验验证了方法性能。
2020-11-16 cs.NA math.FA math.NA
A Proximal Decomposition Method for Solving Convex Variational Inverse Problems
UPMC Université Paris 06(巴黎第六大学);Laboratoire Jacques-Louis Lions – UMR 7598(雅克-路易·利翁斯实验室);Université Paris-Est(巴黎东大学);Institut Gaspard Monge and UMR CNRS 8049(加斯帕尔·蒙日研究所)
提出一种用于Hilbert空间中多个凸函数和最小化问题的近端分解算法,可处理任意数量的非光滑函数,并证明其收敛性,在信号与图像处理中展示数值应用。
2009-06-23 cs.NA math.NA math.OC
A Douglas-Rachford type primal-dual method for solving inclusions with mixtures of composite and parallel-sum type monotone operators
Chemnitz University of Technology(德累斯顿工业大学)
本文提出两种原始-对偶分裂算法,基于不精确Douglas-Rachford分裂方法,分别在不同希尔伯特空间中求解涉及复合与并行和型单调算子混合的包含问题,允许在每次迭代中分别处理有界线性算子和集值算子,并通过数值实验验证其在定位和图像去模糊问题中的性能。
2012-12-03 cs.NA math.FA math.NA
Data-Driven Stochastic Optimal Control in Reproducing Kernel Hilbert Spaces
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学)
本文提出一种完全数据驱动的非线性控制仿射系统随机最优控制方法,通过将状态概率密度嵌入RKHS学习马尔可夫转移算子,并与随状态维度线性扩展的凸HJB递归结合,有效解决了动力学与成本未知的最优控制问题。
2026-10-12 cs.LG cs.SY eess.SY