Optimization on product manifolds under a preconditioned metric
针对黎曼流形优化依赖度量的问题，提出乘积流形上预处理度量的通用优化框架及黎曼方法，通过三种算子设计方法构造度量，适配典型相关分析等问题并经数值验证加速效果。
2025-02-18 cs.NA math.NA math.OC
A generalized alternating NGMRES method for PDE-constrained optimization problems governed by transport equations
提出GA-NGMRES方法加速输运方程PDE约束优化的一阶方案，通过周期性混合策略提升效率，运行时间比Newton-Krylov快5倍，优于Anderson加速。
2025-10-09 math.OC
A preconditioned third-order implicit-explicit algorithm with a difference of varying convex functions and extrapolation
本文提出一种结合外推技术的预条件三阶隐式-显式算法，通过三阶 Adams-Bashforth 格式和后向微分公式处理梯度流，并在 KL 性质下保证全局收敛，数值实验验证了其高效性。
2025-09-18 cs.NA math.NA math.OC
A Preconditioned Descent Algorithm for Variational Inequalities of the Second Kind Involving the $p$-Laplacian Operator
Escuela Politécnica Nacional（国立理工学院）；Research Center on Mathematical Modeling (ModeMat)（数学建模研究中心）
本文提出了一种预条件下降法用于求解包含$p$-拉普拉斯算子的第二类变分不等式，并分析了该方法在函数空间中的收敛性。
2017-11-10 cs.NA math.NA math.OC
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain（谷歌大脑）
我们描述了一个框架，推导和分析在线优化算法，包括自适应，数据相关的正则化，也称为预处理。这样的算法已被证明是有用的随机优化，根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献，包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此，我们获得了新的收敛性证明，这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Truncated Differentiation Through Primal-Dual Solvers for Inverse Potential Mean-Field Games
University of California, Riverside（加州大学河滨分校）；Colorado School of Mines（科罗拉多矿业学院）
该研究针对逆势平均场博弈，提出无雅可比反向传播（JFB-r）方法，通过截断微分实现高效逆问题求解，在保持恢复精度的同时降低内存与运行时间。
2026-08-06 cs.NA math.NA math.OC
On the complexity of Mumford-Shah type regularization, viewed as a relaxed sparsity constraint
Princeton University（普林斯顿大学）；New York University（纽约大学）
本文证明截断二次正则化反问题在一般情况下是NP难的，甚至难以近似到加性误差，从而确认了Mumford-Shah泛函无法自然推广到一般反问题。
2010-01-18 cs.NA math.NA math.OC
Robust discretization and solvers for elliptic optimal control problems with energy regularization
本文考虑三维计算区域上奇摄动椭圆型反应扩散方程的有限元离散和迭代求解。这些方程是由M.~[1]最近研究的带能量正则化的椭圆分布最优控制问题的最优性条件导出的Neumüller和O.~ Steinbach（2020）.我们提供准最优的先验有限元误差估计，这取决于网格尺寸$h$和正则化参数$\varrho$。选择$\varrho = h^2$可确保最佳收敛性，这仅取决于目标函数的正则性。对于迭代求解，我们采用了代数多重网格预条件和平衡区域分解约束（BDDC）预条件。我们数值研究的鲁棒性和效率的建议代数预条件的网格大小$h$，正则化参数$\varrho$，和子域（核心）的数量$p$。此外，我们研究了BDDC预处理共轭梯度求解器的并行性能。
2021-02-06 cs.NA math.NA math.OC
"Plug-and-Play" Edge-Preserving Regularization
Southwestern University of Finance and Economics（西南财经大学）；Tufts University（塔夫茨大学）；Technical University of Denmark（丹麦技术大学）
本文提出一种基于标准矩阵计算工具的简单边缘保持正则化方法，替代传统复杂算法，提升实用性。
2014-06-04 cs.NA math.NA math.OC
Total Variation Superiorized Conjugate Gradient Method for Image Reconstruction
共轭梯度法是一种快速求解最小二乘问题的常用方法。在图像重建中，问题可能是不适定的，也可能被噪声污染;因此，应该使用正则化等方法。全变差（TV）是一种有用的正则化惩罚，经常用于图像重建以生成具有尖锐边缘的图像。当选择非二次范数进行正则化时，如TV的情况，则不再可能使用CG。非线性CG是一种替代方法，但它不具有CG与最小二乘法的效率，并且对于TV范数的问题，诸如快速迭代收缩阈值算法（FISTA）之类的方法是优选的。包含先验信息的另一种方法是优先化。本文证明了共轭梯度法的优越性。提出了五种不同的CG变体，包括预处理CG。提出了基于全变差范数的CG方法，并证明了其在图像重建中的性能。它示出了一些优越的CG方法的建议的变体可以产生质量优越的重建FISTA和在更少的计算时间，由于原始CG的最小二乘问题的速度。
2017-09-14 math.OC
An overlapping waveform-relaxation preconditioner for economic optimal control problems with state constraints
本文考虑一类抛物型经济最优控制问题。这些问题的特点是逐点的状态约束正则化的参数，它转换为混合控制状态的纯状态约束。然而，经典的（半光滑）牛顿法的收敛性恶化的正则化参数的值减小。为了解决这个问题，一个非线性预处理器。这是基于重叠优化波形-松弛法，其特征在于罗宾传输条件。数值实验表明，适当选择的重叠和罗宾参数导致一个预条件牛顿法的鲁棒收敛对状态约束正则化参数。
2021-03-27 cs.NA math.NA math.OC
Robust finite element discretization and solvers for distributed elliptic optimal control problems
我们考虑标准跟踪型，分布式椭圆最优控制问题与$L^2$正则化，和他们的有限元离散。我们正在调查之间的有限元近似$u_{\varrho h}$的状态$u_\varrho$和所需的状态（目标）$\bar{u}$的正则化参数$\varrho$和网格步长$h$，导致最佳选择$\varrho = h^4$的$L^2$误差。事实证明，对于正则化参数的这种选择，我们可以设计简单的Jacobi预处理MINRES或Bramble-Pasciak CG方法，使我们能够以相对于算术运算和内存需求的渐近最优复杂度来解决简化的离散最优性系统。理论结果通过几个基准问题得到了证实，这些基准问题的目标具有不同的几何尺寸，包括不连续目标。
2022-07-11 cs.NA math.NA math.OC
Preconditioned Gradient Descent for Over-Parameterized Nonconvex Matrix Factorization
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
针对非凸矩阵分解过参数化时收敛速度变慢的问题，提出预处理梯度下降PrecGD，通过带特定阻尼参数的$\boldsymbol{\u2113}_2$正则化修正奇异性，恢复线性收敛且噪声下稳定，数值实验验证其有效性。
2025-04-13 cs.LG math.OC stat.ML
An inexact Newton-Krylov algorithm for constrained diffeomorphic image registration
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了解决大变形几何图像配准问题的数值算法。我们将非刚性图像配准问题转化为一个最优控制问题。这导致了一个无限维偏微分方程（PDE）约束的最优化问题。PDE约束，在其最简单的形式，一个双曲传输方程的图像强度的演变。控制变量是速度场。控制上的Tikhonov正则化确保适定性。我们考虑基于$H^1$ -或$H^2$ -范数的标准平滑正则化。我们增加了这个正则化方案的速度场的发散性的约束，使变形不可压缩，从而确保变形梯度的行列式等于一，直到数值误差。我们使用傅立叶伪谱离散空间和切比雪夫伪谱离散时间。我们使用预处理，全球化，矩阵自由，不精确的牛顿-克雷洛夫方法进行数值优化。设计了一种参数延拓方法来估计最优正则化参数。通过控制变形场的几何特性来确保规则性。总的来说，我们得到了一个黑盒解决方案。我们研究了Hessian格式的谱性质、网格收敛性、数值精度、计算效率和变形规律。我们比较设计的牛顿-克雷洛夫方法与全球化的预条件梯度下降。我们研究了不同数量的未知量的影响。报告的结果表明，优良的数值精度，保证局部变形规律，和计算效率与局部质量守恒的可选控制。如果需要高精度的反演，Newton-Krylov方法明显优于Picard方法。
2015-05-07 cs.CV cs.NA math.NA
Constrained $H^1$-regularization schemes for diffeomorphic image registration
The Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算工程与科学研究所）
我们提出了正则化方案的变形登记和有效的算法，其数值逼近。我们把图像配准作为一个变分最优控制问题。变形图由其速度参数化。Tikhonov正则化确保适定性。我们的计划增加了标准的光滑正则化算子的基础上$H^1$ -和$H^2$ -规范的速度场，这类似于斯托克斯不可压缩流的变分制剂的发散的约束。在我们的公式中，我们反演了一个稳定的速度场和一个质量源映射。这使我们能够显式地控制变形图的可压缩性，并通过该可压缩性来控制变形梯度的决定因素。我们还介绍了一个新的正则化方案，使我们能够控制剪切。我们使用一个全球化的，预处理，矩阵自由，减少空间（高斯-）牛顿-Krylov计划的数值优化。我们利用变量消除技术，以减少我们的系统的未知数的数量，我们只在约化空间的速度场。我们目前的实现仅限于二维情况。数值实验表明，我们可以控制变形梯度的行列式，而不影响配准质量。这个额外的控制允许我们避免变形贴图的过度平滑。我们还表明，我们可以促进或惩罚剪切，同时控制变形梯度的决定因素。
2016-09-07 cs.CV math.OC
Robust preconditioners for PDE-constrained optimization with limited observations
正则化鲁棒预条件子已被成功地开发用于偏微分方程约束最优化问题。然而，这些方法通常假设观测数据在状态方程的整个域中是可用的。对于许多反问题，这是一个不切实际的假设。在本文中，我们提出并分析了预条件的PDE约束最优化问题有限的观察数据，例如，观察只可在边界上的解决方案域。我们的方法是强大的正则化参数和网格步长。也就是说，预条件最优性系统的条件数是一致有界的，与这两个参数的大小无关。我们首先考虑一个典型的椭圆控制问题，然后考虑更一般的偏微分方程约束最优化问题。我们的理论研究结果照亮了几个数值结果。
2015-06-22 math.AP math.OC
Support identification for parameter variations in a PDE system via regularized methods
研究从边界测量恢复PDE系统中参数变化空间支撑集的逆问题，提出结合单调性原理与TSVD正则化的混合方法，提升了重构精度、噪声鲁棒性与支撑集定位锐度，数值实验验证了其有效性。
2025-05-27 math.OC
Distributed Large Scale Network Utility Maximization
Zymnis等人最近的工作提出了一种有效的原始-对偶邻域点方法，使用截断牛顿法来解决网络效用最大化（NUM）问题。相对于传统的双分解方法，该方法表现出优越的性能。Bickson等人最近的其他工作展示了如何利用高斯置信传播算法有效地和分布式地计算牛顿步骤，这是牛顿方法的主要计算瓶颈。在目前的工作中，我们结合这两种方法来创建一个有效的分布式算法来解决NUM问题。与Zymnis使用集中式方法的工作不同，我们的新算法很容易分布。使用实证评估，我们表明，我们的新方法优于以前的方法，包括截断牛顿法和双分解方法。作为一个额外的贡献，这是第一个工作，评估性能的高斯信念传播算法与预处理共轭梯度法，一个大规模的问题。
2009-05-09 cs.DC cs.IT math.IT
A Truncated Newton Method for Optimal Transport
University of Toronto（多伦多大学）；Polytechnique Montréal（蒙特利尔理工学院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Vector Institute（向量研究所）
针对熵正则化最优传输，提出一种GPU并行截断牛顿算法，在无Lipschitz Hessian假设下实现局部二次收敛，运行速度比现有方法快数个数量级，并可扩展至百万级规模问题。
2025-04-02 cs.LG cs.MS math.OC
A Scalable Interior-Point Gauss-Newton Method for PDE-Constrained Optimization with Bound Constraints
本文针对带边界约束的PDE约束优化问题，提出基于全空间内点高斯-牛顿法的可扩展求解框架，并设计两种谱相关预条件子，使线性求解迭代次数与离散化和内点病态性无关，实现并行可扩展求解。
2024-10-19 cs.NA math.NA math.OC
An Efficient Scaled spectral preconditioner for sequences of symmetric positive definite linear systems
本文针对对称正定线性系统序列，提出一种缩放谱预条件子及三种缩放参数选择策略，以改善共轭梯度法早期收敛，并通过数据同化实验验证其低开销下的显著加速效果。
2024-10-03 cs.NA math.NA math.OC
Quaternion Optimized Model with Sparse Regularization for Color Image Recovery
University of Macau（澳门大学）；Zhejiang Normal University（浙江师范大学）
本文根据变换域中稀疏正则化的特点，提出了低秩四元数矩阵优化的彩色图像补全问题。这项研究的灵感来自于这样一个事实，即不同的信号类型，包括音频格式和图像，拥有固有的稀疏结构，在其各自的基础。由于彩色图像可以在四元数域中作为一个整体进行处理，我们在四元数离散余弦变换（QDCT）域中描述了彩色图像的稀疏性。此外，彩色图像固有的低秩结构的表示是四元数矩阵完备问题中的一个至关重要的问题。为了获得更好的低秩近似，基于四元数的截断核范数（QTNN）被用于所提出的模型。此外，该模型是由一个主管交替方向的乘子法（ADMM）的基础上的算法。大量的实验结果表明，所提出的方法可以产生非常优越的完成性能相比，最先进的低秩矩阵/四元数矩阵近似方法测试的彩色图像恢复。
2022-04-19 cs.CV eess.IV math.OC
Stochastic Anderson Mixing for Nonconvex Stochastic Optimization
Tsinghua University（清华大学）
安德森混合（AM）是一种定点迭代的加速方法。尽管AM在科学计算中获得了成功和广泛的应用，但其收敛理论仍不清楚，其在机器学习问题中的应用也没有得到很好的探索。本文通过在经典AM中引入阻尼投影和自适应正则化，提出了一种求解非凸随机优化问题的随机Anderson混合（SAM）格式。在适当的假设下，我们建立了SAM的收敛性理论，包括几乎必然收敛到稳定点和最坏情况下的迭代复杂性。此外，当随机选择一个随机数作为输出时，可以提高复杂度界。为了进一步加快收敛速度，我们将方差减少技术到建议SAM。我们还提出了一个预处理的混合策略SAM，可以经验地实现更快的收敛速度或更好的泛化能力。最后，我们将SAM方法应用于训练各种神经网络，包括vanilla CNN，ResNets，WideResNet，ResNeXt，DenseNet和RNN。在图像分类和语言模型上的实验结果证明了该方法的优越性。
2021-10-04 cs.LG math.OC
Preconditioners for robust optimal control problems under uncertainty
利用有限元法和随机配置法对不确定性下的鲁棒二次最优控制问题进行离散化，得到了跨随机实现完全耦合的大型鞍点系统。尽管它与许多工程问题相关，但此类系统的解决方案具有很大的挑战性。在这篇手稿中，我们研究了有效的预条件所有在一次使用的方法，代数和运营商预处理框架。我们特别表明，正则化参数的值不太小，鞍点系统可以有效地解决并行预处理的所有状态和伴随方程。对于正则化参数的小值，鲁棒性可以通过一个小的线性系统的附加解来恢复，然而，它耦合了所有的实现。研究了一种均值逼近和一种切比雪夫半迭代法来求解该约化方程组。我们的分析考虑了一个随机椭圆型偏微分方程，其扩散系数$κ(x,ω)$被建模为几乎必然连续和正的随机场，虽然不一定一致有界和强制。我们进一步提供估计的依赖性的预处理系统的方差的随机场。这种估计涉及随机变量$1/\min_{x\in \overline{D}} κ(x,ω)$和$\max_{x\in \overline{D}}κ(x,ω)$的一阶矩或二阶矩，其中$D$是空间域。数值实验证实了理论结果，并进一步讨论了实现细节。
2021-10-14 cs.NA math.NA math.OC
