Line Search Fixed Point Algorithms Based on Nonlinear Conjugate Gradient Directions: Application to Constrained Smooth Convex Optimization
本文研究实Hilbert空间上非扩张映射的不动点问题，提出了新的线搜索不动点算法来加速搜索.线搜索的终止条件是基于众所周知的沃尔夫条件，用于确保无约束优化算法的收敛性和稳定性。利用最速下降方向和传统的无约束优化的非线性共轭梯度方向的思想，产生了搜索不动点的方向。在一定的假设条件下，我们对求解不动点问题的算法进行了收敛性和收敛速度分析。本文的主要贡献是对约束光滑凸优化问题中的一个问题，即能否设计非线性共轭梯度算法来求解约束光滑凸最优化问题做出了具体的回答。我们证明了所提出的不动点算法包括具有非线性共轭梯度方向的不动点算法，这些不动点算法可以求解约束光滑凸优化问题。为了说明算法的实用性，我们将其应用于具体的约束光滑凸最优化问题，如约束二次规划问题和广义凸可行性问题，并将其与以前基于Krasnosel'ski \u-Mann不动点算法的算法进行了数值比较.结果表明，与已有算法相比，本文算法大大减少了求解具体最优化问题的运行时间和迭代次数.
2015-09-18 math.OC
A New Spectral Conjugate Subgradient Method with Application in Computed Tomography Image Reconstruction
University of Washington Bothell（华盛顿大学博塞尔分校）；New York University（纽约大学）；University of Washington（华盛顿大学）；University of Oregon（俄勒冈大学）
提出一种结合谱共轭梯度与谱次梯度的新方法，用于非光滑优化及CT图像重建，实验表明其优于原始谱次梯度法，且Polak-Ribiere公式表现最佳。
2024-06-05 math.OC
Distributed Conjugate Gradient Method via Conjugate Direction Tracking
本文提出一种基于共轭方向追踪的分布式共轭梯度法，通过动态共识估计平均共轭方向，允许非协调步长且无需递减步长即可收敛，并在分布式状态估计中验证了其优于一阶方法的性能。
2024-02-26 cs.DC cs.MA math.OC
Hager-Zhang Conjugate Gradient Method for Set Optimization with Set-Valued Objective Map of Finite Cardinality
Indian Institute of Technology (BHU)（印度技术学院（贝拿勒斯））；Yunnan Normal University（云南师范大学）；Chongqing JiaoTong University（重庆交通大学）
研究针对集优化问题，引入非线性Hager-Zhang共轭梯度法，通过Drummond-Svaiter标量化函数讨论Wolfe线搜索条件，引入共轭参数得出搜索方向，证明其为下降方向，建立渐近全局收敛性，经数值实验验证了该方法的性能和有效性。
2026-07-16 math.OC
A Modified Dai-Liao Spectral Conjugate Gradient Method with an Application to Signal Processing
Banaras Hindu University（贝拿勒斯印度教大学）；The Technion -- Israel Institute of Technology（以色列理工学院）；Indian Institute of Technology Roorkee（罗克勒印度理工学院）
本文提出一种改进的 Dai-Liao 谱共轭梯度法，通过引入新的 secant 条件和拟牛顿方向，提升收敛速度和计算效率，并应用于信号处理中。
2025-12-15 math.OC
On the properties of the linear conjugate gradient method
本文证明了线性共轭梯度法生成的梯度具有共轭性，并提出了一种基于搜索方向共轭性和梯度正交性推导该方法的新途径。
2023-08-01 math.OC
Regularized Step Directions in Nonlinear Conjugate Gradient Methods
本文提出CGM的混合三次正则化方法，利用Shanno的无记忆BFGS重新表述推导出计算量同级的新正则化步长方向，在更少假设下实现全局收敛，数值实验表明其减少了迭代次数与运行时间。
2024-08-28 math.OC stat.CO
A Subspace Minimization Barzilai-Borwein Method for Multiobjective Optimization Problems
针对多目标共轭梯度法搜索方向共轭特性不明确、可解释性缺失的问题，提出子空间最小化Barzilai-Borwein多目标优化方法SMBBMO，通过二维子空间求解子问题生成搜索方向，结合修正Cholesky分解保证收敛性，实验验证其在大规模和病态问题上的有效性。
2024-04-23 math.OC
An Approximate Conjugate Subgradient Algorithm with Matrix Parameter for Derivative-Free Nonsmooth Optimization Problems
Fakultät für Mathematik, Universität Wien（维也纳大学）；Faculty of Engineering, Free University of Bozen–Bolzano（博岑-博尔扎诺自由大学）；Université Catholique de Louvain (UCLouvain)（天主教鲁汶大学）
提出一种无导数矩阵共轭次梯度方法，通过离散梯度采样和最小范数元素计算，结合矩阵记忆校正与线搜索，求解局部Lipschitz函数的无约束非光滑优化问题，数值实验表明算法鲁棒性强。
2026-06-27 math.OC
A Stochastic Conjugate Subgradient Algorithm for Two-stage Stochastic Programming
针对两阶段随机规划，提出随机共轭次梯度（SCS）框架，系统解决样本量、搜索方向和步长选择问题，并证明新算法的收敛性及收敛速度，初步实验验证理论。
2025-03-26 math.OC
Modifications of the Frank-Wolfe algorithm in the problem of finding an equilibrium distribution of traffic flows
针对均衡交通分配问题，提出Frank-Wolfe算法的NFW、WFFW等多种改进方案，通过多组城市路网数据集实验验证，利用前序方向的改进算法收敛性能优于经典版本。
2024-03-07 math.OC
Solution of Uncertain Multiobjective Optimization Problems by Using Nonlinear Conjugate Gradient Method
本文提出非线性共轭梯度法（NCGM）求解不确定多目标优化问题的鲁棒对应，通过构建子问题确定下降方向并结合Armijo线搜索生成收敛序列，有效克服了传统标量化方法的权重预设限制。
2025-03-01 math.OC
A Framework of Conjugate Direction Methods for Symmetric Linear Systems in Optimization
University Ca’Foscari of Venice（威尼斯大学）；CNR-INSEAN, National Research Council-Maritime Research Centre（国家研究委员会海事研究中心）
本文提出一种参数依赖的 Krylov 类方法 CD，用于求解对称线性系统，通过生成共轭方向序列扩展标准共轭梯度法的性质，实现共轭性保持，并证明了 CD 算法的有限收敛性及误差分析，同时引入预处理以保持预处理 CG 的误差界。
2014-08-26 cs.NA math.NA math.OC
A Regularized Limited Memory Subspace Minimization Conjugate Gradient Method for Unconstrained Optimization
本文基于有限记忆技术和子空间最小共轭梯度法，提出了一种正则化有限记忆子空间最小共轭梯度法，它包含两种迭代方式。在SMCG迭代中，我们通过最小化近似二次模型或近似正则化模型来获得搜索方向。在RQN迭代中，结合正则化技术和BFGS方法，在子空间中采用了一种改进的正则化拟牛顿法，以提高算法的正交性。此外，设计了一些简单的加速准则和一种改进的初始步长选择策略，以提高算法的效率。此外，利用广义非单调线搜索，并在较弱的条件下证明了算法的整体收敛性。最后，数值结果表明，该算法比ASMCG_PR算法有明显的改进，并且优于CUTEr库的有限内存共轭梯度软件包CG_DESCENT（6.8）和CGOPT（2.0）.
2023-01-07 math.OC
Preconditioned Proximal Gradient Methods with Conjugate Momentum: A Subspace Perspective
College of Mathematics, Sichuan University（四川大学数学学院）；National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学应用数学重庆中心）
针对复合优化问题，提出一种利用线性算子结构设计预条件子的方法，并通过子空间近端牛顿框架融合曲率信息，实现高效求解，理论保证全局收敛和Q-线性收敛率。
2026-07-10 math.OC
Direction Finding Based on Multi-Step Knowledge-Aided Iterative Conjugate Gradient Algorithms
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）；University of York（约克大学）
在这项工作中，我们提出了方向的到达（DoA）估计算法的基础上的Krylov子空间，有效地利用先验知识的信号，冲击传感器阵列。建议的多步知识辅助迭代共轭梯度（CG）（MS-KAI-CG）算法执行减法的传感器数据的估计协方差矩阵中发现的不需要的条款。此外，我们开发了一个版本的MS-KAI-CG配备了前向-后向平均，称为MS-KAI-CG-FB，这是适当的相关信号的情况下。与当前的知识辅助方法不同，该方法利用已知的DOA来增强对输入数据的协方差矩阵的估计，MS-KAI-CG算法利用前后向平滑协方差矩阵的结构及其干扰项的知识。对不相关和相关信号的仿真表明，MS-KAI-CG算法优于现有技术。
2018-12-16 cs.IT cs.LG cs.SD
Efficient Dual ADMMs for Sparse Compressive Sensing MRI Reconstruction
磁共振成像（MRI）是一种用于疾病诊断成像的医学成像技术，但其图像质量可能会受到较长的采集时间的影响。基于压缩感知（CS）的重建策略可以大大减少重建时间，但它需要有效的重建算法来产生高质量和可靠的图像。本文主要研究CS-MRI稀疏重建算法的改进，特别是考虑了一个由小波变换的全变差正则项和$\ell_1$ -范数项之和构成的非光滑凸极小化问题。针对对偶问题的部分动机是对偶变量涉及相对低维的子空间。而不是像往常一样解决的原始模型，我们把我们的注意力转向其相关的对偶模型组成的三个可变块和两个可分离的非光滑函数块。然而，必须避免直接扩展的乘子交替方向法（ADMM），因为它可能是发散的，尽管它通常在数值上表现良好。为了解决这个问题，我们采用了对称高斯-赛德尔（SGS）技术为基础的ADMM。与直接推广的ADMM相比，该方法只需要增加一次迭代，但理论上可以保证其收敛性。此外，我们还提出了ADMM的一个广义变体，因为这种方法在过去几年中已经被证明是有效的解决半定规划。最后，在不同的采样模式和采样率下，我们对模拟和真实的MRI图像进行了大量的MRI重建实验。数值结果表明，所提出的算法具有较高的重建精度和较快的计算速度。
2021-11-24 math.OC
Riemannian conjugate gradient methods: General framework and specific algorithms with convergence analyses
提出了一种新的黎曼共轭梯度法的一般框架，即黎曼流形上的共轭梯度法。共轭梯度法是欧几里得空间和黎曼流形上重要的一阶优化算法。虽然各种类型的共轭梯度法在欧几里得空间中得到了研究，但在黎曼流形上的研究较少。在黎曼共轭梯度法的每次迭代中，前一个搜索方向必须被转移到当前切空间，以便它可以被添加到当前点处目标函数的负梯度上。将一个切向量转移到另一个切空间有几种方法。因此，黎曼共轭梯度法的变体比欧几里德的情况更多。为了更详细地研究它们，所提出的框架统一了现有的黎曼共轭梯度法，如利用矢量传输或逆收缩，还开发了其他方法，还没有被覆盖在以前的研究。此外，阐明了在所提出的框架中的一类算法的收敛性的充分条件。此外，对几种具体类型的算法的整体收敛性质进行了广泛的分析。分析提供了一些算法的理论结果，在一个更一般的设置比现有的研究和完全新的发展，为其他算法。数值实验验证了理论结果的正确性。结果还比较了几个具体的算法在所提出的框架的性能。
2021-12-05 math.OC
A Proof of the Forsythe Conjecture for the Two-Step Restarted Conjugate Gradient Method
University of Cambridge（剑桥大学）；California Institute of Technology（加州理工学院）；Cornell University（康奈尔大学）
该研究针对重启长度为2的情况，证明了Forsythe1968年提出的重启共轭梯度法归一化残差方向趋近二循环的猜想，即偶、奇步归一化残差分别收敛（方法不终止时）。
2026-08-05 cs.NA math.DS math.NA
Quantum-compatible Riemannian conjugate gradient for ground-state preparation
Nanyang Technological University（南洋理工大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Keio University（庆应义塾大学）
本研究提出量子兼容的黎曼共轭梯度下降（QCGD），其在迭代收敛速度上优于基线DB-QITE算法，虽单次更新电路深度增加，但因电路深度随迭代指数增长，在早期容错阶段具实际优势。
2026-10-16 math.OC quant-ph
Nonmonotone Barzilai-Borwein Gradient Algorithm for $\ell_1$-Regularized Nonsmooth Minimization in Compressive Sensing
Institute of Applied Mathematics, College of Mathematics and Information Science, Henan University（河南大学数学与信息科学学院应用数学研究所）；National Center for Theoretical Sciences (South), National Cheng Kung University（台湾成功大学南方理论科学中心）；Department of Applied Mathematics, Hong Kong Polytechnic University（香港理工大学应用数学系）
提出一种非单调Barzilai-Borwein梯度算法，通过局部二次模型和$\ell_1$范数结构生成下降方向，结合非单调线搜索，全局收敛，在压缩感知$\ell_1$正则化最小二乘问题上优于现有算法。
2012-07-19 cs.NA math.NA math.OC
Fast Reconstruction Algorithm for Perturbed Compressive Sensing Based on Total Least-Squares and Proximal Splitting
Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织）
本文提出一种基于总最小二乘和近端分裂的快速算法，用于解决受扰动的压缩感知问题，通过最小化l1正则化Rayleigh商成本函数，提升收敛速度和稳定性，实验验证了其有效性。
2016-06-14 cs.SY eess.SY math.OC
A family of spectral conjugate gradient algorithms derived by least-squares approximations based on a modified quasi--Newton update with application to a revised robust binary classification model
Free University of Bozen–Bolzano（博尔扎诺自由大学）；Semnan University（塞姆南大学）；American University（美利坚大学）
本文提出一类基于最小二乘逼近和修正拟牛顿更新的谱三项共轭梯度算法，保证充分下降与收敛性，并在CUTEr测试集及鲁棒二分类SVM应用中验证其优势。
2026-09-15 cs.LG math.OC
Essentially Decentralized Conjugate Gradients
以非集中方式求解线性方程的结构化系统是许多分布式优化和控制算法中的重要步骤。在多方面的应用中需要快速收敛。然而，已知的分散算法通常以线性速率呈现渐近收敛。本文提出了共轭梯度算法（d-CG）的一个基本上分散的变体。所提出的方法具有实用的超线性收敛速率，并具有先验可计算的有限步收敛保证。与以前的工作相比，我们认为明智的总和分解，而不是行分解，使应用程序在多代理设置。我们说明了d-CG的传感器融合的问题上的性能，并比较广泛使用的乘法器的交替方向法的结果。
2021-09-02 cs.SY eess.SY math.OC
D$^\text{2}$UF: Deep Coded Aperture Design and Unrolling Algorithm for Compressive Spectral Image Fusion
Universidad Industrial de Santander（桑坦德工业大学）
提出D2UF方法，通过端到端联合优化CASSI与MCFA系统的编码孔径及基于ADMM的展开重建网络，解决了压缩光谱图像融合中的空间与光谱分辨率权衡问题。
2022-05-24 cs.LG eess.IV math.OC
Two Generalized Derivative-free Methods to Solve Large Scale Nonlinear Equations with Convex Constraints
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿物大学）；Islamic University in Uganda（乌干达伊斯兰大学）
针对带凸约束的大规模非线性方程组问题，提出两种满足充分下降条件的广义无导数方法，分析了其收敛性依赖差异，数值结果验证了算法有效性。
2025-11-14 cs.NA math.NA math.OC
