Evading Adversarial Example Detection Defenses with Orthogonal Projected Gradient Descent
UC Berkeley（加州大学伯克利分校）；Google（谷歌）
规避对抗性示例检测防御需要找到必须同时（a）被模型错误分类和（b）被检测为非对抗性的对抗性示例。我们发现，现有的攻击，试图满足多个同时的约束往往过度优化对一个约束的成本，满足另一个。我们引入了正交投影梯度下降，这是一种改进的攻击技术，用于生成对抗性示例，通过在运行标准的基于梯度的攻击时正交化梯度来避免这个问题。我们使用我们的技术来规避四种最先进的检测防御，将其准确率降低到0%，同时保持0%的检测率。
2021-06-28 cs.CR cs.LG
Fast low-rank estimation by projected gradient descent: General statistical and algorithmic guarantees
University of California, Berkeley（加州大学伯克利分校）
具有秩约束的最优化问题在许多应用中出现，包括矩阵回归、结构PCA、矩阵完备化和矩阵分解问题。一个有吸引力的启发式解决这样的问题是因式分解的低秩矩阵，并运行投影梯度下降的非凸因式分解的最优化问题。这个问题的目标是提供一个一般的理论框架，以了解当这样的方法工作良好，并描述所产生的不动点的性质。我们提供了一组简单的条件下，投影梯度下降，当给定一个合适的初始化，几何收敛到一个统计上有用的解决方案。我们的结果是适用的，即使当初始解是任何区域的局部凸，甚至当问题是全球凹。工作在一个非渐近的框架，我们表明，我们的条件是满足广泛的具体模型，包括矩阵回归，结构PCA，矩阵完成与真正的和量化的意见，矩阵分解，图聚类问题。仿真结果与理论预测吻合良好。
2015-09-10 cs.LG math.ST stat.ML
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa（爱荷华大学）
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后，提出了一种有效的可行点方法--投影Wirtinger梯度下降（PWGD）算法，有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同，我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
Stop Walking in Circles! Bailing Out Early in Projected Gradient Descent
Booz Allen Hamilton（博思艾伦汉密尔顿公司）
本文提出一种基于循环检测的投影梯度下降（PGD）提前终止方法，在不损失攻击强度的情况下大幅加速对抗鲁棒性评估，并保持与标准 PGD 完全相同的鲁棒性估计结果。
2025-03-25 cs.CV cs.LG stat.ML
Quantifying the Preferential Direction of the Model Gradient in Adversarial Training With Projected Gradient Descent
Scientific Computing and Imaging Institute（科学计算与成像研究所）；University of Utah School of Medicine（犹他大学医学院）；University of Utah（犹他大学）
本文定义对抗训练后模型梯度的偏好方向，并提出基于生成对抗网络最小残差的对齐度量，证明PGD模型对齐更强且强化该对齐可提升鲁棒性。
2023-04-20 cs.CV cs.LG stat.ML
Solving Inverse Problems with Conditional-GAN Prior via Fast Network-Projected Gradient Descent
Technische Universität Berlin（柏林工业大学）；Technische Universität München（慕尼黑工业大学）
投影梯度下降（PGD）方法已经显示出在恢复由生成模型以数据驱动的方式描述的压缩信号中是有效的，即，生成器，其已经学习了数据分布。这种逆问题的进一步重建改进可以通过根据测量调节生成器来实现。边界均衡生成对抗网络（BEGAN）实现了基于均衡的损失函数和自动编码的均衡器，以更好地平衡生成器和均衡器的性能。在这项工作中，我们研究了一个基于网络的投影梯度下降（NPGD）算法的测量条件生成模型，以解决反问题比常规PGD快得多。我们结合NPGD和条件GAN/BEGAN来评估它们在解决压缩感知类问题中的有效性。我们在MNIST和CelebA数据集上的实验表明，测量条件模型与NPGD的组合在恢复压缩信号方面效果很好，同时实现了类似或在某些情况下甚至更好的性能以及更快的重建。实验中获得的重建速度提升可达140-175。
2021-09-02 cs.IT cs.LG eess.SP
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Peking University（北京大学）
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降（XOR-SGD）提供了一个收敛速度保证解决约束的版本的问题，利用XOR-采样。然而，当需要满足额外的等式和不等式约束时，任务变得更加困难。本文提出了一种基于投影梯度下降（PGD）和异或采样器相结合的新算法XOR-PGD，通过选择合适的步长，保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明，在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明，改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核，通过实验与大尺寸。
2022-03-22 cs.LG math.OC
Attacking Large Language Models with Projected Gradient Descent
Technical University of Munich（慕尼黑工业大学）
针对LLM离散对抗攻击计算成本过高的问题，提出基于连续松弛输入提示词的PGD攻击方法，通过控制松弛误差大幅提升效力，比现有离散优化快达一个数量级。
2025-03-03 cs.LG
On the Inherent Privacy of Zeroth Order Projected Gradient Descent
Department of Computer Science University of Southern California（计算机科学系美国南加州大学）
本文证明零阶梯度下降的固有噪声不足以保证差分隐私，即使在随机初始化下，其隐私损失也可能随迭代次数超线性增长。
2025-07-09 cs.LG math.OC stat.ML
AWP: Activation-Aware Weight Pruning and Quantization with Projected Gradient Descent
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
AWP通过投影梯度下降方法实现激活感知的权重剪枝与量化，优于现有LLM压缩技术。
2025-11-29 cs.LG
Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning
University of California, Berkeley（加州大学伯克利分校）
FOPNG通过Fisher正交约束在持续学习中提升模型性能，有效避免灾难性遗忘。
2026-01-26 cs.AI cs.LG
Projected Gradient Descent Algorithms for Solving Nonlinear Inverse Problems with Generative Priors
National University of Singapore（新加坡国立大学）；Tencent（腾讯）
在本文中，我们提出了投影梯度下降（PGD）算法的信号估值从噪声的非线性测量。我们假设未知的$p$维信号位于具有有界$k$维输入的$L$ -Lipschitz连续生成模型的范围附近。特别是，我们考虑两种情况下，非线性链接函数是未知的或已知的。对于未知的非线性，类似于\cite{liu2020generalized}，我们假设亚高斯观测，并提出了一个线性最小二乘估计。我们表明，当没有表示误差和感测向量是高斯，大致$O(k \log L)$样本足以确保PGD算法线性收敛到一个点，实现最佳的统计率使用任意初始化。对于已知的非线性，我们假设在\cite{yang2016sparse}中的单调性，并且对感测向量做出弱得多的假设，并且允许表示误差。我们提出了一个非线性最小二乘估计，保证享有最佳的统计率。一个相应的PGD算法提供，并示出也线性收敛到使用任意初始化的估计。此外，我们提出的图像数据集上的实验结果来证明我们的PGD算法的性能。
2022-09-21 cs.LG stat.ML
Tree-Projected Gradient Descent for Estimating Gradient-Sparse Parameters on Graphs
Yale University（耶鲁大学）
研究了梯度稀疏参数向量$\boldsymbolθ^* \in \mathbb{R}^p$的估计问题，该向量在底层图$G$上具有强梯度稀疏性$s^*:=\|\nabla_G \boldsymbolθ^*\|_0$.给定观测$Z_1,\ldots,Z_n$和一个光滑的凸损失函数$\mathcal{L}$，其中$\boldsymbolθ^*$使人口风险$\mathbb{E}[\mathcal{L}(\boldsymbolθ;Z_1,\ldots,Z_n)]$最小化，我们建议通过投影梯度下降算法来估计$\boldsymbolθ^*$，该算法迭代地近似地将梯度步长投影到在$G$的低度生成树上具有小梯度稀疏性的向量空间上。我们表明，在适当的限制强凸性和光滑性假设的损失，由此产生的估计达到平方误差风险$\frac{s^*}{n} \log (1+\frac{p}{s^*})$的乘法常数是独立的$G$。相比之下，以前的多项式时间算法只被证明可以在更专门的设置中实现这种保证，或者在对$G$和/或$\nabla_G \boldsymbolθ^*$的稀疏模式的附加假设下实现这种保证。作为一般框架的应用，我们将所得结果应用于随机设计的线性模型和广义线性模型的例子。
2020-05-31 cs.LG math.ST stat.ME
Complexity Bounds and Approaches to Learning Projected Gradient Descent Solver Iterates
Princeton University（普林斯顿大学）
针对数据稀缺挑战，研究用k邻域数据收集策略扩充训练数据，推导泛化界，以投影梯度下降求解单边盒约束二次规划为例说明，提高数据-模型-优化循环效率，实现更强大的DDDAS范式，并与GLENS联系。
2026-07-27 cs.LG
Deep Learning-Aided Projected Gradient Detector for Massive Overloaded MIMO Channels
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Osaka City University（大阪市立大学）
针对大规模过载MIMO系统，提出了一种深度学习辅助的迭代检测算法。由于该算法是基于投影梯度下降方法，并具有可训练的参数，因此被称为可训练投影下降检测器（TPG-检测器）。可训练的内部参数可以用标准的深度学习技术来优化，例如反向传播和随机梯度下降算法。这种方法被称为数据驱动的调整带来了显着的优点，如快速收敛的建议计划。数值实验表明，TPG检测器实现了类似的检测性能的大规模过载MIMO信道的已知算法，以较低的计算成本。
2018-12-25 cs.IT cs.LG math.IT
Quantitative Convergence Analysis of Projected Stochastic Gradient Descent for Non-Convex Losses via the Goldstein Subdifferential
该研究针对非凸损失投影SGD收敛衡量存在的局限，提出以梯度到Goldstein次微分的距离作为收敛准则，推导了不同数据分布下的渐近与非渐近收敛界，首次得到该场景下的非渐近高概率界。
2025-10-03 cs.LG math.OC
Integrating Intermediate Layer Optimization and Projected Gradient Descent for Solving Inverse Problems with Diffusion Models
uestc（电子科技大学）
针对基于扩散模型的逆问题求解方法计算开销大、收敛欠佳的问题，提出DMILO与DMILO-PGD两种方法，通过中间层优化降内存、稀疏偏差扩范围、融合投影梯度下降优收敛，经多数据集实验验证性能优于现有最优方法。
2025-09-04 cs.CV cs.LG
On-Manifold Projected Gradient Descent
Teledyne Scientific & Imaging, LLC（Teledyne科学与成像有限责任公司）；George Mason University（乔治梅森大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究提出基于共形不变扩散映射与Nyström投影的高维数据类别流形近似方法，结合谱外微积分实现流形上对抗样本生成与对抗训练，使误分类可通过语义操作解释。
2023-08-23 cs.LG cs.NA math.NA
Interleaved Projected Gradient Descent for Safe Imitation Learning
University of California, Berkeley（加州大学伯克利分校）
提出交错投影梯度下降的模仿学习方法，在约束下训练神经网络控制器，通过交替安全投影步骤实现约束满足，在赛车任务中降低违反率至1%且不牺牲性能。
2026-10-07 cs.LG cs.SY eess.SY
Euclidean Distance Matrix Completion via Asymmetric Projected Gradient Descent
School of Electronics and Communication Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学电子与通信工程学院（深圳校区））
本文提出非对称投影梯度下降算法，用于欧几里得距离矩阵补全，首次给出无需样本分割的全局收敛保证，实验显示丰富样本下线性收敛，但有限样本下性能逊于s-stress优化。
2025-10-17 cs.LG eess.SP stat.ML
Projected Riemannian Gradient Descent for the Bures-Wasserstein Barycenter: Dimension-Independent Linear Convergence at Unit Step Size
National University of Singapore（新加坡国立大学）
该研究针对Bures-Wasserstein重心计算的二分性问题，提出投影黎曼梯度下降算法，在单位步长下实现与维度无关的线性收敛，多项式改进了迭代复杂度，还将该保证扩展到了不变矩阵投影场景。
2026-09-04 cs.LG math.OC quant-ph
On the Convergence Rates of Policy Gradient Methods
Meta AI Research（Meta人工智能研究院）
我们考虑有限状态和行动空间的无限时域折扣马尔可夫判定问题，并研究了在策略空间中直接参数化的投影策略梯度法和一般类策略镜像下降法的收敛速度。首先，我们发展了一个弱梯度映射优势理论，并利用它证明了投影策略梯度法具有更快的次线性收敛速度。然后，我们表明，随着步长的几何增加，一般类的政策镜像下降法，包括自然政策梯度法和投影Q-下降法，都享有线性收敛速率，而不依赖于熵或其他强凸正则化。最后，我们还分析了不精确策略镜像下降法的收敛速度，并在一个简单的生成模型下估计了其样本复杂度。
2022-03-06 cs.LG math.OC
Beyond NTK with Vanilla Gradient Descent: A Mean-Field Analysis of Neural Networks with Polynomial Width, Samples, and Time
Stanford University（斯坦福大学）
该研究通过平均场分析证明，多项式宽度两层神经网络上未修改的投影梯度下降，能以$O(d^{3.1})$的样本复杂度在多项式时间内达到核方法用远少于$d^4$样本无法实现的误差，明确了其与NTK的性能分离。
2023-10-07 cs.LG
Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients
Aalto University（阿尔托大学）；Imperial College London（帝国理工学院）；University of Adelaide（阿德莱德大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
本文提出 QP-SBGD 优化器，通过二次约束二值优化将梯度映射为二值变量，并利用量子退火器执行 NP 难投影，实现二值神经网络的高效训练，在多项任务中达到或超越现有基线。
2024-09-03 cs.CV cs.LG quant-ph
A Unifying Perspective on Descent Directions for Constrained Minimization and Switching Criteria
Georgia Institute of Technology（佐治亚理工学院）；Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文提出Shadow-CG方法，利用负梯度投影的阴影方向作为最优下降方向，结合Frank-Wolfe顶点步，实现线性收敛，其速率依赖于投影曲线断点数而非金字塔宽度，并给出断点数量的界。
2026-10-06 cs.LG math.OC
On Projected Stochastic Gradient Descent Algorithm with Weighted Averaging for Least Squares Regression
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
考虑了$d$维未知参数的最小二乘回归问题。研究了一种基于随机梯度下降的加权迭代平均算法，并分析了其收敛速度。我们首先考虑未知参数的有界约束集。在一些标准的规律性假设下，我们提供了一个明确的$O(1/k)$上界的收敛速度，取决于方差（由于测量中的加性噪声）和约束集的大小。我们发现，方差项占主导地位的错误，并与率$1/k$减少，而与约束集的大小有关的项与率$\log k/k^2$减少。然后，我们比较的渐近比$ρ$之间的收敛速度的建议计划和经验风险最小化（ERM）的迭代次数接近无穷大。我们表明，$ρ\leq 4$在一些温和的条件下，所有的$d\geq 1$。我们进一步改进的上限表明，$ρ\leq 4/3$的情况下，$d=1$和无界参数集。仿真结果表明，与现有方法相比，该算法具有较强的性能，即使在实际应用中对于大的$d$，该算法也能与$ρ\leq 4/3$相吻合.
2016-06-09 cs.IT cs.LG math.IT
Enhancing Adversarial Text Attacks on BERT Models with Projected Gradient Descent
Praxis Tech School（Praxis技术学院）；Praxis Business School（Praxis商学院）
本文提出PGD-BERT-Attack，将投影梯度下降引入BERT-Attack框架，以迭代方式生成兼具不可感知性和语义相似性的对抗样本，实验表明其攻击成功率和语义保真度均优于原始方法。
2024-07-29 cs.CL cs.CR cs.LG
Trainable Projected Gradient Detector for Sparsely Spread Code Division Multiple Access
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
稀疏扩频码分多址（SCDMA）是未来无线通信中一种很有前途的非正交多址技术。在本文中，我们提出了一种新的可训练多用户检测器称为稀疏可训练投影梯度（STPG）检测器，这是基于深度展开的概念。在STPG检测器中，可训练参数嵌入到投影梯度下降算法中，该算法可以通过标准深度学习技术（如反向传播和随机梯度下降）进行训练。该检测器的优点是其低计算成本和少量的可训练参数，这使我们能够处理大规模的SCDMA系统。特别是，它的计算成本小于传统的置信传播（BP）检测器，而STPG检测器表现出几乎相同的检测性能与BP检测器。我们还提出了一个可扩展的联合学习的签名序列和STPG检测器的签名设计。数值结果表明，联合学习提高了多用户检测性能，特别是在低信噪比区域。
2019-10-23 cs.IT cs.LG math.IT
Manifold constrained steepest descent for smooth and closed-set optimization
Department of Mathematics, University of Hong Kong, Hong Kong, China（香港大学数学系）
本文提出流形约束最速下降（MCSD）方法，通过单循环框架在流形上进行优化，并引入SPEL在Stiefel流形上的应用，实现了更稳定的性能和可扩展性。
2026-08-14 cs.LG math.OC
Stochastic Backward Euler: An Implicit Gradient Descent Algorithm for $k$-means Clustering
McGill University（麦吉尔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对经典的$k$ -均值问题，提出了一种隐式梯度下降算法.隐式梯度步或向后欧拉通过随机不动点迭代求解，其中我们在每次迭代中随机采样一个小批量梯度。它是固定点轨迹的平均值，被带入下一个梯度步骤。我们在提出的随机向后欧拉和最近的熵随机梯度下降（Entropy-SGD）之间建立了联系，以改进深度神经网络的训练。在各种模拟数据集和真实数据集上的数值实验表明，该算法与$k$ -means算法相比，降低了目标函数（聚类），对初始化具有更好的鲁棒性，从而获得了更好的聚类结果.
2018-05-21 cs.LG math.OC stat.ML
Mini-Batch Covariance, Diffusion Limits, and Oracle Complexity in Stochastic Gradient Descent: A Sampling-Design Perspective
Muma College of Business, University of South Florida（佛罗里达州立大学马纳学院）；McCombs School of Business, University of Texas at Austin（德克萨斯大学奥斯汀分校麦克纳学院）
本文从采样设计角度研究了随机梯度下降中最小批量梯度噪声的协方差特性，推导了扩散极限与Oracle复杂度的理论边界，并通过数值实验验证了相关结论。
2026-04-15 cs.LG math.OC stat.ML
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems
University of California, Berkeley（加州大学伯克利分校）
受在线典型相关分析问题的启发，我们提出了\emph{Stochastic Scaled-Gradient Descent}（SSGD）算法，用于最小化一般黎曼流形上随机函数的期望。SSGD推广了投影随机梯度下降的思想，并允许使用缩放的随机梯度而不是随机梯度。在球约束的特殊情况下，这是在广义特征向量问题中出现的，我们建立了一个非渐近有限样本界的$\sqrt{1/T}$，并表明，这个速度是minimax最优的，相关参数的多对数因子。在渐近方面，一个新的渐近平均参数，使我们能够实现本地渐近正态性的速率相匹配的Ruppert-Polyak-Juditsky平均。我们把这些想法结合在一起的应用程序在线典型相关分析，推导出，在文献中，第一次，一个最佳的一次性规模的算法与显式速度的局部渐近收敛到正态性。典型相关分析的数值研究也提供了合成数据。
2022-01-24 cs.LG math.OC stat.ML
Backtracking gradient descent method for general $C^1$ functions, with applications to Deep Learning
The University of Oslo（奥斯陆大学）；Axon research（Axon研究机构）
虽然标准梯度下降是一种非常流行的优化方法，但它的收敛性无法证明超出梯度全局Lipschitz连续的函数类。因此，它实际上并不适用于深度神经网络等现实应用。在本文中，我们证明了它的回溯变体的行为非常好，特别是收敛性可以证明所有的Morse函数。本文的主要理论成果如下。定理设$f:\mathbb{R}^k\rightarrow \mathbb{R}$是$C^1$函数，而$\{z_n\}$是从回溯梯度下降算法构造的序列。(1)$\lim _{n\rightarrow\infty}||z_n||=\infty$或$\lim _{n\rightarrow\infty}||z_{n+1}-z_n||=0$。(2)假设$f$至多有可数个临界点。则$\lim _{n\rightarrow\infty}||z_n||=\infty$或$\{z_n\}$收敛于$f$的临界点。(3)更一般地，假设$f$的临界点集的所有连通分量是紧致的。则$\lim _{n\rightarrow\infty}||z_n||=\infty$或$\{z_n\}$是有界的。此外，在后一种情况下，$\{z_n\}$的聚类点的集合是连通的。这个结果的一些广义版本，包括一个不精确的版本，包括在内。本文的另一个结果涉及鞍点问题。然后，我们提出了一个启发式的论点来解释为什么标准梯度下降法工作得这么好，和GD，MMT和NAG的回溯版本的修…
2019-04-04 cs.LG cs.NA math.NA
Trainable Projected Gradient Detector for Massive Overloaded MIMO Channels: Data-driven Tuning Approach
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Kyoto University（京都大学）；Osaka City University（大阪市立大学）
本文提出了一种用于大规模过载多输入多输出（MIMO）系统的深度学习辅助迭代检测算法，其中发射天线的数量$n$大于接收天线的数量$m$。由于该算法基于可训练参数的投影梯度下降方法，因此被称为可训练投影梯度检测器（TPG-检测器）。诸如步长参数的可训练内部参数可以用标准深度学习技术来优化，即，反向传播和随机梯度下降算法。这种方法被称为数据驱动的调整，并确保在所提出的方案的参数估计过程中的快速收敛。TPG检测器主要由矩阵向量乘积运算组成，其计算成本与每次迭代的$m n$成比例。此外，TPG检测器中的可训练参数的数量与天线的数量无关。TPG检测器的这些功能导致快速稳定的训练过程以及大型系统的合理可扩展性。数值仿真表明，该检测器实现了与大规模过载MIMO信道的现有算法相当的检测性能，例如，最先进的IW-SOAV检测器，具有较低的计算成本。
2019-07-09 cs.IT cs.LG math.IT
Exponential Concentration in Stochastic Approximation
University of Manchester（曼彻斯特大学）；Durham University（杜伦大学）
本文研究随机逼近算法在期望推进与步长成正比时的指数集中界，通过几何遍历性证明扩展Hajek的马尔可夫链结果，并应用于Projected SGD等算法，证明更快的$O(1/t)$和线性收敛速率。
2024-03-24 cs.LG math.OC stat.ML
Continual Backprop: Stochastic Gradient Descent with Persistent Randomness
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Deepmind（深度思维）
用于神经网络学习的Backprop算法利用两种机制：第一，随机梯度下降，第二，具有小随机权重的初始化，其中后者对于前者的有效性至关重要。我们表明，在持续学习设置，Backprop最初表现良好，但随着时间的推移，其性能下降。单独的随机梯度下降不足以持续学习;初始随机性仅允许初始学习，而不能持续学习。据我们所知，我们是第一个显示Backprop学习能力下降的结果。为了解决Backprop可塑性的这种退化，我们提出了一种算法，该算法使用新的生成和测试过程，在梯度下降的同时不断注入随机特征。我们称之为\textit{Continual Backprop}算法。我们表明，与反向传播不同，连续反向传播能够在监督和强化学习（RL）问题中不断适应。Continual Backprop具有与Backprop相同的计算复杂性，可以被视为Backprop用于持续学习的自然扩展。
2022-05-05 cs.LG
Sampling from a log-concave distribution with Projected Langevin Monte Carlo
Microsoft Research（微软研究院）；Weizmann Institute（魏茨曼科学研究所）；Université Paris-Dauphine（巴黎第九大学）
我们通过一个投影步骤，类似于投影随机梯度下降（SGD）的朗之万蒙特卡罗（LMC）算法，以compensate支持的措施。我们表明（投影）LMC允许在多项式时间内从具有光滑势的对数凹分布中进行采样。这给出了一个新的马尔可夫链从对数凹分布中采样。我们的主要结果表明，特别是当目标分布是均匀的，LMC混合在$\tilde{O}(n^7)$步骤（其中$n$是尺寸）。我们还提供了初步的实验证据表明，LMC执行至少以及打了就跑，其中一个更好的混合时间的$\tilde{O}(n^4)$由洛夫{á}sz和Vempala证明。
2015-07-09 cs.DS cs.LG math.PR
SGD at the Edge of Stability: The Stochastic Sharpness Gap
Rice CS（Rice 计算机科学系）；Rice CS, Ken Kennedy Institute（Rice 计算机科学系，肯·肯尼迪研究所）
本文研究了SGD在稳定性边缘的随机尖锐性间隙，提出随机自稳定机制，推导了闭合形式的平衡尖锐性间隙公式，揭示了小批量对解平坦性的影响。
2026-04-22 cs.AI cs.LG math.OC
Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability
Johns Hopkins University（约翰斯·霍普金斯大学）；Rice University（莱斯大学）；Princeton University（普林斯顿大学）
本研究证明在稳定性边缘下，任意常数步长的梯度下降可使逻辑回归损失最小化，并揭示其隐式偏差，同时指出指数损失可能发散，凸显逻辑损失优势。
2023-10-15 cs.LG stat.ML
On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
本文研究了在前向-后向传递中存在扰动的随机梯度下降收敛性，分析了扰动传播机制，并通过实验验证了梯度尖峰现象的理论解释。
2026-02-24 cs.LG math.OC stat.ML
On the Convergence of Projected Alternating Maximization for Equitable and Optimal Transport
University of California, Davis（加利福尼亚大学戴维斯分校）
本文研究了公平最优输运（EOT）问题，该问题在公平分配、多代理最优输运等问题中有着广泛的应用。在离散分布的情况下，EOT问题可以转化为线性规划问题。由于这个LP对于一般的LP求解器来说太大了，Scetbon \etal \cite{scetbon2021equitable}建议通过添加熵正则化来扰动这个问题。他们提出了一种投影交替最大化算法（PAM）来解决熵正则化EOT的对偶。在本文中，我们提供了第一个PAM的收敛性分析。提出了一种新的舍入过程，以帮助构造原始EOT问题的原始解。我们还提出了一个变体的PAM通过将外推技术，可以数值上提高性能的PAM。本文的结果对一般最优化问题的块坐标（梯度）下降法有一定的指导意义。
2021-10-01 cs.LG math.OC
Neural Network Surrogate and Projected Gradient Descent for Fast and Reliable Finite Element Model Calibration: a Case Study on an Intervertebral Disc
Institute for Neuroradiology, TUM University Hospital, School of Medicine and Health, Technical University of Munich (TUM)（慕尼黑工业大学神经放射学研究所，慕尼黑工业大学医院，医学与健康学院）；Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital（慕尼黑工业大学医疗保健与医学人工智能主席席位，慕尼黑工业大学医院）；Department of Trauma and Reconstructive Surgery, University Hospital Halle, Martin-Luther-University Halle-Wittenberg（马丁路德大学哈雷-维滕贝格分校哈雷大学医院创伤与重建外科）；Department of Mechanical Engineering, Federal University of Santa Catarina（圣卡塔琳娜联邦大学机械工程系）；Department of Mechanical Engineering, Federal University of Santa Maria（圣玛丽亚联邦大学机械工程系）；Associate Professorship of Sport Equipment and Sport Materials, School of Engineering and Design, Technical University of Munich（慕尼黑工业大学工程与设计学院运动装备与运动材料副教授席位）；Department of Computing, Imperial College London（伦敦帝国理工学院计算机系）
本文提出以神经网络代理模型替代高成本有限元仿真，并结合投影梯度下降进行参数校准，在L4-L5椎间盘案例中显著提升精度并将校准缩短至3秒内。
2024-12-09 cs.LG
Learning ReLUs via Gradient Descent
University of Southern California（南加州大学）
在本文中，我们研究的问题，学习纠正线性单元（ReLU），这是形式$max(0,<w,x>)$与$w$表示的权重向量的功能。我们研究这个问题在高维政权的观察数小于的权重向量的维度。我们假设权重向量属于某个封闭集合（凸或非凸），该集合捕获了关于其结构的已知边信息。我们关注的是可变现模型，其中输入被独立同分布地选择。从高斯分布，并根据种植的权重向量生成标签。我们表明，预计的梯度下降，当初始化为0时，以线性速度收敛到种植模型的样本数是最佳的数值常数。我们对这些非常浅的神经网络收敛动力学的研究结果可能会为理解更深层次架构的动力学提供一些见解。
2017-08-01 cs.IT cs.LG math.IT
A New Backpropagation Algorithm without Gradient Descent
PES University（PES大学）
反向传播算法最初是在20世纪70年代引入的，是神经网络学习的主力。该反向传播算法利用了著名的机器学习算法（称为梯度下降），这是一种用于寻找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，需要采取与函数在当前点的梯度（或近似梯度）的负值成比例的步骤。在本文中，我们开发了一种替代反向传播的方法，而不使用梯度下降算法，而是我们将设计一种新的算法，使用Moore-Penrose伪逆来找到人工神经元的权重和偏置中的误差。在不同数据集上进行的数值研究和实验被用来验证这种替代算法的工作。
2018-01-25 cs.LG
A Proximal Block Coordinate Descent Algorithm for Deep Neural Network Training
The Hong Kong University of Science and Technology（香港科技大学）；Jiangxi Normal University（江西师范大学）；Tencent AI Lab（腾讯人工智能实验室）
由于相关的高度非凸优化，有效地训练深度神经网络（DNN）是一项挑战。反向传播（backprop）算法长期以来一直是DNN参数梯度计算中最广泛使用的算法，并与梯度下降型算法一起用于此优化任务。最近的工作已经证明了块坐标下降（BCD）类型方法在训练DNN方面的效率。鉴于此，我们提出了一种新的算法的基础上的BCD方法训练DNN，并提供其全局收敛结果建立在强大的框架上的Kurdyka-Lojasiewicz（KL）属性。标准数据集上的数值实验表明，该算法对标准的反向传播优化算法具有较好的竞争力。
2018-03-24 cs.LG math.OC stat.ML
Projected Stochastic Gradient Langevin Algorithms for Constrained Sampling and Non-Convex Learning
Langevin算法是具有加性噪声的梯度下降方法。它们已经在马尔可夫链蒙特卡罗（MCMC）采样，优化和学习中使用了几十年。它们在无约束非凸优化和学习问题中的收敛性在过去几年中得到了广泛的研究。其他工作研究了投影Langevin算法的抽样从对数凹分布限制凸紧集。对于学习和优化，对数凹分布对应于凸损失。在本文中，我们分析了非凸损失的情况下，紧凸约束集和IID外部数据变量。我们将此方法称为投影随机梯度Langevin算法（PSGLA）。我们表明，该算法实现了$O(T^{-1/4}(\log T)^{1/2})$从其目标分布在1-Wasserstein距离的偏差。对于优化和学习，我们表明，该算法实现$ε$ -次优的解决方案，平均而言，只要它运行的时间是多项式在$ε^{-1}$和稍微超指数的问题维度。
2020-12-22 cs.LG math.OC math.PR
Natural gradient descent with momentum
Centrale Nantes（南特中央理工学院）
本文提出一种自然梯度下降的动量版本，用于改进非线性模型类的学习过程，通过结合惯性动态方法如Heavy-Ball或Nesterov，提升优化性能。
2026-04-16 cs.AI cs.LG cs.NA
Nearly-optimal Robust Matrix Completion
Microsoft Research India（微软印度研究院）
本文提出一种简单投影梯度下降方法，通过交替进行投影梯度下降和硬阈值清理来估计低秩矩阵，实现近最优观测和损坏数量的鲁棒矩阵补全，同时改进了低秩矩阵补全的时间复杂度。
2016-12-08 cs.LG cs.NA math.NA
Finite-Time Analysis of Gradient Descent for Shallow Transformers
The Ohio State University（俄亥俄州立大学）；RWTH Aachen University（亚琛工业大学）
本文研究了浅层变换器在核域内通过投影梯度下降训练的有限时间性能，发现其宽度需求与样本量呈对数关系，优化误差与序列长度无关，与递归架构形成对比。
2026-04-02 cs.AI cs.LG math.OC
On Alignment in Deep Linear Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）
我们研究线性神经网络在梯度下降下的对齐（一种隐式正则化形式）的性质。我们定义了具有多维输出的全连接网络的对齐，并表明它是Ji和Telgarsky在2018年定义的具有一维输出的网络中对齐的自然扩展。虽然在完全连接的网络中，总是存在一个全局最小值对应于对齐的解决方案，但我们分析对齐，因为它与训练过程有关。也就是说，我们的特点时，对齐是一个不变量的训练下梯度下降提供必要和充分条件，这个不变量举行。在这样的设置中，梯度下降的动态简化，从而允许我们提供一个显式的学习率，在该学习率下网络线性收敛到全局最小值。然后，我们分析具有层约束的网络，例如卷积网络。在这种情况下，我们证明了梯度下降是等效的投影梯度下降，对齐是不可能的足够大的数据集。
2020-06-17 cs.LG stat.ML
Low-rank optimization methods based on projected projected-gradient descent that accumulate at Bouligand stationary points
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Florida State University（佛罗里达州立大学）；UCLouvain（瓦隆布鲁塞尔天主教大学）
本文提出两种低秩优化方法，通过投影投影梯度下降与秩减少机制或投影梯度下降与投影投影梯度下降的混合，生成序列收敛到Bouligand驻点，具有高效性和实用性。
2026-03-12 cs.NA math.NA math.OC
Projected Block Coordinate Descent for sparse spike estimation
针对网格外脉冲恢复问题，本文提出基于块坐标下降的新算法，利用问题稀疏结构加速现有OP-COMP算法的全局下降步骤，并在合成显微镜实验中显著缩短了计算时间。
2024-02-19 cs.NA math.NA math.OC
Convergence and Alignment of Gradient Descent with Random Backpropagation Weights
Yale University（耶鲁大学）
带反向传播的随机梯度下降是人工神经网络的主力。人们早就认识到，反向传播算法在生物学上并不合理。从根本上说，它是一个非局部过程-更新一个神经元的突触权重需要下游神经元的突触权重或感受野的知识。这限制了人工神经网络作为理解大脑信息处理的生物学原理的工具的使用。Lillicrap等人（2016）提出了一种生物学上更合理的“反馈对齐”算法，该算法使用随机和固定的反向传播权重，并显示出有希望的模拟。在本文中，我们研究了反馈对准过程的数学性质，通过分析收敛性和对准下的平方误差损失的两层网络。在过参数化设置中，我们证明了误差以指数方式快速收敛到零，并且为了使参数与随机反向传播权重对齐，正则化是必要的。模拟给出了与此分析是一致的，并提出进一步的概括。这些结果有助于我们理解生物学上合理的算法如何以不同于Hebbian学习的方式进行权重学习，其性能与完整的非局部反向传播算法相当。
2021-12-23 cs.LG stat.ML
Convex Relaxation for Solving Large-Margin Classifiers in Hyperbolic Space
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学肯普ner自然与人工智能研究所）
针对双曲空间中支持向量机训练的非凸优化难题，本文通过多项式重写并采用半定松弛与稀疏矩-平方和松弛，有效逼近最优解，实验证明优于投影梯度下降法。
2024-05-27 cs.LG math.OC
