Approximate Next Policy Sampling: Replacing Conservative Target Policy Updates in Deep RL
提出近似下一策略采样(ANPS)方法,通过修改训练分布而非约束策略更新来解决强化学习中的“鸡生蛋”问题,并基于此设计稳定值近似策略迭代(SV-API)算法,在Atari和连续控制任务上实现更大目标策略更新且性能匹配或提升。
2026-06-19 cs.LG
Accelerated Multiplicative Weights Update Avoids Saddle Points almost always
Shanghai University of Finance and Economics(上海财经大学);University of California, Irvine(加州大学欧文分校)
考虑约束为单形乘积的非凸优化问题。解决这类问题的常用算法是乘法权重更新(MWU),这是一种广泛用于对策论、机器学习和多智能体系统的算法。尽管已经知道MWU避免了鞍点,但仍有一个问题未得到解决:“是否存在可证明避免鞍点的MWU加速版本?“在本文中,我们对上述问题提供了肯定的回答。我们提出了一个基于黎曼加速梯度下降的加速MWU,并证明了黎曼加速梯度下降,从而加速MWU,几乎总是避免鞍点。
2022-04-25 cs.LG cs.MA math.OC
Consolidated Adaptive T-soft Update for Deep Reinforcement Learning
Nara Institute of Science and Technology(奈良科学技术研究所)
针对深度强化学习中T-soft目标网络更新需逐任务调参、抗噪性易被削弱且难渐近匹配主网的问题,提出结合AdaTerm规则的自适应更新与主网回拉整合机制的CAT-soft方法,经数值模拟验证有效。
2022-02-25 cs.LG cs.RO
Accelerated Block Coordinate Proximal Gradients with Applications in High Dimensional Statistics
Hong Kong University of Science and Technology(香港科技大学)
非凸最优化问题在信号处理、统计学和机器学习等领域都有广泛的应用。在这项工作中,我们探讨了加速近梯度法和它的一些变种,最近已被证明是收敛于非凸的情况下。我们表明,这里提出的一种新的变体,它利用自适应动量和块坐标更新与特定的更新规则,进一步提高了性能的广泛的一类非凸问题。在稀疏线性回归的正则化,如Lasso,分组Lasso,加盖$\ell_1$和SCAP的应用中,所提出的计划享有可证明的局部线性收敛,与实验的理由。
2017-12-03 cs.LG math.OC stat.ML
Accelerated WGAN update strategy with loss change rate balancing
Illinois Institute of Technology(伊利诺伊理工学院)
优化生成对抗网络(GANs)中的迭代以完成内部训练循环在计算上是禁止的,并且在有限的数据集上会导致过拟合。为了解决这个问题,一个常见的更新策略是在针对CNOD的k个优化步骤和针对生成器G的一个优化步骤之间交替。该策略在各种GAN算法中重复,其中k根据经验选择。在本文中,我们证明了这种更新策略在精度和收敛速度方面不是最优的,并提出了一种新的更新策略,用于Wasserstein GANs(WGAN)和其他使用WGAN损失的GANs(例如WGAN-GP,Deflur GAN和Super-resolution GAN)。所提出的更新策略是基于G和D的损失变化率比较。我们证明,该策略提高了收敛速度和精度。
2020-11-03 cs.CV cs.LG eess.IV
Accelerated Decentralized Optimization with Local Updates for Smooth and Strongly Convex Objectives
INRIA(法国国家信息与自动化研究所);Ecole normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);MSR-INRIA Joint Centre(微软研究院-法国国家信息与自动化研究所联合中心)
在本文中,我们研究的问题,最小化的光滑和强凸函数的总和分裂在一个网络的节点在一个分散的方式。我们提出的算法$ESDACD$,分散的加速算法,只需要本地同步。其速率取决于本地功能的条件数$κ$以及网络拓扑和延迟。在对图的拓扑结构的温和假设下,$ESDACD$花费时间$O((τ_{\max} + Δ_{\max})\sqrt{κ/γ}\ln(ε^{-1}))$来达到精确的$ε$,其中$γ$是图的谱间隙,$τ_{\max}$是最大通信延迟,并且$Δ_{\max}$是最大计算时间。因此,它与$SSDA$的速率匹配,当$τ_{\max} = Ω\left(Δ_{\max}\right)$。将$ESDACD$应用于二次局部函数,得到速率为$O( \sqrt{θ_{\rm gossip}/n})$的加速随机流言算法,其中$θ_{\rm gossip}$是标准随机流言的速率。据我们所知,它是第一个异步八卦算法,具有可证明的改进收敛速度的二阶矩的错误。我们说明这些结果与理想化设置中的实验。
2019-02-22 cs.DC cs.LG math.OC
Accelerating Perturbed Stochastic Iterates in Asynchronous Lock-Free Optimization
The Chinese University of Hong Kong(香港中文大学)
我们表明,随机加速可以在扰动的随机加速框架下实现(Mania等人,2017)在异步无锁优化,这导致有限和目标的最佳增量梯度复杂度。我们证明了我们的新的加速方法需要相同的线性加速条件,现有的非加速方法。我们的核心算法发现是一种新的具有稀疏更新的加速SVRG变体。实证结果验证了我们的理论研究结果。
2021-09-30 cs.LG math.OC stat.ML
The Role of Target Update Frequencies in Q-Learning
Institute of Mathematics, University of Mannheim(曼海姆大学数学研究所);Department of Mathematics & Informatics, University of Wuppertal(乌珀塔尔大学数学与信息学系)
本文通过理论分析揭示了Q学习中目标更新频率对收敛性的影响,证明自适应更新策略能优化样本复杂度。
2026-02-03 cs.LG math.OC stat.ML
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University(密歇根州立大学)
众所周知,梯度下降(GD)中的有限步长($h$)隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球(H.B)动量加速梯度下降(GD+M)的隐式正则化中起作用吗?".为了回答这个问题,首先,我们证明了离散H.B动量更新(GD+M)遵循由修改的损失引起的连续轨迹,该修改的损失由原始损失和隐式正则化子组成。然后,我们证明了(GD+M)的隐正则化子比(GD)强$(\frac{1+β}{1-β})$倍,从而解释了为什么(GD+M)比(GD)具有更好的推广性能和更高的测试精度.此外,我们将我们的分析扩展到具有动量(SGD+M)的梯度下降的随机版本,并在逐点意义上描述(SGD+M)的更新的连续轨迹。我们通过一系列实验验证了我们的理论,探索了(SGD+M)和(GD+M)中的隐式正则化。
2023-02-02 cs.LG math.OC
REST: Efficient and Accelerated EEG Seizure Analysis through Residual State Updates
EPFL(洛桑联邦理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出基于图的残差状态更新机制REST,结合图神经网络与循环结构捕获脑电数据的时空特征,在保持高准确率的同时实现9倍推理加速并大幅降低内存,适用于临床设备的实时癫痫检测。
2024-06-03 cs.AI cs.LG eess.SP
Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach
The Ohio State University(俄亥俄州立大学);University of Kentucky(肯塔基大学)
本文提出一种新的加速随机 DDPM 采样器,通过倾斜因子表示和 Tweedie 公式分析,将加速扩散模型的收敛保证推广到三类更广泛的目标分布,并改进维度依赖。
2025-03-26 cs.LG eess.SP stat.ML
Kinetic Langevin Meets Split Gibbs: Accelerated Posterior Sampling for Imaging Inverse Problems with Diffusion Priors
Hokkaido University(北海道大学);Institute of Information Technology, VAST(越南科学技术翰林院信息技术学院)
本文提出RED-KLwSGS及其联合变体,将动力学朗之万扩散与分裂吉布斯采样结合,以加速成像逆问题的后验采样,并证明非渐近收敛性,实验显示更快收敛和高质量重建。
2026-10-08 cs.LG stat.ML
EMA-Nesterov: Stabilizing Nesterov's Lookahead for Accelerated Deep Learning Optimization
University of Minnesota(明尼苏达大学);Amazon AGI(亚马逊人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对深度学习优化中Nesterov动量因随机梯度噪声和非凸损失导致的不稳定性,提出EMA-Nesterov方法,用参数更新的指数移动平均替代标准前瞻方向,通过低通滤波捕捉训练轨迹的低频趋势,在凸问题中保持理论加速收敛率,并在语言模型预训练中验证了其广泛适用性和优于现有前瞻方法的性能。
2026-05-25 cs.LG math.OC
Accelerated Stein Variational Gradient Flow
Institute of Mathematics, Technical University Berlin(柏林工业大学数学研究所);Department of Mathematics, University of South Carolina(南卡罗来纳大学数学系)
本文提出加速 Stein 变分梯度下降(ASVGD),通过 Nesterov 加速梯度流和动量离散更新提升高维采样效率,并用 Wasserstein 正则化稳定动量,实验验证其优于 SVGD 等流行方法。
2025-04-09 cs.LG math.OC stat.ML
Accelerated Diffusion Models via Speculative Sampling
Google DeepMind(谷歌DeepMind)
本文将投机采样从离散序列扩展到连续扩散模型,提出无需训练草稿模型的通用加速策略,在保持目标模型精确采样的同时将函数评估次数减半。
2025-07-06 cs.LG stat.ML
Optimistic Optimisation of Composite Objective with Exponentiated Update
Technische Universität Berlin(柏林工业大学);GT-ARC Gemeinnützige GmbH(GT-ARC公益有限责任公司)
本文提出了一个新的家庭的算法的在线优化的复合目标。该算法可以解释为指数梯度和$p$ -范数算法的结合。结合自适应和乐观的算法思想,所提出的算法实现了序列相关的遗憾上界,匹配稀疏目标决策变量的最佳界。此外,该算法具有有效的实现流行的复合目标和约束,并可以转换为随机优化算法与平滑目标的最佳加速率。
2022-08-08 cs.LG math.OC
Provably Accelerated Randomized Gossip Algorithms
The University of Edinburgh, UK(爱丁堡大学);Facebook AI Research, Montreal(脸书人工智能研究);KAUST, KSA(王国立科技大学)
本文提出了一种可证明加速的随机传话算法,用于解决平均一致性问题。该算法受到最近开发的加速随机Kaczmarz方法的启发,该方法是解决线性系统问题的流行方法。在每次传话迭代中,网络中的所有节点都会更新它们的值,但只有成对的节点交换私有信息。还展示了在流行无线传感器网络上的数值实验,展示了我们协议的优势。
2018-10-31 cs.DC cs.LG cs.MA
Accelerated Learning with Robustness to Adversarial Regressors
Massachusetts Institute of Technology(麻省理工学院);Air Force Research Laboratory(空军研究实验室);Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院)
基于高阶动量的参数更新算法在机器学习模型的训练中得到了广泛的应用。最近,与变分方法的连接,导致了新的学习算法的推导与加速学习的保证。然而,这种方法只考虑了静态回归的情况。在控制理论中,对于参数更新算法,存在对抗性时变回归量时,可以证明其是稳定的,这是一个重要的需求。在本文中,我们提出了一个新的离散时间算法,1)提供了稳定性和渐近收敛的保证,在对抗回归的存在下,利用自适应控制理论的见解和2)提供非渐近加速学习保证,利用凸优化的见解。特别是,我们的算法达到了$ε$次最佳点,在最多$\tilde{\mathcal{O}}(1/\sqrtε)$迭代时,回归是常数匹配下界由于Nesterov的$Ω(1/\sqrtε)$,高达一个$\log(1/ε)$因子,并提供了保证边界的稳定性时,回归是随时间变化的。我们提供了数值实验的一个变种Nesterov的证明困难的凸优化问题随时间变化的回归,以及恢复图像随时间变化的模糊和噪声使用流数据的问题。
2021-06-05 cs.LG cs.SY eess.SY
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida(中佛罗里达大学)
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而,对于非凸和非光滑最优化问题,在保证一定性能的前提下,开发有效的方法仍然是一个挑战。近点坐标下降法(PCD)已被广泛应用于求解最优化问题,但对非凸环境下的PCD方法的认识非常有限。另一方面,异步最近坐标下降(APCD)最近受到了广泛的关注,以解决大规模的问题。然而,APCD算法的加速变体很少被研究。在本文中,我们扩展APCD方法的加速算法(AAPCD)的非光滑和非凸的问题,满足充分下降的性质,通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知,我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题,确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质,我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明,我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Approximate Sampling using an Accelerated Metropolis-Hastings based on Bayesian Optimization and Gaussian Processes
University of South Carolina(南卡罗来纳大学);University of North Carolina Charlotte(北卡罗来纳大学夏洛特分校)
马尔可夫链蒙特卡罗(MCMC)方法在处理目标分布或似然函数时有一个缺点,这是计算昂贵的评估,特别是在处理大数据时。本文主要研究单峰分布的Metropolis-Hastings(MH)算法。在这里,提出了一种增强的MH算法,需要较少的昂贵的功能评估,具有较短的老化期,并使用更好的建议分布。主要创新包括使用贝叶斯优化快速到达高概率区域,使用高斯过程(GP)模拟目标分布,以及使用GP的拉普拉斯近似来构建更好地捕获潜在相关性的建议分布。实验表明,显着改善了常规MH。两种算法的结果之间的统计比较。
2019-10-21 cs.LG stat.ML
Accelerated Distributed Optimization with Compression and Error Feedback
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Universität des Saarlandes(萨尔大学)
本文提出 ADEF 算法,将 Nesterov 加速、收缩压缩、误差反馈与梯度差压缩相结合,在一般凸区域下首次实现了带收缩压缩的随机分布式优化的加速收敛,并降低了通信成本。
2025-03-29 cs.LG math.OC
Accelerated Predictive Coding Networks via Direct Kolen-Pollack Feedback Alignment
Department of Microelectronics, Delft University of Technology, Delft, Netherlands(电子工程系,代尔夫特理工大学,代尔夫特,荷兰)
本文提出DKP-PC算法,通过直接反馈对齐和Kolen-Pollack算法解决预测编码中的反馈延迟和衰减问题,提升网络效率和可扩展性。
2026-03-07 cs.LG
Provable Accelerated Bayesian Optimization with Knowledge Transfer
University of Chicago(芝加哥大学);USC & MBZUAI(USC与MBZUAI);University at Albany, SUNY(纽约州立大学阿尔巴尼分校)
本文提出DeltaBO算法,通过构建差分函数的不确定性量化方法,在不同RKHS中实现加速贝叶斯优化,理论证明其在转移学习中具有更优的 regret 上界。
2026-04-28 cs.LG stat.ML
Accelerated Variance Reduced Stochastic ADMM
The Chinese University of Hong Kong(香港中文大学)
近年来,许多方差缩减的随机交替方向乘子法(ADMM)方法(例如,SAG-ADMM、SDCA-ADMM和SVRG-ADMM)在强凸问题的线性收敛速度等方面取得了令人兴奋的进展。然而,一般凸问题的最佳已知收敛速度是O(1/T),而加速批处理算法的收敛速度是O(1/T^2),其中$T$是迭代次数。因此,现有的随机ADMM和批处理算法之间的收敛速度仍然存在差距。为了弥补这一差距,我们引入了动量加速技巧批量优化到随机方差降低梯度ADMM(SVRG-ADMM),这导致了加速(ASVRG-ADMM)方法。然后针对强凸和一般凸情形设计了两种不同的动量项更新规则。我们证明了ASVRG-ADMM对强凸问题线性收敛。ASVRG-ADMM算法除了具有较低的迭代复杂度外,还将一般凸问题的收敛速度从O(1/T)提高到O(1/T^2)。实验结果表明了ASVRG-ADMM算法的有效性。
2017-07-11 cs.LG stat.ML
meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
我们提出了一个简单而有效的神经网络学习技术。前向传播照常计算。在反向传播中,仅计算完整梯度的一小部分来更新模型参数。梯度向量以这样一种方式稀疏化,即仅保留顶部$k$元素(就幅度而言)。结果,仅修改权重矩阵的$k$行或列(取决于布局),导致计算成本的线性减少($k$除以向量维度)。令人惊讶的是,实验结果表明,我们只能在每个反向传播通道更新1-4%的权重。这不会导致大量的训练迭代。更有趣的是,所得到的模型的准确性实际上得到了提高,而不是降低,并给出了详细的分析。代码可在https://github.com/lancopku/meProp上获得
2019-03-11 cs.AI cs.CL cs.CV
Accelerated Linear SVM Training with Adaptive Variable Selection Frequencies
Ruhr-Universität Bochum(波鸿鲁尔大学);Universität Potsdam(波茨坦大学)
支持向量机(SVM)训练是一个活跃的研究领域,因为黎明的方法。近年来,人们对线性模型这一重要问题的专用求解器越来越感兴趣。Hsieh等人提出的算法,可能以“liblinear”实现的名义最为人所知,它标志着一个重大突破。该方法类似于已建立的用于训练非线性支持向量机的对偶分解算法,但每个更新步骤的计算复杂度大大降低。这是以不再跟踪目标的梯度为代价的,这排除了高度发达的工作集选择算法的应用。我们提出了一个算法改进这种方法。我们取代了统一的工作集选择与选择频率的在线适应。自适应准则的灵感来自现代二阶工作集选择方法。同样的机制取代了缩小启发式。在某些情况下,这种新技术可以将训练速度提高一个数量级以上。
2013-02-22 cs.LG stat.ML
A Muon-Accelerated Algorithm for Low Separation Rank Tensor Generalized Linear Models
Iowa State University(爱荷华州立大学)
本文提出LSRTR-M算法,通过引入Muon更新方法优化低分离秩张量广义线性模型的估计与分类,提升收敛速度和计算效率。
2026-04-06 cs.LG eess.SP stat.ML
Momentum SVGD-EM for Accelerated Maximum Marginal Likelihood Estimation
Department of Mathematics, Ecole Normale Supérieure Paris-Saclay(数学系,巴黎萨克雷高等师范学院);Department of Mathematics, Imperial College London(数学系,伦敦帝国理工学院)
本文提出动量SVGD-EM方法,通过引入Nesterov加速提升MMLE的收敛速度,适用于不同难度的任务。
2026-03-09 cs.LG stat.CO stat.ML
Accelerated Algorithm for Sparse Regularized Partial Optimal Transport
Hanoi University of Science and Technology(河内理工大学);High School for the Gifted(天才高中);VinUniversity;Rochambeau French International School(罗尚博法语国际学校);RMIT University(皇家墨尔本理工大学);Aalto University(阿尔托大学);Linköping University(林雪平大学)
本文提出一种基于惩罚重述的加速一阶算法,利用平滑强凸正则化器生成稀疏部分最优传输计划,在颜色迁移、域适应和点云配准中实现更低成本、更高稀疏性和更快收敛。
2026-10-14 cs.LG
A Passivity-Based Method for Accelerated Convex Optimisation
Cranfield University(克兰菲尔德大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究结合控制论无源性概念与时变变量替换,提出连续时间域加速凸优化算法的构造性方法,可生成带不同收敛速率保证的算法,还可拓展用于自适应控制的在线参数更新算法设计。
2024-09-13 cs.LG cs.SY eess.SY
Accelerated Doubly Stochastic Gradient Algorithm for Large-scale Empirical Risk Minimization
Zhejiang University(浙江大学)
针对大规模经验风险最小化,本文提出融合新型加速多多动量技术的双随机梯度算法,兼顾更优收敛率、小批量采样与坐标块更新,并通过大规模数据集验证其效率。
2023-04-23 cs.LG
Memory Merge DQN: Sensitivity Weighted Target Updates for Stable Value Learning
Deakin University(迪肯大学);Federation University(联邦大学);UNSW(新南威尔士大学)
研究针对深度Q网络目标网络更新的权衡问题,提出内存合并深度Q网络机制,通过保留近期在线网络副本记忆,依Q值灵敏度合并参数构建目标网络,实验表明该方法能提升稳定性与最终性能。
2026-07-23 cs.LG
Scalable Deep-Learning-Accelerated Topology Optimization for Additively Manufactured Materials
Oak Ridge National Laboratory(橡树岭国家实验室)
拓扑优化(TO)是一种流行的和强大的计算方法,用于设计新的结构,材料和设备。两个计算挑战限制了TO对各种工业应用的适用性。首先,TO问题通常涉及大量的设计变量,以保证足够的表达能力。其次,许多TO问题需要大量昂贵的物理模型模拟,并且这些模拟不能并行化。为了解决这些问题,我们提出了一个通用的可扩展的深度学习(DL)为基础的TO框架,称为SDL-TO,它利用高性能计算(HPC)的并行方案,以加速设计增材制造(AM)材料的TO过程。与现有的TO的DL研究不同,我们的框架通过学习迭代历史数据并同时训练给定设计与其梯度之间的映射来加速TO。通过利用多个CPU上的并行计算并结合多个GPU上的分布式DL训练来学习替代梯度。学习的TO梯度实现了快速在线更新方案,而不是基于物理模拟器或求解器的昂贵更新。采用局部采样策略,降低了设计空间固有的高维性,提高了SDL-TO框架的训练精度和可扩展性。该方法是通过基准的例子和AM材料的热传导设计证明。与基线方法相比,拟议的SDL-TO框架显示出具有竞争力的性能,但与标准TO实现相比,速度提高了约8.6倍,从而显着降低了计算成本。
2020-11-28 cs.CE cs.LG
Accelerating Stroke MRI with Diffusion Probabilistic Models through Large-Scale Pre-training and Target-Specific Fine-Tuning
Chandra Family Department of Electrical and Computer Engineering(查克拉家族电气与计算机工程系);Department of Imaging Physics(成像物理系);Dell Medical School Department of Neurology(德莱尔医学院神经学系);Dell Medical School Department of Neurosurgery(德莱尔医学院神经外科系);Dell Medical School Department of Diagnostic Medicine(德莱尔医学院诊断医学系);Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究院)
本文提出一种高效策略,利用扩散概率生成模型在有限数据下加速MRI重建,通过大规模预训练和目标特定微调实现临床中风MRI的快速扫描。
2026-03-13 cs.CV cs.LG eess.IV