Finite-Sample Analysis for SARSA with Linear Function Approximation
University at Buffalo, The State University of New York(纽约州立大学布法罗分校);The Ohio State University(俄亥俄州立大学)
SARSA是一种在强化学习中学习马尔可夫决策过程策略的策略算法。研究了非独立同分布情形下线性函数逼近的SARSA算法。数据,其中单个样本轨迹可用。通过足够平滑的Lipschitz连续政策改进算子,SARSA已被证明渐进收敛于\cite{perkins2003convergent,melo2008analysis}。然而,其非渐近分析是具有挑战性的,并且由于非独立同分布而仍未解决。样本和行为策略随时间动态变化的事实。在本文中,我们开发了一种新的技术,明确地描述了一类随机逼近过程的随机偏差随时间变化的马尔可夫转移核。我们的方法使非渐近收敛分析这种类型的随机近似算法,这可能是独立的利益。使用我们的偏置表征技术和梯度下降类型的分析,我们提供了有限样本分析的SARSA算法的均方误差。然后,我们进一步研究了拟合SARSA算法,其中包括原始SARSA算法和它的变种在\cite{perkins2003convergent}作为特殊情况。该拟合SARSA算法为\textit{iterative}在策略上的拟合策略迭代提供了一个更通用的框架,该框架具有更大的存储空间和计算效率。对于这种拟合的SARSA算法,我们还提供了它的有限样本分析。
2019-11-19 cs.LG stat.ML
State-Separated SARSA: A Practical Sequential Decision-Making Algorithm with Recovering Rewards
The Graduate University for Advanced Studies(総合研究大学院大学);The Institute of Statistical Mathematics(统计数理研究所)
本文提出状态分离SARSA算法,用于解决恢复性老虎机中奖励随时间衰减的序贯决策问题,通过减少状态组合实现高效学习,并证明渐近收敛,模拟实验验证其优越性能。
2024-03-18 cs.LG stat.ML
Convergence Analysis of SGD under Expected Smoothness
Meiji University(明治大学)
本文在期望光滑条件下对随机梯度下降进行自包含收敛性分析,细化条件、推导梯度范数界,并证明多种步长下的O(1/K)收敛速率,统一扩展了近期研究。
2026-11-10 cs.LG
Semi-Gradient SARSA Routing with Theoretical Guarantee on Traffic Stability and Weight Convergence
UM Joint Institute(UM联合研究所);Shanghai Jiao Tong University(上海交通大学);School of Computer Science, Wuhan University(武汉大学计算机学院);School of Electronics, Peking University(北京大学电子学院)
针对并行服务器动态路由的交通控制问题,提出带通用基函数的半梯度同策略SARSA路由算法,结合李雅普诺夫与常微分方程方法证明了交通稳定性和权重收敛性,仿真显示其收敛快于神经网络方法且误差小。
2025-03-19 cs.LG cs.SY eess.SY
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Washington State University(华盛顿州立大学)
本文提出了一个在线迁移框架来捕捉代理之间的交互,并表明,目前的迁移学习强化学习是一个特殊的情况下,在线迁移。此外,本文将现有的代理-教学-代理方法重新定性为在线传输,并从三种方式分析了一种这样的教学方法。首先,证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次,证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三,通过教学,我们证明了渐近性能不会受到损害。此外,所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
Tight Dimension Independent Lower Bound on the Expected Convergence Rate for Diminishing Step Sizes in SGD
University of Connecticut(康涅狄格大学);IBM Research(IBM研究院)
研究了强凸目标函数的随机梯度下降算法的收敛性。我们证明了所有$t$的预期收敛速度的下限后,$t$ -第SGD迭代的下界是在所有可能的序列的减少步长。这意味着最近在ICML 2018和ICML 2019提出的步长序列是{ \em普遍}接近最优的,因为{ \em each}迭代后的预期收敛速度在我们的下界的因子$32$内。该因子与尺寸$d$无关。我们提供了一个框架,比较与最先进的文献中的下限,当应用到SGD的强凸目标函数,我们的下界是一个显着的因素$775\cdot d$较大相比,现有的工作。
2019-11-08 cs.LG math.OC
Characterization of Convex Objective Functions and Optimal Expected Convergence Rates for SGD
University of Connecticut(康涅狄格大学);IBM Research(IBM研究院)
研究了凸目标函数的步长递减的随机梯度下降算法。我们介绍了一个定义框架和理论,定义和表征的核心属性,称为曲率,凸目标函数。在曲率方面,我们可以导出一个新的不等式,该不等式可以用于通过求解微分方程来计算最优的减小步长序列。我们的精确解证实了文献中的已知结果,并使我们能够充分表征一个新的正则化与其相应的预期收敛速度。
2019-05-14 cs.LG math.OC
A Unified Convergence Theorem for Stochastic Optimization Methods
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
在这项工作中,我们提供了一个基本的统一收敛定理,用于推导预期和几乎必然收敛的结果,一系列的随机最优化方法。我们的统一定理只需要验证几个代表性的条件,而不是针对任何特定的算法。作为一个直接的应用程序,我们恢复预期和几乎必然收敛的结果的随机梯度法(SGD)和随机重排(RR)在更一般的设置。此外,我们建立了新的期望和几乎必然收敛结果的随机邻近梯度法(S-SGD)和随机模型为基础的方法(SMM)的非光滑非凸最优化问题。这些应用表明,我们的统一定理提供了一个插件型的收敛性分析和强收敛保证的广泛的一类随机最优化方法。
2022-10-19 cs.LG math.OC
Stochastic Gradient Descent with Exponential Convergence Rates of Expected Classification Errors
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们考虑再生核希尔伯特空间中的二进制分类问题的随机梯度下降及其平均变量。在使用损失函数的一致性性质的传统分析中,已知即使在条件标签概率上假设低噪声条件时,期望分类误差也比期望风险收敛得更慢。因此,所得速率是次线性的。因此,重要的是考虑是否可以实现预期分类误差的更快收敛。在最近的研究中,在强低噪声条件下显示了随机梯度下降的指数收敛率,但理论分析仅限于平方损失函数,这对于二元分类任务来说有些不足。在本文中,我们显示了一个指数收敛的期望分类误差在最后阶段的随机梯度下降的一类广泛的可微凸损失函数在类似的假设。至于平均随机梯度下降,我们表明,从训练的早期阶段相同的收敛速度。在实验中,我们验证了我们的分析上的$L_2$正则化逻辑斯谛回归。
2022-07-25 cs.LG math.OC stat.ML
Convergence Rates of Constrained Expected Improvement
National University of Singapore(新加坡国立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文研究了带约束期望改进算法的收敛速率,证明了在不同核函数和高斯过程假设下,该算法在约束优化中的收敛性能。
2026-01-10 cs.LG stat.ML
Multi-step Reinforcement Learning: A Unifying Algorithm
University of Alberta(阿尔伯塔大学)
统一看似不同的算法思想以产生性能更好的算法一直是强化学习的长期目标。作为一个主要的例子,TD($λ$)通过使用资格迹和迹衰减参数$λ$,巧妙地将一步TD预测与蒙特卡罗方法统一起来。目前,有多种算法可用于执行TD控制,包括Sarsa、$Q$学习和预期Sarsa。这些方法通常在单步情况下进行研究,但它们可以扩展到多个时间步长以实现更好的性能。这些算法中的每一个似乎都是不同的,没有一个在所有问题上都优于其他算法。在本文中,我们研究了一个新的多步动作值算法称为$Q(σ)$,统一和推广这些现有的算法,同时将它们作为特殊情况。引入了一个新的参数$σ$,以允许在其备份期间的每一步由算法执行的采样程度连续变化,其中Sarsa存在于一个极端(全采样),而预期Sarsa存在于另一个极端(纯期望)。$Q(σ)$通常适用于策略学习和离策略学习,但在这项工作中,我们专注于策略情况下的实验。我们的研究结果表明,一个中间值的$σ$,这导致在现有的算法的混合物,表现优于任何极端。混合物也可以动态变化,这可以导致更好的性能。
2018-06-11 cs.AI cs.LG
Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity
Mila and DIRO, Université de Montréal(蒙特利尔大学 Mila 与 DIRO)
用于求解无约束光滑博弈的两个最突出的算法是经典的随机梯度下降-上升(SGDA)和最近引入的随机共识优化(SCO)[Mescheder等人,2017年]。已知SGDA收敛到特定类别游戏的稳定点,但目前的收敛分析需要有界方差假设。SCO被成功地用于解决大规模对抗问题,但其收敛保证仅限于其确定性变体。在这项工作中,我们引入了期望的互补性条件,解释它的好处,并提供了第一个最后一个收敛保证SGDA和SCO在此条件下解决一类随机变分不等式问题是潜在的非单调。我们证明了这两种方法的线性收敛的解决方案的邻域时,他们使用恒定的步长,我们提出了有见地的步长切换规则,以保证收敛到精确的解决方案。此外,我们的收敛性保证下的任意采样范式,因此,我们给的见解的复杂性miniquantum。
2021-11-04 cs.GT cs.LG math.OC
On the convergence rate of noisy Bayesian Optimization with Expected Improvement
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室应用科学计算中心);National University of Singapore(新加坡国立大学)
针对贝叶斯优化中期望改进(EI)的理论收敛问题,本文在高斯过程(GP)先验假设下,首次建立带噪声观测的GP-EI渐近误差界及速率,并通过分析EI函数的探索利用性质,改进了无噪声和有噪声场景下的误差界。
2025-02-12 cs.LG math.OC stat.ML
Exponential Convergence Rates of Classification Errors on Learning with SGD and Random Features
The University of Tokyo(东京大学);RIKEN(理化学研究所)
虽然核方法在许多学习问题中得到了广泛的应用,但它们对大数据集的可扩展性很差。为了解决这个问题,草图和随机梯度方法是最常用的技术,以获得有效的大规模学习算法。在这项研究中,我们考虑使用随机特征和随机梯度下降来解决二元分类问题。在最近的研究中,在强低噪声条件下的期望分类误差的指数收敛速度已被证明。我们将这些分析扩展到随机特征设置,分析由随机特征的近似引起的误差,所产生的假设之间的距离,包括人口风险最小化和经验风险最小化时,使用一般Lipschitz损失函数,以表明即使随机特征近似实现的预期分类误差的指数收敛。此外,我们证明了收敛速度不依赖于特征的数量,并且由于强低噪声条件,在分类问题中使用随机特征具有显着的计算优势。
2022-06-02 cs.LG stat.ML
Analysis of the expected $L_2$ error of an over-parametrized deep neural network estimate learned by gradient descent without regularization
Technische Universität Darmstadt(达姆施塔特工业大学)
本文证明了在适当的初始化、步长和迭代步数下,无正则化的过参数化深度神经网络估计对有界预测变量具有普遍一致性,并在 Hölder 平滑及交互模型下推导出相应的 $L_2$ 误差收敛速度。
2023-11-24 cs.LG stat.ML
Convergence of Gradient Algorithms for Nonconvex C^{1+alpha} Cost Functions
Fudan University(复旦大学)
研究了非凸情形下带动量项的随机梯度算法的收敛性。一类随机动量方法,包括随机梯度下降,重球,Nesterov的加速梯度,在一般框架下进行了分析,温和的假设。在期望梯度收敛的基础上,通过详细讨论动量和上交叉数的影响,证明了算法的几乎必然收敛。值得注意的是,没有对目标函数和步长施加额外的限制。另一个改进是将已有的梯度的利普希茨条件放宽为Holder连续条件。作为一个副产品,我们应用本地化程序扩展我们的结果随机步长。
2021-09-30 cs.LG math.OC
SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院LTCI研究所);ENS Paris, CREST-ENSAE, CNRS(巴黎高等师范学院、CREST-ENSAE、法国国家科学研究中心);Mila and DIRO, Université de Montréal(蒙特利尔大学Mila研究所与计算机科学与运筹学系)
随机梯度下降(SGD)通常用于优化非凸函数。然而,标准的收敛理论SGD在光滑的非凸设置给出了一个缓慢的次线性收敛到一个稳定点。在这项工作中,我们提供了几个收敛定理SGD显示收敛到一个全局极小值的非凸问题,满足一些额外的结构假设。特别是,我们专注于两个大类的结构化非凸函数:(i)类(强)凸函数(凸函数的推广)和(ii)函数满足Polyak-Lojasiewicz条件(强凸函数的推广)。我们的分析依赖于预期残差条件,我们表明这是一个严格弱于以前使用的增长条件,预期平滑或有界方差假设的假设。我们提供了不同的步长选择,包括常数,减少和最近提出的随机Polyak步长的SGD的收敛性的理论保证。此外,我们所有的分析都适用于任意采样范例,因此,我们深入了解了minibatch的复杂性,并确定了最佳的minibatch大小。最后,我们表明,对于插值训练数据的模型,我们可以免除我们的期望残差条件,并在此设置中给出最先进的结果。
2021-03-22 cs.LG math.OC stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Actor-Critic Algorithm for Dynamic Expectile and CVaR
GERAD & Department of Decision Sciences, HEC Montréal, Canada(GERAD与决策科学系,蒙特利尔HEC学院,加拿大);Mila - Quebec AI Institute, Canada(魁北克AI研究所,加拿大)
本文提出一种无需转移扰动的softmax策略参数化 surrogate 政策梯度方法,开发了基于elicitability的模型无关价值学习方法,并构建了模型无关的off-policy actor-critic算法,实验证明其在风险规避行为领域表现优异。
2026-05-08 cs.LG
An improved central limit theorem and fast convergence rates for entropic transportation costs
IMUVA, Universidad de Valladolid(巴利亚多利德大学IMUVA数学研究所);IMT, Université de Toulouse(图卢兹大学图卢兹数学研究所);Center for Data Science, New York University(纽约大学数据科学中心)
证明了以人口成本为中心的亚高斯概率测度之间的熵运输成本的中心极限定理。这是第一个结果,它允许熵最优输运之间的措施,不一定是离散的渐近有效的推断。在紧支持的情况下,我们补充这些结果与新的,更快的,收敛速度的预期熵运输成本之间的经验措施。我们的证明是基于加强熵最优输运问题的对偶解的收敛结果。
2022-05-04 cs.LG math.PR math.ST
Curvature-aware Expected Free Energy as an Acquisition Function for Bayesian Optimization
TU Eindhoven(埃因霍温理工大学)
本文提出基于期望自由能的获取函数,用于解决联合学习与优化问题,证明其在凸函数下的无偏收敛性,并通过系统识别问题验证了曲率感知更新法则的优越性。
2026-09-17 cs.LG cs.RO cs.SY
Reinforcement Learning with Linear Function Approximation and LQ control Converges
强化学习通常用于函数逼近。然而,很少有积极的结果是已知的函数逼近RL控制算法的收敛性。在本文中,我们证明了TD(0)和Sarsa(0)与线性函数逼近收敛的一类简单的问题,其中系统是线性的,成本是二次(LQ控制问题)。此外,我们表明,系统的高斯噪声和非完全可观测的状态(LQG问题),上述RL算法仍然是收敛的,如果他们与卡尔曼滤波相结合。
2007-03-09 cs.AI cs.LG
Expected Policy Gradients
Department of Computer Science, University of Oxford(牛津大学计算机科学系);University of Oxford(牛津大学);Wolfson Building, Parks Road, Oxford OX1 3QD(牛津大学沃尔夫森大楼(Parks Road, Oxford OX1 3QD))
我们提出了预期策略梯度(EPG),它统一了强化学习的随机策略梯度(SPG)和确定性策略梯度(DPG)。受预期的Sarsa的启发,EPG在估计梯度时集成了整个动作,而不是仅依赖于采样轨迹中的动作。建立了一个新的一般策略梯度定理,其中随机策略梯度定理和确定性策略梯度定理是其特例。我们还证明,EPG降低了梯度估计的方差,而不需要确定性的政策,高斯的情况下,没有计算开销。最后,我们表明,在一定意义上,它是最优的探索与高斯政策,使协方差是成比例的指数的缩放Hessian的评论家的行动。我们提出的实证结果证实,这种新的探索形式在四个具有挑战性的MuJoCo领域中大大优于采用Ornstein-Uhlenbeck启发式的DPG。
2018-04-13 cs.LG stat.ML
Reinforcement Learning under Model Mismatch
Google(谷歌);Georgia Institute of Technology(佐治亚理工学院)
我们研究了在模型错误指定下的强化学习,在这种情况下,我们无法访问真实环境,而只能合理地接近它。我们通过将鲁棒MDP的框架扩展到无模型强化学习设置来解决这个问题,在无模型强化学习设置中,我们无法访问模型参数,但只能从中采样状态。我们定义了鲁棒版本的Q学习,SARSA,和TD-学习,分别证明了其收敛于近似最优鲁棒策略和近似价值函数。我们通过函数逼近将鲁棒算法扩展到大型MDP,并在两种不同的设置下证明收敛性。我们证明了线性结构的鲁棒近似策略迭代和鲁棒近似值迭代的收敛性(在温和的假设下)。我们还定义了一个鲁棒损失函数,均方鲁棒投影贝尔曼误差,并给出了保证收敛到局部最小值的随机梯度下降算法。
2017-11-09 cs.LG stat.ML
An Analysis of Action-Value Temporal-Difference Methods That Learn State Values
该研究分析了QV-learning与AV-learning两类基于非对称双值函数自举的TD方法的收敛性与样本效率,发现仅AV-learning在控制场景下优于Q-learning,并提出RDQ算法,在MinAtar基准上性能显著超过Dueling DQN。
2025-09-04 cs.AI cs.LG
Smoothed Action Value Functions for Learning Gaussian Policies
Google Brain(谷歌大脑);University of Alberta(阿尔伯塔大学)
状态-动作价值函数(即,Q值)在强化学习(RL)中无处不在,从而产生了SARSA和Q学习等流行算法。我们提出了一个新的概念的行动值定义的高斯平滑版本的预期Q值。我们表明,这种平滑的Q值仍然满足贝尔曼方程,使他们从环境中采样的经验学习。此外,期望回报相对于参数化高斯策略的均值和协方差的梯度可以从平滑Q-价值函数的梯度和Hessian恢复。基于这些关系,我们开发了新的算法,用于直接从学习的平滑Q值逼近器训练高斯策略。该方法是另外服从近端优化,通过增加从以前的政策KL发散的惩罚的目标。我们发现,在训练过程中学习均值和协方差的能力导致了标准连续控制基准测试结果的显着改善。
2018-07-25 cs.AI cs.LG
Gradient Q$(σ, λ)$: A Unified Algorithm with Function Approximation for Reinforcement Learning
Zhejiang University(浙江大学)
全采样(例如,Q学习)和纯期望(例如,期望Sarsa)算法是强化学习中高效且常用的技术。Q $(σ,λ)$是第一个通过抽样度$σ$将它们与资格迹统一起来的方法。然而,它仅限于表格的情况下,对于大规模的学习,Q $(σ,λ)$太昂贵,需要大量的表来准确地存储价值函数。为了解决上述问题,我们提出了一个GQ $(σ,λ)$,它扩展了表Q $(σ,λ)$与线性函数逼近。我们证明了GQ $(σ,λ)$的收敛性。在一些标准域上的实验结果表明,全抽样和纯期望相结合的GQ $(σ,λ)$比全抽样和纯期望方法具有更好的性能。
2019-09-06 cs.LG stat.ML
On the Global Convergence of Risk-Averse Natural Policy Gradient Methods with Expected Conditional Risk Measures
Department of Integrated Systems Engineering, The Ohio State University(俄亥俄州立大学整合系统工程系);Department of Electrical Engineering and Computer Science, University of Michigan(密歇根大学电气工程与计算机科学系)
本文提出了一种基于预期条件风险度量的风险规避自然策略梯度方法,证明其在随机环境中的全局收敛性并验证了其有效性。
2026-01-19 cs.LG math.OC stat.ML
Unsupervised Basis Function Adaptation for Reinforcement Learning
School of Mathematics and Statistics(数学与统计学院);University of Melbourne(墨尔本大学)
当使用强化学习(RL)算法时,在给定大的状态空间的情况下,通常为价值函数(VF)引入某种形式的近似架构。然而,这种架构的确切形式可能对代理的性能产生重大影响,并且确定合适的近似架构通常是一项非常复杂的任务。因此,目前研究人员对允许RL算法自适应生成(即学习)近似架构的潜力感兴趣。一种相对未开发的适应近似架构的方法涉及使用关于代理访问某些状态的频率的反馈来指导状态空间的哪些区域更详细地近似。在本文中,我们将:(a)非正式地讨论这种方法所提供的潜在优点;(b)介绍一种基于这种方法的新算法,该算法在线适应状态聚合近似结构,并设计用于与SARSA结合使用;(c)在策略评估设置中,提供关于这种特定算法的复杂性、收敛特性和减少VF误差的潜力的理论结果;以及最后(d)实验性地测试在给定多个不同测试问题的情况下,该算法能够改进性能的程度。总之,我们的研究结果表明,我们的算法(以及更普遍的潜在方法)可以提供一种通用的和计算量小的方法,在实践中经常遇到的适当条件下显着提高RL性能。
2019-02-16 cs.AI cs.LG stat.ML
CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee
The Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院)
在安全强化学习(SRL)问题中,智能体探索环境以最大化期望的总回报,同时避免违反对若干期望总成本的某些约束。一般来说,这样的SRL问题有非凸目标函数受到多个非凸约束,因此是非常具有挑战性的解决,特别是提供一个全局最优的政策。许多流行的SRL算法采用原始-对偶结构,利用对偶变量的更新来满足约束。相比之下,我们提出了一个原始的方法,称为约束校正策略优化(CRPO),更新的政策之间的目标改进和约束满足交替。CRPO提供了一个原始类型的算法框架来解决SRL问题,其中每个策略更新可以采取任何策略优化步骤的变体。为了证明CRPO的理论性能,我们采用自然策略梯度(NPG)的每个政策更新步骤,并表明CRPO实现了$\mathcal{O}(1/\sqrt{T})$收敛速度的全局最优政策的约束政策集和约束满足的$\mathcal{O}(1/\sqrt{T})$误差界。这是第一次有限时间分析的原始SRL算法的全局最优性保证。我们的实证结果表明,CRPO可以优于现有的原始-对偶基线算法显着。
2021-05-31 cs.LG stat.ML
Fast-Convergent Federated Learning
Princeton University(普林斯顿大学);Purdue University(普渡大学)
联邦学习最近已经成为通过现代移动设备网络分发机器学习任务的有前途的解决方案。最近的研究已经获得了通过每一轮联邦学习实现的模型损失预期减少的下限。然而,收敛通常需要大量的通信回合,这会导致模型训练的延迟,并且在网络资源方面是昂贵的。在本文中,我们提出了一种快速收敛的联邦学习算法,称为FOLB,它在每一轮模型训练中对设备进行智能采样,以优化预期的收敛速度。我们首先从理论上描述了一个下界的改善,可以在每一轮中获得,如果设备被选择根据预期的改善,他们的本地模型将提供给当前的全球模型。然后,我们表明,FOLB通过均匀采样加权设备更新,根据其梯度信息获得此界。FOLB能够通过根据设备对更新做出贡献的能力的估计来适应聚合来处理设备的通信和计算异构性。我们将FOLB与现有的联邦学习算法进行了比较,并通过实验证明了它在训练模型准确性,收敛速度和/或各种机器学习任务和数据集的模型稳定性方面的改进。
2020-10-31 cs.DC cs.LG
Local Convergence of Proximal Splitting Methods for Rank Constrained Problems
Lund University(隆德大学)
我们分析的局部收敛的邻近分裂算法解决最优化问题是凸除了秩约束。对于这一点,我们显示的条件下,涉及秩约束的函数的邻近算子是局部相同的凸包络的邻近算子,因此意味着局部收敛。条件意味着,非凸算法局部收敛到一个解决方案,只要一个凸松弛涉及凸包络可以预期解决非凸问题。
2017-10-11 cs.LG math.OC stat.ML
Convergence and sample complexity of natural policy gradient primal-dual methods for constrained MDPs
University of Tennessee, Knoxville(田纳西大学);University of Maryland, College Park(马里兰大学);Apple Inc.(苹果公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
针对约束马尔可夫决策过程,提出自然策略梯度原始-对偶方法,实现非凸优化下全局次线性收敛且维度无关,并提供样本复杂度保证与实验验证。
2025-10-15 cs.AI cs.LG cs.SY