Learning Policies with Zero or Bounded Constraint Violation for Constrained MDPs
Texas A&M University(德克萨斯农工大学)
我们解决了强化学习中的安全问题。我们提出的问题,在一个受约束的马尔可夫决策过程的情节框架。现有的结果表明,有可能实现$\tilde{\mathcal{O}}(\sqrt{K})$的奖励后悔,同时允许$K$事件中的$\tilde{\mathcal{O}}(\sqrt{K})$约束违反。出现的一个关键问题是是否有可能保持约束违反更小。我们表明,当一个严格安全的政策是已知的,然后可以限制系统的零约束违反任意高的概率,同时保持奖励遗憾顺序$\tilde{\mathcal{O}}(\sqrt{K})$。该算法采用乐观悲观的原则,在面对不确定性,以实现安全的探索。当没有严格安全的策略是已知的,虽然一个是已知的存在,那么它可以限制系统有界约束违反任意高的概率。这被证明是实现由一个原始的对偶算法,一个乐观的原始估计和悲观的双重更新。
2023-01-25 cs.LG
Last-Iterate Convergence of General Parameterized Policies in Constrained MDPs
IIT Kanpur(IIT坎普尔);Purdue University(普渡大学)
本文提出了一种基于对偶的正则化加速自然策略梯度算法,用于学习约束马尔可夫决策过程,改进了通用参数化CMDP的最后迭代保证。
2026-05-01 cs.AI cs.LG
Reconciling Reality through Simulation: A Real-to-Sim-to-Real Approach for Robust Manipulation
Massachusets Institute of Technology(麻省理工学院);TU Darmstadt(达姆施塔特工业大学);University of Washington(华盛顿大学)
本文提出 RialTo 系统,通过少量真实数据快速构建数字孪生仿真环境,并结合逆向蒸馏与强化学习,在不依赖大量人工监督和不安全真实数据收集的情况下,将真实世界模仿学习策略的鲁棒性提升超过 67%。
2024-11-24 cs.AI cs.LG cs.RO
Meta-Learning Bandit Policies by Gradient Ascent
Google Research(谷歌研究院);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
大多数强盗策略的设计要么是在任何问题的情况下最大限度地减少遗憾,对底层环境做很少的假设,要么是在贝叶斯意义上,假设环境参数的先验分布。前者在实际环境中往往过于保守,而后者则需要很难在实践中验证的假设。我们研究的强盗问题,这两个极端之间,学习代理有机会从一个未知的先验分布$\mathcal{P}$采样的强盗实例,并旨在实现高回报的平均超过强盗实例从$\mathcal{P}$。这种设置是特别重要的,因为它奠定了基础的元学习的强盗政策,并反映了更现实的假设,在许多实际领域。我们建议使用参数化的强盗政策,是可区分的,可以使用策略梯度进行优化。这提供了一个易于实施的广泛适用的框架。我们得到的回报梯度,反映了结构的强盗问题和政策,为非上下文和上下文的设置,并提出了一些有趣的政策,都是可微的,并具有低遗憾。我们的算法和理论贡献的支持下,广泛的实验表明,基线减法,学习偏见的重要性,我们的方法在一个范围内的问题的实用性。
2021-01-06 cs.LG stat.ML
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University(普渡大学);Indian Institute of Technology Kanpur(坎普尔印度理工学院)
针对无限时域平均回报约束马尔可夫决策过程,首次开展通用参数化策略下的遗憾与约束违反分析,提出原对偶策略梯度算法,实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Optimistic Actor-Critic with Parametric Policies for Linear Markov Decision Processes
Simon Fraser University(西蒙菲莎大学);University of Pennsylvania(宾夕法尼亚大学);Mila, McGill University(Mila,麦吉尔大学);Google DeepMind(谷歌DeepMind);University of Alberta(阿尔伯塔大学)
本文提出一种乐观Actor-Critic框架,采用参数化logit匹配回归目标和近似汤普森采样,实现线性MDP中高效的样本复杂度。
2026-04-01 cs.LG stat.ML
Global Convergence of Direct Policy Search for State-Feedback $\mathcal{H}_\infty$ Robust Control: A Revisit of Nonsmooth Synthesis with Goldstein Subdifferential
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
直接策略搜索在现代强化学习和连续控制中有着广泛的应用。然而,直接策略搜索在非光滑鲁棒控制综合中的理论性质还没有完全理解。最优$\mathcal{H}_\infty$控制框架的目的是设计一种策略,以最小化闭环$\mathcal{H}_\infty$范数,可以说是最基本的鲁棒控制范例。在这项工作中,我们表明,直接的政策搜索是保证找到鲁棒$\mathcal{H}_\infty$状态反馈控制设计问题的全局解。注意,最优$\mathcal{H}_\infty$控制的策略搜索导致约束非凸非光滑最优化问题,其中非凸可行集由稳定闭环动态的所有策略组成。我们证明了对于这个非光滑最优化问题,所有的Clarke平稳点都是全局最小值.其次,我们确定了闭环$\mathcal{H}_\infty$目标函数的连续性,并证明了由此产生的策略搜索问题的所有子水平集是紧的。基于这些性质,我们表明,Goldstein的次梯度法及其可实现的变种可以保证留在非凸可行集,并最终找到全局最优解的$\mathcal{H}_\infty$状态反馈综合问题。我们的工作建立了一个新的连接之间的非凸非光滑最优化理论和鲁棒控制,导致一个有趣的整体收敛的结果直接政策搜索最佳$\mathcal{H}_\infty$合成。
2022-10-20 cs.LG cs.SY eess.SY
Stochastic Policy Gradient Methods: Improved Sample Complexity for Fisher-non-degenerate Policies
ETH Zurich(苏黎世联邦理工学院)
针对Fisher非退化参数化策略全局收敛样本复杂度高的问题,提出N-PG-IGT将复杂度降至ε^-2.5,并用Hessian校正的(N)-HARPG进一步达到ε^-2,算法单循环、省内存且适用于连续状态动作空间。
2023-11-08 cs.LG math.OC
Bandit Policies for Reliable Cellular Network Handovers in Extreme Mobility
Tsinghua University(清华大学);University of California, Davis(加利福尼亚大学戴维斯分校);Shanghai Jiao Tong University(上海交通大学);Ohio State University(俄亥俄州立大学)
在极端用户移动性下(例如在高速列车和车辆上)对无缝互联网接入的需求已成为常态而不是例外。然而,4G/5G移动网络并不总是能够可靠地满足这一需求,在基站之间的切换期间存在不可忽视的故障。可靠性的基本挑战是平衡对用于满意切换的更多测量的探索和用于及时切换的开发(在快速移动的用户离开服务基站的无线电覆盖之前)。本文制定了这种权衡在极端的流动性作为两个不同的多武装土匪问题的组成。我们建议Bandit和阈值调整(BATT),以尽量减少在极端的流动性切换失败的遗憾。BATT使用$ε$ -二进制搜索来优化服务小区的信号强度的阈值,以发起具有$\mathcal{O}(\log J \log T)$遗憾的切换过程。它进一步设计了机会性Thompson采样,该算法优化了目标小区的序列,以测量具有$\mathcal{O}(\log T)$遗憾的可靠切换。我们在中国高速铁路的真实LTE数据集上的实验验证了显著的遗憾减少和29.1%的可靠切换。减少切换失败。
2020-10-28 cs.LG
A Theoretical Connection Between Statistical Physics and Reinforcement Learning
Princeton University(普林斯顿大学)
在存在不确定性和随机动力学的情况下进行顺序决策会导致强化学习(RL)和最优控制问题中的状态/动作轨迹分布。这一观察导致了RL和概率图模型(PGMs)中的推理之间的各种联系。在这里,我们探索这种关系的不同维度,使用统计物理学的工具和抽象来检查强化学习。在统计物理抽象的中心对象是一个分区函数$\mathcal{Z}$的想法,在这里,我们构建一个分区函数从可能的轨迹,一个代理可能采取的马尔可夫决策过程的合奏。虽然价值函数和$Q$ -函数可以从该配分函数导出并通过平均能量来解释,但是$\mathcal{Z}$ -函数提供了具有其自己的贝尔曼方程的对象,该贝尔曼方程可以形成替代性动态规划方法的基础。此外,当MDP动态是确定性的,贝尔曼方程的$\mathcal{Z}$是线性的,允许直接的解决方案,是不可用的非线性方程与传统的价值函数。通过这些基于$\mathcal{Z}$的Bellman更新学习的策略与Boltzmann类策略参数化紧密相关。除了像玻尔兹曼策略那样按预期累积奖励的指数成比例地采样动作之外,这些策略还考虑了熵,这些熵有利于可能产生许多结果的状态。
2021-09-29 cond-mat.stat-mech cs.AI cs.LG
Reward-Free Exploration for Reinforcement Learning
Princeton University(普林斯顿大学);Microsoft Research, New York(微软研究院(纽约));University of California, Berkeley(加利福尼亚大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
探索被广泛认为是强化学习(RL)最具挑战性的方面之一,许多天真的方法屈服于指数样本复杂性。为了隔离探索的挑战,我们提出了一个新的“无奖励RL”框架。在探索阶段,智能体首先从MDP $\mathcal{M}$收集轨迹,而无需预先指定的奖励函数。在探索之后,它的任务是针对给定的奖励函数的集合在$\mathcal{M}$下计算接近最优的策略。当有许多感兴趣的奖励函数时,或者当奖励函数由外部代理塑造以引起期望的行为时,该框架特别适合。我们给出了一个有效的算法,进行$\tilde{\mathcal{O}}(S^2A\mathrm{poly}(H)/ε^2)$情节的探索和返回$ε$ -次优策略的任意数量的奖励函数。我们实现这一点,通过寻找探索性的政策,访问每个“重要”的状态与概率成比例的最大访问概率下任何可能的政策。此外,我们的规划过程可以实例化的任何黑盒近似规划,如价值迭代或自然策略梯度。我们还给出了一个近似匹配的$Ω(S^2AH^2/ε^2)$下界,证明了我们的算法在这种情况下的近似最优性。
2020-02-07 cs.LG stat.ML
Stochastic Bandits with Delay-Dependent Payoffs
Dipartimento di Informatica Università degli Studi di Milano(米兰大学信息系)
基于音乐流媒体平台中的推荐问题,我们提出了一个非平稳随机强盗模型,其中手臂的预期奖励取决于自手臂最后一次被拉动以来已经通过的回合数。在证明找到一个最优策略是NP-难的,即使所有的模型参数是已知的,我们引入了一类排名政策可证明近似,在一个常数因子,最优策略的预期回报。我们展示了一个算法,其遗憾的最佳排名政策是有界的$\widetilde{\mathcal{O}}\big(\!\sqrt{kT}\big)$,其中$k$是武器的数量和$T$是时间。我们的算法只使用$\mathcal{O}\big(k\ln\ln T\big)$开关,这有助于策略之间的切换是昂贵的。由于构建学习策略类需要根据期望对手臂进行排序,因此我们也限制了这样做所需的拉取次数。最后,我们运行实验,比较我们的算法对UCB在不同的问题实例。
2020-02-19 cs.LG stat.ML
Policy Mirror Descent Inherently Explores Action Space
Georgia Institute of Technology(佐治亚理工学院)
在线策略梯度方法在有限状态和动作空间上解决一般的强化学习问题时,假设在动作空间中进行显式探索是必不可少的,以避免样本复杂性的急剧下降。在本文中,我们首次建立了一个$\tilde{\mathcal{O}}(1/ε^2)$样本复杂性的在线策略梯度方法,而不纳入任何探索策略。基本的发展包括两个新的政策评估运营商和一个新的分析随机政策镜像下降法(SPMD)。带有第一个评估算子的SPMD,称为基于值的估计,适合Kullback-Leibler发散。假设生成策略的状态空间上的马尔可夫链与非递减的最小访问测度一致混合,得到了一个与动作空间大小线性相关的$\tilde{\mathcal{O}}(1/ε^2)$样本复杂度.具有第二评估算子的SPMD,即截断策略蒙特卡罗(TOMC),获得$\tilde{\mathcal{O}}(\mathcal{H}_{\mathcal{D}}/ε^2)$样本复杂度,其中$\mathcal{H}_{\mathcal{D}}$温和地取决于有效范围和具有适当选择的Bregman发散的动作空间的大小(例如,Tsallis分歧)。带有TOMC的SPMD也表现出更强的收敛特性,因为它以高概率而不是期望控制最优性间隙。与显式探索相比,这些新的策略梯度方法可以防止在搜索最优策略时重复执行潜在的高风险操作。
2023-03-21 cs.AI cs.LG math.OC
Traversing Pareto Optimal Policies: Provably Efficient Multi-Objective Reinforcement Learning
Hong Kong University of Science and Technology(香港科技大学);University of Chicago(芝加哥大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究多目标强化学习,提出基于Tchebycheff标量化的min-max-max重构算法,设计了单偏好UCB算法和无偏好探索框架,并扩展至平滑Tchebycheff标量化,实现了可证明高效的帕累托最优策略学习。
2024-07-24 cs.LG math.OC stat.ML
Sample Complexity of the Linear Quadratic Regulator: A Reinforcement Learning Lens
该研究针对参数未知的折扣离散时间线性二次调节器问题,从强化学习视角提出无需两点梯度估计的算法,实现了O~(1/ε)的样本复杂度,显著优于现有非两点梯度估计类方法的性能。
2025-06-16 cs.LG cs.SY eess.SY
Near-Optimal Sample Complexities of Divergence-based S-rectangular Distributionally Robust Reinforcement Learning
HKUST(香港理工大学);University of Southern California(南加州大学)
本文研究了基于分歧的S-矩形分布鲁棒强化学习的经验价值迭代算法,推导出近优样本复杂性界,并通过实验验证了算法在鲁棒库存控制中的高效性。
2026-04-28 cs.LG stat.ML
Linear Convergence of Natural Policy Gradient Methods with Log-Linear Policies
FAIR, Meta AI(Meta AI基础人工智能研究院);LTCI, Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);University of Washington(华盛顿大学);CCM, Flatiron Institute(弗莱提荣研究所)
考虑无限时域折扣马尔可夫决策过程,研究了自然策略梯度(NPG)方法和具有对数线性策略类的Q-NPG方法的收敛速度。使用兼容函数近似框架,具有对数线性策略的两种方法都可以写成策略镜像下降(PMD)方法的不精确版本。我们表明,这两种方法达到线性收敛速度和$\tilde{\mathcal{O}}(1/ε^2)$样本的复杂性,使用一个简单的,非自适应的几何增加的步长,而不诉诸熵或其他强凸正则化。最后,作为一个副产品,我们得到了次线性收敛速度为任意常数步长的方法。
2023-02-21 cs.AI cs.LG math.OC
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion(以色列理工学院);Facebook AI Research(脸书人工智能研究院)
最先进的高效的基于基于模型的强化学习(RL)算法通常通过迭代求解经验模型来起作用,即,通过对由所收集的经验构建的马尔可夫决策过程(MDP)执行\emph{full-planning}。在本文中,我们专注于基于模型的RL在有限状态有限视野MDP设置,并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾,$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此,可以完全避免基于模型的RL中的完全规划,而不会降低任何性能,并且通过这样做,计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析,然后扩展到基于模型的RL。具体来说,我们概括现有的算法,执行全面规划,使行动的1步规划。对于这些概括,我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
An operator view of policy gradient methods
Google Brain(谷歌大脑)
我们铸造的策略梯度方法作为两个运营商的重复应用:一个政策改进运营商$\mathcal{I}$,它映射任何政策$π$到一个更好的$\mathcal{I}π$,和一个投影运营商$\mathcal{P}$,它发现的最佳近似$\mathcal{I}π$在一组可实现的政策。我们使用这个框架来介绍传统的策略梯度方法,如REINFORCE和PPO,这导致了更好地了解他们原来的同行基于操作员的版本。我们还使用我们开发的$\mathcal{I}$和$\mathcal{P}$的作用的理解,提出了一个新的全球预期收益的下限。这种新的视角使我们能够进一步弥合基于政策和基于价值的方法之间的差距,例如,展示了REINFORCE和Bellman最优性算子如何被视为同一枚硬币的两面。
2020-10-22 cs.AI cs.LG stat.ML
Achieving $\tilde{\mathcal{O}}(1/N)$ Optimality Gap in Restless Bandits through Gaussian Approximation
Electrical Engineering and Computer Science Department, University of Michigan, Ann Arbor(密歇根大学电气工程与计算机科学系);Computer Science Department, Carnegie Mellon University(卡内基梅隆大学计算机科学系)
针对退化 Restless Bandits,提出基于高斯近似的随机规划策略,实现 $\tilde{\mathcal{O}}(1/N)$ 最优性间隙,优于现有 LP 方法的 $\Theta(1/\sqrt{N})$。
2025-05-25 cs.LG math.OC math.PR
Robustness and Adaptability of Reinforcement Learning based Cooperative Autonomous Driving in Mixed-autonomy Traffic
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文提出了一种基于多智能体强化学习的方法,用于提高自动驾驶车辆在混合自主交通环境中的鲁棒性和适应性,通过隐式学习人类驾驶行为以优化社会效用和安全性能。
2022-02-02 cs.LG cs.RO
Instance-Dependent Regret for CMDPs with Step-Wise Constraints
University of Edinburgh(爱丁堡大学);Politecnico di Milano(米兰理工大学);University College London(伦敦大学学院)
针对逐步约束的表格型CMDP,提出SVAE算法,利用安全子图结构进行方差自适应探索,实现实例相关的最优遗憾界和约束违反界,并证明其必要性。
2026-10-05 cs.AI cs.LG
Policy Zooming: Adaptive Discretization-based Infinite-Horizon Average-Reward Reinforcement Learning
针对连续空间利普希茨MDP的无限时域平均回报RL问题,提出基于自适应策略缩放的无模型PZRL-MF与基于模型PZRL-MB算法,推导得到与问题缩放维度相关的低遗憾上界。
2025-11-17 cs.LG
Primal-Dual Sample Complexity Bounds for Constrained Markov Decision Processes with Multiple Constraints
Google(谷歌公司);ETH Zurich(苏黎世联邦理工学院)
本文针对转移动态未知的多约束马尔可夫决策过程,提出基于模型的原始-对偶算法,并分别在松弛可行性和严格可行性设置下给出并证明了学习近最优策略的样本复杂度上界。
2025-03-09 cs.LG
Pay attention! - Robustifying a Deep Visuomotor Policy through Task-Focused Attention
University of Central Florida(中佛罗里达大学)
最近的几项研究已经证明了机器人操纵器控制的深度可视化策略的前景。尽管取得了令人印象深刻的进展,但这些系统已知容易受到物理干扰,例如意外或对抗性碰撞,使它们掉落操纵对象。他们也倾向于被视觉干扰分散注意力,例如在机器人视野中移动的物体,即使干扰不会物理地阻止任务的执行。在本文中,我们提出了一种方法,用于增强通过任务集中视觉注意力(TFA)演示训练的深度视觉策略。操作任务用自然语言文本指定,例如“将红碗向左移动”。这允许视觉注意力组件集中在机器人需要操纵的当前对象上。我们表明,即使在良性环境中,TFA允许的政策始终优于一个变种没有注意力机制。更重要的是,新策略明显更健壮:它定期从严重的物理干扰(例如碰撞导致其掉落对象)中恢复,而基线策略(即没有视觉注意)几乎从未恢复。此外,我们表明,所提出的政策执行正确的存在下,广泛的视觉干扰,表现出的行为让人联想到人类的选择性视觉注意力实验。我们提出的方法由一个VAE-GAN网络组成,该网络对视觉输入进行编码,并将其馈送到移动机器人关节的电机网络。此外,我们的方法受益于教师网络的TFA,利用文本输入命令鲁棒的视觉编码器对各种类型的干扰。
2018-11-28 cs.AI cs.LG cs.RO
A Reduction from Reinforcement Learning to No-Regret Online Learning
Georgia Tech(佐治亚理工学院);Microsoft Research Montreal(蒙特利尔微软研究院)
我们提出了一个减少从强化学习(RL)到无遗憾在线学习的基础上的鞍点公式化的RL,“任何”在线算法与次线性遗憾可以产生的政策,可证明的性能保证。这种新的视角将强化学习问题分解为两个部分:后悔最小化和函数逼近。第一部分允许标准的在线学习分析,第二部分可以独立于学习算法进行量化。因此,所提出的约简可以作为一种工具,系统地设计新的RL算法。我们证明了这一点,设计一个简单的RL算法的基础上镜像下降和生成模型的预言。对于任何概率至少为$1-δ$的$γ$ -折扣表格RL问题,它使用最多$\tilde{O}\left(\frac{|\mathcal{S}||\mathcal{A}|\log(\frac{1}δ)}{(1-γ)^4ε^2}\right)$样本学习$ε$ -最优策略。此外,该算法允许直接扩展到线性参数化函数逼近器的大规模应用,与计算和样本的复杂性独立的$|\mathcal{S}|$,$|\mathcal{A}|$,但在潜在的近似偏差的成本。
2020-01-01 cs.LG stat.ML
Towards a Theoretical Foundation of Policy Optimization for Learning Control Policies
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院);University of Maryland, College Park(马里兰大学帕克分校);Harvard University(哈佛大学);University of Washington(华盛顿大学)
基于性能的方法已被广泛用于各种应用领域的系统设计和优化。最近,在控制和强化学习的背景下,研究这些方法的理论特性又引起了人们的兴趣。本文综述了策略优化的一些最新进展,这是一种用于反馈控制合成的基于梯度的迭代方法,通过强化学习的成功推广。我们采取跨学科的角度在我们的论述,连接控制理论,强化学习和大规模优化。我们回顾了一些最近发展的理论结果的优化景观,整体收敛,和样本复杂性的梯度为基础的方法,各种连续控制问题,如线性二次调节器(LQR),$\mathcal{H}_\infty$控制,风险敏感控制,线性二次高斯(LQG)控制,和输出反馈合成。结合这些优化结果,我们还讨论了直接策略优化如何处理基于学习的控制中的稳定性和鲁棒性问题,这是控制工程中的两个主要需求。我们通过指出学习和控制交叉点的几个挑战和机遇来结束调查。
2022-10-10 cs.LG math.OC stat.ML
A Minimal-Assumption Analysis of Q-Learning with Time-Varying Policies
Edwardson School of Industrial Engineering, Purdue University(普渡大学爱德华森工业工程学院)
本文首次在最小假设下对具有时间变化学习策略的Q学习进行了有限时间分析,证明了Q函数的收敛速率,并展示了探索与利用的权衡。
2026-04-03 cs.LG math.OC stat.ML
Efficient Q-Learning and Actor-Critic Methods for Robust Average-Reward Reinforcement Learning
Purdue University(普渡大学)
研究分布稳健无限期平均奖励MDPs的无模型方法,给出Q学习和演员-评论家算法非渐近收敛分析,建立稳健TD收敛界,引入相关算法并模拟,为稳健规划理论及无模型构建稳健策略提供基础。
2026-07-14 cs.AI cs.LG stat.ML
Scaling Distributed Multi-task Reinforcement Learning with Experience Sharing
Rice University(莱斯大学);University of California, Los Angeles(加州大学洛杉矶分校)
针对分布式多任务RL中智能体无任务先验却需协作学习的问题,提出DistMT-LSVI,通过任务识别与中央服务器经验共享获得ε-最优策略,并在Atari实验中验证其样本复杂度随N近似线性下降。
2023-07-11 cs.AI cs.LG
Offline Behavior Distillation
School of Computer Science, The University of Sydney(悉尼大学计算机学院);College of Computing & Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对离线强化学习大数据导致的训练低效问题,提出离线行为蒸馏框架及动作值加权PBC目标,以线性折扣复杂度实现更优蒸馏性能、更快收敛和更强泛化能力。
2024-10-30 cs.AI cs.LG
Quick-Draw Bandits: Quickly Optimizing in Nonstationary Environments with Extremely Many Arms
Booz Allen Hamilton(博世-阿伦哈姆顿公司);Laboratory for Physical Sciences(物理科学实验室)
针对极多臂非平稳环境下的老虎机优化问题,提出基于高斯插值的连续空间奖励学习策略,实现 $\mathcal{O}^*(\sqrt{T})$ 累积遗憾,计算速度提升百倍以上且实验表现优于滑动高斯过程策略。
2025-05-30 cs.LG stat.ML
On the Convergence of Success Conditioning for Policy Optimization
Massachusetts Institute of Technology(麻省理工学院)
本文研究成功条件化策略在随机环境中的收敛性,证明其在广泛MDP类上收敛到最优策略,并给出折扣和单周期情形下的收敛速率。
2026-10-05 cs.LG math.OC
Offline Planning and Online Learning under Recovering Rewards
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
受新兴应用如实时流媒体电子商务、促销和推荐的启发,我们引入并解决了一类具有以下两个特征的非平稳多臂强盗问题:(i)决策者可以在每个时间段内从$N$不同的臂中提取并收集最多$K\,(\ge 1)$的奖励;(ii)手臂的预期回报在被拉动后立即下降,然后随着手臂空闲时间的增加而非参数地恢复。随着最大化的目标,在$T$的时间周期的预期累积奖励,我们设计了一类“定期政策”,共同设置一个时期,拉每个arm.For建议的政策,我们证明了性能保证离线问题和在线问题。对于离线问题,当所有的模型参数是已知的,建议的周期性政策获得的近似比是在$1-\mathcal O(1/\sqrt{K})$的顺序,这是渐近最优的$K$增长到无穷大。针对模型参数未知且需要动态学习的在线问题,将离线周期策略与置信上界过程相结合,构造在线策略。提出的在线策略被证明是近似有$\widetilde{\mathcal O}(N\sqrt{T})$遗憾对离线基准。我们的框架和政策设计可以揭示更广泛的离线规划和在线学习应用程序与非固定和恢复奖励。
2021-12-21 cs.DM cs.LG math.OC
Near-Optimal Reinforcement Learning for Constrained Recurrence Objectives
NTU Singapore(南洋理工大学)
本文提出了一种结合$ω$-正则目标与约束的强化学习算法,以解决安全性和性能之间的权衡问题。
2026-08-04 cs.AI cs.LG
Primal-Dual Policy Optimization for Linear CMDPs with Adversarial Losses
Research Institute of Mathematics, Seoul National University(数学研究所,首尔国立大学);Interdisciplinary Program in Artificial Intelligence, Seoul National University(人工智能跨学科项目,首尔国立大学);Korea Institute for Advanced Study(韩国高级研究院)
本文提出了一种新的对偶策略优化算法,用于在线有限时间线性CMDP,解决了对抗性环境下的子线性遗憾和约束违反问题,通过引入加权LogSumExp softmax策略和定期策略混合技术实现。
2026-05-12 cs.LG
Scalable Production Scheduling: Linear Complexity via Unified Homogeneous Graphs
Faculty of Management and Engineering, Rosenheim Technical University of Applied Sciences(管理与工程学院,罗森海姆应用技术大学)
提出统一同质图框架,通过特征同质化将不同节点角色映射到共享潜在空间,使用同构图同构网络以线性复杂度解决作业车间调度问题,实现零样本泛化,并发现作业与机器比率是策略有效性的主要驱动因素。
2026-06-15 cs.AI cs.LG
Conservative Optimistic Policy Optimization via Multiple Importance Sampling
Ecole Polytechnique(巴黎综合理工学院)
强化学习(RL)已经能够用一种统一的方法解决诸如玩雅达利游戏或解决围棋游戏等难题。然而,现代深度强化学习方法在现实世界的应用中仍然没有得到广泛的应用。一个原因可能是,与现有的(已经工作的)基线策略相比,中间执行策略的性能缺乏保证。在本文中,我们提出了一个在线无模型算法,解决了保守的探索策略优化问题。我们表明,所提出的方法的遗憾是有界的$\tilde{\mathcal{O}}(\sqrt{T})$离散和连续的参数空间。
2021-03-04 cs.LG stat.ML
From Parameters to Behaviors: Unsupervised Compression of the Policy Space
Politecnico di Milano(米兰理工大学);Technion(技术学院)
本文提出了一种无监督方法,将策略参数空间压缩到低维潜在空间,通过行为重建损失优化生成模型,从而提升连续控制任务中的样本效率和策略表达能力。
2026-02-24 cs.AI cs.LG
On the convergence of policy gradient methods to Nash equilibria in general stochastic games
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Stanford University(斯坦福大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);Criteo AI Lab(科韬人工智能实验室);University of California, Berkeley(加州大学伯克利分校)
在随机博弈中学习是一个非常困难的问题,因为除了彼此的战略决策外,参与者还必须面对这样一个事实,即博弈本身会随着时间的推移而演变,可能会以非常复杂的方式演变。正因为如此,流行的学习算法(如策略梯度及其变体)的收敛特性知之甚少,除了特定类别的游戏(如潜在或两人零和游戏)。有鉴于此,我们研究长期的行为策略梯度方法相对于纳什均衡政策,是二阶平稳(SOS)在某种意义上类似的充分条件的类型在优化。我们的第一个结果是,SOS政策是本地吸引的概率很高,我们表明,策略梯度轨迹与梯度估计提供的REINFORCE算法实现了$\mathcal{O}(1/\sqrt{n})$距离平方收敛速度,如果该方法的步长选择适当。随后,专门的类确定性纳什政策,我们表明,这一速度可以显着提高,事实上,策略梯度方法收敛在有限数量的迭代在这种情况下。
2022-10-17 cs.GT cs.LG math.OC
Uncertainty-Aware Reward-Free Exploration with General Function Approximation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文提出无奖励强化学习算法 GFA-RFE,通过不确定性感知的内在奖励和不确定性加权学习提升样本效率,并在理论和 DeepMind Control Suite 实验中验证其优于现有方法。
2024-06-30 cs.AI cs.LG
Provably Efficient $Q$-learning with Function Approximation via Distribution Shift Error Checking Oracle
Institute for Advanced Study(高等研究院);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学)
$Q$ -learning with function approximation is one of the most popular methods in reinforcement learning . Though the idea of using function approximation was proposed at least 60 years ago, even in the simplest setup, i.e, approximating $Q$ -functions with linear functions, it is still an open problem on how to design a provably efficient algorithm that learns a near-optimal policy. The key challenges are how to efficiently explore the state space and how to decide when to stop exploring in conjunction with the function approximation scheme. The current paper presents a provably efficient algor…
2019-11-04 cs.AI cs.LG math.OC
Upper and Lower Bounds for Distributionally Robust Off-Dynamics Reinforcement Learning
Duke University(杜克大学)
本文研究离线动力学强化学习的环境扰动问题,提出 We-DRIVE-U 算法,在分布鲁棒 MDP 框架下实现近似最优的平均次优性界,并通过稀有切换设计显著降低策略切换和预言机调用复杂度。
2024-09-30 cs.AI cs.LG stat.ML
Variance-Reduced Policy Gradient is Nearly Minimax-Optimal
Politecnico di Milano(米兰理工大学);Università degli Studi di Milano(米兰大学)
针对策略梯度算法估计方差高的问题,提出含递归更新与防御重要性采样的无循环降方差策略梯度框架,证明其在弱梯度控制下的全局收敛性,且样本复杂度近极小极大最优。
2026-10-12 cs.AI cs.LG
Global Convergence of Average Reward Constrained MDPs with Neural Critic and General Policy Parameterization
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园);Indian Institute of Technology, Kanpur(印度理工学院坎浦尔);Department of Electrical Engineering Indian Institute of Technology, Kanpur(电气工程系印度理工学院坎浦尔);Department of Industrial Engineering Purdue University West Lafayette(工业工程系普渡大学威斯康星拉法叶)
本文提出了一种基于神经批评者和通用策略参数化的算法,实现了约束马尔可夫决策过程的全局收敛性保障,突破了传统线性批评者方法的限制。
2026-03-08 cs.LG
Sample-Efficient Constrained Reinforcement Learning with General Parameterization
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Purdue University(普渡大学)
针对约束马尔可夫决策过程的样本效率问题,提出原始-对偶加速自然策略梯度算法,在通用参数化策略下显著提升样本复杂度并达到ε^{-1}维度的理论下界。
2024-10-31 cs.AI cs.LG
Contextual Bandits with Cross-learning
Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院)
在经典的上下文强盗问题中,在每一轮$t$中,学习者观察一些上下文$c$,选择一些动作$i$来执行,并获得一些奖励$r_{i,t}(c)$。我们考虑这个问题的变体,其中除了接收奖励$r_{i,t}(c)$之外,学习者还学习集合$\mathcal{O}_i(c)$中的一些其他上下文$c'$的$r_{i,t}(c')$的值;即,在不同的上下文$c'\in \mathcal{O}_i(c)$下执行该动作所获得的奖励。这种变体出现在几种策略设置中,例如学习如何在不真实的重复拍卖中出价,这一点最近受到了很多关注,因为许多平台已经转向运行第一价格拍卖。我们称这个问题为交叉学习的上下文强盗问题。经典上下文强盗问题的最佳算法实现了对所有静态策略的$\tilde{O}(\sqrt{CKT})$后悔,其中$C$是上下文的数量,$K$是动作的数量,$T$是轮数。我们设计和分析了新的算法的上下文强盗问题的交叉学习,并表明他们的遗憾有更好的依赖于上下文的数量。在完全交叉学习的情况下,当选择一个动作时,所有上下文的奖励都是学习的,即,集合$\mathcal{O}_i(c)$包含所有上下文,我们表明,我们的算法实现遗憾$\tilde{O}(\sqrt{KT})$,消除对$C$的依赖。对于任何其他情况,即,在部分交叉学习下,其中对于$(i,c)$的某个上下文-动作对,$|\mathcal{O}_i(c)|< C$,…
2021-11-15 cs.LG stat.ML
Reward Biased Maximum Likelihood Estimation for Reinforcement Learning
Texas A&M University(得克萨斯农工大学);Indian Institute of Science(印度科学学院)
为了克服自适应控制的基本“闭可辨识性问题”、“对偶控制问题”或“探索与利用问题”的中心障碍,提出了马尔可夫链自适应控制的有偏最大似然估计(RBMLE).它利用了一个关键的观察,即由于最大似然参数估计可以在确定性等价方法下渐近地识别闭转移概率,因此限制参数估计必须具有小于真实但未知系统可获得的最优奖励的最优奖励。因此,它提出了一个抵消反向偏置,有利于具有更大的最佳回报的参数,提供了一个解决方案,上面提到的基本问题。因此,它提出了一种支持具有更大最优回报的参数的乐观方法,现在被称为“面对不确定性的乐观”。RBMLE方法已被证明是在各种情况下的长期平均奖励最优。然而,现代人的注意力集中在“后悔”或有限时间表现的更精细的概念上。最近对多武器随机土匪和线性背景土匪的RBMLE分析表明,它不仅具有最先进的遗憾,而且还表现出与当前最佳竞争者相当或更好的经验表现,并导致惊人的简单指数政策。出于这一动机,我们研究的有限时间性能的RBMLE的强化学习任务,涉及一般问题的最优控制未知马尔可夫决策过程。我们表明,它有一个遗憾的$\mathcal{O}( \log T)$在一个时间范围内的$T$步骤,类似于国家的最先进的算法。仿真研究表明,RBMLE优于其他算法,如UCRL 2和汤普森采样。
2021-05-15 cs.LG cs.SY eess.SY
Collaborative Yet Personalized Policy Training: Single-Timescale Federated Actor-Critic
Northeastern University(东北大学);Tsinghua University(清华大学)
本文提出一种联邦Actor-Critic框架,在保持个性化局部策略的同时共享公共线性子空间表示,并通过新颖的联合线性近似框架证明了有限时间收敛性,展示了线性加速效果。
2026-05-14 cs.AI cs.LG
No-Regret Exploration in Goal-Oriented Reinforcement Learning
Facebook AI Research(Facebook 人工智能研究院);Inria Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
许多流行的强化学习问题(例如,迷宫中的导航,一些Atari游戏,山地车)是其随机最短路径(SSP)公式下的情节设置的实例,其中代理必须在最小化累积成本的同时实现目标状态。尽管这种设置很受欢迎,但在一般SSP问题中,探索-开发困境的研究很少,大多数理论文献都集中在不同的问题上(即,固定范围和无限范围)或进行限制性无环SSP假设(即,在一次事件中,任何州都不能访问两次)。在本文中,我们研究了一般的SSP问题,没有假设其动态(一些政策实际上可能永远不会达到目标)。我们介绍了UC-SSP,第一个无遗憾算法在这种情况下,并证明了一个遗憾的边界缩放为$\displaystyle \widetilde{\mathcal{O}}( D S \sqrt{ A D K})$后,$K$事件的任何未知SSP与$S$状态,$A$行动,积极的成本和SSP直径$D$,定义为从任何起始状态到目标的最小预期命中时间。我们通过设计一个新的停止规则来实现这一结果,这样UC-SSP可以在实现目标花费太长时间的情况下中断当前策略,并切换到旨在快速终止事件的替代策略。
2020-08-17 cs.LG stat.ML
On the Benefits of Inducing Local Lipschitzness for Robust Generative Adversarial Imitation Learning
NVIDIA Corporation(英伟达公司);Purdue University(普渡大学);The University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
本文针对GAIL在观测噪声下性能下降的问题,提出在生成器和判别器中诱导局部Lipschitz性的正则化方法,并从理论和实验证明其能显著提升所学策略的鲁棒性,在MuJoCo噪声测试场景中优于现有最优GAIL算法。
2024-01-15 cs.LG
Achieving $ε^{-2}$ Sample Complexity for Single-Loop Actor-Critic under Minimal Assumptions
IISc(印度斯里尼瓦西大学);Purdue IE(普渡大学工业工程学院)
本文在最小假设下,通过单循环单时间尺度实现和广泛策略更新类,证明了首次ε^{-2}样本复杂度保证,找到ε-最优策略,与现有文献不同,无需嵌套循环或强假设。
2026-05-13 cs.LG math.OC stat.ML
Inverse Q-Learning Done Right: Offline Imitation Learning in $Q^π$-Realizable MDPs
Universitat Pompeu Fabra(庞培法布拉大学);EPFL(瑞士联邦理工学院)
本文提出SPOIL算法,通过线性Q^π-可实现MDP的结构性假设,在有限样本下实现与专家策略性能匹配,并在非线性情况下扩展,展示其在深度模仿学习中的优越性能。
2026-01-08 cs.LG
Achieving Zero Constraint Violation for Constrained Reinforcement Learning via Primal-Dual Approach
Purdue University(普渡大学);US Army Research Laboratory(美国陆军研究实验室)
强化学习广泛应用于需要在与环境交互的同时执行顺序决策的应用中。当决策要求包括满足一些安全约束时,问题变得更具挑战性。该问题在数学上表示为约束马尔可夫决策过程(CMDP)。在文献中,各种算法可用于以无模型的方式解决CMDP问题,以实现具有$ε$可行策略的$ε$ -最优累积奖励。一个$ε$可行的策略意味着它受到约束违反。这里的一个重要问题是我们是否可以实现$ε$ -最优的累积奖励与零约束违规或没有。为了实现这一目标,我们提倡使用随机原始-对偶方法来解决CMDP问题,并提出了一个保守的随机原始-对偶算法(CSPDA),它表现出$\tilde{\mathcal{O}}\left(1/ε^2\right)$样本复杂性,以实现$ε$ -最优的累积奖励与零约束违反。在现有的工作中,最好的可用的样本复杂度的$ε$ -最优策略的零约束违反是$\tilde{\mathcal{O}}\left(1/ε^5\right)$。因此,与现有技术相比,所提出的算法提供了显著的改进。
2022-07-13 cs.LG