Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近,最初提出的行动独立的基线(萨顿等。2000)。
2017-06-20 cs.AI cs.LG
An $L^2$ Analysis of Reinforcement Learning in High Dimensions with Kernel and Neural Network Approximation
Princeton University(普林斯顿大学);Flatiron Institute(弗莱德森研究所);Peking University(北京大学)
基于高维函数逼近的强化学习(RL)算法在具有大量状态的大规模问题中取得了巨大的经验成功。然而,这种算法的大多数分析产生的误差范围,涉及的状态数或功能的数量。本文考虑的情况下,无论是使用核方法或两层神经网络模型的函数逼近,在一个拟合的Q-迭代算法与显式正则化的上下文中。利用$Hn$样本建立了最优策略的$\tilde{O}(H^3|\mathcal {A}|^{\frac14}n^{-\frac14})$界,其中$H$是每集的长度,$|\mathcal {A}|$是动作空间的大小.我们的分析取决于使用$n$数据点分析近似Q函数的$L^2$误差。即使这个结果仍然需要一个有限大小的动作空间,误差界是独立的状态空间的维数。
2022-02-15 cs.LG
On Convergence Rate of Adaptive Multiscale Value Function Approximation For Reinforcement Learning
New York University(纽约大学)
在本文中,我们提出了一个通用的框架,设计一个自适应逼近方案的价值函数逼近强化学习,它引入了多尺度逼近。两个基本成分是多分辨率分析以及树近似。从简单的细化功能,多分辨率分析,使我们能够构建一个小波系统,从基函数的选择自适应,从而在一个树结构。此外,我们提出了我们的多尺度逼近的收敛速度,它不依赖于基函数的正则性。
2019-08-22 cs.LG stat.ML
Robust nonlinear set-point control with reinforcement learning
Uppsala University(乌普萨拉大学)
针对强化学习在非线性设定点控制中训练困难的问题,本文融合先验反馈控制器、积分误差与模型集成训练,提升训练效率及对建模误差的鲁棒性,并在水箱与 pH 控制实验中验证。
2023-04-20 cs.LG cs.SY eess.SY
Linear Function Approximation as a Computationally Efficient Method to Solve Classical Reinforcement Learning Challenges
本文提出在低维状态和动作空间环境中,使用Linear Function Approximation的Natural Policy Gradient (NPG)方法相比TRPO和PPO等神经网络模型具有更高计算效率和相当或更优的性能。
2024-05-27 cs.LG
The Divergence of Reinforcement Learning Algorithms with Value-Iteration and Function Approximation
City University London(伦敦城市大学)
本文给出了几种主要的强化学习和自适应动态规划算法在使用价值函数的函数逼近器时值迭代的具体发散示例。这些分歧的例子不同于文献中以前的分歧的例子,因为它们适用于贪婪的政策,即在“价值迭代”的情况下。也许令人惊讶的是,使用贪婪策略,也可以得到算法TD(1)和Sarsa(1)的发散。除了这些分歧,我们也实现了分歧的自适应动态规划算法HDP,DHP和GDHP。
2012-07-29 cs.LG
Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning
ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
近年来,神经网络作为强化学习中的函数逼近器获得了复兴。在Tesauro的TD-Gammon在西洋双陆棋中取得接近人类顶级水平的表现后的二十年里,深度强化学习算法DQN在许多Atari 2600游戏中取得了人类水平的表现。本研究的目的有两个。首先,我们提出了两个激活函数的神经网络函数逼近强化学习:S形加权线性单元(SiLU)和它的导数函数(dSiLU)。SiLU的激活通过sigmoid函数乘以其输入来计算。其次,我们建议使用具有资格跟踪的同策略学习而不是经验重放的更传统的方法,以及具有简单退火的softmax动作选择可以与DQN竞争,而不需要单独的目标网络。我们验证我们提出的方法,首先,实现新的国家的最先进的结果,在随机SZ-俄罗斯方块和俄罗斯方块与一个小的10 $\times$ 10板,使用TD($λ$)学习和浅dSiLU网络代理,然后,通过在Atari 2600域中使用深Sarsa($λ$)代理与SiLU和dSiLU隐藏单元。
2017-11-02 cs.LG
Attractor Selection in Nonlinear Energy Harvesting Using Deep Reinforcement Learning
Dynamical Systems Research Laboratory(动态系统研究实验室);Department of Mechanical Engineering & Materials Science(机械工程与材料科学系);Duke University(杜克大学)
最近的研究工作表明,有意使用非线性增强能量收集系统的能力。在非线性收获器中出现的主要挑战之一是,非线性通常会导致具有可能共存的期望和不期望响应的多个吸引子。本文提出了一种基于永磁转磁传动的非线性能量采集器,该能量采集器具有不同水平的电功率输出,并具有共存的吸引子。此外,提出了一种利用深度强化学习的控制方法,实现了在具有约束驱动的共存吸引子之间的吸引子切换。
2020-10-03 cs.LG cs.SY eess.SY
Reinforcement Learning with Linear Function Approximation and LQ control Converges
强化学习通常用于函数逼近。然而,很少有积极的结果是已知的函数逼近RL控制算法的收敛性。在本文中,我们证明了TD(0)和Sarsa(0)与线性函数逼近收敛的一类简单的问题,其中系统是线性的,成本是二次(LQ控制问题)。此外,我们表明,系统的高斯噪声和非完全可观测的状态(LQG问题),上述RL算法仍然是收敛的,如果他们与卡尔曼滤波相结合。
2007-03-09 cs.AI cs.LG
Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
本文提出结合静态 LRM 与通用函数逼近的 RS-DisRL 框架及两种元算法,并通过 LSR、MLE 与增强 MDP 首次获得 $\widetilde{\mathcal{O}}(\sqrt{K})$ 遗憾上界。
2024-02-28 cs.LG
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University(台湾大学);MediaTek Research(联发科技研究院)
本文提出一种基于核函数近似的离线强化学习算法,有效利用低成本无标签数据,并给出理论保证与复杂度条件。
2025-05-28 cs.LG
Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出融合人类反馈的迭代CVaR风险敏感强化学习框架,在线性与一般函数逼近下实现逐步安全保证,并给出样本高效算法及其最优性理论证明。
2023-12-04 cs.LG
Convergent Reinforcement Learning Algorithms for Stochastic Shortest Path Problem
Department of Computer Science and Automation, Indian Institute of Science(计算机科学与自动化系,印度科学研究院)
本文提出两种收敛强化学习算法,用于解决随机最短路径问题,并展示了其在表格和函数逼近设置中的优越性能。
2025-12-02 cs.LG
Successive Convex Approximation Based Off-Policy Optimization for Constrained Reinforcement Learning
Peking University(北京大学);Zhejiang University(浙江大学)
提出了一种基于连续凸逼近的离线优化算法(SCAOPO)来解决一般的约束强化学习问题,该问题被表示为平均成本下的约束马尔可夫决策过程(CMDP). SCAOPO是基于解决一系列的凸目标/可行性优化问题,通过替换目标和约束函数在原来的问题与凸代理函数。在每次迭代中,即使策略参数为高维函数,凸代理问题也可以通过拉格朗日对偶方法有效地求解。此外,SCAOPO能够重用以前更新中的旧经验,从而在部署到需要在线学习环境的真实工程系统中时,显着降低了实施成本。尽管存在时变的状态分布和离策略学习带来的随机偏差,具有可行初始点的SCAOPO仍几乎必然收敛于原问题的KKT点.
2021-05-26 cs.LG
Differentially Private Reinforcement Learning with Linear Function Approximation
Wayne State University(韦恩州立大学)
基于强化学习(RL)在个性化服务中的广泛应用,研究了差分隐私(DP)约束下有限时域马尔可夫决策过程(MDP)的后悔最小化问题.与现有的仅在表格有限状态,有限动作MDP上工作的私有RL算法相比,我们在具有大状态和动作空间的MDP中迈出了隐私保护学习的第一步。具体而言,我们认为MDP与线性函数近似(特别是线性混合MDP)的概念下的联合差分隐私(JDP),其中RL代理负责保护用户的敏感数据。我们设计了两种分别基于值迭代和策略优化的私有强化学习算法,并证明了它们在保证隐私保护的同时具有次线性后悔性能.此外,遗憾界与状态数无关,且最大程度上与行为数成比例,适用于大规模个性化服务中的隐私保护.我们的研究结果是通过一个一般的过程中学习线性混合MDP下不断变化的正则化,这不仅推广了以前的结果,非私人学习,但也作为一般的私人强化学习的积木。
2022-03-21 cs.LG
Replicable Reinforcement Learning with Linear Function Approximation
University of Pennsylvania(宾夕法尼亚大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出可重复的强化学习算法,针对线性函数逼近问题,设计了高效的随机设计回归和协方差估计算法,并在生成模型和片段设置中实现了可证明高效的可重复RL算法,通过实验验证了其对神经策略的一致性影响。
2026-04-14 cs.LG
Multi-objective Reinforcement Learning with Nonlinear Preferences: Provable Approximation for Maximizing Expected Scalarized Return
Harvard University(哈佛大学);Duke University(杜克大学)
针对多目标 MDP 中非线性偏好下的 ESR 最大化问题,提出含时间与累积奖励的扩展 Bellman 形式,并给出伪多项式近似算法及理论与实验验证。
2025-02-18 cs.AI cs.LG
Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning
Virginia Polytechnic Institute and State University(弗吉尼亚理工大学);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出一个具有马尔可夫噪声和异质性的联邦随机逼近通用框架,证明N个智能体协作求解联合不动点问题可获得N倍线性加速,并将其应用于联邦TD和Q学习算法。
2024-10-21 cs.LG
Concentration of Contractive Stochastic Approximation and Reinforcement Learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
利用鞅浓度不等式,导出了具有压缩映射的随机近似算法在鞅差和马尔可夫噪声下的“从时间$n_0$开始”的浓度界.这些应用于强化学习算法,特别是异步Q学习和TD(0)。
2022-06-11 cs.LG cs.SY eess.SY
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology(加州理工学院)
该工作处理高维状态空间中的逆强化学习问题,其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题,我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立,然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系,因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法,以显示其准确性,以及三个临床任务,以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
RL as Regressor: A Reinforcement Learning Approach for Function Approximation
针对标准回归受限于可微损失函数的问题,提出将回归建模为强化学习问题的范式,以预测为动作、自定义奖励信号,经含噪正弦波案例验证,该框架可解决回归问题且目标定义更灵活。
2025-07-31 cs.LG
Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
University of Toronto(多伦多大学);New York University(纽约大学);Vector Institute(向量研究所)
在这项工作中,我们建议使用最近提出的Kronecker因子近似曲率将信赖域优化应用于深度强化学习。我们扩展了自然策略梯度的框架,并建议使用Kronecker因子近似曲率(K-FAC)与信任区域优化演员和评论家,因此我们称我们的方法演员批评使用Kronecker因子信任区域(ACKTR)。据我们所知,这是第一个可扩展的信任区域自然梯度方法的演员批评的方法。它也是一种直接从原始像素输入学习连续控制中的非平凡任务以及离散控制策略的方法。我们在Atari游戏中的离散域以及MuJoCo环境中的连续域中测试了我们的方法。与以前的最先进的政策行动者-批评者方法相比,我们能够实现更高的回报和平均样本效率的2至3倍的改进。代码可在https://github.com/openai/baselines上获得
2017-08-18 cs.LG
Value Function Approximations via Kernel Embeddings for No-Regret Reinforcement Learning
Boston University(波士顿大学);The University of Sydney(悉尼大学)
我们考虑情景情境下的强化学习(RL)中的后悔最小化问题。在许多现实世界的RL环境中,状态和动作空间是连续的或非常大的。现有的方法建立遗憾的保证,无论是低维表示的随机过渡模型或近似的$Q$ -功能。然而,对状态-价值函数的函数近似方案的理解在很大程度上仍然缺失。在本文中,我们提出了一个在线的基于模型的RL算法,即CME-RL,学习表示的过渡分布作为嵌入在再生核希尔伯特空间,同时仔细平衡开发探索权衡。我们证明了我们的算法的效率,通过证明一个频率论(最坏情况下)的遗憾界是为了$\tilde{O}\big(Hγ_N\sqrt{N}\big)$ \footnote{ $\tilde{O}(\cdot)$ hides only absolute constant and poly-logarithmic factors.},其中$H$是情节长度,$N$是时间步的总数和$γ_N$是一个信息理论量有关的有效尺寸的状态-动作特征空间。我们的方法绕过了估计转移概率的需要,并适用于可以定义内核的任何域。它也带来了新的见解核方法的近似推理和RL遗憾最小化的一般理论。
2022-06-28 cs.LG
Optimism in Reinforcement Learning with Generalized Linear Function Approximation
University of Florida(佛罗里达大学);Carnegie Mellon University(卡内基梅隆大学);Institute for Advanced Studies(高等研究院);Microsoft Research(微软研究院)
我们设计了一个新的可证明有效的算法,情景强化学习与广义线性函数逼近。我们分析了一个新的表达假设,我们称之为“乐观封闭”,这是严格弱于假设的线性设置之前的分析算法。在乐观闭包下,我们证明了该算法的遗憾界为$\tilde{O}(\sqrt{d^3 T})$,其中$d$是状态-动作特征的维数,$T$是事件的个数.这是第一个具有统计和计算效率的广义线性函数强化学习算法。
2019-12-09 cs.LG stat.ML
Online Robust Reinforcement Learning with General Function Approximation
University of Central Florida(中佛罗里达大学)
本文提出了一种基于通用函数逼近的在线鲁棒强化学习算法,通过交互学习鲁棒策略,无需先验知识或预收集数据,建立了次线性后悔界。
2026-03-04 cs.LG
Safe Reinforcement Learning with Nonlinear Dynamics via Model Predictive Shielding
University of Pennsylvania(宾夕法尼亚大学);Deapartment of Computer and Information Science(计算机与信息科学系)
强化学习是一种很有前途的方法来合成具有挑战性的机器人任务的政策。一个关键问题是如何确保学习策略的安全性-例如,步行机器人不会摔倒,或者自动驾驶汽车不会遇到障碍物。我们专注于动态已知的设置,目标是确保在模拟中训练的策略满足给定的安全约束。我们提出了一种称为模型预测屏蔽(MPS)的方法,该方法可以在学习策略和备份策略之间动态切换以确保安全性。我们证明,我们的方法保证安全性,并经验评估它的推车杆。
2020-10-21 cs.LG stat.ML
Nearly Minimax Optimal Reinforcement Learning with Linear Function Approximation
Tsinghua University(清华大学)
我们研究了具有线性函数近似的强化学习,其中转移概率和奖励函数关于特征映射$\boldsymbolϕ(s,a)$是线性的。具体来说,我们认为情节非齐次线性马尔可夫决策过程(MDP),并提出了一种新的计算效率的算法,LSVI-UCB $^+$,它实现了$\widetilde{O}(Hd\sqrt{T})$遗憾界,其中$H$是情节长度,$d$是特征维数,和$T$是步骤的数量。LSVI-UCB $^+$建立在加权岭回归和上置信值迭代的基础上,具有伯恩斯坦型探索奖金。我们的统计结果得到了新的分析工具,包括一个新的Bernstein自归一化的椭圆势保守性的约束,和精细的分析的校正项。这是线性MDP的最小最大最优算法,直到对数因子,其关闭了$\widetilde{O}(\sqrt{H^3d^3T})$的上限之间的$\sqrt{Hd}$差距(Jin等人,2020)和线性MDP的$Ω(Hd\sqrt{T})$的下限。
2023-01-29 cs.LG
Distributionally Robust Off-Dynamics Reinforcement Learning: Provable Efficiency with Linear Function Approximation
Duke University(杜克大学)
本文首次研究带线性函数逼近的在线分布鲁棒MDP用于跨动力学强化学习,通过总变差距离设计d-矩形不确定性集消除非线性误差传播,提出DR-LSVI-UCB算法并证明其多项式次优性界与状态动作空间大小无关。
2024-02-23 cs.LG
On Instance-Dependent Bounds for Offline Reinforcement Learning with Linear Function Approximation
Johns Hopkins University(约翰斯·霍普金斯大学);UC Santa Barbara(加州大学圣巴巴拉分校);Deakin University(迪肯大学)
具有线性函数逼近的样本有效离线强化学习(RL)最近被广泛研究。许多先前的工作已经产生了$\tilde{\mathcal{O}}(\frac{1}{\sqrt{K}})$的最小最大最优界限,其中$K$是离线数据中的发作次数。在这项工作中,我们试图了解离线RL与函数近似的实例相关的界限。我们提出了一种名为Bootstrapped and Consolined Pessimistic Value Iteration(BCP-VI)的算法,该算法在悲观主义之上利用了数据自举和约束优化。我们表明,在部分数据覆盖的假设下,\emph{concentrability}相对于最佳的政策,该算法产生了一个快速的$\tilde{\mathcal{O}}(\frac{1}{K})$率离线RL时,有一个积极的差距,在最佳的Q-价值函数,即使当离线数据自适应收集。此外,当最优策略可达状态中的最优动作的线性特征跨越行为策略可达状态并且最优动作是唯一的时,当$K$超过(有限)实例相关阈值时,离线RL实现绝对零次优性误差。据我们所知,这是第一个$\tilde{\mathcal{O}}(\frac{1}{K})$界和绝对零次最优界分别为离线RL与线性函数近似自适应数据的部分覆盖。我们还提供了实例不可知和实例相关的信息理论下限,以补充我们的上限。
2023-01-27 cs.LG
Guarantees for Epsilon-Greedy Reinforcement Learning with Function Approximation
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);Courant Institute of Mathematical Sciences(柯朗数学科学研究所);Cornell University(康奈尔大学)
短视的探索策略,如ε-greedy,softmax或高斯噪声,在某些强化学习任务中无法有效地探索,但在许多其他任务中表现良好。事实上,在实践中,由于它们的简单性,它们经常被选为首选。但是,这些政策在哪些方面取得了成功?我们能为它们的良好表现提供理论保证吗?尽管这些政策具有突出的实际重要性,但这些关键问题几乎没有得到研究。本文对这种策略进行了理论分析,并给出了带有近视探索的强化学习的第一遗憾和样本复杂度界限。我们的研究结果适用于基于值函数的算法在情节MDP与有界贝尔曼Eluder维数。我们提出了一个新的复杂性措施,称为近视勘探差距,由阿尔法表示,捕获的MDP,勘探政策和给定的价值函数类的结构属性。我们发现近视探索的样本复杂度与这个量的倒数1 /α ^2成二次方关系。我们进一步通过具体的例子证明,近视的探索差距确实是有利的,在近视的探索成功的几个任务,由于相应的动力学和奖励结构。
2022-06-19 cs.LG
RLOC: Neurobiologically Inspired Hierarchical Reinforcement Learning Algorithm for Continuous Control of Nonlinear Dynamical Systems
Imperial College London(帝国理工学院);MRC Clinical Science Center(英国医学研究委员会临床科学中心)
非线性最优控制问题通常用数值方法来解决,该方法需要系统的动力学知识,这可能难以推断,并且与迭代计算相关联的计算成本很大。我们提出了一种新的神经生物学启发的分层学习框架,强化学习最优控制,它在两个抽象层次上运行,并利用减少数量的控制器来解决非线性系统的未知动态连续状态和动作空间。我们的方法的灵感来自于两个抽象层次的研究:首先,在肢体协调人类行为的水平是由线性最优反馈控制理论解释。其次,在涉及学习符号级动作选择的认知任务中,人类使用无模型和基于模型的强化学习算法来学习此类问题。我们建议,结合这两个层次的抽象导致一个快速的非线性控制问题的全局解决方案,减少控制器的数量。我们的框架从朴素的经验中学习局部任务动态,并形成局部最优的无限时域线性二次调节器,产生连续的低级控制。顶级强化学习器使用控制器作为动作,并学习如何在状态空间中最好地组合它们,同时最大化长期奖励。单个最优控制目标函数通过提供关于每个所选控制器的期望的训练信号来驱动高级符号学习。我们表明,少量的局部最优线性控制器能够解决全局非线性控制问题,未知的动态时,结合强化学习在这个层次框架。我们的算法竞争的计算成本和解决方案的质量与先进的控制算法,我们说明这与基准问题的解决方案。
2019-03-07 cs.LG stat.ML
Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Yale University(耶鲁大学);Northwestern University(西北大学)
我们研究了具有轨迹偏好的人在回路强化学习(RL),其中代理只从人类监督者那里接收轨迹对的偏好,而不是在每一步接收数字奖励。智能体的目标是学习人类监督者最喜欢的最优策略。尽管经验上的成功,基于偏好的强化学习(PbRL)的理论理解仅限于表格的情况下。在本文中,我们提出了第一个乐观的基于模型的算法PbRL与一般函数近似,估计模型使用值为目标的回归和计算的探索性政策,通过解决一个乐观的规划问题。我们的算法实现了遗憾的$\tilde{O} (\operatorname{poly}(d H) \sqrt{K} )$,其中$d$是过渡和偏好模型的复杂性度量取决于Eluder维数和日志覆盖数,$H$是规划视野,$K$是情节的数量,和$\tilde O(\cdot)$省略对数项。我们的下限表明,我们的算法是接近最优的,当专门的线性设置。此外,我们扩展了PbRL问题,制定了一个新的问题,称为RL与$n$明智的比较,并提供了第一个样本有效的算法,这个新的设置。据我们所知,这是PbRL与(一般)函数近似的第一个理论结果。
2022-05-24 cs.LG
Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space
Stanford University(斯坦福大学)
本文概述了一个框架的自治控制的CRM(客户关系管理)系统。首先,它探讨了如何修改版本的被广泛接受的最近频率货币价值系统的指标可以用来定义客户端或捐助者的状态空间。其次,它描述了一个程序,以确定最佳的直接营销行动在离散和连续的行动空间为给定的个人,根据他在状态空间中的位置。该过程涉及使用无模型Q学习来训练深度神经网络,该深度神经网络将客户在状态空间中的位置与可能的营销行为相关联的奖励相关联。客户端状态空间上的估计价值函数可以被解释为客户生命周期价值,并且因此允许给定客户端的CLV的快速插件估计。实验结果的基础上,KDD杯1998年的邮件数据集的捐赠募捐。
2015-04-08 cs.LG
The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Virginia(弗吉尼亚大学);Scaled Foundations
本文将Borkar-Meyn稳定性定理从鞅差分噪声推广到马尔可夫噪声,显著提升其在离策略强化学习中的适用性,核心在于利用强大数定律和重对数律证明若干函数渐近变化率递减。
2025-11-05 cs.AI cs.LG
Approximation of Convex Envelope Using Reinforcement Learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文基于Oberman的随机控制表述,提出一种使用受控最优停止Q-learning变体的强化学习方案来逼近非凸函数的凸包络,并在标准测试问题上取得极具前景的结果。
2023-11-24 cs.LG cs.SY eess.SY
Reinforcement Learning: Prediction, Control and Value Function Approximation
Columbia University(哥伦比亚大学);Point Zero One Technology(Point Zero One Technology(Point Zero One科技公司))
随着计算机功能的不断增强和机器学习、人工智能等自学习方法的快速发展,构建自动金融交易系统(FTFs)成为一个越来越有吸引力的研究课题。开发这种交易算法的直观方法是使用强化学习(RL)算法,它不需要模型构建。在本文中,我们深入研究了RL算法,详细说明了奖励函数、动作和策略函数的定义,并介绍了可应用于FTF的算法。
2019-08-28 cs.LG q-fin.TR
On the Convergence of Reinforcement Learning in Nonlinear Continuous State Space Problems
Texas A&M University(德克萨斯农工大学)
研究了非线性随机动力系统的强化学习问题。我们表明,在RL设置,有一个固有的“方差的诅咒”除了贝尔曼的臭名昭著的“Curse of explosionality”,特别是,我们表明,在解决方案中的方差增长的近似的顺序阶乘指数。一个基本的后果是,这排除了搜索RL中的“本地”反馈解决方案以外的任何东西,以控制爆炸性的方差增长,从而确保准确性。我们进一步证明了确定性最优控制具有扰动结构,高阶项不影响低阶项的计算,这可以在RL中利用以得到精确的局部解.
2021-07-28 cs.LG cs.SY eess.SY
Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient
UC Santa Barbara(加州大学圣巴巴拉分校);Princeton(普林斯顿大学)
离线强化学习是一种利用历史数据优化序列决策策略的学习方法,在实际应用中得到了广泛的应用。最先进的算法通常利用强大的函数逼近器(例如神经网络)来减轻样本复杂性障碍,以获得更好的经验性能。尽管取得了成功,但仍然缺乏对函数近似的统计复杂性的更系统的理解。为了弥合这一差距,我们采取了一个步骤,考虑离线强化学习与可微函数类近似(DFA)。这个函数类自然包含了广泛的非线性/非凸结构的模型。最重要的是,我们通过分析悲观拟合Q学习(PFQL)算法,证明了具有可微函数近似的离线RL是有效的,我们的结果为理解依赖于拟合Q迭代风格设计的各种实用算法提供了理论基础。此外,我们进一步提高了我们的保证与更严格的实例相关的特征。我们希望我们的工作能引起人们对可微函数逼近的强化学习研究的兴趣。
2022-11-23 cs.AI cs.LG stat.ML
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology(佐治亚理工学院)
受强化学习和联邦学习的广泛应用的启发,我们研究了代理网络上的局部随机逼近,其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时,在每个代理的数据是从马尔可夫过程中产生的,因此它们是依赖的。特别是,我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明,这些比率是在一个独立的数据下的对数因子。然后,我们说明了这些结果的应用程序不同的有趣的问题,多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
Inverse Reinforcement Learning in Large State Spaces via Function Approximation
California Institute of Technology(加州理工学院)
提出了一种在大规模高维状态空间中进行逆强化学习的新方法。为了避免在奖励学习中解决计算昂贵的强化学习问题,我们提出了一种函数逼近方法,以确保Bellman最优方程始终成立,然后估计一个函数,以最大化所观察到的运动的可能性。该方法的时间复杂度与动作集的基数成线性关系,因此可以有效地处理大的状态空间。我们在模拟环境中测试所提出的方法,并表明它是更准确的比现有的方法和显着更好的可扩展性。我们还表明,所提出的方法可以扩展到高维状态空间的许多现有的方法。然后,我们将该方法应用于评估康复刺激对脊髓损伤患者的影响,根据观察到的患者运动。
2017-08-13 cs.LG cs.RO
An Online Prediction Algorithm for Reinforcement Learning with Linear Function Approximation using Cross Entropy Method
Indian Institute of Science(印度科学学院)
在本文中,我们提供了两个新的稳定的在线算法的预测问题的强化学习,\emph{i.e.},估计的价值函数的无模型马尔可夫奖励过程使用线性函数逼近架构和内存和计算成本的规模平方的特征集。该算法采用多时标随机近似变量的非常流行的交叉熵(CE)优化方法,这是一个基于模型的搜索方法,找到一个真正的价值函数的全局最优。使用ODE方法的算法的收敛性的证明。我们补充我们的理论结果与实验比较。该算法在许多RL基准问题上取得了良好的性能,在计算效率,准确性和稳定性方面相当一致。
2018-06-15 cs.LG stat.ML
Fast and Data Efficient Reinforcement Learning from Pixels via Non-Parametric Value Approximation
University of New South Wales(新南威尔士大学);University of Amsterdam(阿姆斯特丹大学)
我们提出了非参数近似的轨迹间返回(NAIT),一个强化学习算法的离散动作,基于像素的环境,是高度的样本和计算效率。NAIT是一种惰性学习方法,其更新相当于情节完成时的情节蒙特卡洛,但它允许在情节正在进行时稳定地纳入奖励。我们使用一个固定的域不可知表示,简单的基于距离的探索和基于邻近图的查找,以促进非常快的执行。我们在ATARI 100k的26和57游戏变体上对NAIT进行了经验评估,尽管它很简单,但它在在线设置中实现了具有竞争力的性能,在墙时间内加速超过100倍。
2022-03-07 cs.AI cs.LG
Gradient Q$(σ, λ)$: A Unified Algorithm with Function Approximation for Reinforcement Learning
Zhejiang University(浙江大学)
全采样(例如,Q学习)和纯期望(例如,期望Sarsa)算法是强化学习中高效且常用的技术。Q $(σ,λ)$是第一个通过抽样度$σ$将它们与资格迹统一起来的方法。然而,它仅限于表格的情况下,对于大规模的学习,Q $(σ,λ)$太昂贵,需要大量的表来准确地存储价值函数。为了解决上述问题,我们提出了一个GQ $(σ,λ)$,它扩展了表Q $(σ,λ)$与线性函数逼近。我们证明了GQ $(σ,λ)$的收敛性。在一些标准域上的实验结果表明,全抽样和纯期望相结合的GQ $(σ,λ)$比全抽样和纯期望方法具有更好的性能。
2019-09-06 cs.LG stat.ML
Variance-Adaptive Optimal Algorithm for Reinforcement Learning with Multinomial Logit Function Approximation
Chung-Ang University(Chung-Ang 大学);Seoul National University(首尔国立大学);Columbia University(哥伦比亚大学)
针对多项逻辑函数逼近的强化学习,提出一种计算高效的方差自适应算法,实现了实例级最优遗憾界,并通过实验验证其优于传统方法。
2026-05-27 cs.LG stat.ML
Control of nonlinear, complex and black-boxed greenhouse system with reinforcement learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Kyungbuk National University(庆北国立大学)
现代控制理论如系统工程方法试图通过揭示组件之间的因果关系或相关关系来解决非线性系统问题;大多数这些方法都专注于对复杂建模的白盒系统的控制。我们提出了一个应用行动者-批评者强化学习方法来控制一个非线性的,复杂的黑箱系统。我们在人工温室环境模拟器上演示了这种方法,所有的控制输入都有一些副作用,所以人类无法很容易地找出如何控制这个系统。我们的方法成功地维持了至少比PID和深度Q学习长20倍的环境。
2019-07-30 cs.AI cs.LG cs.SY
Towards Differentially Private Reinforcement Learning with General Function Approximation
Wayne State University(韦恩州立大学)
本文提出首个针对差分隐私在线强化学习与通用函数逼近的理论保证,结合批量策略更新与指数机制,证明在通用函数逼近下,模型自由设置的后悔与线性情况一致,达到O~(K^{3/5}),并揭示线性函数逼近隐私RL结果中的根本差距。
2026-05-07 cs.AI cs.LG
Stochastic Reinforcement Learning with Stability Guarantees for Control of Unknown Nonlinear Systems
University of Waterloo(滑铁卢大学)
针对未知非线性高维系统的传统强化学习镇定方法易出现平衡点振荡的问题,本文提出一种将学习到的增益矩阵整合进神经策略的强化学习算法,在仿真中优于SAC、PPO等算法,还提供了可行性与收敛性理论分析并验证了渐近稳定性。
2024-09-12 cs.LG cs.SY eess.SY
Uniform-PAC Bounds for Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles(加州大学洛杉矶分校)
研究了线性函数逼近的强化学习(RL)。现有的算法只具有高概率后悔和/或可能近似正确(PAC)样本复杂度保证,不能保证收敛到最优策略。为了克服现有算法的局限性,本文提出了一种新的算法FLUTE,该算法具有一致PAC收敛性,并以较高的概率收敛到最优策略。一致PAC保证是文献中强化学习最强的可能保证,它可以直接隐含PAC和高概率后悔界,使我们的算法优于所有现有的线性函数逼近算法。该算法的核心是一种新的极小极大价值函数估计器和一种从历史观测值中选择训练样本的多级划分方案。这两种技术都是新的,具有独立的意义。
2021-12-31 cs.LG math.OC stat.ML
Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation
Massachusetts Institute of Technology(麻省理工学院)
强化学习在合作多智能体设置最近取得了显着进展,在广告,动态治疗制度,分布式控制和联邦学习的合作估计的应用。在本文中,我们讨论的问题,合作多代理RL函数逼近,其中一组代理相互通信,共同解决一个情节MDP。我们证明,通过仔细的消息传递和合作的价值迭代,它是可以实现接近最优的无遗憾学习,即使是一个固定的恒定的通信预算。接下来,我们证明,即使在异构的合作设置,它是可能的,以实现帕累托最优的无遗憾学习有限的沟通。我们的工作概括了多智能体上下文和多武装土匪文学的几个想法,以MDPs和强化学习。
2021-03-08 cs.LG cs.MA stat.ML
Reinforcement Learning with Function Approximation for Non-Markov Processes
Florida State University(佛罗里达州立大学)
本文研究了非马尔可夫过程中使用线性函数近似的强化学习方法,证明了在特定条件下算法的收敛性,并应用于部分观测马尔可夫决策过程。
2026-01-01 cs.LG math.OC
Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们研究了具有线性函数近似和逆向变化代价函数的强化学习,这种设置大多被认为是在完全信息反馈或探索性条件等简化假设下进行的。我们提出了一种计算效率高的策略优化算法,用于具有挑战性的未知动态和强盗反馈的一般设置,在计算探索奖金的辅助MDP中结合了镜像下降和最小二乘策略评估。我们的算法获得了$\widetilde O(K^{6/7})$遗憾界,在这种情况下明显优于现有技术的$\widetilde O (K^{14/15})$。此外,我们提出了一个版本的相同的算法的假设下,环境的模拟器可供学习者(但否则没有探索性的假设),并证明它获得了国家的最先进的遗憾$\widetilde O (K^{2/3})$。
2023-01-30 cs.LG stat.ML
Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension
Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angles(加利福尼亚大学洛杉矶分校)
价值函数逼近在强化学习(RL)中已经取得了惊人的经验成功。然而,尽管最近在开发具有线性函数逼近的RL理论方面取得了一些进展,但对一般函数逼近方案的理解在很大程度上仍然缺失。本文建立了一个具有一般价值函数逼近的可证明有效的RL算法。我们证明了,如果价值函数允许函数类$\mathcal{F}$的近似,则我们的算法实现了$\widetilde{O}(\mathrm{poly}(dH)\sqrt{T})$的遗憾界,其中$d$是$\mathcal{F}$的复杂性度量,取决于逃避维度[Russo和Van Roy,2013]和日志覆盖数,$H$是规划范围,$T$是与环境的交互次数。我们的理论概括了RL的线性价值函数近似的最新进展,并没有明确的假设上的环境模型。此外,我们的算法是无模型的,并提供了一个框架,以证明在实践中使用的算法的有效性。
2020-06-19 cs.LG math.OC stat.ML
Finite-Sample Analysis of Nonlinear Stochastic Approximation with Applications in Reinforcement Learning
Virginia Tech(弗吉尼亚理工学院);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
受强化学习(RL)应用的启发,研究了马尔可夫噪声下的一种非线性随机逼近(SA)算法,并建立了其在不同步长下的有限样本收敛界.具体来说,我们表明,当使用恒定步长(即,$α_k\equiv α$),该算法实现指数快速收敛到期望的极限点周围的邻域(具有半径$O(α\log(1/α))$)。当使用具有适当衰减率的递减步长时,该算法以速率$O(\log(k)/k)$收敛。我们的证明是基于李雅普诺夫漂移参数,并处理马尔可夫噪声,我们利用快速混合的基础马尔可夫链。为了证明我们的理论结果的一般性马尔可夫SA,我们使用它来获得流行的$Q$ -学习与线性函数逼近算法的有限样本界,在行为策略的条件下。重要的是,我们不需要假设样本是独立同分布的,并且在算法中不需要人工投影步骤来保持迭代的有界性。数值模拟证实了我们的理论结果。
2022-01-26 cs.LG math.OC
Adaptive Event-triggered Reinforcement Learning Control for Complex Nonlinear Systems
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);University of Cincinnati(辛辛那提大学)
本文提出一种自适应事件触发强化学习控制方法,通过联合学习控制与通信策略并利用累积奖励增广状态空间,在无需显式学习触发条件的情况下实现高效触发判定,适用于具有复杂交互的连续时间非线性系统。
2024-09-29 cs.AI cs.LG cs.SY