Tractable Reinforcement Learning of Signal Temporal Logic Objectives
University of Minnesota(明尼苏达大学)
信号时序逻辑(STL)是一种表达语言,用于指定有时限的真实世界机器人任务和安全规范。最近,人们对通过强化学习(RL)学习最优策略以满足STL规范产生了兴趣。学习满足STL规范通常需要足够长的状态历史来计算奖励和下一个动作。对历史的需要导致学习问题的指数状态空间增长。因此,对于大多数现实世界的应用来说,学习问题在计算上变得难以处理。在本文中,我们提出了一个紧凑的方法来捕捉状态历史的一个新的增广状态空间表示。提出了一个近似的目标(最大化满意概率),并解决了在新的增广状态空间。我们显示的近似解决方案的性能范围,并通过模拟与现有技术的解决方案进行比较。
2020-02-17 cs.AI cs.LG cs.RO
TrailBlazer: History-Guided Reinforcement Learning for Black-Box LLM Jailbreaking
Daegu Gyeongbuk Institute of Science and Technology(大邱庆 bun 科学技术研究院);Harvard University(哈佛大学);University of Southern California(南加州大学)
TrailBlazer通过历史感知强化学习提升黑盒大语言模型劫持效率,实现更高效的攻击策略和更高的查询效率。
2026-02-06 cs.AI cs.CL cs.CR
A Framework for History-Aware Hyperparameter Optimisation in Reinforcement Learning
强化学习(RL)系统依赖于一组影响系统性能的初始条件(超参数)。然而,定义一个好的超参数选择是一个具有挑战性的问题。超参数调优通常需要手动或自动搜索以找到最佳值。尽管如此,一个值得注意的限制是复杂模型的算法评估成本高,使得调优过程在计算上昂贵且耗时。在本文中,我们提出了一个框架的基础上集成复杂事件处理和时态模型,以减轻这些权衡。通过这种组合,可以基于数据流监控有效且不显眼地获得有关运行的RL系统的见解,并创建抽象表示,允许对RL系统的历史行为进行推理。所获得的知识被用来提供反馈给RL系统,以优化其超参数,同时有效地利用并行资源。我们引入了一种新的历史感知epsilon贪婪逻辑用于超参数优化,而不是使用在整个训练中保持固定的静态超参数,而是基于对代理在单个代理生命周期中的时间窗口的性能分析在运行时调整超参数。我们在5G移动通信案例研究中测试了所提出的方法,该案例研究使用DQN(RL的一种变体)进行决策。我们的实验证明了使用历史的超参数调整对训练稳定性和奖励值的影响。令人鼓舞的结果表明,所提出的历史感知框架显着提高性能相比,传统的超参数调整方法。
2023-03-09 cs.AI cs.LG cs.SE
Continuous Delayed-Memory Stochastic Gradient Descent and Continuous-Time Reinforcement Learning from History of Astrophysical Time Series Studies
本文提出连续延迟记忆随机梯度下降,在二维景观上比普通SGD探索更广、收敛更精确,并设计无需求解HJB方程的连续时间强化学习结构,其最优性条件恢复吉布斯策略。
2026-09-23 cs.LG stat.AP
On learning history based policies for controlling Markov decision processes
McGill University(麦吉尔大学);Mila(米拉研究所)
强化学习(RL)的民间传说认为,基于历史的函数逼近方法,如递归神经网络或基于历史的状态抽象,比它们的无记忆同行表现得更好,因为马尔可夫决策过程(MDP)中的函数逼近可以被视为诱导部分可观察MDP。然而,这种基于历史的算法很少有正式的分析,因为大多数现有的框架只专注于无记忆功能。在本文中,我们介绍了一个理论框架,学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外,我们使用这个框架来设计一个实用的RL算法,我们数值评估其有效性的一组连续控制任务。
2022-11-06 cs.LG cs.SY eess.SY
Reinforcement Learning for Economic Policy: A New Frontier?
University of Edinburgh(爱丁堡大学)
基于代理的计算经济学是一个具有丰富学术历史的领域,但它一直在努力进入主流政策设计工具箱,受到与代表复杂和动态现实相关的挑战的困扰。强化学习(RL)领域也有着丰富的历史,最近已经成为几个指数发展的中心。现代RL实现已经能够达到前所未有的复杂程度,处理以前无法想象的复杂程度。本文综述了经济建模中经典的基于代理的技术的历史障碍,并考虑RL的最新发展是否可以克服其中任何一个。
2023-02-23 cs.AI cs.LG cs.MA
Demystifying the Paradox of Importance Sampling with an Estimated History-Dependent Behavior Policy in Off-Policy Evaluation
Hongyi Zhou(周洪毅);Josiah P. Hanna(哈尼安);Jin Zhu(朱锦);Ying Yang(杨莹);Chengchun Shi(石成春)
本文从理论上揭示了在离策略评估中,使用历史依赖的估计行为策略虽增加有限样本偏差,但能降低渐近方差,从而降低均方误差,并将此结论扩展至多种OPE估计量。
2025-05-28 cs.AI cs.LG stat.ML
Reinforcement Fine-Tuning for History-Aware Dense Retriever in RAG
College of Computer Science and Technology, Zhejiang University, Hangzhou, China(浙江大学计算机科学与技术学院);Ningbo Global Innovation Center, Zhejiang University, Ningbo, China(浙江大学宁波全球创新中心);Department of Computer Science, National University of Singapore, Singapore(新加坡国立大学计算机科学系)
本文提出通过强化学习优化RAG中的检索器,通过引入随机采样和历史状态缓解状态别名问题,提升检索性能。
2026-02-03 cs.LG
Downstream-Aware Context Selection for Online In-Context Reinforcement Learning
提出有界历史上下文管理框架,预测移除历史交互的下游效应,动态决定保留历史量,在驾驶和ScienceWorld任务中减少令牌使用而不损性能。
2026-09-29 cs.LG
Routing Dense Layouts with History-Aware Offline Reinforcement Learning using LSTM
New York University(纽约大学)
针对高密度布局布线收敛难的问题,提出一种历史感知的离线强化学习策略,利用LSTM和额外特征预测迭代成本权重,平均减少92%设计规则违规并降低10%运行时间。
2026-09-09 cs.AR cs.LG
Design of experiments for the calibration of history-dependent models via deep reinforcement learning and an enhanced Kalman filter
Sandia National Laboratories(桑迪亚国家实验室);Columbia University(哥伦比亚大学)
获得实验数据的成本很高,这使得校准复杂的模型变得困难。对于许多模型,在有限的实验预算下产生最佳校准的实验设计并不明显。本文介绍了一种用于实验设计的深度强化学习(RL)算法,该算法最大化通过卡尔曼滤波器(KF)获得的Kullback-Leibler(KL)散度测量的信息增益。这种组合使实验设计能够快速在线实验,而传统方法成本太高。我们制定了可能的配置实验作为一个决策树和马尔可夫决策过程(MDP),其中有限的选择行动是在每个增量步骤。一旦采取行动,各种测量将用于更新实验的状态。这个新的数据导致通过KF的参数的贝叶斯更新,其用于增强状态表示。与Nash-Sutcliffe效率(NSE)指数相比,它需要额外的采样来测试前瞻性预测的假设,KF可以通过直接估计通过额外行动获得的新数据的值来降低实验成本。在这项工作中,我们的应用程序集中在材料的机械测试。复杂的,历史相关的模型的数值实验被用来验证的实施和基准的RL设计的实验的性能。
2022-09-27 cs.LG
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学)
现实世界的强化学习任务通常涉及某种形式的部分可观察性,其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆,其中代理可以访问多个过去的观察,以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而,强化学习中的递归神经网络通常是脆弱的,难以训练,易受灾难性遗忘的影响,有时会完全失败。在这项工作中,我们提出了深度Transformer Q-网络(DTQN),一种新的架构,利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的,我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明,Transformer可以解决部分可观察的任务比以前的递归方法更快,更稳定。
2022-11-10 cs.AI cs.LG
Exact Reduction of Huge Action Spaces in General Reinforcement Learning
Research School of Computer Science, ANU(澳大利亚国立大学计算机科学研究学院);Google DeepMind(谷歌DeepMind)
强化学习(RL)框架形式化了交互学习的概念。许多现实世界的问题都有很大的状态空间和/或动作空间,比如围棋、星际争霸、蛋白质折叠和机器人技术,或者是非马尔可夫的,这给RL算法带来了巨大的挑战。在这项工作中,我们解决了大的行动空间的问题,通过序列化的行动,这可以减少行动空间的大小显着,甚至下降到两个行动的代价增加规划视野。我们提供了明确和准确的建设和等价性证明的所有数量的利益为任意的历史为基础的过程。在MDP的情况下,这可以帮助RL算法进行引导。在这项工作中,我们将展示如何在非MDP的情况下,动作二进制化可以显着提高极端状态聚合(ESA)的界限。ESA允许铸造任何(非MDP,非遍历,基于历史的)RL问题到一个固定大小的非马尔可夫状态空间的帮助下,代理马尔可夫过程。从好的方面来看,ESA享有与马尔可夫模型类似的最优性保证。但缺点是聚合状态空间的大小与动作空间的大小成指数关系。在这项工作中,我们修补这个问题的二进制化的动作空间。我们提供了一个上界的状态数的二进制ESA是对数的原始动作空间的大小,双指数的改善。
2020-12-18 cs.AI cs.LG cs.SY
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近,最初提出的行动独立的基线(萨顿等。2000)。
2017-06-20 cs.AI cs.LG
On the Curses of Future and History in Future-dependent Value Functions for Off-policy Evaluation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对部分可观测环境中非策略评估的未来依赖值函数方法,揭示其有界性量可能随长度指数增长的问题,并提出结果覆盖与信念覆盖等新假设以获得多项式界限,同时发现具有互补性质的新算法。
2024-10-03 cs.AI cs.LG stat.ML
Approximate information state for approximate planning and reinforcement learning in partially observed systems
Adobe Systems India Private Limited(Adobe Systems印度私人有限公司);McGill University(麦吉尔大学)
我们提出了一个理论框架的近似规划和学习部分观测系统。我们的框架是基于信息状态的基本概念。我们提供了信息状态的两个等价定义-- i)足以计算预期回报并预测其下一个值的历史函数; ii)等价地,可以递归更新并足以计算预期回报并预测下一个观察的历史函数。信息状态总是导致动态规划分解。我们的主要结果是表明,如果一个函数的历史(称为近似信息状态(AIS))近似满足的信息状态的性质,那么有一个相应的近似动态规划。我们表明,使用此计算的政策是近似最优的有界损失的最优性。我们表明,在文献中的状态,观察和动作空间的几个近似可以被视为AIS的实例。在某些情况下,我们得到更严格的界限。AIS的一个显著特点是它可以从数据中学习。提出了基于AIS的多时间尺度策略梯度算法。详细的数值实验与低,中,高维环境。
2021-09-03 cs.LG cs.SY eess.SY
Recurrent Reinforcement Learning: A Hybrid Approach
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);University of Washington - Seattle(华盛顿大学西雅图分校)
本文提出一种混合模型,结合监督学习和强化学习,用于部分可观测任务的状态表示学习,在极少领域知识下有效。
2015-11-19 cs.AI cs.LG cs.SY
Robust Recurrent Reinforcement Learning under Evolving Hidden Disturbances with Application to Rover Wheel Slip
The School of Aerospace, Transport and Manufacturing(航空航天、运输与制造学院)
本文提出三种新型算法,通过在LSTM网络中整合动作轨迹信息,提升部分可观测马尔可夫决策过程中的强化学习效率与性能。
2026-09-16 cs.LG
Statistical Tractability of Off-policy Evaluation of History-dependent Policies in POMDPs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了POMDPs中依赖历史策略的离策略评估问题,证明了无模型方法在多种设定下的信息论困难性,并提出一种简单的基于模型的算法来规避部分困难,证明了无模型与基于模型方法间的可证明分离。
2025-03-03 cs.AI cs.LG
Cooperative-Competitive Reinforcement Learning with History-Dependent Rewards
University of Georgia(佐治亚大学);University of Southern Mississippi(南密西西比大学)
考虑一个典型的组织,其工人代理寻求集体合作以实现整体改善。然而,每个代理人同时寻求采取行动,以确保比同事更大的年度薪酬增量,该增量通常来自{ \em固定}池。因此,组织中的个体代理人必须合作和竞争。许多组织的另一个特点是,工人获得奖金,这往往是前一年总利润的一小部分。因此,代理人获得的奖励也部分取决于历史表现。在这种情况下,个体代理人应如何决定采取行动?近年来,混合合作竞争环境的一些方法已经提出,但这些问题域的奖励函数不依赖于当前的状态和行动的挑战。可以使用最近的使用长短期记忆(LSTM)的深度多智能体强化学习(MARL)方法,但是这些方法对交互采用联合视角,或者需要在智能体之间明确交换信息以促进合作,这在竞争下可能是不可能的。在本文中,我们首先表明,代理的决策问题可以建模为一个互动的部分可观察马尔可夫决策过程(I-POMDP),捕捉动态的历史相关的奖励。我们提出了一个互动的优势演员-评论家的方法(IA 2C $^+$),它结合了独立的优势演员-评论家网络的信念过滤器,保持信念分布超过其他代理的模型。实证结果表明,IA 2C $^+$比其他几个基线(包括使用LSTM的基线)更快、更鲁棒地学习最优策略,即使属性模型不正确。
2020-10-15 cs.LG
Learning Symbolic Representations for Reinforcement Learning of Non-Markovian Behavior
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所)
许多现实世界的强化学习(RL)问题需要学习复杂的、时间上扩展的行为,这些行为可能只在行为完成时才接收奖励信号。如果值得奖励的行为是已知的,它可以用非马尔可夫奖励函数来指定--一个依赖于状态-动作历史的方面,而不仅仅是当前状态和动作的函数。这样的奖励函数产生稀疏的奖励,需要过多的经验来找到一个策略,捕捉值得奖励的行为模式。最近的工作利用知识表示(KR)提供了一个象征性的抽象方面的状态,总结奖励相关的属性的状态-动作的历史和支持学习的马尔可夫分解的问题在KR的自动机。提供这样的分解已经被证明可以极大地提高学习率,特别是当与利用自动机结构的算法相结合时。然而,这样的技术依赖于KR的先验知识。在这项工作中,我们将探讨如何自动发现有用的状态抽象,支持学习自动机的状态动作的历史。其结果是一个端到端的算法,可以学习最佳策略,与简单的非马尔可夫域上的最先进的RL相比,环境样本显著减少。
2023-01-08 cs.AI cs.LG
Finding Optimal Trading History in Reinforcement Learning for Stock Market Trading
University of North Texas(北得克萨斯大学);Ajman University(阿治曼大学)
该研究将金融DRL模型的时间窗口设为CNN策略超参数,通过迭代扩展观测窗口、对比按公司/类别排列特征的两种设置,发现特征按公司分组时更长时间窗口性能更优,且模型表现优于Global X Guru等机构产品。
2025-02-19 cs.AI cs.LG
Online Observer-Based Inverse Reinforcement Learning
Oklahoma State University(俄克拉荷马州立大学)
该研究将线性系统的输出反馈逆强化学习问题转化为状态估计问题,提出两种基于观测器的IRL技术,含带历史栈的新型观测器,给出收敛与鲁棒性理论保证,并通过仿真验证其在不同测量条件下的性能。
2023-07-17 cs.LG cs.SY eess.SY
The Partially Observable History Process
University of Alberta(阿尔伯塔大学);Amii(Amii(阿尔伯塔机器智能研究所));Brown University(布朗大学)
我们介绍了部分可观察的历史过程(POHP)形式主义的强化学习。POHP以单个代理的行为和观察为中心,并抽象出其他参与者的存在,而不将其简化为随机过程。我们的形式主义提供了一个简化的接口,设计算法,无视分类为唯一的单一或多代理,并开发理论,适用于这些领域。我们展示了POHP形式主义如何统一传统模型,包括马尔可夫决策过程,马尔可夫博弈,扩展形式博弈及其部分可观察扩展,而不引入繁琐的技术机器或违反强化学习的哲学基础。我们说明了我们的形式主义的实用性,通过简洁地探索可观察到的顺序合理性,检查一般立即后悔最小化的一些理论性质,并推广的广泛形式的后悔最小化(EFR)算法。
2022-02-24 cs.AI cs.GT
Interpretable experiential learning based on state history and global feedback
The Artificial Intelligence Research Center, Novosibirsk State University, Russia(新西伯利亚国立大学人工智能研究中心)
本文提出基于状态历史和全局反馈的可解释经验学习模型,通过状态集间的转移图学习行为模型,适用于资源受限环境中的强化学习问题。
2026-10-19 cs.AI cs.LG
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University(斯坦福大学)
为了在不确定性下做出好的决策,智能体必须从观察中学习。要做到这一点,两个最常见的框架是上下文强盗和马尔可夫决策过程(MDP)。在本文中,我们研究是否存在算法的更一般的框架(MDP),自动提供最佳的性能界限的具体问题在手,无需用户干预,无需修改算法。特别是,它被发现,最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语,如果部署在一个表格上下文强盗问题,尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
TRACE-CASH: Trial-History-Conditioned Reinforcement Learning for Adaptive Configuration Exploration in Time-Series CASH
本研究针对时间序列CASH的复杂搜索问题,提出TRACE-CASH方法,通过分组演员-评论家等技术优化配置探索,在41个任务变体上的MASE、WQL等指标表现最优,具备竞争力。
2026-08-18 cs.LG
End-to-end LSTM-based dialog control optimized with supervised and reinforcement learning
Microsoft Research(微软研究院)
本文提出了一个面向任务的对话系统的端到端学习模型。该模型的主要组件是一个递归神经网络(LSTM),它将原始对话历史直接映射到系统操作的分布。LSTM自动推断对话历史的表示,这减轻了系统开发人员对对话状态的大量手动功能工程。此外,开发人员可以提供表达业务规则的软件,并提供对编程API的访问,使LSTM能够代表用户在现实世界中采取行动。LSTM可以使用监督学习(SL)进行优化,其中领域专家提供LSTM应该模仿的示例对话框;或者使用强化学习(RL),其中系统通过直接与最终用户交互来改进。实验表明,SL和RL是互补的:SL可以从少量的训练对话框中获得合理的初始策略;使用SL训练的策略启动RL优化可以大大加快RL的学习率。
2016-06-03 cs.AI cs.CL cs.LG
Designing Time Series Experiments in A/B Testing with Transformer Reinforcement Learning
School of Mathematical Sciences(数学科学学院);Zhejiang University(浙江大学);Yunnan Key Laboratory of Statistical Modeling and Data Analysis(云南统计建模与数据分析重点实验室);Yunnan University(云南大学);School of Statistics(统计学系);East China Normal University(华东师范大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);London School of Economics and Political Science(伦敦政治经济学院)
本文提出基于Transformer的强化学习方法,用于在A/B测试中设计时间序列实验,通过充分利用历史记录和直接优化均方误差,提升实验设计效果。
2026-02-02 cs.LG stat.ME stat.ML
Robust Reinforcement Learning under model misspecification
Tsinghua University(清华大学)
如今,强化学习在广泛的任务中取得了卓越的性能。然而,一些尚未解决的问题限制了它在实际控制中的应用。其中之一是模型错误指定,即在具有不同过渡动态的环境中训练和部署代理的情况。我们提出了一个新的框架,利用历史轨迹和部分可观测马尔可夫决策过程模型来处理这个困境。此外,我们还提出了一种有效的对抗攻击方法来辅助鲁棒训练。我们在四个健身房领域的实验验证了我们的框架的有效性。
2021-03-29 cs.AI cs.LG
Reinforcement Learning under External Influence: Guarantees, Algorithms, and Sample Complexity
Department of Computer Science and Automation(计算机科学与自动化系);Indian Institute of Science(印度科学研究所)
本文研究外部事件影响下的强化学习,提出基于有限事件历史的策略迭代算法,并给出策略改进保证及样本复杂度分析,实验验证了其有效性。
2026-09-21 cs.AI cs.LG
Cascaded Gaps: Towards Gap-Dependent Regret for Risk-Sensitive Reinforcement Learning
Bloomberg(彭博社);Yale University(耶鲁大学)
本文研究了基于熵风险测度的风险敏感强化学习中的间隙依赖后悔保证问题。我们提出了一个新的次优差距的定义,我们称之为级联的差距,我们讨论他们的关键组成部分,适应问题的底层结构。基于级联间隙,我们推导了两个无模型算法在情节马尔可夫决策过程下的非渐近和对数遗憾界。我们表明,在适当的设置,这些界限功能指数改善现有的是独立的差距。我们还证明了间隙依赖的下限,这证明了近最优的上限。
2022-03-07 cs.LG math.OC stat.ML
Does Scaling Reinforcement Learning Really Require More Training?
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
本研究提出策略空间扩展方法SURGE,利用强化学习历史中的检查点组合生成更强策略,无需额外训练或推理计算,在数学和编码基准上超越原生最优检查点。
2026-10-07 cs.AI cs.LG
PID-Inspired Inductive Biases for Deep Reinforcement Learning in Partially Observable Control Tasks
Carnegie Mellon University(卡内基梅隆大学)
本文受PID控制器启发,提出两种历史编码架构,通过求和与差分累积观测信息,在部分可观测控制任务中提升策略鲁棒性和性能,运动控制任务平均性能达先前最优方法的1.7倍。
2023-10-25 cs.AI cs.LG
Reinforcement Learning with Pairwise Preferences in Long-Term Decision Problems
School of Computer Science, McGill University, Montreal, Quebec, Canada(麦吉尔大学计算机科学学院);Mila - Quebec AI Institute, Montreal, Quebec, Canada(魁北克人工智能研究所);Department of Electrical Engineering, Stanford University, Stanford, California, USA(斯坦福大学电气工程系)
针对长期决策问题中基于成对偏好的强化学习效率低且缺乏马尔可夫策略最优性保证的问题,提出马尔可夫决策竞赛模型,证明平稳马尔可夫策略最优性、求解复杂度为P,并给出亚线性收敛算法,在高维长期问题中显著提升学习效率。
2026-08-14 cs.AI cs.LG
Improving Sepsis Treatment Strategies by Combining Deep and Kernel-Based Reinforcement Learning
Harvard University(哈佛大学);Imperial College London(帝国理工学院);MIT(麻省理工学院)
脓毒症是ICU死亡的主要原因。这是具有挑战性的管理,因为个别患者对治疗的反应不同。因此,为个体患者量身定制治疗对于获得最佳结果至关重要。在本文中,我们通过应用专家混合框架来实现这一目标,以个性化脓毒症治疗。混合模型根据患者的当前病史选择性地在基于邻居(内核)和深度强化学习(DRL)专家之间交替。在一个大型回顾性队列中,这种基于混合的方法优于医生、仅内核和仅DRL专家。
2019-01-15 cs.AI cs.LG stat.ML
Instance-Dependent Confidence and Early Stopping for Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
强化学习(RL)的各种算法表现出显着的变化,其收敛速度作为问题结构的函数。这种问题相关的行为是不捕获的最坏情况下的分析,因此激发了越来越多的努力,在获得实例相关的保证和RL问题的实例优化算法。然而,这项研究主要是在理论的范围内进行的,为解释\textit{ex post}观察到的性能差异提供了保证。自然的下一步是将这些理论保证转化为实践中有用的指导方针。我们解决的问题,获得尖锐的实例相关的置信区域的政策评估问题和最佳值估计问题的MDP,访问实例最优算法。因此,我们提出了一个数据依赖停止规则的实例优化算法。建议的停止规则适应于特定实例的问题的难度,并允许提前终止的问题,有利的结构。
2022-01-21 cs.LG stat.ML
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments(富达投资资产管理人工智能卓越中心)
我们提出了一种简单实用的方法,将人类和人工智能结合起来,学习基金经理的最佳投资实践,并提供改进建议。我们的方法是基于逆强化学习(IRL)和RL的组合。首先,IRL组件根据基金经理的交易历史来学习他们的意图,并恢复他们的隐含奖励函数。在第二步,直接RL算法使用该奖励函数来优化资产分配决策。我们表明,我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Instance-Dependent Complexity of Contextual Bandits and Reinforcement Learning: A Disagreement-Based Perspective
Massachusetts Institute of Technology(麻省理工学院)
在经典的多臂强盗问题,实例相关的算法实现改善性能的“简单”的问题之间的差距最好的和第二最好的手臂。类似的保证可能的上下文强盗?虽然积极的结果是已知的某些特殊情况下,有没有一般的理论特征时,以及如何实例依赖的背景土匪的遗憾界可以实现丰富的,一般类的政策。我们引入了一个家庭的复杂性措施,这是充分和必要的,以获得实例相关的遗憾界。然后,我们引入新的甲骨文高效的算法,适应的差距,只要有可能,同时也达到了最坏的情况下的极大极小率。最后,我们提供了结构性的结果,绑在一起的一些复杂性的措施,以前提出的整个上下文土匪,强化学习,和主动学习,并阐明他们的作用,在确定最佳的实例相关的遗憾。在一个大规模的实证评估中,我们发现,我们的方法往往会为具有挑战性的勘探问题提供优越的结果。将我们的重点转向具有函数逼近的强化学习,我们开发了新的具有丰富观测值的强化学习的Oracle高效算法,以获得最佳的间隙相关样本复杂度。
2020-10-07 cs.LG math.ST stat.ML
Provable Reinforcement Learning with a Short-Term Memory
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
现实世界中的序列决策问题通常涉及部分可观测性,这要求智能体保持历史记忆,以便推断潜在状态,计划和做出好的决策。一般来说,处理部分可观测性是非常具有挑战性的,因为在学习部分可观测马尔可夫决策过程(POMDPs)时存在许多最坏情况的统计和计算障碍。出于在几个物理应用中的问题结构,以及一个常用的技术称为“帧堆叠”,本文提出了研究一个新的子类POMDPs,其潜在的状态可以解码的最新历史的一个短的长度$m$。我们建立了一组样本复杂性的上限和下限,用于在表格和丰富的观察设置(观察的数量是巨大的)中学习这类问题的接近最优的政策。特别是,在丰富的观测设置,我们开发了新的算法,使用一种新的“矩匹配”的方法与样本的复杂性,指数尺度与短长度$m$,而不是问题的地平线,是独立的观测数量。我们的研究结果表明,短期记忆足以在这些环境中进行强化学习。
2022-02-08 cs.AI cs.LG
Reducing Planning Complexity of General Reinforcement Learning with Non-Markovian Abstractions
Research School of Computer Science, ANU(澳大利亚国立大学计算机科学研究学院);Google DeepMind(谷歌DeepMind)
一般强化学习(GRL)领域从根本上阐述了顺序决策问题。相互作用的历史构成了系统的“基态”,它永远不会重复。一方面,这种通用性允许GRL对几乎所有可能的领域进行建模,例如Bandits、MDP、POMDP、PSR和基于历史的环境。另一方面,在一般情况下,在GRL的近最优策略是完整的历史,这不仅阻碍了学习,而且在GRL规划的功能。规划部分的通常方法是给代理一个底层过程的马尔可夫抽象。因此,它可以使用任何MDP规划算法来找到一个接近最优的策略。极端状态聚合(ESA)框架已经将这一想法扩展到非马尔可夫抽象,而不影响通过(代理)MDP进行规划的可能性。ESA的一个显著特征是,它证明了代理MDP所需状态数上的$O\left(\varepsilon^{-A} \cdot (1-γ)^{-2A}\right)$的上界(其中$A$是动作数,$γ$是折扣因子,$\varepsilon$是最优间隙),其保持\emph{all}域的\emph{uniformly}。虽然一个普遍的约束的可能性是相当显着的,我们表明,这个约束是非常松散的。我们提出了一种新的非MDP抽象,它允许一个更好的上限的$O\left(\varepsilon^{-1} \cdot (1-γ)^{-2} \cdot A \cdot 2^{A}\right)$。此外,我们表明,这个界限可以进一步提高到$O\left(\varepsilon^…
2021-12-26 cs.AI cs.LG
Theoretical Foundations of $\max$@$k$ Reinforcement Learning
Bocconi University(博科尼大学)
研究有限 horizon 强化学习中$\max$@$k$学习问题,指出其与标准预期回报最大化不同,证明马尔可夫策略不足,识别状态增强,表征策略性能差距,表明学习更难,给出高效算法实现最优样本复杂度率。
2026-07-21 cs.LG
Distributional Reinforcement Learning on Path-dependent Options
本文提出用分布强化学习估计路径依赖衍生品收益的完整分布,以支持风险感知定价和尾部风险估计,并在亚式期权上验证了方法有效性。
2025-07-16 cs.LG q-fin.MF
Beyond No Regret: Instance-Dependent PAC Reinforcement Learning
University of Washington(华盛顿大学);MIT(麻省理工学院)
强化学习的理论集中在两个基本问题上:实现低后悔,并确定$ε$ -最优策略。虽然一个简单的减少允许一个应用低遗憾算法来获得一个$ε$ -最优的政策,并实现最坏情况下的最优率,它是未知的低遗憾算法是否可以获得实例最优率的政策识别。我们发现这是不可能的--在实现低遗憾和确定$ε$最优策略的实例最优速率之间存在一个根本的权衡。我们的负面发现的动机,我们提出了一个新的措施,PAC表强化学习,明确占可达到的状态访问分布在底层MDP的实例相关的样本复杂性。然后,我们提出并分析了一种新的,基于规划的算法,达到这个样本的复杂性-产生的复杂性,规模与次优差距和“可达性”的状态。我们表明,我们的算法是近极大极小最优的,并在几个例子中,我们的实例相关的样本复杂性提供了显着的改善,在最坏情况下的界限。
2022-06-22 cs.LG stat.ML
Reinforcement Learning with Reward Machines for Sleep Control in Mobile Networks
Ericsson Research(爱立信研究院)
本文提出利用奖励机强化学习优化移动网络睡眠控制,在保障服务质量的前提下平衡即时节能与长期影响。
2026-04-08 cs.AI cs.LG
Distributionally Robust Model-Based Offline Reinforcement Learning with Near-Optimal Sample Complexity
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于模型的分布鲁棒离线强化学习算法,结合悲观原则与数据驱动惩罚,在表格RMDP上实现近最优样本复杂度,并证明其紧致性。
2023-12-28 cs.LG stat.ML
History Rhymes: Accelerating LLM Reinforcement Learning with RhymeRL
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学);ByteDance(字节跳动)
针对当前LLM强化学习系统GPU利用率不足的问题,提出RhymeRL,通过HistoSpec投机解码和HistoPipe两层调度利用历史rollout相似性,在真实环境中实现2.6倍性能提升且不损失准确性。
2025-08-26 cs.DC cs.LG
On Gap-dependent Bounds for Offline Reinforcement Learning
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文对离线强化学习中间隙依赖的样本复杂度进行了系统的研究。以前的工作表明,当最优策略和行为策略之间的密度比是上界(最优策略覆盖假设),那么代理可以实现$O\left(\frac{1}{ε^2}\right)$率,这也是最小最大最优的。在最优策略覆盖假设下,当最优$Q$ -函数中存在一个正的次优间隙时,可以将速率提高到$O\left(\frac{1}ε\right)$.此外,我们表明,当访问概率的行为政策是一致的最优策略的访问概率是积极的状态(统一的最优策略覆盖假设)的下界,确定最优策略的样本复杂性是独立的$\frac{1}ε$。最后,我们提出了接近匹配的下限,以补充我们的间隙依赖的上限。
2022-08-03 cs.AI cs.LG
Evaluating Feature Dependent Noise in Preference-based Reinforcement Learning
本文研究了基于偏好的强化学习中特征依赖噪声的影响,提出多种噪声变体,并发现最先进的噪声鲁棒方法在某些设置下表现下降,而无显式去噪方法在多数情况下表现更优。
2026-03-17 cs.AI cs.LG
Variance-Aware Fine-Grained Gap-Dependent Bounds for Online Reinforcement Learning
The Pennsylvania State University(宾夕法尼亚州立大学);University of Notre Dame(圣母大学)
本文为免模型在线强化学习提出方差感知的细粒度间隙依赖界,通过改进的UCB-Bernstein+算法同时优化遗憾与局部切换成本,并给出首个此类上界及实证验证。
2026-10-06 cs.LG stat.ML
The Mirage of Action-Dependent Baselines in Reinforcement Learning
Google Brain(谷歌大脑);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Uber AI Labs(优步人工智能实验室);UC Berkeley(加州大学伯克利分校)
策略梯度方法是一类广泛使用的无模型强化学习算法,其中使用状态相关基线来减少梯度估计器方差。最近的几篇论文将基线扩展到依赖于状态和动作,并表明这显著降低了方差,提高了样本效率,而不会在梯度估计中引入偏差。为了更好地理解这一发展,我们分解了策略梯度估计器的方差,并通过数字表明,在通常测试的基准领域中,学习到的状态动作相关基线实际上并没有减少与状态相关基线的方差。我们通过回顾这些先前论文附带的开源代码来证实这一意外结果,并表明微妙的实施决策会导致论文中所提出的方法出现偏差,并解释了先前观察到的经验收益的来源。此外,方差分解突出了需要改进的领域,我们通过说明对典型价值函数参数化的简单更改来演示,这些更改可以显着提高性能。
2018-11-19 cs.LG stat.ML
Efficient PAC Reinforcement Learning in Regular Decision Processes
Sapienza University of Rome(罗马大学)
最近,正则决策过程被提出来作为非马尔可夫决策过程的一种表现良好的形式。规则决策过程的特征在于依赖于整个历史的转移函数和奖励函数,尽管是规则的(如正则语言)。在实践中,转换和奖励函数都可以被看作是有限的转换器。我们研究规则决策过程中的强化学习。我们的主要贡献是表明,一个接近最优的政策可以PAC学习多项式时间在一组参数,描述了底层的决策过程。我们认为,所确定的参数集是最小的,它合理地捕捉到一个经常性的决策过程的困难。
2022-05-18 cs.AI cs.LG
Reinforcement Learning with Time-dependent Goals for Robotic Musicians
University of Hamburg(汉堡大学)
强化学习是一种很有前途的机器人控制方法。然而,演奏乐器的任务在很大程度上是未被探索的,因为它涉及到实现具有时间维度的连续目标-旋律-的挑战。在本文中,我们解决机器人音乐通过引入一个时间扩展目标条件强化学习:时间依赖性目标。我们证明,这些可以用来训练机器人音乐家发挥特雷门乐器。我们训练机器人代理在模拟和转让收购的政策,以现实世界的机器人thereminist。补充视频:https://youtu.be/jvC9mPzdQN4
2020-11-11 cs.AI cs.RO
BiTrajDiff: Bidirectional Trajectory Generation with Diffusion Models for Offline Reinforcement Learning
Zhejiang University(浙江大学);Zhejiang Lab(浙江省实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nanyang Technological University(南洋理工大学);Rutgers University(罗格斯大学)
本文提出BiTrajDiff,通过双向扩散模型生成轨迹,解决离线强化学习中数据分布偏差问题,提升数据集多样性。
2026-05-14 cs.LG