Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford(牛津大学)
我们提出了一个演员批评,无模型,和在线强化学习(RL)框架的连续状态连续动作马尔可夫决策过程(MDP)时,奖励是高度稀疏的,但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南,其中提出了模块化深度确定性策略梯度(DDPG)架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中,我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
TD or not TD: Analyzing the Role of Temporal Differencing in Deep Reinforcement Learning
University of Freiburg(弗莱堡大学);Intel Labs(英特尔实验室)
我们对强化学习(RL)的理解是由几十年前使用表格表示和线性函数逼近器获得的理论和经验结果形成的。这些结果表明,RL方法,使用时间差分(TD)优于直接蒙特卡罗估计(MC)。这些结果在深度强化学习中如何保持,深度强化学习处理感知复杂的环境和深度非线性模型?在本文中,我们重新审视TD在现代深度RL中的作用,使用专门设计的环境来控制影响性能的特定因素,例如奖励稀疏性,奖励延迟和任务的感知复杂性。当比较TD与无限时域MC时,我们能够在现代环境中重现经典结果。然而,我们也发现,有限时域MC并不比TD差,即使在奖励稀疏或延迟。这使得MC成为深度RL中TD的可行替代方案。
2018-06-04 cs.AI cs.LG stat.ML
HTMRL: Biologically Plausible Reinforcement Learning with Hierarchical Temporal Memory
University of Antwerp - imec IDLab(安特卫普大学 - imec IDLab)
构建能够适应不断变化的任务的强化学习(RL)算法是一个开放的研究挑战。已知固有地很好地处理这种非平稳输入模式的一种技术是分层时间记忆(HTM),其是用于人类新皮层的一般的和生物学上合理的计算模型。由于RL范式受到人类学习的启发,HTM是支持非平稳环境的RL算法的自然框架。在本文中,我们提出了HTMRL,第一个严格基于HTML的RL算法。我们的经验和统计表明,HTMRL的规模,许多国家和行动,并证明HTM的能力,以适应不断变化的模式延伸到RL。具体来说,HTMRL在750步后对10臂强盗表现良好,但只需要三分之一的步骤来适应强盗突然洗牌的手臂。HTMRL是一种新的RL方法的第一次迭代,有可能扩展到Meta-RL的一个有能力的算法。
2020-09-18 cs.AI cs.LG stat.ML
Integrating Behavior Cloning and Reinforcement Learning for Improved Performance in Dense and Sparse Reward Environments
Texas A&M University(得克萨斯农工大学);US Army Research Laboratory(美国陆军研究实验室);Columbia University(哥伦比亚大学)
本文研究了如何有效地转换和更新政策,最初训练与示范,使用关闭政策的演员-评论强化学习。众所周知,基于示教学习的技术,例如行为克隆,可以在给定有限数据的情况下产生熟练的策略。然而,目前还不清楚如何使用强化学习有效地更新该策略,因为这些方法本质上优化了不同的目标函数。以前的工作使用了损失函数,它将行为克隆损失与强化学习损失相结合,以实现这种更新。然而,这些损失函数的组成部分通常是以轶事的方式设置的,它们各自的贡献并没有得到很好的理解。在这项工作中,我们提出了学习周期(CoL)框架,该框架使用一个演员-评论家架构与损失函数相结合的行为克隆和一步Q学习损失与一个关闭政策的预训练步骤,从人类示范。这使得从行为克隆到强化学习的过渡不会降低性能,并在整体性能和训练时间方面提高了强化学习。此外,我们仔细研究了这些综合损失的构成及其对整体策略学习的影响。我们表明,我们的方法优于国家的最先进的技术相结合的行为克隆和强化学习的密集和稀疏的奖励情况。我们的研究结果还表明,直接包括示范数据的行为克隆损失,有助于确保稳定的学习和地面未来的政策更新。
2020-04-03 cs.AI cs.LG stat.ML
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime(商汤科技)
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些,一个随机的政策模型,是内在一致的,通过一段时间是在期望中,特别是对于任务,无论是稀疏的奖励或长期的信息。在这项工作中,我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索(NADPEx)-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量,被纳入强化学习策略,即使在奖励信号稀疏的情况下,也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素,即梯度与目标的一致性和策略空间的KL约束。我们的实验表明,NADPEx解决任务的稀疏奖励,而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Equivalence Between Wasserstein and Value-Aware Loss for Model-based Reinforcement Learning
Brown University(布朗大学);Cornell Tech(康奈尔科技校区)
生成模型的学习是基于模型的强化学习的关键组成部分。虽然在表格设置中学习一个好的模型是一项简单的任务,但在近似设置中学习一个有用的模型是具有挑战性的。在这种情况下,一个重要的问题是用于模型学习的损失函数,因为改变损失函数可以对规划的有效性产生显著影响。最近,Farahmand et al.(2017)提出了一种值感知模型学习(VAML)目标,该目标在模型学习期间捕获价值函数的结构。使用Asadi et al.(2018)的工具,我们证明了最小化VAML目标实际上等同于最小化Wasserstein度量。这种等价性加深了我们对值感知模型的理解,也为Wasserstein在基于模型的强化学习中的应用奠定了理论基础。
2018-07-08 cs.AI cs.LG stat.ML
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning
Indian Institute of Science(印度科学学院)
针对连续状态空间中STL规范鲁棒满足与可处理性难题,提出基于漏斗函数的可处理强化学习算法,学习时变策略,并在多个STL任务中验证其有效性。
2023-12-03 cs.AI cs.LG cs.SY
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊);Sony AI(索尼AI)
在连续任务中,平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样,在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而,据我们所知,奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架,并证明了在标准假设下,可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要,我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数,在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下,与相关基线相比,整形加快了平均奖励学习率,而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心)
本文针对分布强化学习的分位数时间差分学习,建立同步与异步QTD的函数中心极限定理,提出无需存储完整轨迹的在线推断方法,实现高效统计推断。
2026-10-19 cs.LG stat.ML
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University(波士顿大学)
针对离线安全强化学习在复杂时序逻辑任务中的不足,提出时序逻辑规范条件化Decision Transformer(SDT)框架,结合STL表达力与DT序列建模能力,在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Hierarchical Reinforcement Learning for Temporal Pattern Prediction
Rutgers University(罗格斯大学)
本研究探索层次强化学习在时间序列预测中的应用,结合深度学习开发股票与车辆预测智能体,发现feudal reinforcement learning相比标准RL在训练速度、稳定性和精度上有显著提升,其关键在于多分辨率结构引入的时空抽象。
2023-10-09 cs.LG
Game-Theoretic Robust Reinforcement Learning Handles Temporally-Coupled Perturbations
University of Maryland, College Park(马里兰大学帕克分校);Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文针对时间耦合扰动下的强化学习鲁棒性问题,提出博弈论方法GRAD,将其建模为部分可观测双人零和博弈并求解近似均衡,实验证明该方法对多种攻击具有更强的鲁棒性。
2024-04-25 cs.AI cs.LG
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University(麦吉尔大学);Mila(Mila(魁北克人工智能研究所));MIT(麻省理工学院);DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习(IRL)是一种仅从演示中恢复奖励函数的解决方案,但这些学习的奖励通常与环境的动态性有很大的\textit{entangled},因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中,我们利用这样一种方法,对抗逆强化学习(AIRL),提出了一种算法,学习分层解开奖励与政策的选项。我们表明,这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数,同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Tractable Reinforcement Learning of Signal Temporal Logic Objectives
University of Minnesota(明尼苏达大学)
信号时序逻辑(STL)是一种表达语言,用于指定有时限的真实世界机器人任务和安全规范。最近,人们对通过强化学习(RL)学习最优策略以满足STL规范产生了兴趣。学习满足STL规范通常需要足够长的状态历史来计算奖励和下一个动作。对历史的需要导致学习问题的指数状态空间增长。因此,对于大多数现实世界的应用来说,学习问题在计算上变得难以处理。在本文中,我们提出了一个紧凑的方法来捕捉状态历史的一个新的增广状态空间表示。提出了一个近似的目标(最大化满意概率),并解决了在新的增广状态空间。我们显示的近似解决方案的性能范围,并通过模拟与现有技术的解决方案进行比较。
2020-02-17 cs.AI cs.LG cs.RO
Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
Department of Computing, Imperial College London, UK(计算系,伦敦帝国学院)
针对传统强化学习路由依赖马尔可夫假设、未建模网络空间结构的问题,提出时空强化学习STRL框架,在非马尔可夫流量下训练与推理性能均显著优于基线。
2025-07-31 cs.AI cs.LG
A Unified Approach for Multi-step Temporal-Difference Learning with Eligibility Traces in Reinforcement Learning
Zhejiang University(浙江大学)
最近,一个新的多步时间学习算法,称为$Q(σ)$,统一$n$ -步骤树备份(当$σ=0$)和$n$ -步骤Sarsa(当$σ=1$)通过引入一个采样参数$σ$。然而,与其他多步时间差学习算法类似,$Q(σ)$需要大量的内存消耗和计算时间。合格性跟踪是将离线更新转换为高效的在线更新的一种重要机制。本文对原有的$Q(σ)$进行了进一步的改进,将其与资格迹相结合,提出了一种新的算法$Q(σ,λ)$,其中$λ$是迹衰减参数。这个想法统一了Sarsa $(λ)$(当$σ=1$)和$Q^π(λ)$(当$σ=0$)。此外,我们还给出了$Q(σ,λ)$策略评估算法的误差上界。我们证明了$Q(σ,λ)$控制算法可以指数收敛到最优值函数。我们还将其与传统的时间差学习方法进行了实证比较。结果表明,使用中间值$σ$,$Q(σ,λ)$创建了现有算法的混合,可以比极端($σ=0$或$1$)更快地学习最佳值。
2018-02-09 cs.AI cs.LG stat.ML
A Temporal Difference Reinforcement Learning Theory of Emotion: unifying emotion, cognition and adaptive behavior
TU Delft(代尔夫特理工大学)
情绪与动机和行为的适应性密切相关,许多动物物种在其行为中表现出情绪的证据。因此,情绪必须与帮助生存的强大机制有关,而且情绪必须是进化的连续现象。情绪是如何以及为什么在自然界中进化的,事件是如何得到情感评价的,情绪如何与认知复杂性相关,以及它们如何影响行为和学习?在这篇文章中,我认为所有的情绪都是奖励处理的表现,特别是时间差异(TD)错误评估。强化学习(Reinforcement Learning,RL)是一种通过探索和反馈来学习面向目标任务的强大计算模型。有证据表明,类RL过程存在于许多动物物种中。强化学习中反馈处理的关键是TD错误的概念,即与先前预期的情况相比,评估情况变得更好或更糟(或者,新证据导致的效用或福祉的估计增益或损失)。我提出了一个TDRL情绪理论,并讨论了它对我们理解人类,动物和机器情绪的影响,并提出了心理学,神经生物学和计算证据支持。
2018-07-24 cs.AI cs.LG stat.ML
A Policy Search Method For Temporal Logic Specified Reinforcement Learning Tasks
奖励工程是强化学习的一个重要方面。用户的意图是否可以正确地封装在奖励函数中可以显著影响学习结果。目前的方法依赖于手动制作的奖励函数,通常需要参数调整以获得所需的行为。当探索需要系统与物理世界交互时,这种操作可能是昂贵的。在本文中,我们探讨了使用时序逻辑(TL)来指定强化学习中的任务。TL公式可以转换为一个实值函数,该函数衡量其对轨迹的满意度。我们利用这个功能,并提出了时序逻辑策略搜索(TLPS),一个无模型的学习技术,找到一个政策,满足TL规范。一组模拟实验进行评估所提出的方法。
2017-09-27 cs.AI
Inferring Causal Graph Temporal Logic Formulas to Expedite Reinforcement Learning in Temporally Extended Tasks
GTL-CIRL通过同时学习策略和挖掘因果图时序逻辑规范,加速时序扩展任务中的强化学习,提升学习效率和行为可验证性。
2026-01-06 cs.AI cs.LO
Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal Point Processes
Ant Group(蚂蚁集团);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们考虑一个序贯决策问题,代理面临的环境特征的随机离散事件,并寻求一个最优的干预政策,使其长期回报最大化。这个问题普遍存在于社交媒体、金融和健康信息学中,但在强化学习的传统研究中却很少被研究。为此,我们提出了一个新的框架,基于模型的强化学习代理的行动和意见是异步随机离散事件发生在连续时间。我们通过具有外部干预控制项的Hawkes过程来模拟环境的动态,并开发了一种算法来将这样的过程嵌入到Bellman方程中,该方程指导值梯度的方向。我们证明了我们的方法在合成模拟器和现实世界的问题的优越性。
2022-12-27 cs.AI cs.LG
Fixed-Horizon Temporal Difference Methods for Stable Reinforcement Learning
University of Alberta(阿尔伯塔大学);University of Toronto(多伦多大学);Huawei Technologies Canada, Ltd.(加拿大华为技术有限公司)
我们探讨了固定时域时间差(TD)方法,强化学习算法,用于一种新的值函数,该值函数预测$\textit{fixed}$数量的未来时间步长上的奖励之和。为了学习水平$h$的价值函数,这些算法从水平$h-1$或某个较短水平的价值函数引导。因为没有价值函数从自身引导,所以固定水平方法不受困扰其他使用函数近似的非策略TD方法的稳定性问题(也被称为“致命的三元组”)的影响。虽然固定时域方法需要存储额外的价值函数,但这为代理提供了额外的预测能力,而增加的复杂性可以通过并行更新、共享权重和$n$步自举来大幅降低。我们展示了如何使用固定水平值函数来解决强化学习问题,并与学习传统价值函数的Q学习等方法竞争。我们还证明了固定水平时间差分方法的线性和一般函数逼近的收敛性。两者合计,我们的研究结果建立固定地平线TD方法作为一个可行的新的方式,避免致命的三合会的稳定性问题。
2020-02-11 cs.AI cs.LG
A Temporal-Pattern Backdoor Attack to Deep Reinforcement Learning
Northwestern Polytechnical University(西北工业大学);Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院);Academy of Industrial Internet, Shaanxi Branch of China United Network Communications Group Co., Ltd.(中国联合网络通信集团有限公司陕西省分公司工业互联网研究院)
深度强化学习(Deep Reinforcement Learning,DRL)在许多实际应用中取得了显著的成就。但是,由于遮挡和噪声传感器,这些现实世界的应用通常只能提供部分观察结果来做出决策。然而,部分状态可观测性可以用来隐藏后门的恶意行为。本文研究了DRL的时序特性,提出了一种新的时间模式后门攻击,其触发器是对一系列观测值的时间约束,而不是单个观测值,攻击效果可以保持在一个可控的持续时间内,而不是瞬间。我们验证了我们提出的后门攻击在云计算的一个典型的作业调度任务。大量的实验结果表明,我们的后门可以实现出色的有效性,隐蔽性和可持续性。我们后门的平均干净数据准确率和攻击成功率分别可以达到97.8%和97.5%。
2022-05-05 cs.AI cs.LG
Reinforcement Learning for Autonomous Driving with Latent State Inference and Spatial-Temporal Relationships
Honda Research Institute US(美国本田研究所);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
深度强化学习(DRL)为复杂自动驾驶场景中的导航学习提供了一种很有前途的方法。然而,识别可能表明截然不同结果的微妙线索仍然是设计在人类环境中运行的自主系统的一个开放性问题。在这项工作中,我们表明,明确推断的潜在状态和编码的时空关系的强化学习框架可以帮助解决这个困难。我们通过一个框架,结合了强化学习者与监督学习者的潜在状态编码先验知识的其他驱动程序。此外,我们通过图神经网络(GNNs)对不同车辆之间的影响进行建模。与最先进的基线方法相比,所提出的框架显着提高了在T形交叉口导航的性能。
2021-03-24 cs.LG
Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation
BCS, MIT(麻省理工学院脑与认知科学系);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
在稀疏反馈环境中学习目标导向行为是强化学习算法的主要挑战。主要的困难是由于探索不足,导致代理无法学习鲁棒的价值函数。内在动机的代理人可以探索新的行为本身的缘故,而不是直接解决问题。这种内在行为最终可以帮助智能体解决环境带来的任务。我们提出了层次DQN(h-DQN),一个框架,集成层次价值函数,在不同的时间尺度上操作,具有内在动机的深度强化学习。顶级价值函数学习内在目标上的策略,而低级函数学习原子操作上的策略以满足给定目标。h-DQN允许灵活的目标规范,例如实体和关系上的函数。这为复杂环境中的探索提供了有效的空间。我们证明了我们的方法在两个问题上的强度非常稀疏,延迟反馈:(1)一个复杂的离散随机决策过程,(2)经典的ATARI游戏'蒙特祖玛的Restaurant'。
2016-05-31 cs.AI cs.CV cs.LG
Temporal Alignment for History Representation in Reinforcement Learning
University of Trento(特伦托大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
强化学习中的环境通常只能部分观察。为了解决这个问题,一个可能的解决方案是向代理提供有关过去的信息。然而,提供许多步骤的完整观察可能是过度的。受人类记忆的启发,我们建议只使用环境中的重要变化来表示历史,并且在我们的方法中,使用自我监督来自动获得这种表示。我们的方法(TempAl)对齐时间上接近的帧,揭示了环境的一般,缓慢变化的状态。这个过程是基于对比损失,它将附近观测值的嵌入拉到彼此,同时将其他样本从批次中推开。它可以被解释为一个度量,捕捉观测的时间关系。我们建议结合常见的瞬时和我们的历史表示,我们评估TempAl所有可用的雅达利游戏从街机学习环境。TempAl在49个环境中的35个环境中超过了仅瞬时基线。该方法和所有实验的源代码可在https://github.com/htdt/tempal获得。
2022-04-07 cs.AI cs.LG
TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios
Northeastern University(东北大学);Zhejiang University(浙江大学);Aalborg University(奥胡斯大学)
TCRL通过引入时序耦合对抗训练框架,解决传统方法在处理时序耦合扰动时的不足,提升约束强化学习在最坏情况下的鲁棒性。
2026-02-13 cs.LG
Deep reinforcement learning under signal temporal logic constraints using Lagrangian relaxation
Osaka University(大阪大学);Graduate School of Engineering Science(工程科学研究生院)
深度强化学习(Deep Reinforcement Learning,DRL)作为一种在没有系统数学模型的情况下解决最优控制问题的方法,引起了广泛的关注。另一方面,在一般情况下,约束可以施加在最优控制问题上。在本研究中,我们考虑最优控制问题的约束,以完成时间控制任务。我们使用信号时序逻辑(STL),这是有用的时间敏感的控制任务,因为它可以指定连续的信号在有限的时间间隔内的约束。为了处理STL的约束,我们引入了一个扩展的约束马尔可夫决策过程(CMDP),这是一个$τ$ -CMDP。我们将STL约束最优控制问题表示为$τ$ -CMDP,并利用拉格朗日松弛法提出了一种两阶段约束DRL算法。通过仿真,我们也证明了所提出的算法的学习性能。
2022-11-19 cs.LG cs.SY eess.SY
TemporalPaD: a reinforcement-learning framework for temporal feature representation and dimension reduction
Jilin University(吉林大学);Guizhou Medical University(贵州医科大学)
TemporalPaD是一个基于Actor-Critic框架的端到端深度学习框架,通过强化学习与神经网络结合实现时间序列数据的特征表示与降维,在29个UCI数据集和真实DNA分类任务中验证了其有效性。
2024-09-27 cs.AI cs.LG q-bio.GN
STAS: Spatial-Temporal Return Decomposition for Multi-agent Reinforcement Learning
Renmin University of China(中国人民大学);Peking University(北京大学);King’s College London(伦敦国王学院);National Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能全国重点实验室)
提出STAS方法,通过将全局回报分解到各时间步并利用Shapley值和蒙特卡洛采样进行时空信用分配,有效解决了情景强化学习中的延迟奖励问题。
2024-01-04 cs.AI cs.LG
When Do Skills Help Reinforcement Learning? A Theoretical Analysis of Temporal Abstractions
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Stanford University(斯坦福大学)
本文针对有限动作空间下的确定性稀疏奖励环境,理论与实验刻画确定性技能的效用,指出状态方案可压缩性、探索收益及宏动作表达能力对RL性能的影响。
2024-06-12 cs.AI cs.LG
Causal Explanation for Reinforcement Learning: Quantifying State and Temporal Importance
University of California, Davis(加利福尼亚大学戴维斯分校);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种因果解释机制,量化强化学习中状态对动作的因果重要性及其时间演化,并通过多种仿真环境验证其优于现有关联解释方法。
2023-06-30 cs.AI cs.LG
TIGER-MARL: Enhancing Multi-Agent Reinforcement Learning with Temporal Information through Graph-based Embeddings and Representations
University of Southern California(美国南加州大学);DEVCOM Army Research Office(国防部陆军研究办公室)
针对MARL方法忽略智能体交互时间演化的问题,本文提出TIGER框架,通过构建动态时间图并结合时间注意力编码器生成时间感知嵌入,在协调基准上持续优于基线,且经消融验证结构与时间因素的协同作用。
2025-11-11 cs.AI cs.LG
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning
McGill University(麦吉尔大学);Microsoft Research Montreal(微软研究院蒙特利尔分部);Université de Montréal(蒙特利尔大学);Mila(米拉研究所);Sony AI(索尼人工智能公司);Google DeepMind(谷歌DeepMind)
提出受人类意识启发的Skipper框架,通过时空抽象自动分解任务为子任务,以有向图代理问题端到端学习,在零样本泛化上优于现有分层规划方法。
2024-03-16 cs.AI cs.LG
Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning
UIUC(伊利诺伊大学厄巴纳-香槟分校);UT Austin(德克萨斯大学奥斯汀分校)
深度强化学习算法的最新进展在解决许多具有挑战性的现实问题方面显示出巨大的潜力和成功,包括围棋游戏和机器人应用。通常,这些算法需要精心设计的奖励函数来指导每个时间步的训练。然而,在现实世界中,设计这样的奖励函数并不简单,并且唯一可用的信号通常是在轨迹的末端获得的,也称为情节奖励或返回。在这项工作中,我们引入了一个新的算法的时间信用分配,学习分解的情节返回到每个时间步的轨迹使用深神经网络。利用该学习的奖励信号,可以显著提高情景强化学习的学习效率。特别是,我们发现,表达语言模型,如Transformer可以用于学习的重要性和依赖性的状态的轨迹,从而提供高质量和可解释的学习奖励信号。我们已经进行了广泛的实验,一组MuJoCo连续机车控制任务,只有情节的回报,并证明了我们的算法的有效性。
2019-05-31 cs.LG stat.ML
A Temporally Correlated Latent Exploration for Reinforcement Learning
School of EEE, Dankook University(檀国大学电气与电子工程学院)
针对内在奖励探索易受 Noisy TV 与随机性影响的问题,提出 TeCLE,通过动作条件潜在状态分布和时间相关性计算内在奖励,并在 Minigrid、Stochastic Atari 中验证其鲁棒性。
2024-12-06 cs.AI cs.LG
Deep reinforcement learning with time-scale invariant memory
本文将计算神经科学的尺度不变记忆模型整合到深度强化学习智能体中,使其在广泛时间尺度上实现稳健学习,展现出优于LSTM等架构的适应性。
2024-12-19 cs.AI cs.LG
Temporal-adaptive Hierarchical Reinforcement Learning
分层强化学习(HRL)有助于解决强化学习中的大规模和稀疏奖励问题。在HRL中,策略模型有一个按层次结构的内部表示。利用这种结构,强化学习任务有望被分解成具有子任务的相应级别,因此学习可以更有效。在HRL中,虽然直觉上高层策略只需要以较低的频率进行宏观决策,但准确的频率很难简单地确定。以前的HRL方法通常采用固定时间跳过策略或在不考虑上下文的情况下学习终端条件,然而,这不仅需要手动调整,而且还牺牲了一些决策粒度。在本文中,我们提出了\emph{temporal-adaptive hierarchical policy learning}(TEMPLE)的结构,它使用一个时间门自适应地控制高层决策频率。我们用PPO对TEMPLE结构进行训练,并在一系列环境中测试其性能,包括2-D房间、Mujoco任务和Atari游戏。结果表明,TEMPLE结构可以导致在这些环境中的顺序自适应高级控制的性能改善。
2020-02-06 cs.AI
Truncating Temporal Differences: On the Efficient Implementation of TD(lambda) for Reinforcement Learning
时间差分(TD)方法构成了一类用于在多步预测问题中学习预测的方法,由新近因子λ参数化。目前,这些方法最重要的应用是强化学习中的时间信用分配。众所周知的强化学习算法,例如AHC或Q学习,可以被视为TD学习的实例。本文研究了TD(lambda)的有效和通用的实现任意lambda的问题,用于强化学习算法优化的折扣和奖励。传统的方法,资格的痕迹的基础上,被认为是遭受低效率和缺乏通用性。TTD(截断时间差异)过程被提出作为一种替代方案,它实际上只近似TD(lambda),但每个动作只需要很少的计算,并且可以与任意函数表示方法一起使用。它所源自的想法相当简单,并不新颖,但迄今为止可能尚未探索。令人鼓舞的实验结果,这表明,使用λ> 0与TTD程序允许一个获得显着的学习加速在基本上相同的成本作为通常的TD(0)学习。
1995-01-01 cs.AI
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico(INESC-ID / 里斯本高等理工学院)
基于模型的强化学习范式使用规划算法和神经网络模型,最近在各种应用中取得了前所未有的成果,导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的,涉及多个组件,因素,可以创造研究的挑战。在这项工作中,我们提出了一种适合这些类型代理的新模块化软件架构,以及一组可以轻松重用和组装的构建块,以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理,优化到三个不同的测试环境:Cartpole,Minigrid和Tictactoe。一个特定的规划算法,在我们的实现中可用,以前没有在强化学习中使用,我们称之为平均极大极小,在三个测试环境中取得了良好的效果。用这种结构进行的实验表明,规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明,所提出的架构,这是模块化和可重用的,是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
Loss is its own Reward: Self-Supervision for Reinforcement Learning
UC Berkeley(加州大学伯克利分校);OpenAI
强化学习针对期望累积奖励优化策略。监管需要如此狭窄吗?对于许多任务来说,奖励是延迟和稀疏的,这使得它成为端到端优化的困难和贫困信号。为了增加奖励,我们考虑了一系列自我监督的任务,包括状态,动作和后继者,以提供辅助损失。即使在没有奖励的情况下,这些损失也为表示学习提供了无处不在的即时监督。虽然目前的结果表明,仅从奖励中学习是可行的,但纯强化学习方法受到计算和数据效率问题的限制,这些问题可以通过辅助损失来弥补。自我监督的预训练和联合优化提高了端到端强化学习的数据效率和策略回报。
2017-03-09 cs.LG
Scope Loss for Imbalanced Classification and RL Exploration
RBC CM(加拿大皇家银行资本市场);University of Toronto(多伦多大学)
本文提出Scope Loss,通过揭示强化学习探索-利用权衡与监督分类数据不平衡的等价性,以梯度调整方式同时缓解过度利用和类别不平衡问题,无需调参,并在强化学习基准和偏斜分类数据集上验证其优于现有损失函数。
2023-08-08 cs.AI cs.LG
Lifelong Reinforcement Learning with Temporal Logic Formulas and Reward Machines
Sun Yat-sen University(中山大学)
使用高级思想或知识不断学习新任务是人类的关键能力。在本文中,我们提出了终身强化学习与顺序线性时序逻辑公式和奖励机(LSRM),它使代理能够利用以前学到的知识,加快学习逻辑指定的任务。为了更灵活地描述任务,我们首先介绍了顺序线性时态逻辑(SLTL),它是对现有线性时态逻辑(LTL)形式语言的补充。然后,我们利用奖励机(RM)利用结构奖励功能的任务编码的高级别事件,并提出自动扩展RM和有效的知识转移任务的持续学习的生活。实验结果表明,LSRM学习方法在终身学习过程中,利用SLTL的任务分解和RM上的知识转移,优于从头开始学习目标任务的方法。
2021-11-18 cs.AI
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen(格罗宁根大学人工智能系)
本文发现深度强化学习中的迹介导峰值偏差(TMPB),揭示了其作为峰值-末端规则的机制基础,并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Transformers Can Learn Temporal Difference Methods for In-Context Reinforcement Learning
University of Virginia(弗吉尼亚大学);MIT(麻省理工学院);Boston University(波士顿大学)
本文通过实证和理论证明,Transformer在策略评估任务训练中,其前向传播能够发现并实现时序差分学习算法,从而支持上下文强化学习(ICRL)中预训练网络前向传播实现RL算法的假设。
2025-02-24 cs.LG
Dynamical Priors as a Training Objective in Reinforcement Learning
Coimbatore Medical College Coimbatore, TN India(科伊巴托尔医学院,印度泰米尔纳德邦)
本文提出DP-RL框架,通过引入外部状态动态的辅助损失,控制强化学习策略的时间演化,促进时间结构化行为。
2026-04-23 cs.AI cs.LG
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);DeepMind(深度思维)
我们研究了强化学习(RL)与无奖励演示,在这种设置中,RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而,它无法获得这些代理人的奖励或目标,他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见,例如自动驾驶。为了有效地使用这些数据,我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习(IRL)算法,称为\emph{inverse temporal difference learning}(ITD),学习共享的状态特征,以及每个代理的后继特征和偏好向量,纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成,并通过演示实现了一种新的强化学习算法,称为$ΨΦ$ -学习(发音为“Sci-Fi”)。我们提供的$ΨΦ$学习的有效性的实证证据,作为一种方法,提高RL,IRL,模仿,和Few-Shot转移,并推导出最坏情况下的界限,其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
Multi-Agent Reinforcement Learning with Temporal Logic Specifications
University of Oxford(牛津大学);Monash University(莫纳什大学)
在本文中,我们研究的问题,学习满足时序逻辑规范与一组代理在一个未知的环境中,这可能会表现出概率行为。从学习的角度来看,这些规范提供了一个丰富的形式语言,捕捉任务或目标,而从逻辑和自动验证的角度来看,学习能力的引入允许在大型,随机,未知的环境中的实际应用。然而,这方面的现有工作是有限的。考虑完整的线性时序逻辑或具有正确性保证的框架中,所有方法到目前为止只考虑单个时序逻辑规范和单个代理的情况。为了克服这一局限性,我们开发了第一个多智能体强化学习技术的时序逻辑规范,这也是新颖的,它能够处理多个规格。即使使用函数逼近,我们也为我们的主要算法-- ALMANAC(自动机/逻辑多智能体自然演员-评论家)--提供正确性和收敛性保证。除了我们的理论结果,我们进一步证明了我们的技术的适用性,通过一组初步的实验。
2021-02-09 cs.AI cs.LG cs.LO
Reinforcement Logic Rule Learning for Temporal Point Processes
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Research(微软研究院);Peking University(北京大学)
本文提出将时间点过程与强化学习相结合,通过神经搜索策略增量生成可解释时间逻辑规则,以提升事件序列似然,并在合成与医疗数据上验证有效性。
2023-08-11 cs.AI cs.LG
STEMO: Early Spatio-temporal Forecasting with Multi-Objective Reinforcement Learning
Data61, CSIRO(Data61联邦科学与工业研究组织);RMIT University(皇家墨尔本理工大学);Xidian University(西安电子科技大学);Zhejiang University(浙江大学);University of New South Wales(新南威尔士大学)
针对预测任务中准确性与时效性的平衡难题,提出基于多目标强化学习的早期时空预测模型STEMO,可适配偏好确定预测时机,在三个真实数据集上性能优于现有方法。
2024-06-18 cs.AI cs.LG
Plasticity Loss in Deep Reinforcement Learning: A Survey
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学博士学院);Independent Researcher(独立研究员);Microsoft AI(微软人工智能);Department of Machine Learning and Systems Biology, Max Planck Institute of Biochemistry(生物化学研究所机器学习与系统生物学部门)
本文综述了深度强化学习中可塑性丧失的问题,提出统一定义,分析其驱动因素与病理,整理超过50种缓解策略,并指出当前评估实践的不足。
2026-04-18 cs.AI cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司);DeepMind(深度思维)
虽然在深度强化学习领域已经取得了重大的研究进展,但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中,攻击者将收集的输入数据集作为目标,深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距,我们提出了一个对抗攻击框架,旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地,我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外,我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明,在三个不同的连续控制Mujoco任务中,所提出的对抗攻击框架在推断数据时具有惊人的有效性,其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$,这在这方面引起了严重的隐私问题。最后,我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Don't Watch Me: A Spatio-Temporal Trojan Attack on Deep-Reinforcement-Learning-Augment Autonomous Driving
Northwestern Polytechnical University(西北工业大学)
深度强化学习(Deep Reinforcement Learning,DRL)是实现自动驾驶(autonomous driving,AD)系统的最常用算法之一。DRL的关键成功因素是它包含了深度神经网络的感知能力,但已被证明易受特洛伊木马攻击。特洛伊木马攻击已经在监督学习(SL)任务(例如,图像分类),但很少在顺序决策任务解决的DRL。因此,在本文中,我们探讨木马攻击DRL AD任务。首先,我们提出了一种基于递归神经网络和注意力机制的时空DRL算法,证明了时空交通特征的捕获是DRL增强AD系统有效性和安全性的关键因素。然后,我们设计了一个时空特洛伊木马攻击DRL政策,触发器隐藏在一系列的空间和时间的流量特征,而不是一个单一的即时状态,在现有的特洛伊木马SL和DRL任务。使用我们的特洛伊木马,对手充当周围的正常车辆,可以通过特定的时空驾驶行为触发攻击,而不是物理或无线访问。通过大量的实验,我们发现,虽然捕获时空流量特征可以提高DRL针对不同AD任务的性能,但由于我们设计的特洛伊木马具有高度的隐蔽性(各种时空触发模式)、有效性(性能变化率小于3.1%,攻击成功率超过98.5%),并且可持续到现有的高级防御,因此它们会遭受特洛伊木马攻击。
2022-11-22 cs.AI cs.CR cs.LG
Explainable Reinforcement Learning via Temporal Policy Decomposition
Ericsson Research(爱立信研究院);KTH Royal Institute of Technology(瑞典皇家理工学院);Boston University(波士顿大学)
本文提出时间策略分解TPD,通过固定时间范围时序差分的离策略学习将价值函数分解为各步EFO,为RL动作提供准确、对比性的时间解释并辅助奖励函数微调。
2025-01-07 cs.AI cs.LG
Adaptive Multi-Horizon Reinforcement Learning
研究在复杂环境中强化学习的决策问题,提出自适应多时间尺度方法,能自适应选择和组合时间范围,无需手动调折扣因子,实验证明该方法可提高参数效率及增强适应性。
2026-07-30 cs.AI cs.LG