Instructed Diffuser with Temporal Condition Guidance for Offline Reinforcement Learning
University of Maryland(马里兰大学);Lehigh University(理海大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
针对离线强化学习中扩散模型难利用序列时序信息提升生成质量的问题,提出时序可组合扩散器TCD,通过三类不重叠时序条件引导生成,在离线RL任务上达到或持平SOTA性能。
2023-06-08 cs.LG
Temporal-Causal Inference for Reinforcement Learning via Automata Learning
Research Center Trustworthy Data Science and Security, TU Dortmund University(多特蒙德工业大学可信数据科学与安全研究中心);School for Engineering of Matter, Transport, and Energy at Arizona State University(亚利桑那州立大学物质、运输与能源工程学院)
提出TCIRL框架,通过自动机学习推断隐藏时间模式导致的相变原因,联合学习策略,实验验证其恢复正确DFA并匹配全信息基线。
2026-11-03 cs.LG
Optimal Transport-Guided Safety in Temporal Difference Reinforcement Learning
Department of Mechanical Engineering, Rochester Institute of Technology(机械工程系,罗切斯特理工学院)
针对强化学习常忽略安全性的问题,提出一种基于最优传输理论量化行动不确定性的时序差分算法,将不确定性评分融入决策目标,理论证明可降低不安全状态访问概率,实验验证其在保障安全的同时维持性能。
2025-06-14 cs.LG
TEACH: Temporal Variance-Driven Curriculum for Reinforcement Learning
IIT Kanpur(印度理工学院坎普尔分校)
TEACH提出基于时间方差的课程学习方法,通过动态优先选择高不确定性目标,提升多目标强化学习的样本效率和策略学习效率。
2025-12-28 cs.LG
InferNet for Delayed Reinforcement Tasks: Addressing the Temporal Credit Assignment Problem
North Carolina State University(北卡罗来纳州立大学)
时态信用分配问题是人工智能领域中一个著名的、具有挑战性的问题。虽然强化学习(RL),特别是深度RL,在即时奖励可用时工作良好,但当只有延迟奖励可用或奖励函数有噪声时,它可能会失败。在这项工作中,我们建议委托CAP到一个基于神经网络的算法命名为Infernet,明确学习推断延迟奖励的即时奖励。InferNet的有效性在两个在线RL任务上进行了评估:一个简单的GridWorld和40个Atari游戏;以及两个离线RL任务:GridWorld和现实生活中的败血症治疗任务。对于所有任务,使用InferNet推断奖励的有效性与两种设置的即时和延迟奖励进行比较:有噪声奖励和无噪声奖励。总的来说,我们的研究结果表明,InferNet的有效性对噪声奖励函数是鲁棒的,并且是一种有效的附加机制,用于在广泛的RL任务中解决时间CAP,从经典的RL模拟环境到现实世界的RL问题,以及在线和离线学习。
2021-05-02 cs.LG
DynaMITE-RL: A Dynamic Model for Improved Temporal Meta-Reinforcement Learning
University of Southern California(南加州大学);Google Research(谷歌研究院);Google Deepmind(谷歌DeepMind)
针对潜在状态演化速率可变环境的近似推理问题,提出元强化学习方法DynaMITE-RL,通过会话建模及三项关键修改,在多领域显著提升样本效率与推理回报,优于现有基线。
2024-12-04 cs.LG
Temporal Gradient Inversion for Private Trajectory Reconstruction in Embodied Reinforcement Learning
University of Kentucky(肯塔基大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对具身强化学习分布式训练,提出TRACE时间梯度反演攻击,利用跨时间相关性与闭式动作恢复,自回归重建私有轨迹,实现高PSNR与近完美动作恢复,且速度远超基线。
2026-11-10 cs.LG
Temporal Abstraction in Reinforcement Learning with Offline Data
Indian Institute of Science(印度科学学院)
本文提出一种离线分层强化学习框架,从未知行为策略收集的离线数据中学习选项,解决分布不匹配问题,并在MuJoCo和机器人堆叠任务中验证了其有效性。
2024-07-21 cs.LG
From Pixels to Temporal Correlations: Learning Informative Representations for Reinforcement Learning Pre-training
School of Computer Science & Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, Beijing Jiaotong University(北京交通大学交通数据挖掘与具身智能北京市重点实验室);Beijing Jiaotong University(北京交通大学)
提出多尺度时间对比学习(MTCL)方法,通过建模时间相关性平衡像素空间中各元素的注意力,学习信息更丰富的表示,提升下游强化学习任务的样本效率和性能。
2026-07-02 cs.LG
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战,当任务是复杂的,具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中,我们使用时序逻辑,以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数,以提高勘探。我们整合了控制屏障功能,以保护探索和部署过程。我们开发了一个灵活的和可学习的系统,允许用户指定任务的目标和限制,在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Directed Exploration in Reinforcement Learning from Linear Temporal Logic
Department of Computer Science(计算机科学系);ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(智能系统研究所)
针对LTL强化学习奖励稀疏导致探索困难的问题,本文利用LDBA构建马尔可夫奖励过程并以贝叶斯先验估计高层价值,将其转化为内在塑形奖励,实现从表格到高维连续系统的定向探索。
2025-06-09 cs.LG
Temporal Disentanglement of Representations for Improved Generalisation in Reinforcement Learning
University of Edinburgh(爱丁堡大学);Aalto University(阿尔托大学);University of Wisconsin – Madison(威斯康星大学麦迪逊分校)
强化学习(RL)代理通常无法很好地概括训练期间未观察到的状态空间中的环境变化。这个问题对于基于图像的RL来说尤其成问题,其中仅一个变量(例如背景颜色)的改变就可以改变图像中的许多像素。改变的像素可能会导致代理对图像的潜在表示发生剧烈变化,从而导致学习策略失败。为了学习更强大的表示,我们引入了TEmporal解纠缠(TED),这是一种自我监督的辅助任务,可以利用RL观察的顺序性来解纠缠图像表示。我们发现,经验,RL算法利用TED作为辅助任务,更快地适应环境变量的变化与持续训练相比,国家的最先进的表示学习方法。由于TED强制执行了一个解纠缠的表示结构,我们的实验还表明,用TED训练的策略更好地概括了与任务无关的变量的不可见值(例如背景颜色)以及影响最佳策略的变量的不可见值(例如目标位置)。
2023-02-27 cs.LG
Adaptive Tree Backup Algorithms for Temporal-Difference Reinforcement Learning
Northeastern University(东北大学);Khoury College of Computer Sciences(库利计算机科学学院)
Q($σ$)是最近提出的一种时间差学习方法,它在从预期备份和采样备份中学习之间进行插值。已经表明,插值参数$σ\in [0,1]$的中间值在实践中表现得更好,因此通常认为$σ$用作偏差-方差折衷参数以实现这些改进。在我们的工作中,我们反驳了这一概念,表明选择$σ=0$最小化方差而不增加偏差。这表明,$σ$对学习一定有一些尚未完全理解的其他影响。作为替代方案,我们假设存在一个新的权衡:较大的$σ$值有助于克服价值函数的初始化差,以较高的统计方差为代价。为了自动平衡这些考虑因素,我们提出了自适应树备份(ATB)方法,其加权备份随着代理获得经验而发展。我们的实验表明,自适应策略可以比依赖于固定或时间退火的$σ$值更有效。
2022-06-04 cs.LG
STAIR: Addressing Stage Misalignment through Temporal-Aligned Preference Reinforcement Learning
Beijing Key Laboratory of Embodied Intelligence Systems, Department of Automation, Tsinghua University, Beijing, China(北京智能体智能系统重点实验室,自动化系,清华大学,北京,中国);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China(复杂系统认知与决策智能重点实验室,自动化研究所,中国科学院,北京,中国)
针对PbRL在多阶段任务中因跨阶段偏好比较导致的阶段不对齐问题,提出STAIR,利用对比学习的时间距离识别阶段并优先进行同阶段比较,实验证明其有效且符合人类认知。
2025-09-28 cs.LG
Case-Based Inverse Reinforcement Learning Using Temporal Coherence
LMU Munich(慕尼黑大学)
在模仿学习的背景下提供专家轨迹通常是昂贵且耗时的。因此,我们的目标必须是创建需要尽可能少的专家数据的算法。在本文中,我们提出了一种算法,模仿更高层次的战略专家,而不仅仅是模仿专家的行动水平,我们假设需要更少的专家数据,使训练更稳定。作为先验,我们假设更高级别的策略是到达未知的目标状态区域,我们假设这是强化学习中许多领域的有效先验。目标状态区域是未知的,但由于专家已经演示了如何到达它,智能体尝试到达与专家相似的状态。基于时间相干性的思想,我们的算法训练一个神经网络来预测两个状态是否相似,从这个意义上说,它们可能在时间上接近。在推理过程中,代理将其当前状态与来自案例库的专家状态进行比较以获得相似性。结果表明,我们的方法仍然可以在专家数据很少的情况下学习接近最优的策略,在这种情况下,试图在行动层面模仿专家的算法不再能够做到这一点。
2022-06-12 cs.LG
Learning Dynamics and Generalization in Reinforcement Learning
University of Oxford(牛津大学);DeepMind(深度思维)
解决强化学习(RL)问题带来了两个相互竞争的挑战:拟合潜在不连续的价值函数,以及很好地推广到新的观察结果。在本文中,我们分析了时间差算法的学习动力学,以获得新的洞察这两个目标之间的紧张关系。我们从理论上表明,时间差学习鼓励代理在训练早期拟合价值函数的非光滑成分,同时诱导二阶效应,阻碍泛化。我们在一系列环境中训练的深度RL代理中证实了这些发现,发现使用时间差算法训练的神经网络在密集奖励任务中表现出比随机初始化网络和使用策略梯度方法训练的网络更弱的状态间泛化能力。最后,我们研究了训练后的策略蒸馏如何避免这个陷阱,并表明这种方法提高了对ProcGen套件中新环境的泛化能力,并提高了对输入扰动的鲁棒性。
2022-06-05 cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司);DeepMind(深度思维)
虽然在深度强化学习领域已经取得了重大的研究进展,但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中,攻击者将收集的输入数据集作为目标,深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距,我们提出了一个对抗攻击框架,旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地,我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外,我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明,在三个不同的连续控制Mujoco任务中,所提出的对抗攻击框架在推断数据时具有惊人的有效性,其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$,这在这方面引起了严重的隐私问题。最后,我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心)
本文针对分布强化学习的分位数时间差分学习,建立同步与异步QTD的函数中心极限定理,提出无需存储完整轨迹的在线推断方法,实现高效统计推断。
2026-10-19 cs.LG stat.ML
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University(波士顿大学)
针对离线安全强化学习在复杂时序逻辑任务中的不足,提出时序逻辑规范条件化Decision Transformer(SDT)框架,结合STL表达力与DT序列建模能力,在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime(商汤科技)
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些,一个随机的政策模型,是内在一致的,通过一段时间是在期望中,特别是对于任务,无论是稀疏的奖励或长期的信息。在这项工作中,我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索(NADPEx)-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量,被纳入强化学习策略,即使在奖励信号稀疏的情况下,也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素,即梯度与目标的一致性和策略空间的KL约束。我们的实验表明,NADPEx解决任务的稀疏奖励,而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Game-Theoretic Robust Reinforcement Learning Handles Temporally-Coupled Perturbations
University of Maryland, College Park(马里兰大学帕克分校);Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文针对时间耦合扰动下的强化学习鲁棒性问题,提出博弈论方法GRAD,将其建模为部分可观测双人零和博弈并求解近似均衡,实验证明该方法对多种攻击具有更强的鲁棒性。
2024-04-25 cs.AI cs.LG
Accelerated Reinforcement Learning for Temporal Logic Control Objectives
Washington University in St. Louis(圣路易斯华盛顿大学)
本文讨论了移动机器人的学习控制策略的问题,建模为未知的马尔可夫决策过程(MDP),这是任务与时间逻辑任务,如排序,覆盖,或监视。MDP捕捉工作空间结构和控制决策结果的不确定性。控制目标是合成一个控制策略,最大限度地提高完成一个高层次的任务,指定为线性时序逻辑(LTL)公式的概率。为了解决这个问题,我们提出了一种新的加速基于模型的强化学习(RL)算法的LTL控制目标,能够学习控制策略显着快于相关方法。它的采样效率依赖于偏向探索方向,可能有助于任务满意度。这是通过利用LTL任务的自动机表示以及不断学习的MDP模型来实现的。最后,我们提供了比较实验,证明了样本效率的建议方法对最近RL方法的LTL目标。
2022-07-12 cs.LG cs.RO
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University(麦吉尔大学);Mila(Mila(魁北克人工智能研究所));MIT(麻省理工学院);DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习(IRL)是一种仅从演示中恢复奖励函数的解决方案,但这些学习的奖励通常与环境的动态性有很大的\textit{entangled},因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中,我们利用这样一种方法,对抗逆强化学习(AIRL),提出了一种算法,学习分层解开奖励与政策的选项。我们表明,这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数,同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning
Indian Institute of Science(印度科学学院)
针对连续状态空间中STL规范鲁棒满足与可处理性难题,提出基于漏斗函数的可处理强化学习算法,学习时变策略,并在多个STL任务中验证其有效性。
2023-12-03 cs.AI cs.LG cs.SY
Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
Department of Computing, Imperial College London, UK(计算系,伦敦帝国学院)
针对传统强化学习路由依赖马尔可夫假设、未建模网络空间结构的问题,提出时空强化学习STRL框架,在非马尔可夫流量下训练与推理性能均显著优于基线。
2025-07-31 cs.AI cs.LG
Revisiting Temporal Regularization for Smooth Control in Deep Reinforcement Learning
Kyung Hee University(庆熙大学)
本研究重新审视时序正则化,证明其能提供空间平滑性,并提出CATS方法结合时序惩罚与线性渐进提升,在减少动作振荡的同时保持任务性能,经仿真和实物实验验证有效。
2026-11-09 cs.LG cs.RO
Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal Point Processes
Ant Group(蚂蚁集团);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们考虑一个序贯决策问题,代理面临的环境特征的随机离散事件,并寻求一个最优的干预政策,使其长期回报最大化。这个问题普遍存在于社交媒体、金融和健康信息学中,但在强化学习的传统研究中却很少被研究。为此,我们提出了一个新的框架,基于模型的强化学习代理的行动和意见是异步随机离散事件发生在连续时间。我们通过具有外部干预控制项的Hawkes过程来模拟环境的动态,并开发了一种算法来将这样的过程嵌入到Bellman方程中,该方程指导值梯度的方向。我们证明了我们的方法在合成模拟器和现实世界的问题的优越性。
2022-12-27 cs.AI cs.LG
Fixed-Horizon Temporal Difference Methods for Stable Reinforcement Learning
University of Alberta(阿尔伯塔大学);University of Toronto(多伦多大学);Huawei Technologies Canada, Ltd.(加拿大华为技术有限公司)
我们探讨了固定时域时间差(TD)方法,强化学习算法,用于一种新的值函数,该值函数预测$\textit{fixed}$数量的未来时间步长上的奖励之和。为了学习水平$h$的价值函数,这些算法从水平$h-1$或某个较短水平的价值函数引导。因为没有价值函数从自身引导,所以固定水平方法不受困扰其他使用函数近似的非策略TD方法的稳定性问题(也被称为“致命的三元组”)的影响。虽然固定时域方法需要存储额外的价值函数,但这为代理提供了额外的预测能力,而增加的复杂性可以通过并行更新、共享权重和$n$步自举来大幅降低。我们展示了如何使用固定水平值函数来解决强化学习问题,并与学习传统价值函数的Q学习等方法竞争。我们还证明了固定水平时间差分方法的线性和一般函数逼近的收敛性。两者合计,我们的研究结果建立固定地平线TD方法作为一个可行的新的方式,避免致命的三合会的稳定性问题。
2020-02-11 cs.AI cs.LG
A Temporal-Pattern Backdoor Attack to Deep Reinforcement Learning
Northwestern Polytechnical University(西北工业大学);Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院);Academy of Industrial Internet, Shaanxi Branch of China United Network Communications Group Co., Ltd.(中国联合网络通信集团有限公司陕西省分公司工业互联网研究院)
深度强化学习(Deep Reinforcement Learning,DRL)在许多实际应用中取得了显著的成就。但是,由于遮挡和噪声传感器,这些现实世界的应用通常只能提供部分观察结果来做出决策。然而,部分状态可观测性可以用来隐藏后门的恶意行为。本文研究了DRL的时序特性,提出了一种新的时间模式后门攻击,其触发器是对一系列观测值的时间约束,而不是单个观测值,攻击效果可以保持在一个可控的持续时间内,而不是瞬间。我们验证了我们提出的后门攻击在云计算的一个典型的作业调度任务。大量的实验结果表明,我们的后门可以实现出色的有效性,隐蔽性和可持续性。我们后门的平均干净数据准确率和攻击成功率分别可以达到97.8%和97.5%。
2022-05-05 cs.AI cs.LG
Systematic Generalisation through Task Temporal Logic and Deep Reinforcement Learning
Imperial College London(帝国理工学院)
这项工作介绍了一种神经符号代理,它将深度强化学习(DRL)与时序逻辑(TL)相结合,以实现系统性的zero-shot,即,前所未见的,正式指定指令的概括。特别是,我们提出了一个神经符号框架,其中一个符号模块转换TL规范的形式,有助于训练的DRL代理目标概括,而神经模块学习系统地解决给定的任务。我们研究了系统学习在不同环境中的出现,并发现卷积层的架构在推广到新指令时是关键。我们还提供了证据表明,系统学习可以出现抽象的运营商,如否定时,从几个训练样本,以前的研究一直在努力学习。
2021-09-13 cs.AI cs.LG stat.ML
Temporal Alignment for History Representation in Reinforcement Learning
University of Trento(特伦托大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
强化学习中的环境通常只能部分观察。为了解决这个问题,一个可能的解决方案是向代理提供有关过去的信息。然而,提供许多步骤的完整观察可能是过度的。受人类记忆的启发,我们建议只使用环境中的重要变化来表示历史,并且在我们的方法中,使用自我监督来自动获得这种表示。我们的方法(TempAl)对齐时间上接近的帧,揭示了环境的一般,缓慢变化的状态。这个过程是基于对比损失,它将附近观测值的嵌入拉到彼此,同时将其他样本从批次中推开。它可以被解释为一个度量,捕捉观测的时间关系。我们建议结合常见的瞬时和我们的历史表示,我们评估TempAl所有可用的雅达利游戏从街机学习环境。TempAl在49个环境中的35个环境中超过了仅瞬时基线。该方法和所有实验的源代码可在https://github.com/htdt/tempal获得。
2022-04-07 cs.AI cs.LG
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford(牛津大学)
我们提出了一个演员批评,无模型,和在线强化学习(RL)框架的连续状态连续动作马尔可夫决策过程(MDP)时,奖励是高度稀疏的,但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南,其中提出了模块化深度确定性策略梯度(DDPG)架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中,我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
A Scalable Finite Difference Method for Deep Reinforcement Learning
Massachusetts General Hospital(麻省总医院)
有限差分家族中的几种低带宽分布式黑箱优化算法,如演化策略,最近已被证明在某些强化学习领域中执行几乎与定制的强化学习方法一样好。这些黑盒方法的一个缺点是,它们必须在每次更新时收集有关返回函数结构的信息,并且通常只能使用以当前参数为中心的分布中的信息。因此,当这些算法分布在许多机器上时,总运行时间的很大一部分可能花费在许多机器空闲的情况下,等待最终返回,然后等待计算更新。在这项工作中,我们介绍了一种新的方法,使用旧的数据在有限差分算法,产生一个可扩展的算法,避免显着的空闲时间或浪费计算。
2023-01-19 cs.AI cs.LG
STAS: Spatial-Temporal Return Decomposition for Multi-agent Reinforcement Learning
Renmin University of China(中国人民大学);Peking University(北京大学);King’s College London(伦敦国王学院);National Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能全国重点实验室)
提出STAS方法,通过将全局回报分解到各时间步并利用Shapley值和蒙特卡洛采样进行时空信用分配,有效解决了情景强化学习中的延迟奖励问题。
2024-01-04 cs.AI cs.LG
When Do Skills Help Reinforcement Learning? A Theoretical Analysis of Temporal Abstractions
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Stanford University(斯坦福大学)
本文针对有限动作空间下的确定性稀疏奖励环境,理论与实验刻画确定性技能的效用,指出状态方案可压缩性、探索收益及宏动作表达能力对RL性能的影响。
2024-06-12 cs.AI cs.LG
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School(孝感高级中学)
在这篇文章中,我们扩展了卷积限制玻尔兹曼机的传统框架,通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征,该乘法单元捕捉输入之间的关系。在许多情况下,两个以上的映射是强相关的,所以明智的做法是让乘法单元学习更多输入映射之间的关系,换句话说,找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序,我们开发了一种学习方法,其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Shielded Reinforcement Learning Under Dynamic Temporal Logic Constraints
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出一种结合序列控制屏障函数和无模型强化学习的框架,以满足复杂的时序逻辑任务,扩展了传统安全约束的应用范围。
2026-03-17 cs.LG cs.RO
Causal Explanation for Reinforcement Learning: Quantifying State and Temporal Importance
University of California, Davis(加利福尼亚大学戴维斯分校);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种因果解释机制,量化强化学习中状态对动作的因果重要性及其时间演化,并通过多种仿真环境验证其优于现有关联解释方法。
2023-06-30 cs.AI cs.LG
TIGER-MARL: Enhancing Multi-Agent Reinforcement Learning with Temporal Information through Graph-based Embeddings and Representations
University of Southern California(美国南加州大学);DEVCOM Army Research Office(国防部陆军研究办公室)
针对MARL方法忽略智能体交互时间演化的问题,本文提出TIGER框架,通过构建动态时间图并结合时间注意力编码器生成时间感知嵌入,在协调基准上持续优于基线,且经消融验证结构与时间因素的协同作用。
2025-11-11 cs.AI cs.LG
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning
McGill University(麦吉尔大学);Microsoft Research Montreal(微软研究院蒙特利尔分部);Université de Montréal(蒙特利尔大学);Mila(米拉研究所);Sony AI(索尼人工智能公司);Google DeepMind(谷歌DeepMind)
提出受人类意识启发的Skipper框架,通过时空抽象自动分解任务为子任务,以有向图代理问题端到端学习,在零样本泛化上优于现有分层规划方法。
2024-03-16 cs.AI cs.LG
Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning
UIUC(伊利诺伊大学厄巴纳-香槟分校);UT Austin(德克萨斯大学奥斯汀分校)
深度强化学习算法的最新进展在解决许多具有挑战性的现实问题方面显示出巨大的潜力和成功,包括围棋游戏和机器人应用。通常,这些算法需要精心设计的奖励函数来指导每个时间步的训练。然而,在现实世界中,设计这样的奖励函数并不简单,并且唯一可用的信号通常是在轨迹的末端获得的,也称为情节奖励或返回。在这项工作中,我们引入了一个新的算法的时间信用分配,学习分解的情节返回到每个时间步的轨迹使用深神经网络。利用该学习的奖励信号,可以显著提高情景强化学习的学习效率。特别是,我们发现,表达语言模型,如Transformer可以用于学习的重要性和依赖性的状态的轨迹,从而提供高质量和可解释的学习奖励信号。我们已经进行了广泛的实验,一组MuJoCo连续机车控制任务,只有情节的回报,并证明了我们的算法的有效性。
2019-05-31 cs.LG stat.ML
A Temporally Correlated Latent Exploration for Reinforcement Learning
School of EEE, Dankook University(檀国大学电气与电子工程学院)
针对内在奖励探索易受 Noisy TV 与随机性影响的问题,提出 TeCLE,通过动作条件潜在状态分布和时间相关性计算内在奖励,并在 Minigrid、Stochastic Atari 中验证其鲁棒性。
2024-12-06 cs.AI cs.LG
Deep reinforcement learning with time-scale invariant memory
本文将计算神经科学的尺度不变记忆模型整合到深度强化学习智能体中,使其在广泛时间尺度上实现稳健学习,展现出优于LSTM等架构的适应性。
2024-12-19 cs.AI cs.LG
A Game-Theoretic Spatio-Temporal Reinforcement Learning Framework for Collaborative Public Resource Allocation
针对公共资源分配中缺乏容量感知协作的问题,提出CPRA问题并构建GSTRL框架,通过势博弈理论逼近纳什均衡,捕捉时空动态,在真实数据集上表现优越。
2026-09-29 cs.CY cs.LG
Reinforcement Learning with Policy Mixture Model for Temporal Point Processes Clustering
Shanghai Jiao Tong University(上海交通大学);Georgia Institute of Technology(佐治亚理工学院)
时间点过程是一种描述时间上事件序列的表达工具。在本文中,我们采取了强化学习的观点,即假设所观察到的序列是从潜在的政策的混合物中产生的。其目的是在学习每个策略模型的同时,将具有不同时间模式的序列聚类到底层策略中。该模型的灵活性在于:(1)模型的所有组成部分都是网络,包括用于建模时间点过程强度函数的策略网络; ii)为了处理变长的事件序列,我们通过将观察到的序列分解成状态来求助于逆强化学习(RNN隐藏嵌入历史)和动作(到下一个事件的时间间隔)为了学习奖励函数,从而与在整个序列上使用诸如对数似然或Wasserstein距离的奖励的现有方法相比,实现更好的性能或增加的效率。我们采用期望最大化框架,E步估计每个序列的聚类标签,M步旨在学习相应的策略。大量的实验表明,我们的方法对国家的最先进的功效。
2019-06-28 cs.AI cs.LG stat.ML
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen(格罗宁根大学人工智能系)
本文发现深度强化学习中的迹介导峰值偏差(TMPB),揭示了其作为峰值-末端规则的机制基础,并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Skill Machines: Temporal Logic Skill Composition in Reinforcement Learning
School of Computer Science and Applied Mathematics(计算机科学与应用数学系);University of the Witwatersrand(威特沃特斯兰德大学)
提出技能机器框架,通过先学习技能原语再逻辑与时序组合,实现零样本满足时序逻辑规范,并在表格、视频游戏和连续控制环境中验证有效性。
2024-03-16 cs.LG cs.LO
Reinforcement Learning for Sampling on Temporal Medical Imaging Sequences
Amazon(亚马逊)
本文提出用双重深度Q学习和REINFORCE算法学习时间医学影像序列的最优采样策略,以加速MRI重建,并验证了强化学习在发现预训练重建器网络最优采样模式上的有效性。
2023-08-28 cs.LG eess.IV
Research on Short-Video Platform User Decision-Making via Multimodal Temporal Modeling and Reinforcement Learning
School of Media & Communication, Shanghai Jiaotong University(上海交通大学媒体与传播学院);Columbia University(哥伦比亚大学);McGill University(麦吉尔大学)
本文提出MT-DQN模型,通过融合Transformer、TGNN和DQN优化短视频推荐策略,实验显示其相比基线模型在F1、NDCG@5、MSE和MAE指标上均获显著提升。
2025-09-13 cs.IR cs.LG
TemporalPaD: a reinforcement-learning framework for temporal feature representation and dimension reduction
Jilin University(吉林大学);Guizhou Medical University(贵州医科大学)
TemporalPaD是一个基于Actor-Critic框架的端到端深度学习框架,通过强化学习与神经网络结合实现时间序列数据的特征表示与降维,在29个UCI数据集和真实DNA分类任务中验证了其有效性。
2024-09-27 cs.AI cs.LG q-bio.GN
Dynamical Priors as a Training Objective in Reinforcement Learning
Coimbatore Medical College Coimbatore, TN India(科伊巴托尔医学院,印度泰米尔纳德邦)
本文提出DP-RL框架,通过引入外部状态动态的辅助损失,控制强化学习策略的时间演化,促进时间结构化行为。
2026-04-23 cs.AI cs.LG
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);DeepMind(深度思维)
我们研究了强化学习(RL)与无奖励演示,在这种设置中,RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而,它无法获得这些代理人的奖励或目标,他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见,例如自动驾驶。为了有效地使用这些数据,我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习(IRL)算法,称为\emph{inverse temporal difference learning}(ITD),学习共享的状态特征,以及每个代理的后继特征和偏好向量,纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成,并通过演示实现了一种新的强化学习算法,称为$ΨΦ$ -学习(发音为“Sci-Fi”)。我们提供的$ΨΦ$学习的有效性的实证证据,作为一种方法,提高RL,IRL,模仿,和Few-Shot转移,并推导出最坏情况下的界限,其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
Reinforcement Logic Rule Learning for Temporal Point Processes
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Research(微软研究院);Peking University(北京大学)
本文提出将时间点过程与强化学习相结合,通过神经搜索策略增量生成可解释时间逻辑规则,以提升事件序列似然,并在合成与医疗数据上验证有效性。
2023-08-11 cs.AI cs.LG
STEMO: Early Spatio-temporal Forecasting with Multi-Objective Reinforcement Learning
Data61, CSIRO(Data61联邦科学与工业研究组织);RMIT University(皇家墨尔本理工大学);Xidian University(西安电子科技大学);Zhejiang University(浙江大学);University of New South Wales(新南威尔士大学)
针对预测任务中准确性与时效性的平衡难题,提出基于多目标强化学习的早期时空预测模型STEMO,可适配偏好确定预测时机,在三个真实数据集上性能优于现有方法。
2024-06-18 cs.AI cs.LG