A Temporal-Pattern Backdoor Attack to Deep Reinforcement Learning
Northwestern Polytechnical University（西北工业大学）；Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）；Academy of Industrial Internet, Shaanxi Branch of China United Network Communications Group Co., Ltd.（中国联合网络通信集团有限公司陕西省分公司工业互联网研究院）
深度强化学习（Deep Reinforcement Learning，DRL）在许多实际应用中取得了显著的成就。但是，由于遮挡和噪声传感器，这些现实世界的应用通常只能提供部分观察结果来做出决策。然而，部分状态可观测性可以用来隐藏后门的恶意行为。本文研究了DRL的时序特性，提出了一种新的时间模式后门攻击，其触发器是对一系列观测值的时间约束，而不是单个观测值，攻击效果可以保持在一个可控的持续时间内，而不是瞬间。我们验证了我们提出的后门攻击在云计算的一个典型的作业调度任务。大量的实验结果表明，我们的后门可以实现出色的有效性，隐蔽性和可持续性。我们后门的平均干净数据准确率和攻击成功率分别可以达到97.8%和97.5%。
2022-05-05 cs.AI cs.LG
Temporal Alignment for History Representation in Reinforcement Learning
University of Trento（特伦托大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
强化学习中的环境通常只能部分观察。为了解决这个问题，一个可能的解决方案是向代理提供有关过去的信息。然而，提供许多步骤的完整观察可能是过度的。受人类记忆的启发，我们建议只使用环境中的重要变化来表示历史，并且在我们的方法中，使用自我监督来自动获得这种表示。我们的方法（TempAl）对齐时间上接近的帧，揭示了环境的一般，缓慢变化的状态。这个过程是基于对比损失，它将附近观测值的嵌入拉到彼此，同时将其他样本从批次中推开。它可以被解释为一个度量，捕捉观测的时间关系。我们建议结合常见的瞬时和我们的历史表示，我们评估TempAl所有可用的雅达利游戏从街机学习环境。TempAl在49个环境中的35个环境中超过了仅瞬时基线。该方法和所有实验的源代码可在https://github.com/htdt/tempal获得。
2022-04-07 cs.AI cs.LG
STAS: Spatial-Temporal Return Decomposition for Multi-agent Reinforcement Learning
Renmin University of China（中国人民大学）；Peking University（北京大学）；King’s College London（伦敦国王学院）；National Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能全国重点实验室）
提出STAS方法，通过将全局回报分解到各时间步并利用Shapley值和蒙特卡洛采样进行时空信用分配，有效解决了情景强化学习中的延迟奖励问题。
2024-01-04 cs.AI cs.LG
When Do Skills Help Reinforcement Learning? A Theoretical Analysis of Temporal Abstractions
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Stanford University（斯坦福大学）
本文针对有限动作空间下的确定性稀疏奖励环境，理论与实验刻画确定性技能的效用，指出状态方案可压缩性、探索收益及宏动作表达能力对RL性能的影响。
2024-06-12 cs.AI cs.LG
Causal Explanation for Reinforcement Learning: Quantifying State and Temporal Importance
University of California, Davis（加利福尼亚大学戴维斯分校）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种因果解释机制，量化强化学习中状态对动作的因果重要性及其时间演化，并通过多种仿真环境验证其优于现有关联解释方法。
2023-06-30 cs.AI cs.LG
TIGER-MARL: Enhancing Multi-Agent Reinforcement Learning with Temporal Information through Graph-based Embeddings and Representations
University of Southern California（美国南加州大学）；DEVCOM Army Research Office（国防部陆军研究办公室）
针对MARL方法忽略智能体交互时间演化的问题，本文提出TIGER框架，通过构建动态时间图并结合时间注意力编码器生成时间感知嵌入，在协调基准上持续优于基线，且经消融验证结构与时间因素的协同作用。
2025-11-11 cs.AI cs.LG
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning
McGill University（麦吉尔大学）；Microsoft Research Montreal（微软研究院蒙特利尔分部）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Sony AI（索尼人工智能公司）；Google DeepMind（谷歌DeepMind）
提出受人类意识启发的Skipper框架，通过时空抽象自动分解任务为子任务，以有向图代理问题端到端学习，在零样本泛化上优于现有分层规划方法。
2024-03-16 cs.AI cs.LG
A Temporally Correlated Latent Exploration for Reinforcement Learning
School of EEE, Dankook University（檀国大学电气与电子工程学院）
针对内在奖励探索易受 Noisy TV 与随机性影响的问题，提出 TeCLE，通过动作条件潜在状态分布和时间相关性计算内在奖励，并在 Minigrid、Stochastic Atari 中验证其鲁棒性。
2024-12-06 cs.AI cs.LG
Deep reinforcement learning with time-scale invariant memory
本文将计算神经科学的尺度不变记忆模型整合到深度强化学习智能体中，使其在广泛时间尺度上实现稳健学习，展现出优于LSTM等架构的适应性。
2024-12-19 cs.AI cs.LG
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen（格罗宁根大学人工智能系）
本文发现深度强化学习中的迹介导峰值偏差（TMPB），揭示了其作为峰值-末端规则的机制基础，并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Temporal Shift Reinforcement Learning
Iowa State University（爱荷华州立大学）
传统的基于图像的深度强化学习（DRL）算法所采用的函数逼近器通常缺乏时间学习组件，而是专注于学习空间组件。我们提出了一种技术，时间转移强化学习（TSRL），其中时间，以及空间组件联合学习。此外，TSRL不需要额外的参数来执行时间学习。我们表明，TSRL优于常用的帧堆叠启发式的Atari环境，我们测试，而击败SOTA的其中之一。这项调查对机器人技术和顺序决策领域具有影响。
2021-10-27 cs.LG
Dynamical Priors as a Training Objective in Reinforcement Learning
Coimbatore Medical College Coimbatore, TN India（科伊巴托尔医学院，印度泰米尔纳德邦）
本文提出DP-RL框架，通过引入外部状态动态的辅助损失，控制强化学习策略的时间演化，促进时间结构化行为。
2026-04-23 cs.AI cs.LG
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；DeepMind（深度思维）
我们研究了强化学习（RL）与无奖励演示，在这种设置中，RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而，它无法获得这些代理人的奖励或目标，他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见，例如自动驾驶。为了有效地使用这些数据，我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习（IRL）算法，称为\emph{inverse temporal difference learning}（ITD），学习共享的状态特征，以及每个代理的后继特征和偏好向量，纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成，并通过演示实现了一种新的强化学习算法，称为$ΨΦ$ -学习（发音为“Sci-Fi”）。我们提供的$ΨΦ$学习的有效性的实证证据，作为一种方法，提高RL，IRL，模仿，和Few-Shot转移，并推导出最坏情况下的界限，其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
Reinforcement Logic Rule Learning for Temporal Point Processes
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Microsoft Research（微软研究院）；Peking University（北京大学）
本文提出将时间点过程与强化学习相结合，通过神经搜索策略增量生成可解释时间逻辑规则，以提升事件序列似然，并在合成与医疗数据上验证有效性。
2023-08-11 cs.AI cs.LG
STEMO: Early Spatio-temporal Forecasting with Multi-Objective Reinforcement Learning
Data61, CSIRO（Data61联邦科学与工业研究组织）；RMIT University（皇家墨尔本理工大学）；Xidian University（西安电子科技大学）；Zhejiang University（浙江大学）；University of New South Wales（新南威尔士大学）
针对预测任务中准确性与时效性的平衡难题，提出基于多目标强化学习的早期时空预测模型STEMO，可适配偏好确定预测时机，在三个真实数据集上性能优于现有方法。
2024-06-18 cs.AI cs.LG
Explainable Reinforcement Learning via Temporal Policy Decomposition
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Boston University（波士顿大学）
本文提出时间策略分解TPD，通过固定时间范围时序差分的离策略学习将价值函数分解为各步EFO，为RL动作提供准确、对比性的时间解释并辅助奖励函数微调。
2025-01-07 cs.AI cs.LG
Adaptive Multi-Horizon Reinforcement Learning
研究在复杂环境中强化学习的决策问题，提出自适应多时间尺度方法，能自适应选择和组合时间范围，无需手动调折扣因子，实验证明该方法可提高参数效率及增强适应性。
2026-07-30 cs.AI cs.LG
Learning Temporally-Consistent Representations for Data-Efficient Reinforcement Learning
Northwestern University（西北大学）；University of Edinburgh（爱丁堡大学）
深度强化学习（RL）代理存在于高维状态空间中，例如由图像组成的状态空间，具有相互关联的学习负担。智能体必须学习完成给定任务的动作选择策略，这要求它们学习状态空间的表示，以区分有用和无用的信息。奖励函数是RL代理接收的唯一监督反馈，这会导致表示学习瓶颈，表现为低样本效率。我们提出了$k$ -步潜伏期（KSL），一种新的表示学习方法，通过一个自我监督的辅助任务，其中代理学习递归预测状态空间的动作条件表示，强制执行时间一致性的表示。KSL学习的状态编码器产生低维表示，使RL任务的优化更具样本效率。总之，KSL在流行的PlaNet基准测试套件中产生了最先进的数据效率和渐近性能结果。我们的分析表明，KSL产生的编码器可以更好地概括训练期间未见过的新任务，并且它的表示与奖励的关系更紧密，对状态空间中的扰动更具不变性，并且在RL问题的时间轴上移动更平稳比其他方法（例如DrQ、RAD、CURL和SAC-AE）。
2021-10-11 cs.AI cs.LG
Self-Supervised Exploration via Temporal Inconsistency in Reinforcement Learning
National University of Defense Technology（国防科技大学）
本文针对稀疏外部奖励下的强化学习挑战，提出了一种受人类学习启发的内在奖励机制，通过自监督预测模型参数快照间的核范数时间不一致性及变分加权机制驱动探索，在基准环境中表现优于现有方法且无额外训练成本。
2023-06-27 cs.AI cs.LG
Quantifying Memory Use in Reinforcement Learning with Temporal Range
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；CSAIL, MIT（计算机科学与人工智能实验室，麻省理工学院）；ELLIS Institute Tübingen（图宾根大学ELLIS研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）
提出时间范围作为量化强化学习中内存使用的指标，通过分析时间窗口内输入序列对输出的一阶敏感度，评估策略的记忆依赖性。
2025-12-05 cs.AI cs.LG
Deep Reinforcement Learning and The Tale of Two Temporal Difference Errors
University of Toronto（多伦多大学）
本文探讨了时差误差的两种解释在深度强化学习中的差异，指出非线性架构可能导致两者数值不同，影响算法性能。
2026-03-23 cs.AI cs.LG
Expediting Reinforcement Learning by Incorporating Knowledge About Temporal Causality in the Environment
TU Dortmund University Research Center Trustworthy Data Science（图宾根大学可信数据科学与安全研究中心）
本文提出将基于时序逻辑的因果图融入奖励形式体系，以加速强化学习策略学习并支持任务规范迁移，并提供了收敛性理论证明和实验验证。
2025-10-17 cs.AI cs.LG
A New Error Temporal Difference Algorithm for Deep Reinforcement Learning in Microgrid Optimization
School of Computing, Newcastle University, Newcastle upon Tyne, NE4 5TG, UK（计算学院，新castle大学，newcastle upon tyne，ne4 5tg，uk）
本文提出一种新的误差时差算法，用于解决深度强化学习在微电网优化中的预测不确定性问题，通过仿真验证其有效性。
2025-11-22 cs.AI cs.LG
Hierarchical Reinforcement Learning for Temporal Pattern Prediction
Rutgers University（罗格斯大学）
本研究探索层次强化学习在时间序列预测中的应用，结合深度学习开发股票与车辆预测智能体，发现feudal reinforcement learning相比标准RL在训练速度、稳定性和精度上有显著提升，其关键在于多分辨率结构引入的时空抽象。
2023-10-09 cs.LG
Systematic Generalisation through Task Temporal Logic and Deep Reinforcement Learning
Imperial College London（帝国理工学院）
这项工作介绍了一种神经符号代理，它将深度强化学习（DRL）与时序逻辑（TL）相结合，以实现系统性的zero-shot，即，前所未见的，正式指定指令的概括。特别是，我们提出了一个神经符号框架，其中一个符号模块转换TL规范的形式，有助于训练的DRL代理目标概括，而神经模块学习系统地解决给定的任务。我们研究了系统学习在不同环境中的出现，并发现卷积层的架构在推广到新指令时是关键。我们还提供了证据表明，系统学习可以出现抽象的运营商，如否定时，从几个训练样本，以前的研究一直在努力学习。
2021-09-13 cs.AI cs.LG stat.ML
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School（孝感高级中学）
在这篇文章中，我们扩展了卷积限制玻尔兹曼机的传统框架，通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征，该乘法单元捕捉输入之间的关系。在许多情况下，两个以上的映射是强相关的，所以明智的做法是让乘法单元学习更多输入映射之间的关系，换句话说，找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序，我们开发了一种学习方法，其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning
Indian Institute of Science（印度科学学院）
针对连续状态空间中STL规范鲁棒满足与可处理性难题，提出基于漏斗函数的可处理强化学习算法，学习时变策略，并在多个STL任务中验证其有效性。
2023-12-03 cs.AI cs.LG cs.SY
Reinforcement Learning with Policy Mixture Model for Temporal Point Processes Clustering
Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
时间点过程是一种描述时间上事件序列的表达工具。在本文中，我们采取了强化学习的观点，即假设所观察到的序列是从潜在的政策的混合物中产生的。其目的是在学习每个策略模型的同时，将具有不同时间模式的序列聚类到底层策略中。该模型的灵活性在于：（1）模型的所有组成部分都是网络，包括用于建模时间点过程强度函数的策略网络; ii）为了处理变长的事件序列，我们通过将观察到的序列分解成状态来求助于逆强化学习（RNN隐藏嵌入历史）和动作（到下一个事件的时间间隔）为了学习奖励函数，从而与在整个序列上使用诸如对数似然或Wasserstein距离的奖励的现有方法相比，实现更好的性能或增加的效率。我们采用期望最大化框架，E步估计每个序列的聚类标签，M步旨在学习相应的策略。大量的实验表明，我们的方法对国家的最先进的功效。
2019-06-28 cs.AI cs.LG stat.ML
A Policy Search Method For Temporal Logic Specified Reinforcement Learning Tasks
奖励工程是强化学习的一个重要方面。用户的意图是否可以正确地封装在奖励函数中可以显著影响学习结果。目前的方法依赖于手动制作的奖励函数，通常需要参数调整以获得所需的行为。当探索需要系统与物理世界交互时，这种操作可能是昂贵的。在本文中，我们探讨了使用时序逻辑（TL）来指定强化学习中的任务。TL公式可以转换为一个实值函数，该函数衡量其对轨迹的满意度。我们利用这个功能，并提出了时序逻辑策略搜索（TLPS），一个无模型的学习技术，找到一个政策，满足TL规范。一组模拟实验进行评估所提出的方法。
2017-09-27 cs.AI
TemporalPaD: a reinforcement-learning framework for temporal feature representation and dimension reduction
Jilin University（吉林大学）；Guizhou Medical University（贵州医科大学）
TemporalPaD是一个基于Actor-Critic框架的端到端深度学习框架，通过强化学习与神经网络结合实现时间序列数据的特征表示与降维，在29个UCI数据集和真实DNA分类任务中验证了其有效性。
2024-09-27 cs.AI cs.LG q-bio.GN
Reinforcement Learning for Autonomous Driving with Latent State Inference and Spatial-Temporal Relationships
Honda Research Institute US（美国本田研究所）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（DRL）为复杂自动驾驶场景中的导航学习提供了一种很有前途的方法。然而，识别可能表明截然不同结果的微妙线索仍然是设计在人类环境中运行的自主系统的一个开放性问题。在这项工作中，我们表明，明确推断的潜在状态和编码的时空关系的强化学习框架可以帮助解决这个困难。我们通过一个框架，结合了强化学习者与监督学习者的潜在状态编码先验知识的其他驱动程序。此外，我们通过图神经网络（GNNs）对不同车辆之间的影响进行建模。与最先进的基线方法相比，所提出的框架显着提高了在T形交叉口导航的性能。
2021-03-24 cs.LG
TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios
Northeastern University（东北大学）；Zhejiang University（浙江大学）；Aalborg University（奥胡斯大学）
TCRL通过引入时序耦合对抗训练框架，解决传统方法在处理时序耦合扰动时的不足，提升约束强化学习在最坏情况下的鲁棒性。
2026-02-13 cs.LG
TD or not TD: Analyzing the Role of Temporal Differencing in Deep Reinforcement Learning
University of Freiburg（弗莱堡大学）；Intel Labs（英特尔实验室）
我们对强化学习（RL）的理解是由几十年前使用表格表示和线性函数逼近器获得的理论和经验结果形成的。这些结果表明，RL方法，使用时间差分（TD）优于直接蒙特卡罗估计（MC）。这些结果在深度强化学习中如何保持，深度强化学习处理感知复杂的环境和深度非线性模型？在本文中，我们重新审视TD在现代深度RL中的作用，使用专门设计的环境来控制影响性能的特定因素，例如奖励稀疏性，奖励延迟和任务的感知复杂性。当比较TD与无限时域MC时，我们能够在现代环境中重现经典结果。然而，我们也发现，有限时域MC并不比TD差，即使在奖励稀疏或延迟。这使得MC成为深度RL中TD的可行替代方案。
2018-06-04 cs.AI cs.LG stat.ML
Don't Watch Me: A Spatio-Temporal Trojan Attack on Deep-Reinforcement-Learning-Augment Autonomous Driving
Northwestern Polytechnical University（西北工业大学）
深度强化学习（Deep Reinforcement Learning，DRL）是实现自动驾驶（autonomous driving，AD）系统的最常用算法之一。DRL的关键成功因素是它包含了深度神经网络的感知能力，但已被证明易受特洛伊木马攻击。特洛伊木马攻击已经在监督学习（SL）任务（例如，图像分类），但很少在顺序决策任务解决的DRL。因此，在本文中，我们探讨木马攻击DRL AD任务。首先，我们提出了一种基于递归神经网络和注意力机制的时空DRL算法，证明了时空交通特征的捕获是DRL增强AD系统有效性和安全性的关键因素。然后，我们设计了一个时空特洛伊木马攻击DRL政策，触发器隐藏在一系列的空间和时间的流量特征，而不是一个单一的即时状态，在现有的特洛伊木马SL和DRL任务。使用我们的特洛伊木马，对手充当周围的正常车辆，可以通过特定的时空驾驶行为触发攻击，而不是物理或无线访问。通过大量的实验，我们发现，虽然捕获时空流量特征可以提高DRL针对不同AD任务的性能，但由于我们设计的特洛伊木马具有高度的隐蔽性（各种时空触发模式）、有效性（性能变化率小于3.1%，攻击成功率超过98.5%），并且可持续到现有的高级防御，因此它们会遭受特洛伊木马攻击。
2022-11-22 cs.AI cs.CR cs.LG
HTMRL: Biologically Plausible Reinforcement Learning with Hierarchical Temporal Memory
University of Antwerp - imec IDLab（安特卫普大学 - imec IDLab）
构建能够适应不断变化的任务的强化学习（RL）算法是一个开放的研究挑战。已知固有地很好地处理这种非平稳输入模式的一种技术是分层时间记忆（HTM），其是用于人类新皮层的一般的和生物学上合理的计算模型。由于RL范式受到人类学习的启发，HTM是支持非平稳环境的RL算法的自然框架。在本文中，我们提出了HTMRL，第一个严格基于HTML的RL算法。我们的经验和统计表明，HTMRL的规模，许多国家和行动，并证明HTM的能力，以适应不断变化的模式延伸到RL。具体来说，HTMRL在750步后对10臂强盗表现良好，但只需要三分之一的步骤来适应强盗突然洗牌的手臂。HTMRL是一种新的RL方法的第一次迭代，有可能扩展到Meta-RL的一个有能力的算法。
2020-09-18 cs.AI cs.LG stat.ML
Temporal-adaptive Hierarchical Reinforcement Learning
分层强化学习（HRL）有助于解决强化学习中的大规模和稀疏奖励问题。在HRL中，策略模型有一个按层次结构的内部表示。利用这种结构，强化学习任务有望被分解成具有子任务的相应级别，因此学习可以更有效。在HRL中，虽然直觉上高层策略只需要以较低的频率进行宏观决策，但准确的频率很难简单地确定。以前的HRL方法通常采用固定时间跳过策略或在不考虑上下文的情况下学习终端条件，然而，这不仅需要手动调整，而且还牺牲了一些决策粒度。在本文中，我们提出了\emph{temporal-adaptive hierarchical policy learning}（TEMPLE）的结构，它使用一个时间门自适应地控制高层决策频率。我们用PPO对TEMPLE结构进行训练，并在一系列环境中测试其性能，包括2-D房间、Mujoco任务和Atari游戏。结果表明，TEMPLE结构可以导致在这些环境中的顺序自适应高级控制的性能改善。
2020-02-06 cs.AI
Truncating Temporal Differences: On the Efficient Implementation of TD(lambda) for Reinforcement Learning
时间差分（TD）方法构成了一类用于在多步预测问题中学习预测的方法，由新近因子λ参数化。目前，这些方法最重要的应用是强化学习中的时间信用分配。众所周知的强化学习算法，例如AHC或Q学习，可以被视为TD学习的实例。本文研究了TD（lambda）的有效和通用的实现任意lambda的问题，用于强化学习算法优化的折扣和奖励。传统的方法，资格的痕迹的基础上，被认为是遭受低效率和缺乏通用性。TTD（截断时间差异）过程被提出作为一种替代方案，它实际上只近似TD（lambda），但每个动作只需要很少的计算，并且可以与任意函数表示方法一起使用。它所源自的想法相当简单，并不新颖，但迄今为止可能尚未探索。令人鼓舞的实验结果，这表明，使用λ> 0与TTD程序允许一个获得显着的学习加速在基本上相同的成本作为通常的TD（0）学习。
1995-01-01 cs.AI
Lifelong Reinforcement Learning with Temporal Logic Formulas and Reward Machines
Sun Yat-sen University（中山大学）
使用高级思想或知识不断学习新任务是人类的关键能力。在本文中，我们提出了终身强化学习与顺序线性时序逻辑公式和奖励机（LSRM），它使代理能够利用以前学到的知识，加快学习逻辑指定的任务。为了更灵活地描述任务，我们首先介绍了顺序线性时态逻辑（SLTL），它是对现有线性时态逻辑（LTL）形式语言的补充。然后，我们利用奖励机（RM）利用结构奖励功能的任务编码的高级别事件，并提出自动扩展RM和有效的知识转移任务的持续学习的生活。实验结果表明，LSRM学习方法在终身学习过程中，利用SLTL的任务分解和RM上的知识转移，优于从头开始学习目标任务的方法。
2021-11-18 cs.AI
Mission-driven Exploration for Accelerated Deep Reinforcement Learning with Temporal Logic Task Specifications
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Microsoft Research（微软研究院）；Vanderbilt University（范德比尔特大学）
本文提出一种任务驱动的深度Q学习算法，利用LTL自动机表示和部分环境模型指导探索，加速未知随机动力学下LTL任务策略学习，并在机器人导航实验中验证了效率提升。
2025-04-22 cs.AI cs.LG cs.RO
Control Synthesis from Linear Temporal Logic Specifications using Model-Free Reinforcement Learning
Duke University（杜克大学）
本文提出一种强化学习框架，用于在未知随机环境中基于线性时序逻辑规范合成控制策略，通过无模型强化学习最大化满足LTL公式概率，确保算法收敛至最优策略。
2020-03-05 cs.AI cs.LG cs.RO
Transformers Can Learn Temporal Difference Methods for In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；MIT（麻省理工学院）；Boston University（波士顿大学）
本文通过实证和理论证明，Transformer在策略评估任务训练中，其前向传播能够发现并实现时序差分学习算法，从而支持上下文强化学习（ICRL）中预训练网络前向传播实现RL算法的假设。
2025-02-24 cs.LG
Temporal Distance-aware Transition Augmentation for Offline Model-based Reinforcement Learning
Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学）；Department of Intelligent Semiconductors, Soongsil University, Seoul, South Korea（智能半导体系，顺斯大学）
针对离线基于模型强化学习在稀疏奖励长视野任务中表现不佳的问题，提出TempDATA框架，在时间结构化潜在空间生成增强转换并学习捕捉时间距离的潜在抽象，在多个基准上取得更优性能。
2025-05-19 cs.AI cs.LG cs.RO
Spatial-Temporal Interplay in Human Mobility: A Hierarchical Reinforcement Learning Approach with Hypergraph Representation
University of Macau（澳门大学）；Northeast Normal University（东北师范大学）；Dalian Maritime University（大连海事大学）
针对人类移动中时空权衡的个体差异，提出STI-HRL层次强化学习框架，结合超图嵌入捕捉时空交互，在真实数据集上超越现有方法。
2023-12-25 cs.AI cs.CY cs.LG
ActionSpotter: Deep Reinforcement Learning Framework for Temporal Action Spotting in Videos
ONERA（法国航空航天实验室）；Sorbonne Université（索邦大学）；Université Paris Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
摘要视频内容是许多应用中的重要任务。该任务可以定义为计算视频中存在的动作的有序列表。可以使用动作检测算法来提取这样的列表。然而，没有必要确定动作的时间边界来知道它们的存在。此外，定位精确的边界通常需要密集的视频分析才能有效。在这项工作中，我们建议通过稀疏浏览视频并选择每个动作实例的一帧来直接计算此有序列表，该任务在文献中称为动作定位。为了做到这一点，我们提出了一种定位算法，它利用深度强化学习来有效地定位动作，同时调整其视频浏览速度，而无需额外的监督。在数据集THUMOS 14和ActivityNet上进行的实验表明，我们的框架优于最先进的检测方法。特别是，THUMOS 14上的点样平均精度从59.7%显著提高到65.6%，同时跳过23%的视频。
2020-11-10 cs.AI cs.CV cs.LG
Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
本文考虑了多智能体强化学习（MARL）任务，其中智能体在一集结束时获得共享的全局奖励。这种奖励的延迟性质影响了代理人在中间时间步评估其行为质量的能力。本文的重点是开发方法来学习情节奖励的时间重新分配，以获得密集的奖励信号。解决这样的MARL问题需要解决两个挑战：识别（1）沿着事件长度（沿着时间）的状态的相对重要性，以及（2）在任何单个时间步（在代理之间）个体代理状态的相对重要性。在本文中，我们介绍了代理时间注意奖励再分配情节多智能体强化学习（AREL），以解决这两个挑战。AREL使用注意力机制来表征动作对沿轨迹的状态转换的影响（时间注意力），以及每个代理在每个时间步如何受到其他代理的影响（代理注意力）。由AREL预测的重新分配的奖励是密集的，并且可以与任何给定的MARL算法集成。我们从粒子世界环境和星际争霸多智能体挑战赛的挑战性任务来评估AREL。与三种最先进的奖励再分配方法相比，AREL在粒子世界中获得了更高的奖励，并提高了星际争霸的胜率。我们的代码可在https://github.com/baicenxiao/AREL上获得。
2022-01-12 cs.AI cs.LG cs.MA
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；Sony AI（索尼AI）
在连续任务中，平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样，在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而，据我们所知，奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架，并证明了在标准假设下，可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要，我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数，在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下，与相关基线相比，整形加快了平均奖励学习率，而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Inferring Causal Graph Temporal Logic Formulas to Expedite Reinforcement Learning in Temporally Extended Tasks
GTL-CIRL通过同时学习策略和挖掘因果图时序逻辑规范，加速时序扩展任务中的强化学习，提升学习效率和行为可验证性。
2026-01-06 cs.AI cs.LO
Temp-R1: A Unified Autonomous Agent for Complex Temporal KGQA via Reverse Curriculum Reinforcement Learning
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；ZJU-Ant Group Joint Lab of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室）
本文提出Temp-R1，首个通过强化学习训练的时间知识图谱问答自主代理，通过扩展动作空间和反向课程学习提升复杂问题的推理能力，在MultiTQ和TimelineKGQA上取得最佳性能。
2026-04-21 cs.AI cs.CL cs.LG
Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation
DAMO Academy, Alibaba Group（大模型学院，阿里巴巴集团）
本文提出层次强化学习框架 mccHRL，通过高层智能体建模用户长期感知、低层智能体处理短期兴趣变化，实现列表式推荐的时间抽象，并在模拟器和工业数据集上验证其优于多个基线。
2025-07-19 cs.AI cs.IR cs.LG
Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction
Tianjin University（天津大学）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）；Nanjing University（南京大学）
多智能体强化学习（MARL）通常被认为是遭受非平稳环境和指数增长的政策空间。当奖励稀疏且在长轨迹上延迟时，这将更具挑战性。在本文中，我们研究了层次深MARL在稀疏和延迟奖励的合作多智能体问题。随着时间的抽象，我们分解成不同的时间尺度的层次结构的问题，并研究如何代理可以学习高层次的协调的基础上学习的独立技能在低级别。提出了三种层次化的深度MARL体系结构，以学习不同MARL范式下的层次化策略。此外，我们提出了一个新的经验重放机制，以减轻问题的稀疏过渡在高层次的抽象和多智能体学习的非平稳性。我们在两个反馈非常稀疏的领域中实证了我们的方法的有效性：（1）各种多智能体垃圾收集任务，以及（2）具有挑战性的在线手机游戏，即，发烧篮球防守
2019-07-04 cs.AI cs.LG cs.MA
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford（牛津大学）
我们提出了一个演员批评，无模型，和在线强化学习（RL）框架的连续状态连续动作马尔可夫决策过程（MDP）时，奖励是高度稀疏的，但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南，其中提出了模块化深度确定性策略梯度（DDPG）架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中，我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
Outcome-directed Reinforcement Learning by Uncertainty & Temporal Distance-Aware Curriculum Goal Generation
Seoul National University（首尔国立大学）；Automation and Systems Research Institute（自动化与系统研究所）；Artificial Intelligence Institute of Seoul National University（首尔国立大学人工智能研究所）
当前的强化学习（RL）在解决一个具有挑战性的探索问题时经常会遇到困难，因为在这个问题上很少能观察到期望的结果或高回报。尽管课程强化学习（一种通过提出一系列替代任务来解决复杂任务的框架）显示出合理的结果，但由于缺乏在没有任何先验领域知识的情况下获得校准指导以达到所需结果状态的机制，大多数以前的作品仍然难以提出课程。为了缓解这一问题，我们提出了一个不确定性和时间距离感知的课程目标生成方法的结果导向RL通过解决一个二分匹配问题。与以往的课程强化学习方法相比，该方法不仅可以提供精确校准的课程目标引导，而且具有更好的样本效率和几何不可知的课程目标建议能力。我们证明了我们的算法在各种具有挑战性的导航任务和机器人操作任务中以定量和定性的方式显着优于这些先前的方法。
2023-02-20 cs.AI cs.LG cs.RO
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战，当任务是复杂的，具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中，我们使用时序逻辑，以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数，以提高勘探。我们整合了控制屏障功能，以保护探索和部署过程。我们开发了一个灵活的和可学习的系统，允许用户指定任务的目标和限制，在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Multi-Agent Reinforcement Learning with Temporal Logic Specifications
University of Oxford（牛津大学）；Monash University（莫纳什大学）
在本文中，我们研究的问题，学习满足时序逻辑规范与一组代理在一个未知的环境中，这可能会表现出概率行为。从学习的角度来看，这些规范提供了一个丰富的形式语言，捕捉任务或目标，而从逻辑和自动验证的角度来看，学习能力的引入允许在大型，随机，未知的环境中的实际应用。然而，这方面的现有工作是有限的。考虑完整的线性时序逻辑或具有正确性保证的框架中，所有方法到目前为止只考虑单个时序逻辑规范和单个代理的情况。为了克服这一局限性，我们开发了第一个多智能体强化学习技术的时序逻辑规范，这也是新颖的，它能够处理多个规格。即使使用函数逼近，我们也为我们的主要算法-- ALMANAC（自动机/逻辑多智能体自然演员-评论家）--提供正确性和收敛性保证。除了我们的理论结果，我们进一步证明了我们的技术的适用性，通过一组初步的实验。
2021-02-09 cs.AI cs.LG cs.LO
