Conditional Generative Modeling for High-dimensional Marked Temporal Point Processes
Amazon(亚马逊);Carnegie Mellon University(卡内基梅隆大学)
针对高维标记点过程建模中表征能力受限和计算挑战的问题,提出了一种基于条件生成器的事件生成框架,无需显式指定条件强度或概率密度,能高效捕获复杂动态并生成高质量后续事件,实验证明性能优于现有基线。
2025-01-18 cs.LG stat.ML
Differentiable Adversarial Attacks for Marked Temporal Point Processes
Indian Institute of Technology Bombay(印度孟买理工学院);University of Washington Seattle(华盛顿大学西雅图分校);Indian Institute of Technology Delhi(印度德里理工学院)
针对标记时间点过程,提出可微对抗攻击方案PERMTPP,通过置换与加噪最小化似然并保持序列距离,实验验证其攻防效能与低推理时间。
2025-01-17 cs.CR cs.LG stat.ML
Functional marked point processes -- A natural structure to unify spatio-temporal frameworks and to analyse dependent functional data
本文研究了函数标记点过程(FMPPs),它是指标记为某个(Polish)函数空间中的随机元的标记点过程.这样的标记可以表示例如空间路径或时间函数。为了能够考虑例如多变量FMPP,我们还为每个点附加了一个额外的欧几里德标记。我们指出如何FMPPs很自然地连接点过程框架与功能数据分析框架和地质统计框架。我们进一步表明,各种现有的模型都很好地适应了FMPP框架。此外,我们引入了一个新的家庭的汇总统计量,加权标记减少矩的措施,连同他们的非参数估计,以研究功能标记的功能。我们进一步展示了他们如何概括其他汇总统计数据,我们最终应用这些工具来分析人口结构,如人口演变和性别比例随着时间的推移,在西班牙各省。
2019-11-29 math.ST stat.CO stat.ME
The second-order analysis of marked spatio-temporal point processes, with an application to earthquake data
为了分析标记时空点过程(MSTPPs)中的相互作用,我们引入了一般非齐次二阶强度加权平稳MSTPPs的标记(交叉)二阶约化矩测度和K函数.这些汇总统计数据使我们能够量化不同标记类别的点之间的依赖性,这些统计数据取决于所选择的特定标记空间和标记参考度量。我们还仔细研究了汇总统计量如何在假设下减少,例如MSTPP是多变量和/或平稳的。设计了一种新的独立标记检验,并推导出所有统计量的无偏负抽样估计。此外,我们对待Voronoi强度估计MSTPP,并表明其无偏性。最后,这些新的统计分析著名的安达曼海地震数据集。我们发现,集群发生在主震和前/余震几乎所有的空间和时间尺度。此外,我们发现的证据表明,有条件的地震的时空位置,震级不表现出像一个iid序列。
2016-11-15 stat.ME
Flexible marked spatio-temporal point processes with applications to event sequences from association football
我们开发了一个新的家庭的标记点过程的标记Hawkes过程的特征属性专门的空间标记,提供了自由,指定一个不同的模型的发生时间。这可以通过标记和时间的联合分布的分解来实现,该分解允许在给定过程过滤和当前时间的情况下单独指定标记的条件分布。我们开发了一个贝叶斯框架的推理和预测,从这个家庭的标记点过程,可以自然地容纳过程和点特定的协变量信息,以驱动交叉激励,提供广泛的灵活性和适用性,在现实世界的过程建模。该框架在这里使用的建模在游戏中的事件序列,从足球,导致不仅在推理有关以前未量化的特征的游戏动态和提取事件特定的团队能力,而且在预测发生的事件的兴趣,如目标,角落或犯规在指定的时间间隔。
2022-10-17 stat.AP stat.ME
Model-Based Clustering of Football Event Sequences: A Marked Spatio-Temporal Point Process Mixture Approach
Univ. Rennes, Ensai, CNRS, CREST-UMR 9194(雷恩大学,ENSAI,法国国家科学研究中心,CREST);Ensai, IRMAR-UMR, CNRS 6625(ENSAI,IRMAR,法国国家科学研究中心);Université Bretagne Sud, UMR CNRS 6205, LMBA(南布列塔尼大学,CNRS联合研究实验室,LMBA);Univ. Rennes, Inria, M2S(雷恩大学,Inria(法国国家信息与自动化研究所),M2S)
针对足球事件序列聚类问题,提出基于标记时空点过程混合模型,通过GE算法估计参数并提取控球速度等指标,应用StatsBomb数据揭示雷恩队防守控球模式,支持战术分析与虚拟训练开发。
2025-11-18 stat.AP
Neural Spectral Marked Point Processes
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
自激点过程和互激点过程是机器学习和相关离散事件数据统计中的流行模型。迄今为止,大多数现有的模型假设平稳内核(包括经典的霍克斯过程)和简单的参数模型。具有复杂事件数据的现代应用需要更通用的点过程模型,除了时间和位置信息之外,该模型还可以包含事件的上下文信息(称为标记)。此外,这样的应用通常需要非平稳模型来捕获更复杂的时空依赖性。为了应对这些挑战,一个关键的问题是设计一个通用的影响核的点过程模型。在本文中,我们介绍了一种新的和一般的神经网络为基础的非平稳影响核处理复杂的离散事件数据,同时提供理论性能保证具有较高的表现力。我们证明了我们所提出的方法相比,最先进的合成和真实数据的优越性能。
2022-02-13 cs.LG stat.ML
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战,当任务是复杂的,具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中,我们使用时序逻辑,以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数,以提高勘探。我们整合了控制屏障功能,以保护探索和部署过程。我们开发了一个灵活的和可学习的系统,允许用户指定任务的目标和限制,在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Temporal Shift Reinforcement Learning
Iowa State University(爱荷华州立大学)
传统的基于图像的深度强化学习(DRL)算法所采用的函数逼近器通常缺乏时间学习组件,而是专注于学习空间组件。我们提出了一种技术,时间转移强化学习(TSRL),其中时间,以及空间组件联合学习。此外,TSRL不需要额外的参数来执行时间学习。我们表明,TSRL优于常用的帧堆叠启发式的Atari环境,我们测试,而击败SOTA的其中之一。这项调查对机器人技术和顺序决策领域具有影响。
2021-10-27 cs.LG
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心)
本文针对分布强化学习的分位数时间差分学习,建立同步与异步QTD的函数中心极限定理,提出无需存储完整轨迹的在线推断方法,实现高效统计推断。
2026-10-19 cs.LG stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University(麦吉尔大学);Mila(Mila(魁北克人工智能研究所));MIT(麻省理工学院);DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习(IRL)是一种仅从演示中恢复奖励函数的解决方案,但这些学习的奖励通常与环境的动态性有很大的\textit{entangled},因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中,我们利用这样一种方法,对抗逆强化学习(AIRL),提出了一种算法,学习分层解开奖励与政策的选项。我们表明,这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数,同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime(商汤科技)
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些,一个随机的政策模型,是内在一致的,通过一段时间是在期望中,特别是对于任务,无论是稀疏的奖励或长期的信息。在这项工作中,我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索(NADPEx)-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量,被纳入强化学习策略,即使在奖励信号稀疏的情况下,也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素,即梯度与目标的一致性和策略空间的KL约束。我们的实验表明,NADPEx解决任务的稀疏奖励,而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Hierarchical Reinforcement Learning for Temporal Pattern Prediction
Rutgers University(罗格斯大学)
本研究探索层次强化学习在时间序列预测中的应用,结合深度学习开发股票与车辆预测智能体,发现feudal reinforcement learning相比标准RL在训练速度、稳定性和精度上有显著提升,其关键在于多分辨率结构引入的时空抽象。
2023-10-09 cs.LG
Systematic Generalisation through Task Temporal Logic and Deep Reinforcement Learning
Imperial College London(帝国理工学院)
这项工作介绍了一种神经符号代理,它将深度强化学习(DRL)与时序逻辑(TL)相结合,以实现系统性的zero-shot,即,前所未见的,正式指定指令的概括。特别是,我们提出了一个神经符号框架,其中一个符号模块转换TL规范的形式,有助于训练的DRL代理目标概括,而神经模块学习系统地解决给定的任务。我们研究了系统学习在不同环境中的出现,并发现卷积层的架构在推广到新指令时是关键。我们还提供了证据表明,系统学习可以出现抽象的运营商,如否定时,从几个训练样本,以前的研究一直在努力学习。
2021-09-13 cs.AI cs.LG stat.ML
Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning
UIUC(伊利诺伊大学厄巴纳-香槟分校);UT Austin(德克萨斯大学奥斯汀分校)
深度强化学习算法的最新进展在解决许多具有挑战性的现实问题方面显示出巨大的潜力和成功,包括围棋游戏和机器人应用。通常,这些算法需要精心设计的奖励函数来指导每个时间步的训练。然而,在现实世界中,设计这样的奖励函数并不简单,并且唯一可用的信号通常是在轨迹的末端获得的,也称为情节奖励或返回。在这项工作中,我们引入了一个新的算法的时间信用分配,学习分解的情节返回到每个时间步的轨迹使用深神经网络。利用该学习的奖励信号,可以显著提高情景强化学习的学习效率。特别是,我们发现,表达语言模型,如Transformer可以用于学习的重要性和依赖性的状态的轨迹,从而提供高质量和可解释的学习奖励信号。我们已经进行了广泛的实验,一组MuJoCo连续机车控制任务,只有情节的回报,并证明了我们的算法的有效性。
2019-05-31 cs.LG stat.ML
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School(孝感高级中学)
在这篇文章中,我们扩展了卷积限制玻尔兹曼机的传统框架,通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征,该乘法单元捕捉输入之间的关系。在许多情况下,两个以上的映射是强相关的,所以明智的做法是让乘法单元学习更多输入映射之间的关系,换句话说,找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序,我们开发了一种学习方法,其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Reinforcement Learning with Policy Mixture Model for Temporal Point Processes Clustering
Shanghai Jiao Tong University(上海交通大学);Georgia Institute of Technology(佐治亚理工学院)
时间点过程是一种描述时间上事件序列的表达工具。在本文中,我们采取了强化学习的观点,即假设所观察到的序列是从潜在的政策的混合物中产生的。其目的是在学习每个策略模型的同时,将具有不同时间模式的序列聚类到底层策略中。该模型的灵活性在于:(1)模型的所有组成部分都是网络,包括用于建模时间点过程强度函数的策略网络; ii)为了处理变长的事件序列,我们通过将观察到的序列分解成状态来求助于逆强化学习(RNN隐藏嵌入历史)和动作(到下一个事件的时间间隔)为了学习奖励函数,从而与在整个序列上使用诸如对数似然或Wasserstein距离的奖励的现有方法相比,实现更好的性能或增加的效率。我们采用期望最大化框架,E步估计每个序列的聚类标签,M步旨在学习相应的策略。大量的实验表明,我们的方法对国家的最先进的功效。
2019-06-28 cs.AI cs.LG stat.ML
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford(牛津大学)
我们提出了一个演员批评,无模型,和在线强化学习(RL)框架的连续状态连续动作马尔可夫决策过程(MDP)时,奖励是高度稀疏的,但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南,其中提出了模块化深度确定性策略梯度(DDPG)架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中,我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
Reinforcement Learning for Autonomous Driving with Latent State Inference and Spatial-Temporal Relationships
Honda Research Institute US(美国本田研究所);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
深度强化学习(DRL)为复杂自动驾驶场景中的导航学习提供了一种很有前途的方法。然而,识别可能表明截然不同结果的微妙线索仍然是设计在人类环境中运行的自主系统的一个开放性问题。在这项工作中,我们表明,明确推断的潜在状态和编码的时空关系的强化学习框架可以帮助解决这个困难。我们通过一个框架,结合了强化学习者与监督学习者的潜在状态编码先验知识的其他驱动程序。此外,我们通过图神经网络(GNNs)对不同车辆之间的影响进行建模。与最先进的基线方法相比,所提出的框架显着提高了在T形交叉口导航的性能。
2021-03-24 cs.LG
TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios
Northeastern University(东北大学);Zhejiang University(浙江大学);Aalborg University(奥胡斯大学)
TCRL通过引入时序耦合对抗训练框架,解决传统方法在处理时序耦合扰动时的不足,提升约束强化学习在最坏情况下的鲁棒性。
2026-02-13 cs.LG
Spatio-temporal Shared-Field Modeling of Beluga and Bowhead Whale Sightings Using a Joint Marked Log-Gaussian Cox Process
Virginia Commonwealth University(弗吉尼亚联邦大学)
本文提出了一种联合标记Log-Gaussian Cox过程模型,用于分析Beluga和Bowhead鲸在北极的时空分布及群大小,通过共享空间场捕捉物种共性并考虑环境因素影响。
2025-12-06 stat.AP
Deep reinforcement learning under signal temporal logic constraints using Lagrangian relaxation
Osaka University(大阪大学);Graduate School of Engineering Science(工程科学研究生院)
深度强化学习(Deep Reinforcement Learning,DRL)作为一种在没有系统数学模型的情况下解决最优控制问题的方法,引起了广泛的关注。另一方面,在一般情况下,约束可以施加在最优控制问题上。在本研究中,我们考虑最优控制问题的约束,以完成时间控制任务。我们使用信号时序逻辑(STL),这是有用的时间敏感的控制任务,因为它可以指定连续的信号在有限的时间间隔内的约束。为了处理STL的约束,我们引入了一个扩展的约束马尔可夫决策过程(CMDP),这是一个$τ$ -CMDP。我们将STL约束最优控制问题表示为$τ$ -CMDP,并利用拉格朗日松弛法提出了一种两阶段约束DRL算法。通过仿真,我们也证明了所提出的算法的学习性能。
2022-11-19 cs.LG cs.SY eess.SY
TD or not TD: Analyzing the Role of Temporal Differencing in Deep Reinforcement Learning
University of Freiburg(弗莱堡大学);Intel Labs(英特尔实验室)
我们对强化学习(RL)的理解是由几十年前使用表格表示和线性函数逼近器获得的理论和经验结果形成的。这些结果表明,RL方法,使用时间差分(TD)优于直接蒙特卡罗估计(MC)。这些结果在深度强化学习中如何保持,深度强化学习处理感知复杂的环境和深度非线性模型?在本文中,我们重新审视TD在现代深度RL中的作用,使用专门设计的环境来控制影响性能的特定因素,例如奖励稀疏性,奖励延迟和任务的感知复杂性。当比较TD与无限时域MC时,我们能够在现代环境中重现经典结果。然而,我们也发现,有限时域MC并不比TD差,即使在奖励稀疏或延迟。这使得MC成为深度RL中TD的可行替代方案。
2018-06-04 cs.AI cs.LG stat.ML
Learning Temporal Point Processes via Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Ant Financial(蚂蚁金服);Google Brain(谷歌大脑)
社会商品,如医疗保健,智能城市和信息网络,通常会在连续的时间内产生有序的事件数据。这些事件数据的生成过程可能非常复杂,需要灵活的模型来捕捉它们的动态。时态点过程为事件数据建模提供了一个优雅的框架,而无需离散时间。然而,现有的最大似然估计(MLE)学习范式需要事先手工制作强度函数,并且不能在训练过程中直接监控估计模型的拟合优度。为了减轻MLE中模型错误指定的风险,我们建议从生成模型中生成样本,并在训练过程中监控样本的质量,直到样本和真实数据无法区分。我们从强化学习(RL)中获得灵感,并将每个事件的生成视为随机策略所采取的行动。我们参数化的政策作为一个灵活的循环神经网络,并逐步改善的政策,以模仿观察到的事件分布。由于奖励函数在这种情况下是未知的,我们发现了一个分析和非参数形式的奖励函数使用逆强化学习制定。这个新的RL框架使我们能够推导出一个有效的策略梯度算法来学习灵活的点过程模型,我们表明,它在合成和真实数据中表现良好。
2020-12-26 cs.LG stat.ML
HTMRL: Biologically Plausible Reinforcement Learning with Hierarchical Temporal Memory
University of Antwerp - imec IDLab(安特卫普大学 - imec IDLab)
构建能够适应不断变化的任务的强化学习(RL)算法是一个开放的研究挑战。已知固有地很好地处理这种非平稳输入模式的一种技术是分层时间记忆(HTM),其是用于人类新皮层的一般的和生物学上合理的计算模型。由于RL范式受到人类学习的启发,HTM是支持非平稳环境的RL算法的自然框架。在本文中,我们提出了HTMRL,第一个严格基于HTML的RL算法。我们的经验和统计表明,HTMRL的规模,许多国家和行动,并证明HTM的能力,以适应不断变化的模式延伸到RL。具体来说,HTMRL在750步后对10臂强盗表现良好,但只需要三分之一的步骤来适应强盗突然洗牌的手臂。HTMRL是一种新的RL方法的第一次迭代,有可能扩展到Meta-RL的一个有能力的算法。
2020-09-18 cs.AI cs.LG stat.ML
Transformers Can Learn Temporal Difference Methods for In-Context Reinforcement Learning
University of Virginia(弗吉尼亚大学);MIT(麻省理工学院);Boston University(波士顿大学)
本文通过实证和理论证明,Transformer在策略评估任务训练中,其前向传播能够发现并实现时序差分学习算法,从而支持上下文强化学习(ICRL)中预训练网络前向传播实现RL算法的假设。
2025-02-24 cs.LG
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning
Indian Institute of Science(印度科学学院)
针对连续状态空间中STL规范鲁棒满足与可处理性难题,提出基于漏斗函数的可处理强化学习算法,学习时变策略,并在多个STL任务中验证其有效性。
2023-12-03 cs.AI cs.LG cs.SY
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊);Sony AI(索尼AI)
在连续任务中,平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样,在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而,据我们所知,奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架,并证明了在标准假设下,可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要,我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数,在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下,与相关基线相比,整形加快了平均奖励学习率,而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司);DeepMind(深度思维)
虽然在深度强化学习领域已经取得了重大的研究进展,但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中,攻击者将收集的输入数据集作为目标,深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距,我们提出了一个对抗攻击框架,旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地,我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外,我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明,在三个不同的连续控制Mujoco任务中,所提出的对抗攻击框架在推断数据时具有惊人的有效性,其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$,这在这方面引起了严重的隐私问题。最后,我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Tractable Reinforcement Learning of Signal Temporal Logic Objectives
University of Minnesota(明尼苏达大学)
信号时序逻辑(STL)是一种表达语言,用于指定有时限的真实世界机器人任务和安全规范。最近,人们对通过强化学习(RL)学习最优策略以满足STL规范产生了兴趣。学习满足STL规范通常需要足够长的状态历史来计算奖励和下一个动作。对历史的需要导致学习问题的指数状态空间增长。因此,对于大多数现实世界的应用来说,学习问题在计算上变得难以处理。在本文中,我们提出了一个紧凑的方法来捕捉状态历史的一个新的增广状态空间表示。提出了一个近似的目标(最大化满意概率),并解决了在新的增广状态空间。我们显示的近似解决方案的性能范围,并通过模拟与现有技术的解决方案进行比较。
2020-02-17 cs.AI cs.LG cs.RO
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University(波士顿大学)
针对离线安全强化学习在复杂时序逻辑任务中的不足,提出时序逻辑规范条件化Decision Transformer(SDT)框架,结合STL表达力与DT序列建模能力,在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Temporal Consistency Improves Generalization in Contextual Offline Meta Reinforcement Learning
Aalto University(阿alto大学);University of Edinburgh(爱丁堡大学)
本文提出上下文潜在世界模型,通过联合训练潜在世界模型和上下文编码器,提升任务表示的表达能力,从而增强跨任务泛化性能。
2026-09-09 cs.LG
Game-Theoretic Robust Reinforcement Learning Handles Temporally-Coupled Perturbations
University of Maryland, College Park(马里兰大学帕克分校);Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文针对时间耦合扰动下的强化学习鲁棒性问题,提出博弈论方法GRAD,将其建模为部分可观测双人零和博弈并求解近似均衡,实验证明该方法对多种攻击具有更强的鲁棒性。
2024-04-25 cs.AI cs.LG
Accelerated Reinforcement Learning for Temporal Logic Control Objectives
Washington University in St. Louis(圣路易斯华盛顿大学)
本文讨论了移动机器人的学习控制策略的问题,建模为未知的马尔可夫决策过程(MDP),这是任务与时间逻辑任务,如排序,覆盖,或监视。MDP捕捉工作空间结构和控制决策结果的不确定性。控制目标是合成一个控制策略,最大限度地提高完成一个高层次的任务,指定为线性时序逻辑(LTL)公式的概率。为了解决这个问题,我们提出了一种新的加速基于模型的强化学习(RL)算法的LTL控制目标,能够学习控制策略显着快于相关方法。它的采样效率依赖于偏向探索方向,可能有助于任务满意度。这是通过利用LTL任务的自动机表示以及不断学习的MDP模型来实现的。最后,我们提供了比较实验,证明了样本效率的建议方法对最近RL方法的LTL目标。
2022-07-12 cs.LG cs.RO
A Unified Approach for Multi-step Temporal-Difference Learning with Eligibility Traces in Reinforcement Learning
Zhejiang University(浙江大学)
最近,一个新的多步时间学习算法,称为$Q(σ)$,统一$n$ -步骤树备份(当$σ=0$)和$n$ -步骤Sarsa(当$σ=1$)通过引入一个采样参数$σ$。然而,与其他多步时间差学习算法类似,$Q(σ)$需要大量的内存消耗和计算时间。合格性跟踪是将离线更新转换为高效的在线更新的一种重要机制。本文对原有的$Q(σ)$进行了进一步的改进,将其与资格迹相结合,提出了一种新的算法$Q(σ,λ)$,其中$λ$是迹衰减参数。这个想法统一了Sarsa $(λ)$(当$σ=1$)和$Q^π(λ)$(当$σ=0$)。此外,我们还给出了$Q(σ,λ)$策略评估算法的误差上界。我们证明了$Q(σ,λ)$控制算法可以指数收敛到最优值函数。我们还将其与传统的时间差学习方法进行了实证比较。结果表明,使用中间值$σ$,$Q(σ,λ)$创建了现有算法的混合,可以比极端($σ=0$或$1$)更快地学习最佳值。
2018-02-09 cs.AI cs.LG stat.ML
A Temporal Difference Reinforcement Learning Theory of Emotion: unifying emotion, cognition and adaptive behavior
TU Delft(代尔夫特理工大学)
情绪与动机和行为的适应性密切相关,许多动物物种在其行为中表现出情绪的证据。因此,情绪必须与帮助生存的强大机制有关,而且情绪必须是进化的连续现象。情绪是如何以及为什么在自然界中进化的,事件是如何得到情感评价的,情绪如何与认知复杂性相关,以及它们如何影响行为和学习?在这篇文章中,我认为所有的情绪都是奖励处理的表现,特别是时间差异(TD)错误评估。强化学习(Reinforcement Learning,RL)是一种通过探索和反馈来学习面向目标任务的强大计算模型。有证据表明,类RL过程存在于许多动物物种中。强化学习中反馈处理的关键是TD错误的概念,即与先前预期的情况相比,评估情况变得更好或更糟(或者,新证据导致的效用或福祉的估计增益或损失)。我提出了一个TDRL情绪理论,并讨论了它对我们理解人类,动物和机器情绪的影响,并提出了心理学,神经生物学和计算证据支持。
2018-07-24 cs.AI cs.LG stat.ML
Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation
BCS, MIT(麻省理工学院脑与认知科学系);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
在稀疏反馈环境中学习目标导向行为是强化学习算法的主要挑战。主要的困难是由于探索不足,导致代理无法学习鲁棒的价值函数。内在动机的代理人可以探索新的行为本身的缘故,而不是直接解决问题。这种内在行为最终可以帮助智能体解决环境带来的任务。我们提出了层次DQN(h-DQN),一个框架,集成层次价值函数,在不同的时间尺度上操作,具有内在动机的深度强化学习。顶级价值函数学习内在目标上的策略,而低级函数学习原子操作上的策略以满足给定目标。h-DQN允许灵活的目标规范,例如实体和关系上的函数。这为复杂环境中的探索提供了有效的空间。我们证明了我们的方法在两个问题上的强度非常稀疏,延迟反馈:(1)一个复杂的离散随机决策过程,(2)经典的ATARI游戏'蒙特祖玛的Restaurant'。
2016-05-31 cs.AI cs.CV cs.LG
Instructed Diffuser with Temporal Condition Guidance for Offline Reinforcement Learning
University of Maryland(马里兰大学);Lehigh University(理海大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
针对离线强化学习中扩散模型难利用序列时序信息提升生成质量的问题,提出时序可组合扩散器TCD,通过三类不重叠时序条件引导生成,在离线RL任务上达到或持平SOTA性能。
2023-06-08 cs.LG
Temporal-Causal Inference for Reinforcement Learning via Automata Learning
Research Center Trustworthy Data Science and Security, TU Dortmund University(多特蒙德工业大学可信数据科学与安全研究中心);School for Engineering of Matter, Transport, and Energy at Arizona State University(亚利桑那州立大学物质、运输与能源工程学院)
提出TCIRL框架,通过自动机学习推断隐藏时间模式导致的相变原因,联合学习策略,实验验证其恢复正确DFA并匹配全信息基线。
2026-11-03 cs.LG
Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
Department of Computing, Imperial College London, UK(计算系,伦敦帝国学院)
针对传统强化学习路由依赖马尔可夫假设、未建模网络空间结构的问题,提出时空强化学习STRL框架,在非马尔可夫流量下训练与推理性能均显著优于基线。
2025-07-31 cs.AI cs.LG
Optimal Transport-Guided Safety in Temporal Difference Reinforcement Learning
Department of Mechanical Engineering, Rochester Institute of Technology(机械工程系,罗切斯特理工学院)
针对强化学习常忽略安全性的问题,提出一种基于最优传输理论量化行动不确定性的时序差分算法,将不确定性评分融入决策目标,理论证明可降低不安全状态访问概率,实验验证其在保障安全的同时维持性能。
2025-06-14 cs.LG
Loss Dynamics of Temporal Difference Reinforcement Learning
John Paulson School of Engineering and Applied Sciences(约翰·保尔森工程与应用科学学院);Center for Brain Science(脑科学中心);Kempner Institute for the Study of Natural & Artificial Intelligence(肯普纳自然与人工智能研究所);Harvard University(哈佛大学)
该研究运用统计物理概念研究线性函数逼近器下时序差分强化学习的损失动力学,揭示半梯度噪声导致值误差平台期,分析相关影响因素与优化策略,为强化学习动力学理论提供新工具与新方向。
2023-11-07 cond-mat.dis-nn cs.AI cs.LG
TEACH: Temporal Variance-Driven Curriculum for Reinforcement Learning
IIT Kanpur(印度理工学院坎普尔分校)
TEACH提出基于时间方差的课程学习方法,通过动态优先选择高不确定性目标,提升多目标强化学习的样本效率和策略学习效率。
2025-12-28 cs.LG
InferNet for Delayed Reinforcement Tasks: Addressing the Temporal Credit Assignment Problem
North Carolina State University(北卡罗来纳州立大学)
时态信用分配问题是人工智能领域中一个著名的、具有挑战性的问题。虽然强化学习(RL),特别是深度RL,在即时奖励可用时工作良好,但当只有延迟奖励可用或奖励函数有噪声时,它可能会失败。在这项工作中,我们建议委托CAP到一个基于神经网络的算法命名为Infernet,明确学习推断延迟奖励的即时奖励。InferNet的有效性在两个在线RL任务上进行了评估:一个简单的GridWorld和40个Atari游戏;以及两个离线RL任务:GridWorld和现实生活中的败血症治疗任务。对于所有任务,使用InferNet推断奖励的有效性与两种设置的即时和延迟奖励进行比较:有噪声奖励和无噪声奖励。总的来说,我们的研究结果表明,InferNet的有效性对噪声奖励函数是鲁棒的,并且是一种有效的附加机制,用于在广泛的RL任务中解决时间CAP,从经典的RL模拟环境到现实世界的RL问题,以及在线和离线学习。
2021-05-02 cs.LG
Revisiting Temporal Regularization for Smooth Control in Deep Reinforcement Learning
Kyung Hee University(庆熙大学)
本研究重新审视时序正则化,证明其能提供空间平滑性,并提出CATS方法结合时序惩罚与线性渐进提升,在减少动作振荡的同时保持任务性能,经仿真和实物实验验证有效。
2026-11-09 cs.LG cs.RO
DynaMITE-RL: A Dynamic Model for Improved Temporal Meta-Reinforcement Learning
University of Southern California(南加州大学);Google Research(谷歌研究院);Google Deepmind(谷歌DeepMind)
针对潜在状态演化速率可变环境的近似推理问题,提出元强化学习方法DynaMITE-RL,通过会话建模及三项关键修改,在多领域显著提升样本效率与推理回报,优于现有基线。
2024-12-04 cs.LG
Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal Point Processes
Ant Group(蚂蚁集团);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们考虑一个序贯决策问题,代理面临的环境特征的随机离散事件,并寻求一个最优的干预政策,使其长期回报最大化。这个问题普遍存在于社交媒体、金融和健康信息学中,但在强化学习的传统研究中却很少被研究。为此,我们提出了一个新的框架,基于模型的强化学习代理的行动和意见是异步随机离散事件发生在连续时间。我们通过具有外部干预控制项的Hawkes过程来模拟环境的动态,并开发了一种算法来将这样的过程嵌入到Bellman方程中,该方程指导值梯度的方向。我们证明了我们的方法在合成模拟器和现实世界的问题的优越性。
2022-12-27 cs.AI cs.LG
Fixed-Horizon Temporal Difference Methods for Stable Reinforcement Learning
University of Alberta(阿尔伯塔大学);University of Toronto(多伦多大学);Huawei Technologies Canada, Ltd.(加拿大华为技术有限公司)
我们探讨了固定时域时间差(TD)方法,强化学习算法,用于一种新的值函数,该值函数预测$\textit{fixed}$数量的未来时间步长上的奖励之和。为了学习水平$h$的价值函数,这些算法从水平$h-1$或某个较短水平的价值函数引导。因为没有价值函数从自身引导,所以固定水平方法不受困扰其他使用函数近似的非策略TD方法的稳定性问题(也被称为“致命的三元组”)的影响。虽然固定时域方法需要存储额外的价值函数,但这为代理提供了额外的预测能力,而增加的复杂性可以通过并行更新、共享权重和$n$步自举来大幅降低。我们展示了如何使用固定水平值函数来解决强化学习问题,并与学习传统价值函数的Q学习等方法竞争。我们还证明了固定水平时间差分方法的线性和一般函数逼近的收敛性。两者合计,我们的研究结果建立固定地平线TD方法作为一个可行的新的方式,避免致命的三合会的稳定性问题。
2020-02-11 cs.AI cs.LG
TemporalPaD: a reinforcement-learning framework for temporal feature representation and dimension reduction
Jilin University(吉林大学);Guizhou Medical University(贵州医科大学)
TemporalPaD是一个基于Actor-Critic框架的端到端深度学习框架,通过强化学习与神经网络结合实现时间序列数据的特征表示与降维,在29个UCI数据集和真实DNA分类任务中验证了其有效性。
2024-09-27 cs.AI cs.LG q-bio.GN
A Temporal-Pattern Backdoor Attack to Deep Reinforcement Learning
Northwestern Polytechnical University(西北工业大学);Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院);Academy of Industrial Internet, Shaanxi Branch of China United Network Communications Group Co., Ltd.(中国联合网络通信集团有限公司陕西省分公司工业互联网研究院)
深度强化学习(Deep Reinforcement Learning,DRL)在许多实际应用中取得了显著的成就。但是,由于遮挡和噪声传感器,这些现实世界的应用通常只能提供部分观察结果来做出决策。然而,部分状态可观测性可以用来隐藏后门的恶意行为。本文研究了DRL的时序特性,提出了一种新的时间模式后门攻击,其触发器是对一系列观测值的时间约束,而不是单个观测值,攻击效果可以保持在一个可控的持续时间内,而不是瞬间。我们验证了我们提出的后门攻击在云计算的一个典型的作业调度任务。大量的实验结果表明,我们的后门可以实现出色的有效性,隐蔽性和可持续性。我们后门的平均干净数据准确率和攻击成功率分别可以达到97.8%和97.5%。
2022-05-05 cs.AI cs.LG
Deep Reinforcement Learning Based Networked Control with Network Delays for Signal Temporal Logic Specifications
Osaka University(大阪大学)
我们将深度强化学习(DRL)应用于具有网络延迟的网络控制器的设计,以完成由信号时序逻辑(STL)公式描述的时序控制任务。STL对于处理动力系统的有界时间区间规格说明是很有用的。一般而言,智能体不仅需要系统的当前状态,还需要系统的过去行为来确定满足给定STL公式的期望控制动作。此外,我们需要考虑网络延迟对数据传输的影响。因此,我们提出了一个扩展的马尔可夫决策过程,使用过去的系统状态和控制动作,这被称为一个$τd$ -MDP,使代理可以评估满意度的STL公式考虑网络延迟。之后,我们应用DRL算法设计一个网络控制器使用$τd$ -MDP。通过仿真,我们也证明了所提出的算法的学习性能。
2022-03-28 cs.LG cs.SY eess.SY
Temporal Alignment for History Representation in Reinforcement Learning
University of Trento(特伦托大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
强化学习中的环境通常只能部分观察。为了解决这个问题,一个可能的解决方案是向代理提供有关过去的信息。然而,提供许多步骤的完整观察可能是过度的。受人类记忆的启发,我们建议只使用环境中的重要变化来表示历史,并且在我们的方法中,使用自我监督来自动获得这种表示。我们的方法(TempAl)对齐时间上接近的帧,揭示了环境的一般,缓慢变化的状态。这个过程是基于对比损失,它将附近观测值的嵌入拉到彼此,同时将其他样本从批次中推开。它可以被解释为一个度量,捕捉观测的时间关系。我们建议结合常见的瞬时和我们的历史表示,我们评估TempAl所有可用的雅达利游戏从街机学习环境。TempAl在49个环境中的35个环境中超过了仅瞬时基线。该方法和所有实验的源代码可在https://github.com/htdt/tempal获得。
2022-04-07 cs.AI cs.LG
Reinforcement Learning for Temporal Logic Control Synthesis with Probabilistic Satisfaction Guarantees
University of Oxford(牛津大学);University of Pennsylvania(宾夕法尼亚大学)
强化学习(RL)已成为解决自动控制、计算机科学、经济学和生物学中复杂序列决策问题的一种有效方法。在本文中,我们提出了一个无模型的RL算法来合成控制策略,最大限度地满足高层次的控制目标的概率作为线性时序逻辑(LTL)公式。不确定性被认为是在工作空间的属性,工作空间的结构,和代理的行动,从而产生一个概率标记的马尔可夫决策过程(PL-MDP)与未知的图形结构和随机行为,这是更一般的情况下,比一个完全未知的MDP。我们首先将LTL规范转换为极限确定性Buchi自动机(LDBA),然后将其用于PL-MDP的即时产品中。此后,我们定义了一个同步的奖励功能的基础上接受条件的LDBA。最后,我们表明,RL算法提供了一个政策,最大限度地满足概率渐近。我们提供的实验结果表明,所提出的方法的效率。
2019-09-11 cs.LG cs.LO cs.SY
STAS: Spatial-Temporal Return Decomposition for Multi-agent Reinforcement Learning
Renmin University of China(中国人民大学);Peking University(北京大学);King’s College London(伦敦国王学院);National Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能全国重点实验室)
提出STAS方法,通过将全局回报分解到各时间步并利用Shapley值和蒙特卡洛采样进行时空信用分配,有效解决了情景强化学习中的延迟奖励问题。
2024-01-04 cs.AI cs.LG