Spatiotemporal Attention-Augmented Inverse Reinforcement Learning for Multi-Agent Task Allocation
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学智能自主系统上海研究院);Graz University of Technology(格拉茨技术大学);Virtual Vehicle Research GmbH(虚拟车辆研究公司)
本文提出一种基于时空注意力的逆强化学习框架,用于多智能体任务分配,通过约束奖励推断提升稳定性与效率。
2026-02-09 cs.LG cs.MA
Finding Efficient Swimming Strategies in a Three Dimensional Chaotic Flow by Reinforcement Learning
University of Gothenburg(哥德堡大学);University of Rome Tor Vergata(罗马第二大学);The Abdus Salam International Centre for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心)
我们应用强化学习算法来展示智能粒子如何学习近似最优的策略来在复杂的流中导航。在本文中,我们认为microswimmer在一个典型的三维情况下,由两个Arnold-Beltrami-Childress流沿流线的混沌平流的平稳叠加。在这样的流动中,我们研究了点状粒子的演化,这些粒子可以决定向哪个方向游泳,同时保持速度振幅恒定。我们表明,这是足够的赋予游泳者一组非常有限的行动(在我们的情况下,六个固定的游泳方向)有足够的自由,找到有效的策略,向上移动和逃避当地的流体陷阱。算法的关键要素是从经验中学习的结构,它根据所采取的行动在长期范围内对预定目标是否有利可图来分配积极或消极的奖励。这是另一个支持强化学习方法的效率的例子,以学习如何在复杂的流体环境中完成困难的任务。
2017-12-31 cond-mat.stat-mech cs.LG nlin.CD
Variational multiscale reinforcement learning for discovering reduced order closure models of nonlinear spatiotemporal transport systems
Oklahoma State University(俄克拉荷马州立大学);Norwegian University of Science and Technology(挪威科技大学);SINTEF Digital(SINTEF数字研究所)
众多科学应用的计算建模和仿真中的一个核心挑战是,由于潜在的高度非线性多尺度相互作用,实现其粗粒度表示的鲁棒性和准确性封闭。这些封闭模型在许多非线性时空系统中很常见,以考虑由于降阶表示引起的损失,包括流体中的许多输运现象。以前的数据驱动闭包建模工作主要集中在使用高保真仿真数据的监督学习方法上。另一方面,强化学习(RL)是时空扩展系统中一种功能强大但相对未知的方法。在这项研究中,我们提出了一个模块化的动态闭包建模和发现框架,以稳定的Galerkin投影的降阶模型,可能会出现在许多非线性时空动力系统的二次非线性。然而,创建鲁棒RL代理的关键要素是引入可行的奖励函数,该函数可以由RL模型和高保真仿真数据之间的任何差异度量构成。首先,我们引入了一个多模态强化学习(MMRL)发现模式依赖的封闭政策,利用高保真度的数据奖励我们的RL代理。然后,我们制定了一个变分多尺度RL(VMRL)的方法来发现封闭模型,而不需要访问高保真度的数据在设计的奖励函数。具体来说,我们的主要创新是利用变分多尺度形式主义来量化模态之间的差异在伽辽金系统的相互作用。对粘性Burgers方程的模拟结果表明,所提出的VMRL方法可以得到鲁棒且精确的闭包参数化,并有可能用于发现复杂动力系统的尺度感知闭包模型.
2022-07-07 cs.LG math.DS physics.flu-dyn
Deep Reinforcement Learning for IRS Phase Shift Design in Spatiotemporally Correlated Environments
Rutgers, The State University of New Jersey(罗格斯新泽西州立大学);Princeton University(普林斯顿大学)
本文研究了在时空相关信道环境下,目标可以在有限区域内移动的多输入单输出(MISO)通信系统中智能反射面(IRS)移相器的设计问题。我们的目标是最大限度地提高预期的总和信噪比在接收器在无限的时间范围。问题的制定产生了一个马尔可夫决策过程(MDP)。我们提出了一种深度演员评论家算法,该算法通过构建状态表示来考虑信道相关性和目的地运动,以包括接收器的当前位置以及对应于先前时间步长的窗口的相移值和接收器位置。信道可变性在基础价值函数的频谱上引起高频分量。我们提出了预处理的评论家的输入与傅立叶内核,使稳定的价值学习。最后,我们研究了使用的目的地SNR作为设计的MDP状态,这是在以前的工作中常见的做法的一个组成部分。我们提供的经验证据表明,当通道是时空相关的,包含在状态表示的SNR相互作用的函数逼近的方式,抑制收敛。
2022-11-02 cs.AI cs.ET cs.IT
Improving the Robustness of Control of Chaotic Convective Flows with Domain-Informed Reinforcement Learning
本文提出利用领域知识增强的强化学习(RL)智能体控制混沌对流流动,通过在奖励函数中引入鼓励Bénard胞合并的项,显著提升了泛化能力和样本效率,在层流和混沌状态下分别降低33%和10%的热输运,优于传统控制器。
2025-10-31 cs.LG physics.flu-dyn
Data-Assimilated Model-Based Reinforcement Learning for Partially Observed Chaotic Flows
Imperial College London(帝国理工学院伦敦校区);The Alan Turing Institute(阿兰·图灵研究所);Politecnico di Torino(托里尼Politecnico)
针对部分观测和噪声测量下的混沌流动控制,提出数据同化的基于模型的强化学习框架,结合控制感知储备池网络与集合卡尔曼滤波,在Kuramoto-Sivashinsky方程上验证了稳定时空混沌的有效性。
2025-04-23 cs.LG cs.SY eess.SY
Interpretable Markov-Based Spatiotemporal Risk Surfaces for Missing-Child Search Planning with Reinforcement Learning and LLM-Based Quality Assurance
Old Dominion University(老奥尔巴尼大学)
Guardian系统利用马尔可夫链、强化学习和LLM进行可解释的时空风险建模,以提升失踪儿童搜索规划的效率和准确性。
2026-03-09 cs.AI cs.IR cs.LG
Inverse Reinforcement Learning for Minimum-Exposure Paths in Spatiotemporally Varying Scalar Fields
Worcester Polytechnic Institute(伍斯特理工学院)
本文提出逆强化学习模型,用于在静态和动态威胁场中合成与训练数据相似的最小暴露路径数据集,并验证其在未见初始条件和威胁场下的优异泛化性能。
2025-03-09 cs.LG cs.SY eess.SY
Incorporating Coupling Knowledge into Echo State Networks for Learning Spatiotemporally Chaotic Dynamics
Graduate School of Informatics, Kyoto University, Kyoto 606-8501, Japan(信息科学研究生学校,京都大学,京都)
本文提出一种结合耦合知识的物理引导聚类回声状态网络,用于高效学习时空混沌动力学系统。
2025-08-15 cs.LG nlin.CD
Spatiotemporally Constrained Action Space Attacks on Deep Reinforcement Learning Agents
Iowa State University(爱荷华州立大学);Tandon School of Engineering, New York University(纽约大学坦登工程学院)
深度强化学习(DRL)算法对现实世界应用中的对抗攻击的鲁棒性(例如部署在网络物理系统(CPS)中的那些)越来越受到关注。许多研究已经调查了RL代理的状态空间上的攻击机制。尽管如此,对RL代理的动作空间(AS)(对应于工程系统中的执行器)的攻击同样是反常的;这种攻击在ML文献中相对较少研究。在这项工作中,我们首先框架的问题作为一个优化问题,最大限度地减少了RL代理的累积奖励与解耦约束的预算的攻击。我们提出了一个白盒近视动作空间(MAS)攻击算法,分布在整个动作空间维度的攻击。接下来,我们用相同的目标函数重新表述上面的优化问题,但是对攻击预算有一个时间耦合约束,以考虑代理的近似动态。这导致了白盒前瞻动作空间(LAS)攻击算法,该算法将攻击分布在动作和时间维度上。我们的研究结果表明,使用相同数量的资源,LAS攻击恶化代理的性能显着超过MAS攻击。这揭示了一种可能性,即在有限的资源下,对手可以利用代理的动态恶意地制造攻击,导致代理失败。此外,我们利用这些攻击策略作为一种可能的工具,以获得对DRL代理的潜在漏洞的见解。
2019-11-19 cs.AI cs.CR cs.LG
AI in Energy Digital Twining: A Reinforcement Learning-based Adaptive Digital Twin Model for Green Cities
Edinburgh Napier University(爱丁堡龙比亚大学);Istanbul Technical University(伊斯坦布尔理工大学);BTS Group(BTS集团)
针对智慧城市数字孪生建模动态性不足与高能耗问题,提出结合深度Q网络的强化学习自适应孪生机制(RL-AT),利用时空图实现适时数据捕获,显著提升了查询性能、降低了开销与能耗。
2024-01-28 cs.LG
Improving the dynamics of quantum sensors with reinforcement learning
University of Tübingen(蒂宾根大学)
最近提出的量子混沌传感器通过将非线性控制脉冲应用于量子传感器的动力学,同时使用易于制备的经典初始状态,来实现测量精度的量子增强。在这里,我们使用强化学习的交叉熵方法来优化控制脉冲的强度和位置。与具有超辐射阻尼的周期控制脉冲的量子混沌传感器相比,通过优化控制可以更好地抑制退相干,进一步提高测量精度。在某些示例中,我们发现灵敏度的增强超过一个数量级。通过对量子态演化过程的可视化,将强化学习方法所利用的机制确定为一种适用于超辐射阻尼的自旋压缩策略。
2020-03-10 cs.LG quant-ph
Data Assimilation in Chaotic Systems Using Deep Reinforcement Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Cambridge(剑桥大学)
提出一种基于强化学习的数据同化策略,利用状态观测对混沌Lorenz '63系统进行校正,通过随机动作策略生成同化集合,性能优于EnKF且能处理非高斯数据。
2024-01-01 cs.AI cs.LG math.DS
Intelligent Electric Vehicle Charging Recommendation Based on Multi-Agent Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Baidu Research(百度研究院);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
电动汽车(EV)由于其环境和能源的可持续性,已成为现代交通系统的首选。然而,在许多大城市,电动汽车司机往往无法找到合适的地点充电,因为有限的充电基础设施和时空不平衡的充电需求。事实上,最近出现的深度强化学习提供了从各个方面长期改善充电体验的巨大潜力。在本文中,我们提出了一个框架,命名为多智能体时空强化学习(主),智能推荐公共充电站,共同考虑各种长期的时空因素。具体而言,通过将每个充电站视为一个单独的代理,我们将此问题制定为多目标多智能体强化学习任务。我们首先开发了一个多代理的演员评论家框架与集中式细心的评论家协调地理分布的代理之间的推荐。此外,为了量化未来潜在的收费竞争的影响,我们引入了一个延迟访问策略,利用未来的收费竞争的知识在训练过程中。然后,为了有效地优化多个学习目标,将集中式注意力评价器扩展到多评价器,并提出了一种动态梯度重加权策略来自适应地引导优化方向。最后,在两个真实数据集上的大量实验表明,与九种基线方法相比,Master实现了最佳的综合性能。
2021-02-15 cs.LG
Data-assimilated model-informed reinforcement learning
Department of Aeronautics, Imperial College London(航空系,帝国理工学院伦敦分校)
本文提出数据同化模型引导强化学习方法,通过结合低阶模型、数据同化和非策略RL算法,实现对部分可观测混沌系统的实时控制与抑制。
2025-11-10 cs.LG cs.SY eess.SY
Reinforcement Learning Closures for Underresolved Partial Differential Equations using Synthetic Data
ETH Zurich/ Harvard University(苏黎世联邦理工学院/哈佛大学);Harvard University(哈佛大学);Argonne National Laboratory(阿贡国家实验室)
本文提出利用合成数据和强化学习为未解析偏微分方程构建闭合模型,通过伯格斯方程和输运方程验证方法有效性,并展示闭合模型可从非均匀方程泛化到均匀方程。
2025-05-16 cs.LG physics.comp-ph
Parallel photonic accelerator for decision making using optical spatiotemporal chaos
Saitama University(埼玉大学);The University of Tokyo(东京大学)
光子加速器在人工智能领域的应用越来越受到人们的关注。多臂强盗问题是利用强化学习进行决策的基本问题。然而,由于物理实现的技术困难,光子决策的可扩展性尚未在实验中得到证明。提出了一种利用光时空混沌求解大规模多臂强盗问题的并行光子决策系统。我们在线解决了一个512臂的强盗问题,这个问题比以前的实验大了两个数量级。正确的决策的缩放属性检查作为老虎机的数量的函数,评估为0.86的指数。该指数小于以前的工作,表明所提出的并行原则的优越性。这个实验演示有助于光子决策,以解决未来光子加速器的大规模多臂强盗问题。
2022-10-12 cs.ET cs.LG physics.optics
Blending data and physics for reduced-order modeling of systems with spatiotemporal chaotic dynamics
Department of Chemical and Biological Engineering, University of Wisconsin-Madison(化学与生物工程系,威斯康星大学麦迪逊分校)
针对时空混沌动力学系统降阶建模,提出融合数据与全阶模型的混合降阶模型,结合自编码器、神经常微分方程等,在多场景下显著提升预测效果。
2026-10-21 cs.LG
AFD-STA: Adaptive Filtering Denoising with Spatiotemporal Attention for Chaotic System Prediction
University of Minnesota Twin Cities(明尼苏达大学双城分校);School of Statistics and Mathematics, Shandong University of Finance and Economics(山东财经大学统计与数学学院);Jinan Fengdi Intelligent Electronics Co., Ltd.(济南风迪智能电子有限公司);Shandong Zhike Intelligence Computing Co., Ltd.(山东智科智能计算有限公司);School of Mechanical,Electrical and Information Engineering, Shandong University(山东大学机械电子信息工程学院)
本文提出AFD-STA Net,结合自适应滤波与时空注意力,预测高维混沌系统,在平滑和强混沌状态下保持精度并具备噪声容忍性。
2025-05-23 cs.AI cs.LG
Predicting two-dimensional spatiotemporal chaotic patterns with optimized high-dimensional hybrid reservoir computing
Deutsches Zentrum für Luft- und Raumfahrt (DLR)(德国航空航天中心);Ludwig-Maximilians-Universität(慕尼黑大学)
该研究将混合储备池计算拓展至二维时空混沌模式预测,采用局部状态假设应对维度灾难,基于Barkley模型仿真数据对比三种混合方案性能,给出了不同场景下的方案选择建议。
2025-01-04 cs.LG nlin.CD
Data-Driven Reduced-Order Modeling of Spatiotemporal Chaos with Neural Ordinary Differential Equations
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
具有混沌动力学的耗散偏微分方程往往演化为存在于有限维流形上的吸引子。我们提出了一个数据驱动的降阶建模方法,利用这一事实,找到这个流形的坐标,并找到一个常微分方程(ODE)描述在这个坐标系中的动态。流形坐标的发现使用不完全自动编码器-一个神经网络(NN),减少,然后扩大的维度。然后,在这些坐标系中的常微分方程,近似使用神经常微分方程框架的NN。这两种方法都只需要数据的快照来学习模型,并且数据可以广泛和/或不均匀地分布。我们应用这个框架的Kuramoto-Sivashinsky不同的域大小,表现出混沌动力学。有了这个系统,我们发现,降维提高性能相对于周围空间中的预测,工件出现。然后,与低维模型,我们改变了训练数据的间距,并找到良好的短期和长期的统计重建的真实动态的广泛间隔的数据(间距约0.7李雅普诺夫时间)。最后,我们通过比较性能与不同程度的降维,并找到一个“甜蜜点”的性能与尺寸。
2021-08-31 cs.LG nlin.CD
Combining Machine Learning with Knowledge-Based Modeling for Scalable Forecasting and Subgrid-Scale Closure of Large, Complex, Spatiotemporal Systems
University of Maryland(马里兰大学);Texas A&M University(德克萨斯农工大学);Potomac Research LLC(波托马克研究有限责任公司)
我们考虑常见的情况(例如,在天气预报中),其目标是当我们可以访问先前系统状态的时间序列数据和完整系统动态的不完美模型时,预测大型时空混沌动态系统的时间演化。具体来说,我们试图利用机器学习作为将过去数据的使用集成到预测中的必要工具。为了促进可扩展性的共同感兴趣的情况下,时空混沌系统是非常大的和复杂的,我们提出了两种方法相结合:(i)一个并行的机器学习预测方案;和(ii)一种混合技术,复合预测系统组成的基于知识的组件和基于机器学习的组件。我们证明,这种方法结合(i)和(ii)不仅可以扩展到非常大的系统,以提供出色的性能,而且训练我们的多个并行机器学习组件所需的时间序列数据的长度显着小于没有并行化所需的长度。此外,考虑的情况下,计算实现的知识为基础的组件不解决subgrid-scale的过程中,我们的计划是能够使用训练数据,将未解决的短尺度动态的效果后,解决了较长尺度的动态(“subgrid-scale关闭”)。
2020-02-10 cs.LG nlin.CD physics.ao-ph
TensorFlow Chaotic Prediction and Blow Up
Unlimited Analytics Inc.(Unlimited Analytics公司)
本文使用 TensorFlow 库预测高维非线性系统的时空混沌动力学,发现其能进行短期预测,但因库的非确定性导致长期预测迅速恶化并爆发。
2023-09-14 cs.LG
Hybrid Forecasting of Chaotic Processes: Using Machine Learning in Conjunction with a Knowledge-Based Model
University of Maryland(马里兰大学);Rice University(莱斯大学);Haverford College(哈弗福德学院)
一种基于模型的方法来预测混沌动力系统,利用控制动力学的物理过程的知识来建立系统的近似数学模型。相比之下,机器学习技术已经证明了纯粹从系统状态变量(训练数据)的过去时间序列测量来预测混沌系统的有希望的结果,而无需系统动态的先验知识。本文的动机是机器学习的潜力,以填补我们的基础机械知识的差距,导致广泛使用的基于知识的模型是不准确的。因此,我们在这里提出了一个通用的方法,利用这两种方法的优点,结合基于知识的模型和机器学习技术,建立一个混合预测方案。这种方法的潜在应用有很多(例如,改善天气预报)。我们证明和测试这种方法的实用性,使用一个特定的说明性版本的机器学习称为储备池计算,我们将得到的混合预测低维混沌系统,以及高维时空混沌系统。这些测试产生了非常有希望的结果,因为我们的混合技术能够准确预测比机器学习组件或基于模型的组件更长的时间。
2018-03-09 cs.LG nlin.CD stat.ML
KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra
School of Mathematics and Statistics and Ministry of Education Key Lab of Intelligent Networks and Network Security(数学与统计学学院和教育部智能网络与网络安全重点实验室);School of Mathematics(数学学院)
KoopGen通过结构化的Koopman生成器网络,提升高维连续谱动力系统的预测准确性和稳定性,同时揭示可解释的动力学组成部分。
2026-02-15 cs.LG
Backpropagation Algorithms and Reservoir Computing in Recurrent Neural Networks for the Forecasting of Complex Spatiotemporal Dynamics
ETH Zürich(苏黎世联邦理工学院);University of Maryland(马里兰大学);Massachusetts Institute of Technology(麻省理工学院)
我们研究了递归神经网络在预测高维和降阶复杂系统的时空动态时,使用水库计算(RC)和反向传播通过时间(BPTT)门控网络架构的效率。我们强调每种方法的优点和局限性,并讨论它们的并行计算架构的实现。我们量化的相对预测精度,这些算法的长期预测混沌系统作为基准的Lorenz-96和Kuramoto-Sivashinsky(KS)方程。我们发现,当完整的状态动态可用于训练时,RC在预测性能和捕获长期统计数据方面优于BPTT方法,同时需要更少的训练时间。然而,在降阶数据的情况下,大规模RC模型可能是不稳定的,并且比BPTT算法更有可能发散。相比之下,通过BPTT训练的RNN表现出更好的预测能力,并很好地捕捉降阶系统的动态特性。此外,本研究首次量化的KS方程的李雅普诺夫谱与BPTT,达到类似的精度RC。这项研究表明,RNN是学习和预测复杂时空系统的有效计算框架。
2020-02-17 cs.LG eess.SP physics.flu-dyn