Towards Active Flow Control Strategies Through Deep Reinforcement Learning
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学);Delft University of Technology (TU Delft)(代尔夫特理工大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
提出基于深度强化学习的主动流动控制框架,在三维圆柱体上实现9.32%减阻和78.4%升力振荡降低,集成CFD与DRL模型。
2024-11-08 cs.LG physics.flu-dyn
Deep Reinforcement Learning achieves flow control of the 2D Karman Vortex Street
卡门涡街的研究已经超过一个世纪,并提供了一个参考案例,研究流动稳定性和控制的高维,非线性系统。虽然从理论观点和工业应用的角度来看,主动流量控制具有相当大的兴趣,但由于难以找到成功的控制策略,因此仍然无法实现。在这里,我们证明了深度强化学习可以实现对二维圆柱体后面的卡门涡街的稳定主动控制。我们的研究结果表明,深度强化学习可用于设计主动流量控制,是研究广泛科学问题中存在的高维、非线性、时间依赖动态系统的一种有前途的工具。
2018-08-31 physics.flu-dyn
An application of data driven reward of deep reinforcement learning by dynamic mode decomposition in active flow control
本文重点研究了通过深度强化学习(DRL)实现基于动态模式分解(DMD)的奖励函数对具有合成射流的圆柱绕流的主动流动控制(AFC)。作为影响DRL模型的一个主要因素,通过仿真对测量数据进行DMD,从流场中提取的信息决定了奖励。通过数据驱动的奖励机制,DRL模型能够通过更多的全局信息学习AFC策略,并指导合成射流的质量流率。由于采用了这种AFC,使涡街稳定,阻力减小约8%,再循环面积增加约109%。利用DMD对整个流场进行了速度测量,研究了AFC对流动形态的影响。
2021-08-08 physics.flu-dyn
Robust active flow control over a range of Reynolds numbers using an artificial neural network trained through deep reinforcement learning
本文重点研究了使用深度强化学习(DRL)在一定雷诺数范围内对计算流体动力学模拟进行主动流量控制。更准确地说,近端策略优化(PPO)的方法被用来控制质量流率的四个合成射流对称地位于上,下两侧的圆柱浸没在一个二维流域。学习环境支持四种流动配置,雷诺数分别为100,200,300和400。提出了一种新的平滑插值函数来帮助PPO算法学习设置连续动作,这对于有效抑制提升中的问题跳跃并允许训练过程更好地收敛非常重要。结果表明,当$Re$ $Re$ =100、200、300和400时,DRL控制器能够显著减小升力和阻力波动,并分别主动减小阻力约5.7%、21.6%、32.7%和38.7%。更重要的是,它还可以有效地减少阻力的任何以前看不见的值之间的雷诺数60和400。这突出了深度神经网络的泛化能力,是主动流量控制的重要里程碑。
2020-04-26 physics.flu-dyn
Applying deep reinforcement learning to active flow control in turbulent conditions
机器学习近年来已成为流体力学领域的一项有前途的技术,特别是在主动流量控制(AFC)应用中。最近的工作[J. Fluid Mech.(2019),vol. 865,pp. 281-302]已经证明了深度强化学习(DRL)在$Re = 100$的圆柱体上执行AFC的可行性和有效性,即,在层流状态下。作为后续研究,我们研究了中等雷诺数下的相同AFC问题,即,$Re = 1000$,其中流动中的湍流对控制提出了很大的挑战。结果表明,DRL智能体仍然可以找到有效的控制策略,但需要更多的情节学习。一个显着的阻力减少约$30\%$实现,这是伴随着回流气泡的伸长和减少在圆柱尾迹湍流脉动。据我们所知,这项研究是第一次成功地应用DRL AFC弱湍流条件。因此,它为在强湍流中实现AFC奠定了新的里程碑。
2020-07-18 physics.flu-dyn
Deep Reinforcement Learning for Active Flow Control around a Circular Cylinder Using Unsteady-mode Plasma Actuators
深度强化学习(DRL)算法正在迅速进入流体力学,这些技术在广泛的科学和工程应用中取得了显着成就。在本文中,深度强化学习(DRL)代理已被用于训练人工神经网络(ANN),使用计算流体动力学(CFD)数据执行围绕二维圆柱的主动流动控制(AFC)。在雷诺数Re_D = 100的条件下,采用A2C算法,通过在分离点附近的圆柱表面布置两个对称的等离子体激励器,研究了流动控制策略。DRL代理通过操纵两个等离子体致动器的无量纲突发频率(f^+)与计算流体动力学(CFD)环境交互,并且时间平均的表面压力被用作对深度神经网络(DNN)的反馈观察。结果表明,使用恒定的无量纲突发频率的常规致动给出了21.8%的最大减阻,而DRL代理能够学习控制策略,实现22.6%的减阻。流场分析表明,减阻过程伴随着强烈的流动再附,尾迹区的平均速度幅值和速度脉动显著减小。这些结果证明了深度强化学习(DRL)范式在执行主动流量控制(AFC)方面的强大能力,并为开发适用于实际应用的强大流量控制策略铺平了道路。
2020-12-18 physics.flu-dyn
Drag Reduction in Flows Past 2D and 3D Circular Cylinders Through Deep Reinforcement Learning
本研究利用深度强化学习为二维和三维圆柱绕流发现表面执行器控制策略,实现减阻,并展现出跨雷诺数及从二维到三维的泛化能力。
2023-09-05 physics.flu-dyn
Reinforcement-learning-based actuator selection method for active flow control
本文提出了一种新的方法,建立在一个强化学习代理的主动流量控制的致动器选择的问题。从一个预先训练的代理使用许多执行器开始,该算法估计潜在的执行器删除对值函数的影响,指示代理的性能。它被应用到两个测试用例,一维Kuramoto-Sivashinsky方程和层流二维流绕翼型在Re=1000的不同的攻角范围从12到20度,以证明其能力和限制。建议的致动器稀疏化方法依赖于顺序消除最不相关的动作组件,从一个充分发展的布局。使用基于价值函数的度量来评估每个组件的相关性。结果表明,虽然仍然受到这种内在的消除范式(即顺序消除)的限制,执行器模式和获得的政策表现出相关的性能,并允许绘制一个准确的近似帕累托前面的性能与执行器预算。
2022-09-29 physics.flu-dyn
Active flow control for three-dimensional cylinders through deep reinforcement learning
KTH Royal Institute of Technology(瑞典皇家理工学院);Barcelona Supercomputing Center - Centro Nacional de Supercomputación(巴塞罗那超级计算中心-国家超级计算中心)
本文提出基于多智能体深度强化学习框架,利用近端策略优化算法耦合计算流体力学求解器,通过多个独立控制的零净质量通量合成射流实现三维圆柱主动流动控制,在三种不同配置下均显著降低了阻力。
2023-09-04 cs.LG physics.flu-dyn
Active Cloaking in Stokes Flows via Reinforcement Learning
在斯托克斯政权的流体动力学签名,有关的运动的微型游泳者,具有长程性质。这意味着,在这种粘度占主导地位的制度中,物体的运动可以在数十个身体长度之外感受到,并显着改变周围环境的动态。在这里,我们设计了一个系统的方法,积极地斗篷游泳物体内的任何任意拥挤的悬浮液的微型游泳者。具体来说,我们的方法是隐藏的目标游泳者在其整个运动中使用合作群的游泳代理配备自适应决策智能。通过强化学习算法,隐形代理经验学习最佳的自适应行为策略存在的流介导的相互作用。这种人工智能使它们能够动态地调整它们的游动动作,从而在不干扰运动目标的情况下,最优地形成并鲁棒地保持运动目标周围的任意期望布局,因此,所提出的主动隐身方法不仅对干扰具有鲁棒性,而且对隐身目标的运动具有非侵入性。然后,我们进一步推广所提出的方法,并演示了我们的隐形代理可以很容易地使用,在任何感兴趣的区域,实现流体动力学隐形斗篷周围的任意数量的入侵者。
2020-07-22 physics.flu-dyn
Optimizing pulsed blowing parameters for active separation control in a one-sided diffuser using reinforcement learning
本研究采用近端策略优化算法,针对$Re_θ=1000$的湍流扩压器流动分离控制,优化脉冲吹除系统的周期激励信号,找到低占空比下质量流量利用效率最高的参数组合,推动强化学习在湍流实验优化中的应用。
2024-12-10 physics.flu-dyn
Model-based deep reinforcement learning for accelerated learning from flow simulations
TU Dresden(德累斯顿工业大学)
针对流动模拟计算成本高导致强化学习落地难的问题,提出交替使用模拟轨迹与环境模型集成采样轨迹的基于模型强化学习方法,在流体弹球测试中最高减少85%训练时间,更复杂场景节省更显著。
2024-04-10 cs.CE cs.LG physics.flu-dyn
Drag-reduction strategies in wall-bounded turbulent flows using deep reinforcement learning
本研究比较了壁面湍流中基于不同壁法向位置脉动的减阻策略,利用深度强化学习(DDPG算法)发现优于现有方法的控制策略,迈出了探索DRL在减阻中应用的第一步。
2023-09-06 physics.flu-dyn
Efficient reinforcement learning with partially observable for fluid flow control
尽管耗散粘性流体的维数很低,但强化学习(RL)在流体控制问题中需要许多可观测量。这是因为在RL框架中,假设可观测量遵循与策略无关的马尔可夫决策过程。通过引入策略参数作为值函数的自变量,我们构造了一个部分可观测的相容算法。使用典型的主动流量控制的例子,我们表明,我们的算法是更稳定和有效的比现有的RL算法,即使在少量的可观的。
2021-04-29 physics.comp-ph physics.flu-dyn
Quantum reinforcement learning-based active flow control
The Hong Kong Polytechnic University(香港理工大学)
本研究提出基于量子强化学习的主动流动控制框架,利用变分量子电路与PPO算法,通过抑制涡旋脱落实现阻力降低,验证了量子增强学习在复杂流体动力学问题中的应用潜力。
2026-01-25 physics.flu-dyn
Bio-inspired variable-stiffness flaps for hybrid flow control, tuned via reinforcement learning
通过固定刚度的扭转弹簧将生物激励的被动展开襟翼连接到翼型上,可以在过失速迎角时提供显著的升力改善。在这项工作中,我们描述了一种混合主动-被动的变体,这种纯粹被动的流控制范例,其中铰链的刚度是主动变化的时间,以产生被动的流体-结构相互作用(FSI)的更大的气动效益比固定刚度的情况下。这种混合主动-被动流动控制策略可能使用可变刚度致动器来实现,与主动规定襟翼运动相比,成本更低。铰链刚度通过强化学习(RL)训练的闭环反馈控制器来改变。一个基于物理的惩罚和长期短期的训练策略,使快速训练的混合控制器的介绍。结果表明,与无襟翼翼型和最佳固定刚度情况相比,混合控制器分别使升力提高了136%和85%。这些升力的提高是由于刚度变化超过四个数量级时的大幅襟翼振荡而实现的,并详细分析了其与流动的相互作用。
2022-10-19 physics.flu-dyn
Physics-guided deep reinforcement learning for flow field denoising
提出无需目标数据的物理引导多智能体DRL流场去噪模型,融合PixelRL、动量方程、压力泊松方程与边界条件,并在DNS和PIV数据上验证了高精度重建能力。
2023-09-27 physics.flu-dyn
Recent advances in applying deep reinforcement learning for flow control: perspectives and future directions
本文综述了深度强化学习在主动流动控制中的应用,概述了相关框架与最新进展,指出了当前算法的局限性,并提出了未来的研究里程碑与开放性问题。
2023-01-27 physics.flu-dyn
Deep Reinforcement Learning in Fluid Mechanics: a promising method for both Active Flow Control and Shape Optimization
近年来,人工神经网络(ANN)和深度学习在包括流体力学在内的广泛科学和技术领域变得越来越受欢迎。虽然要完全掌握这些方法的潜力和局限性需要时间,但证据开始积累,表明它们在帮助解决理论上没有最佳解决方法的问题方面的潜力。在涉及最优控制和最优设计的流体力学中尤其如此。事实上,这些问题是众所周知的难以有效地解决与传统的方法,由于其涉及的非线性,非凸性和高维的组合。相比之下,深度强化学习(DRL)是一种基于通过试错将经验策略教授给ANN的优化方法,非常适合解决此类问题。在这篇简短的评论中,我们提供了一个深入了解使用DRL在流体力学,专注于控制和优化设计问题的当前状态的艺术。
2020-01-08 physics.comp-ph physics.flu-dyn
Optimal Parallelization Strategies for Active Flow Control in Deep Reinforcement Learning-Based Computational Fluid Dynamics
School of Naval Architecture, Ocean and Civil Engineering, Shanghai Jiao Tong University(上海交通大学船舶海洋与建筑工程学院)
针对深度强化学习训练主动流控制模型的计算瓶颈,本研究通过组件基准测试与I/O优化提出高效混合并行化策略,将并行效率提升至78%,训练加速约47倍。
2024-09-26 cs.LG physics.flu-dyn
Scientific multi-agent reinforcement learning for wall-models of turbulent flows
Harvard University(哈佛大学);California Institute of Technology(加州理工学院);ETH Zurich(苏黎世联邦理工学院)
湍流模拟的预测能力对空气动力学设计和天气预报至关重要,取决于湍流模型的选择。大量的实验和模拟数据以及机器学习的出现推动了湍流建模工作。然而,湍流的模拟仍然受到阻碍,无法模拟的近壁动态的物理学和监督学习。我们通过引入科学的多智能体强化学习(SciMARL)来解决这一挑战,以发现大涡模拟(LES)的壁模型。在SciMARL中,离散化点也充当协作代理,学习提供LES闭包模型。智能体使用有限的数据进行自我学习,并推广到极端的雷诺数和以前看不见的几何形状。目前的模拟减少了几个数量级的计算成本超过完全解决的模拟,同时再现关键流量。我们相信SciMARL为模拟湍流创造了前所未有的能力。
2022-02-01 cs.LG physics.comp-ph physics.flu-dyn
Multi-agent reinforcement learning for wall modeling in LES of flow over periodic hills
California Institute of Technology(加州理工学院)
我们开发了一个壁面模型的大涡模拟(LES),考虑到各种压力梯度的影响,使用多智能体强化学习(MARL)。该模型是使用低雷诺数流动周期性的山丘与代理分布在墙上沿计算网格点。该模型利用壁涡粘度制剂作为边界条件,这是示出提供更好的预测的平均速度场,而不是典型的壁剪切应力制剂。每个代理接收基于离壁位置处的局部瞬时流量的状态,基于估计的壁剪切应力计算奖励,并提供一个动作来更新每个时间步的壁涡流粘度。通过对高雷诺数下周期性地形绕流的壁面模拟大涡模拟(WMLES),验证了模型的有效性。训练模型的分析表明,该模型能够区分存在于流动中的各种压力梯度状态。
2022-11-29 cs.LG physics.comp-ph physics.flu-dyn
Flow Navigation by Smart Microswimmers via Reinforcement Learning
University of Rome Tor Vergata(罗马第二大学);University of Gothenburg(哥德堡大学);The Abdus Salam International Centre for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心)
智能活性颗粒可以从简单的机械提示中获得流体环境的一些有限的知识,并对其优选的转向方向施加控制。他们的目标是通过尽可能地利用底层流程来学习最佳导航方式。作为一个例子,我们把注意力集中在聪明的重力游泳者身上。这些是活跃的粒子,其任务是在一定时间范围内到达最高高度,给定流体力学的约束。通过数值实验,我们表明,游泳运动员确实学习近最优策略只是通过经验。强化学习算法允许粒子学习有效的策略,即使在困难的情况下,在没有控制的情况下,它们最终会被流结构捕获。这些策略都是非常重要的,不能轻易地提前猜到。这封信说明了强化学习算法在模拟复杂流动中的自适应行为方面的潜力,并为解决困难导航问题的智能微型游泳者的工程铺平了道路。
2017-07-26 cond-mat.stat-mech cs.LG nlin.CD
Irreducible Representations Of Oscillatory And Swirling Flows In Active Soft Matter
最近的实验成像流体流动周围游动的微生物揭示了复杂的时间依赖性的速度场,定性不同于通常采用的应力流理论描述的活性物质。在这里,我们得到了最一般的流动周围的一个有限大小的活动粒子展开的表面应力在不可约的笛卡尔张量。这种膨胀,其第一项是应力波,必须包括,分别,第三阶极性和轴向张量,以最小限度地捕捉关键功能的主动振荡流周围的翻译衣原体和旋转团藻周围的主动旋流。该表示提供了连续体主动应力的不可约对称、反对称和各向同性部分的显式表达式。反对称主动应力不守恒轨道角动量,因此我们的工作表明,自旋角动量是必要的,以恢复角动量守恒的连续流体动力学描述的活动软物质。
2014-08-05 cond-mat.soft physics.bio-ph physics.flu-dyn