arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2402.17208math.OC
收藏

求解时间连续随机最优控制问题:Actor-Critic流的算法设计与收敛性分析

Solving Time-Continuous Stochastic Optimal Control Problems: Algorithm Design and Convergence Analysis of Actor-Critic Flow

Mo Zhou, Jianfeng Lu

AI总结:

本文提出actor-critic框架求解时间连续随机最优控制问题,采用最小二乘时间差分和策略梯度方法,并建立了线性收敛速率,通过数值实验验证了其有效性。

摘要:

我们提出了一种actor-critic框架来解决时间连续随机最优控制问题。采用最小二乘时间差分法计算critic的价值函数。策略梯度方法作为actor的策略改进被实施。我们的关键贡献在于为所提出的actor-critic流建立了线性收敛速率。理论结果通过数值示例进一步验证,展示了我们的方法在实际应用中的有效性。

英文摘要:

We propose an actor-critic framework to solve the time-continuous stochastic optimal control problem. A least square temporal difference method is applied to compute the value function for the critic. The policy gradient method is implemented as policy improvement for the actor. Our key contribution lies in establishing a linear rate of convergence for our proposed actor-critic flow. Theoretical findings are further validated through numerical examples, showing the efficacy of our approach in practical applications.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑