Well-posed infinite horizon variational problems on a compact manifold
本文给出了紧致黎曼流形M上无限视界变分问题的光滑最优综合的一个有效的充分条件,即:e. M上的光滑动力系统,其正半轨线是问题的解。为了实现这一综合,我们构造了余切丛T*M中极值流的一个良好投影到M的不变Lagrange子流形。该构造利用余切丛中流动的曲率和双曲动力系统的一些思想。
2009-10-05 math.DS math.OC
Optimal stopping of a Hilbert space valued diffusion: an infinite dimensional variational inequality
利用变分方法分析了无限维扩散$X$的有限时间最优停止问题。扩散由希尔伯特空间$\mathcal{H}$上的一个非线性扩散系数$σ(X)$和漂移项中的通用无界算子$A$驱动。当增益函数$Θ$是时间依赖的,并满足温和的正则性假设,值函数$\mathcal{U}$的最佳停止问题的解决无穷维,抛物,退化变分不等式上的一个无界区域。一旦系数$σ(X)$被指定,变分问题的解决方案被发现在一个合适的Banach空间$\mathcal{V}$充分的高斯措施$μ$方面的特点。这项工作提供了无限维的对应,在精神的Bensoussan和狮子\cite{Ben-Lio82},著名的最佳停止理论和变分不等式的结果在$\mathbb{R}^n$。这些结果可能是有用的,在几个领域,如在数学金融中的美式期权定价时,在HJM模型。
2015-01-31 math.OC math.PR
Necessary optimality conditions for infinite horizon variational problems on time scales
证明了时间尺度上变分法的广义无穷视界问题的Euler-Lagrange型方程和横截性条件。这里的拉格朗日量取决于自变量,一个未知函数及其nabla导数,以及一个nabla不定积分,取决于未知函数。
2012-12-05 math.OC
Necessary Optimality Conditions for Higher-Order Infinite Horizon Variational Problems on Time Scales
得到了时间尺度上高阶无穷水平变分问题的Euler-Lagrange和横截性最优性条件。新的最优性条件改进了连续和离散情形下的经典结果:即使在时间尺度为实数集或整数集的特殊情况下,我们的结果也显得新颖有趣.
2012-04-15 math.CA math.OC
Reinforcement Learning Method for Zero-Sum Linear-Quadratic Stochastic Differential Games in Infinite Horizons
Shandong University Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰证券金融研究院,山东大学)
本文提出了一种针对无限时间零和线性二次随机微分博弈的强化学习方法,结合迭代求解与动态规划原理,解决了参数获取困难的问题,并通过理论分析和实验验证了方法的收敛性与有效性。
2026-02-08 math.OC
An Infinite-Dimensional Variational Inequality Formulation and Existence Result for Dynamic User Equilibrium with Elastic Demands
研究了弹性出行需求下的动态用户均衡问题。利用测度论的方法给出并证明了E-DUE的一个变分不等式(VI)形式。在适当定义的希尔伯特空间中,利用Brouwer的不动点定理证明了E-DUE的存在性.存在性证明要求有效延迟算子是连续的,还需要正则性条件来确保具有固定需求的DUE的存在性(Han等人,2013年c)。我们的证明不调用先验的离开率(路径流)的上界。
2013-04-28 math.DS math.OC
Model-based reinforcement learning for infinite-horizon approximate optimal tracking
University of Florida(佛罗里达大学)
本文提出了一种近似在线自适应解决方案,用于解决具有未知漂移动力学的连续时间非线性系统的无限 horizon 最优跟踪问题,通过基于模型的强化学习放松持续激励条件,并通过Lyapunov稳定性分析证明了策略收敛性。
2015-06-01 cs.SY eess.SY math.OC
Tangential Extremal Principles for Finite and Infinite Systems of Sets, I: Basic Theory
在本文中,我们开发了新的极值原理在变分分析,处理有限和无限系统的凸和非凸集。得到的结果,统一的名称切极值原则,结合原始和对偶的方法来研究变分系统实际上是第一极值原则适用于无限系统的集合。本文的第一部分涉及切向极值原理的基本理论,而第二部分介绍应用问题的半无限规划和多目标优化。
2011-01-21 math.OC
Local Error Bounds for Affine Variational Inequalities on Hilbert Spaces
本文针对无穷维仿射变分不等式问题,通过重新考察多面体映射性质并证明残差映射之逆的局部上Lipschitz性质,在Hilbert空间上建立了局部误差界。
2023-04-19 math.OC
Simple and optimal methods for stochastic variational inequalities, II: Markovian noise and policy evaluation in reinforcement learning
Georgia Institute of Technology(佐治亚理工学院)
本文的重点是研究马尔可夫噪声下的随机变分不等式(VI)。我们算法开发的一个突出应用是强化学习中的随机策略评估问题。文献中的先前调查集中在时间差(TD)学习采用非光滑有限时间分析的动机随机次梯度下降导致一定的限制。这些包括分析修改的TD算法的要求,该算法涉及到投影到先验定义的欧几里德球,实现非最佳的收敛速度,并且没有明确的方式来获得并行实现的有益效果。我们的方法弥补了这些缺点,在更广泛的背景下,特别是当它涉及到随机的政策评估的随机VI。我们开发了各种简单的TD学习型算法,其原始版本的动机,保持其简单性,同时提供从非渐近分析的角度来看,明显的优势。我们首先提供了一个改进的分析标准TD算法,可以受益于并行实现。然后,我们提出了一个有条件的TD算法(CTD)的版本,涉及定期更新的随机迭代,从而减少了偏见,因此表现出改进的迭代复杂性。这给我们带来了快速TD(FTD)算法,它结合了CTD和随机算子外推法的同伴文件的元素。对于一个新的索引重置策略,FTD表现出最好的收敛速度。我们还设计了一个强大的版本的算法,特别适合于贴现因子接近1。
2021-08-13 cs.AI cs.LG math.OC
Continuous Differentiability of the Value Function for Infinite-Dimensional Finite-Horizon Optimal Stopping and Related Variational Inequalities
Sapienza University of Rome(罗马第一大学);Bielefeld University(比勒费尔德大学)
研究实可分希尔伯特空间中半线性随机发展方程的有限时域最优停止问题及相关变分不等式,通过证明值函数连续可微获最优停止问题的光滑拟合原理,分两部分分析并应用于带加性噪声的随机热方程。
2026-07-07 math.AP math.OC math.PR
Elastic-brittle reinforcement of flexural structures
本文对粘贴在弹脆性或弹塑性钢筋上的二维板的弯曲加强的力学效应进行了变分描述。在可能的自由塑性屈服线或自由裂纹之外,钢筋假定为线弹性。显式欧拉方程和一个符合身份示出的一维梁的钢筋。
2021-05-11 math-ph math.AP math.MP
New extremal principles with applications to stochastic and semi-infinite programming
本文发展了新的极值原理的变分分析的动机应用到约束问题的随机规划和半无限规划没有光滑性和/或凸性假设。这些极值原理涉及值在有限维空间中的可测集值映射/多值函数,并以近似和精确形式建立。所得到的原则是有助于通过变分方法获得整表示和上估计的定期和限制法线锥的基本交叉定义的可测多功能,这反过来又是至关重要的新的应用程序随机和半无限规划。
2020-07-22 math.OC
Stochastic optimal switching and systems of variational inequalities with interconnected obstacles
本文研究了一个与多模式最优切换问题相关联的无限水平上具有互连障碍物的$m$变分不等式系统。我们的主要结果是在粘性意义下,该系统的连续解的存在性和唯一性。主要结果的证明主要依赖于变分不等式与带斜反射的反射倒向随机微分方程(RBSDEs)之间的联系,这一联系将通过Feynman-Kac公式来刻画.我们的系统的无限地平线RBSDES的主要特点是,它的组件是通过发电机和障碍物互连。
2023-03-08 math.OC math.PR
Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning
Princeton University(普林斯顿大学);Northwestern University(西北大学);Yale University(耶鲁大学)
针对约束凸MDP的挑战,提出基于模型的VPDPO算法,利用拉格朗日与Fenchel对偶性转化为无约束原始-对偶优化,结合OFU价值迭代与梯度上升更新,在核化非线性调节器与低秩MDP中实现次线性遗憾与约束违反,并获全局最优策略。
2024-02-16 cs.LG math.OC stat.ML
Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning
University of Torontoland(多伦多兰大学);University of Edenborrow(伊登伯勒大学)
在批量强化学习的应用中,如教育和医疗保健,需要从观测数据中对顺序决策策略进行非策略评估。然而,在这样的环境中,未观察到的变量混淆了观察到的动作,使得不可能对新策略进行精确评估,即,无法辨认我们开发了一个强大的方法,估计一个给定的政策(无法识别)的价值在一个无限的地平线问题的数据从另一个政策与未观察到的混淆,敏感性模型的急剧界限。我们认为固定或基线未观察到的混杂和计算边界的所有固定状态占用率,同意一个新的部分确定的估计方程和敏感性模型的优化。我们证明收敛到尖锐的界限,因为我们收集更多的混淆数据。虽然集员检验是一个线性规划,但支持函数是由一个困难的非凸优化问题给出的。我们开发的非凸投影梯度下降的基础上的近似,并证明由此产生的界限经验。
2020-07-13 cs.LG math.OC stat.ML
Rank theorem in infinite dimension and lagrange multipliers
利用微分学秩定理的无限维推广,建立了巴拿赫空间中最优化问题的Karush-Huhn-Tucker定理.本文给出了在等式约束下有界过程上的变分问题的一个应用。
2018-01-30 math.OC
Contractivity of Bellman Operator in Risk Averse Dynamic Programming with Infinite Horizon
研究了一个具有无穷长时间的风险规避动态规划问题。首先,所需的假设是制定有问题很好地定义。然后推导出Bellman方程,这也可以看作是一个独立的强化学习问题。证明了Bellman算子是压缩算子,保证了用于动态规划和强化学习问题的各种求解算法的收敛性,并在数值迭代算法上证明了这一点.
2022-08-03 math.OC stat.AP
A New Iterative Projection Method for Approximating Fixed Point Problems and Variational Inequality Problems
在实希尔伯特空间中,引入并研究了一个新的外梯度迭代程序,用于寻找非扩张映象无限族的不动点集与逆强单调映象的变分不等式的解集的公共元.同时,在相当温和的条件下,证明了新的外梯度方法所定义的迭代序列强收敛于非扩张映象无限族的不动点问题和经典的变分不等式问题的解.此外,利用这一结果,我们提供了一些应用所考虑的问题,而不仅仅是给一个纯粹的扩展现有的数学问题。
2014-05-21 math.FA math.OC
Deep Reinforcement Learning for Infinite Horizon Mean Field Problems in Continuous Spaces
Prime Machine Learning Team, Amazon(亚马逊Prime机器学习团队);University of California, Santa Barbara(加州大学圣巴巴拉分校)
提出一种统一的强化学习算法,结合actor-critic与参数化得分函数表示的平均场分布,利用Langevin动力学采样,在连续空间无限时间跨度下求解MFG、MFC及MFCG问题,并在线性二次基准下验证了性能。
2025-03-06 cs.LG math.OC
Reinforcement Learning for Infinite-Dimensional Systems
针对大规模智能体系统RL计算成本高且性能下降的问题,提出基于无限维函数空间参数化模型的分层算法,利用矩核变换与过滤结构实现最优策略学习并快速收敛。
2025-09-15 cs.SY eess.SY math.OC
Infinite-Horizon Offline Reinforcement Learning with Linear Function Approximation: Curse of Dimensionality and Algorithm
University of California, Berkeley(加州大学伯克利分校);Université de Lorraine(洛林大学);Inria(法国国家信息与自动化研究所);IECL(IECL研究所)
在本文中,我们研究的样本复杂性的政策评估在无限时域离线强化学习(也称为离政策评估问题)与线性函数逼近。我们确定了一个硬政权$dγ^{2}>1$,其中$d$是特征向量的维度和$γ$是折扣率。在这种情况下,对于任何$q\in[γ^{2},1]$,我们可以构造一个硬实例,使得其特征协方差矩阵的最小特征值是$q/d$,并且它需要$Ω\left(\frac{d}{γ^{2}\left(q-γ^{2}\right)\varepsilon^{2}}\exp\left(Θ\left(dγ^{2}\right)\right)\right)$样本来近似值函数直到加性误差$\varepsilon$。注意,样本复杂度的下限在$d$中是指数的。如果是$q=γ^{2}$,即使无限的数据也不够。低分布移位的假设下,我们表明,有一个算法,需要在最多的$O\left(\max\left\{ \frac{\left\Vert θ^π\right\Vert _{2}^{4}}{\varepsilon^{4}}\log\frac{d}δ,\frac{1}{\varepsilon^{2}}\left(d+\log\frac{1}δ\right)\right\} \right)$样本($θ^π$是参数的政策,在线性函数逼近),并保证近似值函数的添加剂错误的$\varepsilon$的概率至少$1-δ$。
2021-03-17 cs.AI cs.LG math.OC