Stochastic Maximum Principle for Optimal Control of Anticipated Backward Stochastic Systems with Delays
School of Mathematics, Shandong University（山东大学数学学院）
本文提出了一种针对具有延迟的预期反向随机系统的最优控制问题的随机最大原理，通过引入σ-有限测度来处理长期记忆效应和前瞻性预期，并通过示例展示了最优控制的显式解。
2025-12-19 math.OC
Infinite horizon optimal control of forward-backward stochastic differential equations with delay
研究了一类由正倒向时滞随机微分方程控制的无限时域系统的最优控制问题。在无限时域上，导出了部分信息下最优控制的充分必要最大值原理。我们说明我们的结果的应用程序的最优消费问题的递归效用从现金流延迟。
2013-12-06 math.OC
The Optimal Control Problem of Stochastic Differential System with Extended Mixed Delays and Applications
Research Center for Mathematics and Interdisciplinary Sciences, Shandong University（山东大学数学交叉科学研究中心）；School of Mathematics, Shandong University（山东大学数学学院）
本文提出了一种解决具有扩展混合延迟的随机微分系统最优控制问题的方法，通过引入反向随机Volterra积分方程和Malliavin导数，建立了随机最大原理，并应用到非零和随机博弈和线性二次问题中。
2026-01-16 math.OC
A global stochastic maximum principle for delayed forward-backward stochastic control systems
Southern University of Science and Technology（南方科技大学）
本文提出了一种新方法，用于解决具有延迟的前向后向随机控制系统的全局随机极大原理问题。
2026-10-27 math.OC
Linear Quadratic Optimal Control Problems of Delayed Backward Stochastic Differential Equations
研究了时滞倒向随机微分方程的线性二次型最优控制问题。推导出了最优控制的一种显式表示，它是整个过去历史和未来状态轨迹在短时间内的线性反馈。这是时滞倒向随机线性二次型最优控制问题的一个主要特点。为了获得最优反馈，引入了一类新的时滞Riccati方程，并详细讨论了其解的唯一可解性。
2020-08-06 math.OC
Delay-dependent Asymptotic Stability of Highly Nonlinear Stochastic Differential Delay Equations Driven by $G$-Brownian Motion
基于古典概率，研究了系数为线性或非线性但被线性函数有界的随机时滞微分方程的稳定性准则.此外，高度非线性混合随机微分方程的相关稳定性也是近年来研究的热点。利用非线性期望理论，研究了一类由$G$ -布朗运动驱动的高度非线性混合随机时滞微分方程（$G$ -SDDEs）的依赖稳定性.首先，我们给出了次线性期望的性质。然后，给出了$G$ -SDDE方程解的稳定性和有界性的时滞相关判据.最后，一个说明性的例子进行了分析的$φ$ -最大均值算法。
2020-04-28 math.OC math.PR
Stochastic maximum principle for generalized mean-field delay control problem
本文首先给出了广义平均场延迟随机微分方程（GMFDSDES）和平均场预期倒向随机微分方程（MFABSDES）解的存在唯一性定理。然后研究了广义平均场时滞控制问题的随机最大值原理。由于状态是分布依赖的，我们将伴随方程定义为MFAB方程，其中所有系数的导数都是Fréchet意义的。我们导出了随机最大值原理，并在一些附加的假设下，得到了控制最优性的一个充分条件。
2017-08-10 math.OC
On the maximum principle for optimal control problems of stochastic Volterra integral equations with delay
本文证明了具有凸控制区域和有限时滞的随机Volterra积分方程无穷时域折扣控制问题的充分必要最大值原理。相应的伴随方程是一类新的无穷时域期望倒向随机Volterra积分方程。我们的结果可应用于随机时滞微分方程和分数阶随机时滞微分方程的折扣控制问题。作为一个例子，我们考虑一个时滞分数阶系统的随机线性二次型调节器问题。基于最大值原理，我们证明了该具体例子的最优控制的存在唯一性，并得到了最优控制的一种新的显式高斯状态反馈表示公式.
2022-12-31 math.OC math.PR
A Linear Quadratic Stochastic Stackelberg Differential Game with Time Delay
研究了一类具有时滞的线性二次随机Stackelberg微分对策.该模型具有一般性，其中状态时滞和控制时滞都出现在状态方程中，并且都进入扩散项。通过引入两个伪Riccati方程和一个特殊的矩阵方程，在一定的假设条件下，导出了开环Stackelberg策略的状态反馈表达式。最后，通过两个例子说明了理论结果的应用.
2020-12-28 math.OC
Criteria for stabilizing a multi-delay stochastic system with multiplicative control-dependent noises
本文研究了具有多输入时滞和乘性控制相关噪声的离散随机系统的均方镇定问题。对于这类多时滞随机系统，我们首次提出了两种镇定准则：Riccati型和Lyapunov型。一方面，我们采用降阶方法将多时滞随机系统转化为无时滞辅助系统，并给出了它们的等价镇定命题。然后，通过引入时滞依赖的代数Riccati方程（DDARE），证明了所考虑的系统是可镇定的当且仅当发展的DDARE有唯一的正定解.另一方面，我们描述了基于时滞依赖李雅普诺夫方程（DDLE）的准则，这可以通过线性矩阵不等式（LMI）的可行性测试进行验证。此外，在一定的约束结构下，我们还得到了时滞裕度的存在性定理，更重要的是，我们还得到了计算时滞裕度精确值的显式公式。
2023-03-15 math.OC
A Global Maximum Principle for the Stochastic Optimal Control Problem with Delay
本文解决了一类时滞随机最优控制问题的一个公开问题，其中控制域是非凸的，扩散项既包含控制项又包含时滞项。受Rehksendal和Sulem [{ \it]的启发，给出了时滞随机系统的最优控制的最大值原理及其在金融中的应用。在J. M. Menaldi，E. Rofman，A. Sulem（Eds.），最优控制和偏微分方程，ISO出版社，阿姆斯特丹，64-79，2000}]和Chen和Wu [{ \it Maximum principle for the stochastic最优控制problem with delay and application，Automatica，46，1074-1080，2010}]，Peng的一般随机最大值原理[{ \it A general stochastic maximum principle for最优控制problems，SIAM J. Control Optim.，28，966-979，1990}]被推广到时间延迟的情况，这被称为全局最大值原理。引入一个新的倒向随机微分方程来处理交叉项，应用对偶技术。与经典结果相比，该极大条件包含了一个指示函数，实际上这是时滞随机最优控制问题的特征。多维的情况下，一个可解的线性二次的例子进行了讨论。
2020-07-11 math.OC
A Class of Linear-Quadratic-Gaussian (LQG) Mean-Field Game (MFG) of Stochastic Delay Systems
研究了一类随机时滞系统的线性二次高斯（LQG）平均场对策问题。考虑了一个大种群系统，其中每个参与者的动态满足正向随机微分时滞方程。通过带时滞的期望正倒向随机微分方程（AFBSDDE）的辅助平均场系统，建立了一致性条件或Nash确定性等价（NCE）原理.这种相容性条件系统的适定性可以用某种延拓方法代替经典的不动点分析来进一步证明。因此，相容性条件可以在任意时间范围内给出。分散的策略，推导出满足$ε$ -纳什均衡属性。进一步研究了时滞系统MFG的两种特殊情况。
2015-10-02 math.OC
A semigroup approach to stochastic systems with input delay at the boundary
研究了具有边界输入时滞和无界观测算子的抽象随机线性系的适定性。我们使用积空间和半群方法将此类时滞系统转化为具有无界控制和观测算子的自由时滞分布随机系统。这使我们有机会使用容许控制和观测算子的概念以及Yosida扩展的概念来证明解过程的存在性和唯一性，并提供关于初始条件和控制过程的观测过程的估计。作为一个例子，我们考虑一个随机薛定谔系统的输入延迟。
2021-12-27 math.OC math.PR
Regularity of solutions to stochastic Volterra equations with infinite delay
本文给出了$d$维环面上无穷时滞随机Volterra方程解正则的充要条件。采用了调和分析技术和函数空间中的随机积分方法。这项工作适用于随机热和波动方程。
2005-12-01 math.OC math.PR
A general maximum principle for optimal control of stochastic differential delay systems
本文解决了一类随机最优控制问题的一个公开问题，得到了该问题的一般最大值原理，其中控制域为任意非空集，所有系数（特别是扩散项和终端费用）都包含控制时滞和状态时滞。为了克服变分不等式中状态交叉项及其时滞的处理困难，提出了一种新的方法：将时滞变分方程转化为无时滞的Volterra积分方程，并利用倒向随机Volterra积分方程理论引入新的一阶、二阶伴随方程.最后，我们将这两类伴随方程表示为几个特殊而又典型的控制系统的更紧凑的期望向后随机微分方程类型。
2023-02-07 math.OC
Advances in Stabilisation of Hybrid Stochastic Differential Equations by Delay Feedback Control
针对混合随机微分方程（HSDEs），提出了一种基于过去状态的反馈控制设计方法。这个新定理建立了时滞反馈控制与无时滞项的控制函数之间的联系，使得人们可以利用已有的关于HSDES稳定性的结果构造时滞反馈控制.研究了确定时滞长度上界的方法。数值模拟证明了新的定理。
2019-07-28 math.OC math.PR
A New Approach for Solving Delayed Forward and Backward Stochastic Differential Equations
研究了时滞线性正倒向随机微分方程（D-FBSDEs）的解耦问题，由于时滞的无穷维性，使得D-FBSDEs比无时滞情形复杂得多.提出了一种新的“离散化”的方法来获得显式解的D-FBSDES。首先，我们通过离散化将连续时间的D-FBSDES转化为离散时间的形式。其次，我们利用反向迭代法推导出离散时间D-FBSDES的解。最后通过对离散时间形式解的限制，得到了连续时间D-FBSDES的显式解。该方法可以应用于求解更一般的时滞无反馈随机微分方程，从而为时滞随机LQ控制问题提供了一个完整的解决方案。
2020-09-22 math.OC
Stochastic Recursive Optimal Control Problem with Mixed Delay under Viscosity Solution's Framework
研究了一类具有混合时滞的随机递归最优控制问题。讨论了庞特里亚金最大值原理与贝尔曼动态规划原理之间的联系。在不包含值函数导数的情况下，利用定义黏性解时引入的超喷流和次喷流的概念，研究了伴随过程与值函数之间的关系.同时给出了随机验证定理，用以验证给定的容许控制是否真的是最优的。
2019-12-22 math.OC
Sharing delay costs in stochastic scheduling problems with delays
针对随机项目的延迟成本分摊问题，提出基于Shapley值的分摊规则，刻画其性质并分析大规模场景下的计算特性。
2024-01-30 cs.GT math.OC
Closed-loop solvability of delayed control problems: A stochastic Volterra system approach
Nanjing University of Science and Technology（南京理工大学）；Sichuan University（四川大学）；Zhongyuan University of Technology（中原工学院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种新的方法，通过将延迟控制问题转化为随机Volterra积分系统，解决了具有状态和控制延迟的随机线性二次最优控制问题的闭环解存在性问题。
2026-02-22 math.OC
A General Maximum Principle for Stochastic Systems with Delay
本文研究了时滞随机系统的最优控制问题，其中控制域是非凸的，扩散系数依赖于控制变量。通过对x_{1}（t）x_{1}（t-δ）项积分的估计，利用标准尖峰变分技术和对偶方法，得到了最优控制问题的一般最大值原理.应用最大值原理研究了一类具有非凸控制域的时滞线性二次型最优控制问题，得到了该问题的最优解。
2022-10-23 math.OC
Non-zero sum differential games of forward-backward stochastic differential delayed equations under partial information and application
研究了具有部分信息的正倒向随机时滞微分方程的非零和微分对策问题。利用对偶和凸变分方法建立了对策系统的必要最大值原理和充分验证定理。应用这些理论结果和随机滤波理论研究了一个线性二次对策系统，得到了Nash平衡点的显式表达式，并讨论了特殊情况下Nash平衡点的存在唯一性.作为应用，我们考虑了一个具有非线性期望的时滞养老基金管理问题，得到了纳什平衡点。
2017-02-16 math.OC
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science（魏茨曼科学研究所）；TTI Chicago（芝加哥丰田工业大学）
当梯度延迟并反映$τ$轮前的迭代时，我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先，我们表明，没有随机噪声，延迟强烈影响可达到的优化误差：事实上，错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是，我们量化了随机噪声如何使延迟的影响可以忽略不计，改进了以前的工作，这些工作只显示了这种现象渐近或更小的延迟。此外，在分布式优化的背景下，结果表明，具有延迟的梯度下降的性能是有竞争力的同步方法，如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法，使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
A stochastic maximum principle for backward delayed system via advanced stochastic differential equation (ASDE)
本文的主要贡献有三个方面。首先，我们主要关注的是调查一类随机递归时滞控制问题，自然产生的声音背景，但尚未得到很好的研究。为了说明的目的，这里也提供了一些具体的例子。在有时滞和无时滞两种情况下，我们导出了最优控制的充分条件的随机最大值原理。其次，有趣的是，通过对偶关系引入了一类新的时间推进随机微分方程（ASDEs）作为伴随过程。据我们所知，这类方程在文献中从未被讨论过，尽管它们除了控制研究之外具有更大的学术价值。给出了一类ASDE解的存在唯一性结果。第三，为了说明我们的理论结果，我们讨论了一些动态最优化问题的基础上我们的随机最大值原理。特别是，最优控制是通过求解相关的时间推进的常微分方程（AODE），对应的ASDE在其确定性设置明确。
2011-12-04 math.OC
Stochastic maximum principle for optimal control of infinitely delayed systems of functional type in infinite dimensions
School of Mathematics, Shandong University（山东大学数学学院）
针对一般泛函型无穷时滞随机发展方程的最优控制问题，通过引入非预期路径导数及其无穷窗口对偶算子，推导出伴随方程（无穷前瞻倒向随机发展方程），并建立必要和充分的最大值原理，进而求解无穷时滞线性二次型（LQ）控制问题得到显式最优控制。
2026-05-23 math.OC math.PR
Exponential Stabilization for Ito Stochastic Systems with Multiple Input Delays
本文研究了在网络控制系统等应用中广泛存在的具有多时滞和多带乘性噪声的Ito系统的镇定问题。得到了多时滞Ito随机系统指数镇定的充分条件和必要条件。一方面，我们得到了修正的Riccati方程在均方指数镇定情形下的可解性。另一方面，均方指数镇定是由一个修改的Riccati方程的可解性保证的。基于修正的代数Riccati方程，给出了一种基于条件期望的反馈形式的镇定控制器。其主要技术是将原多时滞系统化为一个伪无时滞系统。
2018-07-19 math.OC
SSD -- Software for Systems with Delays: Reproducible Examples and Benchmarks on Model Reduction and H2 Norm Computation
我们提出SSD，软件系统与延迟，从头MATLAB软件包的分析和模型减少延迟时滞系统（RTDS）。在此基础上，我们的延迟系统对象桥接RTDS表示和MATLAB的线性分式变换（LFT）表示。这允许无缝使用MATLAB的许多可用可视化。此外，我们实现了一系列关键功能，如H2范数和系统Gramian计算，平衡实现和减少直接积分定义和利用稀疏计算。作为理论贡献，我们首次将频率限制平衡降阶推广到时滞系统，提出了一种计算算法并给出了实现。我们收集了两组关于H2范数计算和模型降阶的基准问题。SSD在GitHub上公开提供，网址为https://github.com/gumussoysuat/ssd。我们的可复制论文和两个基准集合作为可执行笔记本共享。
2022-08-25 cs.SY eess.SY math.OC
Discrete time stochastic impulse control with delay
该研究针对离散时间下带执行延迟的无限时域脉冲控制问题，运用基于Snell包络的概率方法，针对两类效用函数构建最优策略并证明有界ε-最优策略存在，为处理相关系统延迟提供鲁棒框架。
2025-01-14 math.OC math.PR
Reduction-Based Robustness Analysis of Linear Predictor Feedback for Distributed Input Delays
Saint Petersburg State University（圣彼得堡国立大学）
本文利用Lyapunov-Krasovskii方法，基于Manitius和Olbrot的反馈设计，研究线性时不变系统在分布式输入延迟下的参数和延迟鲁棒性，通过Artstein的系统降维技术设计函数，证明轻微系统矩阵和延迟值不匹配时反馈的稳定性。
2015-05-10 cs.SY eess.SY math.OC
LMI approach to global stability analysis of stochastic delayed Lotka-Volterra models
研究了一类具有离散时滞和分布时滞的n种群Lotka-Volterra系统的稳定性。允许对模型参数进行随机扰动。利用线性矩阵不等式给出了正平衡点几乎几乎必然全局渐近稳定性的充分条件。数值算例表明了该方法的有效性。
2019-11-02 math.CA math.OC
Stochastic maximum principle for equations with delay: the non-convex case
在本文中，我们开发的最优性的必要条件，在形式的随机庞特里亚金最大值原理，控制方程的逐点延迟的状态和控制相关的噪声，在一般情况下的控制$u \in U$与$U$不一定凸。利用一阶和二阶伴随倒向随机微分方程建立了最大值原理。我们还概述了如何处理控制问题的逐点延迟的状态和控制。
2018-11-28 math.OC
Revisiting State Augmentation methods for Reinforcement Learning with Stochastic Delays
TCS Research（塔塔咨询服务研究部）；IIT Bombay（印度理工学院孟买分校）
几个现实世界的场景，如远程控制和传感，是由行动和观察延迟。延迟的存在降低了强化学习（RL）算法的性能，通常会导致算法无法学习任何实质性内容。本文正式描述了马尔可夫决策过程（MDP）的概念与随机延迟，并表明延迟MDP可以转化为等价的标准MDP（无延迟）显着简化的成本结构。我们采用这种等价性来推导出一个无模型的延迟解析RL框架，并表明即使是建立在这个框架上的简单RL算法，在行动和观察具有随机延迟的环境中也能获得接近最优的奖励。延迟分辨深度Q网络（DRDQN）算法在包括多步和随机延迟的各种环境上进行基准测试，并且相对于当前建立的算法，在实现接近最优的奖励和最小化其计算开销方面都产生更好的性能。
2021-08-17 cs.AI cs.LG cs.SY
Delayed Stochastic Algorithms for Distributed Weakly Convex Optimization
本文针对分布式弱凸优化问题提出延迟随机次梯度方法和延迟随机近端线性方法，通过引入保护步骤使收敛速率仅依赖于工作节点数量，消除了延迟的影响。
2023-11-01 cs.DC math.OC
Global maximum principle for mean-field forward-backward stochastic systems with delay and application to finance
本文的目的是探讨平均场前向后延迟控制系统最优性的必要条件。证明了一个新的估计，它是处理时滞平均场型最优控制问题的有力工具。与经典情形不同，本文的一阶伴随系统是一个期望平均场倒向随机微分方程，二阶伴随系统是一个矩阵值过程系统，而不是平均场型，利用这两个伴随系统，证明了状态变分的二阶展开式$Y$，从而证明了Peng随机最大值原理.作为一个说明性的例子，我们将我们的结果应用到金融中的平均场博弈。虽然为了方便起见，我们只研究了一个点态时滞的情况，但我们的方法对于分析点态时滞的情况是足够的。
2018-11-04 math.OC
Maximum principle for recursive optimal control problem of stochastic delay evolution equations
本文研究由柱面 $Q$-Wiener 过程驱动的随机时滞发展方程递归最优控制问题，通过引入预期倒向随机发展方程作为伴随方程并运用对偶分析，推导并证明了 Pontryagin 最大值原理及其充分性。
2024-01-08 math.OC math.PR
Stochastic optimal control of delay equations arising in advertising models
考虑一类随机时滞微分方程（SDDE）的最优控制问题，该问题是在不确定性条件下，为向市场推出新产品而进行的最优广告，推广了Nerlove和Arrow（1962）的经典工作.特别是，我们处理控制SDDE的延迟进入状态和控制。根据Vinter和Kwong（1981）的思想（但仅在确定性情况下成立），我们将该问题转化为一个无限维随机控制问题，并通过动态规划原理将其与一个二阶Hamilton-Jacobi-Bellman方程联系起来。我们证明了一个验证定理，我们展示了一些简单的情况下，这样的方程承认一个明确的光滑的解决方案，使我们能够构建最佳的反馈控制。
2004-12-20 math.OC
Asynchronous Stochastic Optimization Robust to Arbitrary Delays
Google Research（谷歌研究院）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）
我们考虑随机优化与延迟梯度，在每个时间步$t$，算法进行更新，使用一个陈旧的随机梯度从步骤$t - d_t$为一些任意延迟$d_t$。此设置抽象了异步分布式优化，其中中央服务器接收由工作机器计算的梯度更新。这些机器可能会经历计算和通信负载，这些负载可能会随着时间的推移而显著变化。在一般的非凸光滑优化设置中，我们给出了一个简单而有效的算法，需要$O( σ^2/ε^4 + τ/ε^2 )$步骤来寻找$ε$-平稳点$x$，其中$τ$是\emph{average}延迟$\smash{\frac{1}{T}\sum_{t=1}^T d_t}$，$σ^2$是随机梯度的方差。这比以前的工作，这表明，随机梯度下降达到相同的速率，但相对于\emph{maximal}延迟$\max_{t} d_t$，这可能是显着大于平均延迟，特别是在异构分布式系统。我们的实验证明了我们的算法的有效性和鲁棒性的情况下，延迟分布是偏斜或重尾。
2021-11-15 cs.LG math.OC
Linear-quadratic stochastic delayed control and deep learning resolution
本文考虑一类具有时滞控制的随机控制问题，其控制类型为dX t = $α$ t--d（bdt + $σ$ dW t）.我们提供了一个新的表征的解决方案的一组Riccati偏微分方程。在直接表示为视界T与量d（b/ $σ$）2之间的关系的充分条件下获得存在唯一性。此外，设计了一个深度学习方案，并用于说明延迟对具有执行延迟的Markowitz投资组合分配问题的影响。
2021-02-24 math.OC math.PR q-fin.CP
Multivariable Stochastic Newton-Based Extremum Seeking with Delays
本文提出一种基于牛顿法的随机极值搜索控制方法，结合预测器反馈与Hessian逆估计，解决多输入系统在输入延迟下的实时优化问题，确保指数稳定与收敛。
2025-02-02 cs.SY eess.SY math.OC
Distributed Delayed Stochastic Optimization
我们分析了基于梯度的优化算法的收敛性，其更新基于延迟的随机梯度信息。我们的研究结果的主要应用是基于梯度的分布式优化算法的开发，其中主节点执行参数更新，而工作节点计算随机梯度的基础上，在并行的本地信息，这可能会引起延迟，由于dummy。我们从统计问题中获得动力，其中数据的大小如此之大，以至于无法在一台计算机上容纳;随着生物学，天文学和互联网中巨大数据集的出现，这样的问题现在很常见。我们的主要贡献是证明了对于光滑随机问题，时滞是渐近可忽略的，并且我们可以获得阶最优收敛结果。在分布式优化应用中，我们开发了克服通信瓶颈和同步要求的程序。我们展示了$n$ -节点架构，其在随机问题中的优化误差-尽管异步延迟-在$T$迭代后作为$\order(1 / \sqrt{nT})$渐近缩放。已知该速率对于具有$n$节点的分布式系统是最优的，即使在没有延迟的情况下也是如此。我们还补充了我们的理论结果与统计机器学习任务的数值实验。
2011-04-28 math.OC stat.ML
Ergodicity analysis and antithetic integral control of a class of stochastic reaction networks with delays
ETH-Zürich（苏黎世联邦理工学院）
本文研究了一类具有延迟的随机反应网络的遍历性分析和抗性积分控制，证明了相位型分布的延迟不会影响反应网络的遍历性，并展示了延迟对动量方程的影响。
2020-04-23 cs.SY eess.SY math.OC
Stochastic maximum principle for SPDEs with delay
本文以庞特里亚金最大值原理的形式，给出了一类具有时滞的无穷维发展方程的最优控制问题的最优性必要条件.在成本泛函中，我们允许最终成本取决于状态的历史。为了处理这样的成本泛函，我们引入了一种新的形式的预期向后随机微分方程，它起着对偶方程的作用与控制问题。
2016-03-23 math.OC math.PR
AdaDelay: Delay Adaptive Distributed Stochastic Convex Optimization
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
研究了延迟梯度模型下的分布式随机凸优化问题，其中服务节点执行参数更新，而工作节点计算随机梯度。我们讨论、分析和实验一个由真实世界的分布式计算网络的行为激励的设置，其中机器在不同的时间有不同的速度。因此，我们允许参数更新对所经历的实际延迟敏感，而不是对最大延迟的最坏情况界限敏感。这种敏感性导致更大的步长，这可以帮助获得快速的初始收敛，而不必等待太长时间的较慢的机器，同时保持相同的渐近复杂度。我们在具有多达数十亿个示例和特征的真实数据集上进行分布式实验，在总体收敛性方面取得了令人鼓舞的改进。
2015-08-20 cs.LG math.OC stat.ML
Recurrent Neural Networks for Stochastic Control Problems with Delay
Princeton University（普林斯顿大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
由于时滞系统的路径依赖性及其固有的高维性，使得具有时滞的随机控制问题具有挑战性。本文提出并系统研究了基于深度神经网络的算法，用于解决具有时滞特征的随机控制问题。具体来说，我们采用神经网络序列建模（\emph{e.g.}，循环神经网络，如长短期记忆）参数化的政策和优化的目标函数。所提出的算法进行了测试的三个基准的例子：一个线性二次型问题，固定有限延迟的最优消费，投资组合优化与完全记忆。特别是，我们注意到，与前馈网络相比，循环神经网络的架构自然地捕获了具有更大灵活性的路径依赖特征，并通过更有效和更稳定的网络训练产生更好的性能。这种优越性甚至在具有无限时滞的完全记忆的投资组合优化的情况下也是显而易见的。
2021-06-16 cs.LG math.OC q-fin.CP
