Centralized Versus Decentralized Team Games of Distributed Stochastic Differential Decision Systems with Noiseless Information Structures-Part II: Applications
University of Cyprus(塞浦路斯大学);University of Ottawa(渥太华大学)
本文利用随机最大值原理、条件哈密顿量和耦合正倒向随机微分方程,推导了无噪声信息结构下分布式随机微分系统的团队最优分散策略,并通过线性和非线性二次型示例展示了信息信号对降低计算复杂度的作用。
2013-02-14 cs.IT cs.SY eess.SY
Team problems and stochastic programming
University of Manchester(曼彻斯特大学);Steklov Mathematical Institute, Russian Academy of Sciences(俄罗斯科学院斯捷克洛夫数学研究所)
本文通过将凸随机规划的新方法引入随机团队决策问题,重点研究了凸随机团队问题中信息与物质约束的拉格朗日松弛。
2025-09-21 math.OC math.PR
Discretization error from regularized Reinforcement Learning to continuous-time stochastic control
Ecole Polytechnique(巴黎综合理工学院);Auburn University(奥本大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文研究正则化离散时间强化学习与连续时间随机最优控制之间的离散化误差,分析其收敛速率以支撑探索性RL策略在连续时间环境中的稳定性与实现。
2026-04-23 math.OC
Team Games Optimality Conditions of Distributed Stochastic Differential Decision Systems with Decentralized Noisy Information Structures
我们考虑一个团队博弈的奖励,我们推导出一个随机庞特里亚金的最大值原理的分布式随机微分系统分散噪声信息结构。我们的方法利用半鞅表示定理,变分方法,和向后随机微分方程。此外,我们推导出表征分散策略的团队和逐个最优性的必要和充分的最优性条件。最后,我们将随机最大值原理应用于通信、滤波和控制等应用领域的几个例子。
2013-04-11 math.OC
Optimal Solutions to Infinite-Player Stochastic Teams and Mean-Field Teams
我们研究了具有可数无穷多个决策者的随机静态团队,目标是在分散信息结构下获得(全局)最优策略。我们提出了充分条件连接的概念,团队最优性和个人的最优性的静态团队与可数无限的决策者。证明了在一致可积和一致收敛性条件下,决策者个数为可数无穷多的静态团队的最优策略可以建立为决策者个数为$N$的静态团队的最优策略序列的极限.在对称性条件的存在下,我们放松的条件,这导致最优性结果的一大类平均场最优团队问题,现有的结果已被限制到个人的个人最优性,而不是全局最优性(严格分散下)。特别是,我们建立了对称(即,#21453;的政策,解决这些问题。作为进一步的条件,这个最优性结果导致了平均场团队的存在性结果。我们考虑了一些说明性的例子,该理论被应用到设置与无限多的决策者或无限时域随机控制问题减少到一个静态的团队。
2020-05-12 math.OC
Extended Regularized Dual Averaging Methods for Stochastic Optimization
提出了一种求解正则化随机最优化问题的新算法--扩展正则化对偶平均法(XRDA),它推广了正则化对偶平均法(RDA)。该方法的主要新颖之处在于它允许灵活地控制向后步长。例如,RDA中使用的后向步长无限制地增长,而对于XRDA,后向步长可以保持有限制。我们的实验表明,额外的控制后向步长可以显着提高收敛速度的算法,同时保持所需的属性的迭代,如稀疏。理论上,我们表明,XRDA方法实现了相同的收敛速度RDA一般凸目标。
2022-07-13 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的,直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法,有限和一般的随机最优化问题,这具有优越的收敛复杂性相比,目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
Linear-quadratic stochastic nonzero-sum differential games between graphon teams
该研究针对两个graphon团队间的线性-二次随机非零和微分博弈,将其等价转化为无限维双智能体纳什博弈,通过动态规划推导耦合算子值Riccati型方程并证明解的存在性,进而得到团队间的纳什均衡。
2025-06-13 math.OC
Decentralized Learning for Optimality in Stochastic Dynamic Teams and Games with Local Control and Global State Information
本文提出一种双时间尺度算法,使仅依赖局部控制和全局状态信息的独立学习智能体,在随机动态团队与共同利益博弈中收敛至团队最优策略,并首次提供了形式化收敛保证。
2021-02-25 math.OC
Entropy-Regularized Stochastic Games
在二人零和随机对策中,两个竞争的局中人在不确定性条件下进行决策,传统上一对最优策略由纳什均衡描述,并在局中人对环境的随机转移模型具有完全信息的假设下计算。然而,实施这种战略可能会使参与者容易受到环境中不可预见的变化的影响。在本文中,我们引入了熵正则化的随机对策,其中每个玩家的目标是最大化的因果熵的战略,除了其预期的回报。正则化项平衡了每个参与者的理性与其对过渡模型错误信息水平的信念。我们考虑熵正则化的$N$阶段和熵正则化的折扣随机对策,并建立在这两个游戏中的值的存在。此外,我们证明了充分的马尔可夫和平稳的混合策略,以达到价值,分别在$N$阶段和折扣游戏。最后,我们提出了算法,这是基于凸优化问题,计算的最优策略。在一个数值例子中,我们演示了所提出的方法的运动规划方案,并说明了预期收益的正则化项的效果。
2019-07-29 math.OC
Optimality of Independently Randomized Symmetric Policies for Exchangeable Stochastic Teams with Infinitely Many Decision Makers
本文研究了决策者数目为大或可数无穷多的随机团队(也称为分散随机控制或同息随机动态博弈)问题,刻画了(全局)最优策略的存在性和结构性质。我们考虑静态和动态的非凸团队问题的费用函数和动态满足交换条件。为了达到最优策略的存在性和结构性结果,我们首先介绍了控制策略的拓扑结构,它涉及到分散的信息结构的各种放松。然后利用这一点来达到可交换政策的de Finetti型表示定理。这导致了一个表示定理的政策,承认一个无限的交换条件。对于一般设置的随机团队问题与$N$决策者,下交换的观察决策者和费用函数,我们表明,在不损失全局最优性,搜索最优策略可以限制到那些是$N$ -可交换的。然后,通过将$N$ -可交换策略推广到无限可交换策略,建立了诱导成本的收敛性论证,并利用所提出的de Finetti型定理,我们建立了具有可数无限个决策者的静态和动态团队的最优分散策略的存在性,证明了该策略是对称的(即,相同)和随机化。特别是,与以前的工作,凸性的成本在政策不假设。最后,我们证明了有限$N$ -决策者团队问题的对称独立随机策略的近最优性,从而建立了$N$ -决策者弱耦合随机团队的近似结果。
2021-07-07 math.OC
Regularized two-stage stochastic variational inequalities for Cournot-Nash equilibrium under uncertainty
将不确定性条件下的凸两阶段非合作多智能体博弈表示为两阶段随机变分不等式(SVI)。在标准假设下,给出了两阶段SVI解存在的充分条件,并提出了求解该问题的正则化样本平均逼近方法,证明了当正则化参数趋于零和样本量趋于无穷大时,该方法的收敛性.此外,我们的方法被应用到一个两阶段的随机生产和供应计划问题的同质商品在寡头垄断市场。基于原油市场历史数据的数值计算结果表明,两阶段SVI在描述采油剂的市场份额的有效性。
2019-07-17 math.OC
Convex Analysis in Decentralized Stochastic Control, Strategic Measures and Optimal Solutions
本文研究了分散随机控制中由容许的团队策略导出的策略测度集的性质和动态团队问题中的凸性。为了促进凸分析方法,团队问题的战略措施。研究了弱收敛拓扑下的凸性、紧性和Borel可测性等性质,并给出了这些性质成立的充分条件。这些导致最优政策的存在性和结构性结果。它将被证明,这不是经典的团队的战略措施的集合一般是非凸的,但一个放松的集合的极值点由确定性的团队政策,这导致他们的最优性为一个给定的团队问题下的预期成本标准。外部提供的独立的公共随机性的静态团队或私人随机性的动态团队不提高团队的绩效。研究了一类序贯团队问题的凸性问题,给出了包含非经典信息结构团队的序贯团队问题凸性的充要条件。这种分析的影响,确定概率和信息结构依赖的凸性。
2016-10-31 math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia(弗吉尼亚大学)
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian,这是专门为立方正则化方法设计的。我们表明,我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用,这优于国家的最先进的立方正则化算法,包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Optimal Policies for Convex Symmetric Stochastic Dynamic Teams and their Mean-field Limit
研究了分散信息结构下有限和无限时间域的凸随机动态团队问题。首先,我们引入了两个概念,称为交换团队和对称信息结构。我们发现,在凸交换队问题的最优策略表现出对称结构。在一个较弱的条件独立性条件下,给出了一类凸动态团队问题的对称最优团队的一个刻画。此外,通过集中的措施参数,我们建立了收敛的最优政策的团队与$N$决策者相应的最优政策的对称平均场团队无限多的决策者。作为一个副产品,我们提出了凸平均场团队的存在性结果,我们的论文的主要贡献是相对于系统中的信息结构相比,在文献中的相关结果,无论是假设一个经典的信息结构或静态的信息结构。我们还将这些结果的重要特殊情况下的线性二次高斯(LQG)团队问题,而部分嵌套的LQG团队问题与有限的时间范围内,它是已知的最优策略是线性的,无限的地平线问题的线性最优策略尚未建立在充分的一般性。我们还研究了平均成本有限和无限地平线动态团队问题的对称部分嵌套的信息结构,并获得全局最优解,我们建立线性的最优策略。
2020-11-24 math.OC
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology(东京工业大学);Japan Science and Technology Agency(日本科学技术振兴机构)
我们考虑一个复合凸最小化问题与正则化的经验风险最小化,这经常出现在机器学习。本文提出了两种新的随机梯度法,它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法,因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外,我们的方法有理论支持的强和非强凸正则化,并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Isomorphism Properties of Optimality and Equilibrium Solutions under Equivalent Information Structure Transformations I: Stochastic Dynamic Teams
在随机最优控制中,测度变元一直是随机分析的关键问题。这种方法通常被称为动态团队理论(或分散随机控制)中的静态约简,并且已经成为建立最优策略的存在性和近似结果的有效方法。在本文中,我们将这种静态减少分为三类:(i)独立于政策的(如Witsenhausen介绍的),(ii)政策依赖型(正如Ho和Chu为部分嵌套的动态团队介绍的那样),以及(iii)我们将称为具有控制共享减少的静态测量的那些(其中测量是静态的,尽管根据部分嵌套的信息结构共享控制动作)。对于第一种类型,我们证明了动态团队的个人最优(全局最优)政策与其政策独立的静态减少之间存在双射。对于第二种类型,虽然有一个双射动态团队的全局最优政策与部分嵌套的信息结构和他们的静态约简,一般不存在双射动态团队的个人最优政策和他们的政策相关的静态约简。我们还建立了一个关于定常解的更强的负结果。我们提出了双射关系成立的充分条件。在控制共享减少的静态测量下,最优性概念之间的联系可以在放松的条件下建立。一个蕴涵是一个凸性特征的动态团队问题在静态测量与控制共享减少。最后,我们介绍了多阶段的改进,这样的减少。第二部分的文件解决了类似的问题的背景下,随机动态游戏,其中出现了进一步的微妙之处。
2021-11-27 math.OC
Regularized Stochastic Dual Dynamic Programming for convex nonlinear optimization problems
我们定义了一个正则化的变形的对偶动态规划算法称为REDDP(正则化对偶动态规划)来解决非线性动态规划方程。我们将该算法推广到求解非线性随机动态规划方程。相应的算法,称为SDDP-REG,可以被看作是一个扩展的正则化的随机对偶动态规划(SDDP)算法最近推出的线性问题,研究较少的一般性中心。我们展示了REDDP和SDDP-REG的收敛性。我们评估了REDDP和SDDP-REG在具有直接交易成本和市场影响成本的投资组合模型上的表现。特别地,我们提出了一个风险中性的投资组合选择模型,它可以被视为一个多阶段的随机二阶锥规划。该公式的动机是市场影响成本对大型投资组合再平衡操作的影响。数值模拟表明,REDDP是快得多DDP的所有问题的情况下考虑(高达184倍快于DDP),SDDP-REG是更快的情况下,投资组合选择问题的市场影响成本测试和更快的风险中性的多阶段随机线性规划的情况下实施(8.2倍快)。
2020-05-01 math.OC
RES: Regularized Stochastic BFGS Algorithm
University of Pennsylvania(宾夕法尼亚大学)
RES是Broyden-Fletcher-Goldfarb-Shanno(BFGS)拟牛顿法的一种正则化随机形式,用于求解随机目标的凸优化问题.随机梯度下降算法的使用是广泛的,但在高维问题中,近似最优参数所需的迭代次数可能是禁止的。另一方面,二阶方法的应用是不切实际的,因为目标函数海森逆的计算会导致过多的计算成本。BFGS通过引入从有限梯度差计算的Hessian近似矩阵来修改梯度下降。RES利用随机梯度代替确定性梯度来确定下降方向和近似目标函数的曲率。由于随机梯度可以计算在可控的计算成本RES是可实现的,并保留其确定性同行的收敛速度的优势。收敛性结果表明,样本函数的Hessian特征值的上下界足以保证收敛到最优参数.数值实验表明,减少收敛时间相对于随机梯度下降算法和非正则化的随机版本的BFGS。RES的实施支持向量机的应用程序开发。
2014-01-29 cs.LG math.OC stat.ML
The Stochastic Team Orienteering Problem
University of Turin(都灵大学);Université Laval(拉瓦尔大学)
本文研究随机团队定向问题,将其建模为两阶段随机整数规划,提出基于整数L型方法的精确求解法,结合非线性机会约束等强化模型,用标准TOP基准数据集验证算法效果。
2026-09-10 math.OC
Stochastic Dual Coordinate Ascent Methods for Regularized Loss Minimization
Hebrew University(希伯来大学);Rutgers University(罗格斯大学)
随机梯度下降算法由于其强大的理论保证,已成为解决大规模有监督机器学习优化问题(如支持向量机)的热门方法。虽然密切相关的双坐标上升(DCA)方法已在各种软件包中实现,但迄今为止缺乏良好的收敛性分析。本文提出了一种新的分析随机双坐标上升(SDCA)显示,这类方法享有强大的理论保证,是可比的或更好的SGD。该分析证明了SDCA在实际应用中的有效性。
2013-01-30 cs.LG math.OC stat.ML
Riemannian Stochastic Variance-Reduced Cubic Regularized Newton Method for Submanifold Optimization
我们提出了一个随机方差缩减的三次正则牛顿算法来优化欧几里得空间的黎曼子流形上的有限和问题。该算法需要在每个历元开始时进行全梯度和Hessian更新,同时在每个历元内的迭代中进行随机方差减少更新。计算了$O(ε^{-3/2})$的迭代复杂度,得到了一个$(ε,\sqrtε)$ -二阶稳定点,即,当流形嵌入在欧几里得空间中时,建立了黎曼梯度范数上界为$ε$,黎曼Hessian最小特征值下界为$-\sqrtε$的点.此外,本文提出了一个计算上更吸引人的修改算法,只需要一个不精确的解决方案的立方正则牛顿子问题具有相同的迭代复杂度。该算法进行了评估,并与其他三个黎曼二阶方法在两个数值研究估计的逆尺度矩阵的多元t-分布的对称正定矩阵的流形上,估计球形流形上的线性分类器的参数。
2022-07-21 math.OC
Decentralized Q-Learning for Stochastic Teams and Games
只有少数学习算法适用于随机动态团队和游戏,推广马尔可夫决策过程的分散随机控制问题,涉及可能是自私的决策者。游戏中的学习通常很困难,因为游戏是一个非静态环境,每个决策者都希望在其他决策者也在学习的情况下,用最少的信息学习最佳决策。在随机动态博弈中,学习更具挑战性,因为在学习过程中,决策者会改变系统的状态,从而改变未来的成本。本文提出了随机对策的分散Q-学习算法,并研究了弱非循环情形下的收敛性,其中团队问题是一个重要的特例。该算法是分散的,因为每个决策者只能访问其本地信息,状态信息和本地成本实现;此外,它完全无视其他决策者的存在。我们表明,这些算法收敛到均衡政策几乎肯定在大型类的随机对策。
2016-05-02 cs.GT cs.LG math.OC
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University(上海大学);College of Sciences(理学院);Newtouch Center for Mathematics of Shanghai University(上海大学新接触数学中心)
针对随机非凸-凹极小极大问题,提出加速一阶正则化动量下降上升算法(FORMDA),其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$,实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
A Relation Analysis of Markov Decision Process Frameworks
Singapore Management University(新加坡管理大学);Massachusetts Institute of Technology(麻省理工学院)
研究了机器学习和计量经济学文献中不同的马尔可夫决策过程(MDP)框架之间的关系,包括标准MDP、熵和一般正则化MDP以及随机MDP,后者基于报酬函数是随机的并服从给定分布的假设。我们证明了熵正则化MDP等价于一个随机MDP模型,并且严格地被一般正则化MDP所包含。此外,我们提出了一个分布式随机MDP框架,假设报酬函数的分布是模糊的。我们进一步表明,分布随机MDP是等价的正则化MDP,在这个意义上,他们总是产生相同的最优策略。我们还提供了随机/正则化MDP和约束MDP之间的连接。我们的工作给出了几个重要的MDP框架,这将导致新的方法来解释(熵/一般)正则化MDP框架通过镜头的随机奖励,反之亦然。鉴于最近正则化MDP在(深度)强化学习中的流行,我们的工作带来了对这种算法方案如何工作的新理解,并提出了开发新算法的想法。
2020-08-18 cs.LG econ.EM math.OC
Inexact Variable Metric Stochastic Block-Coordinate Descent for Regularized Optimization
块坐标下降法是求解具有块可分结构的大规模正则化最优化问题的一种常用框架。现有的方法有几个局限性。他们通常假设子问题可以在每次迭代中精确求解,这在实际中通常限制子问题中的二次项是对角的,从而失去了高阶导数信息的大部分好处。此外,与平滑情况相比,块的非均匀采样尚未被证明可以提高正则化问题的收敛速度界限。本文提出了一种基于正则化二次子问题的不精确随机BCD方法,其中二次项可以从迭代到迭代而变化:一个“可变度量”。我们提供了一个详细的收敛性分析凸和非凸问题。我们的分析推广到正则化的情况下Nesterov的建议,以提高收敛的BCD块的Lipschitz常数成比例的采样。我们通过削弱对初始目标值的依赖性来提高凸情形下的收敛速度。实证结果还表明,使用可变指标会产生显著的效益。
2019-11-01 math.OC
A Stochastic Iteratively Regularized Gauss-Newton Method
本文提出随机迭代正则化高斯-牛顿方法(SIRGNM),通过小批量随机草图化扩展经典反问题算法,在二维椭圆PDE实验中以相近精度显著降低计算时间。
2024-09-19 cs.NA math.NA math.OC
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标(SPDC)方法,该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法,便于并行计算,并与加权采样概率的对偶变量,这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上,我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
Faster stochastic cubic regularized Newton methods with momentum
本文提出带动量方差缩减的更快随机三次正则化牛顿方法,通过低误差梯度估计和动量海森估计降低计算成本,并在温和假设下证明迭代复杂度,实验表明其性能接近确定性CRN方法且显著优于一阶方法。
2025-07-17 math.OC
An Asynchronous Mini-Batch Algorithm for Regularized Stochastic Optimization
Department of Automatic Control, School of Electrical Engineering and ACCESS Linnaeus Center, Royal Institute of Technology (KTH)(皇家理工学院电气工程学院自动控制系及ACCESS林奈中心)
本文提出一种异步小批量算法,用于解决具有平滑损失函数的正则化随机优化问题,通过合理选择步长值,实现O(1/√T)和O(1/T)的收敛速度,理论结果在分布式计算环境中得到验证。
2015-05-18 cs.SY eess.SY math.OC
Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems
随机邻近梯度(SPG)方法已广泛用于机器学习和统计中使用简单(可能非光滑)正则化器解决最优化问题。然而,据我们所知,没有非渐近收敛分析SPG存在的非凸优化与非光滑和非凸正则化。现有的SPG求解非光滑非凸问题的非渐近分析都要求非光滑正则化子是凸函数,因此不适用于非光滑非凸正则化问题.这项工作启动分析,以弥合这一差距,打开了大门,非渐近收敛分析的非光滑非凸正则化问题。我们分析了几个变种的小批量SPG方法最小化的非凸目标,包括一个光滑的非凸损失和非光滑的非凸正则化。我们的贡献是双重的:(i)我们表明,他们享有相同的复杂性,他们的同行解决凸正则化非凸问题方面找到一个近似的驻点;(ii)我们开发更实用的变种使用动态的小批量大小,而不是一个固定的小批量大小,而不需要目标精度水平的解决方案。我们的结果的意义是,他们改进的国家的最先进的结果解决非光滑非凸正则化问题。我们还实证证明了所考虑的SPG方法与其他同行的随机方法相比的有效性。
2019-11-18 math.OC
Centralized Versus Decentralized Team Games of Distributed Stochastic Differential Decision Systems with Noiseless Information Structures-Part I: General Theory
分布式随机微分系统的分散优化是半个多世纪以来的一个活跃的研究领域。它的制定利用静态团队和个人的最优性标准进行了很好的研究。然而,结果还没有推广到非线性分布随机微分系统可能是由于分散决策策略固有的技术困难。在本文的第一部分中,我们推导了具有不同信息结构的分布式随机微分系统的团队最优性和个人最优性条件最优性条件。最优性条件给出的哈密顿系统系统的耦合向后和向前随机微分方程和一个条件哈密尔顿方程,根据经常和放松的战略。我们的方法是基于半鞅表示定理和变分方法。在整个演示文稿中,我们讨论的相似之处集中式决策的最优性条件。
2013-02-14 cs.IT math.IT math.OC
Nested Stochastic Algorithm for Generalized Sinkhorn distance-Regularized Distributionally Robust Optimization
本文针对广义Sinkhorn距离正则化的非凸分布鲁棒优化问题,推导出嵌套随机优化的对偶形式,提出嵌套SGD算法并证明其多项式复杂度,数值实验验证了算法的效率与鲁棒性。
2025-06-26 cs.LG math.OC stat.ML
Half-Space Proximal Stochastic Gradient Method for Group-Sparsity Regularized Problem
利用组稀疏性进行优化对于增强加工学习应用中的模型可解释性是重要的,例如,特征选择、压缩感知和模型压缩。然而,对于大规模的随机训练问题,有效的组稀疏性探索通常很难实现。特别地,最先进的随机最优化算法通常仅生成稠密解。为了克服这一不足,我们提出了一种随机方法--半空间随机投影梯度(HSPG)方法来搜索解的高群体稀疏性,同时保持收敛性。通过简单的Prox-SG步骤初始化,HSPG方法依赖于一种新的半空间步骤,以大大提高稀疏水平。在数字上,HSPG证明了它在深度神经网络中的优越性,例如,VGG 16,ResNet 18和MobileNetV 1,通过计算更高的群体稀疏性,竞争目标值和泛化精度的解决方案。
2021-02-13 math.OC
Regularized Decomposition of High-Dimensional Multistage Stochastic Programs with Markov Uncertainty
我们开发了一个二次正则化方法的高维多阶段随机最优化问题的解决方案,其特征在于一个潜在的大量的时间段/阶段(如数百),一个高维资源状态变量,和马尔可夫信息过程。所得到的算法收敛到一个最优的政策,经过有限数量的迭代温和的技术假设。计算实验进行了优化能量存储在一个大型的输电网,这激发了我们的问题的空间和时间维度的设置。我们的数值结果表明,所提出的方法表现出显着更快的收敛速度比他们的经典同行,更大的收益观察高维问题。
2017-02-26 math.OC stat.CO
Solving Multistage Stochastic Linear Programming via Regularized Linear Decision Rules: An Application to Hydrothermal Dispatch Planning
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学)
多阶段随机线性问题的求解在许多应用领域都是一个挑战。长期水热调度规划(LHDP)将这一挑战具体化为影响全球电力市场、经济和自然资源的现实问题。没有封闭形式的解决方案可用于MSLP和非预期的政策与高质量的样本外的性能的定义是至关重要的。线性决策规则(LDR)提供了一个有趣的基于模拟的框架,通过两阶段随机模型为MSLP找到高质量的政策。然而,在实际应用中,当使用LDR时要估计的参数的数量可能接近或高于样本平均近似问题的场景的数量,从而在样本外模拟中产生样本内过拟合和差的性能。在本文中,我们提出了一种新的正则化LDR解决MSLP的基础上AdaLASSO(自适应最小绝对收缩和选择算子)。我们的目标是使用简约原则,主要是在高维线性回归模型的研究,以获得更好的样本外性能的LDR应用于MSLP。计算实验表明,过拟合的威胁是不可忽略的,当使用经典的非正则LDR解决LHDP,研究最多的MSLP与相关应用之一。我们的分析强调了与非正则化基准相比,所提出的框架的以下好处:1)非零系数(模型简约性)的数量显着减少,2)样本外评估的成本大幅降低,3)改善现货价格曲线。
2023-01-05 cs.LG cs.SY econ.EM
Team Variance Optimization of n-Player Stochastic Games with Separately Controlled Chains
针对独立受控链n人随机博弈的团队方差优化难题,提出基于灵敏度的双层分布式优化算法,证明了纳什均衡存在性与算法收敛性,并通过智能电网能量管理实验验证了有效性。
2025-07-30 math.OC
A reliability-aware randomized simheuristic for the stochastic team orienteering problem
本文提出一种面向可靠性的随机模拟启发式方法,结合节约启发式与随机化机制、随机筛选参数和可靠性阈值,有效解决随机团队导向问题中的可靠性挑战。
2026-04-28 math.OC
The Projection Method for Reaching Consensus and the Regularized Power Limit of a Stochastic Matrix
Trapeznikov Institute of Control Sciences, Russian Academy of Sciences(特拉佩兹尼科夫控制科学研究所,俄罗斯科学院)
针对多智能体系统中通信有向图不满足生成树条件时的离散共识问题,提出基于正交投影的协调方法,并证明该方法的矩阵可视为随机矩阵的正则化幂极限。
2012-02-06 cs.MA cs.NI cs.SY
On the Convergence of A Data-Driven Regularized Stochastic Gradient Descent for Nonlinear Ill-Posed Problems
本文提出并分析了一种用于无限维Hilbert空间中非线性不适定逆问题的数据驱动正则化随机梯度下降法,证明了其在特定条件下的正则化性质与收敛速率,并通过数值实验验证了理论分析。
2024-09-27 cs.NA math.NA math.OC
Decentralized Exchangeable Stochastic Dynamic Teams in Continuous-time, their Mean-Field Limits and Optimality of Symmetric Policies
本文研究连续时间下有限与无限总体的可交换随机动态团队,证明了有限总体最优策略收敛于无限总体去中心化对称策略并具有全局最优性,首次建立了受控McKean-Vlasov动力学与去中心化随机控制问题的联系。
2024-04-25 math.OC
On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization
University of Maryland at College Park(马里兰大学帕克分校)
本文针对非 oblivious 设置下的正则化期望奖励优化问题,应用并分析随机近端梯度方法,并引入基于重要性采样的方差缩减技术(PAGE),将样本复杂度从 O(ε^{-4}) 改进至 O(ε^{-3}),为强化学习中的一般正则化奖励优化提供了新方法。
2024-08-19 cs.LG math.OC
A McKean-Pontrygin maximum principle for entropic-regularized optimal transport
Institut für Mathematik, Universität Potsdam(波茨坦大学)
本文提出基于麦克肯-庞特里亚金最大原理的均场方法,解决动态最优传输问题,避免随机路径采样,构建约束哈密顿方程,并统一处理确定性和随机性最优传输。
2026-03-31 cs.NA math.NA math.OC
Convergence of Policy Iteration for Entropy-Regularized Stochastic Control Problems
University of Colorado Boulder(科罗拉多大学博尔德分校);Iowa State University(爱荷华州立大学);University of Sydney(悉尼大学)
本文研究熵正则化随机控制问题中策略迭代算法的收敛性,通过精细的Hölder与Sobolev空间估计,获得价值函数的统一Hölder界,从而证明算法收敛,并推导出最优价值函数作为探索型哈密顿-雅可比-贝尔曼方程的唯一解。
2024-12-19 math.OC
Snake: a Stochastic Proximal Gradient Algorithm for Regularized Problems over Large Graphs
LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎高科电信学院LTCI实验室);CNRS / LIGM (UMR 8049), Université Paris-Est Marne-la-Vallée(法国国家科学研究中心/马恩-拉瓦雷大学LIGM实验室)
研究了大型非结构图上的正则化最优化问题,其中正则化项与图的几何结构有关。典型的正则化示例包括图上的全变差和拉普拉斯正则化。当应用邻近梯度算法来解决这个问题时,在图是没有循环的简单路径的特殊情况下,存在非常经济实惠的方法来实现邻近运算符(向后步骤)。在本文中,一个算法,简称为“蛇”,提出了解决一般图的正则化问题,利用这些快速的方法。该算法包括在图中适当地选择随机简单路径,并在这些简单路径上执行近似梯度算法。该算法是一种新的广义随机邻近梯度算法的一个实例,并证明了其收敛性。其中提供了趋势过滤和图形修复的应用。数值实验进行了大型图。
2017-12-19 cs.LG math.OC stat.ML
A regularized variance-reduced modified extragradient method for stochastic hierarchical games
针对含期望值与分层项的N参与者随机分层博弈,提出迭代正则化、平滑的方差缩减修正超梯度框架,并给出收敛速率、复杂度及非精确下层求解扩展。
2024-01-25 cs.GT math.OC
Diffusion Stochastic Learning Over Adaptive Competing Networks
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);Institute of Electrical and Micro Engineering, EPFL(电气与微电子工程研究所,EPFL)
本文研究两个竞争团队间的随机动态博弈,提出扩散学习算法解决零和与非零和两类网络博弈,分析了算法稳定性并通过Cournot竞争和去中心化GAN训练实验验证了理论结果。
2025-04-28 cs.LG cs.MA math.OC
A multilevel stochastic regularized first-order method with application to finite sum minimization
ISTI–CNR(意大利国家研究委员会信息系统技术研究所);ENS de Lyon, Univ Lyon, UCBL, CNRS, Inria, LIP(里昂高等师范学院,里昂大学,里昂第一大学,法国国家科学研究中心,法国国家计算机科学与自动化研究所,计算与交互实验室)
本文提出了一种多级随机正则化一阶方法,用于解决非凸无约束优化问题,通过分层描述和随机模型实现更高效的收敛和计算。
2025-11-26 cs.NA math.NA math.OC
Decentralized Strategies for Backward Linear-Quadratic Mean Field Games and Teams
针对由弱耦合线性 BSDE 描述的线性二次平均场博弈与团队问题,利用随机最大值原理、最优滤波及 Riccati 方程解耦,得到反馈型去中心化最优策略并通过数值算例验证。
2025-01-02 math.OC
Regularized and Distributionally Robust Data-Enabled Predictive Control
本文研究了一种应用于未知随机线性定常系统的数据使能预测控制(DeePC)算法。该算法使用噪声损坏的输入/输出数据来预测未来的轨迹和计算最优控制策略。为了对输入/输出数据中的不确定性进行鲁棒化,计算控制策略以最小化给定目标函数的最坏情况期望。使用来自分布鲁棒随机最优化的技术,我们证明了对于某些目标函数,最坏情况下的最优化问题与DeePC算法的正则化版本一致。这些结果支持了正则化算法先前观察到的优点,并为其性能提供了概率保证。我们通过一个数值算例说明了正则化算法的鲁棒性。
2019-11-01 math.OC
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.(NTT DATA 数理系统公司);The University of Tokyo(东京大学)
在本文中,我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准,因为小批量设置稳定了梯度估计,并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法,并表明,我们的方法大大提高了以前的加速随机方法的小批量效率,基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度,其中$n$是训练集的大小。此外,我们表明,即使在非小批量设置,我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Continuity Properties of Value Functions in Information Structures for Zero-Sum and General Games and Stochastic Teams
我们研究了随机对策问题关于信息结构上各种拓扑的连续性,定义为表征博弈的概率测度。我们将在信息结构的全变差、集态和弱收敛下建立值函数的连续性。我们的分析表明,在零和对策和团队问题中,在信息结构的全变差收敛下,有界对策的价值函数是连续的。连续性在信息结构的弱收敛或集态收敛下可能不成立,然而,对于团队问题,在信息结构的弱收敛和集态收敛下,价值函数具有上半连续性,而对于零和对策,当这种收敛是通过Blackwell-garbled信息结构序列时,价值函数具有上半连续性或下半连续性.如果各个通道是独立的、固定的,并且满足全变差连续性条件,则在先验的弱收敛下,值函数是连续的。最后,我们证明了在一般的非零和对策中,即使在信息结构的全变差收敛下,局中人的价值函数也可能不连续。
2022-11-01 math.OC
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley(加州大学伯克利分校);National University of Defense Technology(国防科技大学);Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学)
我们考虑了广泛的正则化随机极小化问题的两个正则化项,其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用,例如融合Lasso,融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面,与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面,当输入数据样本的数量相当大时,目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题,我们提出了一个随机变量的额外梯度型方法,即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)},并分析其收敛性的凸和强凸目标。对于一般的凸目标,由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标,由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的,以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明,该算法的性能非常有效,并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
Proximal Stochastic Newton-type Gradient Descent Methods for Minimizing Regularized Finite Sums
本文将Jascha \cite{sohl2014fast}和Lee \cite{lee2012proximal}最近的两个完全不同的工作分别推广和统一为一个,提出了优化两个凸函数(一个是大量光滑凸函数的平均值,另一个是非光滑凸函数)和的\textbf{prox} s \textbf{to}随机\textbf{N}牛顿型梯度(PROXTONE)方法.虽然最近提出的一组邻近随机梯度方法,包括MISO,Prox-SDCA,Prox-SVRG和SAG,以线性速率收敛,但PROXTONE包含二阶信息以获得更强的收敛结果,它不仅在目标函数的值中实现线性收敛速率,而且在\emph{solution}中也实现线性收敛速率。证明简单直观,所得结果和技巧可作为研究二阶信息近似随机方法的一个开端。
2014-10-29 math.OC