Regularized Decomposition of High-Dimensional Multistage Stochastic Programs with Markov Uncertainty
我们开发了一个二次正则化方法的高维多阶段随机最优化问题的解决方案,其特征在于一个潜在的大量的时间段/阶段(如数百),一个高维资源状态变量,和马尔可夫信息过程。所得到的算法收敛到一个最优的政策,经过有限数量的迭代温和的技术假设。计算实验进行了优化能量存储在一个大型的输电网,这激发了我们的问题的空间和时间维度的设置。我们的数值结果表明,所提出的方法表现出显着更快的收敛速度比他们的经典同行,更大的收益观察高维问题。
2017-02-26 math.OC stat.CO
Entropy-Regularized Mean-Variance Portfolio Optimization with Jumps
本研究针对存在跳跃的连续时间熵正则化均值-方差投资组合问题,提出探索性SDE并证明最优控制为高斯分布,且最优财富过程满足线性SDE。
2025-02-25 math.OC math.PR
A Relation Analysis of Markov Decision Process Frameworks
Singapore Management University(新加坡管理大学);Massachusetts Institute of Technology(麻省理工学院)
研究了机器学习和计量经济学文献中不同的马尔可夫决策过程(MDP)框架之间的关系,包括标准MDP、熵和一般正则化MDP以及随机MDP,后者基于报酬函数是随机的并服从给定分布的假设。我们证明了熵正则化MDP等价于一个随机MDP模型,并且严格地被一般正则化MDP所包含。此外,我们提出了一个分布式随机MDP框架,假设报酬函数的分布是模糊的。我们进一步表明,分布随机MDP是等价的正则化MDP,在这个意义上,他们总是产生相同的最优策略。我们还提供了随机/正则化MDP和约束MDP之间的连接。我们的工作给出了几个重要的MDP框架,这将导致新的方法来解释(熵/一般)正则化MDP框架通过镜头的随机奖励,反之亦然。鉴于最近正则化MDP在(深度)强化学习中的流行,我们的工作带来了对这种算法方案如何工作的新理解,并提出了开发新算法的想法。
2020-08-18 cs.LG econ.EM math.OC
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology(佐治亚理工学院);Virginia Tech(弗吉尼亚理工大学)
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序,解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而,由于底层目标函数的非凸性/非线性,对该方法的理论理解是有限的。在我们的论文中,我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观,使解决方案更可识别,并允许更有效地解决问题。我们的主要贡献是表明,在适当的正则化参数的选择,梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法,大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后,我们补充的分析与数值模拟,说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Convergence Rates of the Regularized Optimal Transport : Disentangling Suboptimality and Entropy
该研究分析了正则化最优传输中运输计划和成本的收敛速率,揭示了次优性和熵之间的分离关系。
2025-12-04 math.OC
Relative entropy-regularized robust optimal order execution
本文将订单执行建模为相对熵正则化随机微分博弈,推导 rHJI 方程并在 Gaussian 先验线性二次设定下给出闭式最优策略,数值结果表明其优于传统策略。
2024-09-09 math.OC q-fin.MF q-fin.TR
Convergence Rates of Smooth Message Passing with Rounding in Entropy-Regularized MAP Inference
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
最大后验概率(MAP)推理是统计推理的一种基本计算范式。在图形模型的设置中,MAP推理需要解决组合优化问题以找到离散值模型的最可能配置。Sherali-Adams层次中的线性规划(LP)松弛被广泛用于尝试解决这个问题,并且已经提出了平滑消息传递算法来解决这些LP的正则化版本,并且取得了巨大成功。本文利用熵正则化LP的最新研究成果,分析了一类基于边的光滑消息传递算法在松弛条件下收敛到$ε$ -最优的速度。通过适当选择正则化常数,我们提出了一个理论保证的迭代次数足以恢复真正的积分MAP解决方案时,LP是紧的,解决方案是唯一的。
2020-03-01 cs.LG math.OC stat.ML
Convergence of Policy Iteration for Entropy-Regularized Stochastic Control Problems
University of Colorado Boulder(科罗拉多大学博尔德分校);Iowa State University(爱荷华州立大学);University of Sydney(悉尼大学)
本文研究熵正则化随机控制问题中策略迭代算法的收敛性,通过精细的Hölder与Sobolev空间估计,获得价值函数的统一Hölder界,从而证明算法收敛,并推导出最优价值函数作为探索型哈密顿-雅可比-贝尔曼方程的唯一解。
2024-12-19 math.OC
Fast entropy-regularized SDP relaxations for permutation synchronization
提出针对部分排列同步(PPS)的快速熵正则化SDP松弛随机算法,解决了优化器非唯一性问题并保持循环一致性,在速度与精度上达到SOTA。
2025-06-25 cs.NA math.NA math.OC
A Dual Approach to Constrained Markov Decision Processes with Entropy Regularization
University of California, Berkeley(加州大学伯克利分校)
本文研究了soft-max参数化下的熵正则化约束马尔可夫决策过程(CMDPs),提出了一种加速对偶下降方法,并证明其在最优性间隙和约束违反上均实现了 $\widetilde{\mathcal{O}}(1/T)$ 的全局收敛速率。
2023-04-07 cs.LG math.OC
Formal Entropy-Regularized Control of Stochastic Systems
本文提出了一种形式熵正则化控制方法,通过熵界分析和控制器合成,在保持连续系统正式保证的同时,平衡可预测性与控制性能。
2026-03-05 cs.IT cs.SY eess.SY
Domain decomposition for entropy regularized optimal transport
研究了熵正则化下求解最优输运问题的Benamou区域分解算法。关键的观察是,正则化的变体收敛到全局最优解非常温和的假设下。我们证明了该算法的线性收敛的Kullback-Leibler发散和说明(可能非常慢)的速度与数值例子。对于具有足够几何结构的问题(例如图像之间的Wasserstein距离),我们期望更快的收敛。然后,我们讨论了重要方面的计算效率的实现,如自适应稀疏,粗到细的计划和并行化,铺平了道路,数值求解大规模的最优输运问题。我们表现出高效的数值性能计算的Wasserstein-2之间的距离的2D图像和观察,即使没有并行化,区域分解比较有利地应用一个单一的高效实现的Sinkhorn算法的运行时间,内存和解决方案的质量。
2021-11-22 cs.NA math.NA math.OC
Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究针对熵正则化线性二次控制问题,将Wasserstein策略梯度简化为有限维ODE并证明其指数收敛,明确了收敛指数在熵温度趋于0时的极限特性。
2026-08-10 cs.LG math.OC
Continuous Dual Maximizers for Fixed-Reference Entropy-Regularized Wasserstein Barycenters
University of Florida(佛罗里达大学)
针对固定参考熵正则化Wasserstein重心问题,证明了在紧致度量空间上对偶问题存在连续极大化势函数,并建立了最优计划与重心的存在唯一性及显式密度,完善了原始-对偶理论。
2026-09-18 math.OC
Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods
Chinese University of Hong Kong(香港中文大学);Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
该研究提出基于熵正则化外梯度的一阶优化方法,将最优传输问题转为双线性极小极大问题,实现了$\tilde{O}(n^2/\beta)$的运行时间,数值性能优于Sinkhorn等经典算法。
2024-06-20 cs.DS cs.IT cs.LG
Smooth or Separable? Sparse Block Acceleration for Entropy-Regularized Linear Programs
Moscow Independent Research Institute of Artificial Intelligence(莫斯科独立人工智能研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);Innopolis University(因诺波利斯大学)
本文研究熵正则化线性规划,提出一种加速随机块方法,利用熵特定Hessian间隙界保持稀疏数据访问成本,并比较两种对偶表示下的算法性能。
2026-09-29 math.OC
Convergence of Policy Gradient for Entropy Regularized MDPs with Neural Network Approximation in the Mean-Field Regime
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院);Vega Protocol(维加协议);The Alan Turing Institute(艾伦·图灵研究所)
研究了无限时域、连续状态和动作空间以及熵正则化马尔可夫决策过程(MDP)下策略梯度的整体收敛。我们考虑一个softmax政策(一个隐藏层)神经网络近似的平均场制度。在相关的平均场概率测度中增加了额外的熵正则化,并在2-Wasserstein度量中研究了相应的梯度流。我们表明,目标函数是增加沿梯度流。此外,我们证明了,如果正则化的平均场措施是足够的,梯度流指数快速收敛到唯一的固定的解决方案,这是唯一的最大化的正则化MDP目标。最后,我们研究了沿梯度流的值函数关于正则化参数和初始条件的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析,并扩展了Mei et al. 2020和Agarwal et al. 2020的开创性工作,这些工作量化了表格设置中熵正则化MDP的政策梯度的整体收敛率。
2022-06-16 cs.AI cs.LG math.OC
Entropy-Regularized Optimal Transport for Time-Varying Multi-Agent Coverage Control
Scuola Superiore Meridionale(南方高等学院);University of Naples Federico II(那不勒斯费德里科二世大学)
本文提出熵正则化半离散最优传输方法,用于多智能体时变覆盖控制,通过反馈-前馈控制器跟踪演化目标密度,实现指数收敛,并在中等正则化下优于沃罗诺伊基线。
2026-09-21 cs.SY eess.SY math.OC
Finite-Time Analysis of Entropy-Regularized Neural Natural Actor-Critic Algorithm
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ETH Zurich(苏黎世联邦理工学院)
自然行动者-批评者(NAC)及其变体,配备了神经网络的表示能力,在解决具有大状态空间的马尔可夫决策问题方面取得了令人印象深刻的经验成功。在本文中,我们提出了一个有限时间分析的NAC与神经网络近似,并确定的作用,神经网络,正则化和优化技术(例如,梯度裁剪和平均),以在样本复杂度、迭代复杂度和演员和评论家的过参数化界限方面实现可证明的良好性能。特别是,我们证明了(i)熵正则化和平均通过提供足够的探索来避免接近确定性和严格次优的策略来确保稳定性,以及(ii)正则化导致正则化MDP中的尖锐样本复杂性和网络宽度界限,从而在策略优化中产生有利的偏差方差权衡。在这个过程中,我们确定的重要性一致逼近能力的演员神经网络,以实现全局最优的政策优化,由于分布的转变。
2022-06-02 cs.LG math.OC stat.ML
Regularized unbalanced optimal transport as entropy minimization with respect to branching Brownian motion
考虑了在初始时刻和最终时刻,在密度约束下,关于分支布朗运动定律的熵最小化问题。我们把这个问题称为分支薛定谔问题,通过类比薛定谔问题,其中参考过程是布朗运动。而薛定谔问题与正则化(也称为正则化)有关。熵)最优输运,我们调查这里的分支薛定谔问题与正则化不平衡最优输运的联系。这种联系表现在两个层面上。首先,依赖于对偶的论点,这两个问题的值的变分是联系在一起的,在这个意义上,正规化的不平衡最优输运的值(被视为初始和最终措施的函数)是分支薛定谔问题的值的下半连续松弛。其次,我们还明确了这两个问题的竞争对手之间的对应关系,并为此目的,我们提供了一个很好的描述法律具有有限熵的参考分支布朗运动。我们调查的小噪声限制,当噪声强度的分支布朗运动去$0$:在这种情况下,我们表明,在水平的最优输运模型,有收敛到部分最优输运。我们还提供了正式的论点,为什么看分支布朗运动,而不是在其他测量值分支马尔可夫过程,如超过程,产生的问题最接近最优输运。最后,我们解释这个问题如何可以解决数值:正则化不平衡最优输运的动力学公式可以离散化,并通过凸优化解决。
2021-12-13 math.AP math.OC math.PR
Global linear convergence of entropy-regularized softmax policy gradient beyond tabular MDPs
School of Mathematics(数学系)
本文研究连续状态和动作空间的无限时域熵正则化马尔可夫决策过程中策略梯度的全局收敛性,通过线性函数逼近的log-linear softmax策略,在$Q^π_τ$可实现性假设下建立非均匀Polyak--Łojasiewicz不等式,并识别两种特征机制下非均匀常数的有界性,证明正则化目标沿梯度流的全局线性收敛。
2026-05-24 cs.LG math.OC
Efficient Learning for Entropy-Regularized Markov Decision Processes via Multilevel Monte Carlo
Mathematical Institute, University of Oxford(牛津大学数学研究所);Department of Mathematics, Imperial College London(伦敦帝国学院数学系)
针对大规模或连续状态动作空间的熵正则化MDPs,提出结合不动点迭代与多层蒙特卡洛的算法族,通过误差分析证明无偏随机化多层近似可实现与状态动作空间规模无关的多项式样本复杂度,并用实验验证了理论保证。
2025-06-04 cs.LG math.OC math.PR
Convergence Analysis for Entropy-Regularized Control Problems: A Probabilistic Approach
Department of Mathematics, University of Southern California(数学系,南加州大学)
本文针对连续时间熵正则化随机控制问题,提出一种基于概率表示公式的简单证明方法,证明了策略迭代算法的收敛性,并在有限时域、无限时域及一维扩散控制情形下获得超指数收敛速率。
2025-04-23 cs.LG math.OC
Accelerating Sinkhorn for Entropy-Regularized Optimal Transport
University of California, Irvine(加州大学尔湾分校)
提出Acc-Sinkhorn加速算法,通过双层优化视角和Hessian驱动的Nesterov加速,在保持Sinkhorn缩放形式和每步成本的同时,将收敛率提升至O(1/k^2),并显著降低未正则化OT的复杂度。
2026-11-03 math.OC
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh(爱丁堡大学);J.P. Morgan AI Research(摩根大通人工智能研究);Imperial College London(伦敦帝国理工学院)
研究连续时间强化学习中熵正则化的策略鲁棒性,建立相关理论保证,分析鲁棒集特性,实验验证其有效性。
2026-07-07 cs.LG math.OC
Mean Field Competition of Optimal Switching: The Vanishing Entropy Regularization Approach
Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学)
本文通过熵正则化辅助问题研究多努力制度间策略性切换的基于排名的均场博弈,证明了正则化均衡的存在唯一性及收敛性,并建立了向原问题松弛均衡的收敛分析。
2026-05-28 math.OC
Entropy-Regularized Optimal Transport in Information Design
本研究聚焦信息设计中发送方通过选择信息策略最大化效用的问题,基于幂图划分相关的信息策略,采用熵正则化最优传输开发高效寻优算法,通过数值实验揭示最优配置特性,并拓展至多产品垄断者的信息策略推导场景。
2024-12-12 cs.GT cs.NA math.NA
Controlling conservation laws I: entropy-entropy flux
研究了一类具有Lax熵-熵通量对的正则守恒律的变分问题.我们首先介绍了一个修改后的最优输运空间的基础上的守恒律扩散。利用这个空间,我们证明了守恒律与扩散是“通量梯度流”。接下来,我们构造这些流的变分问题,我们得到正则化守恒律的对偶PDE系统。给出了几个算例,包括交通流和Burgers方程.通过对原始对偶法和单调格式的比较,我们成功地计算了守恒律的控制。
2021-11-10 cs.NA math-ph math.AP
Convergence rate of entropy-regularized multi-marginal optimal transport costs
本文研究了当噪声参数趋于0时,Boltzmann-Shannon熵正则化的多重边际最优传输代价的收敛速度,建立了形式为 $C\varepsilon\log(1/\varepsilon)+O(\varepsilon)$ 的上下界,并推广了已有结果。
2024-04-09 math.AP math.FA math.OC
Entropy-Regularized Mean-Field Games with Average-Reward Criterion: Span-Seminorm Contractions and Model-Free Learning
Bilkent University(比尔肯特大学);Özyeğin University(奥兹耶金大学)
该研究针对平均奖励准则下带熵正则化的有限状态动作空间平均场博弈,证明了相关算子的收缩性,提出结合软Q学习与经验转移核的无模型学习方法,给出有限样本界与收敛速率,并用路由博弈验证结果。
2026-10-14 cs.GT cs.LG math.OC
Stabilized Sparse Scaling Algorithms for Entropy Regularized Transport Problems
本文提出了一种稳定的稀疏缩放算法,用于解决熵正则传输问题,通过结合对数域稳定公式、epsilon缩放启发式方法、内核的自适应截断和粗到细方案,提高了算法在小正则化和大规模问题中的效率和稳定性。
2019-02-11 cs.CE cs.NA math.NA
Markov Chains with Maximum Return Time Entropy for Robotic Surveillance
基于机器人监控应用的需要,研究了一类具有平稳分布和旅行时间的图拓扑结构的马尔可夫链的返回时间熵最大化问题.返回时间熵是马尔可夫链的第一个返回时间的熵在所有图节点上的加权平均值;这个目标函数是一个函数序列,一般不允许一个封闭形式。本文的特点是理论和计算的贡献。首先,我们得到一个离散时间延迟的线性系的返回时间的概率分布,并建立其收敛性。我们表明,目标函数是连续的一个紧凑的集合,因此承认一个全局极大值,一个唯一的全球最优解是已知的,只有完全图与酉旅行时间。然后,我们建立返回时间熵和著名的马尔可夫链的熵率之间的上界和下界。为了数值计算最优马尔可夫链,我们建立了熵、条件熵和截断熵之间的渐近等价性,并提出了一种计算截断熵梯度的迭代方法.最后,我们将这些结果应用于机器人监视问题。我们的数值结果表明,对于一个模型的理性入侵者在原型图拓扑和测试情况下,最大返回时间熵链的性能优于现有的几个马尔可夫链。
2018-05-25 math.OC
Entropy-regularized Wasserstein distributionally robust shape and topology optimization
本文旨在介绍形状和拓扑优化领域的分布鲁棒性的最新范例。承认不确定的物理数据的概率法是很少知道的,超出了从观察到的样本构建的粗略近似,我们优化设计的预期成本的最坏情况下的值时,不确定性的概率法是“接近”的估计一个规定的阈值。概率定律之间的"接近性“由瓦瑟斯坦距离(Wasserstein distance)量化,这是一个与最优输运理论有关的概念。结合经典的熵正则化技术在这一领域的凸对偶理论的最新成果,允许重新制定的分布鲁棒最优化问题的方式是易于处理的计算。在基于密度的拓扑优化和几何形状优化的不同设置下,给出了两个数值例子。无论所选的最优设计框架如何,他们都证明了所提出的公式的相关性和适用性。
2023-01-11 cs.NA math.NA math.OC
Accelerated Message Passing for Entropy-Regularized MAP Inference
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
离散值马尔可夫随机场的最大后验(MAP)推断是机器学习中的一个基本问题,涉及识别给定分布的随机变量的最可能配置。由于这个组合问题的难度,线性规划(LP)松弛通常用于导出专门的消息传递算法,这些算法通常被解释为对偶LP上的坐标下降。为了实现更理想的计算性能,许多方法用熵项正则化LP,从而产生一类具有收敛保证的平滑消息传递算法。在本文中,我们提出了随机化的方法来加速这些算法,利用经典的加速梯度方法的基础技术。所提出的算法结合了标准平滑消息传递算法的熟悉步骤,这些步骤可以被视为坐标最小化步骤。我们表明,这些加速的变种实现更快的速度寻找$ε$ -最佳点的非正则化问题,当LP是紧的,我们证明了所提出的算法恢复真正的MAP解决方案,在更少的迭代比标准的消息传递算法。
2020-07-01 cs.LG math.OC stat.ML
LASER: Latent Space Adjoint Matching for Support-Constrained Entropy-Regularized Offline RL
MIT(麻省理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
LASER通过潜空间伴随匹配实现熵正则化的离线RL,避免时间反向传播,在40个OGBench任务上以固定超参数达到最先进性能。
2026-10-16 cs.AI cs.LG cs.RO
Exploratory LQG Mean Field Games with Entropy Regularization
研究了一类具有$K$不同子种群的连续时间下的熵正则化多变量LQG平均场对策。我们扩展的概念,行动的行动分布(探索性行动),并明确推导出最佳的行动分布的限制MFG中的个别代理。我们证明,最佳的一组动作分布产生一个$ε$ -纳什均衡的有限人口熵正则化MFG。此外,我们将所得解与经典LQG MFG的解进行了比较,并建立了它们存在的等价性。
2021-11-29 cs.SY eess.SY math.OC
Achieving Logarithmic Regret in KL-Regularized Zero-Sum Markov Games
Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学)
本文提出OMG和SOMG算法,在KL正则化下实现对数遗憾,提升样本效率。
2026-02-04 cs.GT cs.LG math.OC