Convergence Rates of the Regularized Optimal Transport : Disentangling Suboptimality and Entropy
该研究分析了正则化最优传输中运输计划和成本的收敛速率,揭示了次优性和熵之间的分离关系。
2025-12-04 math.OC
Convergence of Policy Iteration for Entropy-Regularized Stochastic Control Problems
University of Colorado Boulder(科罗拉多大学博尔德分校);Iowa State University(爱荷华州立大学);University of Sydney(悉尼大学)
本文研究熵正则化随机控制问题中策略迭代算法的收敛性,通过精细的Hölder与Sobolev空间估计,获得价值函数的统一Hölder界,从而证明算法收敛,并推导出最优价值函数作为探索型哈密顿-雅可比-贝尔曼方程的唯一解。
2024-12-19 math.OC
A regularized variance-reduced modified extragradient method for stochastic hierarchical games
针对含期望值与分层项的N参与者随机分层博弈,提出迭代正则化、平滑的方差缩减修正超梯度框架,并给出收敛速率、复杂度及非精确下层求解扩展。
2024-01-25 cs.GT math.OC
$C^{1,α}$-regularity for Schrödinger potentials of Shannon-entropy regularized Optimal Transport
本文研究熵正则化最优传输中Schrödinger位势的光滑性,在边际支撑有界凸且密度有上下界的条件下,建立其$C^{1,α}$正则性的稳定性。
2025-06-11 math.AP math.OC
Entropy Regularization in Mean-Field Games of Optimal Stopping
University of Rome Tor Vergata(罗马托尔维加塔大学);ENSae-CREST, Institut Polytechnique de Paris(巴黎理工学院ENSae-CREST);Center for Mathematical Economics, Bielefeld University(比勒费尔德大学数学经济中心);Stanford University(斯坦福大学)
本文通过熵正则化将最优停止平均场博弈转化为奇异随机控制平均场博弈,建立均衡存在性与稳定性,并提出可收敛的虚拟对局算法,为无模型学习求解OS-MFG奠定理论基础。
2025-09-23 math.OC
Continuous Dual Maximizers for Fixed-Reference Entropy-Regularized Wasserstein Barycenters
University of Florida(佛罗里达大学)
针对固定参考熵正则化Wasserstein重心问题,证明了在紧致度量空间上对偶问题存在连续极大化势函数,并建立了最优计划与重心的存在唯一性及显式密度,完善了原始-对偶理论。
2026-09-18 math.OC
Smooth or Separable? Sparse Block Acceleration for Entropy-Regularized Linear Programs
Moscow Independent Research Institute of Artificial Intelligence(莫斯科独立人工智能研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);Innopolis University(因诺波利斯大学)
本文研究熵正则化线性规划,提出一种加速随机块方法,利用熵特定Hessian间隙界保持稀疏数据访问成本,并比较两种对偶表示下的算法性能。
2026-09-29 math.OC
The planning problem in Mean Field Games as regularized mass transport
本文利用变分方法研究了平均场对策理论中的一阶规划问题。我们证明了在无穷远处具有任意超线性增长阶和局部耦合函数的一类Hamilton算子的情况下,问题的弱解的存在性和唯一性.我们要求初始和最终的度量值仅仅是可求和的。在同一时间(依赖于最近开发的技术由Graber和Mészáros),在较强的单调性和凸性条件下的数据,我们获得Sobolev估计的空间和时间导数的规划问题的解决方案。
2019-05-18 math.AP math.OC
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology(佐治亚理工学院);Virginia Tech(弗吉尼亚理工大学)
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序,解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而,由于底层目标函数的非凸性/非线性,对该方法的理论理解是有限的。在我们的论文中,我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观,使解决方案更可识别,并允许更有效地解决问题。我们的主要贡献是表明,在适当的正则化参数的选择,梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法,大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后,我们补充的分析与数值模拟,说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Entropy-Regularized Mean-Variance Portfolio Optimization with Jumps
本研究针对存在跳跃的连续时间熵正则化均值-方差投资组合问题,提出探索性SDE并证明最优控制为高斯分布,且最优财富过程满足线性SDE。
2025-02-25 math.OC math.PR
Accelerating Sinkhorn for Entropy-Regularized Optimal Transport
University of California, Irvine(加州大学尔湾分校)
提出Acc-Sinkhorn加速算法,通过双层优化视角和Hessian驱动的Nesterov加速,在保持Sinkhorn缩放形式和每步成本的同时,将收敛率提升至O(1/k^2),并显著降低未正则化OT的复杂度。
2026-11-03 math.OC
Mean Field Competition of Optimal Switching: The Vanishing Entropy Regularization Approach
Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学)
本文通过熵正则化辅助问题研究多努力制度间策略性切换的基于排名的均场博弈,证明了正则化均衡的存在唯一性及收敛性,并建立了向原问题松弛均衡的收敛分析。
2026-05-28 math.OC
Linear Convergence of Entropy-Regularized Natural Policy Gradient with Linear Function Approximation
RWTH Aachen University(亚琛工业大学);ETH Zurich(苏黎世联邦理工学院)
本文研究了熵正则化自然策略梯度在函数逼近下的线性收敛性,证明了其在正则化马尔可夫决策过程中具有线性收敛特性。
2024-02-08 cs.LG math.OC stat.ML
Equilibrium for Time-inconsistent Mean Field Games: A Systematic Analysis by Entropy Regularization
University of Michigan(密歇根大学);Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰证券金融研究院);The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学)
针对时间不一致平均场博弈问题,提出熵正则化方法处理非局部均衡HJB系统,证明正则化均衡的存在性及收敛到原均衡,并给出策略迭代算法。
2026-05-28 math.OC
Learning in nonatomic games, Part I: Finite action spaces and population games
Tweag I/O(Tweag I/O公司);CNRS(法国国家科学研究中心);University of Dauphine-PSL(巴黎多芬大学-巴黎文理研究大学);University of Liverpool(利物浦大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);Sorbonne Université(索邦大学);UPMC(巴黎第六大学)
我们研究了在非原子游戏中学习的各种动态的长期行为,在离散和连续的时间。我们考虑的动力学类型包括虚拟游戏及其正则化变体、最佳回复动力学(同样,可能是正则化的),以及双重平均/“跟随正则化领导者”的动力学(它们本身包括作为特例的复制者动力学和弗里德曼的投影动力学)。我们的分析关注的实际轨迹的发挥和它的时间平均,我们涵盖潜在的和单调的游戏,以及游戏的进化稳态(全球或其他)。我们专注于有限行动空间的游戏,连续行动空间的非原子游戏在本文的第二部分中详细讨论。
2021-07-04 cs.GT cs.LG math.OC
Entropy-Regularized Mean-Field Games with Average-Reward Criterion: Span-Seminorm Contractions and Model-Free Learning
Bilkent University(比尔肯特大学);Özyeğin University(奥兹耶金大学)
该研究针对平均奖励准则下带熵正则化的有限状态动作空间平均场博弈,证明了相关算子的收缩性,提出结合软Q学习与经验转移核的无模型学习方法,给出有限样本界与收敛速率,并用路由博弈验证结果。
2026-10-14 cs.GT cs.LG math.OC
Accelerated regularized learning in finite N-person games
Stanford University(斯坦福大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室)
本文提出“跟随加速领导者”(FTXL)方法,将Nesterov动量引入正则化学习,在有限N人博弈中实现对严格纳什均衡的超线性收敛,并在多种反馈结构下保持指数级加速优势。
2024-12-29 cs.GT cs.LG math.OC
A Dual Approach to Constrained Markov Decision Processes with Entropy Regularization
University of California, Berkeley(加州大学伯克利分校)
本文研究了soft-max参数化下的熵正则化约束马尔可夫决策过程(CMDPs),提出了一种加速对偶下降方法,并证明其在最优性间隙和约束违反上均实现了 $\widetilde{\mathcal{O}}(1/T)$ 的全局收敛速率。
2023-04-07 cs.LG math.OC
Horizon-Independent Contraction for Continuous-Time Discounted Regularized Mean-Field Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究针对带折扣和熵正则化的非平稳连续时间平均场博弈,证明大折扣率下有限时域MFG满足与时域无关的收缩条件,推导了有限与无限时域均衡的收敛率及相关误差界。
2026-08-31 cs.GT cs.SY eess.SY
Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究针对熵正则化线性二次控制问题,将Wasserstein策略梯度简化为有限维ODE并证明其指数收敛,明确了收敛指数在熵温度趋于0时的极限特性。
2026-08-10 cs.LG math.OC
Relative entropy-regularized robust optimal order execution
本文将订单执行建模为相对熵正则化随机微分博弈,推导 rHJI 方程并在 Gaussian 先验线性二次设定下给出闭式最优策略,数值结果表明其优于传统策略。
2024-09-09 math.OC q-fin.MF q-fin.TR
Transfer-Entropy-Regularized Markov Decision Processes
考虑转移熵正则化的马尔可夫决策过程(TERMDP)框架,其中经典状态相关成本与从状态随机过程到控制随机过程的转移熵的加权和最小化。虽然TERMDP一般被制定为非凸的最优化问题,我们推导出一个解析的必要最优性条件表示为一个有限集的非线性方程,基于此迭代的向前向后的计算过程类似的Arimoto-Blahut算法。结果表明,该算法产生的序列的每一个极限点都是TERMDP的平稳点。在网络控制系统理论和非平衡态热力学的背景下讨论了TERMDP的应用。所提出的算法被应用到一个信息约束的迷宫导航问题,从而我们研究如何定性地改变信息的价格的最优决策polices。
2020-05-27 cs.IT math.IT math.OC
Convergence Rates of Smooth Message Passing with Rounding in Entropy-Regularized MAP Inference
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
最大后验概率(MAP)推理是统计推理的一种基本计算范式。在图形模型的设置中,MAP推理需要解决组合优化问题以找到离散值模型的最可能配置。Sherali-Adams层次中的线性规划(LP)松弛被广泛用于尝试解决这个问题,并且已经提出了平滑消息传递算法来解决这些LP的正则化版本,并且取得了巨大成功。本文利用熵正则化LP的最新研究成果,分析了一类基于边的光滑消息传递算法在松弛条件下收敛到$ε$ -最优的速度。通过适当选择正则化常数,我们提出了一个理论保证的迭代次数足以恢复真正的积分MAP解决方案时,LP是紧的,解决方案是唯一的。
2020-03-01 cs.LG math.OC stat.ML
Variational Contraction Conditions for Iterative Algorithms in Multi-Population Discrete-Time Regularized Mean-Field Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对多总体离散时间正则化平均场博弈,基于Lipschitz连续性假设,提出各迭代算法在任意赋范空间中的显式(最终)收缩条件,并给出有限时域均衡向无限时域均衡收敛的速率。
2026-09-04 cs.SY eess.SY math.OC
The impact of uncertainty on regularized learning in games
Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学、国家科学研究中心、Inria、格勒诺布尔INP、LIG)
该研究考察带随机冲击的FTRL博弈学习动力学,发现不确定性使策略趋近纯策略,明确其极限为纯纳什均衡及稳定集条件,还证明随机性会破坏零和博弈等的确定性回复性,使动力学向边界漂移。
2025-06-16 cs.GT cs.LG math.OC
Fast entropy-regularized SDP relaxations for permutation synchronization
提出针对部分排列同步(PPS)的快速熵正则化SDP松弛随机算法,解决了优化器非唯一性问题并保持循环一致性,在速度与精度上达到SOTA。
2025-06-25 cs.NA math.NA math.OC
The equivalence of dynamic and strategic stability under regularized learning in games
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院)
该研究针对有限博弈中无悔学习策略演化认知不足的问题,通过优反应闭包的集合式稳定性标准,证明了正则化学习下策略稳定性与动态稳定性的等价性,并给出了不同正则化方法的收敛速率。
2023-11-04 cs.GT cs.LG math.OC
Domain decomposition for entropy regularized optimal transport
研究了熵正则化下求解最优输运问题的Benamou区域分解算法。关键的观察是,正则化的变体收敛到全局最优解非常温和的假设下。我们证明了该算法的线性收敛的Kullback-Leibler发散和说明(可能非常慢)的速度与数值例子。对于具有足够几何结构的问题(例如图像之间的Wasserstein距离),我们期望更快的收敛。然后,我们讨论了重要方面的计算效率的实现,如自适应稀疏,粗到细的计划和并行化,铺平了道路,数值求解大规模的最优输运问题。我们表现出高效的数值性能计算的Wasserstein-2之间的距离的2D图像和观察,即使没有并行化,区域分解比较有利地应用一个单一的高效实现的Sinkhorn算法的运行时间,内存和解决方案的质量。
2021-11-22 cs.NA math.NA math.OC
On Entropy Regularized Path Integral Control for Trajectory Optimization
在这篇文章中,我们提出了一个概括的看法路径积分控制(PIC)的方法。PIC是指一类与线性可解最优控制(LSOC)的设置密切相关的特定策略搜索法,LSOC是非线性随机最优控制(SOC)问题的受限子类。这个类是唯一的意义上,它可以明确地解决,以产生一个正式的最优状态轨迹分布。在这篇文章中,我们首先回顾了PIC理论,并讨论了相关的算法适合于一般的政策搜索。我们能够确定一个通用的设计策略,依赖于最佳状态轨迹分布的存在,并找到一个参数化的政策,通过最小化的最佳和状态轨迹分布参数化通过其政策之间的交叉熵。受此观察的启发,我们的目标是制定一个SOC问题,共享的特点与LSOC设置,但涵盖了限制性较低的一类问题的配方。我们将这个SOC问题称为熵正则化轨迹优化。这个问题与最近经常由强化学习(RL)社区解决的熵正则化随机最优控制设置密切相关。我们分析了理论状态轨迹分布序列的理论收敛行为,并与经典最优化问题的随机搜索法建立了联系。最后,我们推导出显式更新,并比较隐含的熵正则PIC与早期的工作中的PIC和RL的导数自由轨迹优化的背景下。
2020-09-09 cs.IT math.IT math.OC
Achieving Logarithmic Regret in KL-Regularized Zero-Sum Markov Games
Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学)
本文提出OMG和SOMG算法,在KL正则化下实现对数遗憾,提升样本效率。
2026-02-04 cs.GT cs.LG math.OC
Global linear convergence of entropy-regularized softmax policy gradient beyond tabular MDPs
School of Mathematics(数学系)
本文研究连续状态和动作空间的无限时域熵正则化马尔可夫决策过程中策略梯度的全局收敛性,通过线性函数逼近的log-linear softmax策略,在$Q^π_τ$可实现性假设下建立非均匀Polyak--Łojasiewicz不等式,并识别两种特征机制下非均匀常数的有界性,证明正则化目标沿梯度流的全局线性收敛。
2026-05-24 cs.LG math.OC
Convergence Analysis for Entropy-Regularized Control Problems: A Probabilistic Approach
Department of Mathematics, University of Southern California(数学系,南加州大学)
本文针对连续时间熵正则化随机控制问题,提出一种基于概率表示公式的简单证明方法,证明了策略迭代算法的收敛性,并在有限时域、无限时域及一维扩散控制情形下获得超指数收敛速率。
2025-04-23 cs.LG math.OC
Entropy-Regularized Optimal Transport for Time-Varying Multi-Agent Coverage Control
Scuola Superiore Meridionale(南方高等学院);University of Naples Federico II(那不勒斯费德里科二世大学)
本文提出熵正则化半离散最优传输方法,用于多智能体时变覆盖控制,通过反馈-前馈控制器跟踪演化目标密度,实现指数收敛,并在中等正则化下优于沃罗诺伊基线。
2026-09-21 cs.SY eess.SY math.OC
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh(爱丁堡大学);J.P. Morgan AI Research(摩根大通人工智能研究);Imperial College London(伦敦帝国理工学院)
研究连续时间强化学习中熵正则化的策略鲁棒性,建立相关理论保证,分析鲁棒集特性,实验验证其有效性。
2026-07-07 cs.LG math.OC
The operator approach to entropy games
熵博弈和矩阵乘法博弈最近已被Asarin等人引入。他们模拟的情况下,其中一个玩家(暴君)希望最小化的矩阵产品的增长率,而另一个玩家(论坛)希望最大化它。我们开发了一个运营商的熵博弈方法。这使我们能够表明,熵游戏可以铸造为随机平均支付游戏,其中一些行动空间是单纯形和支付的相对熵(Kullback-Leibler分歧)。通过这种方式,我们证明了具有固定数量的状态属于暴君的熵博弈可以在多项式时间内求解。这种方法也使我们能够解决这些游戏的政策迭代算法,我们比较光谱单纯形算法开发的Protasov。
2019-04-10 cs.GT math.OC
Regularization of Stationary Second-order Mean Field Game Partial Differential Inclusions
本文研究不可微哈密顿量的二阶平均场博弈偏微分包含,通过正则化PDE逼近并证明解在子序列意义下收敛,给出收敛速率及精确性示例。
2025-02-17 math.AP math.OC
Exploratory LQG Mean Field Games with Entropy Regularization
研究了一类具有$K$不同子种群的连续时间下的熵正则化多变量LQG平均场对策。我们扩展的概念,行动的行动分布(探索性行动),并明确推导出最佳的行动分布的限制MFG中的个别代理。我们证明,最佳的一组动作分布产生一个$ε$ -纳什均衡的有限人口熵正则化MFG。此外,我们将所得解与经典LQG MFG的解进行了比较,并建立了它们存在的等价性。
2021-11-29 cs.SY eess.SY math.OC
Convergence of Policy Gradient for Entropy Regularized MDPs with Neural Network Approximation in the Mean-Field Regime
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院);Vega Protocol(维加协议);The Alan Turing Institute(艾伦·图灵研究所)
研究了无限时域、连续状态和动作空间以及熵正则化马尔可夫决策过程(MDP)下策略梯度的整体收敛。我们考虑一个softmax政策(一个隐藏层)神经网络近似的平均场制度。在相关的平均场概率测度中增加了额外的熵正则化,并在2-Wasserstein度量中研究了相应的梯度流。我们表明,目标函数是增加沿梯度流。此外,我们证明了,如果正则化的平均场措施是足够的,梯度流指数快速收敛到唯一的固定的解决方案,这是唯一的最大化的正则化MDP目标。最后,我们研究了沿梯度流的值函数关于正则化参数和初始条件的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析,并扩展了Mei et al. 2020和Agarwal et al. 2020的开创性工作,这些工作量化了表格设置中熵正则化MDP的政策梯度的整体收敛率。
2022-06-16 cs.AI cs.LG math.OC
Finite-Time Analysis of Entropy-Regularized Neural Natural Actor-Critic Algorithm
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ETH Zurich(苏黎世联邦理工学院)
自然行动者-批评者(NAC)及其变体,配备了神经网络的表示能力,在解决具有大状态空间的马尔可夫决策问题方面取得了令人印象深刻的经验成功。在本文中,我们提出了一个有限时间分析的NAC与神经网络近似,并确定的作用,神经网络,正则化和优化技术(例如,梯度裁剪和平均),以在样本复杂度、迭代复杂度和演员和评论家的过参数化界限方面实现可证明的良好性能。特别是,我们证明了(i)熵正则化和平均通过提供足够的探索来避免接近确定性和严格次优的策略来确保稳定性,以及(ii)正则化导致正则化MDP中的尖锐样本复杂性和网络宽度界限,从而在策略优化中产生有利的偏差方差权衡。在这个过程中,我们确定的重要性一致逼近能力的演员神经网络,以实现全局最优的政策优化,由于分布的转变。
2022-06-02 cs.LG math.OC stat.ML
Regularized unbalanced optimal transport as entropy minimization with respect to branching Brownian motion
考虑了在初始时刻和最终时刻,在密度约束下,关于分支布朗运动定律的熵最小化问题。我们把这个问题称为分支薛定谔问题,通过类比薛定谔问题,其中参考过程是布朗运动。而薛定谔问题与正则化(也称为正则化)有关。熵)最优输运,我们调查这里的分支薛定谔问题与正则化不平衡最优输运的联系。这种联系表现在两个层面上。首先,依赖于对偶的论点,这两个问题的值的变分是联系在一起的,在这个意义上,正规化的不平衡最优输运的值(被视为初始和最终措施的函数)是分支薛定谔问题的值的下半连续松弛。其次,我们还明确了这两个问题的竞争对手之间的对应关系,并为此目的,我们提供了一个很好的描述法律具有有限熵的参考分支布朗运动。我们调查的小噪声限制,当噪声强度的分支布朗运动去$0$:在这种情况下,我们表明,在水平的最优输运模型,有收敛到部分最优输运。我们还提供了正式的论点,为什么看分支布朗运动,而不是在其他测量值分支马尔可夫过程,如超过程,产生的问题最接近最优输运。最后,我们解释这个问题如何可以解决数值:正则化不平衡最优输运的动力学公式可以离散化,并通过凸优化解决。
2021-12-13 math.AP math.OC math.PR
Survival of the strictest: Stable and unstable equilibria under regularized learning with partial information
National Technical University of Athens(雅典国立技术大学);Columbia University(哥伦比亚大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Criteo AI Lab(Criteo人工智能实验室)
本文研究了一般N人对策中无悔学习的纳什均衡收敛性质。具体来说,我们专注于原型遵循正则化领导者(FTRL)家族的算法,我们认为全谱的不确定性,玩家可能会遇到的-从嘈杂的,基于预言的反馈,强盗,基于回报的信息。在这个一般的背景下,我们建立了纳什均衡的稳定性和它的支持之间的全面等价:一个纳什均衡是稳定的,并以任意高的概率吸引,当且仅当它是严格的(即,每个均衡策略具有唯一的最佳响应)。这种等价性将现有的进化博弈论民间定理的连续时间版本扩展到真正的算法学习环境,并且为预测游戏中无悔学习的日常行为提供了明确的细化标准
2021-02-04 cs.GT cs.LG cs.MA
Convergence rate of entropy-regularized multi-marginal optimal transport costs
本文研究了当噪声参数趋于0时,Boltzmann-Shannon熵正则化的多重边际最优传输代价的收敛速度,建立了形式为 $C\varepsilon\log(1/\varepsilon)+O(\varepsilon)$ 的上下界,并推广了已有结果。
2024-04-09 math.AP math.FA math.OC
Entropy-Regularized Optimal Transport in Information Design
本研究聚焦信息设计中发送方通过选择信息策略最大化效用的问题,基于幂图划分相关的信息策略,采用熵正则化最优传输开发高效寻优算法,通过数值实验揭示最优配置特性,并拓展至多产品垄断者的信息策略推导场景。
2024-12-12 cs.GT cs.NA math.NA
A Relation Analysis of Markov Decision Process Frameworks
Singapore Management University(新加坡管理大学);Massachusetts Institute of Technology(麻省理工学院)
研究了机器学习和计量经济学文献中不同的马尔可夫决策过程(MDP)框架之间的关系,包括标准MDP、熵和一般正则化MDP以及随机MDP,后者基于报酬函数是随机的并服从给定分布的假设。我们证明了熵正则化MDP等价于一个随机MDP模型,并且严格地被一般正则化MDP所包含。此外,我们提出了一个分布式随机MDP框架,假设报酬函数的分布是模糊的。我们进一步表明,分布随机MDP是等价的正则化MDP,在这个意义上,他们总是产生相同的最优策略。我们还提供了随机/正则化MDP和约束MDP之间的连接。我们的工作给出了几个重要的MDP框架,这将导致新的方法来解释(熵/一般)正则化MDP框架通过镜头的随机奖励,反之亦然。鉴于最近正则化MDP在(深度)强化学习中的流行,我们的工作带来了对这种算法方案如何工作的新理解,并提出了开发新算法的想法。
2020-08-18 cs.LG econ.EM math.OC
Entropy Regularization for Mean Field Games with Learning
University of California, Berkeley(加州大学伯克利分校);Amazon Research(亚马逊研究院);University of Southern California(南加州大学);University of Oxford(牛津大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Oxford-Man Institute, University of Oxford(牛津大学牛津曼研究所)
熵正则化被广泛用于提高强化学习算法的效率、稳定性和收敛性。本文定量和定性地分析了熵正则化对有限时间内带学习的平均场博弈(MFG)的影响。我们的研究提供了一个理论依据,熵正则化产生时间依赖的政策,而且,有助于稳定和加速收敛到博弈均衡。此外,这项研究导致了一个政策梯度算法的探索MFG。在该算法下,智能体能够学习最优的探索调度,并稳定快速地收敛到博弈均衡。
2021-12-08 cs.LG math.OC stat.ML
Entropy-regularized Wasserstein distributionally robust shape and topology optimization
本文旨在介绍形状和拓扑优化领域的分布鲁棒性的最新范例。承认不确定的物理数据的概率法是很少知道的,超出了从观察到的样本构建的粗略近似,我们优化设计的预期成本的最坏情况下的值时,不确定性的概率法是“接近”的估计一个规定的阈值。概率定律之间的"接近性“由瓦瑟斯坦距离(Wasserstein distance)量化,这是一个与最优输运理论有关的概念。结合经典的熵正则化技术在这一领域的凸对偶理论的最新成果,允许重新制定的分布鲁棒最优化问题的方式是易于处理的计算。在基于密度的拓扑优化和几何形状优化的不同设置下,给出了两个数值例子。无论所选的最优设计框架如何,他们都证明了所提出的公式的相关性和适用性。
2023-01-11 cs.NA math.NA math.OC
Controlling conservation laws I: entropy-entropy flux
研究了一类具有Lax熵-熵通量对的正则守恒律的变分问题.我们首先介绍了一个修改后的最优输运空间的基础上的守恒律扩散。利用这个空间,我们证明了守恒律与扩散是“通量梯度流”。接下来,我们构造这些流的变分问题,我们得到正则化守恒律的对偶PDE系统。给出了几个算例,包括交通流和Burgers方程.通过对原始对偶法和单调格式的比较,我们成功地计算了守恒律的控制。
2021-11-10 cs.NA math-ph math.AP
Stabilized Sparse Scaling Algorithms for Entropy Regularized Transport Problems
本文提出了一种稳定的稀疏缩放算法,用于解决熵正则传输问题,通过结合对数域稳定公式、epsilon缩放启发式方法、内核的自适应截断和粗到细方案,提高了算法在小正则化和大规模问题中的效率和稳定性。
2019-02-11 cs.CE cs.NA math.NA
Accelerated Message Passing for Entropy-Regularized MAP Inference
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
离散值马尔可夫随机场的最大后验(MAP)推断是机器学习中的一个基本问题,涉及识别给定分布的随机变量的最可能配置。由于这个组合问题的难度,线性规划(LP)松弛通常用于导出专门的消息传递算法,这些算法通常被解释为对偶LP上的坐标下降。为了实现更理想的计算性能,许多方法用熵项正则化LP,从而产生一类具有收敛保证的平滑消息传递算法。在本文中,我们提出了随机化的方法来加速这些算法,利用经典的加速梯度方法的基础技术。所提出的算法结合了标准平滑消息传递算法的熟悉步骤,这些步骤可以被视为坐标最小化步骤。我们表明,这些加速的变种实现更快的速度寻找$ε$ -最佳点的非正则化问题,当LP是紧的,我们证明了所提出的算法恢复真正的MAP解决方案,在更少的迭代比标准的消息传递算法。
2020-07-01 cs.LG math.OC stat.ML
Accelerating Primal-dual Methods for Regularized Markov Decision Processes
Stanford University(斯坦福大学);Amazon Search(亚马逊搜索);University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
针对熵正则化马尔可夫决策过程原对偶问题标准一阶法收敛慢的问题,提出二次凸化原对偶表述及新插值度量,实现指数收敛与显著加速,多设置实验验证了性能。
2023-06-12 cs.LG math.OC stat.ML
Formal Entropy-Regularized Control of Stochastic Systems
本文提出了一种形式熵正则化控制方法,通过熵界分析和控制器合成,在保持连续系统正式保证的同时,平衡可预测性与控制性能。
2026-03-05 cs.IT cs.SY eess.SY
LASER: Latent Space Adjoint Matching for Support-Constrained Entropy-Regularized Offline RL
MIT(麻省理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
LASER通过潜空间伴随匹配实现熵正则化的离线RL,避免时间反向传播,在40个OGBench任务上以固定超参数达到最先进性能。
2026-10-16 cs.AI cs.LG cs.RO
Efficient Learning for Entropy-Regularized Markov Decision Processes via Multilevel Monte Carlo
Mathematical Institute, University of Oxford(牛津大学数学研究所);Department of Mathematics, Imperial College London(伦敦帝国学院数学系)
针对大规模或连续状态动作空间的熵正则化MDPs,提出结合不动点迭代与多层蒙特卡洛的算法族,通过误差分析证明无偏随机化多层近似可实现与状态动作空间规模无关的多项式样本复杂度,并用实验验证了理论保证。
2025-06-04 cs.LG math.OC math.PR
Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods
Chinese University of Hong Kong(香港中文大学);Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
该研究提出基于熵正则化外梯度的一阶优化方法,将最优传输问题转为双线性极小极大问题,实现了$\tilde{O}(n^2/\beta)$的运行时间,数值性能优于Sinkhorn等经典算法。
2024-06-20 cs.DS cs.IT cs.LG