Reduction of total-cost and average-cost MDPs with weakly continuous transition probabilities to discounted MDPs
本文描述了具有一般状态空间和动作空间,且具有弱连续转移概率的总费用和平均费用马尔可夫决策过程(MDP)可约化为折扣MDP的充分条件.对于非折扣问题,这些减少意味着最优性方程的有效性和存在的静态最优策略。这些约简还提供了计算最优策略的方法。结果被应用到一个容量限制的库存控制问题的固定成本和销售损失。
2017-11-18 math.OC
A Primal-Dual Approach to Constrained Markov Decision Processes
在许多运营管理问题中,我们需要在满足一定约束条件的情况下顺序地做出决策,以使成本最小化。研究这类问题的一种建模方法是约束马尔可夫决策过程(CMDP)。在求解CMDP以获得良好的操作策略时,存在两个关键挑战:一个是过大的状态空间和动作空间;另一个是难以计算的转换核。在这项工作中,我们开发了一个基于采样的原始对偶法来解决CMDPs。我们的方法交替应用正则化策略迭代来改进策略和次梯度上升来保持约束。在较弱的正则性条件下,我们证明了算法以速率$ O(\log(T)/\sqrt{T})$收敛,其中T是迭代次数。当CMDP具有弱耦合结构时,我们的方法可以通过嵌入式分解大大降低问题的维数。我们将该算法应用到两个重要的应用弱耦合结构:多产品库存管理和多类队列调度,并表明它产生的控制,优于最先进的物流。
2021-01-26 math.OC
Fast rates for online learning in Linearly Solvable Markov Decision Processes
Universitat Pompeu Fabra(庞培法布拉大学)
我们研究一类线性可解MDP的Markov决策过程的在线学习问题。在这个问题的固定版本中,学习者通过直接控制状态转换来与环境进行交互,试图平衡固定的状态相关成本和惩罚极端控制输入的一定平滑成本。在本文中,我们考虑了一个在线设置,其中状态成本可以在连续轮之间任意变化,并且学习者只在每个相应轮结束时观察成本。我们感兴趣的是构建算法的学习,保证小遗憾对最佳的固定控制策略选择的成本序列的充分知识。我们的主要结果是表明,平滑的控制成本,使简单的算法,以下的领导者,以实现一个遗憾的顺序$\log^2 T$后$T$轮,大大提高了最有名的遗憾界的顺序$T^{3/4}$为这个设置。
2017-06-06 cs.LG math.OC stat.ML
Average optimality for continuous-time Markov decision processes under weak continuity conditions
本文研究了具有Borel状态空间和行动空间的连续时间马尔可夫决策过程的平均最优性问题。与以前的文献相比,在一组不同的和一般的条件下证明了确定性平稳最优策略的存在性;受控过程可以是爆炸性的,转移率可以是任意无界的,并且是弱连续的,定义容许行动空间的多功能既不是紧值的,也不是上半连续的,并且成本率不一定是非紧的。
2014-03-04 math.OC
Exploration-Exploitation Trade-off in Reinforcement Learning on Online Markov Decision Processes with Global Concave Rewards
National University of Singapore(新加坡国立大学)
我们考虑一个参与马尔可夫决策过程的代理,每轮都接收一个结果向量。她的目标是最大化平均向量结果的全局凹奖励函数。该问题模型的应用程序,如多目标优化,最大熵探索,并在马尔可夫环境中的约束优化。在我们的一般设置中,一个固定的策略可能有多个循环类,代理人面临着一个微妙而重要的权衡,在不同的行动之间交替平衡矢量结果。特别是,固定的政策一般是次优的。我们提出了一种基于在线凸优化(OCO)工具(Agrawal和Devanur 2014)和UCRL 2(Jaksch等人2010)的无遗憾算法。重要的是,我们引入了一种新的梯度阈值程序,它仔细控制动作之间的切换,以处理微妙的权衡。通过延迟梯度更新,我们的过程产生了一个非平稳的政策,多样化的结果优化的目标。该程序与各种OCO工具兼容。
2019-05-15 cs.LG math.OC stat.ML
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对马尔可夫α-势博弈,提出KL投影自然策略梯度算法,在情节式和完全在线异步设置下实现高概率纳什遗憾界,消除分布不匹配系数,并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Finite-Time Complexity of Online Primal-Dual Natural Actor-Critic Algorithm for Constrained Markov Decision Processes
School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院);Bradley Department of Electrical and Computer Engineering, Virginia Tech(弗吉尼亚理工大学布拉德利电气与计算机工程学院)
本文研究约束马尔可夫决策过程的策略优化问题,提出在线原始-对偶自然演员-评论家算法,并首次证明其以O(1/K^{1/6})速率有限时间收敛到全局最优解。
2024-11-20 cs.LG math.OC
Online Markov Decision Processes with Terminal Law Constraints
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);EDF Lab(法国电力公司实验室);FiME Laboratoire de Finance des Marches de l’Energie - Dauphine, CREST, EDF R&D(能源市场金融实验室-巴黎第九大学);Sorbonne Université LPSM(索邦大学概率统计与建模实验室)
本文提出无重置的周期性框架,旨在通过周期性策略在动态未知的在线场景中实现非渐近保证的最优学习。
2026-01-12 math.OC stat.ML
Online covariance estimation for stochastic gradient descent under Markovian sampling
University of California San Diego(加州大学圣迭戈分校);University of California, Davis(加州大学戴维斯分校)
该研究针对马尔可夫采样下的SGD提出在线重叠批均值协方差估计器,推导了匹配i.i.d场景最优水平的收敛速度,还得到SGD误差矩的相关结果,并通过数值实验和策略分类应用验证了方法的有效性。
2023-11-05 cs.LG math.OC math.ST
Policy Mirror Descent with Temporal Difference Learning: Sample Complexity under Online Markov Data
Wenye Li(李文悦);Hongxu Chen(陈红旭);Jiacai Liu(刘家才);Ke Wei(魏凯)
本文提出基于时间差学习的策略镜像下降算法,通过自适应步长实现在线马尔可夫数据下的样本复杂性优化。
2025-12-30 cs.LG math.OC
Online Reinforcement Learning in Markov Decision Process Using Linear Programming
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对转移函数和奖励分布未知的回合制MDP在线强化学习问题,提出基于乐观思想与线性规划的高效模型算法,在高概率下实现更紧的遗憾界并降低计算成本。
2024-03-11 cs.LG cs.SY eess.SY
Provably Efficient Representation Selection in Low-rank Markov Decision Processes: From Online to Offline RL
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究实验室)
研究低秩MDPs中的表示选择问题,提出ReLEX算法用于在线和离线RL,ReLEX-UCB在覆盖条件下实现严格更优的常数遗憾,ReLEX-LCB首次在离线RL表示学习中实现常数样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Online Markov decision processes with Kullback-Leibler control cost
Duke University(杜克大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究了在线控制问题,通过离散时间随机游走在有限状态空间中进行决策,采用KL散度作为控制成本,提出了一种计算高效且具有小遗憾的策略,并在目标跟踪任务中验证了其性能。
2014-01-14 cs.LG cs.SY eess.SY
Incentivize without Bonus: Provably Efficient Model-based Online Multi-agent RL for Markov Games
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Meta
针对马尔可夫博弈中现有样本高效MARL方法存在的局限,提出基于模型的VMG算法,通过偏向模型参数经验估计激励探索,允许玩家解耦更新策略,理论上在线线性函数近似下对NE和CCE实现近最优遗憾。
2025-02-13 cs.AI cs.GT cs.LG
Relax but stay in control: from value to algorithms for online Markov decision processes
Duke University(杜克大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在线学习算法被设计为在非静态环境中执行,但是通常没有动态状态的概念来将对当前和未来动作的约束建模为过去动作的函数。基于状态的模型在随机控制环境中很常见,但常用的框架,如马尔可夫决策过程(MDP)假设一个已知的静态环境。近年来,人们越来越有兴趣将上述两个框架结合起来,并考虑MDP设置,其中允许成本函数在每个时间步长后任意变化。然而,这一领域的大部分工作都是算法:给定一个问题,人们几乎从头开始开发一个算法。此外,存在的状态和假设的任意变化的环境复杂的理论分析和计算效率的方法的发展。本文介绍了一个广泛的扩展Rakhlin等人提出的想法。给出了一个通用的框架,推导算法在MDP设置任意变化的成本。这个框架导致现有的方法的统一视图,并提供了一个一般的程序,构建新的。提出了几种新的方法,其中之一被证明具有重要的优势,通过在线版本的近似动态规划从头开始开发的类似方法。
2015-08-31 cs.LG math.OC stat.ML
Weakly Time-Coupled Approximation of Markov Decision Processes
Information and Decision Sciences Department, University of Illinois at Chicago(伊利诺伊大学芝加哥分校信息与决策科学系);Industrial Engineering and Decision Analytics, Hong Kong University of Science and Technology(香港科学与技术大学工业工程与决策分析系)
本文提出弱时间耦合近似方法,用于解决高维外生不确定性马尔可夫决策过程的可扩展性问题,通过独立于时间跨度的交叉阶段依赖关系,改进了ALP和PO方法的上界估计。
2026-03-13 cs.LG math.OC
Online nonnegative CP-dictionary learning for Markovian data
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);University of California, Los Angeles(加州大学洛杉矶分校)
在线张量分解(OTF)是从流多模态数据中学习低维可解释特征的基本工具。虽然各种算法和理论方面的OTF最近已经调查,一个一般的收敛保证不需要任何不相干或稀疏假设的目标函数的固定点仍然缺乏,即使是独立同分布。案子在这项工作中,我们介绍了一种新的算法,学习一个CANDECOMP/PARAFAC(CP)的基础上,从一个给定的流的张量值的数据下的一般约束,包括非负性约束,诱导学习CP基础的可解释性。我们证明了我们的算法几乎必然收敛到目标函数的平稳点集的假设下,数据张量的序列是由一个潜在的马尔可夫链。我们的设置涵盖了经典的i.i.d.案例以及广泛的应用环境,包括由独立或MCMC采样生成的数据流。我们的结果弥补了OTF和在线矩阵分解在全局收敛性分析\commHL{for CP-decompositions}中的不足。实验上,我们表明,我们的算法收敛速度比标准算法的非负张量因式分解任务的合成和真实世界的数据。此外,我们还展示了我们的算法在图像,视频和时间序列数据的不同示例集上的实用性,说明了如何通过多种方式利用张量结构从相同的张量数据中学习定性不同的CP字典。
2022-04-03 cs.LG math.OC stat.ML
Learning Policy from a Single Trajectory in Average-Reward Markov Decision Process
Seoul National University(首尔国立大学);UCLA(加州大学洛杉矶分校);Purdue University(普渡大学)
针对弱通信平均奖励MDP,首次从单条轨迹建立有限样本复杂度保证,提出无模型方法,值函数和策略方法分别达到$\widetilde{O}(1/\varepsilon^2)$和$\widetilde{O}(1/\varepsilon^4)$的样本复杂度。
2026-06-16 cs.LG math.OC
KL-learning: Online solution of Kullback-Leibler control problems
本文介绍了一种求解遍历Kullback-Leibler控制问题的随机逼近方法。Kullback-Leibler控制问题是有限状态空间上的马尔可夫决策过程,其中控制成本与受控转移概率相对于不受控转移概率的Kullback-Leibler发散成比例。在这项工作中讨论的算法允许使用ODE方法进行合理的理论分析。在数值实验中,该算法被证明是可比的功率方法和相关的Z-学习算法的收敛速度。它可以用作马尔可夫判定问题的强化学习风格算法的基础。
2012-02-16 cs.AI math.OC
An Online Multiobjective Policy Gradient for Long-run Average-reward Markov Decision Process
针对多目标决策的长期平均奖励马尔可夫决策过程,提出基于Blackwell可达性定理的动态标量化在线多目标策略梯度框架,保证奖励向量收敛到目标集并通过理论与数值验证。
2026-11-17 cs.SY eess.SY math.OC
Online Resource Allocation in Episodic Markov Decision Processes
KAIST(韩国科学技术院);Stanford University(斯坦福大学)
本文研究了情景有限时域受约束马尔可夫决策过程中的长期在线资源分配问题,提出了“观察后决策”与改进的“决策后观察”两种机制,并开发了在线对偶镜像下降算法,在两种机制下均实现了近乎最优的遗憾界。
2023-10-19 cs.DS cs.LG math.OC