Non-Deterministic Policies in Markovian Decision Processes
McGill University(麦吉尔大学)
马尔可夫过程长期以来一直被用来模拟随机环境。强化学习已经成为解决此类环境中的顺序规划和决策问题的框架。近年来,人们尝试应用强化学习的方法来构建马尔可夫环境下的行动选择决策支持系统。虽然强化学习中的传统方法已被证明在有关顺序决策的问题中是有用的,但它们不能以其当前形式应用于决策支持系统,例如医疗领域中的决策支持系统,因为它们建议的政策通常是高度规范的,并且几乎没有给用户输入留下空间。如果没有能力提供灵活的指导方针,这些方法就不太可能得到这类系统用户的欢迎。本文介绍了新的概念,非确定性的政策,让更多的灵活性,在用户的决策过程中,同时限制决策保持接近最优的解决方案。我们提供了两个算法来计算离散域中的非确定性策略。我们研究了这些方法的输出和运行时间上的一组合成和现实世界的问题。在与人类受试者的实验中,我们表明,人类的辅助提示基于非确定性的政策优于人类和计算机只代理在网络导航任务。
2014-01-16 cs.AI cs.LG
Diverse Policies Converge in Reward-free Markov Decision Processe
Tsinghua University(清华大学);Paradigm Inc.(第四范式公司)
针对现有多样性强化学习算法缺乏收敛性与效率理论支撑的问题,本文提出统一的研究框架,分析多样化策略训练的收敛性,提出可证明高效的算法,并通过数值实验验证有效性。
2023-08-23 cs.AI cs.LG
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性,提出统一价值函数和广义贝尔曼方程,实现独立执行选择与改进,实验验证互补收益。
2026-10-06 cs.AI cs.LG
Compositional planning in Markov decision processes: Temporal abstraction meets generalized logic composition
Worcester Polytechnic Institute(伍斯特理工学院)
在马尔可夫决策过程(MDP)的层次规划中,时间抽象允许以顺序组合的形式对发生在不同时间尺度上的宏动作进行规划。在本文中,我们提出了一种新的方法,组合推理和层次规划的时态逻辑约束下的MDP。除了顺序组合,我们介绍了一种基于广义逻辑组合的策略组合:给定子任务的子策略和一个新的任务表示为子任务的逻辑组合,一个半最优的策略,这是最优的规划与只有子策略,可以通过简单地组合子策略。因此,一个综合算法的开发,以计算最优策略有效地规划与原始行动,子任务的政策,和子政策的组成,以最大限度地满足时态逻辑规格的概率。我们证明了所提出的方法的正确性和效率在随机规划的例子与一个单一的代理和多个任务规范。
2019-07-22 cs.AI math.OC
Regret-based Reward Elicitation for Markov Decision Processes
University of Toronto(多伦多大学)
马尔可夫决策过程(MDP)的规范可能是困难的。奖励函数的指定尤其成问题;在实践中,用户精确地指定奖励通常在认知上是复杂且耗时的。这项工作投的问题,指定奖励作为一个偏好诱导,旨在尽量减少的精确度,必须指定的奖励函数,同时仍然允许最优或接近最优的政策产生。我们首先讨论如何强大的政策可以计算MDP只给出部分奖励信息,使用极大极小后悔准则。然后,我们展示了如何后悔可以有效地引发奖励信息使用绑定查询,使用后悔减少作为一种手段,选择合适的查询。实证结果表明,基于后悔的奖励诱导提供了一种有效的方法来产生接近最优的政策,而不诉诸于整个奖励函数的精确规格。
2012-05-09 cs.AI
Optimal Decision Tree Policies for Markov Decision Processes
Delft University of Technology(代尔夫特理工大学)
针对强化学习策略可解释性难题,提出基于混合整数线性规划的OMDT方法,直接为MDP优化尺寸受限决策树以最大化期望折扣回报,发现其性能接近最优且优于模仿学习。
2024-02-14 cs.AI cs.LG
Probabilistic Model Checking of Stochastic Reinforcement Learning Policies
Simula Research Laboratory(西穆拉研究实验室)
本文提出一种基于马尔可夫决策过程、PCTL公式和Storm模型检验器的随机强化学习策略验证方法,并在多个基准上证明其优于确定性安全估计和朴素整体式模型检验基线。
2024-03-27 cs.AI
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University(马萨里克大学);Institute of Science and Technology Austria(奥地利科学技术研究所)
马尔可夫决策过程(MDP)是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益,忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面,风险规避政策要求不可预测事件的概率低于给定的阈值,但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态,代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益,以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法,它结合了UCT类搜索与预测learnedthrough互动与MDP(在风格的AlphaZero)和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中,包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Best-Effort Policies for Robust Markov Decision Processes
Department of Computer Science, University of Oxford(牛津大学计算机科学系)
针对鲁棒马尔可夫决策过程中多个最坏情形等价的最优鲁棒策略选择问题,提出最优鲁棒尽力策略准则,证明其存在性并给出低开销计算算法,通过数值实验验证了方法可行性。
2025-11-19 cs.AI cs.LO
SpeedTuning: Speeding Up Policy Execution with Lightweight Reinforcement Learning
Stanford University(斯坦福大学)
SpeedTuning是一种轻量强化学习框架,可预测动作最优执行速度,在无需额外数据采集的情况下,将机器人操作策略加速超2.4倍且保持足够成功率,适用于多种动态精确任务。
2026-08-12 cs.AI cs.RO
Acting in Delayed Environments with Non-Stationary Markov Policies
Technion(以色列理工学院);Nvidia Research(英伟达研究院)
针对标准MDP假设动作立即执行不符合实际、易致应用故障的问题,提出非平稳马尔可夫策略框架与类Q学习算法,无需状态增强解决延迟执行任务,实验验证其在多场景下收敛快、性能优。
2023-12-13 cs.AI cs.LG
SPOT: Scalable Policy Optimization with Trees for Markov Decision Processes
Shanghai Jiao Tong University(上海交通大学);University of South Florida(佛罗里达州立大学)
针对马尔可夫决策过程中决策树策略优化难的问题,提出将优化建模为混合整数线性规划、用约简空间分支定界解耦动力学与树约束的SPOT方法,实现了可解释性与可扩展性兼具的高质量策略,速度比现有方法快一个数量级。
2025-10-22 cs.AI cs.LG
Distillation of RL Policies with Formal Guarantees via Variational Abstraction of Markov Decision Processes (Technical Report)
Vrije Universiteit Brussel(布鲁塞尔自由大学);University of Antwerp – Flanders Make(安特卫普大学–法兰德斯制造)
我们认为,政策简化和验证的背景下,通过强化学习(RL)在连续环境中学习的政策的挑战。在行为良好的设置中,RL算法在极限内具有收敛保证。虽然这些保证是有价值的,但它们不足以用于安全关键型应用。此外,在应用深度RL等先进技术时,它们会丢失。为了在将高级RL算法应用于具有(i)可达性,(ii)安全约束可达性或(iii)折扣奖励目标的更复杂环境时恢复保证,我们基于Gelada等人提出的DeepMDP框架,推导出未知环境与其学习的离散潜在模型之间的新互模拟边界。我们的互模拟边界使形式化方法能够应用于马尔可夫决策流程.最后,我们展示了如何使用通过最先进的RL获得的策略来有效地训练一个变分自编码器,该编码器产生一个离散的潜在模型,具有可证明的近似正确的互模拟保证。此外,我们还获得了潜在模型的策略的一个精炼版本。
2022-06-14 cs.AI cs.LG
Policy Dispersion in Non-Markovian Environment
本文针对非马尔可夫环境中策略相似导致过拟合的问题,提出一种策略分散方案,通过transformer学习策略嵌入并构建正定分散矩阵以获取多样策略,显著提升了智能体在环境扰动下的鲁棒性。
2024-06-03 cs.AI cs.LG
Multi-Agent Deep Reinforcement Learning with Adaptive Policies
University of Science and Technology of China(中国科学技术大学)
针对多智能体强化学习(RL)中的非平稳性问题,提出了一种新的解决方法。这违反了大多数单智能体RL方法的马尔可夫假设,是多智能体RL的关键挑战之一。为了解决这个问题,我们建议训练多个政策,为每个代理,并推迟执行时的最佳政策的选择。具体来说,我们模拟环境的非平稳性与一组有限的场景和训练政策适合每个场景。除了多个策略之外,每个代理还学习策略预测器,以确定哪个策略是最好的。通过这样做,每个代理都能够在环境变化时调整其策略,并且因此其他代理在执行期间更改其策略。我们在文献中为多智能体深度RL提出的各种常见基准问题上对我们的方法进行了经验评估。我们的实验结果表明,我们的算法训练的代理人有更好的适应性,在不断变化的环境中,并在所有测试环境中优于国家的最先进的方法。
2019-11-28 cs.AI cs.LG cs.MA
Verification of Markov Decision Processes with Risk-Sensitive Measures
University of Texas(得克萨斯大学)
我们开发了一种方法,用于在马尔可夫决策过程中的风险敏感措施的时间逻辑约束的计算政策。具体来说,我们使用了累积前景理论中的一种特定的风险敏感度测量方法,这种方法以前曾在心理学和经济学中被采用。概率和效用函数的非线性变换产生非线性规划问题,这使得最优策略的计算通常具有挑战性。我们表明,这种非线性加权函数可以准确地近似由两个凸函数的差异。这一观察使得使用凹凸规划的有效策略计算成为可能。我们证明了几种情况下的方法的有效性。
2020-04-19 cs.AI cs.LO
Context-Aware Composition of Agent Policies by Markov Decision Process Entity Embeddings and Agent Ensembles
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出一种基于模拟的方法,利用知识图谱和实体嵌入表示异构上下文,并通过并行智能体集成按需组合策略,使智能体无需冗长训练即可在不同上下文间无缝切换并成功完成任务。
2023-08-30 cs.AI cs.LG cs.PF
Finding Safe Zones of policies Markov Decision Processes
TTI-Chicago(芝加哥丰田技术研究院);Tel-Aviv University(特拉维夫大学);Google Research(谷歌研究院);Bosch Center for AI(博世人工智能中心)
该研究定义了马尔可夫决策过程策略的安全区概念,证明寻找最优安全区通常计算困难,提出了一种在逃逸概率和安全区规模上均达近2倍近似比、仅需多项式样本复杂度的双准则近似学习算法。
2023-10-09 cs.AI cs.DS cs.LG
Robust Entropy-regularized Markov Decision Processes
Singapore Management University(新加坡管理大学);Massachusetts Institute of Technology(麻省理工学院)
由熵正则化马尔可夫决策过程(ER-MDP)产生的随机和软最优策略对于探索和模仿学习应用是理想的。出于这样一个事实,即这些政策是敏感的状态转移概率,这些概率的估计可能是不准确的,我们研究了一个强大的版本的ER-MDP模型,其中随机最优的政策是需要强大的模糊性,在底层的转移概率。我们的工作是在强化学习(RL)的两个重要计划,即鲁棒MDP和熵正则化MDP的十字路口。我们发现,在我们的设置中,非鲁棒ER-MDP和鲁棒非正则化MDP模型的基本属性也成立,使得鲁棒ER-MDP问题易于处理。我们展示了我们的框架和结果如何可以集成到不同的算法方案,包括价值或(修改)的政策迭代,这将导致新的强大的RL和逆RL算法来处理不确定性。分析了传统不确定度设置下的计算复杂性和误差传播。
2021-12-31 cs.AI cs.LG
Risk-Sensitive Markov Decision Processes with Long-Run CVaR Criterion
Sun Yat-Sen University(中山大学);Stanford University(斯坦福大学)
CVaR(Conditional Value at Risk)是一种广泛应用于金融领域的风险度量方法。然而,动态优化CVaR是困难的,因为它不是一个标准的马尔可夫决策过程(MDP)和动态规划的原则失败。本文从灵敏度优化的角度研究了具有长期CVaR准则的无限时域离散时间MDP。通过引入一个伪CVaR度量,我们得到了一个CVaR差值公式,它量化了任意两种策略下长期CVaR的差值。推导了确定性策略的最优性。我们得到了CVaR的Bellman局部最优性方程,它是局部最优策略的充要条件,是全局最优策略的必要条件.为了提供更多的灵敏度信息,还推导了CVaR导数公式。在此基础上,我们提出了一种策略迭代型算法来有效地优化CVaR,并证明了该算法在混合策略空间中收敛于局部最优。我们进一步讨论了一些扩展,包括均值CVaR优化和最大化的CVaR。最后,我们进行了有关投资组合管理的数值实验,以证明主要结果。我们的工作可能揭示动态优化CVaR从灵敏度的角度来看。
2022-10-17 cs.AI math.OC
HypRL: Reinforcement Learning of Control Policies for Hyperproperties
Michigan State University(密歇根州立大学)
HYPRL是一个规范引导的强化学习框架,通过Skolem化和鲁棒性函数塑形奖励,学习满足HyperLTL超属性的控制策略,在多个基准上验证了其有效性和效率。
2025-10-24 cs.AI cs.LO
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所);Faculty of Mathematics and Computer Science(数学与计算机科学学院);Leipzig University(莱比锡大学);Santa Fe Institute(圣塔菲研究所)
众所周知,对于任何有限状态的马尔可夫决策过程(MDP),都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程(POMDPs),最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题,并制定了相应的几何框架。我们表明,任何POMDP有限的随机性,这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明,该方法能够更好,更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics
Department of Industrial Engineering(工业工程系);Rosenheim Technical University of Applied Sciences(罗森海姆应用技术大学)
提出一个策略无关的执行与测量层,通过构建决策有效快照、定义标准化执行合约并记录结果分歧,将执行不确定性转化为可观测的结构化数据,从而弥合仿真与现实的差距。
2026-05-27 cs.AI cs.LG
Risk-Sensitive Markov Decision Processes with Combined Metrics of Mean and Variance
Business School, Sun Yat-Sen University(中山大学商学院)
研究了同时考虑报酬均值和方差的具有长期平均度量的无限阶段离散时间马尔可夫决策过程的最优化问题。这样的绩效指标很重要,因为均值表示平均回报,方差表示风险或公平性。然而,方差度量耦合在所有阶段的奖励,传统的动态规划是不适用的时间一致性原则失效。我们研究这个问题从一个新的角度称为灵敏度为基础的优化理论。推导了一个性能差异公式,该公式可以量化任意两种策略下MDP的均值-方差组合度量的差异。差分公式可以用来产生新的政策,严格改进的均值-方差性能。给出了最优策略的一个必要条件和确定性策略的最优性。我们进一步发展了一种策略迭代形式的迭代算法,证明了该算法在混合和随机策略空间中均收敛于局部最优。特别地,当策略中的平均报酬为常数时,保证算法收敛到全局最优值。最后,我们应用我们的方法来研究在储能系统中的风力发电的波动减少,这表明我们的最优化方法的潜在适用性。
2020-08-09 cs.AI cs.LG math.OC
Partially Observed, Multi-objective Markov Games
Georgia Institute of Technology(佐治亚理工学院)
本研究的目的是生成一组非支配的政策,其中一个两个代理(领导者)可以选择一个最喜欢的政策来控制一个动态系统,也受到其他代理(追随者)的控制决策。该问题是由一个无限的地平线,部分观察马尔可夫博弈(POMG)。在每个决策时期,每个智能体都知道:它的过去和现在的状态,它过去的动作,以及对其他智能体过去和现在状态的噪声破坏观察。基于这些数据,在每个决策时期确定每个代理的动作。领导者在选择政策时考虑多个目标。跟随者在选择策略时考虑单一目标,并完全了解领导者选择的策略并对其做出响应。这种领导者-跟随者的假设允许POMG被转换成一个特殊结构的,部分可观察的马尔可夫决策过程(POMDP)。POMDP用于确定跟随者的最佳响应策略。一个多目标遗传算法(MOGA)是用来创建下一代的领导者政策的基础上,在当前一代的适应度措施。给定领导者策略和跟随者的最佳响应策略,计算领导者策略的适应度度量需要值确定计算。领导者可以从中选择最优选策略的策略是由MOGA创建的最后一代领导者策略的非支配策略。一个例子,说明了这些结果可以被用来支持一个经理的液体鸡蛋生产过程(领导者)在选择一系列的行动,以最好地控制这个过程随着时间的推移,鉴于有一个攻击者(追随者)谁寻求污染的液体鸡蛋生产过程中的化学或生物毒素。
2014-04-16 cs.AI cs.GT math.OC
Expert Selection in High-Dimensional Markov Decision Processes
University of California, Berkeley(加州大学伯克利分校)
在这项工作中,我们提出了一个多臂的强盗框架,在马尔可夫决策过程中的在线专家选择,并证明其在高维设置中的使用。我们的方法需要一组候选专家的政策,并在它们之间切换,以快速确定最佳性能的专家使用经典的置信上限算法的变体,从而确保系统的整体性能低遗憾。这在应用程序中很有用,在这些应用程序中,可能有多个专家策略可用,并且需要在运行时为底层环境选择一个。
2020-10-26 cs.AI cs.LG cs.SY
Self-Triggered Markov Decision Processes
New York University(纽约大学)
在本文中,我们研究马尔可夫决策过程(MDP)与自触发策略,自触发控制的思想扩展到更一般的MDP模型。这种扩展将自触发策略的应用扩展到更广泛的系统。我们研究了控制策略和触发策略的协同设计问题,以优化两个预先指定的成本标准。第一个代价准则通过将预先指定的更新惩罚并入传统的MDP代价准则中来引入,以减少通信资源的使用。在此准则下,提出了一种新的动态规划(DP)方程,称为DP方程与优化前瞻,以解决该准则下的自触发策略。第二个自触发策略是最大化触发时间,同时仍然保证预先指定的次优水平。这两个政策的计算和实施的理论基础。通过一个网格世界的数值例子,我们说明了这两种策略在减少资源消耗方面的有效性,并展示了资源消耗和系统性能之间的权衡。
2021-02-17 cs.AI cs.LG cs.SY
AutoSND: From Execution Evidence to Structural Policies for Automated Network Dismantling Heuristic Discovery
AutoSND是一种三阶段树搜索框架,通过将执行证据转化为结构策略,在真实网络上发现了更优的网络拆解启发式方法,性能与稳定性更佳且结构可解释。
2026-08-05 cs.AI
Real-Time Execution with Autoregressive Policies
Korea Institute of Science and Technology(韩国科学技术研究院);Seoul National University(首尔大学);Google Research(谷歌研究院)
通过异步推理和约束解码实现自回归策略的实时执行,在保证低延迟的同时提升任务完成速度,实验表明其性能优于流匹配策略。
2026-11-09 cs.AI cs.RO
Non-Markov Policies to Reduce Sequential Failures in Robot Bin Picking
The AUTOLab at University of California, Berkeley(加州大学伯克利分校AUTOLab实验室)
使用深度学习的新一代自动化垃圾箱拣选系统正在发展,以支持日益增长的电子商务需求。为了适应各种各样的产品,许多自动化系统包括多种夹持器类型和/或工具更换器。然而,对于某些对象,连续抓取失败是常见的:当计算抓取未能提升和移除对象时,箱子通常保持不变;由于传感器输入是一致的,系统一遍又一遍地重试相同的抓取,导致平均每小时成功拾取(MPPH)的显着减少。基于一个实证研究的顺序故障,我们描述了一类“顺序故障对象”(SFO)-对象容易顺序故障的基础上一个新的分类。然后,我们提出了三个非马尔可夫采摘政策,将过去的失败记忆修改后续行动。在SFO模型和EGAD数据集上的仿真实验表明,非马尔可夫策略在顺序故障率和MPPH方面明显优于马尔可夫策略。在对50堆12个SFO的物理实验中,最有效的非马尔可夫策略比Dex-Net马尔可夫策略增加了107%的MPPH。
2020-07-20 cs.AI cs.RO
Neuro-Symbolic Computer Use: Learning Reusable Policies for Reliable and Efficient Execution
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学);Simular
针对重复性计算机任务,提出神经符号策略迭代方法,学习可重用策略,将稳定决策编码为代码,动态决策交由神经模型,显著提升可靠性和效率。
2026-09-30 cs.AI
Credo: Declarative Control of LLM Pipelines via Beliefs and Policies
Brown University(布朗大学);Northwestern University(西北大学)
本文提出Credo,通过声明式策略和信念管理LLM流水线的决策,实现可适应、可审计和可组合的执行。
2026-08-13 cs.AI cs.DB
SAIL: Faster-than-Demonstration Execution of Imitation Learning Policies
Georgia Institute of Technology(佐治亚理工学院)
本文提出SAIL系统,通过一致性保持动作推理、高保真跟踪、自适应速度调制和动作调度,实现模仿学习策略超演示速度执行,在模拟和真实机器人上分别达到4倍和3.2倍加速。
2025-09-08 cs.AI cs.RO
Robust optimal policies for team Markov games
Peking University(北京大学);University of Groningen(格罗宁根大学)
在随机动态环境中,团队马尔可夫博弈已经成为研究完全合作多智能体系统序列决策问题的通用范式。然而,导出的策略的最优性通常是敏感的模型参数,这通常是未知的,并需要估计噪声数据在实践中。为了减轻最优策略对这些不确定参数的敏感性,本文提出了一种鲁棒的团队马尔可夫博弈模型,其中代理利用鲁棒优化方法来更新策略。该模型将团队马尔可夫博弈扩展到不完全信息的情形,同时提供了一种鲁棒团队最优性的替代解概念。为了寻求这样的解决方案,我们开发了一个强大的迭代学习算法的团队政策,并证明其收敛性。与鲁棒动态规划相比,该算法不仅具有更快的收敛速度,而且允许使用近似计算来减轻维数灾难。此外,通过将序列社会困境的对策模型推广到不确定场景,给出了一些数值模拟来证明算法的有效性。
2022-05-02 cs.AI cs.GT cs.MA
Multi-Agent Path Finding with Delay Probabilities
University of Southern California(南加州大学)
几个最近开发的多智能体路径查找(MAPF)求解器通过在2个级别上搜索MAPF计划来扩展到大型MAPF实例:高级搜索解决智能体之间的冲突,低级搜索在高级搜索施加的约束下为单个智能体规划路径。我们做了以下贡献,以解决具有小平均完工时间的不完美计划执行的MAPF问题:首先,我们形式化了具有延迟概率的MAPF问题(MAPF-DP),定义了有效的MAPF-DP计划,并提出了对有效的MAPF-DP计划使用鲁棒的计划执行策略来控制每个代理如何沿着其路径进行。我们讨论了两类分散的鲁棒计划执行策略(称为完全同步策略和最小通信策略),它们在有效的MAPF-DP计划的计划执行期间防止冲突。第三,我们提出了一个2级MAPF-DP求解器(称为近似最小化的期望),产生有效的MAPF-DP计划。
2016-12-15 cs.AI cs.MA cs.RO
Real-Time Execution of Action Chunking Flow Policies
Physical Intelligence(物理智能);UC Berkeley(伯克利大学)
本文提出实时分块(RTC)方法,通过在执行当前动作分块的同时生成下一个分块,实现动作分块策略的实时异步执行,提升任务吞吐量和精确任务成功率。
2025-12-05 cs.AI cs.LG cs.RO
MetaNet: Automated Dynamic Selection of Scheduling Policies in Cloud Environments
Imperial College London(伦敦帝国理工学院);Loughborough University(拉夫堡大学)
在优化云计算环境的服务质量(QoS)的背景下,任务调度是被充分研究的问题。为了维持计算需求的快速增长,云计算器最重要的QoS指标之一是执行成本。在这方面,近年来已经提出了几种基于数据驱动的深度神经网络(DNN)的调度器,以允许在动态工作负载设置中进行可扩展和有效的资源管理。然而,最佳调度通常依赖于复杂的DNN,其具有高计算需求,这意味着更高的执行成本。此外,即使在非静止环境中,也可能不总是需要复杂的过滤器,为了成本效益,我们可以暂时依靠低成本的过滤器。因此,这项工作的目的是解决非平凡的Meta问题的调度策略的在线动态选择使用一个代理模型称为MetaNet。与具有固定调度策略的传统解决方案不同,MetaNet在运行中从大量基于DNN的方法中选择调度器,以同时优化任务调度和执行成本。与最先进的DNN路由器相比,这使得执行成本、能耗、响应时间和违反服务级别协议的情况分别降低了11%、43%、8%和13%。
2022-05-21 cs.AI cs.DC
PINNMorph: Evolving Online Adaptation Policies for Physics-Informed Neural Networks
PINNMorph提出基于大语言模型引导策略演化的在线自适应框架,通过状态条件干预动态调整PINN训练,在13个PDE基准上超越现有方法,降低求解误差。
2026-09-29 cs.AI cs.LG
Learning Distributed and Fair Policies for Network Load Balancing as Markov Potential Game
École Polytechnique(巴黎综合理工学院);Cisco Systems(思科系统公司);Princeton University(普林斯顿大学)
本文研究了数据中心网络负载均衡问题,其中部署了多个负载均衡器(LB),使用多智能体强化学习(MARL)框架。这个问题的挑战包括异构的处理体系结构和动态环境,以及有限的和部分的可观察性的每个LB代理在分布式网络系统中,这可以大大降低性能的生产负载均衡算法在现实世界的设置。集中训练分散执行(CTDE)RL计划已被提出来提高MARL的性能,但它招致-特别是在分布式网络系统中,更喜欢分布式和即插即用的设计方案-代理之间的额外的通信和管理开销。我们制定的多代理负载均衡问题作为一个马尔可夫潜在的游戏,与一个精心设计的工作量分配公平性的潜在功能。提出了一种完全分布式的MARL算法来逼近博弈的纳什均衡。实验评估涉及事件驱动的模拟器和真实世界的系统,其中所提出的MARL负载均衡算法在模拟中显示出接近最佳的性能,并在现实世界的系统中的生产LB的优越的结果。
2022-10-14 cs.AI cs.DC cs.SY
Probabilistic Language Tries: A Unified Framework for Compression, Decision Policies, and Execution Reuse
本文提出概率语言树(PLTs),通过显式表示生成模型隐含定义的前缀结构,实现最优无损压缩、序列决策问题的策略表示以及记忆化索引。核心成果是指导缓存定理,证明PLT缓存在查询次数低于阈值时具有更低的预期推理成本。
2026-03-29 cs.AI cs.CL cs.DS