Online Submodular Coordination with Bounded Tracking Regret: Theory, Algorithm, and Applications to Multi-Robot Coordination
University of Michigan(密歇根大学)
我们在不可预测的环境中实现高效和有效的协调,即,在其未来的进化是未知的先验,甚至对抗性的环境中。我们的动机是未来的自主性,涉及多个机器人在动态,非结构化和对抗性环境中协调,以完成复杂的任务,如目标跟踪,环境测绘和区域监控。这些任务通常被建模为子模块最大化协调问题。我们介绍了第一个有界跟踪遗憾的子模块协调算法,即,关于先验知道未来的最优时变行动具有有界次优性。边界随着环境的能力而优雅地退化。它还量化了机器人必须重新选择动作以“学习”协调的频率,就好像它们先验地知道未来一样。该算法要求机器人根据序列中先前机器人选择的动作顺序地选择动作。特别是,该算法将Fisher等人的开创性的顺序贪婪算法推广到不可预测的环境中,利用子模块和算法来跟踪最佳专家。我们在目标跟踪的模拟场景中验证了我们的算法。
2023-02-19 cs.AI cs.MA cs.RO
Minimax Regret Optimisation for Robust Planning in Uncertain Markov Decision Processes
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
马尔可夫决策过程(MDP)的参数通常无法精确指定。不确定MDP(UMDPs)通过定义参数所属的集合来捕获这种模型模糊性。极小极大后悔已被提出作为UMDPs规划的目标,以找到稳健的政策,而不是过于保守。在这项工作中,我们专注于规划随机最短路径(SSP)UMDPs不确定的成本和过渡功能。我们引入Bellman方程来计算保单的后悔率。我们提出了一个动态规划算法,利用遗憾贝尔曼方程,并表明,它优化极小极大遗憾正是UMDPs与独立的不确定性。对于耦合的不确定性,我们扩展我们的方法,使用选项,使计算和解决方案的质量之间的权衡。我们在合成域和现实域上评估了我们的方法,表明它显著优于现有的基线。
2023-02-12 cs.AI
Weighted Sets of Probabilities and Minimax Weighted Expected Regret: New Approaches for Representing Uncertainty and Making Decisions
Cornell University(康奈尔大学)
我们考虑一个设置代理的不确定性是由一组概率措施,而不是一个单一的措施。在获取新信息时对这样的一组度量进行逐个度量更新是众所周知的,存在问题;代理并不总是能够适当地学习。为了处理这些问题,我们建议使用加权概率集:一种表示,其中每个度量都与权重相关联,该权重表示其重要性。我们描述了一个自然的方法来更新在这种情况下,一个自然的方法来确定权重。然后,我们将展示如何使用这种表示在决策中,通过修改一个标准的决策方法-最小化预期遗憾-获得极大极小加权预期遗憾(MWER)。我们提供了一个公理化的特点,在静态和动态的情况下,由MWER引起的偏好。
2013-02-21 cs.AI cs.GT
Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
针对不确定马尔可夫决策过程的策略数量约束问题,提出k-自适应策略合成算法KAPS,可优化小策略集的极小极大遗憾,实验显示从1个策略增至2个时遗憾降幅最大。
2026-08-04 cs.AI cs.LG
A Geometric Traversal Algorithm for Reward-Uncertain MDPs
KAIST(韩国科学技术院);Department of Computer Science(计算机科学系)
马尔可夫决策过程(MDP)被广泛应用于随机环境中的决策问题建模。然而,在MDP中的奖励函数的精确规范通常是非常困难的。最近的方法都集中在计算最优策略的基础上的极小极大后悔准则获得一个强大的政策下的不确定性的奖励函数。计算极小极大后悔策略的核心任务之一是求出对于某个候选奖励函数最优的所有策略的集合。在本文中,我们提出了一个有效的算法,利用与政策的奖励函数的几何性质。我们还提出了一个近似版本的方法,以进一步加快。我们的实验表明,我们的算法提高了性能的数量级。
2012-02-14 cs.AI
Weighted Sets of Probabilities and MinimaxWeighted Expected Regret: New Approaches for Representing Uncertainty and Making Decisions
Cornell University(康奈尔大学)
我们考虑一个设置代理的不确定性是由一组概率措施,而不是一个单一的措施。在获取新信息时对这样一组措施进行逐个措施更新是众所周知的问题;代理并不总是能够适当地学习。为了处理这些问题,我们建议使用加权概率集:一种表示,其中每个度量都与权重相关联,该权重表示其重要性。我们描述了一个自然的方法来更新在这种情况下,一个自然的方法来确定权重。然后,我们将展示如何使用这种表示在决策中,通过修改一个标准的决策方法,最小化预期遗憾,以获得最小最大加权预期遗憾(MWER)。我们提供了一个公理化的特点,在静态和动态的情况下,由MWER诱导的偏好。
2012-10-16 cs.AI cs.GT q-fin.TR
Improving Human-AI Coordination through Online Adversarial Training and Generative Models
University of Washington, Seattle(华盛顿大学)
针对人机协作中人类行为多样且难以泛化的问题,提出 GOAT,利用冻结生成模型与在线对抗训练搜索困难协作策略,在 Overcooked 真人评估中取得最优表现。
2025-10-21 cs.AI
Steering No-Regret Agents in MFGs under Model Uncertainty
ETH Zürich(苏黎世联邦理工学院);Department of Computer Science(计算机科学系)
针对现有激励设计在大规模群体和模型不确定场景的局限性,研究密度无关转移均值场博弈的引导奖励设计,提出乐观探索算法,建立次线性遗憾保证并控制激励支付超额,为不确定下群体智能体引导提供有效框架。
2025-04-14 cs.AI cs.LG cs.MA
Variational Bayesian Reinforcement Learning with Regret Bounds
DeepMind(深度思维)
在强化学习中,Q值总结了智能体将获得的预期未来奖励。然而,他们无法捕捉到这些奖励的认知不确定性。在这项工作中,我们推导出一个新的Bellman算子与相关的不动点,我们称之为“知识值”。这些K值将预期的未来回报和认知的不确定性压缩到一个值中,因此高不确定性、高回报或两者都可以产生高K值。关键原则是赋予代理人一个寻求风险的效用函数,该函数经过精心调整,以平衡探索和开发。当智能体在K值上遵循玻尔兹曼策略时,它会产生$\tilde O(L \sqrt{S A T})$的贝叶斯后悔界,其中$L$是时间范围,$S$是状态总数,$A$是动作数,$T$是经过的时间步数。我们展示了这种方法与强化学习研究中的软最大和最大熵链的深层联系。
2022-12-06 cs.AI cs.LG stat.ML
Auditing Marketing Budget Allocation with Hindsight Regret
Expedia Group(Expedia集团);aampe
本文提出基于事后遗憾的审计框架,用于评估历史预算分配的有效性,通过历史数据估计支出-响应函数,并利用约束优化计算可行分配,揭示分配灵活性与可检测性间的实际权衡。
2026-04-30 cs.AI cs.LG econ.EM
Decentralized, Communication- and Coordination-free Learning in Structured Matching Markets
University of California Berkeley(加州大学伯克利分校);Caltech(加州理工学院)
本文研究了双边匹配市场下竞争环境下的在线学习问题。特别是,市场的一方,代理商,必须了解他们的偏好,通过反复的互动,同时与其他代理商竞争成功的匹配。我们提出了一类分散的,通信和协调的免费算法,代理可以使用它来达到他们的稳定匹配结构化匹配市场。与以前的作品相比,所提出的算法仅根据代理人自己的游戏历史做出决策,不需要预先知道公司的偏好。我们的算法是通过分裂学习一个人的偏好,从嘈杂的观察,从竞争的公司的问题的统计问题。我们表明,根据现实的结构性假设的代理人和公司的基本偏好,所提出的算法招致的遗憾,增长在时间范围内的最grammically。我们的研究结果表明,在匹配市场的情况下,竞争不需要急剧影响分散的,通信和协调自由的在线学习算法的性能。
2022-06-06 cs.AI cs.LG cs.MA
Decision-Theoretic Coordination and Control for Active Multi-Camera Surveillance in Uncertain, Partially Observable Environments
National University of Singapore(新加坡国立大学)
监控的核心问题是对大范围、有遮挡、有障碍物的环境中运动的多个目标进行监控。本文提出了一种新的原则部分可观测马尔可夫决策过程为基础的方法来协调和控制网络的主动摄像机跟踪和观察多个移动目标,在这样的监视环境中的高分辨率。我们提出的方法能够(a)保持对目标状态的信念(即,位置、方向和速度)来跟踪它们,即使它们可能不是一直被摄像机直接观察到,(b)协调摄像机的动作以同时提高对目标状态的置信度并最大化以保证的分辨率观察到的目标的期望数量,以及(c)利用我们的监视问题的固有结构来提高其可缩放性(即,线性时间)。与现有的多摄像机协调控制技术的定量比较表明,该方法可以实现更高的实时的监控质量。我们的方法的实际可行性也证明了使用真正的AXIS 214 PTZ摄像机
2012-10-02 cs.AI cs.MA cs.MM
Information and Multi-Sensor Coordination
University of Pennsylvania(宾夕法尼亚大学)
本文研究多传感器系统中信息融合与协调控制问题,提出基于团队决策理论的分析方法,通过仿真验证了在不确定性环境下多传感器协作的有效性。
2013-03-27 cs.AI cs.MA cs.SY
Genetic Algorithm Based Coordination and Optimization Model for Generation Grid Load Storage in Active Distribution Networks
State Grid Tianjin Binhai Electric Power Supply Company(国网天津滨海供电公司);State Grid Tianjin Electric Power Company(国网天津电力公司)
提出一种结合模糊逻辑与遗传算法的优化框架,用于主动配电网中发电、并网、负荷及储能设施的协调与风险评估,通过模糊集处理不确定性,利用遗传算法优化调度,降低技术约束,保持投资水平。
2026-06-23 cs.AI cs.NE
Sub-linear Regret in Adaptive Model Predictive Control
KTH Royal Institute of Technology(KTH皇家理工学院)
针对带约束和扰动的不确定线性系统自适应MPC问题,提出结合确定性等价原理与多面体管的STT-MPC算法,证明其期望遗憾为$O(T^{1/2 + ε})$,为该场景下首个次线性遗憾结果。
2023-10-07 cs.AI cs.SY eess.SY
Ensuring Safety in an Uncertain Environment: Constrained MDPs via Stochastic Thresholds
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本文提出SPOT算法,通过随机阈值在不确定环境中实现安全的强化学习,理论证明其在约束和奖励方面具有次线性遗憾性能。
2025-12-24 cs.AI cs.LG stat.ML