On Team Decision Problems with Nonclassical Information Structures
本文针对非经典信息结构的序贯动态团队决策问题,从管理者与成员视角推导出独立于控制策略的信息状态,实现动态规划分解,并证明成员解与管理者解一致,附延迟共享信息结构示例。
2022-11-11 math.OC
Computing T-optimal designs via nested semi-infinite programming and twofold adaptive discretization
对实际过程建模通常会产生几个合适的模型。为了能够区分或辨别哪个模型最好地表示现象,人们感兴趣的是,例如,所谓的T-最优设计。这些点由一般连续的设计空间中的(设计)点组成,在这些点上,模型彼此偏离最大,条件是它们最适合这些点。因此,T-准则表示一个双层最优化问题,它可以转化为一个半无限的,但它的解决方案是非常不稳定的或耗时的非线性模型和非凸的上下层问题。如果只考虑有限个可能的设计点,则会出现数值上易于处理的线性半无限最优化问题。由于这只是一个近似的原始模型判别问题,我们提出了一种算法,交替和自适应细化离散化的参数以及设计空间,从而解决了序列的LSIP。我们证明了我们的方法和它的子程序的收敛性,并显示从过程工程的歧视任务的基础上,我们的方法是稳定的,可以优于已知的方法。
2022-08-29 math.OC
Deterministic Team Problems with Signaling Incentive
本文考虑线性二次团队判定问题,其中团队中的参与者通过他们的决策影响彼此的信息结构。而随机版本的问题是众所周知的是复杂的非线性最优解,很难找到,确定性的对应被证明是易于处理的。我们表明,在一些假设的权重矩阵和信令信道,线性决策是最佳的,可以找到有效地解决一个半定的计划。
2013-02-03 math.OC
Entropic Regularization of the Nested Distance
2012年,Pflug和Pichler在正则性假设下证明了多阶段随机规划(MSP)中的值函数是Lipschitz连续的。嵌套距离,这是情景树(或具有有限支持的离散时间随机过程)之间的距离。嵌套距离是Wasserstein距离的改进,用于解释离散时间随机过程的过滤的接近性。两个场景树之间的嵌套距离的计算相当于计算大小为$n$的较小条件概率之间的指数(在水平$T$中)数量的最优输运问题,其中$n$小于每个节点的子节点的最大数量。这样的最优输运问题可以通过复杂度为$O(n^3\log(n))$的拍卖算法来解决。2013年,Cuturi引入了Sinkhorn算法,这是一种交替投影方案,可以解决熵正则化最优输运问题。Sinkhorn算法线性收敛,每次迭代的复杂度为$O(n^2)$。在这篇文章中,我们提出并测试数值熵正则化的嵌套距离。
2021-07-21 math.OC
On Decentralized Minimax Control with Nested Subsystems
本文研究子系统嵌套的分散控制问题,这是一个多个子系统之间单向通信的一般模型。在我们的动态噪声建模为不确定的变量,在有限集的值。目标是最小化最坏情况下的分担成本。我们展示了处方方法如何可以简化的信息结构,并推导出最优控制策略的结构形式。结构形式允许我们将注意力限制在控制策略上,这些控制策略的域不会随着时间的推移而增长,因此,这种形式可以用于具有长时间范围的系统。最后,我们提出了一个动态规划来推导最优控制策略,并通过一个数值例子来验证我们的结果。
2022-03-20 math.OC
A Universal Dynamic Program and Refined Existence Results for Decentralized Stochastic Control
对于具有标准Borel测度和控制作用空间的序列随机控制问题,我们引入了一个普遍适用的动态规划公式,建立了它的适定性,并给出了最优策略的存在性结果.我们的动态程序部分地建立在Witsenhausen的标准式上,但对状态、动作和过渡动态有不同的表述。利用分散控制中战略措施的可测性的最新结果,我们得到了一个标准的Borel控制的马尔可夫模型。这允许通过用于每个时间阶段的值函数的通用可测量性属性的良好定义的动态规划递归。此外,还得到了分散随机控制最优策略的存在性结果。这些国家,对于一个静态的团队与独立的测量,它足以为费用函数是连续的(仅)在温和的紧凑性(或紧密性)条件下的最优策略的存在的行动。这些也适用于动态团队,通过改变度量变换,允许静态减少独立的度量。我们通过一个反例表明,较弱的条件下可能不会导致存在一个最优的团队策略。本文的存在性结果推广了以前文献中报道的结果。总结和比较以前报道的结果和一些应用。
2020-07-01 math.OC
Solving the Dual Problems of Dynamic Programs via Regression
近年来,人们对动态规划中的信息松弛和对偶问题进行了广泛的研究,由此产生的原-对偶方法通过给出动态规划的最优值函数的上界而成为求解动态规划的一种强有力的方法。理论上,通过基于值的最优对偶惩罚,可以通过强对偶性精确地恢复最优值函数。然而,在实践中,获得严格的对偶边界通常需要良好的近似的最佳对偶惩罚,这可能是耗时的,由于条件期望,需要通过嵌套模拟估计。在本文中,我们将开发一个框架的回归方法来近似最佳的对偶惩罚在非嵌套的方式,通过探索的结构的函数空间组成的所有可行的对偶惩罚。得到的近似保持可行的对偶惩罚,从而产生有效的最优值函数的对偶界。我们表明,所提出的框架是计算效率高,由此产生的双重处罚导致数值上易于处理的双重问题。最后,我们将该框架应用于一个高维动态交易问题,以证明其在解决复杂动态规划对偶问题方面的有效性。
2016-10-25 math.OC
Linear-quadratic stochastic nonzero-sum differential games between graphon teams
该研究针对两个graphon团队间的线性-二次随机非零和微分博弈,将其等价转化为无限维双智能体纳什博弈,通过动态规划推导耦合算子值Riccati型方程并证明解的存在性,进而得到团队间的纳什均衡。
2025-06-13 math.OC
Team Optimal Control of Coupled Subsystems with Mean-Field Sharing
我们研究了随机子系统的团队最优控制,这些子系统在动力学上是弱耦合的(通过系统的平均场),在成本上是任意耦合的。每个子系统的控制器观察其局部状态和所有子系统状态的平均场。该系统具有非经典的信息结构。利用问题的对称性,我们确定一个信息状态,并使用它来获得一个动态规划分解。该动态程序为所有控制器确定全局最优策略。我们的解决方案的方法适用于任意数量的控制器,并推广到设置时,观察到的平均场噪声。信息状态的大小是时不变的,因此,结果推广到无限时域控制设置以及。此外,当平均场被观察到没有噪声,相应的信息状态的大小增加多项式(而不是指数)的控制器的数量,这使我们能够解决问题的控制器的数量适中。我们说明了我们的方法由智能电网,由$100$耦合子系统的例子。
2020-12-02 math.OC
On Finding Stable and Efficient Solutions for the Team Formation Problem
将人员分配到团队是一项基本且普遍存在的管理职能,通常涉及多个目标和各种特殊的实际约束。尽管这项任务在实践中的流行,该过程很少接近作为一个精确的最优化问题的所有代理人的偏好报告。这部分是由于当二次(即,团队内的人际)交互被考虑在内,并且也是由于博弈论的考虑,当参与该过程的人是自利的代理人时。这个基本判定问题的变体出现在许多环境中,包括例如人力资源和项目管理、军事队列、体育联盟管理、乘车共享、数据聚类以及将学生分配到小组项目中。在本文中,我们研究了一种“团队形成”的规划方法,重点关注相关文献中考虑的两个最常见目标之间的相互作用:经济效率(即,社会福利的最大化)和博弈论稳定性(例如,找到一个核心解决方案(如果存在)。通过在这两个目标之间设置一个加权目标,将问题建模为一个双层二进制最优化问题,并将其转化为一个单层指数型二进制整数规划。然后,我们设计了一个分支切割和价格的算法,并证明其有效性,通过一组广泛的模拟,有利的比较,从文献中的其他算法。
2018-04-01 math.OC
Primal-Dual Gradient Methods for Searching Network Equilibria in Combined Models with Nested Choice Structure and Capacity Constraints
本文扩展了网络均衡组合模型,在交通分配阶段引入稳定动力学模型以施加严格容量约束,提出基于加速梯度方法的对偶优化求解途径并给出收敛性理论保证,在莫斯科和柏林网络上进行了数值实验验证。
2023-07-01 math.OC
Decentralized Control of Two Agents with Nested Accessible Information
在本文中,我们研究了一个分散的随机控制问题的两个代理,其中的第二个代理的记忆的一部分也可用于第一代理在每个实例的时间。我们推导出一个结构形式的最优控制策略,使我们能够限制其域的大小不随时间的推移。我们还提出了一个动态规划(DP)分解,可以利用我们的结果,以获得任意长的时间范围内的最优策略。由于获得最优控制策略,通过解决这个DP分解是计算密集型的,我们提出了潜在的决议形式的简化策略,通过对我们的模型施加额外的条件,和一个近似技术,可以用来实现我们的结果与有限的最优性损失。
2022-03-09 math.OC
Joint Communication-Control Strategy Optimization with Partially Nested Information Structures: The Linear-Quadratic Case
University of Maryland, College Park(马里兰大学帕克分校)
本文针对多智能体线性系统的JCCO问题,基于CIB框架建立形式化模型,提出基于动态规划的方法求解开环及闭环通信策略下的最优策略,可导出里卡蒂方程并拓展至分散线性二次控制场景。
2026-11-13 cs.MA cs.SY eess.SY
Fundamental Properties of Process Distances
信息是随机过程的固有组成部分,要衡量不同随机过程之间的距离,仅考虑其规律之间的距离是不够的。相反,随着时间的推移而积累的信息以及通过过滤进行数学编码的信息也必须考虑在内。嵌套距离/双因果Wasserstein距离通过结合过滤来解决这一挑战。由于它在随机分析、随机规划、数理经济学等学科中的应用,它的重要性日益显现。本文建立了嵌套距离的一些基本性质。特别是,我们证明了嵌套距离的进程产生一个波兰拓扑结构,但本身不是一个完整的度量。我们确定它的完成是套分布,这是一种形式的广义随机过程。我们还刻画了参与嵌套距离定义的耦合集的极值点,证明了它们可以用适应的确定性映射来识别。最后,我们将嵌套距离与另一种度量进行了比较,这种度量在实际情况下可能更容易计算。
2018-02-03 math.OC math.PR
Structured $H_\infty$-Optimal Control for Nested Interconnections: A State-Space Solution
University of Stuttgart(斯图加特大学)
本文提出一种状态空间解法,解决具有嵌套互连结构的H_∞最优控制问题,通过求解代数Riccati方程实现,填补了文献中无相关解法的空白。
2013-05-14 cs.SY eess.SY math.OC
Robust optimal policies for team Markov games
Peking University(北京大学);University of Groningen(格罗宁根大学)
在随机动态环境中,团队马尔可夫博弈已经成为研究完全合作多智能体系统序列决策问题的通用范式。然而,导出的策略的最优性通常是敏感的模型参数,这通常是未知的,并需要估计噪声数据在实践中。为了减轻最优策略对这些不确定参数的敏感性,本文提出了一种鲁棒的团队马尔可夫博弈模型,其中代理利用鲁棒优化方法来更新策略。该模型将团队马尔可夫博弈扩展到不完全信息的情形,同时提供了一种鲁棒团队最优性的替代解概念。为了寻求这样的解决方案,我们开发了一个强大的迭代学习算法的团队政策,并证明其收敛性。与鲁棒动态规划相比,该算法不仅具有更快的收敛速度,而且允许使用近似计算来减轻维数灾难。此外,通过将序列社会困境的对策模型推广到不确定场景,给出了一些数值模拟来证明算法的有效性。
2022-05-02 cs.AI cs.GT cs.MA