Inverse Dynamic Games Based on Maximum Entropy Inverse Reinforcement Learning
我们考虑动态博弈的逆问题,其中寻求代价函数参数来解释观察到的相互作用的玩家的行为。最大熵逆强化学习扩展到N-玩家的情况下,以解决连续值的状态和控制空间的逆动态游戏。我们提出的方法识别的代价函数参数从观察到的数据对应于(i)帕累托有效的解决方案,(ii)开环纳什均衡或(iii)反馈纳什均衡。此外,我们还给出了每一类逆动态对策的代价函数参数估计的无偏性结果。一个非线性和线性二次动态博弈的仿真例子证明了该方法的适用性。
2020-07-24 cs.GT cs.MA cs.SY
Entropy-Regularized Mean-Field Games with Average-Reward Criterion: Span-Seminorm Contractions and Model-Free Learning
Bilkent University(比尔肯特大学);Özyeğin University(奥兹耶金大学)
该研究针对平均奖励准则下带熵正则化的有限状态动作空间平均场博弈,证明了相关算子的收缩性,提出结合软Q学习与经验转移核的无模型学习方法,给出有限样本界与收敛速率,并用路由博弈验证结果。
2026-10-14 cs.GT cs.LG math.OC
Bounding Fixed Points of Set-Based Bellman Operator and Nash Equilibria of Stochastic Games
受马尔可夫决策过程和随机博弈中参数不确定性的影响,在集合框架下研究了参数不确定性对Bellman算子算法的影响.具体来说,我们首先考虑一个家庭的MDP的成本参数是在一个给定的紧凑集,然后我们定义一个贝尔曼算子作用于一组价值函数,以产生一组新的价值函数作为输出下的成本参数的所有可能的变化。我们证明了这个基于集合的Bellman算子的不动点的存在性,证明了它在完备度量空间上是压缩的,并探讨了它与相应的MDP族和随机博弈的关系。此外,我们还证明了在给定区间集有界费用参数的情况下,我们可以在最优价值函数集上形成精确的界。最后,我们利用我们的结果来限制的价值函数轨迹的局中人在随机博弈。
2020-10-10 cs.GT math.OC
LLMs for Game Theory: Entropy-Guided In-Context Learning and Adaptive CoT Reasoning
本文提出一种基于LLM的框架,通过熵引导的链式推理和自适应上下文检索,提升离散博弈任务的推理能力,实验显示其显著提高决策质量。
2026-04-11 cs.CL cs.GT cs.LG
Playing Games with Bounded Entropy: Convergence Rate and Approximate Equilibria
我们考虑零和重复博弈,其中玩家被限制在只需要有限数量的随机性的策略。令$v_n$为$n$阶段游戏的最大-最小值;先前的工作已经表征了$\lim_{n\rightarrow\infty}v_n$,即,长期最大最小值。我们的第一个贡献是研究了$v_n$的收敛速度。为此,我们提供了一种新的工具,用于从另一个源(硬币源)模拟一个源(目标源)。考虑到总变化距离作为精度的度量,该工具提供了模拟精度的上限,该上限在硬币和目标源的Rényi熵的差异中呈指数消失。在第二部分中,我们刻画了所有在长期内达到的近似纳什均衡的集合。事实证明,这个集合与长期最大-最小值密切相关。
2019-02-10 cs.GT
Mitigating the Curse of Correlation in Security Games by Entropy Maximization
University of Southern California(南加州大学)
在Stackelberg安全游戏中,防御者试图随机分配有限的安全资源,以保护关键目标免受攻击。在本文中,我们研究了一个基本的,但未被探索的,在安全游戏,我们称之为\emph{Curse of Correlation}(CoC)的现象。具体而言,我们观察到不同目标的保护状况之间存在着不可避免的相关性。这种相关性是一个至关重要的问题,特别是在保护区巡逻等\emph{spatio-temporal}领域,攻击者可以监视某些区域的巡逻人员,然后使用这种相关性推断他们的巡逻路线。为了缓解这个问题,我们建议设计熵最大化防御策略的时空安全游戏,经常遭受CoC。我们证明了该问题一般是P-困难的.然而,它承认有效的算法在动机良好的特殊设置。我们的实验表明,最大熵算法比以前的算法显着的优势。一个可扩展的实现我们的算法目前正在部署前测试集成到FAMS软件,以改善美国联邦空警的调度。
2018-01-03 cs.AI cs.CR cs.GT
Shaping Large Population Agent Behaviors Through Entropy-Regularized Mean-Field Games
平均场博弈(MFG)被引入到有效地分析近似纳什均衡在大人口设置。在这项工作中,我们考虑熵正则化的平均场游戏与一个有限的状态动作空间中的离散时间设置。我们表明,熵正则化提供了必要的正则性条件,缺乏标准的有限平均场游戏。这样的正则性条件使我们能够设计不动点迭代算法来找到唯一的平均场平衡(MFE)。此外,在正则化中使用的参考策略提供了一个额外的参数,通过它可以控制种群的行为。我们首先考虑一个随机博弈与大量的$N$同质代理。我们建立了在$N$趋于无穷大的极限情况下存在纳什均衡的条件,我们证明了无限人口的情况下的纳什均衡也是$N$ -代理系统的$ε$ -纳什均衡,其中次优$ε$是为了$\mathcal{O}\big(1/\sqrt{N}\big)$。最后,我们通过一个资源分配的例子验证了理论保证,并证明了使用参考策略来控制大量人口的行为的有效性。
2022-07-22 cs.GT cs.SY eess.SY
Cross-Entropy Games for Language Models: From Implicit Knowledge to General Capability Measures
EPFL(苏黎世联邦理工学院)
本文提出交叉熵(Xent)博弈框架,将LLM的隐式知识转化为一系列可计算任务,用于度量语言模型的通用能力,并借助进化动力学思想探索该空间。
2025-06-22 cs.AI cs.CL cs.GT
Blind Inverse Game Theory: Jointly Decoding Rewards and Rationality in Entropy-Regularized Competitive Games
Hofstra University(霍夫斯特拉大学);Stony Brook University(石溪大学)
本文提出盲逆博弈论框架,用于在熵正则化竞争博弈中联合解码奖励和理性参数,通过归一化约束解决尺度模糊问题,并证明了最优收敛速率。
2026-02-21 cs.GT cs.LG stat.ML
Independent Natural Policy Gradient Methods for Potential Games: Finite-time Global Convergence with Entropy Regularization
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
多智能体系统中的一个主要挑战是,系统复杂性随着智能体的数量及其动作空间的大小而急剧增长,这在现实世界的场景中是典型的,例如自动驾驶汽车,机器人团队,网络路由,因此,迫切需要设计分散或独立的算法,其中每个代理的更新仅基于其局部观察,而不需要引入复杂的通信/协调机制。在这项工作中,我们研究了有限时间收敛的独立的熵正则化自然政策梯度(NPG)方法的潜在的游戏,在代理的效用函数的差异,由于单边偏差完全匹配的一个共同的势函数。所提出的熵正则化NPG方法使每个代理根据自己的收益部署对称,分散和乘法更新。我们表明,所提出的方法收敛到量子响应均衡(QRE)-均衡的熵正则化游戏-在一个次线性的速度,这是独立的动作空间的大小和增长最次线性与代理的数量。吸引人的是,收敛速度进一步成为独立的代理商的数量的重要特殊情况下,相同的利益游戏,导致第一种方法,收敛在一个无量纲的速度。我们的方法可以作为一种平滑技术,找到一个近似的纳什均衡(NE)的非正则化问题,而无需假设平稳策略是孤立的。
2022-08-29 cs.GT cs.IT cs.LG
Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation
Mastercard Corporation(万事达卡公司);Georgia Institute of Technology(佐治亚理工学院)
我们探讨使用政策近似,以减少零和随机博弈中学习纳什均衡的计算成本。我们提出了一种新的Q学习型算法,它使用一系列熵正则化的软策略来近似纳什策略在Q函数更新。我们证明了在一定条件下,通过更新正则化Q函数,算法收敛到一个纳什均衡。我们还证明了所提出的算法的能力,转移以前的训练经验,使代理能够快速适应新的环境。我们提供了一个动态的超参数调度方案,以进一步加快收敛。应用于一些随机游戏的实证结果验证了该算法收敛到纳什均衡,同时表现出一个主要的速度比现有的算法。
2021-06-27 cs.GT cs.LG cs.SY
An Entropy Potential for Type-Composition Games
University of Augsburg(奥格斯堡大学);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);AGH University(AGH科技大学);Czech Technical University in Prague(布拉格捷克理工大学);University of Twente(特文特大学)
提出一类基于熵的log-多项势函数,用于证明不同类型理性代理策略博弈中均衡的存在性,并给出高效构造算法,解决多个开放问题。
2026-06-15 cs.GT
Policy Optimization finds Nash Equilibrium in Regularized General-Sum LQ Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Coordinated Science Laboratory(协调科学实验室)
该研究探究相对熵正则化对一般和N智能体博弈纳什均衡的影响,证明满足熵正则化条件时策略优化算法可线性收敛到纳什均衡,还提出δ增强技术在正则化不足时实现ε-纳什均衡。
2024-09-13 cs.AI cs.GT cs.LG
Network Resource Sharing Games with Instantaneous Reciprocity
我们提出了一个通用的战略网络资源共享游戏之间的一组球员代表运营商。参与者协商哪些参与者共享给定的资源,以不同的干扰敏感度为用户提供服务。我们证明了所提出的游戏有一个纳什均衡,其中一个greenly玩游戏收敛。此外,仿真结果表明,当应用于小小区室内办公环境中的运营商间频谱共享时,收敛速度快,并且与默认资源使用配置相比,运营商的性能有显著改善。
2016-05-30 cs.GT cs.NI math.OC
A Parametric Worst-Case Approach to Fairness in TU-Cooperative Games
我们提出了一个参数家庭的措施,公平分配的TU合作游戏。它们的定义是基于广义Renyi熵,与福利经济学中的Cowell-Kuga广义熵指标相关,旨在与凸TU-合作博弈中的无政府无政府代价概念的精神相一致。由于计算这些指数通常是NP完全的,因此我们首先对“反向贪婪”算法的性能进行上限,以近似计算最坏情况的公平性。结果提供了一个一般的附加误差保证两个(问题相关的)包装常数。然后,我们将这一结果具体化的类诱导子集的游戏。对于这样的游戏,计算最坏情况下的公平性是NP完全的,并且可以显式地计算附加保证常数。我们将此结果与基于“偏向方向”的替代算法的性能进行比较。
2012-08-01 cs.GT
A Game Theoretic Approach to Quantum Information
这项工作是博弈论在量子信息中的应用。在状态估计中,我们得到根据未知分布$P_θ$分布的观测值(与奖励$Q$相关联),自然根据$Θ$上的已知先验分布$μ$从集合$\{P_θ: θ\in Θ\}$中随机选择,我们为未知分布$P_θ$产生估计$M$,最后,我们将遭受相对熵成本$\mathcal{R}(P;M)$,测量该估计的质量,因此整个效用被视为$P \cdot Q -\mathcal{R}(P; M)$。在策略博弈的基础上,给出了极大极小定理成立的一个充分条件,并在博弈论的框架下给出了一个估计,在凸共轭的观点下,给出了一种新的量子相对熵、相应的量子互熵和量子信道容量的计算方法,在不需要Radon-Nikodym(RN)导数的情况下,它们在意义上更具有一般性.研究了量子相对熵的单调性和量子信道容量的可加性。
2007-12-28 cs.GT cs.IT math.IT
Translating Extensive Form Games to Open Games with Agency
我们证明了开放博弈覆盖了具有完美信息和不完美信息的广泛形式博弈。这样做迫使我们解决开放游戏目前的两个弱点:在开放游戏中缺乏玩家及其代理的概念,以及缺乏选择运营商。使用前者,我们构建后者,这些选择运营商subtermise以前提出的运营商开放游戏,从而取得进展的核心,规范和符合人体工程学的演算游戏运营商。总的来说,这些创新提高了开放式游戏的组合性水平,并展示了它们的表现力。
2022-11-03 cs.GT cs.MA math.CT
An Entropy-based Framework for Hybrid Coalitions in Game Theory. Part I: Human Arbitration
Centro de Investigación Operativa, Universidad Miguel Hernández(米格尔·埃尔南德斯大学运营研究中心)
提出NeoGame Theory框架,通过Jensen-Shannon散度定义人类与AI策略的委托规则,实现混合联盟中执行权的交替,并建立频率收敛均衡。
2026-06-11 cs.GT cs.IT math.IT
Playing repeated games with sublinear randomness
本研究完整刻画了重复博弈中仅需常数随机性即可实现纳什均衡的条件,并证明随机性需求的0-1定律,解决了开放问题。
2023-12-20 cs.GT
A Sequence-Form Formulation of Logistic Quantal Response Equilibrium in Extensive-Form Games for Selecting Nash Equilibria
University of Science and Technology of China(中国科学技术大学);City University of Hong Kong(香港城市大学);Xi’an Jiaotong University(西安交通大学)
本文提出一种序列形式的logit量化反应均衡方法,用于在扩展型游戏中高效选择纳什均衡,通过避免显式构造正常形式来实现紧凑计算。
2026-07-15 cs.GT
A new quantum scheme for normal-form games
我们给出了严格的数学描述的Marinatto-Weber量子博弈方案的细化。该模型允许玩家选择投影仪操作员,以确定他们执行本地操作员的状态。由该方案导出的对策是有限策略型对策的推广。特别是,它涵盖了广泛的游戏,即正常表示,战略博弈由外延博弈产生。我们用一个广泛博弈的例子来说明我们的想法,并证明了经典博弈和量子博弈中的理性选择可能会导致显着不同的结果。
2017-01-24 cs.GT
Hierarchical Cooperation for Operator-Controlled Device-to-Device Communications: A Layered Coalitional Game Approach
已经提出了允许移动设备之间的直接通信的设备到设备(D2 D)通信作为3GPP高级LTE(LTE-A)蜂窝网络中的本地服务的使能器。这项工作研究了一个分层的LTE-A网络框架,包括多个D2 D运营商在上层和一组设备在下层。我们提出了一个合作模型,允许运营商,以提高他们的效用方面的收入,通过共享他们的设备,和设备,以提高他们的回报,在端到端的吞吐量方面,通过协作执行多路径路由。为了帮助理解运营商和设备之间的互动,我们提出了一个博弈论的框架来建模的合作行为,并进一步,我们提出了一个分层的联盟游戏(LCG),以解决他们之间的决策问题。具体而言,运营商的合作被建模为一个重叠的联盟形成游戏(CFG)的分区形式,其中运营商应形成一个稳定的联盟结构。此外,设备的合作被建模为一个联盟图形游戏(CGG),其中设备之间建立链接,形成一个稳定的网络结构的多路径路由。我们采用扩展的递归核心,纳什网络,作为稳定性的概念,建议的CFG和CGG,分别。数值结果表明,建议的LCG产生显着的收益相比,非合作的情况下,LCG变体,并取得了良好的收敛速度。
2015-01-04 cs.GT cs.NI
On the Optimality of Dilated Entropy and Lower Bounds for Online Learning in Extensive-Form Games
MIT(麻省理工学院);Columbia University(哥伦比亚大学)
针对扩展式博弈中在线学习的最优距离生成函数问题,提出原始-对偶树复形范数分析框架,证明扩张熵正则化在对数因子下最优,并改进了n人博弈粗相关均衡的近似率。
2024-10-30 cs.GT cs.LG
Finding the optimal Nash equilibrium in a discrete Rosenthal congestion game using the Quantum Alternating Operator Ansatz
本文建立了使用门模型量子计算机找到最优纳什均衡以及最优社会解的离散拥塞博弈的易处理性。这个游戏是罗森塔尔在20世纪70年代最初提出的类型。为了找到最优的纳什均衡,我们制定了一个优化问题编码的基础上潜在的功能和路径选择的限制,并解决它使用量子交替算子Answer。我们比较这个配方,它的前身,量子近似优化算法。我们实现了我们的解决方案上的门模型量子计算机的理想化模拟器,并证明了一个小的两人游戏的易处理性。这项工作为将来将量子近似优化应用于量子机器学习问题提供了基础,例如使用势函数有效训练生成对抗网络。
2020-08-20 cs.GT quant-ph
Games for Topological Fixpoint Logic
拓扑不动点逻辑是一个允许拓扑模型的逻辑族,其中不动点算子是关于拓扑解释定义的。在这里,我们考虑一个拓扑不动点逻辑的关系结构的基础上石空间,不动点算子解释通过闭集。我们开发了一个博弈论的语义这个逻辑。首先介绍Stone空间上单调算子闭不动点的博弈刻画。这些不动点游戏允许我们使用两个玩家的图形游戏来描述我们的拓扑不动点逻辑的语义。这是本文的主要结果。最后,我们定义了所考虑的拓扑结构的互模拟,并使用我们的游戏语义来证明我们的拓扑不动点逻辑公式的真理是互模拟不变的。
2016-09-14 cs.GT cs.LO
A Game of Drones: Cyber-Physical Security of Time-Critical UAV Applications with Cumulative Prospect Theory Perceptions and Valuations
本文介绍了一种新的数学框架,用于建模和分析时间关键型无人机应用的网络物理安全。一个通用的无人机安全网络拦截游戏制定模型之间的互动无人机操作员和拦截器,其中每一个可以是良性的或恶意的。在这个游戏中,拦截者通过拦截无人机的潜在路径来选择目标无人机系统的最佳位置。同时,无人机操作员通过寻找最佳路径选择策略来做出响应,该策略使其无人机能够躲避攻击并最小化其任务完成时间。从累积前景理论(PT)的新概念被纳入到游戏中,以捕捉操作员和拦截器的任务完成时间和无人机面临的风险水平的看法的主观评价。均衡的游戏,有和没有PT,然后分析的特点和研究。新的算法,然后提出了PT和经典博弈论下达到游戏的均衡。仿真结果显示了合理的和PT的情况下的平衡的属性。结果表明,操纵者和拦截者的有限理性更可能对无人机操纵者不利。
2020-02-07 cs.GT cs.IT math.IT
The Curvature Shadow: An Apparent Failure of Maximum-Entropy Equilibrium Selection is a Removable Artifact
研究两人零和博弈中R-NaD选择均衡时出现的差距问题,通过量化分析表明该差距可分解为与熵不足和曲率相关的形式,经实验验证此关系,发现库恩博弈的差距是可消除熵不足的曲率阴影,支持I-投影解释。
2026-07-21 cs.AI cs.GT cs.LG
Theoretical and Practical Advances on Smoothing for Extensive-Form Games
Carnegie Mellon University(卡内基梅隆大学);University of Alberta(阿尔伯塔大学)
稀疏迭代法,特别是一阶方法,被认为是解决大规模两人零和扩展形式博弈最有效的方法之一。这些方法的收敛速度在很大程度上取决于距离生成函数的性质,他们是basedon. We调查的加速一阶方法解决扩展形式的游戏通过更好的设计的扩张熵函数-一类距离生成函数相关的域与扩展形式的游戏。通过引入一个新的加权方案的扩张熵函数,我们开发的第一个距离生成函数的战略空间的序列游戏,没有依赖于分支因子的球员。这一结果提高了收敛速度的几个一阶方法的一个因素的$Ω(b^dd)$,其中$b$是分支因子的球员,和$d$是深度的游戏树。到目前为止,反事实遗憾最小化方法在实践中更快,更受欢迎,比一阶方法,尽管他们的理论上的收敛速度较低。使用我们的新的加权方案和实际调整,我们表明,第一次,过度的差距技术可以更快地比最快的反事实遗憾最小化算法,CFR+,在实践中。
2017-05-09 cs.AI cs.GT