Dynamic Realization Games in Newsvendor Inventory Centralization
针对报童库存集中化中的动态实现博弈，提出基于Lehrer规则的重复成本分配方案，证明成本子序列几乎必然收敛到最小二乘值或期望博弈的核，并推广至更一般情形。
2024-02-06 cs.GT
Stochastic Equilibria under Imprecise Deviations in Terminal-Reward Concurrent Games
我们研究了图上的并发博弈中混合策略均衡的存在性。虽然每个玩家的安全目标保证了纳什均衡的存在性，但当玩家被赋予任意的最终奖励目标时，纳什均衡不需要存在，并且它们的存在性对于定性的可达性目标是不可判定的（并且只有三个玩家）。然而，这些结果依赖于这样一个事实，即参与者可以在试图提高他们的收益的同时实施无限的游戏。在本文中，我们介绍了一个宽松的概念，平衡，偏差是不精确的。我们证明，相反的纳什均衡，这样的（固定）平衡总是存在的，我们开发了一个PSPACE算法来计算。
2016-09-14 cs.GT
On the computational complexity of solving stochastic mean-payoff games
我们考虑了一些著名的两个玩家，零和，完美的信息游戏，可以被视为特殊情况下的Shapley随机游戏的家庭。我们证明了以下任务是多项式时间等价的：-解决简单的随机游戏。- 求解报酬和概率均为一元的随机平均支付对策。- 解决随机平均支付游戏与奖励和概率在二进制给定。
2008-12-02 cs.GT
How Gold to Make the Golden Snitch: Designing the "Game Changer" in Esports
本研究探讨了电竞中“Game Changer”物品奖励的设计，发现实力相当的队伍最优奖励为零，且最优奖励随队伍实力差距扩大而增加。
2024-05-30 cs.GT
A Nested Family of $k$-total Effective Rewards for Positional Games
我们考虑了完全信息下的Gillette二人零和随机对策。对于每个$k \in \ZZ_+$，我们引入一个有效的奖励函数，称为$k$ -total。对于$k = 0$和$1$，该函数分别称为{ \it平均回报}和{ \it总回报}。我们把注意力限制在决定论的情形上。对于所有的$k$，我们证明了存在一个鞍点，可以实现一致最优纯平稳策略。我们还证明了$k$ -全奖励博弈可以嵌入到$(k+1)$ -全奖励博弈中。
2015-08-14 cs.DM cs.GT
A Novel Reward Shaping Function for Single-Player Mahjong
针对麻将状态空间大且奖励稀疏的问题，提出一种新型奖励塑形函数，为协同牌型赋予更高价值，结合前向搜索，在1对1模拟对战中平均每千局多赢1.37美元。
2023-05-06 cs.GT
Game of Coins
我们将目前在多加密货币市场中的战略挖掘实践形式化为一个游戏，并证明在这种游戏中任何更好的反应学习都会收敛到均衡。然后，我们提供了一个奖励设计方案，将系统配置从任何初始均衡移动到期望的均衡，以便矿工进行更好的响应学习。我们的工作介绍了自适应和学习矿工的第一个多硬币战略攻击，以及学习代理的多代理系统中的奖励设计的研究。
2018-05-23 cs.GT
Policy Invariance under Reward Transformations for General-Sum Stochastic Games
Carleton University（卡尔顿大学）；Royal Military College of Canada（加拿大皇家军事学院）
我们扩展了潜在的成形方法从马尔可夫决策过程的多人一般和随机游戏。我们证明了纳什均衡在一个随机游戏保持不变后，潜在的塑造应用于环境。策略不变性的性质提供了一种可能的方法来加快收敛时，学习玩随机游戏。
2014-01-16 cs.GT cs.LG
Game of Thrones: Fully Distributed Learning for Multi-Player Bandits
我们考虑了一个N人多臂强盗博弈，每个人从M个武器中选择一个进行T轮。每个参与人对武器有不同的期望奖励，并且瞬时奖励是独立同分布的或马尔可夫的。当两个或两个以上的玩家选择同一只手臂时，他们都获得零奖励。表现是用预期的后悔总和来衡量的，与最大化预期奖励总和的最佳武器分配给玩家相比。我们假设每个玩家只知道自己的行动和每回合获得的奖励。玩家无法观察其他玩家的行为，玩家之间也无法进行交流。我们提出了一个分布式算法，并证明它达到了预期的近O \left（\log T \right）的遗憾之和。这是第一个算法，以实现近秩序的最佳遗憾，在这个完全分布的情况下。所有其他作品都假设所有参与者都有相同的预期回报向量，或者参与者之间的沟通是可能的。
2021-04-05 cs.GT
Adaptive Regret Minimization in Bounded-Memory Games
最小化后悔的在线学习算法在涉及在不确定环境中重复做出决策的情况下提供了强有力的保证，例如，驾驶员每天决定开车上班的路线。虽然后悔最小化已被广泛研究重复游戏，我们研究后悔最小化的更丰富的一类游戏称为有界记忆游戏。在两人有限记忆-m博弈的每一轮中，两个玩家同时进行一个动作，观察一个结果并获得奖励。奖励可以取决于最后m个结果以及玩家在当前回合中的动作。对于重复游戏，标准的后悔概念不再适用，因为行为和奖励可能取决于游戏的历史。为了解释这种普遍性，我们引入了k-自适应后悔的概念，它比较了通过对一个假设的k-自适应对手的算法规定的行动所获得的奖励，以及事后对同一对手的最佳专家所获得的奖励。粗略地说，一个假设的k-适应对手调整她的策略，以防御者的行动完全一样，真正的对手会在每个窗口的k轮。我们的定义是由一组专家参数化，其中可以包括固定和自适应防御策略。我们研究了完美和不完美信息的有界记忆博弈中自适应遗憾最小化的内在复杂性，并设计了相应的算法。我们证明了一个硬度的结果表明，与不完美的信息，任何k-自适应后悔最小化算法（与固定的战略专家）必须是低效的，除非NP=RP，即使对一个不经意的对手。相比之下，对于完美和不完美信息的有界记忆博弈，我们提出了近似0-自适应遗憾最小化算法，以对抗时间为n^{O（1）}的遗忘对手。
2013-09-05 cs.GT
Learning to Bid Long-Term: Multi-Agent Reinforcement Learning with Long-Term and Sparse Reward in Repeated Auction Games
Huawei Technology（华为技术）；Hasso Plattner Institute（哈索·普拉特纳研究院）
我们提出了一种多智能体分布式强化学习算法，该算法在潜在冲突的短期奖励和稀疏、延迟的长期奖励之间进行平衡，并在动态环境中使用部分信息进行学习。我们比较了不同的长期奖励，以激励算法最大化个人收益和整体社会福利。我们在两个模拟拍卖游戏中测试了该算法，并证明：1）我们的算法优于两个基准算法在直接竞争，成本社会福利，和2）我们的算法的积极的竞争行为可以指导与长期奖励信号，以最大限度地提高个人收益和整体社会福利。
2022-04-05 cs.GT cs.LG
Rules Create Unequal Rewards: Elite Tennis Players Allocate Resources Efficiently
The University of Tokyo（东京大学）；The University of Tokyo Sports Science Initiative (UTSSI)（东京大学体育科学倡议）
精英网球运动员通过高效分配资源，接近帕累托前沿，优化比赛胜利与得分权衡，展现理性能量保存策略。
2026-01-19 cs.GT
Sharing Rewards in Cooperative Connectivity Games
我们考虑如何自私的代理可能会分享收入来自维持重要的网络服务器之间的连接。我们建立了一个网络模型，其中一个节点的故障可能会破坏其他节点之间的通信作为一个合作的游戏称为顶点连接游戏（CG）。在这个博弈中，每个智能体都拥有一个顶点，并控制所有进出该顶点的边。如果代理联盟完全连接图中的某个顶点子集（称为主顶点），则该联盟获胜。权力指数衡量代理人影响游戏结果的能力。我们表明，在我们的域中，这样的指数可以用来确定代理有权获得的收入的公平份额，并确定影响网络中通信可靠性的重要可能的故障点。我们表明，在一般的图，计算Shapley和Banzhaf功率指数是P-完全的，但建议一个多项式算法来计算它们在树上。我们还调查找到稳定的收益部门的收入在CG，捕获的核心，其松弛，ε-核心和最小的核心的博弈论解决方案。我们展示了一个多项式算法计算的核心CG，但表明，测试是否填补是在ε-核心是CONP完全的。最后，我们表明，对于树，它是可能的测试ε-核心插补在多项式时间。
2014-02-04 cs.GT
Determinacy in Stochastic Games with Unbounded Payoff Functions
我们考虑无限状态回合制随机游戏的两个球员，盒子和钻石，谁的目标是最大化和最小化的预期总回报积累沿运行，分别。由于总的累积报酬是无界的，这类博弈的决定性不能直接从马丁关于布莱克威尔博弈的决定性结果中推导出来。然而，我们表明，这些游戏都是确定的无限制（即，历史相关和随机）策略和确定性策略，并且均衡值相同。此外，我们表明，这些游戏一般不确定无记忆策略。然后，我们考虑钻石分支游戏的一个子类，并表明它们是确定的所有考虑的策略类型，其中的均衡值总是相同的。我们还研究了两个玩家的（非）最优策略的存在性和类型。
2012-08-08 cs.GT
Gradient-free Online Learning in Games with Delayed Rewards
出于对在线广告和推荐系统的应用，我们考虑了一个具有延迟奖励和异步的基于回报的反馈的博弈模型。与以前的工作相比，延迟多武装土匪，我们专注于多人游戏与连续的动作空间，我们研究的长期行为的战略代理遵循无悔的学习政策（但在其他方面不知道正在玩的游戏，他们的对手的目标等）。为了解释缺乏一致的信息流（例如，奖励可能无序到达，具有先验无限延迟等），我们引入了一种无梯度的学习策略，其中收益信息在到达时被放置在优先级队列中。在此一般情况下，我们得到新的代理人的遗憾的界限，此外，在一个标准的对角线假设下，我们表明，诱导序列的发挥收敛到纳什均衡的概率$1$，即使选择一个行动和接收相应的奖励之间的延迟是无界的。
2020-06-19 cs.GT math.OC
Offer of a reward does not always promote trust in spatial games
National University of Defense Technology（国防科技大学）；Nanjing University of Science and Technology（南京理工大学）；North University of China（中北大学）；Ningbo University of Technology（宁波工程学院）；Trakia University（特拉基亚大学）；CNR, Institute for Complex Systems（意大利国家研究委员会复杂系统研究所）
本研究通过引入跨角色奖励机制，探讨了在空间信任游戏中奖励对信任的影响，发现适度奖励促进信任，但过度奖励反而抑制信任的进化。
2026-03-07 cond-mat.stat-mech cs.GT nlin.CG
A Game-Theoretic Analysis of Shard-Based Permissionless Blockchains
交易吞吐量低和可扩展性差是比特币等公共区块链共识协议的重要问题。最近在这个方向上的研究工作提出了基于分片的共识协议，其关键思想是在多个委员会（或分片）之间分割交易，然后并行处理这些分片或交易集。这种由多个委员会对不相交的事务或碎片集合的并行处理显著提高了系统的整体可扩展性和事务吞吐量。然而，一个重要的研究差距是缺乏对委员会内理性处理者在这种基于分片的共识协议中的策略行为的理解。这种理解对于制定适当的激励措施至关重要，这些措施将促进委员会内部的合作，防止搭便车。在本文中，我们解决这个研究差距，通过分析处理器的行为，使用博弈论模型，每个处理器的目标是在最小的成本参与协议的最大化其奖励。我们首先分析了N-player静态博弈模型中分片协议的纳什均衡。我们发现，根据奖励共享的方法，处理器可以通过单方面的行为在一个有缺陷的方式，从而导致在社会困境中潜在地增加他们的回报。为了克服这种社会困境，我们提出了一种新的激励兼容的奖励共享机制，以促进处理器之间的合作。我们的数值结果表明，实现大多数合作处理器（确保区块链网络的健康状态所需的），与其他奖励共享机制相比，建议的激励兼容奖励共享机制更容易实现。
2018-09-24 cs.GT
Multi-Player Resource-Sharing Games with Fair Reward Allocation
针对带老虎机反馈的在线多玩家资源共享博弈，提出一种新颖的UCB算法，学习资源平均奖励以最大化首个玩家的最坏情况时间平均期望奖励，其在T时隙内接近最优解且收敛更快。
2025-02-14 cs.GT math.OC
Learning Equilibria in Coordination Games via Minorization-Maximization
Inria（法国国家信息与自动化研究所）；DI ENS, Paris（巴黎高等师范学院）；Inria, Lille（法国国家信息与自动化研究所里尔分部）
本文研究了在协调游戏中通过次要最大化方法学习均衡的问题，提出了一种基于次要最大化的迭代学习方案，利用严格凹潜力函数选择唯一均衡，并证明该均衡是原游戏的ε-均衡。
2026-11-09 cs.GT
Equilibrium and Infeasibility: A new solution concept for games
Orange Research（橙子公司研究院）；Laboratoire d’Informatique d’Avignon (LIA)（阿维尼翁计算机实验室）
针对广义博弈中个体约束可能不可行的问题，提出一种基于惩罚项序列极限的新解概念，证明存在性并给出特征刻画，兼容广义纳什均衡与纳什讨价还价解。
2026-09-22 cs.GT math.OC
MAPPO-LCR: Multi-Agent Proximal Policy Optimization with Local Cooperation Reward in Spatial Public Goods Games
Guizhou University（贵州大学）
MAPPO-LCR通过引入局部合作奖励，解决了空间公共物品游戏中个体收益耦合问题，提升了多智能体近端策略优化的群体协作能力。
2025-12-22 cs.GT cs.MA
Learning to Shape Rewards using a Game of Two Partners
奖励塑造（RS）是强化学习（RL）中克服奖励稀疏或无信息问题的一种有效方法。然而，RS通常依赖于手动设计的成形奖励函数，其构造耗时且容易出错。它还需要领域知识，这与自主学习的目标背道而驰。我们介绍了强化学习优化成形算法（ROSA），一个自动的奖励塑造框架，其中成形奖励函数是在两个代理之间的马尔可夫博弈中构造的。奖励整形代理（整形器）使用切换控制来确定哪些状态添加整形奖励以进行更有效的学习，而另一个代理（控制器）使用这些整形奖励来学习任务的最佳策略。我们证明了ROSA，采用现有的RL算法，学习构建一个成形奖励函数，这是有益的任务，从而确保高效收敛到高性能的政策。我们证明了ROSA的性质在三个教学实验，并显示其优越的性能对国家的最先进的RS算法在具有挑战性的稀疏奖励环境。
2023-02-06 cs.AI cs.GT cs.LG
Learning the Expected Core of Strictly Convex Stochastic Cooperative Games
University of Warwick（华威大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61部）；King’s College London（伦敦国王学院）
针对随机合作博弈中奖励分布未知、难以计算稳定分配核的问题，提出Common-Points-Picking算法，借助多项式采样以高概率求得严格凸博弈的期望核，并扩展了多凸集分离超平面定理用于算法分析。
2024-10-30 cs.GT cs.LG
Reward Mechanism for Blockchains Using Evolutionary Game Theory
在过去的十年中，区块链在各个领域得到了广泛的采用。不断增长的需求使其可扩展性和可持续性挑战比以往任何时候都更加明显。因此，越来越多的区块链开始采用权益证明（PoS）共识协议来应对这些挑战。任何区块链技术的基本特征之一是其加密经济学和激励机制。最近，每个PoS区块链都设计了一个独特的奖励机制，然而，其中许多都容易出现搭便车和无风险的问题。为了更好地理解奖励机制的ad-hoc设计，在本文中，我们开发了一个可以应用于许多PoS区块链的奖励机制框架。我们制定了块验证游戏，其中的奖励分配验证块正确。使用进化博弈论，我们分析了参与者的行为如何可能与奖励机制的演变。此外，惩罚在维护区块链的完整性方面发挥着核心作用。
2021-07-08 cs.CE cs.GT cs.MA
Mean Field Equilibrium in Multi-Armed Bandit Game with Continuous Reward
The Chinese University of Hong Kong（香港中文大学）；Zhejiang Normal University（浙江师范大学）
平均场博弈有利于分析多臂强盗（MAB）的大量代理人通过近似他们的相互作用的平均效果。现有的多智能体MAB平均场模型大多假设一个二元奖励函数，这导致易于处理的分析，但通常不适用于实际场景。本文研究了具有连续报酬函数的平均场强盗对策。具体来说，我们专注于推导平均场平衡（MFE）的存在性和唯一性，从而保证多智能体系统的渐近稳定性。为了适应连续的奖励函数，我们将学习到的奖励编码到代理状态中，然后将其映射到其随机手臂游戏策略，并使用实现的观察进行更新。我们证明了系统的状态演化是上半连续的，在此基础上得到了MFE的存在性。由于马尔可夫分析主要针对离散状态的情况，我们将随机连续状态演化转化为确定性常微分方程。在此基础上，我们可以刻画一个压缩映射的常微分方程，以确保唯一的MFE的强盗游戏。广泛的评估验证了我们的MFE表征，并表现出严格的经验遗憾的MAB问题。
2021-05-08 cs.GT cs.LG cs.MA
Game-Theoretical Analysis of Reviewer Rewards in Peer-Review Journal Systems: Analysis and Experimental Evaluation using Deep Reinforcement Learning
Chung-Ang University（中央大学）
本文利用博弈论和深度强化学习分析同行评审期刊中基于代金券的审稿人奖励系统缺陷，提出并验证了一种能缓解二元决策偏差、促进全面评审的替代奖励系统，展现出更平衡的决策分布与稳定性。
2023-05-20 cs.AI cs.GT cs.LG
Contribution Games in Social Networks
我们考虑网络贡献游戏，其中社交网络中的每个代理都有一个预算，他可以为不同的合作项目或关系做出贡献。根据参与主体的贡献，一种关系将蓬勃发展或淹没，为了衡量成功，我们对每种关系使用奖励函数。每个代理都试图从它所参与的所有关系中获得最大化的回报。我们考虑了这种博弈的两两均衡，并根据所涉及的奖励函数的类型来刻画均衡的存在性、计算复杂性和质量。例如，当所有的报酬函数都是凹的时，我们证明了无政府状态的无政府代价至多为2。对于凸函数，只有在某些特殊但非常自然的条件下才成立。本文的一个特别关注点是最小努力博弈，其中关系的回报仅取决于任何参与者的最小努力。最后，我们展示了这些游戏中的近似均衡和动态收敛的紧界。
2011-04-20 cs.DS cs.GT cs.MA
Game-theoric approach to decision-making problem for blockchain mining
对于区块链网络中的矿工来说，这是一个重要的决策问题，如果他/她参与挖矿，那么他/她就可以通过比其他矿工更早地创建新区块来获得奖励。我们制定这个决策问题作为一个非合作的游戏，因为创建一个块的概率不仅取决于自己的可用计算资源，但也有其他矿工。通过理论和数值分析，我们发现了纳什均衡依赖于报酬的滞后现象和矿工决策随报酬的微小变化而发生的跳跃现象。我们还表明，矿工决定不参与挖矿的奖励随着矿工数量的增加而变小。
2020-12-12 cs.CR cs.GT
Alignment Games
本文提出对齐博弈这一新型零和博弈框架，推导了不同成本条件下的闭式均衡解与结构性质，拓展了几何与搜索博弈理论，为不确定性下覆盖与定位的策略张力分析提供新基础。
2025-09-02 cs.GT math.OC
Distributionally Robust Markov Games with Average Reward
University of Central Florida（中佛罗里达大学）
提出平均奖励准则下的分布鲁棒马尔可夫博弈（DR-MG）框架，通过鲁棒贝尔曼方程证明平稳纳什均衡存在性，设计两种收敛算法，并证明折扣因子趋近1时均衡可近似。
2026-06-23 cs.GT cs.MA
Eliciting Truthful Reports with Partial Signals in Repeated Games
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Hong Kong Polytechnic University（香港理工大学）；Drexel University（德雷塞尔大学）
我们考虑一个重复的游戏，其中玩家自我报告她使用的服务，并相应地由中心收取费用。该中心观察一个部分信号，代表玩家的真实消费的一部分，这是从一个公开的已知分布产生的。玩家可以报告任何与信号不矛盾的值，中心根据报告的信息发出付款。这样的问题在电力市场中的净计量计费中得到应用，其中电力网络的客户的实际消耗被掩盖并且完全验证是不切实际的。当潜在的真实值是相对恒定的，我们提出了一个惩罚机制，elevently真实的自我报告。也就是说，除了向玩家收取报告值之外，该机制还根据她不一致的报告收取成比例的惩罚。我们展示了对未来不确定性的恐惧如何激励玩家今天诚实。对于Bernoulli分布，我们给出了完整的分析和最优策略，给出了任何惩罚。由于完全真实是不可能的连续分布，我们给近似真实的结果减少伯努利分布。我们还将我们的机制扩展到多玩家成本分摊设置，并给出均衡结果。
2022-08-15 cs.AI cs.GT
Blind Inverse Game Theory: Jointly Decoding Rewards and Rationality in Entropy-Regularized Competitive Games
Hofstra University（霍夫斯特拉大学）；Stony Brook University（石溪大学）
本文提出盲逆博弈论框架，用于在熵正则化竞争博弈中联合解码奖励和理性参数，通过归一化约束解决尺度模糊问题，并证明了最优收敛速率。
2026-02-21 cs.GT cs.LG stat.ML
On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game
University of Michigan（密歇根大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）
为了在强化学习（RL）中实现样本效率，需要有效地探索底层环境。在离线设置下，解决探索挑战在于收集具有足够覆盖率的离线数据集。出于这样的挑战，我们研究了无奖励RL问题，其中代理的目标是彻底探索环境，而没有任何预先指定的奖励函数。然后，给定任何外部奖励，代理通过规划算法使用在探索阶段收集的离线数据来计算策略。此外，我们在函数逼近的背景下解决这个问题，利用强大的函数逼近器。具体来说，我们建议通过结合内核和神经函数近似的值迭代算法的乐观变体进行探索，其中我们采用相关的探索奖金作为探索奖励。此外，我们设计的探索和规划算法的单代理MDP和零和马尔可夫游戏，并证明我们的方法可以实现$\widetilde{\mathcal{O}}(1 /\varepsilon^2)$样本复杂度生成一个$\varepsilon$ -次优策略或$\varepsilon$ -近似纳什均衡时，给出了任意的外在奖励。据我们所知，我们建立了第一个可证明有效的无奖励RL算法与核函数和神经函数逼近器。
2022-02-13 cs.GT cs.LG stat.ML
The Influence of Reward on the Social Valence of Interactions
多年来，社会规范一直被作为一种非正式的执行机制加以推广，以实现有益的集体成果。在最常用的促进互动的方法中，构建情境或设定游戏规则已经显示出强有力的结果，作为个人如何与同龄人互动的中介。然而，我们发现，有一个缺乏研究的激励措施，如分数，以促进社会交往的不同效价。权衡激励如何影响游戏中的行为，我们建议使用奖励，以促进在效价变化的相互作用，即积极或消极的，在两个玩家的情况下。为此，我们将社交效价定义为一个连续的量表，其中两极分别由Complicate和Help表示。然后，我们进行了用户测试，参与者被要求玩一个带有两个基于奖励的系统的游戏，以测试评分系统是否会影响社交互动效价。结果表明，发达国家的奖励为基础的系统能够促进互动分歧的社会效价分数，提供洞察力的因素，如奖励重叠个人的既定的社会规范。这些发现为游戏开发者和设计者提供了一种低成本、有效的政策工具，能够促进游戏中行为的改变。
2020-03-31 cs.GT cs.HC
A Two-Player Resource-Sharing Game with Asymmetric Information
本文研究具有非对称信息的双人资源共享博弈，提出迭代最佳响应算法寻找近似纳什均衡，并针对互不信任场景开发了结合在线凸优化与漂移加惩罚技术的算法以最大化最坏情况期望效用。
2023-09-18 cs.GT math.OC
Provable Policy Gradient Methods for Average-Reward Markov Potential Games
Texas A&M University（德克萨斯农工大学）；Univeristy of California, LA（加州大学洛杉矶分校）
该研究针对平均回报马尔可夫势博弈，证明了多种策略梯度算法的全局收敛性，给出了时间与样本复杂度分析，并通过仿真验证了相关结论。
2024-03-09 cs.GT cs.LG
Discounting the Past
Shapley引入的具有折扣回报的随机游戏，模拟了随机环境中的对抗性交互，其中两个玩家试图优化折扣的奖励总和。在此模型中，长期权重根据其发生的延迟进行几何衰减。我们提出了一个时间上的双重概念-所谓的过去折扣-代理有几何衰减的记忆中遇到的奖励在玩游戏。我们研究目标函数的基础上，过去折扣的重量序列，并检查相应的随机游戏liminf，折扣，平均支付。对于目标指定为有限劣势的过去折扣奖励序列，我们表明，位置确定性失败，最佳策略可能需要无限的内存。为了克服这一障碍，我们研究了一个近似的加窗目标的基础上使用有限长度的滑动窗口检查无限播放的想法。另一方面，对于指定为过去折扣奖励序列的折扣和平均限制的目标，我们建立了确定性的混合静态策略中的并发随机游戏的设置，并显示如何计算这些游戏的值可以通过减少标准的折扣和平均支付游戏。
2021-10-20 cs.GT math.OC
Aspiration Learning in Coordination Games
Lund University（隆德大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑的问题，分布式收敛到有效的结果，通过动力学的基础上的愿望学习协调游戏。在愿望学习下，只要收到的奖励超过指定的愿望水平，玩家就会继续玩某个动作。在这里，期望水平是过去奖励的记忆平均值，这些水平也会受到偶尔的随机扰动。每当收到的奖励低于期望水平时，玩家就会变得不满意，在这种情况下，玩家会以与不满意程度成比例的概率进行实验。我们的第一个贡献是一个等价的有限状态马尔可夫链的迭代过程中的诱导马尔可夫链的渐近行为的特征。然后，我们明确的行为特征提出的愿望学习的广义版本的协调游戏，其中的例子包括网络的形成和共同的游泳池游戏。特别是，我们表明，在通用的协调游戏中，一个有效的动作配置文件被播放的频率可以任意大。虽然收敛到有效的结果是可取的，在几个协调游戏，如公共游泳池游戏，公平的结果，即，玩家以相同频率体验高回报回报的游戏序列也可能是特别感兴趣的。为此，我们通过分析和模拟证明，愿望学习也建立了公平的结果，在所有对称协调游戏，包括公共游泳池游戏。
2011-10-19 cs.GT cs.LG
Interactive Inverse Reinforcement Learning for Cooperative Games
University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）；Chalmers University of Technology（查尔姆斯理工大学）
我们研究的问题，设计自主智能体，可以学习有效地与潜在的次优合作伙伴，而没有访问的联合奖励功能。这个问题被建模为一个合作的情节两代理马尔可夫决策过程。我们假设控制只有第一个的两个代理在Stackelberg制定的游戏，其中第二个代理的行为，以最大限度地提高预期效用的第一个代理的政策。第一个智能体应该如何行动，以尽快学习联合奖励函数，使联合策略尽可能接近最优？我们分析如何在这种交互式的两个代理的情况下，可以获得有关奖励函数的知识。我们表明，当学习代理的政策有显着的影响的过渡函数，奖励功能可以有效地学习。
2022-06-13 cs.GT cs.LG
Synthesis of Reward Machines for Multi-Agent Equilibrium Design (Full Version)
Heriot-Watt University（赫瑞瓦特大学）；Sapienza University of Rome（罗马大学）
本文研究多智能体均衡设计问题，提出用奖励机构建动态激励结构，定义收益改进问题的强弱变体，证明其复杂度及多项式时间求解方法，并给出奖励机的综合方案。
2024-08-19 cs.AI cs.GT cs.MA
Entropy-Regularized Mean-Field Games with Average-Reward Criterion: Span-Seminorm Contractions and Model-Free Learning
Bilkent University（比尔肯特大学）；Özyeğin University（奥兹耶金大学）
该研究针对平均奖励准则下带熵正则化的有限状态动作空间平均场博弈，证明了相关算子的收缩性，提出结合软Q学习与经验转移核的无模型学习方法，给出有限样本界与收敛速率，并用路由博弈验证结果。
2026-10-14 cs.GT cs.LG math.OC
Rewards and the evolution of cooperation in public good games
妥善协调合作关系到解决清洁能源和环境保护等公益问题。然而，人们对个体如何在大量陌生人中协调自己进行一定程度的合作知之甚少。在一个典型的情况下，由于缺乏面子和地位，建立共识的进程很难取得成功。在这种情况下，合作的演变研究使用阈值公益游戏，合作盛行时，它最初是足够的，否则，它灭亡。虽然惩罚是塑造人类行为的有力工具，但机构性惩罚往往代价太高，不能仅从少数几个肇事者开始，这是另一个协调问题。在这里，我们表明，无论初始条件如何，基于自愿捐款的奖励基金都可以发展。自愿奖励为有效地克服协调问题铺平了道路，并有效地将白吃白喝者转变为合作者，而集体失败的风险很小。
2016-04-23 cs.GT nlin.AO physics.soc-ph
Soft-Bellman Equilibrium in Affine Markov Games: Forward Solutions and Inverse Learning
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出仿射马尔可夫博弈与软贝尔曼均衡概念，给出存在唯一性条件，并用非线性最小二乘和投影梯度算法分别求解前向均衡与逆奖励参数推断问题，实验证明推断精度显著优于基线。
2023-09-08 cs.GT cs.LG
Reinforcement Learning With Reward Machines in Stochastic Games
Arizona State University（亚利桑那州立大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
针对随机博弈中非马尔可夫奖励的复杂任务，提出QRM-SG算法，利用奖励机整合高层知识，在增广状态空间学习纳什均衡下的最佳响应策略，并通过案例验证其有效性。
2023-08-28 cs.AI cs.GT cs.LG
Decidability Results for Multi-objective Stochastic Games
我们研究随机两个玩家回合制游戏，其中一个玩家的目标是确保几个无限地平线的总奖励目标，而另一个玩家试图破坏至少一个目标。先前的游戏已经被证明是不确定的，和一个近似算法计算帕累托曲线已经给出。现有算法的主要缺点是，它需要计算帕累托曲线有限的地平线目标（增加地平线的长度），这些帕累托曲线的大小可以无限增长，即使当无限地平线帕累托曲线很小。通过调整现有的结果，我们首先给出了一个算法，计算帕累托曲线确定的游戏。然后，作为本文的主要结果，我们表明，对于停止游戏的自然类，当有两个奖励目标时，决定玩家是否可以确保满足给定阈值的目标的问题是可判定的。这个结果依赖于复杂而新颖的证明，证明了帕累托曲线只包含1000个点。由此，我们得到了无限制随机对策类的两目标折扣报酬问题是可判定的。
2016-05-12 cs.GT cs.LO
Hodge theoretic reward allocation for generalized cooperative games on graphs
本文推广了L.S. Shapley的著名的价值分配理论的联盟游戏，发现和应用之间的基本连接随机路径集成驱动的规范时间可逆马尔可夫链和霍奇理论离散泊松方程的一般加权图。更确切地说，我们开始定义一般图上的合作对策和推广Shapley的价值分配公式，这些游戏的随机路径积分驱动的相关规范马尔可夫链。然后，我们显示的值分配算子，一个为每个球员定义的路径积分，原来是通过组合霍奇分解一般加权图上定义的泊松方程的解决方案。几个动机的例子和应用，特别是，一节致力于重新解释和扩展纳什和科尔伯格和奈曼的解决方案的概念，合作对策。这个例子和其他例子，例如收入管理，表明我们的一般框架并不局限于合作对策设置，但可以适用于更广泛的问题，在经济学，金融和其他社会和自然科学。
2022-01-01 cs.GT econ.TH math.PR
Cooperation Dynamics in Multi-Agent Systems: Exploring Game-Theoretic Scenarios with Mean-Field Equilibria
School of Technology, Woxsen University（沃克森大学技术学院）
本文研究多智能体系统中如何激发合作，通过改进迭代囚徒困境策略，并利用平均场博弈论为无限规模智能体建立均衡解，结合MA-PCA训练器仿真验证群体合作奖励机制。
2024-05-03 cs.AI cs.GT
Inception: Efficiently Computable Misinformation Attacks on Markov Games
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究马尔可夫博弈中虚假信息引发的安全威胁，提出基于线性规划与逆向归纳的多项式时间算法及inception攻击算法，高效计算攻击者最优策略并寻找最优虚假奖励函数，揭示了标准博弈理性假设下的安全漏洞。
2024-06-24 cs.CR cs.GT cs.LG
Learning Rewards in Strategic Games
University of Zurich（苏黎世大学）
针对多智能体战略环境中奖励推断的挑战，提出用于两人重复斯塔克尔伯格博弈的主动逆强化学习算法，推导有限样本保证并在反偷猎场景验证其性能。
2026-10-16 cs.AI cs.GT cs.LG
Friendship, Altruism, and Reward Sharing in Stable Matching and Contribution Games
我们研究稳定的匹配问题，在网络中，玩家嵌入在一个社会背景下，并可能将友谊关系或利他主义到他们的决定。每个玩家都是社交网络中的一个节点，并努力与相邻玩家形成良好的匹配。我们考虑稳定匹配的存在，计算和低效率，没有一对球员想要偏离。当一场比赛的好处是相同的两个球员，我们表明，将其他球员的福祉到他们的匹配决策显着降低稳定的价格，而无政府状态无政府代价保持不受影响。此外，一个好的稳定匹配达到稳定界的价格总是存在的，并可以达到多项式时间。我们将这些结果扩展到更一般的匹配奖励，当玩家相互匹配时，可能会从比赛中获得不同的效用。对于这个更一般的情况下，我们表明，纳入社会背景（即，“关心你的朋友”）可以产生更大的不同，并大大降低无政府状态的无政府代价。我们展示了各种存在性结果，并提出了各种匹配的效用结构的无政府状态和稳定的价格上界和下界。最后，我们将大部分结果扩展到网络贡献游戏，在这种游戏中，玩家可以决定为每个事件边缘贡献多少努力，而不是简单地选择一个节点进行匹配。
2012-04-25 cs.GT cs.MA
Game Theoretic Analysis of Tree Based Referrals for Crowd Sensing Social Systems with Passive Rewards
群体感知社会系统依赖于大量个体的参与。由于人类天生具有战略性，因此需要有效的激励机制来鼓励参与。一种流行的招募机制是通过推荐和被动激励，如2009年DARPA网络挑战赛和多级营销计划中获胜团队使用的几何激励机制。这种招募计划对被招募的战略人员所付出的努力的影响尚不清楚。本文试图填补这一空白。给定一棵推荐树和直接和被动的奖励机制，我们制定了一个网络游戏，代理竞争完成人群感知任务。我们的特点的纳什均衡的努力，并得出封闭形式的表达式。我们发现搭便车行为的节点谁获得大量的被动奖励。这项工作对设计有效的众包任务招聘机制具有影响。例如，使用几何激励机制来招募大量个人可能不会导致相称的努力，因为搭便车。
2016-01-27 cs.GT cs.MA cs.SI
Bayesian Learning in Episodic Zero-Sum Games
本文研究了在未知转移和奖励模型的有限时间零和马尔可夫游戏中，贝叶斯学习的后验算法，分析了两种设置下的预期遗憾界，并在网格世界捕食者-猎物域中验证了后验采样算法的子线性遗憾性能。
2026-03-21 cs.GT cs.LG
Emergent Prosociality in Multi-Agent Games Through Gifting
Stanford University（斯坦福大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
协调通常是形成亲社会行为的关键--这种行为增加了多主体游戏中所有主体获得的奖励总额。然而，当存在多个均衡时，现有技术的强化学习算法经常会收敛到社会上不太理想的均衡。以前的作品解决这个挑战与明确的奖励塑造，这需要强有力的假设，代理人可以被迫亲社会。我们建议使用一个限制较少的同行奖励机制，送礼，引导代理人走向更符合社会需要的均衡，同时允许代理人保持自私和分散。赠送允许每个代理将他们的一些奖励给其他代理。我们采用了一个理论框架，捕捉到的好处，在收敛到亲社会的平衡，通过特征的平衡的盆地的吸引力在一个动态系统的礼物。通过数值分析和实验，我们证明了高风险，一般和协调游戏的亲社会均衡的收敛性。
2021-05-13 cs.AI cs.GT cs.LG
Aggregate Fictitious Play for Learning in Anonymous Polymatrix Games (Extended Version)
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出聚合虚拟博弈（agg-FP），通过跟踪其他智能体各动作的数量频率来缩小匿名多矩阵博弈中的联合动作空间，在保持与经典FP相同收敛条件的同时加速收敛到纳什均衡。
2025-08-26 cs.GT cs.LG cs.MA
