Exploration and Incentivizing Participation in Randomized Trials
National University of Singapore（新加坡国立大学）；Microsoft Research（微软研究院）；Northwestern University（西北大学）
本文研究了随机试验中探索与利用的权衡问题，提出了一种激励相容机制以提高参与度，并分析了不同代理类型的模型变体。
2026-01-10 cs.GT econ.TH
Game-Theoretic Model of Incentivizing Privacy-Aware Users to Consent to Location Tracking
如今，移动用户拥有大量的应用程序和服务。这些都可能对用户的“个人身份信息”（PII）造成一些隐私威胁。位置隐私是PII的重要组成部分，因此，隐私意识强的用户希望最大限度地提高位置隐私。例如，这种隐私可能会受到公司的威胁，该公司收集用户的跟踪并与第三方共享。为了最大限度地保护他们的位置隐私，用户可以决定离线，以便公司无法定位他们的设备。用户与网络保持连接的时间越长，他可能获得的服务就越多，但他的位置隐私就会减少。在本文中，我们分析了位置隐私，服务水平，用户体验，和公司的利润之间的权衡。为此，我们制定了用户（追随者）和公司（领导者）之间的Stackelberg贝叶斯博弈。我们提出了表征博弈均衡的理论结果。据我们所知，我们的工作是第一个对服务提供商的经济合理决策进行建模的工作（即，本公司）与希望保护其位置隐私的用户的理性决策相结合。为了评估我们的方法的性能，我们使用了来自测试平台的真实数据，我们还表明，该公司的博弈论策略优于非战略方法。最后，我们考虑了不同的用户隐私类型，并确定了激励用户尽可能长时间保持连接的服务级别。
2016-01-02 cs.GT
Everyone Contributes! Incentivizing Strategic Cooperation in Multi-LLM Systems via Sequential Public Goods Games
本文提出MAC-SPGG框架，通过序贯公共品博弈和重设计的奖励机制，将努力贡献设为唯一子博弈完美纳什均衡，消除搭便车，降低通信开销，并实证表明其训练的多LLM集成在多项任务上超越基线，性能媲美大规模模型。
2025-08-04 cs.AI cs.GT
Incentivizing Mobile Edge Caching and Sharing: An Evolutionary Game Approach
移动边缘缓存是一种很有前途的技术，通过将流行的内容存储在网络边缘或靠近内容请求者的移动设备（例如基站和智能手机）处，来提高内容交付质量并减少回程链路拥塞。在这项工作中，我们研究了一种新的移动边缘缓存框架，它使移动设备缓存和共享流行的内容，通过设备到设备（D2 D）的链接。我们感兴趣的是以下的移动终端用户的激励问题：是否和哪些用户愿意缓存和共享什么内容，考虑到用户的移动性和成本/回报。这个问题在具有大量用户的大规模网络中具有挑战性。本文引入演化博弈理论这一分析大规模动态系统的有效工具，分析移动用户的内容缓存和共享策略。具体来说，我们首先推导出用户的最佳缓存和共享策略，然后分析这些最佳策略如何随时间动态变化，在此基础上，我们进一步系统地描述了系统的平衡。仿真结果表明，所提出的缓存方案优于现有的计划，在总的传输成本和蜂窝负载。特别地，在我们的仿真中，总传输成本可以减少42.5%-55.2%，蜂窝负载可以减少21.5%-56.4%。
2021-09-14 cs.GT
Incentivizing Exploration with Heterogeneous Value of Money
最近，Frazier等人提出了一个自然模型，用于对不同的先验未知选项进行众包探索：委托人对一群代理人的长期福利感兴趣，这些代理人在多臂强盗环境中一个接一个地到达。然而，每个代理人都是短视的，所以为了激励他探索具有更好长期前景的选项，委托人必须向代理人提供资金。Frazier等人证明了一类简单的策略，称为时间扩展策略，在最坏的情况下是最优的，并描述了他们的收益-回报权衡。以前的工作假设所有的代理人都是平等和一致的经济激励。在现实中，代理人可能对金钱有不同的效用。因此，我们扩展了弗雷泽等人的模型。允许代理人有异质性和非线性效用的钱。委托人通过一个或多或少具有信息性的信号被告知代理人的权衡。我们的主要结果是表明，一个凸规划可以用来推导出一个信号依赖的时间扩展的政策，实现最好的拉格朗日奖励在最坏的情况下。最坏情况下的保证匹配所谓的“钻石在粗糙”的情况下，保证匹配的证明是基于显示两个不同的凸规划有相同的最佳解决方案，这些特定的情况。这些结果也扩展到Frazier等人的预算情况。我们还证明了最优策略对于信息是单调的，即，最优策略的近似比随着信号变得更具信息性而提高。
2015-12-28 cs.GT
Incentivizing Private Data Sharing in Vehicular Networks: A Game-Theoretic Approach
本文针对车载网络数据共享中的隐私与激励问题，提出一种基于博弈论的去中心化架构和经济模型，通过安全多方计算聚合数据并优化支付、共享频率与服务器数量，以平衡隐私保护与数据效用。
2023-09-22 cs.GT cs.SY eess.SY
Removing Bias and Incentivizing Precision in Peer-grading
我们研究了具有竞争力的评分者的同伴评分，当他们的同伴得分较低时，他们享有较高的效用。我们提出了一个新的机制，PEQA，激励这样的评分员通过一个分数分配规则，聚合从多个同行评价的最终分数，和一个分级性能分数，奖励表现在同行分级练习。PEQA使年级偏见无关紧要。此外，在PEQA下，一个同龄人的效用随着她评分的可靠性而单调增加，而不管她的竞争力和她的同事的行为如何。在一个合理的一般类的分数分配规则，PEQA唯一满足这种效用-可靠性单调性。当评分是昂贵的，成本是私人信息，修改后的版本PEQA实现了社会最优的努力选择的同行评价游戏的均衡。从我们的课堂实验数据证实了我们的理论假设，并表明PEQA优于流行的中位数机制。
2021-06-30 cs.GT
Approximate Equilibrium and Incentivizing Social Coordination
我们研究的技术，以激励自我利益的代理人，以形成社会理想的解决方案的情况下，他们受益于相互协调。为此，我们考虑协调游戏，代理人有不同的内在偏好，但如果其他人选择与他们相同的策略，他们会获益。对于我们的博弈的非平凡版本，像纳什均衡这样的稳定解可能不存在，或者即使它们存在，也可能是社会效率低下的。这促使我们专注于设计有效的算法来计算（几乎）稳定的解决方案，如近似均衡，如果代理人提供一些额外的激励，可以实现。我们的研究结果适用于许多设置，如采用新产品，项目选择，和组的形成，在中央权威机构可以直接代理商的战略，但代理商可能会背叛，如果他们有更好的选择。我们表明，对于任何给定的情况下，我们可以计算出一个高质量的近似均衡或一个接近最优的解决方案，可以通过提供少量的付款，一些球员稳定。然后，我们推广我们的模型，包括球员的关系可能表现出互补性的情况下，并提出了一种算法来计算近似均衡的稳定性因素是线性的互补程度。我们的研究结果意味着，一点影响是必要的，以确保自私的球员协调和形成社会有效的解决方案。
2014-04-18 cs.GT
Exploration and Incentives in Reinforcement Learning
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）；Microsoft Research NYC（微软研究院纽约分院）
当自私的代理人更喜欢$\textit{exploit}$时，你如何激励他们选择$\textit{explore}$？我们考虑复杂的勘探问题，每个代理面临相同的（但未知的）MDP。与传统的强化学习公式相反，代理控制策略的选择，而算法只能发出建议。然而，该算法控制了信息流，并可以通过信息不对称激励代理进行探索。我们设计了一个算法，探索所有的可达状态的MDP。我们实现了可证明的保证类似于那些激励探索静态，无状态的探索问题之前研究。据我们所知，这是第一个在有状态的强化学习环境中考虑机制设计的工作。
2023-02-19 cs.GT cs.LG
Incentivizing Spectrum Sharing via Subsidy Regulations
频谱许可的传统监管方法最近已被确定为宝贵的无线电频谱利用不足的原因之一。联邦通信委员会（FCC）等政府机构正在寻求消除严格的监管障碍并促进对频谱资源的更广泛访问的方法。目标是允许商业服务提供商之间更好地和无处不在地共享宝贵的无线电频谱。在本文中，我们提出了一种新的非合作博弈论的方法，以显示如何促进更多的共享无线电频谱通过使用监管权力。我们定义了一个两阶段的游戏，其中政府监管机构首先采取行动，其次是供应商。供应商受到监管机构降低频谱分配费用的激励，以换取共享证明。提供商将获得折扣频段，可能位于不同的位置，但将被要求为未订阅的用户提供覆盖，以维持政府的补贴激励。在模型的简化，供应商的完美均衡策略的解析表达式推导出来，我们认为存在一个完美的均衡的政府的一部分。我们的分析表明，政府通过补贴，可以为小型服务提供商提供与大型服务提供商竞争的公平机会，从而避免市场垄断。
2014-11-25 cs.GT cs.NI
On Incentivizing Social Information Sharing Through Routing Games
本文将众包社交信息共享建模为带正向外部性的非原子多路径路由博弈，提出非货币机制 AIR 和货币机制 ASP，分别实现 PoA=1/4 和 1/2，有效缓解自私路由导致的效率损失并保障理想属性。
2025-05-30 cs.GT cs.MA
Incentivizing Compliance with Algorithmic Instruments
University of Minnesota（明尼苏达大学）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
由于参与者的潜在不依从性，随机实验可能容易受到选择偏倚的影响。虽然大部分现有的工作已经研究了遵守作为一个静态的行为，我们提出了一个博弈论模型来研究遵守的动态行为，可能会随着时间的推移而改变。在回合中，社交计划者与一系列异质代理交互，这些代理以其未观察到的私有类型到达，该私有类型确定他们在动作中的先前偏好（例如，对照组和治疗组）和他们的基线奖励而不进行任何治疗。规划者为每个代理提供一个随机的建议，可以改变他们的信念和行动选择。我们开发了一种新的推荐机制，认为规划师的建议作为一种形式的工具变量（IV），只影响代理的行动选择，但不观察到的奖励。我们通过仔细映射历史-规划者和先前代理之间的交互-到随机推荐来构建这样的IV。尽管最初的代理人可能完全不合规，但我们的机制可以随着时间的推移激励合规性，从而能够估计每次治疗的治疗效果，并最大限度地减少目标是确定最佳治疗的计划者的累积遗憾。
2021-07-28 cs.GT cs.LG
Incentivizing Quality Text Generation via Statistical Contracts
Technion – Israel Institute of Technology（技术ion–以色列理工学院）；Tel Aviv University（特拉维夫大学）
针对大语言模型按令牌计费存在的道德风险问题，提出基于绩效的成本鲁棒合约框架，通过与统计假设检验对应刻画最优合约，实证显示其仅比知成本合约牺牲少量目标值。
2025-06-12 cs.AI cs.GT cs.LG
Learning to Lead: Incentivizing Strategic Agents in the Dark
Cornell University（康奈尔大学）；Yale University（耶鲁大学）
针对私有类型、隐藏行动且非短视智能体的在线委托—代理问题，提出延迟激励、奖励角度估计与悲观—乐观 LinUCB 结合的算法，实现近最优 $\tilde{O}(\sqrt{T})$ 策略遗憾。
2025-06-10 cs.GT cs.LG stat.ML
Data-Augmented Game Starts for Accelerating Self-Play Exploration in Imperfect Information Games
本文提出数据增强游戏起始策略，通过离线数据采样加速策略梯度方法在不完全信息游戏中的探索，降低可利用性并提高策略效果。
2026-05-14 cs.AI cs.GT cs.LG
End-to-End Learning and Intervention in Games
Northwestern University（西北大学）
在一个社会系统中，代理人的自我利益可能会损害集体利益，有时会导致社会困境。为了解决这样的冲突，一个中心设计者可以通过重新设计系统或激励代理人改变他们的行为来进行干预。为了有效，设计者必须预测代理人如何对干预做出反应，这取决于他们通常未知的支付函数。因此，了解代理人是干预的先决条件。在本文中，我们为游戏中的学习和干预提供了一个统一的框架。我们将游戏的均衡作为单独的层，并将它们集成到端到端的优化框架中。为了使反向传播通过均衡的游戏，我们提出了两种方法，分别基于显式和隐式微分。具体地说，我们把平衡作为变分不等式（VI）的解决方案。显式方法展开的投影方法求解VI，而隐式方法利用的灵敏度的解决方案VI。这两种方法的核心是通过投影算子进行微分。此外，我们建立了这两种方法的正确性，并确定在何种条件下，一种方法是比其他更可取的。分析结果进行了验证，使用几个现实世界的问题。
2020-10-26 cs.GT cs.LG
Estimating and Incentivizing Imperfect-Knowledge Agents with Hidden Rewards
University of California, Berkeley（加州大学伯克利分校）
本文研究隐藏奖励下学习型智能体与委托人的重复逆向选择博弈，提出仅依赖激励和选择历史的非参数估计器及数据驱动 MAB 激励策略，并证明有限样本一致性与委托人遗憾界。
2023-08-13 cs.AI cs.GT cs.LG
Dynamics of Boltzmann Q-Learning in Two-Player Two-Action Games
USC Information Sciences Institute（南加州大学信息科学研究所）
我们考虑在两个玩家的两个动作的游戏与玻尔兹曼探索机制的Q-学习的动力学。对于任何非零的探索率的动力学是耗散的，这保证了代理策略收敛到休息点，通常不同于游戏的纳什均衡（NE）。我们提供了一个全面的表征不同的游戏的休息点结构，并检查这种结构的灵敏度，由于探索的噪音。我们的研究结果表明，对于一类具有多个NE的游戏，学习动力学的渐近行为在临界探索率下会发生剧烈的变化。此外，我们证明，对于某些游戏与一个单一的NE，它是可能的有额外的休息点（不对应于任何NE），持续为一个有限范围的探索率和消失时，双方球员的探索率趋于零。
2012-03-01 cs.GT cs.LG cs.MA
Playing Games with your PET: Extending the Partial Exploration Tool to Stochastic Games
Lancaster University（兰开斯特大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究推出PET 2.0版本，基于可靠值迭代统一框架新增随机博弈支持，覆盖三类目标的部分探索变体，实验证明其为随机博弈下最高效的部分探索算法，性能优于不可靠工具。
2024-05-13 cs.AI cs.GT cs.SY
Efficient exploration of zero-sum stochastic games
Carnegie Mellon University（卡内基梅隆大学）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）；Strategy Robot, Inc.（策略机器人公司）
我们研究了越来越重要和常见的游戏解决设置，我们没有明确的游戏描述，但只有甲骨文访问它通过游戏，如在金融或军事模拟和计算机游戏。在有限时间的学习阶段，算法可以控制两个玩家的动作，以便尝试学习游戏以及如何玩好它。在此之后，算法必须产生具有低可利用性的策略。我们的动机是快速学习策略，在评估查询策略配置文件的收益是昂贵的情况下，具有低可利用性。对于随机博弈设置，我们建议使用由可能的环境中的信念分布引起的状态-动作价值函数的分布。我们比较各种探索策略的性能，这项任务，包括推广汤普森采样和贝叶斯UCB到这个新的设置。这两种策略始终优于其他策略。
2020-02-24 cs.AI cs.GT cs.LG
Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory
探索-利用是多智能体学习（MAL）中一个强大而实用的工具，然而，它的效果还远未被理解。为了在这个方向上取得进展，我们研究了Q学习的平滑模拟。我们首先表明，我们的学习模型具有很强的理论依据，作为研究探索-利用的最佳模型。具体来说，我们证明了光滑Q-学习有界遗憾在任意游戏的成本模型，明确捕捉游戏和探索成本之间的平衡，它总是收敛到一组的量化响应均衡（QRE），有限理性下的游戏的标准解决方案的概念，在加权潜在的游戏异构学习代理。在我们的主要任务中，我们转而衡量探索对集体系统性能的影响。我们的QRE表面在低维MAL系统的几何特征，并将我们的研究结果与突变（分叉）理论。特别是，随着探索超参数随时间的推移而演变，系统经历相变，其中平衡的数量和稳定性可以在探索参数发生无限小变化的情况下根本改变。在此基础上，我们提供了一个正式的理论处理如何调整探索参数可以证明导致平衡选择的积极和消极的（和潜在的无界）影响系统的性能。
2020-12-15 cs.GT cs.MA math.DS
Exploration-Exploitation in Multi-Agent Competition: Convergence with Bounded Rationality
Singapore University of Technology and Design（新加坡科技设计大学）；University of Oxford（牛津大学）
在竞争性多智能体学习中，探索和利用之间的相互作用还远未得到很好的理解。受此启发，我们研究了平滑Q学习，这是一种典型的学习模型，它明确地捕捉了游戏奖励和探索成本之间的平衡。我们表明，Q-学习总是收敛到唯一的量子响应均衡（QRE），有限理性下的游戏的标准解概念，在加权零和多矩阵游戏与异构学习代理使用积极的探索率。补充最近的结果收敛加权潜在的游戏，我们表明，快速收敛的Q-学习在竞争环境中获得的代理的数量无关，没有任何需要的参数微调。正如我们在网络零和博弈中的实验所展示的那样，这些理论结果为竞争性多智能体环境中平衡选择的算法方法提供了必要的保证。
2021-06-24 cs.GT cs.LG cs.MA
Near-Optimal Pure Exploration in Matrix Games: A Generalization of Stochastic Bandits & Dueling Bandits
University of Washington（华盛顿大学）
本文研究带噪声两人零和矩阵博弈中识别纯策略纳什均衡的样本复杂度，提出一个在忽略对数因子条件下匹配实例相关下界的近最优算法，并统一推广了随机多臂老虎机与对决老虎机的纯探索最优界。
2023-11-27 cs.GT cs.LG
Payment Schemes from Limited Information with Applications in Distributed Computing
提出一种在有限博弈中利用支付激励行为的通用机制，证明最优支付方案的复杂度及支付规模下界，并展示其在分布式计算中的适用性。
2022-02-12 cs.GT
On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game
University of Michigan（密歇根大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）
为了在强化学习（RL）中实现样本效率，需要有效地探索底层环境。在离线设置下，解决探索挑战在于收集具有足够覆盖率的离线数据集。出于这样的挑战，我们研究了无奖励RL问题，其中代理的目标是彻底探索环境，而没有任何预先指定的奖励函数。然后，给定任何外部奖励，代理通过规划算法使用在探索阶段收集的离线数据来计算策略。此外，我们在函数逼近的背景下解决这个问题，利用强大的函数逼近器。具体来说，我们建议通过结合内核和神经函数近似的值迭代算法的乐观变体进行探索，其中我们采用相关的探索奖金作为探索奖励。此外，我们设计的探索和规划算法的单代理MDP和零和马尔可夫游戏，并证明我们的方法可以实现$\widetilde{\mathcal{O}}(1 /\varepsilon^2)$样本复杂度生成一个$\varepsilon$ -次优策略或$\varepsilon$ -近似纳什均衡时，给出了任意的外在奖励。据我们所知，我们建立了第一个可证明有效的无奖励RL算法与核函数和神经函数逼近器。
2022-02-13 cs.GT cs.LG stat.ML
Regularization for Strategy Exploration in Empirical Game-Theoretic Analysis
在经验博弈论分析（EGTA）的迭代方法中，策略空间是基于对中间博弈模型的分析而逐步扩展的。一种常见的策略探索方法，以双预言算法为代表，是添加对当前均衡做出最佳响应的策略。这种方法可能会受到过拟合和其他限制，导致迭代EGTA的策略空间响应预言机（PSRO）框架的开发人员采用他们所谓的元策略求解器（MSS）来概括最佳响应的目标。注意到，许多MSS可以被视为扰动或近似版本的纳什均衡，我们采用了明确的正则化的角度规范和分析的MSS。我们提出了一种新的MSS称为正则化复制动力学（RRD），它只是截断的过程的基础上的遗憾标准。我们表明，RRD是更适应现有的MSS，并优于他们在各种游戏。我们将我们的研究扩展到三人游戏，其中的支付矩阵是立方的战略数量，因此详尽的评估配置文件可能是不可行的。我们提出了一个配置文件搜索方法，可以从不完整的模型中识别出解决方案，并将其与使用正则化MSS的迭代模型构建相结合。最后，也是最重要的是，我们通过实验揭示了最佳反应目标的后悔对策略探索的性能有很大的影响，这为PSRO中正则化的有效性提供了解释。
2023-02-09 cs.GT cs.MA
The Complexity of Graph Exploration Games
针对图探索和寻宝问题，分析提供未标记地图时的情况，将其建模为搜索者与对手的游戏，在多种设置下证明大多数游戏是PSPACE完全的，并分析相关约束问题的复杂度。
2024-11-28 cs.CC cs.GT
Convergence to Nash Equilibrium and No-regret Guarantee in (Markov) Potential Games
Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Waterloo（滑铁卢大学）
针对随机成本与赌博机反馈下的势博弈及马尔可夫势博弈，提出带充分探索和递归梯度估计的 Frank-Wolfe 变体，实现纳什均衡收敛、次线性遗憾，并将马尔可夫情形的纳什遗憾改进至 O(T^{4/5})。
2024-04-04 cs.GT cs.LG
A Game-Theoretic Approach to a Task Delegation Problem
针对任务委派中智能体私有优先级序列导致的信息不对称问题，提出含拍卖选任与按实际执行序列奖励的博弈论机制，证明其满足个体理性与激励相容，在线性调整成本下可实现社会最优。
2020-05-25 cs.GT math.OC
Facility Location Games for Multi-Location Agents with Satisfaction
本文研究了多地点代理的设施选址游戏，设计了群体策略证明机制以最大化满足度总和或最小值，同时保证代理真实报告位置。
2025-12-28 cs.GT
Learning with Episodic Hypothesis Testing in General Games: A Framework for Equilibrium Selection
该研究提出一种结合假设检验与效用驱动探索的学习动力学，证明其在一般有限标准型博弈中收敛至最大化所有参与者最小变换后效用的精炼均衡，为均衡选择提供了新机制。
2025-07-30 cs.GT cs.SY eess.SY
Phased Exploration with Greedy Exploitation in Stochastic Combinatorial Partial Monitoring Games
University of Michigan（密歇根大学）
部分监控游戏是重复的游戏，学习者收到的反馈可能不同于对手的行动，甚至是学习者获得的奖励。最近，提出了一种组合部分监控（CPM）游戏的一般模型\cite{lincombinatorial2014}，其中学习者的动作空间可以是指数级的大，对手的样本从一个有界的，连续的空间，根据一个固定的分布。本文给出了一种基于置信限的算法（GCB），该算法可以得到$O(T^{2/3}\log T)$分布无关和$O(\log T)$分布相关的后悔限.他们的算法的实现依赖于两个独立的离线预言机，并且依赖于分布的后悔还需要存在唯一的最优动作。采用他们的CPM模型，我们的第一个贡献是一个阶段性探索与贪婪剥削（PEGE）算法框架的问题。该框架中的不同算法分别实现了$O(T^{2/3}\sqrt{\log T})$分布无关后悔和$O(\log^2 T)$分布相关后悔。最重要的是，我们的框架只需要简单的“argmax”神谕从GCB和分布相关的遗憾不需要存在一个唯一的最佳行动。我们的第二个贡献是另一种算法，PEGE 2，它结合了差距估计与PEGE算法，以实现$O(\log T)$遗憾界，匹配的GCB保证，但消除了对学习者的动作空间的大小的依赖。然而，像GCB一样，PEGE2需要访问离线预言机和存在唯一的最佳动作。最后，我们讨论了我们的算法可以有效地应用到CPM问题的实际利益：即，在顶部的反馈在线排名。
2016-08-23 cs.AI cs.GT
Asymptotic Extinction in Large Coordination Games
研究大型多人协调博弈中Q-Learning的探索-利用权衡，刻画保证收敛的临界探索率，并发现博弈规模增大时Q-Learning收敛至单纯形边界附近的QRE，即渐近消亡现象。
2024-12-19 cond-mat.dis-nn cs.GT
Understanding Norm Change: An Evolutionary Game-Theoretic Approach (Extended Version)
世界各地的人类社会通过发展和维持社会规范而相互作用，了解这些规范是如何产生和变化的至关重要。在这项工作中，我们定义了一个进化博弈论模型来研究规范如何在社会中变化，基于这样的想法，即不同的力量在社会中的规范转化为不同的博弈论的互动结构和激励。我们使用这个模型来研究，无论是分析和广泛的基于代理的模拟，在一个社会中的协调需要的进化关系（这与其规范强度有关），规范变化有两个关键方面：文化惰性（当面临需要改变规范的条件时，人口是否或多快作出反应），探索率（Agent尝试新策略的意愿）。我们的研究结果表明，高协调需要导致高文化惯性和低探索率，而低协调需要导致低文化惯性和高探索率。据我们所知，这是第一个工作，了解这些因素之间的进化因果关系。
2017-04-16 cs.CY cs.GT cs.MA
Exploration enhances cooperation in the multi-agent communication system
Teesside University（蒂斯赛德大学）；Kyushu University（九州大学）；Northwestern Polytechnical University（西北工业大学）
本文提出一个两阶段进化博弈模型，通过引入探索机制，发现适度探索能增强多智能体系统中的合作，实现最优性能。
2026-03-02 cs.GT cs.MA
Evolutionary Exploration of the Finitely Repeated Prisoners' Dilemma--The Effect of Out-of-Equilibrium Play
重复出现的囚徒困境很好地说明了博弈论分析所提出的策略行为与人类参与者之间经常观察到的行为之间的差异，在人类参与者中，合作在大多数情况下都是保持的。基于逆向归纳法的博弈论推理逐步消除策略，直到第一轮的背叛是唯一剩下的选择，反映了博弈的纳什均衡。我们调查的纳什均衡解决方案，两套不同的策略在进化的背景下，使用复制突变动力学。第一组由条件合作者组成，直到某个回合，而第二组除了这些之外还包含两种策略类型，它们对第一回合动作的反应不同：“说服者”策略坚持两轮初始合作，试图在游戏中建立更多的合作游戏，而“追随者”策略，虽然是第一轮叛逃者，有能力在第一轮中回应邀请。对于这两个策略集，策略的迭代消除表明，唯一的纳什均衡是由第一轮的背叛给出的。我们表明，演化动力学的第一组总是由一个稳定的不动点，对应的纳什均衡，如果突变率是足够小（但仍然是积极的）。第二个策略集进行了数值研究，我们发现，有区域的参数空间的不动点变得不稳定和动态表现出不同的策略组成的周期。结果表明，即使在突变率很小的情况下，复制者-突变动力学也不一定能使具有说服者和追随者的系统到达博弈纳什均衡所对应的不动点.
2013-01-08 cs.GT q-bio.PE
Pure Exploration via Frank-Wolfe Self-Play
Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系）；Stanford Graduate School of Business, Stanford University（斯坦福大学商学院）
针对结构化随机多臂老虎机的纯探索问题，提出基于Frank-Wolfe自博弈的无投影无调参方法，通过微分包含证明线性老虎机中最优臂识别博弈值收敛，并给出基于后验采样的学习算法。
2025-09-24 cs.GT cs.LG math.ST
Using Non-Stationary Bandits for Learning in Repeated Cournot Games with Non-Stationary Demand
University of Kentucky（肯塔基大学）
过去许多模拟重复古诺博弈的尝试都假设需求是固定的。这与现实世界的情况不符，在现实世界中，市场需求可能会因各种原因而在产品的生命周期中演变。在本文中，我们模型的重复古诺游戏与非平稳的需求，使企业/代理人面临不同的情况下，非平稳的多臂强盗问题。智能体可以选择的武器/动作集合表示离散的生产数量;这里，动作空间是有序的。智能体是独立自主的，不能从环境中观察到任何东西;它们只能在采取行动后看到自己的回报，并只为最大化这些回报而努力。我们提出了一种新的算法“自适应加权勘探（AWE）$ε$ -贪婪”，这是远程基于著名的$ε$ -贪婪的方法。该算法检测和量化由于市场需求的变化而引起的奖励变化，并根据需求变化的程度成比例地改变学习率和探索率，从而使代理更好地识别新的最优动作。为了有效地探索，它还部署了一种利用有序动作空间来权衡动作的机制。我们使用模拟来研究市场中各种均衡的出现。此外，我们研究了我们的方法在系统中的总代理数量和动作空间的大小方面的可扩展性。在我们的模型中，我们考虑了对称和非对称企业。我们发现，使用我们提出的方法，智能体能够根据需求的变化迅速改变他们的行动方针，并且他们在许多模拟中也参与了共谋行为。
2022-01-03 cs.GT cs.LG cs.MA
Asymptotic Convergence and Performance of Multi-Agent Q-Learning Dynamics
在一般的$N$玩家游戏中实现多个学习代理的收敛对于开发安全可靠的机器学习（ML）算法及其在自治系统中的应用是必不可少的。然而，众所周知，在简单的两人游戏的范围之外，收敛不能被视为理所当然。为了在解决这个问题方面取得进展，我们研究了平滑Q学习的动态，平滑Q学习是一种流行的强化学习算法，它量化了学习代理探索其状态空间或利用其收益的趋势。我们给出了一个关于探索速率的充分条件，使得Q学习动态保证在任何游戏中收敛到唯一的均衡。我们将这一结果与Q-Learning以任意探索率收敛的游戏联系起来，包括加权势游戏和加权零和多矩阵游戏。最后，我们研究了Q-学习动态的性能，通过时间平均社会福利来衡量，并将其与均衡所实现的社会福利进行比较。我们提供了一个充分条件，即使动态不收敛，Q学习动态也会优于均衡。
2023-01-23 cs.AI cs.GT cs.MA
