Regret Minimization with Adaptive Opponents in Repeated Games
Massachusetts Institute of Technology（麻省理工学院）；OpenAI；University of Maryland, College Park（马里兰大学学院公园分校）
针对重复博弈中自适应对手的遗憾最小化问题，提出重复策略遗憾（RP-Regret）指标，并设计三种算法实现次线性遗憾，同时证明所有玩家最小化该遗憾可学习子博弈完美均衡。
2026-06-04 cs.AI cs.GT cs.LG
On the Impossibility of Learning to Cooperate with Adaptive Partner Strategies in Repeated Games
Delft University of Technology（代尔夫特理工大学）
学习与其他代理合作是具有挑战性的，当这些代理也具有适应我们自己行为的能力时。在合作环境中学习的实践和理论方法通常假设其他代理的行为是固定的，或者对其他代理的学习过程做出非常具体的假设。这项工作的目标是了解我们是否可以可靠地学习与其他代理人合作，而不需要这样的限制性假设，这在现实世界的应用中是不可能的。我们的主要贡献是一组不可能的结果，这表明，没有学习算法可以可靠地学习与所有可能的自适应合作伙伴在重复矩阵游戏，即使该合作伙伴是保证与一些固定的战略。受这些结果的启发，我们讨论了潜在的替代假设，这些假设捕捉了这样一种想法，即适应性伴侣只会理性地适应我们的行为。
2022-11-25 cs.AI cs.GT cs.LG
Learning to Bid Long-Term: Multi-Agent Reinforcement Learning with Long-Term and Sparse Reward in Repeated Auction Games
Huawei Technology（华为技术）；Hasso Plattner Institute（哈索·普拉特纳研究院）
我们提出了一种多智能体分布式强化学习算法，该算法在潜在冲突的短期奖励和稀疏、延迟的长期奖励之间进行平衡，并在动态环境中使用部分信息进行学习。我们比较了不同的长期奖励，以激励算法最大化个人收益和整体社会福利。我们在两个模拟拍卖游戏中测试了该算法，并证明：1）我们的算法优于两个基准算法在直接竞争，成本社会福利，和2）我们的算法的积极的竞争行为可以指导与长期奖励信号，以最大限度地提高个人收益和整体社会福利。
2022-04-05 cs.GT cs.LG
No-regret learning for repeated non-cooperative games with lossy bandits
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）
本文研究了带损失反馈的重复连续核博弈的无悔学习问题。由于动态环境下效用函数的显式模型难以给出，只能通过强盗反馈来学习参与者的行为。此外，由于不可靠的通信信道或隐私保护，强盗反馈可能丢失或随机丢弃。因此，我们研究了局中人的异步在线学习策略，以自适应地调整下一个行动，使长期后悔损失最小化。本文提出了一种新的无遗憾学习算法，称为在线梯度下降与有损强盗（OGD-lb）。我们首先给出了具有可微和Lipschitz效用的凹对策的后悔分析。然后，我们表明，行动配置文件收敛到纳什均衡的概率为1时，游戏也是严格单调的。当博弈是$β-$强单调时，我们进一步给出了均方收敛速度$\mathcal{O}\left(k^{-2\min\{β, 1/6\}}\right)$.此外，我们还将算法推广到了强盗反馈损失概率未知的情形，并证明了其几乎必然收敛于严格单调对策的纳什均衡。最后，以雾计算中的资源管理为应用实例，通过数值实验对算法性能进行了实证分析。
2022-05-14 cs.LG math.OC
Playing to Learn Better: Repeated Games for Adversarial Learning with Multiple Classifiers
U. S. Naval Research Laboratory（美国海军研究实验室）
我们考虑在对抗性学习环境中通过称为学习者的机器学习算法进行预测的问题。学习器的任务是正确地预测作为查询传递给它的数据的类别。然而，除了包含干净数据的查询外，学习者还可能收到来自对手的恶意或敌对查询。对手的目标是通过发送导致学习者错误的类预测的对抗查询来逃避学习者的预测机制，而学习者的目标是在不降低干净查询的预测质量的情况下减少这些对抗查询的不正确预测。我们提出了一种基于博弈论的技术，称为重复贝叶斯序贯博弈，学习者反复与对手的模型进行交互，使用自我游戏来确定对抗性查询与干净查询的分布。然后，它从一组预先训练的分类器中策略性地选择一个分类器，该分类器平衡了查询的正确预测的可能性以及降低使用分类器的成本。我们已经使用基于深度神经网络的分类器使用干净和对抗性文本数据评估了我们提出的技术，并表明学习者可以选择与查询类型（干净或对抗性）相称的适当分类器，同时仍然知道使用分类器的成本。
2020-02-10 cs.LG stat.ML
Enabling Long-Term Cooperation in Cross-Silo Federated Learning: A Repeated Game Perspective
Sun Yat-sen University（中山大学）
跨筒仓联邦学习（FL）是一种分布式学习方法，其中具有相同兴趣的客户端合作训练全局模型，同时保持其本地数据私有。跨筒仓FL流程的成功需要许多客户的积极参与。跨筒仓FL的客户旨在通过自私地选择他们的参与水平来优化他们的长期利益。虽然已经有一些激励客户加入FL的工作，客户的长期自私的参与行为在跨筒仓FL的分析仍然在很大程度上未被探索。在本文中，我们分析了异构客户端的自私的参与行为在跨筒仓FL。具体来说，我们建模的客户端的长期自私的参与行为作为一个无限重复的游戏。对于阶段博弈SPFL，我们得到了唯一的纳什均衡（NE），并提出了一个分布式算法，每个客户端计算其均衡参与策略。我们发现，在NE，客户端最多分为三类：（一）搭便车，（二）一个独特的部分贡献者（如果存在），（三）贡献者。对于客户端之间的长期互动，我们得出了一个合作的策略，客户端，最大限度地减少搭便车的数量，同时增加本地数据量的模型训练。我们发现，强制执行的惩罚策略，这样的合作策略是一个子博弈完美纳什均衡（SPNE）的无限重复的游戏，在此情况下，一些客户谁是搭便车的NE阶段游戏选择（部分）贡献者。我们进一步提出了一种算法来计算最优的SPNE，它最大限度地减少搭便车的数量，同时最大限度地增加模型训练的本地数据量。仿真结果表明，我们推导出的最优SPNE可以有效地减少高达99.3%的搭便车的数量，并增加了高达82.3%的本地数据量模型训练。
2022-01-31 cs.GT cs.LG
A Learning Algorithm That Attains the Human Optimum in a Repeated Human-Machine Interaction Game
University of Washington（华盛顿大学）
针对人机交互中人类代价函数最小化的逆问题求解难题，提出仅观察人类行为即可寻优的博弈论学习算法，经人体实验验证可在标量及多维场景下一致收敛到代价最小值。
2025-01-15 cs.GT cs.HC cs.LG
Hedging Algorithms and Repeated Matrix Games
Université Paris Descartes（巴黎笛卡尔大学）
重复矩阵博弈（RMG）是评价多智能体学习（MAL）算法的基本方法。以前的工作表明，$UCB$，$M3$，$S$或$Exp3$算法在RMG中平均具有良好的行为。此外，对冲算法已被证明是有效的预测问题。套期保值算法由顶层算法和一组基本算法组成。为了做出决策，套期保值算法使用其顶层算法来选择基本算法，并且所选择的算法做出决策。本文的实验表明，在与不同玩家玩RMG的任务中，精心选择的对冲算法平均比所有之前的MAL算法更好。$S$是一个非常好的顶层算法，而$UCB$和$M3$是非常好的基本算法。此外，两层套期保值算法比一层套期保值算法更有效，三层套期保值算法并不比两层套期保值算法更好。
2018-10-15 cs.GT cs.LG cs.MA
Meta-Learning for Repeated Bayesian Persuasion
Bogazici University（博斯海夫大学）；University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出元说服算法，在在线贝叶斯说服和马尔可夫说服过程中，通过任务相似性实现更优的后悔率，同时在任意游戏序列下恢复单次游戏保证。
2026-03-20 cs.AI cs.GT cs.LG
Using Non-Stationary Bandits for Learning in Repeated Cournot Games with Non-Stationary Demand
University of Kentucky（肯塔基大学）
过去许多模拟重复古诺博弈的尝试都假设需求是固定的。这与现实世界的情况不符，在现实世界中，市场需求可能会因各种原因而在产品的生命周期中演变。在本文中，我们模型的重复古诺游戏与非平稳的需求，使企业/代理人面临不同的情况下，非平稳的多臂强盗问题。智能体可以选择的武器/动作集合表示离散的生产数量;这里，动作空间是有序的。智能体是独立自主的，不能从环境中观察到任何东西;它们只能在采取行动后看到自己的回报，并只为最大化这些回报而努力。我们提出了一种新的算法“自适应加权勘探（AWE）$ε$ -贪婪”，这是远程基于著名的$ε$ -贪婪的方法。该算法检测和量化由于市场需求的变化而引起的奖励变化，并根据需求变化的程度成比例地改变学习率和探索率，从而使代理更好地识别新的最优动作。为了有效地探索，它还部署了一种利用有序动作空间来权衡动作的机制。我们使用模拟来研究市场中各种均衡的出现。此外，我们研究了我们的方法在系统中的总代理数量和动作空间的大小方面的可扩展性。在我们的模型中，我们考虑了对称和非对称企业。我们发现，使用我们提出的方法，智能体能够根据需求的变化迅速改变他们的行动方针，并且他们在许多模拟中也参与了共谋行为。
2022-01-03 cs.GT cs.LG cs.MA
Policy Regret in Repeated Games
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）；Google Research（谷歌研究院）
在线学习中的\emph{policy regret}的概念是一个很好的定义？适应性对手的常见情况下的性能指标，更传统的数量，如外部遗憾不考虑。我们重新审视政策后悔的概念，并首先表明，有在线学习设置中，政策后悔和外部后悔是不相容的：任何序列的发挥，实现了有利的遗憾方面的一个定义必须做差的方面。然后，我们专注于博弈论的设置，对手是一个自私的代理。在这种情况下，我们表明，外部遗憾和政策遗憾是不冲突的，事实上，一个广泛的类的算法可以确保一个有利的遗憾就这两个定义，只要对手也使用这样的算法。我们还表明，发挥无政策遗憾算法的序列收敛到一个\emph{policy equilibrium}，一个新的概念，我们引进的均衡。将其与外部遗憾联系起来，我们证明了无外部遗憾参与者收敛到的粗糙相关均衡是政策均衡的严格子集。因此，在博弈论的背景下，没有外部后悔的每一个博弈序列也不承认政策后悔，但反之则不成立。
2020-03-22 cs.GT cs.LG stat.ML
Repeated Auctions with Learning for Spectrum Access in Cognitive Radio Networks
University of Houston（休斯顿大学）；Princeton University（普林斯顿大学）
在本文中，认知无线电网络中的频谱接入建模为一个重复的拍卖游戏的监督和进入成本。对于次要用户，感测成本是由于主要用户的活动而产生的。此外，每个次级用户在成功竞标信道时支付传输成本。由于网络的分布式性质，关于其他次要用户活动的知识是有限的。由此产生的配方，因此是一个不完全信息的动态博弈。本文提出了一种基于过去交易结果的有效竞价学习算法。通过大量的仿真实验表明，所提出的分布式方案优于短视的一阶段算法，并可以实现效率和公平性之间的良好平衡。
2009-10-12 cs.IT cs.LG math.IT
