首页/论文/1906.01609

arXiv 1906.016092019-06-04cs.LGcs.GT

一般和重复矩阵对策中的近优在线平均学习

Near-Optimal Online Egalitarian learning in General Sum Repeated Matrix Games

Chalmers University of Technology（查尔姆斯理工大学）；Microsoft Research Lab（微软研究院）

Aristide Tossou, Christos Dimitrakakis, Jaroslaw Rzepecki, Katja Hofmann

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们研究两个玩家一般和重复有限游戏，每个玩家的奖励是从一个未知的分布。我们的目标是找到平等主义的谈判解决方案（EBS）的重复游戏，这可以导致更高的回报比最大化的价值，双方球员。我们最重要的贡献是推导出一个算法，同时实现，为双方球员，一个高概率的遗憾界的顺序$\mathcal{O}(\sqrt[3]{\ln T}\cdot T^{2/3})$后，任何$T$轮的比赛。我们证明了我们的上限是近最优的证明下限的$Ω(T^{2/3})$的任何算法。

英文摘要：

We study two-player general sum repeated finite games where the rewards of each player are generated from an unknown distribution. Our aim is to find the egalitarian bargaining solution (EBS) for the repeated game, which can lead to much higher rewards than the maximin value of both players. Our most important contribution is the derivation of an algorithm that achieves simultaneously, for both players, a high-probability regret bound of order $\mathcal{O}(\sqrt[3]{\ln T}\cdot T^{2/3})$ after any $T$ rounds of play. We demonstrate that our upper bound is nearly optimal by proving a lower bound of $Ω(T^{2/3})$ for any algorithm.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

具有损失强盗的重复非合作博弈的无悔学习

No-regret learning for repeated non-cooperative games with lossy bandits

Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）

本文研究了带损失反馈的重复连续核博弈的无悔学习问题。由于动态环境下效用函数的显式模型难以给出，只能通过强盗反馈来学习参与者的行为。此外，由于不可靠的通信信道或隐私保护，强盗反馈可能丢失或随机丢弃。因此，我们研究了局中人的异步在线学习策略，以自适应地调整下一个行动，使长期后悔损失最小化。本文提出了一种新的无遗憾学习算法，称为在线梯度下降与有损强盗（OGD-lb）。我们首先给出了具有可微和Lipschitz效用的凹对策的后悔分析。然后，我们表明，行动配置文件收敛到纳什均衡的概率为1时，游戏也是严格单调的。当博弈是$β-$强单调时，我们进一步给出了均方收敛速度$\mathcal{O}\left(k^{-2\min\{β, 1/6\}}\right)$.此外，我们还将算法推广到了强盗反馈损失概率未知的情形，并证明了其几乎必然收敛于严格单调对策的纳什均衡。最后，以雾计算中的资源管理为应用实例，通过数值实验对算法性能进行了实证分析。

2022-05-14cs.LGmath.OC

对ML模型中重复迭代的博弈论理解

A Game-theoretic Understanding of Repeated Explanations in ML Models

本文通过博弈论的方法，对由机器学习（ML）模型和相关解释方法组成的系统与寻求查询/输入的预测/标签及其解释的最终用户之间的策略性重复交互进行了形式化建模。在这个游戏中，恶意的最终用户必须从战略上决定何时停止查询并试图损害系统，而系统必须从战略上决定应该与最终用户共享多少信息（以嘈杂的解释形式）以及何时停止共享，所有这些都不知道最终用户的类型（诚实/恶意）。本文正式模型，这种权衡使用连续时间随机信号博弈框架，并在这样一个框架内的马尔可夫完美均衡状态的特点。

2022-08-23cs.GTcs.LG

学习长期出价：重复拍卖博弈中长期稀疏报酬的多智能体强化学习

Learning to Bid Long-Term: Multi-Agent Reinforcement Learning with Long-Term and Sparse Reward in Repeated Auction Games

Huawei Technology（华为技术）；Hasso Plattner Institute（哈索·普拉特纳研究院）

我们提出了一种多智能体分布式强化学习算法，该算法在潜在冲突的短期奖励和稀疏、延迟的长期奖励之间进行平衡，并在动态环境中使用部分信息进行学习。我们比较了不同的长期奖励，以激励算法最大化个人收益和整体社会福利。我们在两个模拟拍卖游戏中测试了该算法，并证明：1）我们的算法优于两个基准算法在直接竞争，成本社会福利，和2）我们的算法的积极的竞争行为可以指导与长期奖励信号，以最大限度地提高个人收益和整体社会福利。

2022-04-05cs.GTcs.LG

重复和谐博弈中贝尔曼最优性方程的对称解

Symmetric solution of the Bellman optimality equation for repeated harmony game

Kindai University（近畿大学）；Shiga University（滋贺大学）

本研究求解重复和谐博弈中贝尔曼最优性方程的对称解，发现三类解分别对应All-C、赢留输变策略及非平凡策略，并通过数值实验考察了强化学习智能体的实际学习结果。

2026-09-16cs.AIcs.GTcs.LG

重复矩阵对策的通用学习

Universal Learning of Repeated Matrix Games

我们研究和比较两个通用的学习算法，一个基于贝叶斯学习和预测专家的意见的学习动力学。这两种方法都有很强的渐近性能保证。当面临在重复的2x2矩阵游戏中找到好的长期策略的任务时，他们的表现完全不同。

2005-08-16cs.AIcs.LG

跨筒仓联邦学习中的长期合作：重复博弈视角

Enabling Long-Term Cooperation in Cross-Silo Federated Learning: A Repeated Game Perspective

Sun Yat-sen University（中山大学）

跨筒仓联邦学习（FL）是一种分布式学习方法，其中具有相同兴趣的客户端合作训练全局模型，同时保持其本地数据私有。跨筒仓FL流程的成功需要许多客户的积极参与。跨筒仓FL的客户旨在通过自私地选择他们的参与水平来优化他们的长期利益。虽然已经有一些激励客户加入FL的工作，客户的长期自私的参与行为在跨筒仓FL的分析仍然在很大程度上未被探索。在本文中，我们分析了异构客户端的自私的参与行为在跨筒仓FL。具体来说，我们建模的客户端的长期自私的参与行为作为一个无限重复的游戏。对于阶段博弈SPFL，我们得到了唯一的纳什均衡（NE），并提出了一个分布式算法，每个客户端计算其均衡参与策略。我们发现，在NE，客户端最多分为三类：（一）搭便车，（二）一个独特的部分贡献者（如果存在），（三）贡献者。对于客户端之间的长期互动，我们得出了一个合作的策略，客户端，最大限度地减少搭便车的数量，同时增加本地数据量的模型训练。我们发现，强制执行的惩罚策略，这样的合作策略是一个子博弈完美纳什均衡（SPNE）的无限重复的游戏，在此情况下，一些客户谁是搭便车的NE阶段游戏选择（部分）贡献者。我们进一步提出了一种算法来计算最优的SPNE，它最大限度地减少搭便车的数量，同时最大限度地增加模型训练的本地数据量。仿真结果表明，我们推导出的最优SPNE可以有效地减少高达99.3%的搭便车的数量，并增加了高达82.3%的本地数据量模型训练。

2022-01-31cs.GTcs.LG

更多相关论文收起更多论文

重复随机博弈中的非近视学习

Non-myopic learning in repeated stochastic games

Masdar Institute of Science and Technology（马斯达尔科学技术研究院）

在重复随机博弈（RSG）中，智能体必须快速适应先前未知的同伴的行为，这些同伴可能自己也在学习。这个机器学习问题特别具有挑战性，部分原因是存在多个（甚至无限个）均衡和固有的大策略空间。在本文中，我们介绍了一种方法，减少两个球员的一般和RSG的策略空间，少数专家策略。这个过程称为Mega，有效地将RSG简化为强盗问题。我们发现，由此产生的策略空间保留了原始RSG的几个重要属性，从而使学习者能够在合理的少量交互中产生强大的策略。为了更好地建立这种方法的优点和缺点，我们经验性地评估所产生的学习系统对其他算法在三个不同的RSG。

2018-01-19cs.AIcs.GTcs.LG

零和重复博弈：渐近值存在性的反例及猜想$\operatorname{maxmin}=\operatorname{lim}v_n$

Zero-sum repeated games: Counterexamples to the existence of the asymptotic value and the conjecture $\operatorname{maxmin}=\operatorname{lim}v_n$

Université Toulouse 1 Capitole（图卢兹第一大学）

Mertens [在国际数学家大会（伯克利，加利福尼亚州，1986）（1987）1528-1577美国数学学会]提出了两个关于重复博弈的一般性定理：第一个定理是，在任何两人零和重复博弈中，渐近值是存在的;第二个定理是，当参与人1比参与人2更了解情况时，参与人1在长期内能够保证渐近值。我们反驳这两个长期存在的apturtures通过提供一个例子的零和重复的游戏与公共信号和完美的观察的行动，其中的值的$λ$折扣游戏不收敛时，$λ$去0。前面提到的例子涉及每个玩家的七个状态、两个动作和两个信号。值得注意的是，参与者会观察收益，然后轮流参与。

2016-03-15cs.LGmath.OC

一种在重复人机交互博弈中达到人类最优值的学习算法

A Learning Algorithm That Attains the Human Optimum in a Repeated Human-Machine Interaction Game

University of Washington（华盛顿大学）

针对人机交互中人类代价函数最小化的逆问题求解难题，提出仅观察人类行为即可寻优的博弈论学习算法，经人体实验验证可在标量及多维场景下一致收敛到代价最小值。

2025-01-15cs.GTcs.HCcs.LG

重复博弈中与自适应对手的遗憾最小化

Regret Minimization with Adaptive Opponents in Repeated Games

Massachusetts Institute of Technology（麻省理工学院）；OpenAI；University of Maryland, College Park（马里兰大学学院公园分校）

针对重复博弈中自适应对手的遗憾最小化问题，提出重复策略遗憾（RP-Regret）指标，并设计三种算法实现次线性遗憾，同时证明所有玩家最小化该遗憾可学习子博弈完美均衡。

2026-06-04cs.AIcs.GTcs.LG

重复博弈中适应性伙伴策略合作学习的不可能性

On the Impossibility of Learning to Cooperate with Adaptive Partner Strategies in Repeated Games

Delft University of Technology（代尔夫特理工大学）

学习与其他代理合作是具有挑战性的，当这些代理也具有适应我们自己行为的能力时。在合作环境中学习的实践和理论方法通常假设其他代理的行为是固定的，或者对其他代理的学习过程做出非常具体的假设。这项工作的目标是了解我们是否可以可靠地学习与其他代理人合作，而不需要这样的限制性假设，这在现实世界的应用中是不可能的。我们的主要贡献是一组不可能的结果，这表明，没有学习算法可以可靠地学习与所有可能的自适应合作伙伴在重复矩阵游戏，即使该合作伙伴是保证与一些固定的战略。受这些结果的启发，我们讨论了潜在的替代假设，这些假设捕捉了这样一种想法，即适应性伴侣只会理性地适应我们的行为。

2022-11-25cs.AIcs.GTcs.LG

缓解重复博弈中的报复性算法合谋

Mitigating Retaliatory Algorithmic Collusion in Repeated Games

Purdue University（普渡大学）

针对重复博弈中强化学习智能体自发形成的报复性合谋，本文提出CURB框架，通过惩罚策略间的总变差距离信号，将合谋均衡转化为平凡均衡，并在多种博弈中显著减少合谋。

2026-09-18cs.AIcs.LG

套期保值算法与重复矩阵对策

Hedging Algorithms and Repeated Matrix Games

Université Paris Descartes（巴黎笛卡尔大学）

重复矩阵博弈（RMG）是评价多智能体学习（MAL）算法的基本方法。以前的工作表明，$UCB$，$M3$，$S$或$Exp3$算法在RMG中平均具有良好的行为。此外，对冲算法已被证明是有效的预测问题。套期保值算法由顶层算法和一组基本算法组成。为了做出决策，套期保值算法使用其顶层算法来选择基本算法，并且所选择的算法做出决策。本文的实验表明，在与不同玩家玩RMG的任务中，精心选择的对冲算法平均比所有之前的MAL算法更好。$S$是一个非常好的顶层算法，而$UCB$和$M3$是非常好的基本算法。此外，两层套期保值算法比一层套期保值算法更有效，三层套期保值算法并不比两层套期保值算法更好。

2018-10-15cs.GTcs.LGcs.MA

玩得更好：多分类器对抗学习的重复游戏

Playing to Learn Better: Repeated Games for Adversarial Learning with Multiple Classifiers

U. S. Naval Research Laboratory（美国海军研究实验室）

我们考虑在对抗性学习环境中通过称为学习者的机器学习算法进行预测的问题。学习器的任务是正确地预测作为查询传递给它的数据的类别。然而，除了包含干净数据的查询外，学习者还可能收到来自对手的恶意或敌对查询。对手的目标是通过发送导致学习者错误的类预测的对抗查询来逃避学习者的预测机制，而学习者的目标是在不降低干净查询的预测质量的情况下减少这些对抗查询的不正确预测。我们提出了一种基于博弈论的技术，称为重复贝叶斯序贯博弈，学习者反复与对手的模型进行交互，使用自我游戏来确定对抗性查询与干净查询的分布。然后，它从一组预先训练的分类器中策略性地选择一个分类器，该分类器平衡了查询的正确预测的可能性以及降低使用分类器的成本。我们已经使用基于深度神经网络的分类器使用干净和对抗性文本数据评估了我们提出的技术，并表明学习者可以选择与查询类型（干净或对抗性）相称的适当分类器，同时仍然知道使用分类器的成本。

2020-02-10cs.LGstat.ML

非平稳需求的重复古诺博弈中利用非平稳强盗学习

Using Non-Stationary Bandits for Learning in Repeated Cournot Games with Non-Stationary Demand

University of Kentucky（肯塔基大学）

过去许多模拟重复古诺博弈的尝试都假设需求是固定的。这与现实世界的情况不符，在现实世界中，市场需求可能会因各种原因而在产品的生命周期中演变。在本文中，我们模型的重复古诺游戏与非平稳的需求，使企业/代理人面临不同的情况下，非平稳的多臂强盗问题。智能体可以选择的武器/动作集合表示离散的生产数量;这里，动作空间是有序的。智能体是独立自主的，不能从环境中观察到任何东西;它们只能在采取行动后看到自己的回报，并只为最大化这些回报而努力。我们提出了一种新的算法“自适应加权勘探（AWE）$ε$ -贪婪”，这是远程基于著名的$ε$ -贪婪的方法。该算法检测和量化由于市场需求的变化而引起的奖励变化，并根据需求变化的程度成比例地改变学习率和探索率，从而使代理更好地识别新的最优动作。为了有效地探索，它还部署了一种利用有序动作空间来权衡动作的机制。我们使用模拟来研究市场中各种均衡的出现。此外，我们研究了我们的方法在系统中的总代理数量和动作空间的大小方面的可扩展性。在我们的模型中，我们考虑了对称和非对称企业。我们发现，使用我们提出的方法，智能体能够根据需求的变化迅速改变他们的行动方针，并且他们在许多模拟中也参与了共谋行为。

2022-01-03cs.GTcs.LGcs.MA