Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在离线多智能体强化学习(MARL)中,智能体从给定的数据集中估计策略。我们研究奖励中毒攻击在这种情况下,外源攻击者修改奖励数据集之前,代理看到数据集。攻击者希望引导每个代理进入恶意的目标策略,同时最小化奖励修改的$L^p$范数。与对单代理RL的攻击不同,我们表明攻击者可以将目标策略安装为马尔可夫完美主导策略均衡(MPDSE),保证理性代理遵循该策略。这种攻击可能比单独的单代理攻击便宜得多。我们表明,攻击工作在各种MARL代理,包括不确定性意识的学习者,我们表现出线性规划,有效地解决了攻击问题。我们还研究了数据集的结构和最小攻击成本之间的关系。我们的工作为研究离线MARL中的防御铺平了道路。
2023-03-07 cs.AI cs.CR cs.GT
Mean Field Equilibrium in Multi-Armed Bandit Game with Continuous Reward
The Chinese University of Hong Kong(香港中文大学);Zhejiang Normal University(浙江师范大学)
平均场博弈有利于分析多臂强盗(MAB)的大量代理人通过近似他们的相互作用的平均效果。现有的多智能体MAB平均场模型大多假设一个二元奖励函数,这导致易于处理的分析,但通常不适用于实际场景。本文研究了具有连续报酬函数的平均场强盗对策。具体来说,我们专注于推导平均场平衡(MFE)的存在性和唯一性,从而保证多智能体系统的渐近稳定性。为了适应连续的奖励函数,我们将学习到的奖励编码到代理状态中,然后将其映射到其随机手臂游戏策略,并使用实现的观察进行更新。我们证明了系统的状态演化是上半连续的,在此基础上得到了MFE的存在性。由于马尔可夫分析主要针对离散状态的情况,我们将随机连续状态演化转化为确定性常微分方程。在此基础上,我们可以刻画一个压缩映射的常微分方程,以确保唯一的MFE的强盗游戏。广泛的评估验证了我们的MFE表征,并表现出严格的经验遗憾的MAB问题。
2021-05-08 cs.GT cs.LG cs.MA
HaPPY-Mine: Designing a Mining Reward Function
在加密货币中,区块奖励旨在作为矿工投入资源创建区块的激励机制,并实际上保护系统。现有系统主要与所花费的资源成比例地划分奖励,并且遵循用于总块奖励的两个静态模型之一:(i)每个块的固定奖励(例如,以太坊),或者(ii)区块奖励在每一组区块数量减半的情况下(例如,比特币模型大约每4年减半),但在减半之间保持固定。在最近的工作中,在非对称矿工成本下的静态模型的博弈论分析表明,均衡总是存在的,是唯一的。他们的分析还揭示了不对称成本如何导致区块链挖矿的大规模集中化,这一现象在比特币和以太坊中已经观察到,并在其他研究中得到了强调。在这项工作中,我们引入了一个新的采矿奖励函数家族,HaPPY-Mine(HASH-Pegged Proportional Yield),它将奖励的价值与系统的哈希率挂钩,随着哈希率的增加而减少奖励。HaPPY-Mine按照散列率的比例分配奖励,并继承了广义比例奖励函数的安全属性。我们在异构矿工成本模型下研究了HaPPY-Mine,并证明了均衡总是存在唯一的矿工参与者集合和唯一的总哈希率。值得注意的是,我们证明了在一组指标(包括采矿参与者数量和哈希率分布)下,HaPPY-Mine均衡比静态模型均衡更加分散。最后,我们证明了任何HAPPY-Mine均衡也是安全的,可以抵御共谋和Sybil攻击,并探讨了货币的市场价值如何影响均衡。
2021-03-22 cs.GT
Beyond Scalar Rewards: Dense Feedback for LLM Policy Synthesis in Sequential Social Dilemmas
Komorebi AI Technologies(Komorebi AI技术公司)
本研究通过反馈工程,比较稀疏奖励与密集社会指标反馈对LLM在多智能体环境中生成程序化策略的影响,发现密集反馈能打破奖励别名,提升策略性能。
2026-07-01 cs.CL cs.GT
Reward Hacking as Equilibrium under Finite Evaluation
本文基于五个公理证明优化AI代理在未被评估系统覆盖的质量维度上会系统性地减少努力,揭示奖励黑客行为为结构性均衡而非可修复错误,并提出可计算的扭曲指数预测黑客行为。
2026-03-30 cs.AI cs.GT
Cost Minimization for Equilibrium Transition
本文研究博弈中用金钱激励实现均衡转移的最低奖励计算问题,证明相关判定与计算问题的复杂度,给出固定参数下的高效解法、加性误差近似算法,以及单峰效用情形下的多项式时间最优解。
2023-12-11 cs.GT
Optimal Bi-level Lottery Design for Multi-agent Systems
多智能体系统中的实体可能会寻求冲突的子对象,这导致它们之间的竞争。为了解决由于竞争的性能下降,我们考虑一个双层彩票,在高级别的社会规划者选择奖励第一,顺序地,一组球员在低级别共同确定一个纳什均衡的奖励。社会计划者面临着效率损失,彩票游戏的纳什均衡可能与社会最优不一致。我们提出了一个最优的双层彩票设计问题,寻找最小的奖励和扰动,使诱导的纳什均衡产生社会最优的回报。我们形式化地刻画了无政府状态的价格和公共物品的行为以及关于报酬和扰动的纳什均衡。我们放松了最优的双层彩票设计问题,通过凸近似,并确定温和的充分条件下,近似是准确的。
2020-12-03 cs.GT
Privacy-preserving Nash Equilibrium Synthesis with Partially Ordered Temporal Objectives
University of Texas at Austin(德克萨斯大学奥斯汀分校);vijil
本文提出一种通信协议,在双人图博弈中综合纳什均衡,同时保护玩家私有偏序偏好,通过提前停止通信保证隐私,并证明完备性与隐私性,实验验证其有效性。
2025-10-28 cs.GT cs.LO
Soft-Bellman Equilibrium in Affine Markov Games: Forward Solutions and Inverse Learning
Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出仿射马尔可夫博弈与软贝尔曼均衡概念,给出存在唯一性条件,并用非线性最小二乘和投影梯度算法分别求解前向均衡与逆奖励参数推断问题,实验证明推断精度显著优于基线。
2023-09-08 cs.GT cs.LG
Classification in Equilibrium: Structure of Optimal Decision Rules
Emory(埃默里大学)
本文研究了在均衡条件下最优分类规则的结构,发现最优规则属于单阈值和双切割规则,能够最大化全局准确性并提高信息质量。
2026-01-15 cs.GT econ.TH
Risk-Averse Equilibrium for Games
在纳什环境下,理性这个词已经成为最佳对策定义中期望收益最大化的同义词。在这项工作中,我们考虑随机游戏中,玩家只参与一次,或最多有限的次数。在这样的博弈中,玩家最大化他们的预期收益可能是不理性的,因为他们不能等待大数定律生效。相反,我们定义了一个新的概念,风险厌恶的最佳对策,结果在风险厌恶的均衡(RAE)中,玩家选择玩的策略,最大限度地提高他们在一轮游戏中获得最多奖励的概率,而不是最大限度地提高预期获得的奖励,受其他玩家的行动。我们证明了风险厌恶均衡存在于所有有限博弈中,并在数值上将其性能与有限时间随机博弈中的纳什均衡进行了比较。
2020-02-19 cs.GT
Entropy-Regularized Mean-Field Games with Average-Reward Criterion: Span-Seminorm Contractions and Model-Free Learning
Bilkent University(比尔肯特大学);Özyeğin University(奥兹耶金大学)
该研究针对平均奖励准则下带熵正则化的有限状态动作空间平均场博弈,证明了相关算子的收缩性,提出结合软Q学习与经验转移核的无模型学习方法,给出有限样本界与收敛速率,并用路由博弈验证结果。
2026-10-14 cs.GT cs.LG math.OC
Learning Stationary Nash Equilibrium Policies in $n$-Player Stochastic Games with Independent Chains
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑一个子类的$n$ -球员随机游戏,其中球员有自己的内部状态/动作空间,而他们通过他们的支付功能耦合。假设参与者的内部链由独立的转移概率驱动。此外,参与者只能接收他们的收益的实现,而不是实际的功能,并且不能观察彼此的状态/动作。对于这类游戏,我们首先表明,找到一个固定的纳什均衡(NE)的政策,没有任何假设的奖励功能是互动的。然而,对于一般的奖励函数,我们开发多项式时间学习算法的基础上双平均和双镜像下降,收敛于平均Nikaido-Isoda距离的$ε$ -NE政策几乎肯定或预期。特别是,在额外的假设下的奖励功能,如社会福利,我们推导出多项式上界的迭代次数,以实现高概率的$ε$ -NE政策。最后,我们评估所提出的算法在学习$ε$ -NE政策的有效性,在智能电网的能量管理的数值实验。
2023-03-22 cs.GT cs.LG cs.MA
The Game Changer Problem: Controlling Equilibria with Discrete Rewards
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
研究外部设计者通过有限离散奖励修改博弈矩阵使目标纯行动组合成为唯一均衡的问题,给出零和与一般和博弈的可行性特征,并利用离散奖励结构实现精确最优性和高效动态规划算法。
2026-06-27 cs.GT
Blackwell-Nash Equilibrium for Discrete and Continuous Time Stochastic Games
我们考虑离散和连续时间有限状态行动随机对策。在离散时间随机对策中,作为一般随机对策的一种特殊情况,单控制器加性报酬(SC-AR)随机对策存在稳态Blackwell-Nash均衡(BNE).我们表明,在一般情况下,添加剂的奖励条件是需要存在的BNE。给出了一个不满足可加报酬条件的单控制者随机对策的例子。我们表明,这个例子没有一个固定的BNE。对于一般的离散时间折扣随机对策,我们给出了两组不同的条件,并证明了满足任何一组条件的稳态纳什均衡是BNE。其中一组条件削弱了文献中可用的一组条件。对于连续时间随机对策,我们给出了一个不具有平稳BNE的例子。事实上,这个例子是一个单控制器连续时间随机对策。然后,我们引入了一个连续时间的SC-AR随机对策。我们证明了连续时间SC-AR随机对策总存在一个平稳的确定性BNE。对于一般的连续时间折扣随机对策,我们给出了两组不同的条件,并证明了满足任何一组条件的纳什均衡是BNE。
2016-05-03 cs.GT math.OC
Learning Equilibria in Coordination Games via Minorization-Maximization
Inria(法国国家信息与自动化研究所);DI ENS, Paris(巴黎高等师范学院);Inria, Lille(法国国家信息与自动化研究所里尔分部)
本文研究了在协调游戏中通过次要最大化方法学习均衡的问题,提出了一种基于次要最大化的迭代学习方案,利用严格凹潜力函数选择唯一均衡,并证明该均衡是原游戏的ε-均衡。
2026-11-09 cs.GT
Game of Coins
我们将目前在多加密货币市场中的战略挖掘实践形式化为一个游戏,并证明在这种游戏中任何更好的反应学习都会收敛到均衡。然后,我们提供了一个奖励设计方案,将系统配置从任何初始均衡移动到期望的均衡,以便矿工进行更好的响应学习。我们的工作介绍了自适应和学习矿工的第一个多硬币战略攻击,以及学习代理的多代理系统中的奖励设计的研究。
2018-05-23 cs.GT
Prophet Inequality with Competing Agents
我们引入了一个模型的竞争代理人在先知设置,奖励到达网上,并立即作出决定,可追溯性。奖励从一开始就是未知的,但它们是从已知的概率分布中得出的。在标准的预言者设定中,单个智能体做出选择决策,试图最大化她的预期回报。我们的模型的新颖之处在于引入了竞争环境,在这种环境中,多个代理竞争即将到来的奖励,并在奖励到达时同时做出在线选择决策。如果一个给定的奖励是由一个以上的代理人选择的,那么关系就会被随机打破,或者被代理人的固定排名打破。竞争的考虑将先知设置从在线决策场景转变为多代理游戏。对于随机和排名抢七规则,我们提出了简单的阈值策略的代理,给他们很高的保证,独立于其他人所采取的策略。特别地,对于随机平局决胜,每个智能体可以保证自己至少获得最高奖励的$\frac{1}{k+1}$和最优社会福利的至少$\frac{1}{2k}$。对于排名抢七,排名$i$的代理可以保证自己至少获得第$i$最高奖励的一半。我们补充这些结果匹配的上限,甚至相对于平衡配置文件。对于排名平局打破规则,我们还显示了平衡的$k$代理游戏和一个单一的决策者谁可以选择最多$k$奖励的最优策略之间的对应关系。
2021-07-01 cs.GT
Competing for Shareable Arms in Multi-Player Multi-Armed Bandits
Tsinghua University(清华大学)
研究多玩家多臂老虎机中自私智能体竞争可共享资源的问题,提出基于纳什均衡的SMAA算法,理论证明其能保证个体遗憾界并防止恶意偏离,合成实验验证了有效性。
2023-08-04 cs.CY cs.GT cs.LG
From Poincaré Recurrence to Convergence in Imperfect Information Games: Finding Equilibrium via Regularization
DeepMind(深度思维);SUTD(新加坡科技设计大学)
本文研究了序列不完全信息博弈中的跟随正则化领导者动态。我们推广现有的结果Poincaré复发正常形式的游戏,零和两个球员的不完美信息游戏和其他序列游戏设置。然后,我们研究如何适应奖励(通过添加一个正则化项)的游戏可以在单调游戏中提供强收敛保证。我们继续展示如何利用这种奖励适应技术来构建精确收敛到纳什均衡的算法。最后,我们展示了这些见解如何直接用于构建零和两人不完美信息博弈(IIG)的最先进的无模型算法。
2020-02-19 cs.GT cs.LG stat.ML
Game theoretic controller synthesis for multi-robot motion planning Part I : Trajectory based algorithms
Pennsylvania State University(宾夕法尼亚州立大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种分布式实时算法,用于计算多机器人运动规划中纳什均衡的计算,证明了算法收敛性、价格稳定性及计算复杂度。
2014-02-15 cs.GT cs.MA cs.SY
Computational Rationalization: The Inverse Equilibrium Problem
从少量的观察数据中对不完美主体的有目的行为进行建模是一项具有挑战性的任务。当限制到单代理决策理论设置,逆最优控制技术假设观察到的行为是一个近似的最优解未知的决策问题。这些技术学习解释示例行为的效用函数,然后可以用于准确预测或模仿类似观察或未观察情况下的未来行为。在这项工作中,我们认为在竞争和合作的多智能体域类似的任务。在这里,不同于单代理设置,玩家不能近视最大化其奖励-它必须推测其他代理如何影响游戏的结果。运用博弈论中后悔的概念和最大熵原理,我们引入了一种预测和推广行为的技术,以及在这些领域恢复奖励函数。
2011-05-06 cs.GT
A Stochastic Game Framework for Analyzing Computational Investment Strategies in Distributed Computing
本文研究了一个动态局中人集合的随机博弈框架,用于建模和分析分布式计算中局中人的计算投资策略。玩家通过解决问题或提供计算资源获得一定的奖励,同时根据投入的时间和计算能力产生一定的成本。我们首先研究了一个场景,其中为解决问题提供奖励,例如在区块链采矿中。我们发现,在马尔可夫完美均衡,玩家的成本参数超过一定的阈值,不投资,而那些成本参数小于这个阈值,投资最大的权力。在这里,玩家不需要知道系统状态。然后,我们考虑的情况下,奖励是提供一个共同的中央实体,如在志愿者计算的计算能力作出贡献。在这里,在马尔可夫完美均衡中,只有在给定状态下成本参数处于相对较低范围内的参与者才会投资。对于同质玩家的情况,他们的投资比例与“回报与成本”之比成正比。对于这两种情况下,我们研究了球员的到达率和离开率对他们的效用使用模拟的影响,并提供额外的见解。
2019-11-16 cs.DC cs.GT cs.MA
Coalition-Safe Equilibria with Virtual Payoffs
考虑一组被邀请执行协议$Π$的各方。该协议将产生一些运行成本,而在最后(或定期),它将填充和更新分配(虚拟)奖励给参与者的本地表。每个参与者都希望通过协议过程中提供的虚拟收益来抵消参与成本。在这种情况下,我们引入并研究了联盟安全均衡的概念。特别是,我们考虑一个战略联盟的参与者,集中协调,并可能偏离$Π$的目的是增加其效用相对于其他参与者的{ \em至少一个}的看法。协议$Π$被称为联盟安全均衡与虚拟支付(EVP),如果没有这样的协议偏差存在。我们应用我们的概念来研究区块链协议中的激励机制。我们继续使用我们的框架来提供比特币区块链中激励的统一图景,对于基于绝对和相对奖励的效用函数,以及证明关于Fruitchain区块链协议激励的新结果[PODC 2017]证明了对于基于绝对报酬的效用函数,博弈双方合谋达到$n-1$的均衡条件成立,对于基于相对报酬的效用函数,博弈双方合谋小于$n/2$的均衡条件成立函数,后一个结果适用于任何“弱公平”区块链协议,这是我们引入的一个新属性,可能具有独立的兴趣。
2019-12-31 cs.GT
The Complexity of Nash Equilibria in Limit-Average Games
研究了极限平均目标下并发对策纳什均衡解的计算复杂性。特别是,我们证明了随机策略中的纳什均衡的存在性是不可判定的,而纯策略中的纳什均衡的存在性是可判定的,即使我们对均衡的收益施加约束。我们的不可判定性的结果,即使是有限的一类并发游戏,非零奖励只发生在终端状态。此外,我们表明,约束存在性问题是不可判定的,不仅并发游戏,但回合制游戏具有相同的限制奖励。最后,我们证明了(纯的或随机的)平稳策略的纳什均衡的约束存在性问题是可判定的,并分析了它的复杂性。
2011-09-28 cs.CC cs.GT
Provable Policy Gradient Methods for Average-Reward Markov Potential Games
Texas A&M University(德克萨斯农工大学);Univeristy of California, LA(加州大学洛杉矶分校)
该研究针对平均回报马尔可夫势博弈,证明了多种策略梯度算法的全局收敛性,给出了时间与样本复杂度分析,并通过仿真验证了相关结论。
2024-03-09 cs.GT cs.LG
Inference of Altruism and Intrinsic Rewards in Multi-Agent Systems
University of Neuchâtel(纳沙泰尔大学)
本文利用多智能体逆强化学习框架,通过贝叶斯技术将智能体置于不同群体以可靠识别其内在奖励与利他倾向,实现了内在动机与利他主义的解耦,从而能够合成符合任意期望利他水平的新行为。
2025-11-04 cs.GT
Learning in Multi-Memory Games Triggers Complex Dynamics Diverging from Nash Equilibrium
本研究将复制器动力学和梯度上升扩展至多重记忆博弈,证明两者动力学相同,并发现其在零和博弈中偏离纳什均衡形成异宿循环。
2023-05-22 cs.GT cs.MA math.OC
A Two-Player Resource-Sharing Game with Asymmetric Information
本文研究具有非对称信息的双人资源共享博弈,提出迭代最佳响应算法寻找近似纳什均衡,并针对互不信任场景开发了结合在线凸优化与漂移加惩罚技术的算法以最大化最坏情况期望效用。
2023-09-18 cs.GT math.OC
Games with Delays. A Frankenstein Approach
我们研究有限图上的无限博弈,其中信息流受到不确定信号延迟的干扰。众所周知,在一般情况下,这样的扰动使得合成问题实际上是不可解的。在经典模型中,信号被附加到状态,易处理的情况是罕见的,难以识别。在这里,我们提出了一个模型,其中信号从控制状态分离,我们确定了一个子类上的平衡结果可以被保存,即使信号的延迟是有界的。为了抵消扰动,我们的解决方案的过程相结合的反应,从一个集合的虚拟播放后,在即时信号游戏的均衡策略合成,在弗兰肯斯坦的方式,一个等效的均衡策略的延迟信号游戏。
2015-06-12 cs.GT
Existential Theory of the Reals Completeness of Stationary Nash Equilibria in Perfect Information Stochastic Games
我们证明了在多人完全信息递归博弈(即具有终端报酬的随机博弈)中,是否存在一个确保每个人都有一定收益的稳态纳什均衡的问题是实数势理论完备的.我们的结果适用于非循环游戏,其中纳什均衡可以通过逆向归纳法有效地计算,甚至适用于具有非负终端奖励的确定性非循环游戏。我们进一步扩展我们的结果,一个单一的球员肯定是赢家的纳什均衡的存在。将所得结果与已知的无平稳纳什均衡的小工具博弈相结合,得到了对于循环博弈,只要判定存在平稳纳什均衡就是势理论的实数完备性.这适用于到达集合博弈、停留集合博弈和确定性递归博弈。
2020-07-06 cs.CC cs.GT
ReLExS: Reinforcement Learning Explanations for Stackelberg No-Regret Learners
ETH Zurich(苏黎世联邦理工学院)
本文研究了双人 Stackelberg 博弈中跟随者受无悔约束时的均衡问题,证明了在无悔约束及特定跟随者策略下玩家仍能达到 Stackelberg 均衡,并给出了效用差的严格上界及常和博弈下总效用的有界性保证。
2024-08-26 cs.GT cs.LG
Anti-Jamming Games in Multi-Band Wireless Ad Hoc Networks
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
针对多用户的多频段无线自组织网络,研究了用户与干扰源之间的抗干扰博弈问题。在这个游戏中,用户(resp。干扰器)想要最大化(相应地,最小化)用户的预期回报,考虑到诸如通信速率、跳频成本和干扰损失的各种因素。我们分析了军备竞赛的游戏和推导出最佳的跳频策略在军备竞赛的每个阶段的马尔可夫决策过程(MDP)的基础上。分析表明,军备竞赛经过几个回合后达到一个均衡,并在均衡点处给出了跳频策略和干扰策略的特征。我们提出了两种冲突避免协议,以确保在每个频带中最多有一个用户进行通信,并提供各种数值结果,显示奖励参数和冲突避免协议的最优跳频策略和期望的奖励在平衡的影响。此外,我们还讨论了干扰机采用一些不可预测的干扰策略的情况下的均衡。
2022-06-11 cs.GT cs.IT cs.LG