Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
训练多智能体强化学习(MARL)算法比训练单智能体强化学习算法更具挑战性,因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法,提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中,一般有两类代理人:合作代理人和竞争代理人。在该算法中,每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数,将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后,每个代理使用有偏的动作信息更新其自己的价值函数,从而产生有偏的价值函数和相应的有偏策略。随后,每个代理人的偏见政策不可避免地受到建议的行动,合作和竞争与其他代理人,从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明,我们的算法优于现有的算法在各种混合的合作竞争环境。此外,随着训练的进行,引入的偏差逐渐减小,并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Multi-Agent Interplay in a Competitive Survival Environment
Sapienza University of Rome(罗马第一大学)
解决硬探索环境是强化学习的一个重要挑战。目前已经提出并研究了几种方法,如内在动机、Agent与任务的协同进化、多Agent竞争等。特别是,多个代理之间的相互作用已被证明能够产生与人类相关的紧急行为,这在单代理设置中很难或不可能学习。在这项工作中,一个可扩展的竞争环境,多智能体相互作用,其特点是现实的物理和人类相关的语义。此外,在此环境的不同变体上进行了几次实验,得到了一些简单的紧急策略和未来改进的具体方向。这里介绍的内容是作者的论文“多智能体相互作用在竞争性生存环境”的硕士学位人工智能和机器人在罗马大学,2022年。
2023-01-19 cs.AI cs.LG cs.MA
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
McGill University(麦吉尔大学);OpenAI(开放人工智能研究中心);UC Berkeley(加州大学伯克利分校)
我们探索多智能体领域的深度强化学习方法。我们首先分析了传统算法在多代理情况下的困难:Q-学习受到环境固有的非平稳性的挑战,而策略梯度受到随着代理数量增加而增加的方差的影响。然后,我们提出了一个适应的演员-评论家的方法,认为其他代理的行动政策,并能够成功地学习政策,需要复杂的多代理协调。此外,我们引入了一个训练方案,利用合奏的政策,每个代理,导致更强大的多代理政策。我们展示了我们的方法相比,现有的方法在合作以及竞争的情况下,代理人口能够发现各种物理和信息的协调策略的实力。
2020-03-14 cs.AI cs.LG cs.NE
A Competitive Analysis of Online Multi-Agent Path Finding
Simon Fraser University(西蒙菲莎大学)
我们研究在线多智能体路径查找(MAPF),新的代理人不断揭示随着时间的推移,所有的代理人必须找到无冲突的路径到他们给定的目标位置。我们推广现有的复杂性结果(离线)MAPF在线MAPF。我们根据(1)可控性(每次可以规划路径的代理集)和(2)合理性(规划路径的质量)将在线MAPF算法分为不同的类别,并研究它们之间的关系。我们进行了竞争分析,每一类的在线MAPF算法的常用目标函数。我们表明,一个天真的算法,路由新发现的代理商一次一个序列实现了竞争力的比率,是渐近有界的从下面和上面的代理商的数量相对于流时间和完工时间。然后,我们展示了一个反直观的结果,如果重新路由以前发现的代理是不允许的,任何合理的在线MAPF算法,包括计划的最佳路径为所有新发现的代理,有相同的渐近竞争比的天真算法,即使在二维4-邻居网格。我们还推导出任何合理的在线MAPF算法,允许重新路由的竞争比恒定的下界。因此,结果提供了理论上的见解,使用MAPF算法在在线设置的有效性第一次。
2021-06-22 cs.AI cs.MA cs.RO
Balancing Rational and Other-Regarding Preferences in Cooperative-Competitive Environments
HSE University(高等经济大学);JetBrains Research(JetBrains研究院)
最近的强化学习研究广泛探讨了混合环境中合作和竞争行为之间的相互作用。与合作环境中的代理人努力实现共同目标不同,混合环境因自私和社会利益的冲突而臭名昭着。因此,纯粹理性的行为者往往很难实现和维持合作。诱导合作行为的一种普遍方法是根据其他代理人的福利分配额外的奖励。然而,这种方法受到多代理信用分配的问题,这可能会阻碍性能。在协同设置中,QMIX和COMA等最先进的算法有效地缓解了这个问题。尽管如此,当应用于混合环境时,这些算法可能会导致不公平的奖励分配。我们提出了BAROCCO,这些算法的扩展能够平衡个人和社会的激励。BAROCCO背后的机制是训练两个不同但相互交织的组件,共同影响每个代理的决策。我们的元算法兼容Q学习和Actor-Critic框架。我们通过实验证实了现有方法的优势,并在两个混合的多智能体设置的行为方面的BAROCCO探索。
2021-02-24 cs.AI cs.LG cs.MA
A Theory of Bounded Inductive Rationality
Carnegie Mellon University(卡内基梅隆大学);Machine Intelligence Research Institute(机器智能研究所)
本文提出不依赖逻辑全知假设的有界归纳理性理论,要求智能体无限次检验可高效计算的假设并遵循兑现高回报承诺者,进而证明其具有理想学习性质,并给出策略互动中的民间定理。
2023-07-11 cs.AI cs.GT cs.LG
Competitive Safety Analysis: Robust Decision-Making in Multi-Agent Systems
人工智能中的许多工作都涉及在给定(已知或未知)环境中选择适当的动作。然而,在面对其他代理人时,如何选择适当的行动是相当不清楚的。人工智能领域的大多数工作都采用经典的博弈论均衡分析来预测智能体在这种环境下的行为。然而,这种方法并不能为我们的代理商提供任何保证。本文介绍了竞争安全分析。这种方法弥合了所需的规范性人工智能方法与均衡分析之间的差距,在规范性人工智能方法中,应该选择一种策略以保证所需的回报。我们表明,一个安全级别的战略是能够保证在纳什均衡中获得的价值,在几个经典的计算机科学设置。然后,我们讨论的竞争安全策略的概念,并说明其使用在一个分散的负载均衡设置,典型的网络问题。特别是,我们表明,当我们有许多代理人,它是可能的,以保证预期的回报,这是一个因素的8/9的回报中获得的纳什均衡。我们讨论的竞争安全分析分散负载均衡进一步发展,以处理许多通信链路和任意的速度。最后,我们讨论了上述概念的贝叶斯博弈的扩展,并说明了它们的使用在一个基本的拍卖设置。
2011-06-22 cs.AI cs.GT
LLM-Hanabi: Evaluating Multi-Agent Gameplays with Theory-of-Mind and Rationale Inference in Imperfect Information Collaboration Game
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China(计算机科学与工程系,香港科技大学,香港特别行政区,中国)
本研究提出新型基准LLM-Hanabi,基于合作博弈Hanabi评估大语言模型的行为逻辑推断与心智理论能力,发现一阶心智理论对协作表现的影响强于高阶推理,为提升多智能体协作能力指明方向。
2025-10-06 cs.AI cs.CL
Towards Rationality in Language and Multimodal Agents: A Survey
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学);Argonne National Laboratory(阿贡国家实验室)
本文综述语言与多模态智能体的理性研究,梳理多智能体、外部工具、符号推理及风险控制等增强方法,并指出挑战与未来方向。
2025-02-16 cs.AI cs.CL cs.CV
On Emergent Communication in Competitive Multi-Agent Teams
Carnegie Mellon University(卡内基梅隆大学)
最近的几项研究发现,在大多数合作多智能体系统开发的通信协议中,当学习端到端以最大限度地提高下游任务的性能时,会出现接地组合语言。然而,人类不仅在完全合作的环境中,而且在竞争作为改进的额外外部压力的情况下,学会解决涉及沟通行为的复杂任务。在这项工作中,我们调查是否竞争的性能从外部,类似的代理团队可以作为一个社会的影响,鼓励多代理人口开发更好的通信协议,以提高性能,组合性和收敛速度。我们从之前提出的两个合作代理之间的参考游戏“任务与谈话”作为我们的测试平台开始,并将其扩展到“任务、谈话与竞争”,这是一个涉及两个竞争团队的游戏,每个团队由两个上述合作代理组成。使用这种新的设置,我们提供了一个实证研究,展示了竞争的影响力对多智能体团队的影响。我们的研究结果表明,外部竞争的影响,导致提高准确性和概括性,以及更快地出现的交际语言,是更多的信息和成分。
2020-07-16 cs.AI cs.CL cs.LG
Modelling Bounded Rationality in Multi-Agent Interactions by Generalized Recursive Reasoning
University College London(伦敦大学学院);Huawei Research & Development U.K.(华为英国研发中心)
虽然在现实世界的决策有限,大多数多智能体强化学习(MARL)模型假设完全理性的代理-属性很难满足由于个人的认知限制和/或决策问题的易处理性。在本文中,我们引入广义递归推理(GR 2)作为一种新的框架模型代理不同的\emph{hierarchical}水平的合理性,我们的框架使代理表现出不同程度的“思考”能力,从而使更高级别的代理最好地应对各种不太复杂的学习者。我们在理论和经验上都有贡献。在理论方面,我们通过概率图模型设计了GR 2的层次框架,并证明了一个完美的贝叶斯均衡的存在性。在GR 2中,我们提出了一个实用的actor-critic求解器,并通过李雅普诺夫分析证明了其收敛到两人博弈中的稳定点。在实证方面,我们验证了我们的研究结果的各种MARL基准。准确地说,我们首先说明了凯恩斯选美比赛的层次思维过程,然后展示了显着的改进相比,国家的最先进的对手建模基线的正常形式的游戏和合作导航基准。
2020-01-20 cs.AI cs.LG cs.MA
FightLadder: A Benchmark for Competitive Multi-Agent Reinforcement Learning
Princeton University(普林斯顿大学)
本研究提出了面向竞争性多智能体强化学习的轻量级开源基准FightLadder,配套前沿算法实现与评估指标,验证了平台可行性并揭示了无人类知识下训练不可利用智能体的难度,助力该领域研究发展。
2024-06-24 cs.AI cs.LG cs.MA
Towards a Unifying Model of Rationality in Multiagent Systems
Delft University of Technology(代尔夫特理工大学);Aalto University(阿尔托大学)
本文提出一个基于遗憾定义理性的社会智能智能体通用模型,使个体理性学习者能够实现帕累托有效的合作,并探讨其对构建鲁棒多智能体系统的意义。
2023-05-29 cs.AI cs.GT cs.MA
Stability of Multi-Agent Learning in Competitive Networks: Delaying the Onset of Chaos
Imperial College London(帝国理工学院)
该研究摒弃零和博弈假设,通过参数化网络博弈的统计方法分析竞争网络中Q-Learning动力学的收敛性,发现其稳定性仅依赖网络连通性而非智能体总数,且特定网络下增规模不会提升混沌行为概率。
2023-12-19 cs.AI cs.GT cs.MA
ChargingBoul: A Competitive Negotiating Agent with Novel Opponent Modeling
Joe Shymanski(独立研究者)
ChargingBoul通过平衡让步与对手建模,在自动化谈判竞赛中取得优异成绩,展示了其在多策略对手环境中的高效谈判能力。
2025-12-06 cs.AI cs.MA
Evolving Strategies for Competitive Multi-Agent Search
University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
本文将人类创造性问题求解形式化为竞争性多智能体搜索(CMAS),利用进化计算在NK模型上演化出比手工及传统树搜索策略更有效的专用与通用策略,并借助球面可视化揭示成功机制,为研究人类创新活动提供新框架。
2023-07-01 cs.AI cs.LG cs.MA
Agile Flight Emerges from Multi-Agent Competitive Racing
University of Rome Tor Vergata(罗马大学Tor Vergata);University of Pennsylvania(宾夕法尼亚大学)
本研究通过多智能体竞争训练,发现稀疏奖励足以让智能体实现现实中的敏捷飞行和策略控制。
2026-03-03 cs.AI cs.MA cs.RO
Hypergame Rationalisability: Solving Agent Misalignment In Strategic Play
Royal Holloway University of London(伦敦皇家霍洛威大学)
本文提出了一种基于逻辑的领域特定语言,用于编码超游戏结构和解决方案概念,通过答案集编程实现自动流程,解决战略博弈中的代理不一致问题。
2025-12-12 cs.AI cs.FL cs.GT
Strategically Efficient Exploration in Competitive Multi-agent Reinforcement Learning
TU Delft(代尔夫特理工大学);Microsoft Research NYC(微软研究院纽约);Microsoft Research Cambridge(微软研究院剑桥)
高样本复杂性仍然是强化学习(RL)应用的障碍,特别是在多智能体系统中。大量的研究表明,基于不确定条件下乐观原则的探索机制可以显著提高强化学习在单智能体任务中的样本效率。这项工作旨在了解乐观的探索在非合作的多智能体设置的作用。我们将证明,在零和游戏中,乐观的探索可能会导致学习者浪费时间采样与策略游戏无关的状态空间部分,因为它们只能通过双方玩家之间的合作才能实现。为了解决这个问题,我们引入了一个正式的概念,战略有效的探索在马尔可夫游戏,并使用此开发两个战略有效的学习算法有限马尔可夫游戏。我们证明,这些方法可以显着更有效的样本比他们乐观的同行。
2021-07-30 cs.AI cs.LG cs.MA
Learning to Communicate and Collaborate in a Competitive Multi-Agent Setup to Clean the Ocean from Macroplastics
Aleph Alpha;Stuttgart(斯图加特)
本研究提出基于图神经网络的通信机制,使多智能体在竞争性清理海洋大塑料任务中通过二进制信号协作,显著提升集体清理性能并平衡竞争与协作。
2024-11-06 cs.AI cs.LG cs.MA
Minimax Exploiter: A Data Efficient Approach for Competitive Self-Play
McGill University(麦吉尔大学);Ubisoft Montreal(育碧蒙特利尔)
本文提出 Minimax Exploiter,通过博弈论方式利用对手知识提升竞争性自博弈的数据效率,并在多种游戏环境中验证其稳定性和优于强基线的表现。
2023-11-28 cs.AI cs.LG cs.MA
Bounded Rationality Equilibrium Learning in Mean Field Games
本文将有限理性引入平均场博弈,提出量化响应均衡(QRE)与滚动范围(RH)MFGs,并设计广义不动点迭代和虚拟博弈算法学习这些均衡,通过理论分析与示例评估验证了方法有效性。
2025-01-30 cs.AI cs.GT cs.LG
Learning when to Communicate at Scale in Multiagent Cooperative and Competitive Tasks
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
在多智能体任务中,学习何时进行通信并有效地进行通信是必不可少的。最近的工作表明,连续通信允许多智能体场景中的反向传播进行有效的训练,但仅限于完全合作的任务。本文提出了个体化控制的连续通信模型(IC3Net),该模型比简单的连续通信模型具有更好的训练效率,并且可以与合作环境一起应用于半合作和竞争环境。IC3Net通过门控机制控制持续通信,并为每个代理使用个性化奖励,以获得更好的性能和可扩展性,同时解决信用分配问题。使用各种任务,包括星际争霸BroodWars探索和战斗场景,我们表明,随着规模的增加,我们的网络比基线产生更好的性能和收敛速度。我们的研究结果表明,IC3Net代理学习何时根据场景和盈利能力进行通信。
2018-12-23 cs.AI cs.LG cs.MA
Learning from Learners: Adapting Reinforcement Learning Agents to be Competitive in a Card Game
Istituto Italiano di Tecnologia(意大利理工学院)
学习如何适应复杂和动态的环境是有助于我们智力的最重要因素之一。赋予人工智能这种能力并不是一项简单的任务,特别是在竞争激烈的情况下。在本文中,我们提出了一个广泛的研究如何流行的强化学习算法可以适应和实现学习和发挥现实世界的实现竞争性多人纸牌游戏。我们提出了具体的训练和验证例程的学习代理,以评估代理如何学习竞争力,并解释他们如何适应对方的打法。最后,我们指出每个代理的行为是如何从他们的学习风格中衍生出来的,并为未来在这种情况下的研究创建一个基线。
2020-04-08 cs.AI
Natural Emergence of Heterogeneous Strategies in Artificially Intelligent Competitive Teams
Carnegie Mellon University(卡内基梅隆大学)
混合合作竞争环境中的多智能体策略很难手工制作,因为每个智能体在与对手竞争的同时需要与队友协调。基于学习的算法是有吸引力的,但许多情况下需要异构代理行为的团队的成功,这增加了学习算法的复杂性。在这项工作中,我们开发了一个有竞争力的多智能体环境称为FortAttack中,两个团队相互竞争。我们证实,用图神经网络对代理进行建模,并用强化学习对它们进行训练,会导致每个团队的策略越来越复杂。我们观察到一个自然出现的异构行为之间的同质代理时,这种行为可以导致团队的成功。来自同质代理的这种异质行为是有吸引力的,因为任何代理都可以在测试时替换另一个代理的角色。最后,我们提出了集成训练,在其中,我们利用进化的对手的战略,训练一个单一的政策,友好的代理。
2020-07-06 cs.AI
Integrating Machine Learning into Belief-Desire-Intention Agents: Current Advances and Open Challenges
本文以BDI范式为参照,系统梳理了将机器学习融入理性智能体的现有方法,指出领域碎片化问题,并总结了设计有效理性ML智能体的关键机遇与开放挑战。
2025-10-23 cs.AI
ERPBench: Evaluating LLM Agents for Enterprise Decision-Making Across Competitive Market Ecologies
Shanghai Innovation Institute(上海创新研究院);Beijing Institute of Technology(北京理工大学);Shanghai Jiao Tong University(上海交通大学)
本研究推出带执行检测的ERPBench基准,评估LLM智能体在两种竞争市场生态的企业决策能力,发现模型排名在生态间迁移性差,为企业智能体评估提供新基准。
2026-09-07 cs.AI
Self-Modification of Policy and Utility Function in Rational Agents
Australian National University(澳大利亚国立大学)
任何与环境交互的智能体,如果它有多功能的执行器(比如手臂和手指),原则上都有自我修改的能力,比如修改自己的源代码。随着我们继续创造越来越多的智能体,他们学习这种能力的机会也会增加。问题是:他们愿意使用它吗?例如,高度智能的系统可能会找到方法将其目标改变为更容易实现的目标,从而“逃脱”其设计者的控制。Omohundro(2008)在一篇重要的论文中指出,目标保持是任何智能系统的基本驱动力,因为如果未来版本的智能体朝着同一目标努力,那么目标更有可能实现。在本文中,我们将这一论点形式化为一般的强化学习,并探讨它失败的情况。我们的结论是,自我修改的可能性是无害的,当且仅当价值函数的代理预期的后果自我修改,并使用当前的效用函数时,评估未来。
2016-05-10 cs.AI
Solvita: Enhancing Large Language Models for Competitive Programming via Agentic Evolution
Nanjing University(南京大学);Tsinghua University(清华大学);Independent Researcher(独立研究者)
Solvita通过闭环系统和可训练知识网络,使代理动态学习,提升编程竞赛任务的准确性和经验积累。
2026-05-14 cs.AI
Performance of Bounded-Rational Agents With the Ability to Self-Modify
Basic Algorithms Research Copenhagen (BARC)(哥本哈根基础算法研究院);Univ. of Copenhagen(哥本哈根大学);University of Oxford(牛津大学)
嵌入在复杂环境中的代理的自我修改是难以避免的,无论是通过直接方式(例如自己的代码修改)还是间接方式(例如影响操作员,利用错误或环境)。有人认为,智能代理有动机避免修改其效用函数,使其未来的实例朝着相同的目标工作。Everitt et al.(2016)正式表明,提供自我修改的选项对于完全理性的代理人来说是无害的。我们表明,这一结果不再是真实的代理有限理性。在这样的代理中,自我修改可能导致性能的指数恶化和先前对准的代理的逐渐失准。我们研究了这种效应的大小如何取决于代理人理性中缺陷的类型和大小(下面1-4)。我们还讨论了模型假设和更广泛的问题和框架空间。我们研究了代理可以被限制理性的四种方式:它要么(1)不总是选择最佳行动,(2)与人类价值观不完全一致,(3)具有不准确的环境模型,或者(4)使用错误的时间贴现因子。我们表明,虽然在情况(2)-(4)中,由代理的不完美性引起的不对准不会随着时间的推移而增加,但(1)不对准可能呈指数增长。
2021-01-18 cs.AI cs.CY
Online Bayesian Goal Inference for Boundedly-Rational Planning Agents
Massachusetts Institute of Technology(麻省理工学院)
人们通常通过观察他人的行为来推断他们的目标。值得注意的是,即使这些行动导致失败,我们也可以这样做,使我们能够在发现他人可能无法实现目标时帮助他们。我们如何才能赋予机器类似的能力?在这里,我们提出了一个架构,能够推断代理的目标在线从最佳和非最佳的行动序列。我们的架构模型代理有限理性规划者交错搜索与执行重新规划,从而占次优行为。这些模型被指定为概率程序,使我们能够代表和执行有效的贝叶斯推理代理的目标和内部规划过程。为了进行这样的推理,我们开发了顺序逆计划搜索(SIPS),顺序蒙特卡罗算法,利用这些模型的在线重新规划假设,限制计算增量扩展推断的计划,观察到新的行动。我们提出的实验表明,这种建模和推理架构优于贝叶斯逆强化学习基线,准确地从涉及失败和回溯的最佳和非最佳轨迹推断目标,同时在具有组成结构和稀疏奖励的域中进行推广。
2020-10-25 cs.AI
Moody Learners -- Explaining Competitive Behaviour of Reinforcement Learning Agents
Italian Institute of Technology (IIT)(意大利理工学院);Universidad Central de Chile(智利中央大学);Deakin University(迪肯大学)
设计参与竞争互动的人工智能体的决策过程是一项具有挑战性的任务。在竞争场景中,智能体不仅具有动态环境,而且还直接受到对手行为的影响。观察智能体的Q值通常是解释其行为的一种方式,然而,并不显示所选动作之间的时间关系。我们通过提出\emph{Moody framework}来解决这个问题。我们评估我们的模型进行了一系列的实验,使用竞争性的多人厨师帽纸牌游戏,并讨论我们的模型如何让代理人的获得一个整体的代表性的竞争动态的游戏。
2020-07-30 cs.AI cs.LG cs.MA
Memory-Induced Supra-Competitive Outcomes Between Deep Reinforcement Learning Agents in Optimal Trade Execution
Institute of Finance and Technology, University College London(金融与技术研究所,伦敦大学学院);UZH Blockchain Center(苏黎世大学区块链中心)
本文研究了在共享的最优执行环境中交互的深度强化学习代理是否能维持超竞争性结果,即在实现短损方面优于博弈论竞争基准。研究了一个双代理阿尔梅伦-克里斯特流动性清算游戏,并探讨了学习行为如何依赖于回合内环境反馈、解读中间价格的能力以及代理对过去的了解。我们首先使用事前调度学习代理来去除回合内反馈,以确定当代理在执行开始前承诺完成清算轨迹时会发生什么。然后允许代理使用多种DDQN架构根据演进的状态进行条件判断。我们发现,当代理能够访问回合内历史,特别是近期价格和自身过去行为时,超竞争性结果变得更加频繁和持久。这些发现表明,这种执行游戏中的超竞争性行为并非由多代理学习或当前价格观察单独驱动,而是由反馈、记忆和沿实际执行路径的状态依赖性交互驱动。
2026-05-19 cs.AI q-fin.CP
Decision-Making Among Bounded Rational Agents
Indiana University(印第安纳大学);Expedia Group(亿客行集团)
当机器人与其他智能代理共享同一工作空间时(例如,其他机器人或人类),它们必须能够在完成指定任务的同时对其邻近代理的行为进行推理。在实践中,由于计算资源的有限性,智能体往往不会表现出绝对理性的行为。因此,预测最佳代理行为是不期望的(因为它需要禁止的计算资源)和不期望的(因为预测可能是错误的)。出于这一观察,我们删除了假设的完全理性的代理人,并建议将有限理性的概念从信息论的观点到博弈论的框架。这允许机器人推理其他代理的次优行为,并在其计算约束下相应地采取行动。具体地说,有限理性直接模拟了智能体的信息处理能力,表现为标称随机策略和最优随机策略之间的KL-分歧,而有界最优策略的解可以通过有效的重要性采样方法获得.在多机器人导航任务中使用模拟和真实世界的实验,我们证明了所得到的框架允许机器人对其他代理的不同层次的理性行为进行推理,并在其计算约束下计算出合理的策略。
2022-10-17 cs.AI cs.MA cs.RO
Automated Machine Learning, Bounded Rationality, and Rational Metareasoning
LMU Munich(慕尼黑大学);Universidad de La Sabana(拉萨巴纳大学);Paderborn University(帕德博恩大学)
有限理性的概念起源于这样一种认识,即完全理性的行为不能由具有有限认知或计算资源的代理实现。有限理性的研究主要由赫伯特·西蒙(Herbert Simon)发起,在经济学和社会科学中有着悠久的传统,但在现代人工智能和智能代理设计中也发挥着重要作用。在有限的资源下采取行动需要代理反思如何以最佳方式使用这些资源-因此,在元级别上进行推理和决策。在本文中,我们将从有限理性的角度来看待自动机器学习(AutoML)和相关问题,基本上将AutoML工具视为必须在给定数据集上训练模型的代理,并寻找一种好的方法(合适的“ML管道”)作为元级别上的审议。
2021-09-10 cs.AI cs.LG
PillagerBench: Benchmarking LLM-Based Agents in Competitive Minecraft Team Environments
Department of Mathematics and Computer Science, Eindhoven University of Technology(埃因霍温理工大学数学与计算机科学系);Department of Informatics, King’s College London(伦敦国王学院信息学系);Department of Computer Science, University of Liverpool(利物浦大学计算机科学系)
针对LLM智能体在竞争性多智能体环境中评估不足的问题,提出PillagerBench基准框架和TactiCrafter多智能体系统,通过可扩展API和策略学习实现优于基线并自适应进化。
2025-09-07 cs.AI cs.MA
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology(意大利理工学院);University of British Columbia(英属哥伦比亚大学)
强化学习与社会代理的最新进展使我们能够在一些交互任务上实现人类水平的性能。然而,大多数交互式场景并不具有单独的最终目标性能;相反,这些代理人与人类交互时的社会影响同样重要,并且在大多数情况下,从未正确探索过。这项预注册研究的重点是提供一种基于竞争性社会影响的新型学习机制。我们的场景探索了不同的基于强化学习的智能体与人类玩家玩竞争性纸牌游戏。基于竞争性竞争的概念,我们的分析旨在研究我们是否可以从人类的角度改变对这些代理人的评估。
2020-11-02 cs.AI cs.LG
Emergent Risk Awareness in Rational Agents under Resource Constraints
University of Oxford(牛津大学)
本文通过生存老虎机框架研究资源约束下AI代理的涌现风险意识,量化生存驱动的偏好转移,识别错位条件并提出缓解机制,以增强可解释性并指导安全部署。
2025-09-24 cs.AI cs.LG
Modeling Boundedly Rational Agents with Latent Inference Budgets
MIT(麻省理工学院);University of Washington(华盛顿大学)
提出L-IBM,通过联合推断的潜在变量显式建模智能体计算约束,并在导航、交际和国际象棋任务中达到或超过Boltzmann模型。
2023-12-07 cs.AI cs.LG
Bio AI Agent: A Multi-Agent Artificial Intelligence System for Autonomous CAR-T Cell Therapy Development with Integrated Target Discovery, Toxicity Prediction, and Rational Molecular Design
Bio LIMS INC(Bio LIMS公司)
针对CAR-T疗法开发周期长、临床损耗率高的问题,提出多智能体系统Bio AI Agent,通过六个专业智能体协作自主完成靶点选择、毒性预测等CAR-T开发全流程,回顾性验证效果显著,可加速免疫疗法转化。
2025-11-11 cs.AI q-bio.QM
Reinforcement Learning Interventions on Boundedly Rational Human Agents in Frictionful Tasks
Harvard University(哈佛大学)
针对摩擦型行为改变场景的快速可解释个性化干预需求,提出BMRL框架,通过干预有限理性人类的MDP参数实现规划,经理论与实证验证可在复杂真实人类场景中生成有效策略。
2024-01-26 cs.AI cs.LG
Can LLM Agents Price Competitively? A Dynamic Multi-Attribute Auction Benchmark for Agentic Commerce
Visa Research(维萨研究院)
本研究推出动态多属性拍卖基准Bazaar,测试11个前沿LLM智能体的定价能力,发现其在客户获取与利润表现上存在差异,需求冲击下排名变化,最强智能体仅获不到三分之一最优利润,显示仍有提升空间。
2026-08-04 cs.AI cs.MA
Simulating the Economic Impact of Rationality through Reinforcement Learning and Agent-Based Modelling
Università di Trieste(的里雅斯特大学);Banca d’Italia(意大利银行);Università Cattolica del Sacro Cuore(圣心天主教大学)
本文提出理性宏观 ABM(R-MABM)框架,将多智能体强化学习引入经济仿真,发现理性智能体能自发学习多种利润最大化策略并分化群体,其数量增加可提升总产出但可能加剧不稳定性。
2024-10-21 cs.AI cs.CE cs.LG
Modeling the Mistakes of Boundedly Rational Agents Within a Bayesian Theory of Mind
MIT(麻省理工学院)
在推断他人试图实现的目标时,人们直觉地理解,其他人可能会犯错误。这对于教学、提供帮助以及在责备或宽恕之间做出决定等活动至关重要。然而,心理理论的贝叶斯模型通常没有考虑到这些错误,而是将代理建模为实现其目标的最佳模式。因此,他们无法解释像把自己锁在门外,或输了一盘棋这样的现象。在这里,我们扩展了贝叶斯心理理论框架,以建模可能有错误的目标,计划和行动的有限理性代理。我们形式化的建模代理作为概率程序,目标可能会混淆语义相似的状态,计划可能会被误导,由于资源有限的规划,和行动可能是无意的,由于执行错误。我们目前的实验引发人类的目标推理在两个领域:(一)gridworld难题与宝石锁在门后,(ii)块堆叠域。我们的模型更好地解释了人类的推论,而不是替代品,同时跨领域推广。这些发现表明,为了解释人类直觉心理的丰富性,将他人建模为有界代理人的重要性。
2021-06-24 cs.AI q-bio.NC
Emergent Communication under Competition
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Schwartz Reisman Institute(施瓦茨·赖斯曼研究所);University of Toronto(多伦多大学);Deepmind(深度思维)
现代机器学习中的文献对于使用标准RL学习竞争代理之间的通信只有负面结果。我们引入了一个修改后的发送者-接收者的游戏,研究频谱的部分竞争的情况下,并显示通信确实可以出现在一个有竞争力的设置。我们实证证明了未来研究的三个关键要点。首先,我们表明,通信是成比例的合作,它可以发生部分竞争的情况下,使用标准的学习算法。其次,我们强调沟通和操纵之间的区别,并将以前的沟通指标扩展到竞争案例。第三,我们研究了谈判游戏,其中以前的工作未能学习独立代理之间的通信(曹等人,2018年)。我们表明,在这种情况下,双方代理人必须受益于沟通,它的出现,并且,稍微修改的游戏,我们展示了成功的竞争代理人之间的沟通。我们希望这项工作能推翻误解,并激发更多的研究竞争性新兴通信。
2021-01-25 cs.AI cs.LG cs.MA
Evaluation of Multi-Turn Consistency in LLM Agents: Survival Analysis and Failure-Rationale Taxonomy
Carleton University(卡尔顿大学)
本研究通过20步延迟满足实验和84,540条轨迹,结合生存分析与理由分类学,评估了LLM智能体在多轮交互中的时间一致性,发现深思与矛盾率相关,并揭示了模型特定的失败指纹。
2026-09-25 cs.AI cs.CL cs.LG
Systems of bounded rational agents with information-theoretic constraints
Institute of Neural Information Processing(神经信息处理研究所);Faculty of Engineering, Computer Science and Psychology(工程、计算机科学与心理学学院);University of Ulm(乌尔姆大学)
专业化和等级组织是经济、人工和生物系统中有效协作的重要特征。在这里,我们调查的假设,这两个功能可以解释的事实,这样一个系统的每个实体是有限的,以某种方式。我们提出了一种基于自由能原理的信息理论方法,以计算分析系统的有限理性代理,最佳地处理这种限制。我们发现,专业化可以专注于更少的任务,从而导致更有效的执行,但反过来又需要协调的层次结构的专业专家和协调单位。我们的研究结果表明,层次结构的专业单位在较低的水平,协调单位在较高的水平是最佳的,考虑到每个单位的信息处理能力是有限的,符合复杂性成本的约束。
2018-09-16 cs.AI cs.IT cs.MA
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
Central University of Finance and Economics(中央财经大学);iFLYTEK(科大讯飞);Zhejiang University(浙江大学);Amazon(亚马逊);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
反事实思维是指人们对已经发生的事情用不同的解决方案重新推断可能的结果的心理现象。它帮助人们从错误中获得更多的经验,从而在未来类似的任务中表现得更好。本文研究了在多智能体强化学习环境中智能体寻找最优决策策略的反事实思维。特别是,我们提出了一个多智能体深度强化学习模型,其结构模仿人类心理的反事实思维过程,以提高智能体的竞争能力。为此,我们的模型生成了几个可能的行动(意图行动)与一个并行的政策结构,并估计这些意图行动的奖励和遗憾的基础上,其当前的理解环境。我们的模型采用了一个基于ESTA的框架,将估计的遗憾与其内部政策联系起来。在迭代过程中,我们的模型更新的并行策略和相应的基于代理的遗憾。为了验证我们提出的模型的有效性,我们进行了广泛的实验,在两个不同的环境与现实世界的应用程序。实验结果表明,反事实思维实际上可以使智能体在保持高执行效率的同时,通过与对手进行比较,从公平信息的环境中获得更多的累积奖励。
2019-08-16 cs.AI cs.LG cs.MA
LLM-Based Agents for Competitive Landscape Mapping in Drug Asset Due Diligence
LanceBio Ventures;AI Expert
本文提出一种基于大语言模型的竞品发现 agent,通过结构化数据处理提升药物资产尽调效率,实现竞品检索与属性标准化,实验结果显示其召回率优于现有系统。
2026-05-08 cs.AI cs.IR cs.MA
A maximum entropy model of bounded rational decision-making with prior beliefs and market feedback
Centre for Complex Systems, The University of Sydney(悉尼大学复杂系统中心);Securities Industry Research Centre of Asia-Pacific(亚太证券业研究中心);CoreLogic, Inc.(CoreLogic公司)
有限理性是一个重要的考虑因素,因为智能体的处理能力往往有限,使得完美理性的假设不适用于许多实际任务。我们提出了一个信息理论的方法来推断代理决策史密斯竞争。该模型明确地捕捉代理的有界性(有限的信息处理能力)作为信息获取的成本,以扩大他们的先验信念。扩展被测量为后验决策和先验信念之间的Kullblack-Leibler分歧。当信息获取是免费的,经济人代理恢复,而在情况下,当信息获取变得昂贵,代理,而不是恢复到他们以前的信念。最大熵原理是用来推断最少偏置的决定的基础上正式的量子响应统计均衡框架内的史密斯竞争的概念。将先前的信念纳入这样一个框架,使我们能够系统地探讨在市场反馈的存在下,先前的信念对决策的影响,以及重要的是增加了一个时间解释的框架。我们使用澳大利亚住房市场数据验证了所提出的模型,显示了先验知识的引入如何改变所产生的代理决策。具体来说,它允许分离过去的信念和效用最大化行为的代理,以及分析到代理信念的演变。
2021-05-23 cs.AI cs.IT econ.TH
Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach
Zicklin School of Business, CUNY Baruch College(纽约大学法学院);Amazon(亚马逊);Toulouse School of Economics(图卢兹经济学院)
本文通过监督微调方法对齐LLM代理的理性与道德偏好,揭示了代理在经济游戏中的系统性偏差,并展示了不同偏好结构对均衡结果的影响。
2026-03-12 cs.AI cs.LG econ.GN
On the Complexity of Learning to Cooperate with Populations of Socially Rational Agents
University of Sheffield(谢菲尔德大学);University of Maryland(马里兰大学);Delft University of Technology(代尔夫特理工大学)
本文研究在有限重复一般和矩阵博弈中学习与个体理性且能达到 Pareto 有效均衡效用的智能体群体合作的样本复杂度,证明仅靠群体假设无法实现零样本合作,并给出远优于朴素模仿学习归约的样本上下界。
2024-06-29 cs.AI cs.GT cs.LG