Comparative Evaluation of Multiagent Learning Algorithms in a Diverse Set of Ad Hoc Team Problems
University of Edinburgh(爱丁堡大学)
本文关注的是评估不同的多智能体学习(MAL)算法的问题中,个别代理可能是异质的,在这个意义上利用不同的学习策略,没有事先协议或信息协调的机会。这种情况出现在特设团队问题,许多实际的多智能体系统应用的模型。多智能体学习的先前工作通常集中在同类智能体组上,这意味着所有智能体都是相同的,并且先验地知道这一事实。此外,这些算法是专门设计的特设团队的问题,通常是在团队中的代理与固定的行为进行评估,而不是代理,这是适应他们的行为。在这项工作中,我们经验性地评估五个MAL算法,代表多智能体学习的主要方法,但最初开发时考虑到同质设置,以了解他们的行为在一组特设团队问题。所有团队都由不断调整行为的代理人组成。该算法进行评估方面的一个全面的表征重复矩阵游戏,使用的性能标准,包括考虑,如达到均衡,社会福利和公平。我们的主要结论是没有明显的赢家。然而,比较评估也突出了不同算法在性能标准类型方面的相对优势,例如,社会福利与实现均衡。
2019-07-22 cs.AI cs.MA
Differential Privacy in Cooperative Multiagent Planning
The University of Florida(佛罗里达大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
隐私感知的多智能体系统必须保护代理的敏感数据,同时确保代理完成他们的共同目标。为了实现这一目标,我们提出了一个框架,私有化的智能体通信在合作多智能体决策问题。我们研究序列决策问题制定为合作马尔可夫博弈达到避免目标。我们应用差分隐私机制私有化代理的沟通象征性的状态轨迹,然后我们分析隐私的强度和团队的表现之间的权衡。对于一个给定的隐私水平,这种权衡严重依赖于代理的状态动作过程之间的总相关性。我们合成的政策,是强大的隐私减少的总相关值。数值实验表明,在这些政策下,团队的表现下降了3%,当比较私人与非私人的通信实现。相比之下,当使用忽略总体相关性而只优化团队绩效的基线策略时,团队的绩效下降了大约86%。
2023-01-20 cs.AI cs.CR cs.MA
BRNES: Enabling Security and Privacy-aware Experience Sharing in Multiagent Robotic and Autonomous Systems
University of Nevada, Reno(内华达大学雷诺分校);Bosch Engineering, North America(博世工程北美分公司);U.S. Army Corps(美国陆军工程兵部队)
提出BRNES多智能体强化学习框架,通过动态邻居选择、加权经验聚合和本地差分隐私噪声,抵御拜占庭攻击与推断攻击,实现安全且隐私感知的经验共享,性能显著优于现有方法。
2023-08-02 cs.AI cs.CR cs.LG
Exploiting Anonymity in Approximate Linear Programming: Scaling to Large Multiagent MDPs (Extended Version)
MIT Media Lab(麻省理工学院媒体实验室);University of Amsterdam(阿姆斯特丹大学);University of Liverpool(利物浦大学);Stanford University(斯坦福大学)
马尔可夫决策过程(MDP)的许多精确和近似的解决方法试图利用问题的结构,并基于价值函数的因式分解。然而,特别是多智能体设置,众所周知,遭受指数增长的价值组件的大小,因为相互作用变得更加密集,这意味着近似架构的限制,在问题的大小和类型,他们可以处理。我们提出了一种方法来减轻这种限制,某些类型的多智能体系统,利用一个属性,可以被认为是“匿名影响”的因素MDP。匿名影响有效地总结了联合变量的影响时,显式表示的变量身份的问题可以避免。我们展示了如何从匿名的代表性的好处转化为计算效率,无论是一般的变量消除因子图,但特别是也为近似的线性规划解决方案,因子化的MDP。后者允许将线性规划扩展到以前无法解决的分解的MDP。我们的研究结果显示,在一个密集连接的图与50个节点和25个代理的随机疾病过程的控制。
2016-02-20 cs.AI cs.MA
Policy Distillation and Value Matching in Multiagent Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院)
多智能体强化学习算法(MARL)已经在需要多个智能体团队协调才能完成的复杂任务上得到了证明。现有的作品集中在代理之间共享信息,通过集中的批评,以稳定学习或通过沟通,以提高性能,但一般不看如何在代理之间共享信息,以解决在MARL的维数灾难。我们认为,多智能体问题可以分解成一个多任务的问题,每个代理探索状态空间的一个子集,而不是探索整个状态空间。本文介绍了一种多智能体行动者-批评者算法和方法,用于通过蒸馏和值匹配来组合来自同质智能体的知识,其性能优于单独的策略蒸馏,并允许在离散和连续动作空间中进一步学习。
2019-03-15 cs.AI cs.LG stat.ML
Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values
Université Paris-Saclay(巴黎萨克雷大学);Ubisoft(育碧);University of Granada(格拉纳达大学)
虽然可解释人工智能(XAI)正在不断扩展更多的应用领域,但很少有人应用于使深度强化学习(RL)更容易理解。随着RL变得无处不在,并用于关键和一般公共应用,开发使其更好地理解和更可解释的方法至关重要。这项研究提出了一种新的方法来解释合作策略,在多智能体RL使用Shapley值,博弈论的概念,在XAI,成功地解释了机器学习算法所采取的决定背后的理由。通过在两个以合作为中心的具有社会挑战性的多智能体环境中测试这种技术的常见假设,本文认为Shapley值是评估合作多智能体RL环境中参与者贡献的一种恰当方法。为了减轻这种方法的高开销,Shapley值近似使用Monte Carlo抽样。多智能体粒子和顺序社会困境的实验结果表明,Shapley值成功地估计每个代理的贡献。这些结果可能具有超越经济学游戏的影响,(例如,非歧视性决策,道德和负责任的人工智能衍生决策或公平约束下的政策制定)。它们还揭示了Shapley值如何仅给出关于模型的一般解释,而不能解释单个运行、事件,也不能证明代理所采取的精确行动是合理的。今后的工作应侧重于解决这些关键问题。
2021-10-04 cs.AI cs.GT cs.LG
Confidence Composition for Multiagent Language Model Systems
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出三种协议,通过转换原始置信信号并采用软投票或贝叶斯融合,为多智能体系统输出聚合置信度,在保持正确性的同时显著提升判别能力。
2026-09-23 cs.AI cs.LG cs.MA
Planning Not to Talk: Multiagent Systems that are Robust to Communication Loss
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在合作的多智能体系统中,一组智能体执行联合策略以达到共同的目标。这种系统的成功部署取决于可靠的智能体通信的可用性。然而,在实践中存在许多潜在的通信中断源,例如无线电干扰、硬件故障和对抗攻击。在这项工作中,我们开发的合作多智能体系统,是强大的潜在损失的通信联合政策。更具体地说,我们开发的合作马尔可夫博弈达到避免目标的联合政策。首先,我们提出了一个算法,在通信丢失期间的联合政策的分散执行。接下来,我们使用的总相关性的状态动作过程中引起的联合政策作为衡量代理之间的内在依赖关系。然后,我们使用这个措施,降低了一个联合政策的性能时,失去了沟通。最后,我们提出了一个算法,最大限度地提高代理这个下限,以合成最小的依赖联合政策,是强大的通信损失。数值实验表明,所提出的最小依赖性的政策,需要最小的代理之间的协调,而招致很少或没有损失的性能;合成的政策的总相关值是五分之一的基线政策,不考虑潜在的通信损失的总相关值。因此,无论通信是否可用,最小依赖性策略的性能始终保持较高。相比之下,当通信丢失时,基线策略的性能下降了20%。
2022-01-17 cs.AI cs.MA
SA-IGA: A Multiagent Reinforcement Learning Method Towards Socially Optimal Outcomes
School of Computer and Information Science, the Southwest University(西南大学计算机与信息科学学院);University of Liverpool(利物浦大学);School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院);School of Computer Software, Tianjin University(天津大学计算机软件学院)
在多智能体环境中,学习能力对于智能体在未知对手和动态环境中的正确行为至关重要。从系统设计者的角度来看,如果代理人能够学会协调社会最优结果,同时避免被自私的对手利用,这是可取的。为此,我们提出了一种新的梯度上升算法(SA-IGA),它增强了基本的梯度上升算法,将社会意识的政策更新过程。我们从理论上分析了SA-IGA的学习动力学,使用动力系统理论和SA-IGA具有线性动力学的广泛的游戏,包括对称游戏。详细分析了两种典型博弈(囚徒困境博弈和协调博弈)的学习动力学。在SA-IGA思想的基础上,进一步提出了一种基于Q-学习更新规则的实用多智能体学习算法SA-PGA。仿真结果表明,SA-PGA智能体可以实现更高的社会福利比以前的社会最优导向的条件联合行动学习器(CJAL),也是强大的对个体理性的对手,通过达到纳什均衡的解决方案。
2018-03-08 cs.AI
Scalable Planning and Learning for Multiagent POMDPs: Extended Version
MIT(麻省理工学院);University of Amsterdam(阿姆斯特丹大学);University of Liverpool(利物浦大学)
在线,基于样本的POMDPs规划算法在扩展到大状态空间的问题中表现出了很大的希望,但它们对于大的动作和观察空间变得难以处理。这在多智能体POMDP中尤其成问题,其中动作和观察空间随着智能体的数量呈指数级增长。为了解决这个棘手的问题,我们提出了一种新的可扩展的方法,基于样本的规划和因子化的价值函数,利用结构存在于许多多智能体设置。这种方法不仅适用于规划的情况下,但也在贝叶斯强化学习设置。实验结果表明,我们能够提供高质量的解决方案,大型多智能体规划和学习问题。
2014-12-20 cs.AI cs.LG
Influence-Optimistic Local Values for Multiagent Planning --- Extended Version
University of Amsterdam(阿姆斯特丹大学);Delft University of Technology(代尔夫特理工大学);University of Liverpool(利物浦大学)
本文提出一种适用于非因子化价值函数的多智能体规划影响乐观上界方法,通过划分子问题并乐观假设系统影响,提供质量保证并改进启发式搜索效果。
2015-07-20 cs.AI cs.SY eess.SY
Causes and Strategies in Multiagent Systems
Utrecht University(乌得勒支大学);Open University(开放大学)
本文针对多智能体策略场景缺乏因果研究的问题,提出将结构因果模型系统转化为因果并发博弈结构,以干预作为迁移并结合 Halpern-Pearl 框架分析智能体决策的因果效应。
2025-02-19 cs.AI cs.MA
ToMCAT: Theory-of-Mind for Cooperative Agents in Teams via Multiagent Diffusion Policies
SRI International(SRI国际)
本文提出 ToMCAT 框架,将心智理论元学习与多智能体扩散模型结合,并通过动态重规划机制生成团队感知计划,在烹饪模拟中验证其能在不牺牲表现的同时减少资源使用并适应未知队友。
2025-05-06 cs.AI cs.LG cs.MA
Applying Strategic Multiagent Planning to Real-World Travel Sharing Problems
Czech Technical University in Prague(布拉格捷克理工大学);The University of Edinburgh(爱丁堡大学)
旅行共享,即,寻找可由具有不同出发点和目的地的多个旅行者共享的部分路线的问题是复杂的多代理问题,需要考虑各个代理的偏好以提出相互可接受的联合计划。在本文中,我们应用国家的最先进的规划技术,以现实世界的公共交通数据,以评估多智能体规划技术在这一领域的可行性。提升出行共享技术的潜在应用价值,由于其能够减少出行对环境的影响,同时为出行者提供福利,因此具有很大的应用价值。我们提出了一个三阶段的算法,利用性能单代理规划者找到个人计划在一个简化的域第一,然后合并它们使用最佳响应规划器,确保得到的解决方案是单独的理性,然后将得到的计划映射到整个时间规划域,以安排实际的旅程。我们的算法在现实世界中的评估,多模式的公共交通数据为英国显示线性可扩展性的情况下的大小和代理商的数量,在总成本的提高,确定的可行的时间表的百分比,这些旅程和延长之间的权衡。我们的系统构成了战略多智能体规划算法在大规模领域的第一次实施,并提供了深入了解工程过程中的翻译一般域独立的多智能体规划算法到现实世界中的应用。
2013-01-02 cs.AI
Active Legibility in Multiagent Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University(深圳大学大数据系统计算技术国家工程实验室);Northumbria University(诺森比亚大学);School of Computer Science, Minnan Normal University(闽南师范大学计算机学院);University of Georgia(佐治亚大学)
针对多智能体协作中的意图理解问题,本文提出主动可理解性框架,使智能体通过可理解动作帮助彼此优化行为,并在定制问题域中验证其效率与训练时间优势。
2024-10-28 cs.AI
Individual specialization in multi-task environments with multiagent reinforcement learners
University Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究中心)
多智能体强化学习(MARL)作为构建通用智能体的第一步,在其他智能体存在的非平稳复杂环境中学习做出低级和高级决策,受到越来越多的关注。以前的结果指出,我们对协调,效率/公平,和共同池资源共享的条件增加。我们进一步研究协调在多任务环境中,可以执行几个奖励任务,因此代理不一定需要在所有任务中表现良好,但在某些条件下可能会专门。从这项研究中得出的一个观察是,基于值的强化学习方法的贪婪探索对于多智能体独立学习器是不够的,因为控制选择随机动作的概率的参数控制人工智能体,并迫使它们同时具有确定性策略。通过使用具有独立熵正则化探索更新的基于策略的方法,我们实现了更好和更平滑的收敛。另一个需要进一步调查的结果是,随着代理人数量的增加,专业化倾向于更有可能。
2019-12-29 cs.AI cs.MA
V-Learning -- A Simple, Efficient, Decentralized Algorithm for Multiagent RL
Princeton University(普林斯顿大学);MIT(麻省理工学院)
多智能体强化学习(MARL)的一个主要挑战是多智能体的诅咒,其中联合动作空间的大小与智能体的数量呈指数级增长。这仍然是一个瓶颈,设计有效的MARL算法,即使在一个基本的情况下,许多国家和行动。本文解决了这一挑战的情景马尔可夫博弈模型。我们设计了一类新的完全分散的算法-V-学习,它可证明学习纳什均衡(在两个玩家零和设置),相关均衡和粗相关均衡(在多人一般和设置)在一些样本,只有规模与$\max_{i\in[m]} A_i$,其中$A_i$是行动的数量为$i^{\rm th}$球员。这与关节动作空间的大小($\prod_{i=1}^m A_i$)形成鲜明对比。V-学习(其基本形式)是一类新的单智能体RL算法,它将任何具有适当后悔保证的对抗性强盗算法转换为RL算法。与经典的Q-学习算法类似,它对价值函数执行增量更新。与Q学习不同,它只保持V值的估计而不是Q值。这一关键区别允许V-learning通过简单地让所有代理独立运行V-learning来实现MARL设置中声称的保证。
2021-10-27 cs.AI cs.GT cs.LG
A Multiagent Path Search Algorithm for Large-Scale Coalition Structure Generation
Clermont Auvergne University(克莱蒙奥弗涅大学);Clermont Auvergne INP(克莱蒙奥弗涅国立综合理工学院);CNRS(法国国家科学研究中心);LIMOS(利莫什科学与技术实验室);Univ Lyon(里昂大学);UCBL(里昂第一大学);INSA Lyon(里昂国立应用科学学院);Centrale Lyon(里昂中央理工学院);Univ Lyon 2(里昂第二大学);LIRIS(里昂信息、图像与智能系统实验室);Laboratory of Applied Mathematics, Faculty of Exact Sciences, University of Bejaia(贝贾亚大学精确科学学院应用数学实验室);TCG Centres for Research and Education in Science and Technology(TCG科学技术研究与教育中心);Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(Strategy Robot公司);Strategic Machine, Inc.(Strategic Machine公司);Optimized Markets, Inc.(Optimized Markets公司)
针对大规模联盟结构生成问题,提出在联盟结构图上搜索的任意时间多智能体算法SALDAE,可快速处理数千智能体并在多个标准基准上优于现有方法。
2025-02-14 cs.AI cs.GT cs.MA
A Sufficient Statistic for Influence in Structured Multiagent Environments
Delft University of Technology(代尔夫特理工大学);Nissan Technical Center North America(北美日产技术中心);Massachusetts Institute of Technology(麻省理工学院)
在复杂环境中做出决策是人工智能(AI)的一个关键挑战。涉及多个决策者的情况是特别复杂的,导致计算棘手的原则性解决方案的方法。人工智能领域的一系列工作试图通过将交互提取到本质来缓解这个问题:一个代理的策略如何影响另一个代理?如果我们能找到这种影响的更紧凑的表示,这可以帮助我们处理复杂性,例如通过搜索影响的空间而不是政策的空间。然而,到目前为止,这些影响的概念在它们对相互作用的特殊情况的适用性方面受到了限制。在本文中,我们形式化的影响为基础的抽象(IBA),这有利于消除潜在的状态因素,而没有任何损失的价值,为一类非常一般的问题,描述为因子化的部分可观察的随机游戏(fPOSGs)。一方面,这概括了现有的影响力描述,因此可以作为基础,在复杂的多智能体设置决策的可扩展性和其他见解的改进。另一方面,由于其他代理的存在可以被看作是一个单一的代理设置的泛化,我们制定的IBA也提供了一个足够的统计决策抽象下的一个单一的代理。我们还详细讨论了与这些以前的作品的关系,确定了这些方法的新见解和解释。通过这些方式,本文加深了我们对抽象的理解,在广泛的顺序决策设置,为一大类问题的新方法和算法提供了基础。
2021-03-01 cs.AI cs.MA
Convergence of Multiagent Learning Systems for Traffic control
Amazon Alexa(亚马逊Alexa);Indian Institute of Science(印度科学研究院)
本文研究了多智能体强化学习在交通信号控制中的收敛性问题,通过随机逼近方法分析学习动态,并证明了在特定条件下该算法能够收敛。
2026-05-18 cs.AI cs.LG cs.MA
Multiagent Bidirectionally-Coordinated Nets: Emergence of Human-level Coordination in Learning to Play StarCraft Combat Games
University College London(伦敦大学学院);Alibaba Group(阿里巴巴集团)
许多人工智能(AI)应用程序通常需要多个智能代理协同工作。智能体通信和协调的有效学习是迈向通用AI不可或缺的一步。在本文中,我们以星际争霸战斗游戏作为案例研究,其中的任务是协调多个智能体作为一个团队击败他们的敌人。为了保持一个可扩展的有效的通信协议,我们引入了一个多智能体双向协调网络(BiCNet Biknet])与矢量化扩展的演员-评论家制定。我们表明,BiCNet可以处理不同类型的战斗与任意数量的人工智能智能体的双方。我们的分析表明,在没有任何监督(如人类演示或标记数据)的情况下,BiCNet可以学习经验丰富的游戏玩家常用的各种类型的高级协调策略。在我们的实验中,我们在不同的场景下对多个基线评估了我们的方法;它显示了最先进的性能,并具有大规模现实世界应用的潜在价值。
2017-09-14 cs.AI cs.LG
Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation
University of Washington(华盛顿大学);University of Maryland, College Park(马里兰大学帕克分校)
针对大状态空间多智能体强化学习,提出独立线性马尔可夫博弈模型及新算法,以多项式样本复杂度学习均衡,打破多智能体诅咒,并改进表格情形下的最优结果。
2023-06-21 cs.AI cs.GT cs.LG
Modelling Human Values for Value-Aware Multi-Agent Systems
本文提出一个形式化框架,用于表示人类价值观,以支持多智能体系统中的价值感知推理。通过社会心理学研究,建立价值关系和重要性模型,实现行为评估和价值感知决策机制。
2026-06-28 cs.AI cs.MA
Epistemic Logic with Functional Dependency Operator
UC Berkeley(加州大学伯克利分校)
具有非标准知识算子,特别是“知值”算子的认知逻辑近年来受到广泛关注。用“知值”算子,我们可以表达单个变量的知识,但不能表达它们之间的一般关系。在本文中,我们提出了一个新的运营商Kf来表达知识的功能之间的依赖关系的变量。这个Kf运算符的语义使用了一个函数域,它对函数依赖关系施加了一个约束。通过调整这个功能域,不同的有趣的逻辑出现,在本文中,我们公理化三个这样的逻辑在一个单一的代理设置。然后,我们展示了这三个逻辑可以统一的功能域相对于不同的代理和可能的世界。在这种情况下,多智能体公理化。
2017-06-07 cs.AI
AutoPrep: Natural Language Question-Aware Data Preparation with a Multi-Agent Framework
Renmin University of China(中国人民大学);University of Arizona(亚利桑那大学);Tsinghua University(清华大学)
提出AutoPrep,一种基于大语言模型的多智能体框架,通过规划器、程序员和执行器协同完成问题感知的数据准备,以提升表格问答的准确性和上下文相关性。
2025-07-09 cs.AI cs.CL
Policy Gradient With Value Function Approximation For Collective Multiagent Planning
School of Information Systems(信息系统学院);Singapore Management University(新加坡管理大学)
本文提出一种改进的actor-critic方法,用于优化集体决策多智能体规划问题,通过分解近似动作价值函数提升收敛速度,并在合成任务和出租车车队优化中验证了方法的有效性。
2018-04-09 cs.AI cs.LG cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China(中国科学技术大学)
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中,我们提出了一个新的分解多智能体软演员-评论家(mSAC)的方法,它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数(optinal)。从理论上讲,mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中,我们实证研究了mSAC对其变体的性能,并分析了不同组件的影响。实验结果表明,mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法,并与基于SOTA值的Qmix方法具有竞争力.此外,mSAC在大动作空间任务(如2c_vs_64zg和MMM 2)上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT(麻省理工学院);ASU(亚利桑那州立大学)
我们认为无限的地平线动态规划问题,在每个阶段的控制由几个不同的决定,每一个由几个代理之一。在早期的工作中,我们介绍了一个政策迭代算法,其中的政策改进是一个代理在给定的时间顺序,知识的选择,在前面的代理的顺序。因此,每个策略改进的计算量随着代理的数量线性增长,而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下,我们证明了收敛到代理的代理最优策略。在本文中,这一结果被扩展到值迭代和乐观版本的政策迭代,以及更一般的DP问题的Bellman算子是一个压缩映射,如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Efficient Querying for Cooperative Probabilistic Commitments
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);Computer Science and Engineering, University of Michigan(密歇根大学计算机科学与工程学院)
多智能体系统可以使用承诺作为一般协调基础设施的核心,支持合作和非合作交互。目标一致的代理人,一个代理人可以通过牺牲自己的一些奖励来帮助另一个代理人获得更大的奖励,应该选择合作承诺来最大化他们的联合奖励。我们提出了一个解决方案的问题,合作代理可以有效地找到一个(近似)最佳的承诺,通过查询精心选择的承诺选择。我们证明了代理的值的承诺规范的参数的函数的结构特性,并开发了一个贪婪的方法组成的查询与可证明的近似边界,我们的经验表明,可以找到几乎最佳的承诺在一小部分的时间方法,缺乏我们的见解需要。
2020-12-14 cs.AI
Dual Self-Awareness Value Decomposition Framework without Individual Global Max for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对合作多智能体强化学习中IGM原则限制问题,提出双自感知价值分解框架,结合自我策略与 alter ego 价值函数并引入反自我探索机制,实现完全无需IGM的价值分解并在多任务中表现优异。
2023-05-17 cs.AI cs.LG cs.MA
Personalized multi-faceted trust modeling to determine trust links in social media and its potential for misinformation management
University of Waterloo(滑铁卢大学)
在本文中,我们提出了一种方法,用于预测在社交媒体中的同行之间的信任链接,一个是接地在人工智能领域的多智能体信任建模。特别是,我们提出了一个数据驱动的多方面的信任建模,它结合了许多不同的功能,进行全面的分析。我们专注于展示相似用户的聚类如何实现一个关键的新功能:支持更个性化,从而为用户提供更准确的预测。在一个信任感知项目推荐任务中,我们在一个大型Yelp数据集的背景下评估了所提出的框架。然后,我们将讨论如何提高在社交媒体中的信任关系的检测可以帮助支持在线用户在他们的战斗中对传播的错误信息和谣言,在社交网络环境中,最近爆炸的流行。最后,我们反思了一个特别脆弱的用户群,老年人,以说明推理的用户群体的价值,寻找一些未来的方向,整合已知的偏好与通过数据分析获得的见解。
2021-11-11 cs.AI cs.SI
Computing Game Symmetries and Equilibria That Respect Them
Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(策略机器人公司);Strategic Machine, Inc.(战略机器公司);Optimized Markets, Inc.(优化市场公司)
本文研究博弈中对称性的计算复杂性,发现其与图自同构紧密相关,并证明在一般和与团队博弈中求尊重对称性的纳什均衡分别为PPAD-和CLS-完全,同时给出特殊情形的多项式时间算法。
2025-02-27 cs.AI cs.CC cs.GT
Value Functions for Depth-Limited Solving in Zero-Sum Imperfect-Information Games
Czech Technical University in Prague(布拉格捷克理工大学)
我们提供了一个正式的定义,深度有限的游戏,以及一个访问和严格的解释的基本概念,这两个都是以前缺少的信息游戏。该定义适用于任意的扩展形式博弈,并且不依赖于任何特定的博弈求解算法。此外,这个框架统一并显着扩展了三种方法,以深度有限的解决方案,以前存在于广泛的形式游戏和多智能体强化学习,但不知道是兼容的。这些深度有限游戏的一个关键要素是价值函数。专注于两个球员零和信息博弈,我们展示了如何获得最佳的价值函数,并证明了公共信息提供了必要和充分的上下文计算。我们提供了一个域独立的编码域,允许近似价值函数,甚至通过简单的前馈神经网络,然后能够概括到看不见的游戏部分。我们使用由此产生的价值网络来实现反事实遗憾最小化的深度有限版本。在三个不同的域中,我们表明,该算法的可利用性大致线性依赖于价值网络的质量,并不难训练一个价值网络的深度有限CFR的性能是一样好的CFR与访问完整的游戏。
2022-03-24 cs.AI cs.GT
Fast Planning in Stochastic Games
AT&T Labs(AT&T实验室);Tel Aviv University(特拉维夫大学)
随机游戏将马尔可夫决策过程(MDP)推广到多智能体环境,允许状态转换共同依赖于所有玩家的行为,并在每个状态下由多人矩阵游戏确定奖励。我们考虑在随机博弈中计算纳什均衡的问题,类似于MDP中的规划。首先,我们提供了一个推广的有限时域值迭代计算的纳什策略,为每个球员在generalsum随机游戏。该算法采用任意的纳什选择函数作为输入,它允许将多个纳什均衡之间的局部选择转化为单个全局纳什均衡的选择。我们的主要技术成果是一个算法计算近纳什均衡在大型或无限的状态空间。该算法建立在我们的有限时域值迭代算法的基础上,并将Kearns,Mansour和Ng(1999)的稀疏采样方法应用于随机博弈。最后给出了一个反例,证明了在零和情形下Shapely收敛的无穷时域折现值迭代(本文的结果作了一点推广)在一般和情形下不收敛.
2013-01-16 cs.AI cs.GT
Steps Towards Satisficing Distributed Dynamic Team Trust
University of Bristol(布里斯托大学);University of Birmingham(伯明翰大学);University College London(伦敦大学学院);Loughborough University(拉夫堡大学)
本文面向动态人机团队,提出从目标、个人/团队价值观和法律原则刻画信任,并设计可解释指标与模拟任务实验以验证“满意型信任”。
2023-11-04 cs.AI cs.HC cs.RO
Policy Iteration for Decentralized Control of Markov Decision Processes
University of Massachusetts(马萨诸塞大学);Mississippi State University(密西西比州立大学)
在许多领域,包括多机器人系统,网络和电子商务中出现的问题,需要分布式代理的协调。作为一个正式的框架,这样的问题,我们使用分散的部分可观察马尔可夫决策过程(DEC-POMDP)。虽然已经做了大量的工作,最佳的动态规划算法的单代理版本的问题,最佳算法的多代理的情况下一直难以捉摸。本文的主要贡献是一个求解DEC-POMDP的最优策略迭代算法。该算法使用随机有限状态控制器来表示策略。该解决方案可以包括一个关联设备,它允许代理在不进行通信的情况下关联其动作。这种方法在扩展控制器和执行值保持转换之间交替,值保持转换在不牺牲值的情况下修改控制器。我们提出了两个有效的值保持变换:一个可以减少控制器的大小,另一个可以提高其值,同时保持大小固定。实证结果表明,在增加值,同时保持控制器的大小为最小值的保值变换的有用性。为了扩大该方法的适用性,我们还提出了一个启发式版本的政策迭代算法,牺牲收敛到最优。该算法通过假设其他代理动作的概率分布是已知的,进一步减小了每一步控制器的大小。虽然这个假设可能不适用于一般情况,但它有助于在我们的测试问题中产生更高质量的解决方案。
2014-01-15 cs.AI
Model-Advantage and Value-Aware Models for Model-Based Reinforcement Learning: Bridging the Gap in Theory and Practice
Georgia Institute of Technology(佐治亚理工学院);Allen Institute for AI(艾伦人工智能研究所)
这项工作表明,值感知模型学习,其众多的理论优势,也是切实可行的解决具有挑战性的连续控制任务,在流行的基于模型的强化学习算法。首先,我们推导出一种新的值感知模型学习目标,通过限制模型优势,即模型性能差异,在两个MDP或模型之间给定一个固定的政策,在大多数连续控制环境中实现优越的性能。其次,我们确定了在天真地替换价值感知目标的最大似然在dyna风格的基于模型的RL算法的陈旧价值估计的问题。我们提出的补救措施,这个问题的桥梁长期存在的差距,在理论和实践中的价值感知模型学习,使所有的价值感知目标的成功部署,在解决几个连续控制机器人操作和运动任务。我们的结果是通过对两种流行的基于开源模型的RL算法SLBO和MBPO进行最小修改而获得的,无需调整任何现有的超参数,同时在某些环境中也展示了比这些基线更好的价值感知目标性能。
2022-01-28 cs.AI cs.LG stat.ML
Goal Alignment: A Human-Aware Account of Value Alignment Problem
Colorado State University(科罗拉多州立大学)
当人工智能智能体的指定目标与其用户的真实潜在目标不匹配时,就会出现价值对齐问题。这个问题被广泛认为是人工智能的核心安全问题之一。不幸的是,大多数现有的作品在价值对齐往往集中在主要与奖励功能是一个不直观的机制,以指定目标的事实有关的问题。然而,目标指定机制的复杂性只是用户可能错误指定其目标的许多原因之一。这些作品忽视了错位的一个基本原因是人类对代理行为的预期和代理为特定目标所产生的行为的固有不对称。为了解决这个空白,我们提出了一个新的配方的价值对齐的问题,命名为目标对齐,专注于几个核心的挑战相关的价值对齐。在这样做的过程中,我们弥合了目前不同的研究领域的价值对齐和人类意识的规划。此外,我们提出了一个第一的同类交互式算法,能够使用不正确的信念下产生的信息代理,以确定真正的潜在目标的用户。
2023-02-08 cs.AI
Generalized Priority-Aware Shapley Value
The Ohio State University(俄亥俄州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出通用优先感知Shapley值(GPASV),用于机器学习中的估值问题,通过轴心性刻画和计算方法,展示了不同优先级平衡对数据估值的实质性影响。
2026-11-09 cs.AI cs.LG
Value-Decomposed Reinforcement Learning Framework for Taxiway Routing with Hierarchical Conflict-Aware Observations
National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University(合成视觉基础科学国家重点实验室,四川大学);College of Computer Science, Sichuan University(计算机学院,四川大学)
本文提出CaTR框架,通过分层交通表示和价值分解策略,解决机场地面操作中的安全与效率平衡问题,实验显示其在不同交通密度下表现优于现有方法。
2026-05-12 cs.AI
Equivalence Between Wasserstein and Value-Aware Loss for Model-based Reinforcement Learning
Brown University(布朗大学);Cornell Tech(康奈尔科技校区)
生成模型的学习是基于模型的强化学习的关键组成部分。虽然在表格设置中学习一个好的模型是一项简单的任务,但在近似设置中学习一个有用的模型是具有挑战性的。在这种情况下,一个重要的问题是用于模型学习的损失函数,因为改变损失函数可以对规划的有效性产生显著影响。最近,Farahmand et al.(2017)提出了一种值感知模型学习(VAML)目标,该目标在模型学习期间捕获价值函数的结构。使用Asadi et al.(2018)的工具,我们证明了最小化VAML目标实际上等同于最小化Wasserstein度量。这种等价性加深了我们对值感知模型的理解,也为Wasserstein在基于模型的强化学习中的应用奠定了理论基础。
2018-07-08 cs.AI cs.LG stat.ML
Towards Sustainable Growth: A Multi-Value-Aware Retrieval Framework for E-Commerce Search
Taobao \& Tmall Group of Alibaba HangZhou China;Taobao \& Tmall Group of Alibaba
本文提出了一种多价值感知的检索框架,旨在平衡即时转化与长期商品增长,通过引入ItemLTV模块和MultiGR模块,提升电子商务搜索系统的可持续增长能力。
2026-05-18 cs.AI cs.IR
Value-Aware Numerical Representations for Transformer Language Models
National University of Science and Technology(科学技术大学)
本文提出一种价值意识的数值表示方法,通过在Transformer语言模型输入中加入前缀标记以显式编码数值,从而提升模型在算术任务中的表现。
2026-01-14 cs.AI cs.CL cs.LG
Robust Search with Uncertainty-Aware Value Models for Language Model Reasoning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));ByteDance, Singapore(字节跳动(新加坡))
针对价值模型引导 LLM 推理搜索时因验证器失效而误剪有效路径的问题,提出以价值分布刻画不确定性的 UVM,并结合 Group Thompson Sampling 选择候选,显著提升 ID 与 OOD 数学推理的覆盖率和鲁棒性。
2025-10-19 cs.AI cs.CL
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta(阿尔伯塔大学)
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题,提出价值感知重要性权重,在保证无偏估计的同时降低方差,并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
MemLens: A Value-Aware Memory Management System with Interactive Analytics for LLM-based Agents
C-FAIR & School of Software, Shandong University(C-FAIR与山东大学软件学院);SKLCCSE Lab, Beihang University(北京航空航天大学SKLCCSE实验室);Department of Data Science, City University of Hong Kong(香港城市大学数据科学系)
研究针对基于LLM的智能体内存管理问题,提出价值感知内存管理系统MemLens,通过端到端交互式分析仪表板展示内存生命周期,经学习助手应用程序帮助用户比较策略,可实现高效、可解释和个性化的长期内存管理。
2026-07-29 cs.AI cs.DB
Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning
针对离线策略分层强化学习中子目标重标记导致的价值更新偏差问题,提出HTB方法,通过时间感知引导、多步回报及非负残差约束,在AntFall任务上显著优于HIRO。
2026-10-06 cs.AI cs.LG
Risk-aware Stochastic Shortest Path
IST Austria(奥地利科学技术研究所)
研究了马尔可夫决策过程(MDP)上随机最短路(SSP)的风险感知控制问题。通常情况下,预期被认为是SSP,但忽视了所发生的风险。我们提出了另一种观点,而不是优化条件风险价值(CVaR),一个既定的风险度量。我们对待马尔可夫链以及MDP和介绍,通过新的见解,两个算法,分别基于线性规划和值迭代。这两种算法都提供了精确和可证明正确的解决方案。我们的原型实现的评估表明,风险意识控制是可行的几个中等规模的模型。
2022-03-03 cs.AI cs.SY eess.SY
VALUE: Value-Aware Large Language Model for Query Rewriting via Weighted Trie in Sponsored Search
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
VALUE通过加权前缀树整合价值感知,提升搜索引擎广告中查询重写的语义相关性和商业价值
2025-11-24 cs.AI cs.IR cs.LG
Spend Less, Reason Better: Budget-Aware Value Tree Search for LLM Agents
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本文提出一种无需训练的推理时框架,通过单个LLM骨干模型将多跳推理建模为动态搜索树,并引入预算条件的节点选择机制,以在预算耗尽时实现从广度探索到贪婪利用的平稳过渡。
2026-03-13 cs.AI cs.LG
Uncertainty-aware Low-Rank Q-Matrix Estimation for Deep Reinforcement Learning
Tianjin University(天津大学)
值估计是强化学习中的一个关键问题。尽管深度强化学习(Deep Reinforcement Learning,DRL)在不同领域取得了许多成功,但价值函数的底层结构和学习动力学,特别是复杂函数逼近,尚未完全理解。在本文中,我们报告的降秩$Q$ -矩阵广泛存在于学习过程中的一系列连续控制任务的不同流行的算法。我们假设低秩现象表明$Q$ -矩阵从随机高维空间到光滑低维空间的共同学习动力学。此外,我们揭示了价值矩阵秩和价值估计不确定性之间的正相关关系。受上述证据的启发,我们提出了一种新的不确定性感知的低秩Q矩阵估计(UA-LQE)算法作为一个通用框架,以促进价值函数的学习。通过量化状态-动作值估计的不确定性,有选择地删除状态-动作值矩阵中高度不确定值的元素,并对其进行低秩矩阵重构,恢复其值。这样的重构利用了值矩阵的底层结构来改善值逼近,从而导致价值函数的更有效的学习过程。在实验中,我们评估了UA-LQE在几个代表性OpenAI MuJoCo连续控制任务中的有效性。
2021-11-19 cs.AI cs.LG stat.ML
Option-aware Temporally Abstracted Value for Offline Goal-Conditioned Reinforcement Learning
Department of Electrical and Computer Engineering (ECE), Seoul National University(电子与计算机工程系,首尔国立大学);Interdisciplinary Program in Artificial Intelligence (IPAI), Seoul National University(人工智能跨学科项目,首尔国立大学);ASRI / INMC, Seoul National University(ASRI/INMC,首尔国立大学)
针对离线目标条件强化学习在长视野任务中高级策略生成子目标困难及优势估计符号错误的问题,提出选项感知时间抽象值学习(OTA),通过将时间抽象融入时间差分学习缩短有效视野,显著提升了高级策略在复杂基准任务上的性能。
2025-11-04 cs.AI cs.LG
DumpKV: Learning based lifetime aware garbage collection for key value separation in LSM-tree
Microsoft(微软);Sun Yat-sen University(中山大学);Chongqing University(重庆大学)
本文提出DumpKV,一种基于学习的生命周期感知垃圾回收方法,通过动态调整和轻量级模型预测键的生命周期,在LSM-tree键值分离中实现高效垃圾回收,显著降低写放大达38%-73%。
2024-06-03 cs.AI cs.DB cs.LG