When Upstream Messages Override Correct Answers: A Controlled Study of Multi-Agent LLM Collaboration
University of Science and Technology of China(中国科学技术大学);Qwen Business Unit of Alibaba(阿里巴巴Qwen业务部);National University of Singapore(新加坡国立大学)
本研究通过受控实验揭示多智能体LLM协作中,上游错误消息可导致下游智能体覆盖正确答案(高达32%案例),并识别出“答案替换”模式,建议基于上游可靠性选择性通信以恢复准确率。
2026-09-30 cs.AI
Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially Observable Environments
Zhejiang University(浙江大学)
多智能体深度强化学习(MADRL)的最新进展使其在现实世界的任务中更加实用,但其相对较差的可扩展性和部分可观察的约束对其性能和部署提出了挑战。基于我们的直观观察,人类社会可以被看作是一个大规模的部分可观察的环境中,每个人都有与邻居的通信和记住自己的经验的功能,我们提出了一种新的网络结构称为分层图递归网络(HGRN)的多智能体合作的部分可观察性。具体来说,我们构建的多智能体系统作为一个图,使用层次图注意力网络(HGAT)来实现相邻的代理之间的通信,并利用GRU,使代理记录历史信息。为了鼓励探索和提高鲁棒性,我们设计了一种最大熵学习方法来学习可配置目标动作熵的随机策略。在此基础上,提出了一种基于值的MADRL算法Soft-HGRN和它的actor-critic变体SAC-HRGN。基于三个同构任务和一个异构环境的实验结果不仅表明,我们的方法实现了明显的改善相比,四个基线,但也证明了所提出的模型的可解释性,可扩展性和可移植性。消融研究证明了每个组件的功能和必要性。
2021-09-05 cs.AI cs.LG cs.MA
Improving Policies via Search in Cooperative Partially Observable Games
Facebook AI Research(脸书人工智能研究院)
最近游戏中的超人结果主要是在各种零和游戏中实现的,例如围棋和扑克,其中代理人需要与其他人竞争。然而,就像人类一样,现实世界的人工智能系统也必须在合作的部分可观察环境中与其他智能体进行协调和通信。这些设置通常要求参与者既要解释他人的行为,又要在被解释时提供信息。这些能力通常被概括为心理理论,并被视为社会交往的关键。在本文中,我们提出了两种不同的搜索技术,可以应用于改善任意商定的政策,在合作的部分可观察的游戏。第一个,单代理搜索,有效地将问题转化为一个单一的代理设置,使所有,但一个代理根据商定的政策发挥。相比之下,在多智能体搜索中,所有智能体执行相同的公共知识搜索过程,只要这样做在计算上是可行的,否则就回到根据商定的策略进行游戏。我们证明,这些搜索过程在理论上可以保证至少保持商定策略的原始性能(直到有界近似误差)。在Hanabi的基准挑战问题中,我们的搜索技术大大提高了我们测试的每个代理的性能,当应用于使用RL训练的策略时,在游戏中获得了24.61 / 25的最新得分,而之前的最佳得分为24.08 / 25。
2019-12-05 cs.AI cs.MA
Hierarchical Belief Modeling for Zero-Shot Opponent Adaptation in Partially Observable Multi-Agent Navigation
Tsinghua University(清华大学);Stevens Institute of Technology(史蒂文斯理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Texas A&M University(德克萨斯A&M大学)
针对Lux AI第3赛季部分可观测导航问题,提出分层智能体HORIZON,结合对称感知、双记忆信念追踪、图注意力、信息增益探索及对手条件策略混合,经PPO训练,显著提升比赛胜率与适应能力。
2026-09-14 cs.AI cs.MA
SACHA: Soft Actor-Critic with Heuristic-Based Attention for Partially Observable Multi-Agent Path Finding
Simon Fraser University(西蒙弗雷泽大学)
本文提出SACHA方法,通过基于启发式的注意力机制改进多智能体演员-评论家框架,以智能体为中心的评论家实现更公正的信用分配和更好泛化,并在多种MAPF实例上验证了其在成功率和解质量上的提升。
2023-07-05 cs.AI cs.MA cs.RO
AC2C: Adaptively Controlled Two-Hop Communication for Multi-Agent Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
针对多智能体强化学习中全连接通信成本高且难以获取范围外信息的问题,提出AC2C通信协议,通过通信控制器自适应实现两跳长距离信息交换,在降低通信开销的同时显著提升了性能。
2023-05-23 cs.AI cs.MA
PIANIST: Learning Partially Observable World Models with LLMs for Multi-Agent Decision Making
Rensselaer Polytechnic Institute(伦斯勒理工学院);Shenzhen University(深圳大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);California Institute of Technology(加州理工学院);NEC laboratories America(美国 NEC 实验室);xAI
针对复杂决策任务中LLMs世界知识提取的挑战,提出PIANIST框架分解世界模型为七个组件以支持零样本生成,仅需游戏描述和观测格式即可生成世界模型用于MCTS模拟,在两类游戏上无需领域训练或显式模型即可有效提升智能体规划决策能力。
2024-11-24 cs.AI cs.LG cs.MA
R-MADDPG for Partially Observable Environments and Limited Communication
Massachusetts Institute of Technology(麻省理工学院)
有几个现实世界的任务将受益于应用多智能体强化学习(MARL)算法,包括自动驾驶汽车之间的协调。现实世界对多智能体学习系统具有挑战性的条件,例如其部分可观察性和非平稳性。此外,如果代理必须共享有限的资源(例如网络带宽),则它们都必须学习如何协调资源使用。本文提出了一个深度递归的多智能体行动者-批评者框架(R-MADDPG),用于处理部分可观察设置和有限通信下的多智能体协调问题。我们调查递归的影响,一个团队的代理商的性能和通信使用。我们证明,由此产生的框架学习的时间依赖性共享缺失的意见,处理资源限制,并开发不同的代理之间的通信模式。
2020-02-18 cs.AI cs.MA
The impact of multi-agent debate protocols on debate quality: a controlled case study
本文通过受控案例研究,比较了三种辩论协议对辩论质量的影响,发现RA-CR在收敛速度上优于CR,WR在同伴参考方面表现更高,NI则最大化了论点多样性,揭示了交互与收敛之间的权衡。
2026-03-28 cs.AI cs.MA
Sample-Efficient Reinforcement Learning of Partially Observable Markov Games
Princeton University(普林斯顿大学);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
针对部分可观测条件下的多智能体强化学习(MARL)问题,提出了一种基于部分可观测性的多智能体强化学习方法.本文在多人一般和部分可观察马尔可夫博弈(POMG)的一般模型下研究了这些任务,POMG模型明显大于不完全信息可拓形式博弈(IIEFG)的标准模型。我们确定了一个丰富的子类POMG-弱揭示POMG-其中样本有效的学习是易于处理的。在自我发挥的设置,我们证明了一个简单的算法相结合的乐观和最大似然估计(MLE)是足够的找到近似纳什均衡,相关的均衡,以及粗糙的相关均衡弱揭示POMG,在多项式数量的样本时,代理的数量很小。在对抗对手的设置中,我们表明,我们的乐观MLE算法的一个变体是能够实现次线性遗憾时,与最佳的最大最小化政策进行比较。据我们所知,这项工作提供了学习POMG的第一行样本有效的结果。
2022-10-17 cs.AI cs.GT cs.LG
Scalable Communication for Multi-Agent Reinforcement Learning via Transformer-Based Email Mechanism
Tsinghua University(清华大学)
针对多智能体强化学习通信的可扩展性问题,提出基于Transformer的邮件机制框架,通过局部通信加消息链转发实现跨观测范围协作,在多基准测试中优于基线且智能体数量变化时无需重训。
2023-06-12 cs.AI cs.LG cs.MA
Categorizing Wireheading in Partially Embedded Agents
University of Cambridge(剑桥大学);IISER Pune(印度科学教育与研究学院浦那分院);RAISE(RAISE研究所)
$\textit{Embedded agents}$没有明确地与其环境分离,缺乏清晰的I/O通道。这些智能体可以推理和修改它们的内部部分,它们被激励去捷径或$\textit{wirehead}$,以获得最大的回报。在本文中,我们提供了一个分类的方式,其中wireheading可能发生,其次是wirehead-vulnerable代理的定义。从完全二元的通用代理AIXI开始,我们引入了一系列部分嵌入式代理,并确定了这些代理可以利用的wireheading机会,实验证明了GRL仿真平台AIXIjs的结果。我们上下文中的wireheading在更广泛的类的所有错位问题-代理的目标与人类设计师的目标冲突-和猜想,唯一的其他可能类型的错位是规范游戏。出于这种分类法,我们定义wirehead脆弱的代理作为嵌入式代理,选择不同的行为完全二元代理缺乏访问其内部部分。
2019-06-21 cs.AI
Ontology-Enhanced Decision-Making for Autonomous Agents in Dynamic and Partially Observable Environments
University College Dublin(都柏林大学学院)
本文提出本体增强决策模型OntoDeM,利用本体知识改善智能体在动态部分可观测环境中的观测与决策,通过演化或生成新目标应对不可预见事件,并在四个实际应用中验证其优于传统及先进学习算法。
2024-05-27 cs.AI cs.LG
HSVI-based Online Minimax Strategies for Partially Observable Stochastic Games with Neural Perception Mechanisms
Department of Computer Science, University of Oxford(牛津大学计算机科学系);School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
针对带神经感知机制的非对称信息部分可观测随机博弈,首次提出基于HSVI的在线ε-极小极大策略求解方法,通过持续求解与推断信念策略,仅需单线性规划即可高效求解。
2024-04-16 cs.AI cs.GT
Situating AI Agents in their World: Aspective Agentic AI for Dynamic Partially Observable Information Systems
UCL(伦敦大学学院);Autodesk Research(欧特克研究院);National Institute of Informatics(国立信息学研究所)
针对现有LLM智能体信息管控弱、泄露率高的问题,提出基于环境触发、引入类umwelt的“方面”概念的自底向上智能体框架,实现零信息泄露,兼顾安全与效率。
2025-09-03 cs.AI cs.CL
AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent(腾讯);East China Normal University(华东师范大学);University College London(伦敦大学学院)
该研究针对LLM智能体鲁棒性评估缺乏系统框架的问题,提出AgentPerturb的二维扰动评估方法,在APEX-Agents和Toolathlon上验证扰动会降低性能,揭示智能体漏洞并为鲁棒训练提供方向。
2026-10-26 cs.AI
Agent Economics: An Entropy-Controlled Pluralistic Alignment Framework for Preventing Artificial Hivemind in Autonomous Agents
AX Center, SAMSUNG SDS(三星SDS AX中心)
提出行为协议框架(BPF),通过心智化社会智能、多元对齐和可验证执行内核三个模块,在闭环架构中控制熵以保持策略多样性,提升自主智能体经济的稳定性、效率和可信度。
2026-06-16 cs.AI
A Decoupled Human-in-the-Loop System for Controlled Autonomy in Agentic Workflows
InquiryOn(InquiryOn公司)
本文提出解耦的人机协同系统架构,通过显式接口和结构化执行模型分离人类交互管理与应用流程,提供四维框架实现上下文感知的人类参与,支持代理通信协议层面的HITL实现,为工作流的可扩展治理和渐进自主性奠定基础。
2026-04-24 cs.AI
Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents
研究聚焦大语言模型智能体,以往控制工具选择等,本文将上下文组装视为受控变量,通过上下文博弈或强化学习策略在线学习,进行形式分解、稳定性论证及不确定性校准分析,给出控制理论视角的相关证据。
2026-07-29 cs.AI
Lifting DecPOMDPs for Nanoscale Systems -- A Work in Progress
基于DNA的纳米网络具有广泛的有前途的用例,特别是在医学领域。有了大量的代理,部分可观察的随机环境和噪声观测,这样的纳米级系统可以建模为分散的,部分可观察的,马尔可夫决策过程(DecPOMDP)。由于代理集是一个主导因素,本文提出了(i)提升DecPOMDPs,分区的代理集成不可区分的代理集,减少最坏情况下所需的空间,和(ii)纳米级医疗系统作为一个应用程序。未来的工作转向解决和实施解除DecPOMDPs。
2021-10-18 cs.AI
Agent-Controlled Forgetting for Tool-Using Agents: Reversible Context Curation in Practice
本研究提出智能体控制遗忘方法,通过在可恢复归档保留工具结果原始内容、替换为简短备注实现可逆上下文管理,在调试等任务中可减少50%输入令牌与API成本,但存在耗时增加等局限,其效果依赖工作负载。
2026-10-09 cs.AI
AEMA: Verifiable Evaluation Framework for Trustworthy and Controlled Agentic LLM Systems
University of California, San Diego(加州大学圣地亚哥分校);Center for Advanced AI, Accenture(Accenture高级人工智能中心);University of California, Irvine(加州大学伊拉斯姆斯分校)
AEMA提出了一种可验证的评估框架,用于评估基于LLM的多代理系统,通过人类监督实现稳定、可追溯的自动化评估。
2026-01-17 cs.AI
MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents
Nanyang Technological University(南洋理工大学);Agency for Science, Technology, and Research (A*STAR)(新加坡科学、技术与研究局(A*STAR))
本研究提出MNIST-PRO基准,将MNIST数字识别转化为带回溯约束的顺序搜索任务,评估多模态模型在部分可观测性下的表现,发现智能体存在感知整合、探索持续性及信念修正三大瓶颈,凸显构建更新可靠感知状态的重要性。
2026-09-01 cs.AI cs.CV
Safe, Persistent, and Evolving Agent Harness for Understanding Partially Observable Worlds
The Hong Kong University of Science and Technology(香港科技大学);LIGHTSPEED(光速公司)
针对大型语言模型智能体在企业工作流中面临的策略合规、部分可观测性及长周期状态跟踪问题,提出E-Ledger管控框架,结合WorldAbduct实现规则演进,在多基准测试中提升安全任务完成率。
2026-10-09 cs.AI
Human-in-the-Loop Synthesis for Partially Observable Markov Decision Processes
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Radboud University(拉德堡德大学);Albert-Ludwigs-Universität Freiburg(弗莱堡大学);Worcester Polytechnic Institute (WPI)(伍斯特理工学院)
我们研究规划问题,其中自主智能体内的环境,是受不确定性和不完全可观察的。部分可观察马尔可夫决策过程(POMDP)是捕捉此类问题的自然形式模型。由于POMDPs中潜在的巨大甚至无限的信念空间,具有安全保证的合成通常在计算上是难以处理的。我们提出了一种方法,旨在规避这一困难:在虚拟环境中可以部分或完全模拟的情况下,我们积极整合人类用户来控制代理。当用户反复尝试在模拟中安全地引导代理时,我们从人工输入中收集数据。通过行为克隆,我们将数据转化为POMDP的策略。该策略解决了POMDP的所有不确定性和不可观测性,从而得到离散时间马尔可夫链(MC)。该MC的有效验证通过证明或证伪给定的系统规范来定量地洞察推断出的人类策略的质量。对于这种情况下,该战略的质量是不够的,我们提出了一种改进方法,使用反例提交给人类。实验表明,通过将人类纳入POMDP验证循环,我们在可扩展性方面提高了几个数量级的最新技术水平。
2018-02-27 cs.AI
Actual Causality and Responsibility Attribution in Decentralized Partially Observable Markov Decision Processes
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
实际的因果关系和一个密切相关的责任归属概念是负责任的决策的核心。实际因果关系侧重于具体结果,旨在确定对实现感兴趣的结果至关重要的决策(行动)。责任归属是补充性的,旨在确定决策者(代理人)对这一结果负有责任的程度。在本文中,我们研究这些概念下,广泛使用的框架下的多智能体顺序决策的不确定性:分散部分可观察马尔可夫决策过程(Dec-POMDPs)。在RL最近的工作,显示POMDPs和结构因果模型(SCM)之间的对应关系,我们首先建立一个连接之间的Dec-POMDPs和SCM。这种联系使我们能够利用语言来描述实际的因果关系,从以前的工作和研究现有的定义,实际因果关系的Dec-POMDPs。鉴于一些众所周知的定义可能会导致反直觉的实际原因,我们引入了一个新的定义,更明确地占代理人的行动之间的因果依赖关系。然后,我们转向基于实际因果关系的责任归属,我们认为,在将责任归于代理时,重要的是要考虑代理参与的实际原因的数量,以及它操纵自己的责任程度的能力。出于这些论点,我们引入了一个家庭的责任归属方法,扩展了以前的工作,同时考虑到上述因素。最后,通过一个模拟实验,比较了不同的因果关系定义和责任归属方法。实证结果表明,考虑的实际因果关系的定义和它们对归因责任的影响之间的质的差异。
2022-08-09 cs.AI
Computing Universal Plans for Partially Observable Multi-Agent Routing Using Answer Set Programming
Department of Computer Science(计算机科学系);Engineering Hong Kong University of Science(工程 香港理工大学)
本文提出基于答案集编程的系统,用于计算部分可观测多智能体路由问题的通用计划,通过自定义动作偏好实现高效策略。
2026-01-07 cs.AI cs.MA
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中,有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习(RL)是一种通过预测刺激(如遵循策略的奖励)来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索,但在多智能体问题中还是一个新生的概念。为此,我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域,我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程(POMDP),被称为MCES-P,在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确(PAC)的范围内的多智能体设置,显示MCESP+PAC持有在其他代理的存在。然后,我提出了一个更具样本效率的方法,对抗设置,MCESIP+PAC。对于协作设置,我将MCES-P扩展到Multiagent POMDP,称为MCESMP+PAC。然后,我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先,我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的,多智能体的环境。接下来,我提出了一个MCES-P的实现,以及图像分割,以创建一个自适应的团队为基础的强化学习技术,积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
Learning What Information to Give in Partially Observed Domains
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
在许多机器人应用中,自主智能体必须在其人类队友未观察到的部分观察到的环境中行动并探索该环境。我们考虑这样一种设置,在这种设置中,代理可以在行动时向人类传输声明性信息,帮助他们理解这个看不见的环境的各个方面。在这项工作中,我们解决的算法问题,代理应该如何计划采取什么行动,什么信息传输。自然地,人们会期望人类有偏好,我们在理论上通过对传输的信息进行评分来对信息进行建模,该信息基于它在人类信仰状态的加权熵中引起的变化。我们制定这个设置为一个信念MDP,并给出了一个易于处理的算法来解决它近似。然后,我们给出了一个算法,允许智能体通过探索在线学习人类的偏好。我们验证我们的方法在模拟离散和连续部分观察搜索和恢复域的实验。访问http://tinyurl.com/chitnis-corl-18获取补充视频。
2018-09-27 cs.AI cs.RO
Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments
Australian National University(澳大利亚国立大学);Google DeepMind(谷歌DeepMind)
针对多智能体系统中现有基于类型推理方法的可观测性假设与扩展性局限,提出结合元策略的POTMMCP在线规划方法,在大规模部分可观测环境中实现了更高效的长视野规划与更优的求解性能。
2023-06-09 cs.AI cs.MA
BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents
University of Tokyo(东京大学);Kyoto University(京都大学);National Institute of Informatics(日本信息处理学会)
提出BenchTrace基准,通过反思评估和进化评估两个任务,结合失败避免率(FAR)指标,系统评估LLM智能体的自我进化能力,实验发现当前模型在反思诊断和泛化上存在显著瓶颈。
2026-05-28 cs.AI
Context Discovery for Model Learning in Partially Observable Environments
SoftBank Robotics Europe (Aldebaran)(软银机器人欧洲(Aldebaran))
学习模型的能力对于自主智能体的成功至关重要。不幸的是,在部分可观察的环境中学习模型是困难的,其中潜在的环境因素影响代理观察到的内容。在缺乏监督训练信号的情况下,自主智能体因此需要一种机制来自主地发现这些环境因素或感觉运动背景。本文提出了一种在部分可观察环境中发现感觉运动上下文的方法,通过构建一个层次转换模型。该方法在模拟实验中进行评估,在该实验中,机器人学习到不同的房间的特点是在其中发现不同的对象。
2016-08-02 cs.AI cs.LG cs.RO
The act of remembering: a study in partially observable reinforcement learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Element AI(元素人工智能公司)
强化学习(RL)代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而,当RL代理面临部分可观测性时,某种形式的记忆是必要的。在本文中,我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容(如果有的话)。在每一步中,当前的内存状态都是代理观察的一部分,代理选择一个动作元组:一个动作修改环境,另一个动作修改内存。当外部记忆有足够的表现力时,最优无记忆策略会产生全局最优解。不幸的是,以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里,我们研究了其他形式的记忆,以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
Towards Computationally Efficient Responsibility Attribution in Decentralized Partially Observable MDPs
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
责任归属是责任型多主体决策的一个重要概念。鉴于一系列行动,责任归属机制量化了每个参与者对最终结果的影响。其中一个流行的机制是基于实际的因果关系,它根据被认为对所考虑的结果至关重要的行为来分配(因果)责任。然而,查明实际原因,从而确定确切的责任分配的固有问题已被证明是计算上棘手的。在本文中,我们的目标是提供一个实用的算法解决问题的责任归属下的计算预算。我们首先正式的问题的框架下,分散的部分可观测马尔可夫决策过程(Dec-POMDPs)的结构因果模型(SCM)的一个特定的类增强。在这个框架下,我们引入了一个蒙特卡罗树搜索(MCTS)类型的方法,有效地近似代理的责任度。该方法利用了一种新的搜索树的结构和修剪技术,都适合于责任归属的问题。我们的方法的其他新组件是(a)基于线性标量化的子选择策略和(b)考虑通常用于定义实际因果关系的最小条件的反向传播过程。我们通过一个基于模拟的测试平台,其中包括三个团队为基础的纸牌游戏实验评估我们的算法的有效性。
2023-02-24 cs.AI
Optimal Control of Logically Constrained Partially Observable and Multi-Agent Markov Decision Processes
University of Southern California(南加州大学);University of New Mexico(新墨西哥大学)
针对自主系统的逻辑约束、部分可观测性及多智能体信息不对称问题,提出带有限线性时序逻辑约束的POMDP最优控制理论与多智能体框架,可合成兼顾高奖励与约束满足概率的策略,经案例验证有效。
2024-06-19 cs.AI cs.FL cs.SY
Maximizing Information Gain in Partially Observable Environments via Prediction Reward
University of Alberta(阿尔伯塔大学);University of Oxford(牛津大学);Technical University Delft(代尔夫特理工大学)
在部分可观察的环境中的信息收集可以被公式化为强化学习(RL)问题,其中奖励取决于代理的不确定性。例如,奖励可以是代理对未知(或隐藏)变量的信念的负熵。通常,RL代理的奖励被定义为状态-动作对的函数,而不是代理信念的函数;这阻碍了深度RL方法对此类任务的直接应用。本文通过提供一个简单的见解来解决对深度RL代理使用基于信念的奖励的挑战,即最大化代理信念的任何凸函数可以通过最大化预测奖励来近似:基于预测准确性的奖励。特别是,我们推导出负熵和预期预测奖励之间的精确误差。这一见解提供了理论动机的几个领域使用预测奖励-即视觉注意,问答系统,和内在动机-并强调其连接到通常不同的领域主动感知,主动感知,传感器的位置。基于这一认识,我们提出了深度预期网络(DAN),它使代理能够采取行动,以减少其不确定性,而无需执行明确的信念推理。我们提出了两个应用程序的DAN:建立一个传感器选择系统跟踪人在购物中心和学习离散模型的注意力时尚MNIST和MNIST数字分类。
2020-05-11 cs.AI cs.LG
Learning to Act and Observe in Partially Observable Domains
我们考虑一个学习代理在部分可观察的环境中,代理从来没有互动过,它学习它可以观察到什么,以及它的行动如何影响环境。代理可以通过在该领域中采取行动并观察其结果所收集的经验来了解该领域。我们提出的学习算法能够学习尽可能多的(在一个定义明确的意义上)都是关于什么是直接观察到的,什么样的行动在域中,给定的学习者的观察约束。我们区分每个算法所获得的领域知识的水平,并描述所需的观测类型,以达到it.The算法使用动态认知逻辑(DEL)来表示学习领域的信息符号。我们的工作延续了Bolander和Gierasimczuk(2015)的工作,他们开发了基于DEL的学习算法,以学习完全可观察域中的域信息。
2021-09-13 cs.AI cs.LO
A Self-Supervised Auxiliary Loss for Deep RL in Partially Observable Settings
African Masters of Machine Intelligence(非洲机器智能硕士项目);African Institute for Mathematical Sciences, AIMS(非洲数学科学研究所);University of Oxford(牛津大学);Facebook AI Research(Facebook AI研究院)
在这项工作中,我们探讨了一个辅助损失有用的强化学习的环境中,强大的执行代理需要能够导航的空间环境。提出的辅助损失是为了最小化神经网络分类器的分类误差,该分类器预测从代理当前发作轨迹采样的一对状态是否是有序的。分类器将一对状态以及代理的记忆作为输入。这种辅助损失的动机是,有一个很强的相关性,一对状态中的哪一个是最近的代理情节轨迹,这两个状态是空间上更接近代理。我们的假设是,学习功能,以回答这个问题,鼓励代理学习和内化的记忆表示的国家,促进空间推理。我们在网格世界中的导航任务上测试了这种辅助损失,与强基线方法相比,累积事件奖励增加了9.6%。
2021-04-17 cs.AI cs.LG
Decentralized Monte Carlo Tree Search for Partially Observable Multi-agent Pathfinding
AIRI(人工智能研究院);Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心)
针对部分可观测的分散式终身多智能体路径规划问题,提出基于AlphaZero启发的多智能体蒙特卡洛树搜索方法,利用局部观察重建MDP进行规划,实验性能优于现有可学习求解器。
2023-12-26 cs.AI cs.LG cs.MA
Access Controlled Website Interaction for Agentic AI with Delegated Critical Tasks
Arizona State University(亚利桑那州立大学)
本文提出一种受控网站交互设计,用于代理AI执行关键任务,通过细粒度访问控制机制提升安全性与效率。
2026-03-18 cs.AI cs.CR cs.NI
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学)
现实世界的强化学习任务通常涉及某种形式的部分可观察性,其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆,其中代理可以访问多个过去的观察,以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而,强化学习中的递归神经网络通常是脆弱的,难以训练,易受灾难性遗忘的影响,有时会完全失败。在这项工作中,我们提出了深度Transformer Q-网络(DTQN),一种新的架构,利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的,我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明,Transformer可以解决部分可观察的任务比以前的递归方法更快,更稳定。
2022-11-10 cs.AI cs.LG
A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze
Norwegian University of Science and Technology(挪威科技大学)
针对部分可观测Morris水迷宫的导航问题,提出基于仅含解码器的Transformer深度Q网络架构,使智能体在视野受限下高效学习空间导航策略,为类生物行为的人工智能体研究提供新方向。
2024-10-01 cs.AI cs.LG cs.RO
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
值分解方法作为求解分散部分可观测马尔可夫决策过程(Dec-POMDP)问题的方法之一,近年来取得了重要的成果。然而,大多数值分解方法需要在训练期间完全可观察的环境状态,但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此,我们提出了一种新的价值分解框架,称为状态推理价值分解(SIDE),它通过同时寻求最优控制和状态推理两个问题的解决方案,消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法,以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能,我们验证了SIDE可以在没有可访问状态的情况下,根据过去的局部观察推断出有助于强化学习过程的当前状态,甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics(伊兹密尔经济大学)
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习,智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么,这将它们限制在某些问题上。在这项研究中,我们遵循的想法,让记忆的控制代理,允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的,这种动机是为了记住罕见的观察结果,这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系,并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Temporal Knowledge-Graph Memory in a Partially Observable Environment
HumemAI;Vrije Universiteit Amsterdam(范·艾克大学阿姆斯特丹);ELLIS Institute Finland & Abo Akademi University(芬兰ELLIS研究所及阿博阿卡迪米大学)
该研究提出了一种基于时序知识图谱的记忆机制,通过在部分可观测环境中测试,展示了符号智能体在QA任务中比神经基线高出四倍的准确率。
2026-02-25 cs.AI cs.LG
Online Active Perception for Partially Observable Markov Decision Processes with Limited Budget
University of Texas at Austin(德克萨斯大学奥斯汀分校)
主动感知策略使智能体能够有选择地收集信息,以提高其性能。在应用程序中,代理不具有现有的信息源的先验知识,它是至关重要的综合主动感知策略在运行时。我们认为,在运行时的代理是能够收集信息的有限的预算下的设置。我们提出的问题的背景下,部分可观察的马尔可夫决策过程。我们提出了一个广义的贪婪策略,选择一个子集的信息源的不确定性减少的近最优保证。我们的理论分析表明,所提出的主动感知策略在预期的累积奖励方面达到了接近最优的性能。我们展示了机器人导航问题的模拟产生的战略。
2019-10-04 cs.AI cs.SY eess.SY
The influence of persona and conversational task on social interactions with a LLM-controlled embodied conversational agent
University of Regensburg(雷根斯堡大学)
本研究通过虚拟现实实验,发现LLM控制的具身智能体的外向人格能提升用户的社会评价、情绪体验和参与度,且LLM帮助能增强用户信心。
2024-11-08 cs.AI cs.HC
Randomized Controlled Trials for Conditional Access Optimization Agent
Microsoft Corporation(微软公司)
本文通过首个随机对照试验,评估Microsoft Entra中用于条件访问策略管理的AI智能体,证实其可显著提升身份管理员四项相关任务的准确率并缩短完成时间。
2025-11-17 cs.AI econ.GN q-fin.EC
Randomized Controlled Trials for Phishing Triage Agent
Microsoft Corporation(微软公司)
本文通过随机对照试验评估微软钓鱼邮件分流AI智能体的应用效果,证实其可显著提升安全分析师的钓鱼邮件处置效率与判定准确率,为SOC部署AI提供参考。
2025-11-17 cs.AI econ.GN q-fin.EC
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile(智利天主教大学);Vector Institute(向量研究院);University of Toronto(多伦多大学);Ryerson University(瑞尔森大学)
强化学习是人工智能的核心问题。这个问题包括定义人工代理,可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机(RM)提供奖励函数的结构化的、基于自动机的表示,其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里,我们表明,RM可以从经验中学习,而不是由用户指定,并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题,其目标是找到一个RM,分解成一组子问题的问题,使其最佳的无记忆的政策的组合是一个最佳的政策,为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性,在这些领域中,它的性能显着优于A3 C,PPO和ACER,并讨论了它的优点,局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
The Partially Observable History Process
University of Alberta(阿尔伯塔大学);Amii(Amii(阿尔伯塔机器智能研究所));Brown University(布朗大学)
我们介绍了部分可观察的历史过程(POHP)形式主义的强化学习。POHP以单个代理的行为和观察为中心,并抽象出其他参与者的存在,而不将其简化为随机过程。我们的形式主义提供了一个简化的接口,设计算法,无视分类为唯一的单一或多代理,并开发理论,适用于这些领域。我们展示了POHP形式主义如何统一传统模型,包括马尔可夫决策过程,马尔可夫博弈,扩展形式博弈及其部分可观察扩展,而不引入繁琐的技术机器或违反强化学习的哲学基础。我们说明了我们的形式主义的实用性,通过简洁地探索可观察到的顺序合理性,检查一般立即后悔最小化的一些理论性质,并推广的广泛形式的后悔最小化(EFR)算法。
2022-02-24 cs.AI cs.GT
Modeling the effects of environmental and perceptual uncertainty using deterministic reinforcement learning dynamics with partial observability
University of Leeds(利兹大学)
评估由代理人对世界真实状态的部分观察所产生的不确定性的系统性影响对于理解广泛的情景至关重要。然而,以前的代理学习和决策建模工作要么缺乏系统的方法来描述这种不确定性的来源,要么把重点放在使用复杂的世界模型来获得最优策略上,这将对真实的代理施加不切实际的高认知需求。在这项工作中,我们的目标是有效地描述生物学上合理的和吝啬的学习代理人面对部分可观察的世界的涌现行为。因此,我们推导并提出了确定性强化学习动力学,其中代理只部分观察环境的真实状态。我们展示了广泛的适用性,我们的动态在不同类别的部分可观察的代理环境系统。我们发现,部分可观测性在一些特定的情况下创造了非直观的好处,指出了进一步研究这种影响的一般理解的方式。例如,部分观察型智能体可以更快、更稳定地学习更好的结果,甚至可以克服社会困境。此外,我们的方法允许应用动力系统理论的部分可观察的多智能体学习。在这方面,我们发现了灾难性极限环的出现,奖励制度之间的学习过程的关键放缓和学习动态的快速和缓慢方向的分离,所有这些都是由部分可观测性引起的。因此,所提出的动力学有可能成为生物学,社会科学和机器学习研究人员系统地研究相互作用的部分观察代理的影响的一个正式的,但实用的,轻量级的和强大的工具。
2022-04-14 cs.AI cs.LG cs.MA
Dynamic Queue-Jump Lane for Emergency Vehicles under Partially Connected Settings: A Multi-Agent Deep Reinforcement Learning Approach
New York University(纽约大学)
应急车辆(EMV)服务是城市的一项重要功能,由于城市交通拥堵,因此极具挑战性。EMV服务延迟的主要原因是阻塞EMV的车辆之间缺乏沟通和合作。本文研究了V2X连接下EMV服务的改进。我们考虑在存在非互联人类驾驶车辆的情况下,基于互联车辆的实时协调来建立动态队列跳转车道(DQJL)。我们开发了一种新的马尔可夫决策过程制定的DQJL协调策略,明确占的不确定性的驱动程序的屈服模式接近EMV。基于代表代理车辆的演员和评论家的神经网络对,我们开发了一种多代理演员-评论家深度强化学习算法,该算法可以处理交通中不同数量的车辆和随机比例的连接车辆。通过间接和直接的强化学习接近最佳协调策略,我们提出了两个方案来解决多智能体强化学习在这个连接的车辆应用。这两种方法都得到了验证,在微观仿真测试平台SUMO,建立一个DQJL快速,安全。验证结果表明,与DQJL协调策略,它节省了高达30%的时间EMV通过链路级智能城市道路比基线方案。
2021-01-15 cs.AI cs.SY eess.SY
A Reference Model for IoT Embodied Agents Controlled by Neural Networks
University of Waterloo(滑铁卢大学);Pontifícia Universidade Catolica (PUC-Rio)(里约热内卢天主教大学)
具身智能体是用于表示智能体的术语,其是属于物联网(IoT)域的设备的组件。每个代理都配备了传感器和执行器,以与环境交互,并配备了通常包含人工神经网络(ANN)的“控制器”。在以前的出版物中,我们介绍了三种软件方法来设计,实现和测试物联网具身智能体。在本文中,我们提出了一个基于状态图的参考模型,该模型提供了针对物联网应用程序开发的抽象。该模型表示由神经网络控制的具身智能体。我们的模型包括人工神经网络的训练过程,表示为一个重新配置的步骤,如改变代理功能或神经网络连接。我们的贡献包括识别物联网具身智能体的主要特征,基于状态图的参考模型规范,以及该模型在支持自主路灯方面的说明性应用。该提案旨在通过提供高级设计抽象和模型来支持物联网应用的设计和实施,从而使设计人员能够采用统一的方法来构思,设计和解释此类应用。
2021-02-15 cs.AI cs.NE cs.SE