DIDER: Discovering Interpretable Dynamically Evolving Relations
Honda Research Institute（本田研究院）
有效理解动态演化的多智能体交互对于捕获社会系统中智能体的潜在行为至关重要。直接观察这些相互作用通常具有挑战性，因此对潜在的相互作用进行建模对于实现复杂的行为至关重要。动态神经关系推理（DNRI）最近的工作捕捉在每一步明确的代理间的相互作用。然而，在每一步的预测结果在嘈杂的相互作用，缺乏内在的可解释性，没有事后检查。此外，它需要访问地面实况注释来分析预测的相互作用，这是很难获得的。本文介绍了DIDER，发现可解释的动态演化关系，一个通用的端到端的交互建模框架与内在的可解释性。DIDER通过将潜在交互预测任务分解为子交互预测和持续时间估计，发现了一个可解释的智能体间交互序列。通过在较长的持续时间内施加子交互类型的一致性，所提出的框架实现了内在的可解释性，而不需要任何事后检查。我们在合成和真实世界的数据集上评估DIDER。实验结果表明，建模解纠缠和可解释的动态关系，提高性能的轨迹预测任务。
2022-08-22 cs.AI cs.LG cs.RO
Discovering Latent States for Model Learning: Applying Sensorimotor Contingencies Theory and Predictive Processing to Model Context
AI Lab of SoftBank Robotics Europe (Aldebaran)（软银机器人欧洲公司人工智能实验室（Aldebaran））
自主机器人需要能够适应不可预见的情况，并通过试错获得新技能。强化学习原则上为这种自主学习提供了一个合适的方法框架。然而，当前的计算强化学习代理大多完全从零开始学习每个单独的技能。我们如何才能使人工智能体，如机器人，获得某种形式的通用知识，他们可以利用这些知识来学习新技能？本文认为，像大脑一样，人工智能体的认知系统必须发展一个世界模型来支持适应性行为和学习。灵感来自认知科学文献中的两个最新发展：认知的预测处理理论和感知的感觉运动偶然性理论。在此基础上，提出了一个关于内部世界模型中编码的信息内容以及智能体如何自主获取信息的假设，描述了一个计算模型来形式化这一假设，并在一系列仿真实验中进行了评估。
2016-08-01 cs.AI cs.LG cs.RO
Discovering Causality for Efficient Cooperation in Multi-Agent Environments
Institute for Digital Technologies（数字技术研究所）；Loughborough University London（拉夫堡大学伦敦校区）
本文研究多智能体强化学习中的懒惰智能体问题，利用因果关系估计改进信用分配，并采用摊销因果发现自动检测因果，以惩罚懒惰智能体，提升团队及个体性能。
2023-06-20 cs.AI cs.LG cs.MA
BOAD: Discovering Hierarchical Software Engineering Agents via Bandit Optimization
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM Watson AI实验室）；Stanford（斯坦福大学）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
BOAD通过多臂老虎机问题自动发现层次化多代理结构，提升软件工程任务的泛化能力。
2026-01-01 cs.AI cs.LG
Automated Membership Inference Attacks (AutoMIA): Discovering MIA Signal Computations using LLM Agents
Emory University（埃默里大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出AutoMIA框架，利用LLM代理自动化设计和实现新的成员推断攻击策略，通过系统探索攻击策略空间，发现新型攻击方法，实验显示在目标模型和数据集上提升AUC达0.18。
2026-09-18 cs.CR cs.LG
Discovering Blind Spots in Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
在仿真中训练的代理可能会在现实世界中由于训练和执行环境之间的不匹配而出错。这些错误可能是危险的，也很难发现，因为智能体无法先验地预测它们。我们建议使用Oracle反馈来学习这些盲点的预测模型，以减少现实世界应用中代价高昂的错误。我们专注于强化学习（RL）中由于不完整的状态表示而出现的盲点：智能体没有适当的特征来表示世界的真实状态，因此无法区分众多状态。我们将发现RL中的盲点的问题形式化为具有类不平衡的噪声监督学习问题。我们通过结合标签聚合、校准和监督学习技术来学习模型，以预测状态空间中不可见区域的盲点。这些模型考虑了来自不同形式的预言反馈的噪音，包括演示和更正。我们在两个领域评估了我们的方法，并表明它比基线方法具有更高的预测性能，并且学习的模型可以用于在执行时选择性地查询Oracle以防止错误。我们还实证分析了各种反馈类型的偏见，以及它们如何影响盲点的发现。
2018-05-23 cs.AI cs.LG stat.ML
ATLAS: Discovering Agent Strategies through LLM-Guided Abstraction and Automata Learning
TU Wien（维也纳技术大学）；TU Graz（格拉茨技术大学）
该研究提出ATLAS方法，结合轨迹抽象与自动机学习从智能体轨迹推断有限状态模型，以实现对LLM智能体行为的可解释分析、知识迁移及简洁解释。
2026-08-17 cs.LG cs.SE
Discovering Ordinary Differential Equations with LLM-Based Qualitative and Quantitative Evaluation
Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea（韩国首尔 Chung-Ang 大学人工智能系）；Daejin University, Pocheon, Republic of Korea（韩国坡州市 Daejin 大学）
本文提出DoLQ方法，通过多智能体架构结合LLM进行定性与定量评估，实现常微分方程的发现，实验表明其在多维ODE基准测试中性能优于现有方法。
2026-07-16 cs.AI cs.LG cs.NE
Discovering Cooperative Pipelines: Autoresearch for Sequential Social Dilemmas
Komorebi AI Technologies（Komorebi人工智能技术）
本文提出一种双层自动研究框架，其中外层AI智能体自动重新设计内层LLM策略合成管线，以解决多智能体序列社会困境，实验表明该方法在多个游戏和福利目标下优于手工基线。
2026-05-28 cs.AI cs.LG cs.MA
Discovering Hierarchical Achievements in Reinforcement Learning via Contrastive Learning
Seoul National University（首尔大学）；KRAFTON（魁匠团）
针对程序生成环境中的层级成就发现问题，本文提出成就蒸馏对比学习方法，增强 PPO 对下一成就的预测能力，并在 Crafter 上以更少参数实现样本高效的最优性能。
2023-11-02 cs.AI cs.LG
Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
本文提出干预边界发现方法，通过随机化动作生成干预对比，利用FDR校正的两样本检验确定观测维度，有效识别可控状态维度。
2026-09-29 cs.AI cs.LG
LoopBench: Discovering Emergent Symmetry Breaking Strategies with LLM Swarms
University of Alberta（阿尔伯塔大学）；Network for Applied Technology（应用技术网络）
LoopBench通过LLM群体研究分布式对称性打破策略，揭示先进模型在解决死锁问题上的能力。
2025-12-07 cs.AI cs.LG cs.MA
ARM: Discovering Agentic Reasoning Modules for Generalizable Multi-Agent Systems
University of Washington（华盛顿大学）
本文提出了一种新的自动多智能体系统设计范式，通过优化链式推理（CoT）来发现代理推理模块（ARM），该模块通过在代码空间中进行树搜索，利用执行轨迹的反思来进化，从而提升多智能体系统的泛化能力。
2026-05-19 cs.AI cs.CL cs.LG
Trajectory First: A Curriculum for Discovering Diverse Policies
TU Berlin（柏林技术大学）；Robotics Institute（机器人研究所）
本文提出一种两阶段课程，通过轨迹先验生成多样化高奖励行为，再蒸馏为反应式策略，提升任务性能与行为多样性。
2026-08-14 cs.LG cs.RO
DisTop: Discovering a Topological representation to learn diverse and rewarding skills
Univ Lyon（里昂大学）；Université Lyon 1（里昂第一大学）；CNRS（法国国家科学研究中心）；LIRIS（图像与信息系统实验室）
深度强化学习（DRL）代理探索的最佳方式是学习一组实现状态均匀分布的技能。在此之后，我们介绍了DisTop，这是一种同时学习多种技能并专注于提高奖励技能的新模式。DisTop逐步建立一个离散的拓扑结构的环境使用无监督的对比损失，不断增长的网络和目标条件的政策。使用这种拓扑结构，状态独立的分层策略可以选择代理必须在状态空间中保持发现技能的位置。反过来，新访问的状态允许改进的学习表示，并且学习循环继续。我们的实验强调，DisTop是不可知的基态表示和代理可以发现其环境的拓扑结构的状态是否是高维二进制数据，图像，或本体感受输入。我们证明了这种模式在MuJoCo基准测试中具有竞争力，在单任务密集奖励和多样化技能发现方面都具有最先进的算法。通过结合这两个方面，我们表明，DisTop实现了最先进的性能相比，分层强化学习（HRL）时，奖励稀疏。我们相信，DisTop通过展示自下而上的技能发现与表示学习相结合可以解锁DRL中的探索挑战，从而打开了新的视角。
2021-06-06 cs.LG
Discovering and Achieving Goals via World Models
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Toronto（多伦多大学）
人工智能如何在没有任何监督的情况下学习解决复杂视觉环境中的许多不同任务？我们将这个问题分解为两个问题：发现新目标和学习可靠地实现它们。我们引入了潜在的探索者成就者（LEXA），这是一个统一的解决方案，它从图像输入中学习世界模型，并使用它来训练探索者和成就者策略。与先前通过到达先前访问过的状态进行探索的方法不同，探索者计划通过预见来发现看不见的令人惊讶的状态，然后将其用作成就者练习的不同目标。在无监督阶段之后，LEXA解决指定为目标图像zero-shot的任务，而无需任何额外的学习。无论是在之前的基准测试还是在一个新的具有挑战性的基准测试中，LEXA在无监督目标达成方面的表现都大大优于之前的方法，该基准测试共完成了40项测试任务，跨越了四个标准机器人操作和运动领域。LEXA进一步实现了需要按顺序与多个对象交互的目标。最后，为了展示LEXA的可扩展性和通用性，我们训练了一个跨四个不同环境的通用代理。https://orybkin.github.io/lexa/上的代码和视频
2021-10-18 cs.AI cs.CV cs.LG
Discovering Antagonists in Networks of Systems: Robot Deployment
Institute of Engineering and Computational Mechanics, University of Stuttgart（工程与计算力学研究所，斯图加特大学）；Department of Mechanical Engineering, LUT University（机械工程系，卢托大学）
本文提出了一种基于归一化流的上下文异常检测方法，用于识别机器人群体中的拮抗行为，实验表明其在准确率和鲁棒性方面优于现有方法。
2025-03-04 cs.LG cs.MA cs.RO
Constraint-Driven Small Language Models Based on Agent and OpenAlex Knowledge Graph: Mining Conceptual Pathways and Discovering Innovation Points in Academic Papers
Ziye Xia（未知）；Sergei S. Ospichev（未知）
针对学术论文分析中概念关系网络难以深入探索的问题，本文基于OpenAlex知识图谱提出一种利用小型语言模型和知识图谱约束Agent的关键概念路径分析方法，有效实现了概念提取与创新点识别，并通过微调Qwen和DeepSeek模型显著提升了准确率。
2025-11-05 cs.CL cs.LG
AtomComposer: Discovering Chemical Space from First Principles with Reinforcement Learning
Dept. of Energy Conversion and Storage, Technical University of Denmark（丹麦技术大学能源转换与存储系）；Dept. of Applied Mathematics and Computer Science, Technical University of Denmark（丹麦技术大学应用数学与计算机科学系）；Pioneer Center for Accelerating P2X Materials Discovery (CAPeX), Kgs. Lyngby, Denmark（加速P2X材料发现的先锋中心（CAPeX），Lyngby，丹麦）
提出AtomComposer，一种无需预训练数据、通过在线强化学习自主构建有效3D异构体的智能体，在未见化学式上发现的异构体数量比现有方法多一个数量级。
2026-05-27 cond-mat.mtrl-sci cs.LG
EvolveSignal: A Large Language Model Powered Coding Agent for Discovering Traffic Signal Control Strategies
Department of Data Science and Artificial Intelligence, Monash University（数据科学与人工智能系，墨尔本大学）；School of Transportation, Southeast University（交通学院，东南大学）；Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院）；Department of Civil and Environmental Engineering, Monash University（土木与环境工程系，墨尔本大学）；Department of Civil and Architectural Engineering, KTH Royal Institute of Technology（土木与建筑工程系，皇家理工学院）
本文提出EvolveSignal，利用大语言模型自动发现可解释的启发式策略，通过程序合成方法优化交通信号控制，实验表明其在减少延误和停车次数方面优于传统方法。
2026-04-22 cs.LG
Continuously Discovering Novel Strategies via Reward-Switching Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；University of Toronto（多伦多大学）
我们提出了奖励切换策略优化（RSPO），一种通过迭代找到既局部最优又与现有策略充分不同的新策略来发现复杂RL环境中的多种策略的范例。为了鼓励学习策略一致地收敛到先前未发现的局部最优值，RSPO在优化过程中通过基于概率的新颖性测量在外在和内在奖励之间切换。当采样的轨迹足够独特时，RSPO执行具有外部奖励的标准策略优化。对于在现有政策下具有高可能性的轨迹，RSPO利用内在多样性奖励来促进探索。实验表明，RSPO能够在各种领域发现广泛的策略，从单智能体粒子世界任务和MuJoCo连续控制到多智能体猎鹿游戏和StarCraftII挑战。
2022-05-03 cs.AI cs.LG
Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations
Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
控制应用程序通常具有类似但不完全相同的动态任务。我们介绍了隐参数马尔可夫决策过程（HiP-MDP），一个框架，参数化一个家庭的相关动力系统与一组低维的潜在因素，并介绍了半参数回归方法从数据中学习其结构。在控制设置中，我们表明，一个学习的HiP-MDP快速识别一个新的任务实例的动态，允许代理灵活地适应任务的变化。
2013-08-15 cs.AI cs.LG
Learning to design without prior data: Discovering generalizable design strategies using deep learning and tree search
Carnegie Mellon University（卡内基梅隆大学）
自20世纪80年代以来，构建一个能够自主设计的人工智能智能体一直是一个目标。最近，深度学习已经显示出从大规模数据中学习的能力，从而使数据驱动设计取得了重大进展。然而，对先前数据的学习限制了我们只能解决以前已经解决的问题，并使数据驱动的学习偏向于现有的解决方案。设计代理的最终目标是能够在问题空间中学习可概括的设计行为，而无需之前看到它。在这项工作中，我们引入了一个自我学习的代理框架，实现这一目标。该框架将深度策略网络与一种新的树搜索算法相结合，其中树搜索探索问题空间，深度策略网络利用自我生成的经验进一步指导搜索。这个框架首先展示了在没有任何先验数据的情况下发现高性能生成策略的能力，其次，它说明了生成策略在各种看不见的边界条件下的zero-shot泛化。这项工作的有效性和多功能性的框架，通过解决多个版本的两个工程设计问题，而无需再培训。总的来说，本文提出了一种方法，在任意问题空间中自我学习高性能和可推广的问题解决行为，规避了对专家数据，现有解决方案和特定问题学习的需求。
2022-11-28 cs.AI cs.LG
Symbolic Physics Learner: Discovering governing equations via Monte Carlo tree search
Northeastern University（东北大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Notre Dame（圣母大学）；Renmin University of China（中国人民大学）
非线性动力学在自然界中普遍存在，在各种科学和工程学科中都很常见。从有限的数据中提取控制非线性动力学的分析表达式仍然至关重要但具有挑战性。为了解决这个根本问题，我们提出了一种新的符号物理学习机（SPL）发现非线性动力学的数学结构。其核心思想是通过计算规则和符号解释数学运算和系统状态变量，通过表达式树建立数学公式的符号推理，并采用蒙特卡罗树搜索（MCTS）代理根据测量数据探索最优表达式树。MCTS代理通过遍历表达式树获得一个乐观的选择策略，其特征在于映射到底层物理的算术表达式。所提出的框架的显着特点包括搜索的灵活性和发现方程的简约性的执法。SPL机的有效性和优越性证明了数值例子，与国家的最先进的基线。
2023-02-02 cs.AI cs.LG cs.SC
Discovering Minimal Reinforcement Learning Environments
BCCN Berlin（柏林计算神经科学中心）；University of Oxford（牛津大学）；FLAIR；Technical University Berlin（柏林工业大学）；Science of Intelligence（智能科学）
针对强化学习智能体同环境训练评估的局限，该研究扩展合成环境框架，改进元学习算法、结合硬件并行与课程学习，还发现合成上下文赌博机可媲美合成MDPs，能加速训练并提供环境见解。
2024-06-18 cs.LG
Discovering and Exploiting Sparse Rewards in a Learned Behavior Space
SoftBank Robotics Europe（软银机器人欧洲公司）；Sorbonne Université（索邦大学）
本文提出 STAX 算法，通过交替学习低维行为空间、探索多样策略并利用 emitters 优化稀疏奖励，在三个环境中以更少先验信息达到与基线相当的性能。
2023-09-26 cs.AI cs.LG cs.NE
Learning Multiple Visual Tasks while Discovering their Structure
Istituto Italiano di Tecnologia（意大利理工学院）；Università di Genova（热那亚大学）
多任务学习是计算机视觉应用的一种自然方法，这些应用需要同时解决几个不同但相关的问题，例如目标检测、分类、跟踪多个代理或去噪等。关键的想法是，探索任务相关性（结构）可以提高性能。在本文中，我们提出并研究了一种新的稀疏，非参数的方法，利用再生核希尔伯特空间的理论，向量值函数。我们开发了一个合适的正则化框架，可以制定为一个凸优化问题，并证明可解使用交替最小化方法。实证测试表明，所提出的方法相比有利的最先进的技术，并进一步允许恢复可解释的结构，在其本身的权利感兴趣的问题。
2015-04-13 cs.CV cs.LG
Promoting Coordination through Policy Regularization in Multi-Agent Deep Reinforcement Learning
Québec AI institute (Mila)（魁北克人工智能研究所（Mila））；Polytechnique Montréal（蒙特利尔高等理工学院）；McGill University（麦吉尔大学）；Element AI
在多智能体强化学习中，发现成功的集体行为是具有挑战性的，因为它需要探索一个随着智能体数量呈指数级增长的联合行动空间。虽然独立智能体探索的易处理性很有吸引力，但这种方法在需要精心设计的群体策略的任务上失败了。我们认为，协调代理人的政策可以指导他们的探索，我们调查的技术，以促进这种归纳偏见。我们提出了两种策略正则化方法：TeamReg，这是基于代理间的动作可预测性和CoachReg，依赖于同步的行为选择。我们评估了四个具有挑战性的连续控制任务，稀疏的奖励，需要不同程度的协调，以及在离散行动谷歌研究足球环境中的每种方法。我们的实验表明，在许多合作的多智能体问题的性能提高。最后，我们分析了我们提出的方法对我们的代理学习的政策的影响，并表明我们的方法成功地执行了我们提出的协调行为代理的质量。
2020-11-09 cs.LG cs.MA stat.ML
Skill Discovery of Coordination in Multi-agent Reinforcement Learning
Tsinghua University（清华大学）
无监督的技能发现驱动智能体在没有特定任务奖励信号的情况下探索未知环境，并且智能体获得各种技能，这些技能在智能体适应新任务时可能是有用的。在本文中，我们提出了“多智能体技能发现”（MASD），发现多个代理的协调模式的技能的方法。所提出的方法旨在最大化的互信息之间的潜在代码Z表示的技能和所有代理的状态的组合。同时，通过对抗训练，抑制了Z对任何单个Agent状态的授权。也就是说，它设置了一个信息瓶颈，以避免权力退化。首先，我们展示了在一般粒子多智能体环境中协调水平上的各种技能的出现。其次，我们揭示了“瓶颈”防止技能崩溃到一个单一的代理，并提高了学习技能的多样性。最后，我们证明了预训练的策略在监督RL任务上具有更好的性能。
2020-06-07 cs.LG cs.MA
Discovering Command and Control Channels Using Reinforcement Learning
Deloitte & Touche LLP（德勤会计师事务所）；National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）
本文将C2攻击建模为三阶段马尔可夫决策过程，利用强化学习在大型网络中自动学习攻击路径，并创新性地建模防火墙等防御机制，以帮助蓝队识别高优先级漏洞并改进防御策略。
2024-01-13 cs.CR cs.LG
Emergent Tool Use From Multi-Agent Autocurricula
OpenAI；Google Brain（谷歌大脑）
通过多智能体竞争，简单的目标的捉迷藏，和标准的强化学习算法的规模，我们发现，代理创建一个自我监督的自动课程诱导多轮不同的紧急战略，其中许多需要复杂的工具使用和协调。我们在我们的环境中发现了代理策略中六个紧急阶段的明确证据，每个阶段都为对方团队创造了新的压力，以适应;例如，代理学会使用可移动的盒子建造多对象庇护所，这反过来又导致代理发现他们可以使用坡道克服障碍。我们进一步提供的证据表明，随着环境复杂性的增加，多智能体竞争可能会更好地扩展，并导致行为以更多的人类相关技能为中心，而不是其他自我监督的强化学习方法，如内在动机。最后，我们提出了转移和微调作为一种方式来定量评估有针对性的能力，我们比较隐藏和寻找代理的内在动机和随机初始化基线在一套特定领域的智能测试。
2020-02-11 cs.AI cs.LG cs.MA
Imagine, Initialize, and Explore: An Effective Exploration Method in Multi-Agent Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）
本文提出 IIE 方法，通过 transformer 自回归想象影响智能体转移的关键状态并初始化环境，从而增强 MARL 在长时序稀疏奖励任务中的探索，实验在 SMAC 与 SMACv2 上优于基线。
2024-03-01 cs.AI cs.LG cs.MA
Discovery of Options via Meta-Learned Subgoals
University of Michigan（密歇根大学）；DeepMind（深度思维）
选项形式的时间抽象已被证明有助于强化学习（RL）代理更快地学习。然而，尽管在此主题上的先前工作，通过与环境的交互发现选项的问题仍然是一个挑战。在本文中，我们介绍了一种新的元梯度方法，用于在多任务RL环境中发现有用的选项。我们的方法是基于管理员-工人分解的RL代理，其中管理员通过学习一组任务独立的发现选项和原始动作的任务相关策略来最大化环境中的奖励。为每个选项定义子目标的选项奖励和终止函数被参数化为神经网络，并通过元梯度进行训练，以最大限度地提高其有用性。对网格世界和DeepMind实验室任务的实证分析表明：（1）我们的方法可以在多任务强化学习领域中发现有意义和多样的时间扩展选项，（2）所发现的选项在学习解决训练任务时经常被智能体使用，（3）所发现的选项帮助随机初始化的管理者在全新的任务中更快地学习。
2021-02-12 cs.AI cs.LG
Generalizing Multi-Step Inverse Models for Representation Learning to Finite-Memory POMDPs
Microsoft Research（微软研究院）；New York University（纽约大学）；DreamFold；MILA；Meta
研究高维非马尔可夫环境下发现以智能体为中心的状态表示问题，提出将广义逆模型适应到有限记忆POMDPs中，并通过理论与实证分析验证其有效性及过去动作的双刃剑效应。
2024-04-22 cs.AI cs.LG
Discovering Governing Equations of Geomagnetic Storm Dynamics with Symbolic Regression
KTH Royal Institute of Technology（皇家理工学院）
本研究应用基于进化算法的PySR符号回归框架，利用NASA OMNIweb太阳风历史数据，推导出描述Dst地磁暴指数时间演化的数据驱动方程，在保持物理可解释性的同时，在多数中度风暴事件中表现出优于传统经验模型的准确性。
2025-04-25 cs.CE cs.LG
Discovering Reinforcement Learning Algorithms
DeepMind（深度思维）
强化学习（RL）算法根据几种可能的规则之一更新代理的参数，这些规则是通过多年的研究手动发现的。从数据中自动发现更新规则可以产生更有效的算法，或者更好地适应特定环境的算法。虽然之前已经尝试解决这个重大的科学挑战，它仍然是一个悬而未决的问题，它是否是可行的发现替代RL的基本概念，如价值函数和时间差学习。本文介绍了一种新的元学习方法，发现一个完整的更新规则，其中包括“预测什么”（例如价值函数）和“如何从它学习”（例如自举）通过与一组环境的交互。该方法的输出是一个RL算法，我们称之为学习策略梯度（LPG）。实证结果表明，我们的方法发现自己的替代概念的价值函数。此外，它还发现了一种自举机制来维护和使用其预测。令人惊讶的是，当仅在玩具环境中训练时，LPG有效地推广到复杂的Atari游戏，并实现了非平凡的性能。这显示了从数据中发现通用RL算法的潜力。
2021-01-05 cs.AI cs.LG
Understanding the World to Solve Social Dilemmas Using Multi-Agent Reinforcement Learning
Universidad de los Andes（洛斯安第斯大学）
本文研究了多智能体强化学习环境中学习世界模型的自利理性智能体，发现配备世界模型的智能体群体在可能出现社会困境的场景中表现更优，且世界模型能促进复杂协调行为的涌现，使智能体能够理解环境和社会动力学。
2023-05-19 cs.LG cs.MA
Variational Causal Dynamics: Discovering Modular World Models from Interventions
Applied AI Lab（应用人工智能实验室）；University of Oxford（牛津大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
潜在的世界模型允许代理商的原因复杂的环境与高维的意见。然而，适应新环境和有效利用以前的知识仍然是重大挑战。我们提出了变分因果动力学（VCD），一个结构化的世界模型，利用跨环境的因果机制的不变性，以实现快速和模块化的适应。通过因果分解转换模型，VCD能够识别跨不同环境的可重用组件。这是通过结合因果发现和变分推理来实现的，以无监督的方式联合学习潜在表示和转换模型。具体来说，我们通过表示模型和结构为因果图模型的转换模型联合优化证据下限。在模拟环境的状态和图像观测的评估，我们表明，VCD是能够成功地识别因果变量，并发现一致的因果结构在不同的环境。此外，在以前看不见的干预环境中进行少量观察，VCD能够识别动态中的稀疏变化并有效地适应。在这样做的过程中，VCD显著地扩展了当前最先进的潜在世界模型的能力，同时在预测准确性方面也具有优势。
2022-06-22 cs.LG stat.ME
Influence-Based Reinforcement Learning for Intrinsically-Motivated Agents
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Higher Institute for Applied Sciences and Technology (HIAST)（高等应用科学与技术学院）
发现成功的协调行为是多智能体强化学习（MARL）的核心挑战，因为它需要探索随着智能体数量呈指数级增长的联合动作空间。在本文中，我们提出了一种机制，实现充分的探索和协调的代理团队。具体来说，代理人通过采用适当的内在激励功能为更加多元化的团队行为做出贡献而获得奖励。为了学习有意义的协调协议，我们通过引入一个新的框架来构建代理的交互，在每个时间步，代理模拟其政策的反事实推出，并通过一系列计算，评估其他代理的当前行为与目标之间的差距。最小化差距的行动被认为具有很大的影响力，并得到奖励。我们评估我们的方法在一组具有挑战性的任务，稀疏的奖励和部分的可观察性，需要学习复杂的合作策略下一个适当的探索计划，如星际争霸多智能体挑战。我们的方法在所有任务的不同基线上显示出显着改善的性能。
2021-10-13 cs.LG
Machine Learning for Discovering Effective Interaction Kernels between Celestial Bodies from Ephemerides
Johns Hopkins University（约翰斯·霍普金斯大学）
建立天体运动基本机制的精确和预测模型激发了理论物理学的基本发展。候选理论试图尽可能忠实地解释观测结果，并预测行星、恒星和其他天体的未来位置。我们使用数据驱动的学习方法，扩展了Lu等人（$2019$）和Zhong等人（$2020$）开发的方法，以获得太阳系中天体运动的稳定和准确的模型。我们的模型是基于集体动力学框架，并从美国宇航局喷气推进实验室的发展星历。通过将太阳系中的主要天体建模为成对相互作用的代理，我们的学习模型生成了非常精确的动力学，不仅保留了轨道的固有几何特性，而且还保留了动力学的高度敏感特征，例如近日点进动率。我们的学习模型可以为观测数据提供统一的解释，特别是在再现火星，水星和月球的近日点岁差方面。此外，我们的模型在所有情况下都优于牛顿的万有引力定律，并且在月球上的表现与爱因斯坦的广义相对论中推导出的爱因斯坦-因菲尔德-霍夫曼方程相似，甚至超过。
2021-08-26 astro-ph.EP astro-ph.IM cs.AI
A Study of AI Population Dynamics with Million-agent Reinforcement Learning
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）
我们进行了一项实证研究，发现有序的集体动力学获得的人口的情报代理，由百万代理强化学习。我们的目的是将智能代理放入模拟的自然环境中，并验证在现实世界中开发的原则是否也可以用于理解人工创建的智能群体。为了实现这一点，我们模拟了一个大规模的捕食者-猎物世界，其中世界的法则仅由自然界中发现的发现或逻辑等价物设计。基于深度强化学习（Deep Reinforcement Learning，DRL），赋予智能体智能。为了将种群规模扩展到数百万个智能体，提出了一种具有重新设计的经验缓冲区的大规模DRL训练平台。我们的研究结果表明，人口动态的人工智能智能体，只驱动每个代理的个人的自我利益，揭示了一个有序的模式，这是类似的Lotka-Volterra模型研究人口生物学。在研究智能体群体行为如何随环境资源变化的过程中，我们进一步发现了群体适应的涌现行为。这两个发现都可以用自然界中的自组织理论来解释。
2018-05-14 cs.AI cs.LG cs.MA
The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents
Delft University of Technology（代尔夫特理工大学）
针对深度强化学习智能体测试中失败场景缺乏多样性的问题，提出多目标进化搜索方法INDAGO-Nexus，联合优化失败概率与场景多样性，在三个智能体上相比INDAGO显著提升独特失败发现率并缩短失败时间。
2025-10-16 cs.LG
Discover the Hidden Attack Path in Multi-domain Cyberspace Based on Reinforcement Learning
Army Engineering University of PLA（中国人民解放军陆军工程大学）
在这项工作中，我们提出了一种基于学习的方法来分析网络空间的安全配置。与以前的方法不同，我们的方法能够从过去的经验中学习并随着时间的推移而改进。特别是，当我们训练了更多的代理作为攻击者，我们的方法变得更好地发现隐藏的攻击路径以前的方法，特别是在多域网络空间。为了实现这些结果，我们提出发现攻击路径作为强化学习（RL）问题和训练代理发现多域网络空间攻击路径。为了使我们的强化学习策略能够发现更多隐藏的攻击路径和更短的攻击路径，我们在强化学习中引入了一个多域动作选择模块。我们的目标是通过我们提出的方法发现更多的隐藏攻击路径和更短的攻击路径，分析网络空间安全配置的弱点。最后，设计了一个模拟网络空间的实验环境对所提出的方法进行了验证，实验结果表明，与现有的基线方法相比，该方法能够发现更多的隐藏多域攻击路径和更短的攻击路径。
2021-04-15 cs.AI cs.CR cs.LG
Generalizing Differentially Private Decentralized Deep Learning with Multi-Agent Consensus
Princeton University（普林斯顿大学）
针对去中心化协作学习中的参数泄露问题，提出嵌入差分隐私的多智能体共识深度学习框架，证明收敛性并在次梯度与 ADMM 方法上实现接近中心化基线的准确率。
2024-10-24 cs.AI cs.LG
MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning
JetBrains Research（JetBrains研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
近年来，深度强化学习在复杂的单智能体任务中取得了巨大的成功，最近这种方法也被应用于多智能体领域。在本文中，我们提出了一种新的方法，称为磁网，多智能体强化学习，利用相关图表示的环境中获得的自我注意机制，和消息生成技术。我们将我们的MAGnet方法应用于合成的捕食者-猎物多智能体环境和Pommerman游戏，结果表明它显着优于最先进的MARL解决方案，包括多智能体深度Q网络（MADQN），多智能体深度确定性策略梯度（MADDPG）和QMIX
2020-12-17 cs.LG
