Exploiting Restricted Boltzmann Machines and Deep Belief Networks in Compressed Sensing
American Family Mutual Insurance Company（美国家庭互助保险公司）；University of Delaware（特拉华大学）
本文提出了一种CS方案，该方案利用受限玻尔兹曼机和深度学习架构的表示能力来对属于同一类的信号的稀疏模式的先验分布进行建模。所确定的概率分布，然后使用在最大后验概率（MAP）的方法进行重建。先验分布的参数从训练数据中学习。这种方法背后的动机是对稀疏表示的系数之间的高阶统计依赖关系进行建模，最终目标是改善重建。在Berkeley分割数据集和MNIST手写体数字数据库上验证了该方法的性能。
2017-05-30 cs.LG
Distributed Learning for Cooperative Inference
Arizona State University（亚利桑那州立大学）；Boston University（波士顿大学）；University of Illinois（伊利诺伊大学）
我们研究的合作推理问题，一组代理在网络上进行交互，并寻求估计一个联合参数，最好地解释了一组观察。代理不知道网络拓扑或其他代理的观察结果。我们探讨了贝叶斯后验密度的变分解释，以及它与随机镜像下降算法的关系，提出了一种新的分布式学习算法。我们表明，在适当的假设下，所提出的算法产生的信念集中在真正的参数指数快速。我们提供了明确的非渐近界的收敛速度。此外，我们开发明确的和计算效率的算法属于指数族的观测模型。
2017-04-10 cs.LG cs.MA math.OC
Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration
School of Electrical；Archimedes, Athena Research Center, Greece；Department of Mathematics, ETH Zurich；Dept. of Mechanical Engineering \& Materials Science, Duke University；Dept. of Digital Systems, University of Piraeus, Greece
针对无通信分布式部分可观测环境下多智能体协作学习难题，提出含状态建模的MARL SMPE算法，通过置信表示融入策略与对抗式探索提升性能，在三类基准协作任务中超越现有最优算法。
2025-06-12 cs.AI cs.LG cs.MA
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
部分可观测性下的多智能体强化学习（MARL）长期以来一直被认为是具有挑战性的，这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中，我们研究了一个部分可观察的MARL问题，其中代理是合作的。为了使易于处理的算法的发展，我们引入了信息状态嵌入的概念，用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外，我们提出了一个基于递归神经网络（RNNs）的嵌入实例。然后将嵌入用作近似信息状态，并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有（部分可观察）MARL算法的黑盒子，使我们能够建立一些理论保证（价值函数的误差界），同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
本研究提出将智能体预测他人信念的能力作为多智能体强化学习的内在奖励，实现了可解释信念与深度网络策略的结合，并在混合合作竞争环境中验证了初步效果。
2023-07-18 cs.AI cs.LG cs.MA
Cooperative-Competitive Reinforcement Learning with History-Dependent Rewards
University of Georgia（佐治亚大学）；University of Southern Mississippi（南密西西比大学）
考虑一个典型的组织，其工人代理寻求集体合作以实现整体改善。然而，每个代理人同时寻求采取行动，以确保比同事更大的年度薪酬增量，该增量通常来自{ \em固定}池。因此，组织中的个体代理人必须合作和竞争。许多组织的另一个特点是，工人获得奖金，这往往是前一年总利润的一小部分。因此，代理人获得的奖励也部分取决于历史表现。在这种情况下，个体代理人应如何决定采取行动？近年来，混合合作竞争环境的一些方法已经提出，但这些问题域的奖励函数不依赖于当前的状态和行动的挑战。可以使用最近的使用长短期记忆（LSTM）的深度多智能体强化学习（MARL）方法，但是这些方法对交互采用联合视角，或者需要在智能体之间明确交换信息以促进合作，这在竞争下可能是不可能的。在本文中，我们首先表明，代理的决策问题可以建模为一个互动的部分可观察马尔可夫决策过程（I-POMDP），捕捉动态的历史相关的奖励。我们提出了一个互动的优势演员-评论家的方法（IA 2C $^+$），它结合了独立的优势演员-评论家网络的信念过滤器，保持信念分布超过其他代理的模型。实证结果表明，IA 2C $^+$比其他几个基线（包括使用LSTM的基线）更快、更鲁棒地学习最优策略，即使属性模型不正确。
2020-10-15 cs.LG
Policy Evaluation in Decentralized POMDPs with Belief Sharing
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
针对环境状态不可直接观测的多智能体合作策略评估任务，提出一种基于个体更新和局部交互的完全去中心化信念形成与价值函数参数交换策略，实现网络信息扩散并保证参数与集中式基线有界差异。
2023-05-16 cs.LG cs.MA cs.SY
Hybrid Belief Reinforcement Learning for Efficient Coordinated Spatial Exploration
本文提出混合信念-强化学习框架，通过双通道知识转移提升多代理空间探索效率，实验显示在无线服务任务中累计奖励和收敛速度均优于基线。
2026-10-21 cs.LG
Cooperative Bayesian Optimization for Imperfect Agents
Aalto University（阿尔托大学）；Hamburg University of Technology（汉堡工业大学）；University of Manchester（曼彻斯特大学）
针对人机协作优化双变量黑盒函数的场景，提出将问题建模为序列决策、用贝叶斯自适应蒙特卡洛规划结合考虑用户保守信念更新与探索采样的用户模型的方法，可在用户不过度探索时更好找到全局最大值。
2024-03-07 cs.AI cs.LG cs.MA
The Surprising Effectiveness of PPO in Cooperative, Multi-Agent Games
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Qi Zhi Institute（上海期智研究院）
近端策略优化（PPO）是一种普遍存在的基于策略的强化学习算法，但在多代理设置中的利用率明显低于离策略学习算法。这通常是由于人们认为PPO的样本效率明显低于多智能体系统中的非策略方法。在这项工作中，我们仔细研究了PPO在合作的多智能体设置的性能。我们表明，基于PPO的多智能体算法在四个流行的多智能体测试平台中实现了惊人的强大性能：粒子世界环境，星际争霸多智能体挑战，谷歌研究足球和Hanabi挑战，具有最小的超参数调整，没有任何特定领域的算法修改或架构。重要的是，与有竞争力的非保单方法相比，PPO通常在最终回报和样本效率方面都实现有竞争力或优越的结果。最后，通过消融研究，我们分析了实施和超参数的因素是至关重要的PPO的实证表现，并就这些因素给出具体的实用建议。我们的研究结果表明，当使用这些做法，简单的基于PPO的方法可以在合作多智能体强化学习强有力的基线。源代码在\url{https://github.com/marlbenchmark/on-policy}上发布。
2022-11-04 cs.AI cs.LG cs.MA
Energy-Efficient Hierarchical Federated Anomaly Detection for the Internet of Underwater Things via Selective Cooperative Aggregation
James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院）
本文提出了一种节能分层联邦学习框架，通过传感器到雾节点关联、压缩模型更新传输和选择性协作聚合，解决水下通信带宽低、能耗高导致的异常检测难题，提升参与度并降低能耗。
2026-03-25 cs.LG
Learning to Infer Belief Embedded Communication
Northwestern University（西北大学）；Zebra Technologies（斑马技术公司）
在具有通信的多智能体协作问题中，智能体编码其意图和解释其他智能体的策略的能力对于规划其未来的行动是至关重要的。本文介绍了一种新的算法，称为意图嵌入式通信（IEC）模仿代理的语言学习能力。IEC包含一个感知模块，用于解码其他代理的意图，以响应他们过去的行动。它还包括一个语言生成模块，用于在与两个或多个代理通信期间学习隐式语法。这样的语法，通过结构，应该是紧凑的有效沟通。这两个模块经历联合进化-类似于婴儿的牙牙学语，使其能够通过尝试和错误来学习一种语言。我们利用了三个多智能体环境，即捕食者/猎物，交通枢纽和基于水平的觅食，并说明这种共同进化使我们能够比最先进的算法，如MADDPG更快地学习（50%）。消融研究进一步表明，禁用推理信念模块，通信模块和隐藏状态分别降低了38%，60%和30%的模型性能。因此，我们建议对其他代理的行为进行建模可以加速另一个代理学习语法并开发一种有效沟通的语言。我们评估我们的方法在一组合作的情况下，并显示其优越的性能，其他多智能体基线。我们还表明，它是必不可少的代理人的原因，其他的状态，并学习这种能力，通过持续的沟通。
2022-03-15 cs.AI cs.LG cs.MA
Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination
Carnegie Mellon University（卡内基梅隆大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
在协作任务中具有人类或超人能力的协作人工智能处于机器学习研究的前沿。之前的工作倾向于在自我游戏（由一起训练的代理组成的团队）和交叉游戏（独立训练但使用相同算法的代理团队）的限制性范式下评估合作AI性能。最近的工作表明，针对这些狭窄环境进行优化的人工智能可能会导致现实世界中出现不受欢迎的合作者。我们正式评估合作AI的替代标准，被称为算法间的交叉游戏，其中代理与实验池内的所有其他代理的组队性能进行评估，没有假设代理之间的算法相似性。我们发现，现有的最先进的合作AI算法，如游戏和信念学习，在这种模式下表现不佳。我们提出了任何播放学习增强-多代理扩展的多样性为基础的内在奖励zero-shot协调（ZSC）-推广自我发挥为基础的算法，算法间的交叉设置。我们将Any-Play学习增强应用于简化动作解码器（SAD），并在协作纸牌游戏Hanabi中展示了最先进的性能。
2022-01-28 cs.AI cs.LG cs.MA
Curriculum Learning for Goal-Oriented Semantic Communications with a Common Language
Virginia Tech（弗吉尼亚理工大学）；Technology Innovation Institute（技术创新研究院）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
面向目标的语义通信将成为下一代无线网络的支柱。尽管最近在这一领域做出了重大努力，但大多数先前的工作都集中在特定的数据类型（例如，图像或音频），并且它们忽略了语义传输的目标和有效性方面。相反，在本文中，提出了一个整体的目标导向的语义通信框架，使扬声器和听众合作执行一组顺序的任务在动态环境中。提出了一种基于层次信念集的公共语言，以实现说话者和听话者之间的语义通信。说话者作为环境的观察者，利用信念将其观察的初始描述（称为事件）传递给听者。然后，听者能够推断所传输的描述，并通过将相关信念添加到说话者的传输信念来完成它。因此，监听器基于完整的描述来重构所观察到的事件，然后它基于重构的事件在环境中采取适当的动作。定义了一个优化问题，以确定完美的和抽象的事件描述，同时最小化的传输和推理成本的任务执行时间和信任效率的约束。提出了一种基于强化学习的自底向上的课程学习框架，解决了优化问题，使说话者和听话者逐渐识别信念集的结构和事件的完美抽象描述。仿真结果表明，所提出的CL方法优于传统RL的收敛时间，任务执行成本和时间，可靠性和信任效率。
2023-01-16 cs.LG cs.NI
ProAgent: Building Proactive Cooperative Agents with Large Language Models
Peking University（北京大学）
ProAgent利用大语言模型构建可动态推断队友意图并更新信念的主动协作智能体，在Overcooked-AI中零样本协调表现显著优于自博弈、种群训练及现有最优方法。
2024-01-11 cs.AI cs.LG cs.MA
Decentralized cooperative perception for autonomous vehicles: Learning to value the unknown
Alliance Sorbonne Université（索邦大学联盟）；Université de technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Heudiasyc（Heudiasyc实验室）
最近，我们目睹了涉及自动驾驶汽车的事故以及他们缺乏足够的信息。解决这一问题的一种方法是从不同观点的感知中受益，即合作感知。我们在这里提出了一个分散的合作，即点对点，其中代理人是积极的，在他们寻求全面的看法，要求在他们的周围环境中，他们想知道更多的具体领域。最终，我们希望在最大化关于移动对象的知识和最小化从其他人接收的信息总量之间进行优化，以限制通信成本和消息处理时间。为此，我们提出了一种方法来学习的通信策略，扭转了通常的通信模式，只要求从其他车辆什么是未知的自我车辆，而不是过滤发送方。我们测试了三种不同的生成模型作为深度强化学习（DRL）算法的基础，并将它们与广播策略和随机选择区域的策略进行了比较。特别是，我们提出了局部可预测VAE（LP-VAE），它似乎比最先进的模型产生更好的预测置信状态，无论是作为一个独立的模型，还是在DRL的背景下。实验在驾驶模拟器CARLA上进行。我们最好的模型平均获得了25%的总补充信息，而只要求约5%的自我车辆的感知领域。这种权衡可以通过我们的奖励函数的可解释超参数进行调整。
2022-12-12 cs.AI cs.LG cs.MA
Matching DNN Compression and Cooperative Training with Resources and Data Availability
CNR-IEIIT（意大利国家研究委员会电子与信息工程研究所）；CNIT（意大利全国电信联盟）；Politecnico di Torino（都灵理工大学）；UC Irvine（加州大学欧文分校）
为了使机器学习（ML）可持续发展，并易于在相关数据所在的各种设备上运行，必须根据需要压缩ML模型，同时仍然满足所需的学习质量和时间性能。然而，ML模型应该压缩多少以及何时压缩，以及应该执行{ \em where}其训练，这是很难做出的决定，因为它们取决于模型本身，可用节点的资源以及这些节点拥有的数据。现有的研究集中在这些方面的每一个单独的，但是，他们没有考虑到这些决定如何可以共同作出和相互适应。在这项工作中，我们对专注于DNN训练的网络系统进行建模，将上述多维问题形式化，并考虑到其NP难度，制定了一个近似的动态规划问题，我们通过PACT算法框架解决该问题。重要的是，PACT利用了一个代表学习过程的时间扩展图，以及一种数据驱动和理论方法来预测训练决策所导致的损失演变。我们证明，PACT的解决方案可以得到尽可能接近所需的最佳，在成本增加的时间复杂度，而且，在任何情况下，这种复杂性是多项式。数值结果还表明，即使在最不利的设置，PACT优于国家的最先进的替代品，密切配合的最佳能源成本。
2022-12-02 cs.LG cs.NI
ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals
Fraunhofer IVI（弗劳恩霍夫交通与基础设施系统研究所）；Technical University of Munich（慕尼黑工业大学）；Sony AI（索尼人工智能研究院）；Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
联邦学习通过共享学习到的局部模型参数，实现了大规模分布式客户端之间的协作训练。然而，随着模型规模的增加，部署联邦学习需要很大的通信带宽，这限制了其在无线网络中的部署。为了解决这个瓶颈，我们引入了一个基于残差的联邦学习框架（ResFed），其中残差而不是模型参数在通信网络中传输进行训练。特别是，我们集成了两对共享的预测模型预测在服务器到客户端和客户端到服务器的通信。通过采用公共预测规则，本地和全局更新的模型总是在客户端和服务器中完全可恢复。我们强调，残差仅指示模型在单个轮间的准更新，因此与模型权重和梯度相比，残差包含更密集的信息，并且具有比模型更低的熵。基于此性质，我们进一步进行有损压缩的残差稀疏化和量化和编码，有效的通信。实验评估表明，与标准联邦学习相比，我们的ResFed需要显着更少的通信成本，并通过利用不太敏感的残差来实现更好的准确性。例如，在非独立同分布（Non-IID）设置下，在CIFAR-10上训练4.08 MB CNN模型，其中有10个客户端，我们的方法在每个通信回合中实现了超过700 X的压缩比，对准确性的影响最小。为了达到70%的准确性，它为所有客户端平均节省了约99%的总通信量，从587.61 Mb到6.79 Mb的上行流量和4.61 Mb的下行流量。
2022-12-11 cs.AI cs.LG
