arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

One for All, All for One: 通过随机最优控制实现协调的多智能体扩散引导

One for All, All for One: Coordinated Multi-Agent Diffusion Steering via Stochastic Optimal Control

Riccardo Barbano, Vincent Pauline, Runchang Li, George Webber, Alexander Denker, Željko Kereta, Stefan Bauer, Francisco Vargas, Esmeralda S. Whitammer

arXiv 2610.08595首次发表:更新:

发表机构

UCL; TUM & MCML; CUHK; KCL; DESY; TUM & MCML & CIFAR; Proxima Bio; University of Edinburgh & CIFAR(伦敦大学学院; 慕尼黑工业大学 & 慕尼黑机器学习中心; 香港中文大学; 伦敦国王学院; 德国电子同步加速器研究所; 慕尼黑工业大学 & 慕尼黑机器学习中心 & 加拿大高等研究院; Proxima Bio; 爱丁堡大学 & 加拿大高等研究院)

机构由 AI 辅助整理,请以论文原文为准。

AI 中文总结

提出CMDS框架,通过随机最优控制协调多个冻结的预训练扩散模型,以生成连贯的结构化输出,并在多智能体迷宫导航、机器人规划和人体运动等任务中验证了其有效性。

AI 中文摘要

深度生成模型通常产生由相互作用的组件组成的结构化输出。使用单一模型对这些输出进行建模需要学习组件分布及其相互作用。我们追求一种模块化替代方案:重用独立训练的组件生成器,仅学习如何协调它们以产生连贯的结构化输出。我们的框架,协调多智能体扩散引导(CMDS),将冻结的预训练扩散模型视为可重用的生成原语,并通过学习到的控制来协调它们的逆向过程。我们将协调问题表述为一个随机最优控制问题,在指定组合输出所需属性的组装级奖励与偏离预训练动力学之间取得平衡。学习到的控制将这一优化进行摊销,使其能够跨新的任务实例重用。实验表明,CMDS能够恢复已知的目标分布,使用相同的训练控制满足不同的空间约束,并从退化混合中恢复单个源。在多智能体迷宫导航、关节机器人规划和文本条件人体运动方面,CMDS将冻结模型转变为协调的多智能体生成器。

英文摘要

Deep generative models often produce structured outputs composed of interacting components. Modelling these outputs with a single model requires learning both the component distributions and their interactions. We pursue a modular alternative: reuse independently trained component generators and learn only how to coordinate them to produce coherent structured outputs. Our framework, Coordinated Multi-Agent Diffusion Steering (CMDS), treats frozen pretrained diffusion models as reusable generative primitives and coordinates their reverse processes through a learned control. We formulate coordination as a stochastic optimal control problem, balancing an assembly-level reward that specifies the desired properties of the combined output against deviations from the pretrained dynamics. The learned control amortises this optimisation, allowing reuse across new task instances. Experiments show that CMDS can recover a known target distribution, satisfy different spatial constraints with the same trained control, and recover individual sources from degraded mixtures. Across multi-agent maze navigation, articulated robot planning, and text-conditioned human motion, CMDS turns frozen models into coordinated multi-agent generators.

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑