超越浅层行为：通过技能发现实现任务高效的价值型多任务离线多智能体强化学习
Beyond Shallow Behavior: Task-Efficient Value-Based Multi-Task Offline MARL via Skill Discovery
AI总结：
针对离线多智能体强化学习任务特定导致的低效问题，提出SD-CQL算法，通过潜在空间技能发现和保守Q学习实现任务高效多任务泛化，在星际争霸II上14个任务集中13个达到最优，最高提升68.9%。
摘要：
作为一种数据驱动的方法，离线多智能体强化学习（MARL）仅从离线数据集中学习优越的策略，非常适合那些历史数据丰富但交互成本和风险较高的领域。然而，大多数现有方法是特定于任务的，需要针对新任务进行重新训练，导致冗余和低效。为了解决这个问题，我们提出了一种任务高效的价值型多任务离线MARL算法，即技能发现保守Q学习（SD-CQL）。与现有方法通过行为克隆从技能中解码动作不同，SD-CQL通过在潜在空间中重建下一个观测来发现技能，分别评估固定动作和可变动作，并使用带有局部值校准的保守Q学习为每个技能选择最优动作。它消除了对局部-全局对齐的需求，并能够从有限的、小规模的源任务中实现强大的多任务泛化。在星际争霸II上进行的大量实验证明了SD-CQL优越的泛化性能和任务效率。它在14个任务集中的13个上取得了最佳性能，在个别任务集上最高提升了68.9%。
英文摘要：
As a data-driven approach, offline MARL learns superior policies solely from offline datasets, ideal for domains rich in historical data but with high interaction costs and risks. However, most existing methods are task-specific, requiring retraining for new tasks, leading to redundancy and inefficiency. To address this issue, we propose a task-efficient value-based multi-task offline MARL algorithm, Skill-Discovery Conservative Q-Learning (SD-CQL). Unlike existing methods decoding actions from skills via behavior cloning, SD-CQL discovers skills in a latent space by reconstructing the next observation, evaluates fixed and variable actions separately, and uses conservative Q-learning with local value calibration to select the optimal action for each skill. It eliminates the need for local-global alignment and enables strong multi-task generalization from limited, small-scale source tasks. Substantial experiments on StarCraft II demonstrate the superior generalization performance and task-efficiency of SD-CQL. It achieves the best performance on $\textbf{13}$ out of $14$ task sets, with up to $\textbf{68.9%}$ improvement on individual task sets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
