Disentangled World Models: Learning to Transfer Semantic Knowledge from Distracting Videos for Reinforcement Learning
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室）；Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo, China（东方理工高等研究院宁波数字孪生研究院）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Ningbo, China（宁波市空间智能与数字衍生重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Shenyang Institute of Computing Technology, Chinese Academy of Sciences（中国科学院沈阳计算技术研究所）；Shenyang CASNC Technology Co., Ltd（沈阳中科数控技术股份有限公司）
Training visual reinforcement learning (RL) in practical scenarios presents a significant challenge, $\textit{i.e.,}$ RL agents suffer from low sample efficiency in environments with variations. While various approaches have attempted to alleviate this issue by disentangled representation learning, these methods usually start learning from scratch without prior knowledge of the world. This paper, in contrast, tries to learn and understand underlying semantic variations from distracting videos via offline-to-online latent distillation and flexible disentanglement constraints. To enable effective cross-domain semantic knowledge transfer, we introduce an interpretable model-based RL framework, dubbed Disentangled World Models (DisWM). Specifically, we pretrain the action-free video prediction model offline with disentanglement regularization to extract semantic knowledge from distracting videos. The disentanglement capability of the pretrained model is then transferred to the world model through latent distillation. For finetuning in the online environment, we exploit the knowledge from the pretrained model and introduce a disentanglement constraint to the world model. During the adaptation phase, the incorporation of actions and rewards from online environment interactions enriches the diversity of the data, which in turn strengthens the disentangled representation learning. Experimental results validate the superiority of our approach on various benchmarks.
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们提出了一种新的方法学习风格无关的表示使用风格迁移和对抗学习的强化学习框架。这里的风格是指与任务无关的细节，例如图像中背景的颜色，在不同风格的环境中推广学习到的策略仍然是一个挑战。专注于学习风格不可知的表示，我们的方法训练演员从固有的对抗风格扰动生成器生成的各种图像风格，它在演员和生成器之间进行最小-最大游戏，而不需要数据增强的专家知识或对抗训练的额外类标签。我们验证了我们的方法在Procgen和Distracting Control Suite基准测试中比最先进的方法具有竞争力或更好的性能，并进一步研究了从我们的模型中提取的特征，表明该模型更好地捕获了不变量，并且较少受到转换风格的干扰。该代码可在https://github.com/POSTECH-CVLab/style-agnostic-RL上获得。
MaDi: Learning to Mask Distractions for Generalization in Visual Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Liverpool（利物浦大学）；University of Luxembourg（卢森堡大学）
University of Mannheim（曼海姆大学）；Max Planck Institute for Biogeochemistry（马克斯·普朗克生物地球化学研究所）；University of Stuttgart（斯图加特大学）；NEC Laboratories Europe（NEC欧洲实验室）
Look where you look! Saliency-guided Q-networks for generalization in visual Reinforcement Learning
IRT Saint-Exupéry（圣埃克苏佩里工业技术研究院）；ISAE-SUPAERO（法国高等航空航天学院）；IMT, INSA Toulouse（图卢兹国立应用科学学院数学与信息学研究所）；ANITI（图卢兹人工智能与自然智能研究所）；IMT, Université Paul Sabatier（保罗·萨巴蒂埃大学数学与信息学研究所）；Université de Toulouse（图卢兹大学）
深度强化学习策略尽管在模拟视觉控制任务中具有出色的效率，但在输入训练图像中对干扰进行概括的能力令人失望。图像统计数据或分散注意力的背景元素的变化是防止这种控制策略的通用性和现实世界适用性的陷阱。我们阐述的直觉，一个好的视觉政策应该能够识别哪些像素是重要的，它的决定，并保持这种识别跨图像的重要信息源。这意味着具有小泛化差距的策略的训练应该集中在这些重要的像素上，而忽略其他像素。这导致了显着性引导Q网络（SGQN）的引入，这是一种用于视觉强化学习的通用方法，与任何价值函数学习方法兼容。SGQN极大地提高了Soft Actor-Critic代理的泛化能力，并在Deepmind Control Generalization基准测试中优于现有的最先进方法，在训练效率、泛化差距和策略可解释性方面提供了新的参考。
Automatic Noise Filtering with Dynamic Sparse Training in Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；University of Alberta（阿尔伯塔大学）；University of Twente（特文特大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Luxembourg（卢森堡大学）
MultiCrafter: High-Fidelity Multi-Subject Generation via Disentangled Attention and Identity-Aware Preference Alignment
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件技术学院）；Huawei Technologies Ltd（华为技术有限公司）
Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；East China Normal University（华东师范大学）；Tongji University（同济大学）
Goal-Driven Reward by Video Diffusion Models for Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo（宁波市空间智能与数字衍生重点实验室，东方理工高等研究院宁波数字孪生研究院，宁波）；Zhejiang Key Laboratory of Industrial Intelligence and Digital Twin（浙江省工业智能与数字孪生重点实验室）；Zhongguancun Academy（中关村学院）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）；Department of Mechanical Engineering, Yale University（耶鲁大学机械工程系）
Learning Interactive World Model for Object-Centric Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）；Mohamed bin Zayed University of Artificial Intelligence（马尔代夫穆罕默德·本·扎耶德人工智能大学）；University of Amsterdam（阿姆斯特丹大学）
Towards Governing Agent's Efficacy: Action-Conditional $β$-VAE for Deep Transparent Reinforcement Learning
Seoul National University（首尔国立大学）；Samsung Electronics（三星电子）
我们在强化学习（RL）的设置中解决了深度神经网络的黑盒问题，其中神经代理以不可控的方式学习最大化奖励收益。当交互环境包括广阔的状态空间时，这种学习方法是有风险的，因为几乎不可能预见所有不想要的结果并预先用负奖励惩罚它们。与以前的作品中学习的神经功能的反向分析不同，我们提出的方法\nj{tackles the blackbox issue by encouraging}是一个RL策略网络，通过实现一个解纠缠的表示学习方法来学习可解释的潜在特征。为此，我们的方法允许RL代理通过将其影响与不可控的环境因素区分开来来理解自我效能，这与人类理解场景的方式非常相似。我们的实验结果表明，学习的潜在因素不仅是可解释的，而且还可以建模整个访问状态空间的分布与特定的动作条件。我们已经实验表明，拟议结构的这一特征可以导致对RL代理的期望行为进行事后治理。
MOT: A Mixture of Actors Reinforcement Learning Method by Optimal Transport for Algorithmic Trading
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
A2PO: Towards Effective Offline Reinforcement Learning from an Advantage-aware Perspective
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）
