本文研究基于模型的深度强化学习在 Robot Air Hockey Challenge 2023 中的应用，通过稀疏奖励与自博弈训练智能体自主打冰球，发现自博弈可提升泛化能力且更长想象视界能带来更稳定的学习与更优性能。
摘要：
在应对 Robot Air Hockey Challenge 2023 的背景下，我们研究了基于模型的深度强化学习的适用性，以获取能够自主打冰球的策略。我们的智能体仅从稀疏奖励中学习，同时结合自博弈以随时间迭代地改进其行为。机器人操作器使用连续高层动作进行笛卡尔平面上基于位置的控制，同时对环境具有部分可观测性且存在随机状态转移。我们证明，当智能体仅针对单一打法进行训练时容易过拟合，这凸显了自博弈对于泛化到未见对手新策略的重要性。此外，在高度动态的冰球比赛这一竞争环境中，我们探讨了想象视界的影响，更长的视界带来了更稳定的学习和更好的整体性能。
英文摘要：
In the context of addressing the Robot Air Hockey Challenge 2023, we investigate the applicability of model-based deep reinforcement learning to acquire a policy capable of autonomously playing air hockey. Our agents learn solely from sparse rewards while incorporating self-play to iteratively refine their behaviour over time. The robotic manipulator is interfaced using continuous high-level actions for position-based control in the Cartesian plane while having partial observability of the environment with stochastic transitions. We demonstrate that agents are prone to overfitting when trained solely against a single playstyle, highlighting the importance of self-play for generalization to novel strategies of unseen opponents. Furthermore, the impact of the imagination horizon is explored in the competitive setting of the highly dynamic game of air hockey, with longer horizons resulting in more stable learning and better overall performance.
A Retrospective on the Robot Air Hockey Challenge: Benchmarking Robust, Reliable, and Safe Learning Techniques for Real-world Robotics
Intelligent Autonomous Systems, TU Darmstadt（达姆施塔特工业大学智能自主系统研究所）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Huawei German research center（华为德国研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）；Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Luxembourg（卢森堡大学）；Karlsruher Institut für Technologie（卡尔斯鲁厄理工学院）；Universita di Bologna（博洛尼亚大学）；Politecnico di Milano（米兰理工大学）；Centre for Cognitive Science（认知科学中心）
Distilling Contact Planning for Fast Trajectory Optimization in Robot Air Hockey
Idiap Research Institute（Idiap研究 institute）；École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）；Intelligent Autonomous Systems, TU Darmstadt（智能自主系统，德累斯顿技术大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science, Hessian.AI（认知科学中心，Hessian.AI）
Hybrid-AIRL: Enhancing Inverse Reinforcement Learning with Supervised Expert Guidance
Artificial Intelligence Lab — Vrije Universiteit Brussel（自由大学布鲁塞尔人工智能实验室）；College of Science and Engineering — University of Galway（盖尔威大学科学与工程学院）；Family Medicine and Population Health — University of Antwerp（安特卫普大学家庭医学与人口健康）
Harfang3D Dog-Fight Sandbox: A Reinforcement Learning Research Platform for the Customized Control Tasks of Fighter Aircrafts
Istanbul Technical University（伊斯坦布尔技术大学）；Koç University（科奇大学）；HARFANG 3D NWNC
深度学习（DL）的出现为强化学习（RL）研究带来了重大突破。深度强化学习（DRL）算法在应用于Atari 2600游戏中基于视觉的控制问题时已经达到了超人水平的技能，其中环境状态是从像素信息中提取的。不幸的是，这些环境是远远不适用于高度动态和复杂的现实世界的任务，如在战斗机的自主控制，因为这些环境只涉及一个视觉世界的2D表示。在这里，我们提出了一个半真实感的战斗机飞行仿真环境Harfang 3D Dog-Fight沙箱。它旨在成为一个灵活的工具箱，用于使用强化学习调查航空研究中的主要挑战。该程序提供了对飞行动力学模型，环境状态和飞机空气动力学的轻松访问，使用户能够定制任何特定任务，以便通过RL构建智能决策（控制）系统。该软件还允许部署机器人飞机和开发多智能体任务。通过这种方式，多组飞机可以被配置为竞争或合作代理，以执行包括Dog Fight在内的复杂任务。在实验过程中，我们进行了两种不同场景的训练：导航到指定位置和视觉范围内（WVR）的战斗，简称斗狗。在这两种情况下使用深度强化学习技术，我们能够训练表现出类似人类行为的称职代理。在此基础上，证实了Harfang 3D Dog-Fight Sandbox可以用作3D真实感RL研究平台。
Online Action-Stacking Improves Reinforcement Learning Performance for Air Traffic Control
Project Bluebird, NATS（Project Bluebird，NATS）；Department of Computer Science, University of Exeter（计算机科学系，埃克塞特大学）；Project Bluebird, The Alan Turing Institute（Project Bluebird，艾伦·图灵研究所）；The Alan Turing Institute and the University of Exeter（艾伦·图灵研究所和埃克塞特大学）
AIRL-S: Unifying Reinforcement Learning and Search-Based Test-Time Scaling via Adversarial Inverse Reinforcement Learning
Rutgers University（新泽西州立大学）；Nanyang Technological University（南洋理工大学）；University of Connecticut（康涅狄格大学）；Fudan University（复旦大学）；NVIDIA Research（NVIDIA研究）；Red Hat AI Innovation（红帽AI创新）；MIT-IBM Watson AI Lab（MIT-IBM沃森AI实验室）；Massachusetts Institute of Technology（麻省理工学院）
Heterogeneous Vertiport Selection Optimization for On-Demand Air Taxi Services: A Deep Reinforcement Learning Approach
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院）；Shanghai AI Laboratory（上海人工智能实验室）；State Key Laboratory of Integrated Services Networks, Xidian University（西安电子科技大学集成服务网络国家重点实验室）；Nokia Bell Labs（诺基亚贝尔实验室）
Bridging the gap between Learning-to-plan, Motion Primitives and Safe Reinforcement Learning
IDEAS NCBR；Institute of Robotics and Machine Intelligence, Poznan University of Technology（波兹南理工大学机器人与机器智能学院）；Department of Computer Science, Technische Universitat Darmstadt（达姆施塔特工业大学计算机系）
本文提出将 learning-to-plan 方法与强化学习相结合，通过集成 motion primitives 的黑盒学习与优化，克服了传统方法需解析建模的限制，在机器人 air hockey 等复杂场景中显著提升了性能与安全性。
Reinforcement Learning-Based Air Traffic Deconfliction
Boeing Research & Technology（波音研究与技术部）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
保持良好净空（Remain Well Clear）是无人驾驶航空器在拥挤空域中安全运行的关键技术，它通过适当的间隔距离使航空器远离危险。这项工作的重点是自动化的水平分离的两个飞机，并提出了避障问题作为一个二维代理优化任务。通过我们的设计，代理任务是更保守的，以保证在主域中的解决方案的执行。使用强化学习（RL），我们优化了回避策略，并对动态、交互和决策进行建模。通过递归地采样产生的策略和代理转换，系统将回避策略转换为完整的回避轨迹。然后，求解器使用Robot操作系统（ROS）界面将轨迹发布为飞机要遵循的一组航路点。所提出的系统生成一个快速和可实现的回避轨迹，满足安全要求。我们的系统的评估是在高保真仿真和全尺寸飞机演示完成的。此外，本文得出结论，一个巨大的集成努力，使现实生活中的基于RL的系统演示。
Hierarchical Multi-Agent Reinforcement Learning for Air Combat Maneuvering
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达勒·莫尔人工智能研究所（IDSIA））；USI-SUPSI（瑞士意大利语区大学-瑞士意大利语区应用科学与艺术大学）；Armasuisse Science + Technology（瑞士联邦国防采购局科技中心）
Decision Making for Autonomous Driving via Augmented Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Zenseact（森赛克特）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Google Research（谷歌研究院）
Training slow silicon neurons to control extremely fast robots with spiking reinforcement learning
Institute of Neuroinformatics, UZH and ETH Zurich（神经信息研究所，苏黎世联邦理工学院和苏黎世联邦理工学院）；Istituto Italiano di Tecnologia（意大利技术研究所）；Technical University of Munich（慕尼黑技术大学）；Natl. Center for Radiation Protection and Computational Physics, Istituto Superiore di Sanità（辐射防护与计算物理国家中心，意大利卫生超级研究所）；Digital Society Initiative, University of Zurich（数字社会倡议，苏黎世大学）
Real-Time Communication-Aware Ride-Sharing Route Planning for Urban Air Mobility: A Multi-Source Hybrid Attention Reinforcement Learning Approach
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））；Xidian University State Key Laboratory of Integrated Services Network（西安电子科技大学集成服务网络国家重点实验室）；Department of Computer Science and Engineering, Kyung Hee University（庆北大学计算机科学与工程系）
Deep Reinforcement Learning for Urban Air Quality Management: Multi-Objective Optimization of Pollution Mitigation Booth Placement in Metropolitan Environments
School of Computer Science（计算机科学学院）；Engineering, Vellore Institute of Technology（工程学院，维洛雷理工学院）；Chennai Campus（钦奈校区）；Chennai, Tamil Nadu 600127, India（钦奈，泰米尔纳德邦600127，印度）
