Tackling Data Corruption in Offline Reinforcement Learning via Sequence Modeling
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；City University of Hong Kong（香港城市大学）；Rice University（莱斯大学）；University of Liverpool（利物浦大学）；Tencent Robotics X（腾讯Robotics X实验室）
Jiawei Xu, Rui Yang, Shuang Qiu, Feng Luo, Meng Fang, Baoxiang Wang, Lei Han
Learning policy from offline datasets through offline reinforcement learning (RL) holds promise for scaling data-driven decision-making while avoiding unsafe and costly online interactions. However, real-world data collected from sensors or humans often contains noise and errors, posing a significant challenge for existing offline RL methods, particularly when the real-world data is limited. Our study reveals that prior research focusing on adapting predominant offline RL methods based on temporal difference learning still falls short under data corruption when the dataset is limited. In contrast, we discover that vanilla sequence modeling methods, such as Decision Transformer, exhibit robustness against data corruption, even without specialized modifications. To unlock the full potential of sequence modeling, we propose Robust Decision Rransformer (RDT) by incorporating three simple yet effective robust techniques: embedding dropout to improve the model's robustness against erroneous inputs, Gaussian weighted learning to mitigate the effects of corrupted labels, and iterative data correction to eliminate corrupted data from the source. Extensive experiments on MuJoCo, Kitchen, and Adroit tasks demonstrate RDT's superior performance under various data corruption scenarios compared to prior methods. Furthermore, RDT exhibits remarkable robustness in a more challenging setting that combines training-time data corruption with test-time observation perturbations. These results highlight the potential of sequence modeling for learning from noisy or corrupted offline datasets, thereby promoting the reliable application of offline RL in real-world scenarios. Our code is available at https://github.com/jiawei415/RobustDecisionTransformer.
Towards Robust Offline Reinforcement Learning under Diverse Data Corruption
HKUST（香港科技大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Washington University (St. Louis)（圣路易斯华盛顿大学）；Tencent Robotics X（腾讯Robotics X实验室）；Peking University（北京大学）；CUHK (SZ)（香港中文大学（深圳））
ADG: Ambient Diffusion-Guided Dataset Recovery for Corruption-Robust Offline Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了离线强化学习中的对抗鲁棒性问题。给定由元组$(s, a, r, s')$组成的批处理数据集，允许攻击者任意修改元组的$ε$部分。从损坏的数据集，学习器的目标是鲁棒地识别一个接近最优的策略。我们首先表明，最坏情况下的$Ω(dε)$最优间隙是不可避免的线性MDP的尺寸$d$，即使对手只损坏的奖励元素在元组。这与鲁棒监督学习中的无量纲结果和腐败在线RL设置中最著名的下限形成对比。接下来，我们提出了强大的变种的最小二乘值迭代（LSVI）算法，利用强大的监督学习神谕，实现接近匹配的性能，在有和没有完整的数据覆盖的情况下。该算法需要$ε$的知识来设计在无覆盖情况下的悲观奖金。令人惊讶的是，在这种情况下，$ε$的知识是必要的，因为我们表明，自适应未知的$ε$是不可能的。这再次与最近的结果腐败鲁棒的在线RL，并暗示鲁棒的离线RL是一个严格困难的问题。
Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption
The Hong Kong University of Science and Technology（香港科技大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University（清华大学）；University of Hamburg（汉堡大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
Value Function is All You Need: A Unified Learning Framework for Ride Hailing Platforms
Didi Chuxing（滴滴出行）；Beihang University（北京航空航天大学）；University of Michigan（密歇根大学）
滴滴、优步和Lyft等大型叫车平台将一个城市中的数万辆车与全天数百万的乘车需求连接起来，通过订单调度和车辆重新定位任务为提高运输效率提供了巨大的希望。然而，现有的研究，通常认为这两个任务在简化的设置，很难解决两者之间的复杂的相互作用，供应和需求之间的实时波动，以及必要的协调，由于大规模的性质的问题。在本文中，我们提出了一个统一的基于值的动态学习框架（V1D3）来处理这两个任务。该框架的核心是一个全球共享的价值函数，该函数使用实时平台交易产生的在线体验不断更新。为了提高样本效率和鲁棒性，我们进一步提出了一种新的周期性集成方法结合快速在线学习与大规模离线训练计划，利用丰富的历史驾驶员轨迹数据。这使得所提出的框架能够快速适应高度动态的环境，鲁棒地推广到经常性模式，并驱动管理车辆的人群之间的隐式协调。基于真实世界数据集的大量实验表明，与最近提出的其他方法相比，这两个任务都有很大的改进。特别是，V1D3在KDD Cup 2020 RL比赛中的调度和重新定位赛道的一等奖获得者中表现出色，在提高总驾驶员收入和用户体验相关指标方面取得了最先进的成绩。
Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model
Nanjing University of Science and Technology（南京理工大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心（AIP））；Hong Kong Polytechnic University（香港理工大学）
Higher-Order Action Supervision Makes A Strong Policy Class
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Zenfex AI Lab（Zenfex人工智能实验室）；University of Electronic Science and Technology of China（电子科技大学）；Horizon Robotics（地平线机器人）
PrAViC: Probabilistic Adaptation Framework for Real-Time Video Classification
Faculty of Mathematics and Computer Science, Jagiellonian University（杰哥利安大学数学与计算机科学学院）；Faculty of Applied Computer Science, University of Information Technology and Management in Rzeszow（里兹诺信息技术与管理大学应用计算机科学学院）；Prometheus MedTech.AI；Doctoral School of Exact and Natural Sciences, Jagiellonian University（杰哥利安大学精确与自然科学博士学院）
