SiT: Symmetry-Invariant Transformers for Generalisation in Reinforcement Learning
RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心）；Google DeepMind（谷歌DeepMind）；Graduate School of Information Science and Technology, Osaka University（大阪大学信息科学与技术研究生院）
针对强化学习策略泛化难的问题，提出融合图对称注意力的对称不变Transformer SiT，通过自监督利用数据模式并保持图对称性，在多个基准上实现更优泛化与样本效率。
2024-06-21 cs.LG
Knowledge Distillation for Efficient Transformer-Based Reinforcement Learning in Hardware-Constrained Energy Management Systems
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文通过知识蒸馏将高容量决策变压器策略转化为紧凑模型，提升能源管理系统的部署效率，减少参数和内存消耗，同时保持控制性能。
2026-03-27 cs.LG
Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation
Carnegie Mellon University（卡内基梅隆大学）
许多现实世界的应用，如机器人技术，提供了对功率和计算的硬约束，这限制了强化学习（RL）代理的可行模型复杂性。类似地，在许多分布式RL设置中，操作是在未加速的硬件（如CPU）上完成的，这同样限制了模型大小，以防止棘手的实验运行时间。这些“行为者-延迟”约束设置对模型复杂性的扩展提出了主要障碍，该模型复杂性最近在监督学习中非常成功。为了能够利用大的模型容量，同时仍然在系统施加的限制内操作，在代理期间，我们开发了一个“演员-学习者蒸馏”（ALD）的程序，利用连续形式的蒸馏，将学习进度从大容量的学习者模型转移到小容量的演员模型。作为一个案例研究，我们开发了这个程序的上下文中的部分可观察的环境，其中Transformer模型有很大的改进LSTM最近，在成本显着更高的计算复杂性。使用Transformer模型作为学习者，LSTM作为演员，我们在几个具有挑战性的记忆环境中证明，使用演员-学习者蒸馏恢复了Transformer学习者模型的明显样本效率增益，同时保持了快速推理并减少了LSTM演员模型的总训练时间。
2021-04-04 cs.LG
A Reinforcement Learning Approach for Sequential Spatial Transformer Networks
TU Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
空间Transformer Networks（空间变换器网络）可以生成几何变换，这些几何变换可以修改输入图像以提高分类器的性能。在这项工作中，我们结合了强化学习（RL）的思想。为此，我们将仿射变换分解为一系列简单且离散的变换。我们将任务制定为马尔可夫决策过程（MDP），并使用RL来解决这个顺序决策问题。递归架构通过最小化分类误差并通过次可微采样模块反向传播梯度来学习变换参数。在我们的方法中，我们不受采样模块的可微性的约束。此外，我们可以自由设计目标，而不仅仅是最小化误差;例如，我们可以直接将目标设置为最大化精度。我们设计了多个实验来验证我们的方法使用杂乱的MNIST和Fashion-MNIST数据集的有效性，并表明我们的方法优于具有适当定义的MDP组件的方法。
2021-06-27 cs.LG
Waypoint Transformer: Reinforcement Learning via Supervised Learning with Intermediate Targets
Stanford University（斯坦福大学）
针对决策Transformer无法连接次优轨迹片段的问题，提出Waypoint Transformer，通过整合自动生成的中间目标增强监督学习式离线强化学习，在多项挑战性基准测试中显著提升了性能与稳定性。
2023-11-18 cs.LG
HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
本文提出HarmoDT，一种用于离线多任务强化学习的和谐多任务决策Transformer，通过双层优化和元学习框架为每个任务识别最优和谐参数子空间，有效管理冲突梯度，在多项基准测试中展现出优越性能。
2024-05-28 cs.LG
Multi-Agent Pointer Transformer: Seq-to-Seq Reinforcement Learning for Multi-Vehicle Dynamic Pickup-Delivery Problems
本文提出多智能体指针Transformer，用于解决多车辆动态取货送货问题，通过自回归生成联合动作序列并捕捉实体间关系，提升性能与计算效率。
2025-12-17 cs.LG
Multi-Phase Spacecraft Trajectory Optimization via Transformer-Based Reinforcement Learning
Aeronautics & Astronautics, Massachusetts Institute of Technology（航空与宇航科学系，麻省理工学院）；Department of Computer Systems Engineering, Universidad Politécnica de Madrid（计算机系统工程系，马德里理工大学）
针对航天器多阶段自主控制需分阶段设置独立策略的问题，提出基于GTrXL的Transformer强化学习框架，用单一策略实现跨动力学区间的多阶段轨迹优化，在多类基准与火箭上升任务中验证了有效性。
2025-11-14 cs.LG
Do We Need Transformers to Play FPS Video Games?
University of Waterloo（滑铁卢大学）
本文在Doom环境中比较了基于Transformer的DTQN和决策Transformer与传统方法，发现传统方法在在线和离线强化学习任务中均表现更优。
2025-04-24 cs.LG
Action Q-Transformer: Visual Explanation in Deep Reinforcement Learning with Encoder-Decoder Model using Action Query
Chubu University（中部大学）；Keio University（庆应义塾大学）
提出Action Q-Transformer，引入编码器-解码器结构与动作查询机制计算状态价值和优势函数，通过可视化注意力实现DRL决策的高可解释性，并在部分Atari游戏中取得优于基线的性能。
2023-06-24 cs.LG
Transformer-Guided Deep Reinforcement Learning for Optimal Takeoff Trajectory Design of an eVTOL Drone
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）；AIAA Student Member（AIAA学生会员）；AIAA member（AIAA会员）
针对eVTOL无人机最优起飞轨迹设计中传统方法受维度限制、普通DRL训练难的问题，提出Transformer引导的DRL方法，大幅提升训练效率与能耗优化准确率。
2025-11-18 cs.LG
Optimal Dynamic Regret by Transformers for Non-Stationary Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN AIP（日本科学技术厅AIP）
本研究证明Transformer在非平稳强化学习中可实现近乎最优的动态遗憾界，并实验验证其能匹配或超越现有专家算法。
2025-10-23 cs.LG stat.ML
Pretraining the Vision Transformer using self-supervised methods for vision based Deep Reinforcement Learning
Instituto Superior Técnico（高等技术学院）；INESC-ID（里斯本系统与计算机工程研究所）；NeuralShift
本研究针对视觉强化学习中CNN仍占主导的问题，用多种自监督方法预训练ViT，提出带时间顺序验证的VICReg扩展，在ALE上提升了RL数据效率并取得最优表现。
2023-07-18 cs.LG
A Survey on Transformers in Reinforcement Learning
Tsinghua University（清华大学）；Peking University（北京大学）；BAAI（北京智源人工智能研究院）；Tencent Inc.（腾讯公司）；Washington University in St.Louis（圣路易斯华盛顿大学）
本文系统综述了Transformer在强化学习中的应用动机、进展与分类，梳理各子领域现状并展望未来研究方向。
2023-09-20 cs.AI cs.LG
Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
本文研究了在预训练后通过上下文适应新任务的强化学习代理，通过softmax注意力机制证明了Transformer层前向传递等价于加权softmax时序差分算法的迭代更新，并证明了参数在预训练损失中的全局极小性。
2026-05-17 cs.LG
Q-value Regularized Transformer for Offline Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Sun Yat-sen University（中山大学）；JD Explore Academy（京东探索学院）；Nanyang Technological University（南洋理工大学）
针对离线强化学习中条件序列建模难以拼接最优轨迹的问题，提出Q值正则化Transformer（QT），结合Transformer轨迹建模与动态规划价值预测，在D4RL基准上超越传统方法。
2024-05-27 cs.LG
Transformer Network-based Reinforcement Learning Method for Power Distribution Network (PDN) Optimization of High Bandwidth Memory (HBM)
Samsung Electronics（三星电子）
本文首次提出了一种基于Transformer网络的强化学习（RL）方法用于高带宽存储器（HBM）的配电网（PDN）优化。所提出的方法可以提供最佳去耦电容器（decap）设计，以最大化在多个端口处看到的PDN自阻抗和转移阻抗的减小。实现了一种基于注意力的Transformer网络，直接参数化开盖优化策略。由于注意力机制具有强大的表达式，可以为decap分配探索大量的组合空间，因此最优性性能得到了显着改善。此外，它可以捕获开盖分配之间的顺序关系。由于在探测端口和开盖分配候选者的位置上的可重用网络，用于优化的计算时间显著减少。这是因为Transformer网络具有上下文嵌入过程以捕获包括探测端口位置的元特征。此外，网络是用随机生成的数据集训练的。因此，无需额外的训练，经过训练的网络就可以解决新的开盖优化问题。由于网络的可扩展性，训练和数据成本的计算时间大大减少。由于其共享权重属性，该网络可以适应更大规模的问题，而无需额外的训练。为了验证，我们将结果与传统的遗传算法（GA），随机搜索（RS），和所有以前的RL为基础的方法。结果表明，该方法在最优性、计算时间和数据效率等方面都有较好的性能。
2022-08-23 cs.LG
Energy-Efficient Deep Reinforcement Learning with Spiking Transformers
Department of Electrical Engineering and Computer Science, University of Wyoming（电气工程与计算机科学系，怀俄明大学）
针对传统基于智能体的Transformer能耗高的问题，提出结合脉冲神经网络能效与强化学习决策能力的STRL算法，采用多步LIF神经元与注意力机制并优化编码，在基准测试中策略性能显著提升，为低成本现实决策部署提供新方向。
2025-05-20 cs.AI cs.LG
In-Context Reinforcement Learning From Suboptimal Historical Data
Department of Electrical and Computer Engineering, Duke University, Durham, US（电气与计算机工程系，杜克大学，达勒姆，美国）；Department of Biostatistics and Bioinformatics, Duke University, Durham, US（生物统计学与生物信息学系，杜克大学，达勒姆，美国）；Department of Statistics and Data Science, Yale University, New Haven, US（统计学与数据科学系，耶鲁大学，新 Haven，美国）
DIT框架通过结合价值函数估计和加权最大似然估计，有效提升在次优历史数据下的强化学习性能。
2026-01-27 cs.LG
Decision Transformer: Reinforcement Learning via Sequence Modeling
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；Google Brain（谷歌大脑）
我们介绍了一个框架，抽象的强化学习（RL）作为一个序列建模问题。这使我们能够利用Transformer架构的简单性和可伸缩性，以及语言建模（如GPT-x和BERT）的相关进步。特别是，我们提出了决策Transformer，一个架构，铸造的RL作为条件序列建模的问题。与先前的RL方法不同，该方法拟合价值函数或计算策略梯度，决策Transformer通过利用因果屏蔽的Transformer来简单地输出最佳动作。通过将期望回报（奖励）、过去状态和动作作为自回归模型的条件，我们的决策Transformer模型可以生成实现期望回报的未来动作。尽管简单，Decision Transformer在Atari、OpenAI Gym和Key-to-Door任务上的性能仍与最先进的无模型离线RL基线相匹配或超过。
2021-06-24 cs.AI cs.LG
AMAGO-2: Breaking the Multi-Task Barrier in Meta-Reinforcement Learning with Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对元强化学习难以扩展到多任务的问题，提出将基于Transformer的智能体演员和评论家目标转换为分类项以解耦优化与回报尺度，在多个基准上显著提升了无任务标签的在线多任务适应与记忆能力。
2024-11-17 cs.LG
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
现实世界的强化学习任务通常涉及某种形式的部分可观察性，其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆，其中代理可以访问多个过去的观察，以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而，强化学习中的递归神经网络通常是脆弱的，难以训练，易受灾难性遗忘的影响，有时会完全失败。在这项工作中，我们提出了深度Transformer Q-网络（DTQN），一种新的架构，利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的，我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明，Transformer可以解决部分可观察的任务比以前的递归方法更快，更稳定。
2022-11-10 cs.AI cs.LG
Masked Generative Priors Improve World Models Sequence Modelling Capabilities
该研究提出GIT-STORM模型，用掩码生成先验替换STORM架构的传统MLP先验，在Atari 100k基准RL任务上获显著提升，还首次将Transformer世界模型应用于连续动作环境并验证有效。
2025-10-22 cs.AI cs.LG
Heuristic Transformer: Belief Augmented In-Context Reinforcement Learning
University of Liverpool（利物浦大学）；University of Sheffield（谢菲尔德大学）
针对Transformer在上下文内强化学习（ICRL）中的应用，提出启发式Transformer（HT），通过变分自动编码器（VAE）学习奖励后验分布的低维表示并融入上下文数据集，在多环境中性能优于基线，为信念增强与Transformer决策的结合提供新方向。
2025-11-13 cs.AI cs.LG
Convergence and Emergence of In-Context Reinforcement Learning with Chain of Thought
University of Virginia（弗吉尼亚大学）
本文探讨了思维链如何增强上下文强化学习的能力，通过线性Transformer分析证明思维链生成等同于时间差分学习更新，并展示策略评估误差随思维链长度减少而收敛。
2026-05-08 cs.LG
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering（巴黎萨克雷大学，中央超导工程学院，工业工程系）
本文提出一种基于Transformer的强化学习框架，用于解决部分可观测环境下自主轨道避碰问题，通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器，利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
RLBenchNet: The Right Network for the Right Reinforcement Learning Task
Deggendorf Institute of Technology（德格多夫技术学院）；Technical University of Munich（慕尼黑技术大学）
本研究系统评估了MLP、LSTM、Mamba系列、Transformer系列等多种网络架构在不同类型强化学习任务中的表现，明确了各类架构的适用场景与性能、效率差异，为强化学习领域的网络选型提供了参考依据。
2025-05-21 cs.LG
On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning
我们实证研究了对不同模式（如语言和视觉）的数据进行预训练如何影响基于Transformer的模型对Mujoco离线强化学习任务的微调。内部表示的分析表明，预训练的Transformers在预训练前后获得了很大不同的表示，但在微调中获得的数据信息比随机初始化的少。仔细观察预训练的Transformers的参数变化，可以发现它们的参数变化不大，并且用图像数据预训练的模型的不良性能可能部分来自大梯度和梯度裁剪。为了研究使用语言数据预训练的Transformer利用了哪些信息，我们在没有提供上下文的情况下对该模型进行了微调，发现即使没有上下文信息，该模型也能有效地学习。后续的分析支持了这一假设，即用语言数据进行预训练很可能使Transformer获得类似上下文的信息，并利用它来解决下游任务。
2022-11-17 cs.LG stat.ML
Transformer Based Reinforcement Learning For Games
Indian Institute of Technology-Bombay（印度理工学院孟买分校）
最近，使用深度强化学习技术（如Deep Q Networks，策略梯度，Actor Critic方法）的强化学习任务有了显著的改进，这些方法基于基于深度学习的模型和梯度的反向传播来训练这些模型。强化学习的一个活跃研究领域是训练智能体玩复杂的视频游戏，到目前为止，这只能通过人类智能来完成。使用深度强化学习的视频游戏中的一些最先进的性能是通过处理视频游戏中的帧序列来获得的，将它们通过卷积网络以获得特征，然后使用递归神经网络来计算导致最佳奖励的动作。递归神经网络将学习从这些特征的序列中提取有意义的信号。在这项工作中，我们提出了一种利用Transformer网络的方法，该网络最近取代了自然语言处理（NLP）中的RNN，并进行实验，与现有的方法进行比较。
2019-12-09 cs.LG cs.NE
Towards Scalable Multi-Task Reinforcement Learning with Large Decision Models
提出LDM-v0，一个在大规模异构强化学习环境上离线预训练的Transformer策略，通过监督下一动作预测实现多任务学习，在约1000个环境中达到与独立训练策略相当的性能。
2026-06-25 cs.LG
Two-Stage Feature Generation with Transformer and Reinforcement Learning
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（教育部符号计算与知识工程重点实验室）；Department of Computer Science, Portland State University（波特兰州立大学计算机科学系）
提出两阶段特征生成框架TSFG，结合Transformer编码器-解码器与PPO强化学习，动态生成高质量特征，显著提升机器学习模型的预测性能与适应性。
2025-05-28 cs.LG
Scalable In-Context Reinforcement Learning with Recurrent Algorithm Distillation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
提出循环算法蒸馏（RAD），通过压缩历史为固定大小潜在记忆，在显著减小上下文窗口的同时达到与标准AD相当的性能，实现可扩展的上下文强化学习。
2026-09-29 cs.LG
Utilizing Evolution Strategies to Train Transformers in Reinforcement Learning
Faculty of Mathematics and Physics, Charles University（数学与物理系，查理大学）；Institute of Computer Science, Czech Academy of Sciences（计算机科学研究所，捷克科学院）
本研究探索进化策略训练强化学习中Transformer架构策略智能体的能力，采用OpenAI高并行化进化策略在MuJoCo Humanoid和Atari环境训练Decision Transformer，验证了该黑盒方法可训练复杂大模型并取得优异性能。
2025-07-30 cs.LG cs.NE
Q-learning Penalized Transformer for Safe Offline Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）
本文提出 Q-learning 惩罚 Transformer（QPT）框架，通过 Q 形惩罚将安全约束融入条件序列建模，在 DSRL 基准 38 个任务上优于基线并实现零样本阈值适应。
2026-09-30 cs.LG
Decision Mamba: Reinforcement Learning via Hybrid Selective Sequence Modeling
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Institute of High Performance Computing, A*STAR（新加坡高性能计算研究院（新加坡科技研究局））；Lehigh University（理海大学）
本文提出Decision Mamba-Hybrid（DM-H），结合Mamba的长期记忆与Transformer的高质量预测能力，解决了上下文强化学习中计算成本高的问题，在多项基准任务中达到最优且显著提升效率。
2024-05-31 cs.LG
Hierarchical Transformers are Efficient Meta-Reinforcement Learners
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出分层Transformer元强化学习方法（HTrMRL），利用过去经验提升新任务适应性与泛化能力，在Meta-World基准上超越现有最先进方法。
2024-02-09 cs.AI cs.LG
Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对在线决策Transformer（ODT）用低奖励离线数据预训练后在线微调效果差的问题，研究发现加入TD3梯度可有效提升其微调性能，为改进决策Transformer提供新方向。
2024-10-31 cs.AI cs.LG
One for All: A Non-Linear Transformer can Enable Cross-Domain Generalization for In-Context Reinforcement Learning
Duke University（杜克大学）
本文提出通过非线性变换器实现跨领域泛化，利用核方法连接非线性变换器与时间差分学习，展示不同领域价值函数可通过共享权重表示。
2026-11-10 cs.AI cs.LG
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers
Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
多智能体强化学习的最新进展在很大程度上局限于为每个新任务从头开始训练一个模型。限制是由于与固定输入和输出维度相关的受限模型架构。这阻碍了经验的积累和学习代理在不同难度的任务上的转移（例如3对3或5对6多代理游戏）。在本文中，我们首次尝试探索一个通用的多智能体强化学习管道，设计一个单一的架构，以适应不同的观察和动作配置的要求的任务。与以前的基于RNN的模型不同，我们利用一个基于transformer的模型来生成一个灵活的策略，通过将策略分布与相互交织的输入观察解耦，并通过自注意机制的优点来衡量重要性权重。与标准的Transformer块相比，该模型进一步放宽了对行为的限制，使多Agent任务的决策过程更具有可解释性，称为通用策略解耦Transformer（UPDeT）。UPDeT足够通用，可以插入任何多智能体强化学习管道，并为它们提供强大的泛化能力，使其能够一次处理多个任务。在大规模SMAC多智能体竞争游戏上的大量实验表明，所提出的基于UPDeT的多智能体强化学习相对于最先进的方法取得了显着的结果，在性能和训练速度（快10倍）方面表现出优越的传输能力。
2021-02-07 cs.AI cs.LG
Utilizing Novelty-based Evolution Strategies to Train Transformers in Reinforcement Learning
Faculty of Mathematics and Physics, Charles University（数学与物理学院，查理大学）；Institute of Computer Science, Czech Academy of Sciences（计算机科学研究所，捷克科学院）
本研究实验了基于新颖性的进化策略变体（NS-ES和NSR-ES），评估其在训练强化学习中的Transformer架构（如Decision Transformer）的效果，并探索预训练模型加速训练的可能性。
2025-09-17 cs.LG cs.NE
Switch Trajectory Transformer with Distributional Value Approximation for Multi-Task Reinforcement Learning
Northwestern University（西北大学）；Zebra Technologies（斑马技术公司）
我们提出了SwitchTT，这是Trajectory Transformer的多任务扩展，但增强了两个显著的功能：（i）利用稀疏激活模型来降低多任务离线模型学习中的计算成本，以及（ii）采用分布式轨迹值估计器来提高策略性能，特别是在稀疏奖励设置中。这两个增强功能使SwitchTT适合解决多任务离线强化学习问题，其中模型容量对于吸收多任务数据集中可用的大量知识至关重要。更具体地说，SwitchTT利用开关Transformer模型架构进行多任务策略学习，使我们能够提高模型容量，而无需成比例的计算成本。此外，SwitchTT近似分布而不是轨迹值的期望，减轻了蒙特卡洛值估计器因样本复杂性差而受到的影响，特别是在稀疏奖励设置中。我们使用来自gym-mini-grid环境的10个稀疏奖励任务来评估我们的方法。我们在10个任务的学习中比Trajectory Transformer提高了10%，离线模型训练速度提高了90%。我们的研究结果也证明了开关Transformer模型在吸收专家知识方面的优势以及值分布在评估轨迹中的重要性。
2022-03-14 cs.AI cs.LG
AGaLiTe: Approximate Gated Linear Transformers for Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本文提出 AGaLiTe，一种用于部分可观测在线强化学习的近似门控线性 Transformer 循环架构，相比 GTrXL 推理成本降低 40%、内存减少 50%，且在复杂任务中性能提升超 37%。
2024-10-15 cs.AI cs.LG
Evaluating Vision Transformer Methods for Deep Reinforcement Learning from Pixels
University of British Columbia（不列颠哥伦比亚大学）
视觉Transformer（ViT）最近展示了Transformer架构在计算机视觉中的巨大潜力。与标准卷积神经网络（CNN）架构相比，基于图像的深度强化学习在多大程度上也可以从ViT架构中受益？为了回答这个问题，我们评估了基于图像的强化学习（RL）控制任务的ViT训练方法，并将这些结果与领先的卷积网络架构方法RAD进行了比较。为了训练ViT编码器，我们考虑了几个最近提出的被视为辅助任务的自监督损失，以及没有额外损失项的基线。我们发现，使用RAD训练的CNN架构通常仍然提供优异的性能。对于ViT方法，我们考虑的所有三种类型的辅助任务都比普通的ViT训练有好处。此外，基于ViT重建的任务被发现显着优于ViT对比学习。
2022-05-15 cs.CV cs.LG cs.RO
StARformer: Transformer with State-Action-Reward Representations for Visual Reinforcement Learning
Stony Brook University（石溪大学）
强化学习（RL）可以被认为是一个序列建模任务：给定一系列过去的状态-动作-奖励经验，智能体预测一系列接下来的动作。在这项工作中，我们提出了视觉RL的状态-动作-奖励Transformer（StARformer），它显式地模拟短期状态-动作-奖励表示（StAR表示），本质上是引入了类似马尔可夫的归纳偏差，以改善长期建模。我们的方法首先提取星表示的自我参加图像状态补丁，动作和奖励令牌在一个很短的时间窗口。然后将这些与纯图像状态表示相结合-提取为卷积特征，以在整个序列上执行自我注意。我们的实验表明，在离线RL和模仿学习设置中，StARformer在基于图像的Atari和DeepMind Control Suite基准测试中的表现优于最先进的基于Transformer的方法。StARformer也更符合较长的输入序列。我们的代码可在https://github.com/elicassion/StARformer上获得。
2023-01-04 cs.AI cs.LG
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University（波士顿大学）
针对离线安全强化学习在复杂时序逻辑任务中的不足，提出时序逻辑规范条件化Decision Transformer（SDT）框架，结合STL表达力与DT序列建模能力，在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Transformer-based Value Function Decomposition for Cooperative Multi-agent Reinforcement Learning in StarCraft
University of Central Florida（中佛罗里达大学）
星际争霸II多智能体挑战赛（SMAC）是协作多智能体强化学习（MARL）的一个具有挑战性的基准问题。SMAC专注于星际争霸的微观管理问题，并假设每个单元都由一个学习代理单独控制，该学习代理独立行动，只拥有本地信息;集中式训练假设与分散式执行（CTDE）一起发生。为了在SMAC中取得良好的性能，MARL算法必须处理多智能体信用分配和联合行动评估的双重问题。本文介绍了一种新的体系结构TransMix，基于变压器的联合动作值混合网络，我们证明是有效的和可扩展的相比，其他国家的最先进的合作MARL解决方案。TransMix利用Transformers的能力来学习更丰富的混合函数，以组合代理的各个价值函数。它在简单的SMAC场景上实现了与以前的工作相当的性能，并且在硬场景以及被高斯噪声破坏以模拟战争迷雾的场景上优于其他技术。
2022-08-15 cs.LG cs.MA
PACT: Peak-Aware Cross-Attention Graph Transformers for Efficient Storm-Surge Emulation
PACT通过图变换器高效预测风暴潮，结合峰值感知学习策略提升极端事件模拟精度，优于现有时空图神经网络基线。
2026-05-09 cs.LG
On Transforming Reinforcement Learning by Transformer: The Development Trajectory
Shanghai Jiaotong University（上海交通大学）；JD Explore Adacemy（京东探索研究院）；Washington University in St Louis（圣路易斯华盛顿大学）；University of Sydney（悉尼大学）
Transformer最初是为自然语言处理而设计的，它在计算机视觉方面也取得了巨大的成功。由于其超强的表达能力，研究人员正在研究如何将Transformers部署到强化学习（RL）中，基于transformer的模型在代表性的RL基准测试中表现出了其潜力。本文对基于Transformer的强化学习（transformer-based RL或TRL）的最新研究进展进行了梳理和剖析，以探讨其发展轨迹和未来趋势。我们将现有的发展分为两类：架构增强和轨迹优化，并研究TRL在机器人操作，基于文本的游戏，导航和自动驾驶中的主要应用。对于体系结构增强，这些方法考虑如何在传统RL框架下将强大的Transformer结构应用于RL问题，比深度RL方法更精确地对代理和环境建模，但仍然受到传统RL算法固有缺陷的限制，如自举和“致命三元组”。对于轨迹优化，这些方法将强化学习问题视为序列建模，并在行为克隆框架下对整个轨迹进行训练联合状态-动作模型，能够从静态数据集中提取策略，充分利用Transformer的长序列建模能力。鉴于这些进步，TRL的扩展和挑战进行审查，并就未来的发展方向进行了讨论。我们希望这一调查可以提供一个详细的介绍TRL和激励未来的研究在这个迅速发展的领域。
2023-01-20 cs.AI cs.LG
A model-based approach to meta-Reinforcement Learning: Transformers and tree search
UCLouvain（鲁汶大学）
元学习是一种研究方法，旨在开发利用过去经验有效解决新学习问题的能力。Meta-强化学习（meta-RL）方法展示了学习行为的能力，这些行为有效地获取和利用了几个meta-RL问题中的信息。在此背景下，Wang等人提出了Alchemy基准[2021]。Alchemy具有丰富的结构化潜在空间，这对于最先进的无模型RL方法来说是具有挑战性的。这些方法未能学会正确探索然后利用。我们开发了一个基于模型的算法。我们训练一个模型，它的主要模块是一个Transformer Encoder，以适应符号化的Alchemy环境动力学。然后，我们定义了一个在线计划与学习模型使用树搜索方法。该算法显着优于以前应用的无模型RL方法的符号炼金术问题。我们的研究结果揭示了基于模型的方法与在线计划的相关性，以成功地在元RL中进行探索和开发。此外，我们还展示了Transformer架构学习复杂动态的效率，这些动态来自元RL问题中存在的潜在空间。
2022-08-24 cs.AI cs.LG
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of California, Davis（加州大学戴维斯分校）
研究转换器在上下文强化学习中实现策略改进的能力，通过显式参数构造证明线性自注意力块可实现半梯度SARSA和actor-critic方法，并提供首次收敛保证。
2026-11-10 cs.AI cs.LG stat.ML
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Decision Mamba: Reinforcement Learning via Sequence Modeling with Selective State Spaces
CyberAgent（赛博agent公司）；RIKEN（理化学研究所）
本文将 Mamba 框架集成到 Decision Transformer 中提出 Decision Mamba，通过在多种决策环境中的实验验证其能提升序贯决策性能。
2024-03-29 cs.AI cs.LG
TERL: Large-Scale Multi-Target Encirclement Using Transformer-Enhanced Reinforcement Learning
School of Mechatronic Engineering and Automation, Shanghai University（机械电子工程与自动化学院，上海大学）；School of Future Technology, Shanghai University（未来技术学院，上海大学）
本文提出TERL框架，通过Transformer策略网络与目标选择机制实现大规模多目标合围，并在小规模训练后零样本泛化至80追捕者、20目标场景，取得100%成功率。
2025-08-27 cs.LG cs.RO
Transformer in Transformer as Backbone for Deep Reinforcement Learning
Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）；University of Chinese Academy of Sciences（中国科学院大学）；Tianjin University（天津大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peking University（北京大学）
设计更好的深度网络和更好的强化学习（RL）算法对于深度RL都很重要。本研究侧重于前者。以前的方法使用CNN，LSTM和Attention等几个模块构建网络。最近的方法将Transformer与这些模块相结合，以获得更好的性能。然而，对由混合模块组成的网络进行训练需要繁琐的优化技巧，使得这些方法在实际应用中不方便。在本文中，我们建议为深度RL设计\emph{pure Transformer-based networks}，旨在为在线和离线设置提供现成的骨干。具体而言，提出了Transformer（TIT）骨干中的Transformer，它以一种非常自然的方式级联两个Transformers：内部的一个用于处理单个观测，而外部的一个负责处理观测历史;将两者结合起来期望提取时空表示以用于良好的决策。实验表明，TIT可以在不同的设置一致地达到令人满意的性能。
2023-01-03 cs.AI cs.LG cs.RO
