Graph Decision Transformer
Shanghai Jiaotong University（上海交通大学）；JD Explore Academy（京东探索研究院）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）
离线强化学习是一项具有挑战性的任务，其目标是在不与环境交互的情况下从静态轨迹数据中学习策略。最近，离线RL已被视为序列建模问题，其中代理基于一组静态转换经验生成后续动作的序列。然而，现有的方法使用Transformers来处理所有的token可能会忽略不同token之间的依赖关系，并限制长期的依赖学习。在本文中，我们提出了图决策Transformer（GDT），一种新的离线RL方法，模型的输入序列到一个因果图，以捕捉潜在的依赖关系之间的根本不同的概念，并促进时间和因果关系的学习。GDT使用一个图形转换器Transformer通过关系增强机制处理图形输入，并使用一个可选的序列转换器Transformer处理视觉任务中的细粒度空间信息。我们的实验表明，GDT匹配或超越了基于图像的Atari和OpenAI Gym上最先进的离线RL方法的性能。
2023-03-07 cs.AI cs.LG
Uncertainty-Aware Decision Transformer for Stochastic Driving Environments
Tsinghua（清华大学）；Shanghai Qi Zhi（上海期智）；Stanford（斯坦福大学）；QCraft（轻舟智航）
针对随机驾驶环境下传统序列建模式离线RL失效的问题，提出基于条件互信息估计不确定性、采用截断回报学习的UNREST模型，实现谨慎规划并提升驾驶场景性能。
2024-10-07 cs.AI cs.LG
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University（波士顿大学）
针对离线安全强化学习在复杂时序逻辑任务中的不足，提出时序逻辑规范条件化Decision Transformer（SDT）框架，结合STL表达力与DT序列建模能力，在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Rethinking Decision Transformer via Hierarchical Reinforcement Learning
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文提出一种基于分层强化学习的通用序列建模框架，通过联合优化高层提示策略与低层动作策略来赋予决策Transformer轨迹拼接能力，并在多个基准上显著超越DT。
2023-11-01 cs.AI cs.LG
P2DT: Mitigating Forgetting in task-incremental Learning with progressive prompt Decision Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd., Shenzhen, China（平安科技（深圳）有限公司）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室）
针对大模型控制的智能体在任务增量学习中面临的灾难性遗忘问题，提出渐进式提示决策Transformer P2DT，通过动态附加决策令牌培育任务专属策略，利用全任务轨迹保留旧知识，有效缓解遗忘且适配任务规模扩展。
2025-09-03 cs.AI cs.LG
Online Decision Transformer
Meta AI Research（Meta人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
最近的工作表明，离线强化学习（RL）可以被公式化为序列建模问题（Chen et al.，2021; Janner等人，2021年），并通过类似于大规模语言建模的方法解决。然而，RL的任何实际实例化都涉及在线组件，其中在被动离线数据集上预训练的策略通过与环境的特定任务交互进行微调。我们提出了在线决策Transformers（ODT），一种基于序列建模的RL算法，在一个统一的框架中将离线预训练与在线微调相结合。我们的框架结合自回归建模目标使用序列级熵正则化器，以进行样本有效的探索和微调。从经验上讲，我们表明，ODT是有竞争力的国家的最先进的绝对性能的D4 RL基准，但在微调过程中显示出更显着的收益。
2022-07-13 cs.AI cs.LG
Quantum Decision Transformers (QDT): Synergistic Entanglement and Interference for Offline Reinforcement Learning
AI-WEINBERG, AI Experts（AI-WEINBERG人工智能专家）
量子决策变压器通过结合量子启发的注意力和前馈网络，显著提升了离线强化学习中长周期信用分配和复杂状态-动作依赖性的处理能力。
2025-12-09 cs.AI cs.LG
Heuristic Transformer: Belief Augmented In-Context Reinforcement Learning
University of Liverpool（利物浦大学）；University of Sheffield（谢菲尔德大学）
针对Transformer在上下文内强化学习（ICRL）中的应用，提出启发式Transformer（HT），通过变分自动编码器（VAE）学习奖励后验分布的低维表示并融入上下文数据集，在多环境中性能优于基线，为信念增强与Transformer决策的结合提供新方向。
2025-11-13 cs.AI cs.LG
Empowering Clinicians with Medical Decision Transformers: A Framework for Sepsis Treatment
Mila（米拉）；École de Technologie Supérieure（高等技术学院）；Université de Montréal（蒙特利尔大学）；CHU Sainte-Justine Hospital（圣贾斯汀医院中心）；University of Calgary（卡尔加里大学）
提出基于目标条件强化学习的医疗决策Transformer（MeDT）框架，利用急性程度评分解决稀疏奖励问题，在MIMIC-III数据集上实现可解释、个性化且由临床医生指导的脓毒症药物剂量推荐。
2024-07-28 cs.AI cs.LG
Task-agnostic Decision Transformer for Multi-type Agent Control with Federated Split Training
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
针对个性化智能体状态与动作空间差异导致的联邦学习聚合难题，提出联邦拆分决策Transformer（FSDT），采用两阶段训练，在D4RL基准上实现高效、隐私保护的多类型智能体决策，显著降低通信与计算开销。
2024-05-22 cs.AI cs.LG
Multi-Game Decision Transformers
Google Research（谷歌研究院）
人工智能领域的一个长期目标是从不同的经验中学习一个能力很强的通才代理。在视觉和语言子领域，这主要是通过扩大基于transformer的模型并在大型、多样化的数据集上训练它们来实现的。受此进展的激励，我们研究是否可以使用相同的策略来产生通才强化学习代理。具体来说，我们证明了一个基于transformer的模型-具有一组权重-完全离线训练，可以以接近人类的性能同时玩多达46个Atari游戏。经过适当的训练和评估，我们发现在语言和视觉中观察到的趋势相同，包括通过模型大小扩展性能以及通过微调快速适应新游戏。我们比较了几种方法在这个多游戏设置，如在线和离线RL方法和行为克隆，并发现我们的多游戏决策Transformer模型提供了最好的可扩展性和性能。我们发布了预先训练的模型和代码，以鼓励在这个方向上进行进一步的研究。
2022-10-15 cs.AI cs.LG
Beyond Autoregressive RTG: Conditioning via Injection Outside Sequential Modeling in Decision Transformer
School of Computer Science Peking University（计算机科学学院，北京大学）
本文提出SlimDT，通过在序列建模前将RTG信息注入状态表示，减少序列长度并提升效率，在D4RL基准上优于标准DT并达到现有最佳性能。
2026-05-07 cs.AI cs.LG
Hierarchical Decision Transformer
NOVA LINCS（NOVA LINCS实验室）；Universidade da Beira Interior（贝拉 interior 大学）
强化学习中的序列模型需要任务知识来估计任务策略。本文提出了一种从演示中学习序列模型的分层算法。高级机制通过为低级控制器选择子目标来引导低级控制器完成任务。这个序列取代了以前方法的返回值，提高了整体性能，特别是在具有较长片段和较少奖励的任务中。我们在OpenAIGym，D4RL和RoboMimic基准测试的多个任务中验证了我们的方法。我们的方法优于基线，在没有事先任务知识的情况下，在十个任务中有八个任务具有不同的视野和奖励频率，显示了使用序列模型从演示示教学习的分层模型方法的优势。
2022-09-21 cs.AI cs.LG
Read to Play (R2-Play): Decision Transformer with Multimodal Game Instruction
Multimodal Art Projection Research Community（多模态艺术投影研究社区）；Beijing University of Posts and Telecommunications（北京邮电大学）；HKUST（香港科技大学）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）
本文提出 R2-Play 方法，通过构建多模态游戏指令并将指令微调整合到 Decision Transformer 中，使智能体获得“先读后玩”的能力，显著提升了其在多任务和泛化方面的表现。
2024-11-18 cs.AI cs.LG
Adjusting the Output of Decision Transformer with Action Gradient
South China University of Technology（华南理工大学）；Sun Yat-sen University（中山大学）
针对决策Transformer在离线强化学习中面临的轨迹拼接与动作外推挑战，本文提出动作梯度方法，直接利用Q值梯度调整动作，实现与策略梯度类似功能，显著提升DT算法性能并达到先进水平。
2025-10-06 cs.AI cs.LG
Decision Transformer vs. Decision Mamba: Analysing the Complexity of Sequential Decision Making in Atari Games
The University of Edinburgh（爱丁堡大学）
本文通过扩展至12款Atari游戏并结合视觉复杂性、随机森林回归、相关性及动作空间简化分析，揭示DT与DM性能差异主要由动作空间和视觉复杂性决定。
2024-12-01 cs.AI cs.LG
Toward Explainable Offline RL: Analyzing Representations in Intrinsically Motivated Decision Transformers
DISPOC University of Siena（DISPOC 硅恩纳大学）；University of Siena（硅恩纳大学）；University of Milan（米兰大学）
针对内在动机提升弹性决策Transformer（EDTs）离线强化学习性能的表征机制未明问题，本文提出事后可解释性框架，通过分析嵌入属性揭示不同内在动机变体的表征结构差异及与性能的环境特定关联，证明其作为表征先验的作用。
2025-11-17 cs.AI cs.LG
How Crucial is Transformer in Decision Transformer?
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Hessian.AI & Centre for Cognitive Science（黑森人工智能与认知科学中心）
决策Transformer（DT）是最近提出的一种强化学习架构，它将决策过程框架为自回归序列建模问题，并使用Transformer模型来预测状态，动作和奖励序列中的下一个动作。在本文中，我们分析了Transformer模型在连续控制任务的完整DT架构中的重要性。也就是说，我们用LSTM模型替换Transformer，同时保持其他部分不变，以获得我们所说的决策LSTM模型。我们比较它DT连续控制任务，包括摆起和稳定，在模拟和物理硬件。我们的实验表明，DT斗争与连续控制问题，如倒立摆和古田摆稳定。另一方面，所提出的决策LSTM能够在这些任务上实现专家级性能，除了在真实系统上学习摆起控制器之外。这些结果表明，连续控制任务的决策Transformer的强度可能在于整体顺序建模架构，而不是在Transformer本身。
2022-11-26 cs.LG cs.RO
Target Return Optimizer for Multi-Game Decision Transformer
Waseda University（早稻田大学）；LY Corporation（LY公司）
提出MTRO算法，仅利用离线数据集自主确定特定游戏目标回报，无需额外训练即可无缝集成至Multi-Game Decision Transformer，在Atari游戏上显著提升了强化学习策略性能。
2025-03-04 cs.AI cs.LG cs.RO
Understanding the Training and Generalization of Pretrained Transformer for Sequential Decision Making
Imperial College London（伦敦帝国学院）；HKUST(GZ)（香港科技大学（广州））；University of North Carolina（北卡罗来纳大学）
本文针对无转移概率的序贯决策问题，提出将 Transformer 生成序列纳入训练以解决分布外问题，并揭示其探索机制及相对 UCB、Thompson sampling 的优势。
2024-10-02 cs.AI cs.LG
In-Context Decision Transformer: Reinforcement Learning via Hierarchical Chain-of-Thought
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Jilin University（吉林大学）；Lehigh University（利哈伊大学）
针对上下文强化学习中序列过长导致计算成本高的问题，提出上下文决策Transformer（IDT），通过引入人类决策的层次结构重构序列，利用高层决策指导多步低层动作，在长步长任务中实现高效自我改进并大幅提升在线评估速度。
2024-05-31 cs.AI cs.LG
Reinforced Sequential Decision-Making for Sepsis Treatment: The POSNEGDM Framework with Mortality Classifier and Transformer
Purdue University（普渡大学）
针对现有脓毒症治疗机器学习方法离线场景生存率低的问题，提出融合死亡率分类器与Transformer的POSNEGDM强化学习框架，大幅提升患者生存率，优于主流算法。
2024-03-12 cs.AI cs.CY cs.LG
Generative Sequential Notification Optimization via Multi-Objective Decision Transformers
LinkedIn Mountain View USA（LinkedIn Mountain View）
针对通知优化序列决策难题，提出基于决策Transformer的多目标优化框架，重构策略学习为回报条件监督学习，经实验验证可提升通知效用与会话活跃度、降低用户疲劳，在LinkedIn场景中效果优于CQL方法。
2025-09-02 cs.AI cs.LG
Critic-Guided Decision Transformer for Offline Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
提出评论家引导的决策Transformer（CGDT），融合值函数与决策Transformer，解决RCSL中采样与期望返回不一致问题，在随机环境和D4RL上超越传统方法。
2023-12-21 cs.AI cs.LG
Emergency Preemption Without Online Exploration: A Decision Transformer Approach
New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出基于决策变压器的紧急走廊优化框架，通过离线返回条件序列建模，实现无在线环境交互的策略学习，提升紧急车辆调度的紧急程度控制，并通过多智能体决策变压器实现空间协调。
2026-03-20 cs.AI cs.LG
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia（弗吉尼亚大学）；Amazon（亚马逊公司）
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题，提出带检索增强的分层提示方法，通过全局与自适应两层软令牌实现动态引导，在7项基准任务上优于所有基线。
2024-12-13 cs.LG
Language Decision Transformers with Exponential Tilt for Interactive Text Environments
ServiceNow Research（ServiceNow研究院）；Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；Polytechnique Montreal（蒙特利尔理工学院）
提出 Language Decision Transformers (LDTs) 框架，通过引入指数倾斜、新颖目标条件化和未来观测模型扩展决策 Transformers，在 Jericho 等挑战性文本游戏中实现最高分并首次解决离线 RL 问题。
2023-11-17 cs.AI cs.CL cs.LG
You Can't Count on Luck: Why Decision Transformers and RvS Fail in Stochastic Environments
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
最近，决策Transformer等方法将强化学习简化为预测任务，并通过监督学习（RvS）解决它，由于其简单性，对超参数的鲁棒性以及离线RL任务的强大整体性能而变得流行。然而，在随机环境中，简单地将概率模型设定在期望的回报上并采取预测的行动可能会严重失败，因为导致回报的轨迹可能只是由于运气才实现了回报。在这项工作中，我们描述了RvS方法在随机环境中的局限性，并提出了一个解决方案。我们提出的方法ESPER不是简单地以单个轨迹的返回为条件，而是学习聚类轨迹和平均聚类返回的条件，这些条件独立于环境随机性。这样做可以使ESPER在真实环境中实现目标回报和预期绩效之间的高度一致。我们在几个具有挑战性的随机离线RL任务中证明了这一点，包括具有挑战性的益智游戏2048，以及与随机对手进行比赛的Connect Four。在所有测试的领域中，ESPER在目标回报和实现回报之间实现了比简单地以回报为条件更好的对齐。ESPER还实现了甚至比基于值的基线更高的最大性能。
2022-11-28 cs.AI cs.LG
Should We Ever Prefer Decision Transformer for Offline Reinforcement Learning?
本文通过在稀疏奖励环境下的实验表明，基于MLP的Filtered Behavior Cloning (FBC) 比Decision Transformer (DT) 性能更优且计算更高效，从而质疑DT在离线强化学习中是否具有任何实际偏好价值。
2025-07-14 cs.AI cs.LG
Decision Transformer for Enhancing Neural Local Search on the Job Shop Scheduling Problem
Institute for Technologies and Management of Digital Transformation, Wuppertal（伍珀塔尔数字转型技术与管理研究所）
本文提出在神经局部搜索智能体的搜索轨迹上训练决策Transformer，以学习更优的局部搜索策略，并在允许较长计算时间的场景下取得JSSP求解的最先进结果。
2025-02-04 cs.AI cs.LG
Decision SpikeFormer: Spike-Driven Transformer for Decision Making
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出首个面向离线强化学习的脉冲驱动Transformer模型DSFormer，通过时间与位置脉冲自注意力及渐进式阈值依赖批归一化实现序列建模，在D4RL上超越SNN和ANN方法并节省78.4%能耗。
2025-04-04 cs.AI cs.LG cs.NE
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
In-Context Curiosity: Distilling Exploration for Decision-Pretrained Transformers on Bandit Tasks
University of California, Los Angeles（加州大学洛杉矶分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对决策预训练Transformer（DPTs）难以泛化到预训练数据分布外的问题，提出情境好奇心正则化项与PPT框架，用奖励预测误差作为内在信号鼓励探索，在高斯多臂老虎机实验中提升了分布外泛化鲁棒性。
2025-09-30 cs.AI cs.LG cs.MA
Skill Decision Transformer
IT University of Copenhagen（哥本哈根信息技术大学）
最近的工作表明，通过将传统的RL问题表示为序列建模问题，大语言模型（LLM）对于离线强化学习（RL）可以非常有效（Chen et al.，2021; Janner等人，2021年）。然而，这些方法中的许多方法仅针对高回报进行优化，并且可能不会从不同的轨迹数据集中提取太多信息。广义决策Transformers（GDT）（Furuta等人，2021）已经表明，以信息统计的形式利用未来轨迹信息可以帮助从离线轨迹数据中提取更多信息。在此基础上，我们提出了技能决策Transformer（技能DT）。Skill DT从后见之明的重新标记中获得灵感（Andrychowicz等人，2017）和技能发现方法，以发现一组不同的原始行为或技能。我们表明，技能DT不仅可以执行离线状态边缘匹配（SMM），但可以发现描述性的行为，可以很容易地采样。此外，我们表明，通过纯粹的无奖励优化，Skill DT在D4 RL基准测试中仍然具有监督离线RL方法的竞争力。代码和视频可以在我们的项目页面上找到：https://github.com/shyamsn97/skill-dt
2023-01-31 cs.LG
Predictive Coding for Decision Transformer
School of Electrical Engineering, KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院电气工程学院）
针对决策Transformer在目标条件强化学习中因回报条件低效而难以学习时间组合性的问题，提出预测编码框架PCDT，利用广义未来条件结合过去与未来因素进行决策，显著提升了泛化性能与离线任务表现。
2025-04-03 cs.LG
HVAC-DPT: A Decision Pretrained Transformer for HVAC Control
University of Cambridge（剑桥大学）
针对HVAC系统控制泛化性差、需大量训练数据的问题，提出HVAC-DPT决策预训练Transformer，基于上下文强化学习在交互历史上训练，无需额外训练即可部署到不同建筑，未见过建筑能耗较基线降45%。
2024-11-29 cs.AI cs.LG cs.MA
OR-Transformer: Scaling Real-Time Decision-Making to 1,000 Items
Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）；California Institute of Technology（加州理工学院）；University of Virginia（弗吉尼亚大学）
该研究针对大规模供应链补货的实时决策难题，提出OR-Transformer深度强化学习框架，其性能优于基线方法且决策时间大幅缩短，实现了千级物品规模下的实时决策。
2026-09-07 cs.LG
Prompt Tuning Decision Transformers with Structured and Scalable Bandits
Örebro University（奥雷布罗大学）；King AI Labs, Microsoft Gaming（King AI实验室，微软游戏）
针对现有提示决策Transformer均匀采样轨迹提示未考虑信息性的问题，提出基于结构化可扩展老虎机的提示调优方法，实现线性缩放与高效奖励建模，理论与实验均验证其性能优于现有基线。
2025-10-01 cs.LG
Mental Accounts for Actions: EWA-Inspired Attention in Decision Transformers
本文提出EWA-VQ-ODT模块，通过向量量化码本为在线决策Transformer维护每个动作的心理账户，以偏置注意力机制，从而提升样本效率和平均回报。
2025-09-19 cs.LG
Pretraining Decision Transformers with Reward Prediction for In-Context Multi-task Structured Bandit Learning
提出一种无需最优动作且能超越演示者的预训练决策Transformer方法，利用任务共享结构实现上下文多任务结构化老虎机学习，降低未见任务的累积遗憾。
2025-10-22 cs.LG
DODT: Enhanced Online Decision Transformer Learning through Dreamer's Actor-Critic Trajectory Forecasting
University of California, Los Angeles（加州大学洛杉矶分校）；Mila（米拉）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出DODT方法，将Dreamer算法的轨迹预测能力与Online Decision Transformer结合，通过并行训练实现双向增强，显著提升了样本效率和奖励最大化，并在动态场景中展现出鲁棒性。
2024-10-15 cs.LG cs.RO stat.ML
Knowledge Distillation for Efficient Transformer-Based Reinforcement Learning in Hardware-Constrained Energy Management Systems
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文通过知识蒸馏将高容量决策变压器策略转化为紧凑模型，提升能源管理系统的部署效率，减少参数和内存消耗，同时保持控制性能。
2026-03-27 cs.LG
Pre-trained Language Models Improve the Few-shot Prompt Ability of Decision Transformer
Department of Electrical and Computer Engineering（电气与计算机工程系）；Duke University（杜克大学）；Department of Biostatistics and Bioinformatics（生物统计学与生物信息学系）；Department of Computer Science（计算机科学系）
预训练语言模型提升决策变换器的少样本提示能力，通过初始化和提示正则化增强RL任务区分能力。
2025-12-02 cs.AI cs.CL cs.LG
Constrained Decision Transformer for Offline Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Deepmind（谷歌DeepMind）
针对离线安全强化学习，提出约束决策变换器（CDT），从多目标优化视角引入ε-可约概念，动态调整安全与性能权衡，实验证明其优于基线且具备零样本适应能力。
2023-06-21 cs.AI cs.LG cs.RO
AOAD-MAT: Transformer-based multi-agent deep reinforcement learning model considering agents' order of action decisions
Graduate School of Engineering, Tokyo University of Agriculture and Technology（东京农业与技术大学工学院）
本文提出AOAD-MAT模型，通过考虑智能体行动决策顺序，改进多智能体强化学习的性能。
2025-10-15 cs.AI cs.LG cs.MA
Towards Flexible Inference in Sequential Decision Problems via Bidirectional Transformers
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
随机掩蔽和预测单词标记已经成为用于各种下游任务的预训练语言模型的成功方法。在这项工作中，我们观察到，同样的想法也自然适用于顺序决策，其中许多经过充分研究的任务，如行为克隆，离线RL，逆动力学和路点条件对应于不同的序列掩码的状态，动作和回报的序列。我们介绍了ESTBIT框架，它提供了一种统一的方式来指定模型，这些模型可以在许多不同的顺序决策任务上进行训练。我们表明，一个单一的BITBIT模型是同时能够执行许多任务的性能类似于或优于专门的模型。此外，我们表明，性能可以进一步提高我们的一般模型上的特定任务的兴趣进行微调。
2022-12-09 cs.LG
Return-Aligned Decision Transformer
Waseda University（早稻田大学）；CyberAgent
本文提出返回对齐决策 Transformer（RADT），通过仅关注回报的特征提取，使动作生成始终依赖目标回报，显著减少实际回报与目标回报的差异。
2025-06-19 cs.LG
Prompting Decision Transformer for Few-Shot Policy Generalization
Carnegie Mellon University（卡内基梅隆大学）；University of Montreal（蒙特利尔大学）；Mila（米拉）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）；UMass Amherst（马萨诸塞大学阿默斯特分校）
人类可以利用先前的经验，从一些演示中学习新的任务。与离线Meta强化学习相比，其目的是通过更好的算法设计实现快速适应，我们研究了架构归纳偏差对少样本学习能力的影响。我们提出了一个基于时间的决策Transformer（时间-DT），它利用了顺序建模能力的Transformer架构和提示框架，以实现Few-Shot适应离线RL。我们设计的轨迹提示，其中包含部分的Few-Shot演示，并编码特定于任务的信息，以指导政策的生成。我们在五个MuJoCo控制基准测试中的实验表明，Battle-DT是一个强大的Few-Shot学习器，无需对看不见的目标任务进行任何额外的微调。Prompt-DT的性能大幅优于其变体和强大的Meta离线RL基线，其轨迹提示仅包含几个时间步。此外，DT-DT对于提示长度更改也是健壮的，并且可以推广到分发外（OOD）环境。
2022-06-27 cs.AI cs.CV cs.LG
Decision Transformer under Random Frame Dropping
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua Universtiy（清华大学）；Shanghai AI Lab（上海人工智能实验室）
在现实世界中使用深度强化学习~（DRL）远程控制代理还有待实现。一个关键的垫脚石是设计RL算法，这些算法在面对来自损坏的通信或故障传感器的丢失信息时具有鲁棒性。典型的强化学习方法通常需要大量的在线交互数据，这些数据在现实世界中收集起来既昂贵又不安全。此外，当应用于帧丢弃场景时，即使具有中等的丢弃率，它们也不能令人满意地执行。为了解决这些问题，我们提出了决策Transformer下随机帧丢弃~（DeFog），离线RL算法，使代理在帧丢弃的情况下，没有在线交互的鲁棒性。DeFog首先随机屏蔽离线数据集中的数据，并显式添加帧丢弃的时间跨度作为输入。在此之后，对同一离线数据集进行微调，并使用更高的掩码率，将进一步提高性能。实证结果表明，DeFog在严重的帧丢失率（如90%）下优于强基线，同时在常规MuJoCo控制基准和Atari环境中的非帧丢失条件下保持类似的回报。我们的方法提供了一个强大的和可部署的解决方案，在现实世界的环境中控制代理有限或不可靠的数据。
2023-03-03 cs.AI cs.LG cs.RO
Generalized Decision Transformer for Offline Hindsight Information Matching
The University of Tokyo（东京大学）；Google Research（谷歌研究院）
如何从每个轨迹数据中提取尽可能多的学习信号一直是强化学习（RL）的关键问题，其中样本效率低下给实际应用带来了严重挑战。最近的工作表明，使用表达性策略函数近似器和对未来轨迹信息的条件作用-例如决策Transformer（DT）中的后见之明经验重放或返回到去的未来状态-可以有效地学习多任务策略，其中有时在线RL完全被离线行为克隆所取代，例如序列建模。我们证明了所有这些方法都在进行事后信息匹配（HIM）-训练策略，可以输出与未来状态信息的一些统计数据相匹配的其余轨迹。我们提出了广义决策Transformer（GDT）解决任何HIM问题，并显示如何不同的选择的功能和反因果聚合器不仅恢复DT作为一个特例，但也导致新的分类DT（CDT）和双向DT（BDT）匹配不同的统计数据的未来。为了评估CDT和BDT，我们定义了离线多任务状态边缘匹配（SMM）和模仿学习（IL）作为两个通用的HIM问题，提出了一个Wasserstein距离损失作为度量，并在MuJoCo连续控制基准上进行了实证研究。CDT简单地用DT中的反因果分箱替换了反因果求和，实现了第一个有效的离线多任务SMM算法，该算法可以很好地推广到看不见的甚至是合成的多模态状态特征分布。BDT使用反因果第二Transformer作为聚合器，可以学习对未来的任何统计数据进行建模，并在离线多任务IL中优于DT变体。我们从HIM和GDT的广义公式大大扩展…
2022-02-04 cs.AI cs.LG stat.ML
Do We Need Transformers to Play FPS Video Games?
University of Waterloo（滑铁卢大学）
本文在Doom环境中比较了基于Transformer的DTQN和决策Transformer与传统方法，发现传统方法在在线和离线强化学习任务中均表现更优。
2025-04-24 cs.LG
Future-conditioned Unsupervised Pretraining for Decision Transformer
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出预训练决策Transformer（PDT），利用未来轨迹信息作为特权上下文进行无监督离线RL预训练，并通过在线微调可控采样高回报行为，在次优数据上优于监督预训练方法。
2023-05-26 cs.LG
Offline Decision Transformers for Neural Combinatorial Optimization: Surpassing Heuristics on the Traveling Salesman Problem
Panasonic Connect Co., Ltd.（松下连接有限公司）
本文提出离线决策变换器，通过直接学习启发式解集来改进组合优化，通过指针网络和期望回归方法，在旅行商问题上超越传统启发式方法。
2026-03-26 cs.LG
New Spiking Architecture for Multi-Modal Decision-Making in Autonomous Vehicles
Electrical and Computer Engineering Department（电子与计算机工程系）
本文提出了一种基于脉冲神经元的高效多模态决策架构，用于提升自动驾驶车辆的实时决策能力。
2025-12-01 cs.LG
