Decision Transformer-Based Drone Trajectory Planning with Dynamic Safety-Efficiency Trade-Offs
针对无人机轨迹规划中安全与效率权衡需专业调参、现有方法未明确处理该问题的局限，提出基于Decision Transformer的规划器，用单一RTG参数动态调节权衡，无需专业知识，在仿真与真实实验中均优于基线方法。
2025-07-30 cs.AI cs.RO
Improving Computational Efficiency for Powered Descent Guidance via Transformer-based Tight Constraint Prediction
Massachusetts Institute of Technology（麻省理工学院）
提出 T-PDG，用 Transformer 依据历史轨迹优化数据预测紧约束与最优着陆时间，并经可行性检查保证安全最优，使火星 3 自由度燃料最优轨迹计算由 1–8 秒降至 500 毫秒内。
2023-12-11 cs.LG cs.RO cs.SY
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University（哥伦比亚大学）
在这项工作中，我们表明，用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展，将预训练中的图像数量从数百万增加到10亿。我们进行消融研究，比较半监督和监督模型的迁移学习，同时保持所有其他因素相同。在半监督模型中，我们比较了对比学习与师生方法，以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性，为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Quattro: Transformer-Accelerated Iterative Linear Quadratic Regulator Framework for Fast Trajectory Optimization
University of Southampton（南安普顿大学）；University of Oxford（牛津大学）
提出Quattro框架，通过算法-硬件协同设计利用Transformer预测矩阵加速iLQR，在资源受限设备上实现并行计算，在多系统中显著提升轨迹优化与MPC的实时控制速度并降低功耗。
2025-04-03 cs.RO cs.SY eess.SY
Transformer-based Map Matching Model with Limited Ground-Truth Data using Transfer-Learning Approach
Korea Advanced Institute of Science and Technology（韩国科学技术院）；The University of Queensland（昆士兰大学）
本文提出一种结合迁移学习的 Transformer 地图匹配模型，通过生成轨迹预训练与少量真实数据微调降低成本和现实—虚拟差距，并在点与路段层级验证其优于现有模型。
2021-10-07 cs.LG
Towards Robust Spacecraft Trajectory Optimization via Transformers
The Aerospace Corporation（航空航天公司）；University of Nowhere（诺惠尔大学）
提出将 ART 扩展至鲁棒机会约束最优控制，在低地球轨道交会场景中通过热启动生成高质量参考轨迹，显著降低成本与不可行率，并引入事后评估框架以提升 AI 在安全关键系统中的部署可靠性。
2025-01-25 cs.AI cs.RO math.OC
MTR-VP: Towards End-to-End Trajectory Planning through Context-Driven Image Encoding and Multiple Trajectory Prediction
Machine Intelligence, Interaction, and Imagination (Mi 3 ) Laboratory（机器智能、交互与想象实验室）；University of California, Merced（加州大学默塞德分校）；Laboratory for Intelligent & Safe Automobiles (LISA)（智能与安全汽车实验室）；University of California, San Diego（加州大学圣地亚哥分校）
MTR-VP通过基于上下文的图像编码和多轨迹预测实现端到端轨迹规划，利用交叉注意力提升规划性能。
2025-11-27 cs.AI cs.CV cs.RO
Fine-Tuning Transformers: Vocabulary Transfer
Yandex；Higher School of Economics（高等经济大学）；Facebook UK（英国脸书）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学与科学研究所）；University of Lisbon（里斯本大学）；CEMAPRE
本文研究微调时使用语料专属分词对Transformer模型性能的影响，提出结合词汇token初始化与微调策略的词汇迁移方法，可加快迁移速度并提升微调后模型性能。
2022-12-12 cs.AI cs.CL cs.LG
Improving speech emotion recognition via Transformer-based Predictive Coding through transfer learning
我已经向arXiv提交了一个新版本：1910.13806。我忘记选择替换旧版本，但提交了一个新的。是我的错
2019-10-31 cs.HC cs.LG stat.ML
Transfer Learning from Transformers to Fake News Challenge Stance Detection (FNC-1) Task
University of Pisa（比萨大学）
在本文中，我们报告了假新闻挑战第一阶段（FNC-1）立场检测任务的改进结果。这种性能上的提升是由于基于Transformer架构的大语言模型的泛化能力，该架构是在过去两年中发明、训练和公开发布的。具体而言，（1）我们改进了FNC-1最佳性能模型，添加了输入序列的BERT句子嵌入作为模型特征，（2）我们在FNC-1扩展数据集上微调了BERT，XLNet和RoBERTa Transformers，并在FNC-1任务上获得了最先进的结果。
2019-10-31 cs.CL cs.IR cs.LG
Exploring Transformer-Augmented LSTM for Temporal and Spatial Feature Learning in Trajectory Prediction
University of Tennessee（田纳西大学）
本文提出一种结合LSTM与Transformer编码器的混合模型，用于车辆轨迹预测的时空特征学习，虽未超越现有LSTM方法，但展示了构建可解释预测模型的潜力。
2024-12-18 cs.CV cs.LG cs.RO
MuTT: A Multimodal Trajectory Transformer for Robot Skills
ArtiMinds Robotics（阿蒂明兹机器人公司）；Autonomous Learning Robots, KIT（卡尔斯鲁厄理工学院自主学习机器人实验室）
本文提出MuTT，一种融合视觉、轨迹与技能参数的编码器-解码器Transformer架构，用于预测环境感知的机器人技能执行，结合基于模型的优化器实现免真实执行的参数优化。
2024-08-22 cs.LG cs.RO
Spatio-Temporal Graph Transformer Networks for Pedestrian Trajectory Prediction
SenseTime Research（商汤科技研究院）；National University of Singapore（新加坡国立大学）
了解人群运动动态对于现实世界的应用至关重要，例如，监控系统和自动驾驶。这是具有挑战性的，因为它需要有效地建模的社会意识人群的空间互动和复杂的时间依赖性。我们认为注意力是轨迹预测的最重要因素。在本文中，我们提出了STAR，时空grAph Transformer框架，它只处理注意力机制的轨迹预测。STAR通过TGConv（一种新的基于Transformer的图卷积机制）对图内人群交互进行建模。图间的时间依赖性由单独的时间Transformers建模。STAR通过在空间和时间Transformers之间交错来捕获复杂的时空交互。为了校准消失的行人的长期影响的时间预测，我们引入了一个可读写的外部存储器模块，不断更新的时间Transformer。我们表明，只有注意力机制，STAR实现了最先进的性能5常用的现实世界的行人预测数据集。
2020-07-24 cs.CV cs.LG cs.RO
Probabilistic Ship Trajectory Forecasting using Transformer Models on AIS Data
Technical University of Denmark（丹麦技术大学）
该研究针对受限水域船舶轨迹预测问题，采用经KDE生成、CNN编码的局部热图辅助，训练Transformer与Performer模型，大幅提升了预测性能。
2026-10-12 cs.LG cs.RO
Multimodal Manoeuvre and Trajectory Prediction for Automated Driving on Highways Using Transformer Networks
WMG, University of Warwick（华威大学WMG学院）；Queen’s University of Belfast（贝尔法斯特女王大学）
提出一种基于Transformer的多模态预测框架，通过定制问题公式化、预测模型和训练方法，在NGSIM、highD和exiD数据集上优于现有方法，实现更准确的高速公路车辆机动与轨迹预测。
2023-07-26 cs.LG cs.RO
Holistic Transformer: A Joint Neural Network for Trajectory Prediction and Decision-Making of Autonomous Vehicles
Jilin University（吉林大学）
轨迹预测和行为决策是自动驾驶汽车的两项重要任务，需要对环境背景有很好的理解;通过参考轨迹预测的输出，可以更好地做出行为决策。然而，大多数当前的解决方案分别执行这两个任务。因此，一个联合神经网络，结合多种线索，提出并命名为整体Transformer预测轨迹，并作出行为决策的同时。为了更好地挖掘线索之间的内在关系，该网络利用已有知识，采用了三种注意力机制：稀疏多头机制，用于降低噪声影响;特征选择稀疏机制，用于优化利用部分先验知识;与其他弹道预测模型相比，该模型具有更好的综合性能和良好的可解释性。感知噪声鲁棒性实验表明，该模型具有良好的噪声鲁棒性。因此，结合多个线索的同时轨迹预测和行为决策可以降低计算成本并增强场景和代理之间的语义关系。
2022-06-17 cs.AI cs.LG cs.RO
MART: MultiscAle Relational Transformer Networks for Multi-agent Trajectory Prediction
School of Integrated Technology (SIT), Gwangju Institute of Science and Technology (GIST)（光州科学技术院集成技术学院（SIT））
本文提出多尺度关系Transformer网络MART，通过超图Transformer编码器和自适应群体估计器建模个体与群体关系，在多智能体轨迹预测任务上取得最先进性能。
2024-07-31 cs.LG
S2TNet: Spatio-Temporal Transformer Networks for Trajectory Prediction in Autonomous Driving
Xi’an Jiaotong University（西安交通大学）
为了安全合理地参与密集和异构的交通，自动驾驶汽车需要充分分析周围交通代理的运动模式，并准确预测其未来的轨迹。这是具有挑战性的，因为交通代理的轨迹不仅受到交通代理本身的影响，而且还受到空间相互作用的影响。以往的方法通常依赖于对长短期记忆网络（LSTM）的逐步处理，并且只提取单一类型交通代理的空间邻居之间的相互作用。提出了时空Transformer网络（S2 TNet），它用时空Transformer来描述时空交互，用时间Transformer来处理时间序列。我们输入额外的类别，形状和标题信息到我们的网络来处理交通代理的异质性。在ApolloScape Trajectory数据集上，该方法在平均位移误差和最终位移误差的加权和上均优于最先进的方法7%以上.我们的代码可在https://github.com/chenghuang66/s2tnet上获得。
2022-06-22 cs.CV cs.LG cs.RO
STPOTR: Simultaneous Human Trajectory and Pose Prediction Using a Non-Autoregressive Transformer for Robot Following Ahead
School of Computing Science, Simon Fraser University (SFU)（西蒙菲莎大学计算科学学院）
针对人体运动预测问题，提出名为STPOTR的非自回归Transformer架构，通过双编码器解码器结构同步预测人体轨迹与姿态，在精度和速度上优于现有方法，可应用于机器人前置跟随场景。
2025-01-17 cs.LG cs.RO
Traj-Transformer: Diffusion Models with Transformer for GPS Trajectory Generation
Worcester Polytechnic Institute（沃斯特理工学院）；San Diego State University（圣地亚哥州立大学）；Guangzhou University（广州大学）；Lenovo Group Limited（联想集团有限公司）
本文提出Trajectory Transformer，利用Transformer骨干网络替代卷积架构进行GPS轨迹生成，通过两种坐标嵌入策略，显著提升生成质量并减少偏差。
2025-10-07 cs.AI cs.LG
Switch Trajectory Transformer with Distributional Value Approximation for Multi-Task Reinforcement Learning
Northwestern University（西北大学）；Zebra Technologies（斑马技术公司）
我们提出了SwitchTT，这是Trajectory Transformer的多任务扩展，但增强了两个显著的功能：（i）利用稀疏激活模型来降低多任务离线模型学习中的计算成本，以及（ii）采用分布式轨迹值估计器来提高策略性能，特别是在稀疏奖励设置中。这两个增强功能使SwitchTT适合解决多任务离线强化学习问题，其中模型容量对于吸收多任务数据集中可用的大量知识至关重要。更具体地说，SwitchTT利用开关Transformer模型架构进行多任务策略学习，使我们能够提高模型容量，而无需成比例的计算成本。此外，SwitchTT近似分布而不是轨迹值的期望，减轻了蒙特卡洛值估计器因样本复杂性差而受到的影响，特别是在稀疏奖励设置中。我们使用来自gym-mini-grid环境的10个稀疏奖励任务来评估我们的方法。我们在10个任务的学习中比Trajectory Transformer提高了10%，离线模型训练速度提高了90%。我们的研究结果也证明了开关Transformer模型在吸收专家知识方面的优势以及值分布在评估轨迹中的重要性。
2022-03-14 cs.AI cs.LG
RankFormer: A Propose-then-Select Transformer for Multi-Agent Multimodal Trajectory Prediction
本文提出一种基于Transformer的多模态车辆轨迹预测模型，通过分离空间模块和轨迹生成模块提升预测性能，并通过预测残差偏移学习有序轨迹。
2026-08-12 cs.AI cs.LG cs.RO
Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts
University of Cambridge（剑桥大学）
研究循环变换器中自适应深度，通过轨迹——读出视角，涵盖合成任务与大规模检查点。发现固定先验深度监督可产生有益轨迹，简单读出表现良好，拟合冻结轨迹定位失败原因，Ouro评估有类似情况，重新定义自适应深度为联合问题。
2026-07-24 cs.LG
Multi-Objective Decision Transformers for Offline Reinforcement Learning
International University of Rabat（拉巴特国际大学）；TICLab, College of Engineering and Architecture（工程与建筑学院TIC实验室）；Telecom ParisTech, Institut Polytechnique de Paris（巴黎理工学院巴黎高等电信学院）；LTCI（通信与信息处理实验室）
本文提出将离线强化学习重构为多目标优化问题，通过扩展预测至状态和回报并引入动作空间区域，改进轨迹表示，从而更有效利用Transformer注意力机制，在D4RL基准上达到或超越现有最先进方法。
2023-08-31 cs.LG cs.RO
Crossfusor: A Cross-Attention Transformer Enhanced Conditional Diffusion Model for Car-Following Trajectory Prediction
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Texas A&M University（德克萨斯农工大学）
针对现有车辆轨迹预测模型忽略精细跟车行为与车际交互的问题，提出融合GRU、位置注意力、傅里叶嵌入与交叉注意力transformer的条件扩散模型Crossfusor，在NGSIM数据集上尤其是长期预测中优于现有最优模型。
2024-06-17 cs.AI cs.LG cs.RO
Kraken: enabling joint trajectory prediction by utilizing Mode Transformer and Greedy Mode Processing
Yandex Self-Driving Group（Yandex自动驾驶集团）
本文提出实时轨迹预测模型 Kraken，通过 Greedy Mode Processing 与 Mode Transformer 建模智能体成对交互并生成多样、物理合理的联合预测，在 Waymo 赛事交互榜单取得第一。
2023-12-08 cs.LG cs.RO
Elastic Decision Transformer
OMRON SINIC X（欧姆龙 SINIC X 研究院）；UC San Diego（加州大学圣地亚哥分校）
本文介绍了弹性决策Transformer（EDT），一个显着的进步，现有的决策Transformer（DT）及其变种。虽然DT声称生成最佳轨迹，但经验证据表明它难以进行轨迹拼接，这是一个涉及从一组次优轨迹的最佳部分生成最佳或接近最佳轨迹的过程。建议的EDT区分自己的动作推理在测试时，通过调整DT中保持的历史长度来实现的轨迹拼接。此外，EDT通过在先前轨迹是最佳的时保留较长的历史并且在先前轨迹是次最佳的时保留较短的历史来优化轨迹，从而使其能够与更佳的轨迹"缝合"。大量的实验表明，EDT有能力弥合基于DT和基于Q学习的方法之间的性能差距。特别是，EDT在D4RL运动基准和Atari游戏的多任务机制中优于基于Q学习的方法。视频请访问：www.example.com
2023-10-20 cs.AI cs.LG
On Transforming Reinforcement Learning by Transformer: The Development Trajectory
Shanghai Jiaotong University（上海交通大学）；JD Explore Adacemy（京东探索研究院）；Washington University in St Louis（圣路易斯华盛顿大学）；University of Sydney（悉尼大学）
Transformer最初是为自然语言处理而设计的，它在计算机视觉方面也取得了巨大的成功。由于其超强的表达能力，研究人员正在研究如何将Transformers部署到强化学习（RL）中，基于transformer的模型在代表性的RL基准测试中表现出了其潜力。本文对基于Transformer的强化学习（transformer-based RL或TRL）的最新研究进展进行了梳理和剖析，以探讨其发展轨迹和未来趋势。我们将现有的发展分为两类：架构增强和轨迹优化，并研究TRL在机器人操作，基于文本的游戏，导航和自动驾驶中的主要应用。对于体系结构增强，这些方法考虑如何在传统RL框架下将强大的Transformer结构应用于RL问题，比深度RL方法更精确地对代理和环境建模，但仍然受到传统RL算法固有缺陷的限制，如自举和“致命三元组”。对于轨迹优化，这些方法将强化学习问题视为序列建模，并在行为克隆框架下对整个轨迹进行训练联合状态-动作模型，能够从静态数据集中提取策略，充分利用Transformer的长序列建模能力。鉴于这些进步，TRL的扩展和挑战进行审查，并就未来的发展方向进行了讨论。我们希望这一调查可以提供一个详细的介绍TRL和激励未来的研究在这个迅速发展的领域。
2023-01-20 cs.AI cs.LG
Mind the Noise: Sensitivity of Transformer-based Interaction-Aware Trajectory Prediction Models to Noisy Data
Networked Systems Lab, Universidad Miguel Hernandez de Elche（网络系统实验室，米格尔·洪德斯大学）
研究基于Transformer的交互感知轨迹预测模型在噪声数据下的性能退化，发现预测精度在低噪声下降低1.3倍，高噪声下降低3.9倍，强调需要更真实的训练数据和噪声缓解策略。
2026-06-23 cs.AI cs.LG cs.RO
Enhancing Decision Transformer with Diffusion-Based Trajectory Branch Generation
针对Decision Transformer因缺乏桥接数据易收敛于次优轨迹的问题，提出基于扩散模型的轨迹分支生成方法(BG)扩展数据集，使DT能学习向更优轨迹转移的策略，在D4RL基准上取得SOTA效果。
2024-11-18 cs.LG
RNTrajRec: Road Network Enhanced Trajectory Recovery with Spatial-Temporal Transformer
Fudan University（复旦大学）；Shanghai Institute of Intelligent Electronics & Systems（上海智能电子与系统研究院）；Singapore Management University（新加坡管理大学）
GPS轨迹是行程时间估计、交通量预测、轨迹相似性度量等基于概率的应用的基础。大多数应用需要大量的高采样率轨迹来实现良好的性能。然而，许多现实生活中的轨迹收集低采样率由于能源的关注或其他限制，我们研究的任务轨迹恢复在本文中作为一种手段，提高采样率的低样本轨迹。目前，大多数关于轨迹恢复的现有工作遵循序列到序列图，其中编码器用于对轨迹进行编码，解码器用于恢复轨迹中的真实GPS点。然而，这些工作忽略了道路网络的拓扑结构，仅使用网格信息或原始GPS点作为输入。因此，编码器模型不能捕获轨迹沿线GPS点的丰富空间信息，使得预测不太准确并且缺乏空间一致性。在本文中，我们提出了一个道路网络增强的变压器为基础的框架，即RNTrajRec，轨迹恢复。RNTrajRec首先使用图模型，即GridGNN，来学习每个路段的嵌入特征。接下来，它开发了一个时空Transformer模型，即GPSFormer，以学习丰富的空间和时间特征，以及子图生成模块，以捕获轨迹中每个GPS点的空间特征。最后将编码器模型的输出转发到多任务解码器模型中，以恢复丢失的GPS点。基于三个大规模真实轨迹数据集的大量实验证实了我们方法的有效性。
2022-11-28 cs.AI cs.LG
DODT: Enhanced Online Decision Transformer Learning through Dreamer's Actor-Critic Trajectory Forecasting
University of California, Los Angeles（加州大学洛杉矶分校）；Mila（米拉）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出DODT方法，将Dreamer算法的轨迹预测能力与Online Decision Transformer结合，通过并行训练实现双向增强，显著提升了样本效率和奖励最大化，并在动态场景中展现出鲁棒性。
2024-10-15 cs.LG cs.RO stat.ML
MSTFormer: Motion Inspired Spatial-temporal Transformer with Dynamic-aware Attention for long-term Vessel Trajectory Prediction
将动力学知识引入模型中，对于在考虑船舶空间和时间特性的同时实现精确的轨迹预测至关重要。然而，现有的方法很少考虑潜在的动力学知识，并直接使用机器学习算法来预测轨迹。直觉上，船只的运动遵循动力学定律，例如，船的速度在转弯时降低。然而，由于动态知识和神经网络固有的异质性，将其结合起来是具有挑战性的。在此背景下，我们提出了MSTFormer，基于Transformer的运动启发的船舶轨迹预测方法。这项工作的贡献是三方面的。首先，我们设计了一种数据增强方法来描述轨迹的空间特征和运动特征。其次，我们提出了一个多头动态感知的自我注意机制，专注于频繁运动变换的轨迹点。最后，我们构造了一个知识启发的损失函数，以进一步提高模型的性能。在真实数据集上的实验结果表明，该策略不仅有效地提高了长期预测能力，而且在转弯数据上的性能也优于主干，消融分析进一步证实了该方法的有效性.据我们所知，MSTFormer是第一个融合血管运动动力学的轨迹预测神经网络模型，为未来的研究提供了一个有价值的方向。源代码可在https://github.com/simple316/MSTFormer上获得。
2023-03-21 cs.LG
DyTTP: Trajectory Prediction with Normalization-Free Transformers
Shanghai Institute of Technology（上海理工大学）
本文提出DyTTP，首次将DynamicTanh引入轨迹预测以替代层归一化，并结合快照集成策略，在Argoverse数据集上显著提升预测精度、推理速度与鲁棒性。
2025-05-06 cs.AI cs.LG
MIAT: Maneuver-Intention-Aware Transformer for Spatio-Temporal Trajectory Prediction
Min H. Kao Department of Electrical Engineering and Computer Science at University of Tennessee, Knoxville, TN, USA（田纳西大学电气工程与计算机科学系）；Department of Electrical and Computer Engineering at George Mason University（乔治·马歇尔大学电气与计算机工程系）
本文提出MIAT架构，通过融合机动意图感知控制机制与时空交互建模，在NGSIM数据集上显著提升了自动驾驶中长时域轨迹预测的准确率。
2025-08-13 cs.LG
Risk-Informed Diffusion Transformer for Long-Tail Trajectory Prediction in the Crash Scenario
Southeast University（东南大学）；Monash University（莫纳什大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对自动驾驶轨迹预测中的长尾问题，提出风险知情扩散Transformer（RI-DiT）方法，整合基于图的风险信息、ITTC和交通流特征，在真实碰撞场景中更准确地预测长尾轨迹并提升系统安全性。
2025-05-28 cs.AI cs.LG
CRHT: A Continuous Regression Hybrid Transformer for Vessel Trajectory Prediction with Online Cluster Sampling
针对船舶轨迹预测的地理偏差与真实性问题，提出CRHT框架，结合在线K-means聚类采样与混合架构，在短期预测中表现最优，平衡了精度与机动跟踪能力。
2026-08-12 cs.LG
Trajectory Geometry of Transformer Representations Across Layers
MetriQual；London, UK（英国伦敦）；Athens, GR（希腊雅典）
通过计算轨迹长度、曲率等几何指标，发现语义相关提示在中间层收敛、推理任务曲率更大、歧义token轨迹分叉，并揭示三层结构。
2026-06-11 cs.LG
Latent Plan Transformer for Trajectory Abstraction: Planning as Latent Space Inference
Department of Statistics and Data Science, UCLA（统计与数据科学系， UCLA）；Salesforce Research（Salesforce 研究）；Akool Research（Akool 研究）；Xi’an Jiaotong University（西安交通大学）；Department of Computer Science, UCLA（计算机科学系， UCLA）
本文提出Latent Plan Transformer（LPT），通过潜在变量推断将规划视为潜在空间推断，从次优轨迹中学习时间一致的抽象并提升长期决策性能。
2025-08-18 cs.LG
AeroCast: Probabilistic 3D Trajectory Prediction for Non-Cooperative Aerial Obstacles via Transformer-MDN Architecture
Department of Engineering, Texas A&M University–Corpus Christi（德克萨斯A&M大学科珀斯克里斯蒂分校工程系）
提出AeroCast框架，结合Transformer编码器和混合密度网络，预测非合作空中障碍物的多模态轨迹，在五秒预测范围内将位移误差降低约50%，并支持实时部署。
2026-06-25 cs.AI cs.LG cs.RO
Pedestrian Trajectory Prediction via Spatial Interaction Transformer Network
School of Mechanical Engineering, University of Science and Technology Beijing（北京科技大学机械工程学院）
行人轨迹预测作为自动驾驶系统的核心技术，能够显著增强车辆主动安全功能，减少道路交通伤害。在交通场景中，行人遇到迎面而来的行人时，可能会突然转弯或立即停车，这往往会导致复杂的轨迹。为了预测这种不可预测的轨迹，我们可以深入了解行人之间的互动。本文提出了一种新的生成方法空间交互Transformer（SIT），通过注意力机制学习行人轨迹的时空相关性。此外，我们引入了条件变分自编码器（CVAE）框架来模拟行人未来的潜在运动状态。特别是，基于大规模trafc数据集nuScenes [2]的实验表明，SIT比最先进的（SOTA）方法具有出色的性能。在具有挑战性的ETH和UCY数据集上的实验评估证实了我们提出的模型的鲁棒性
2021-12-13 cs.CV cs.LG
COLA: Cross-city Mobility Transformer for Human Trajectory Simulation
Zhejiang University（浙江大学）；Hangzhou City University（杭州城市大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学高等研究院）
针对轨迹数据稀缺问题，本文提出 COLA，通过私有/共享模块分解和事后调整实现跨城市移动知识迁移，提升人类轨迹模拟效果。
2024-03-04 cs.AI cs.LG
Patient Trajectory Prediction: Integrating Clinical Notes with Transformers
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
针对EHR预测中忽略临床笔记的问题，提出将非结构化笔记整合进Transformer模型，丰富病史表示，提升诊断预测准确性，并在MIMIC-IV上验证优于传统方法。
2025-02-25 cs.LG
Hyper-STTN: Hypergraph Augmented Spatial-Temporal Transformer Network for Trajectory Prediction
School of Applied and Creative Computing, Purdue University（普渡大学应用与创意计算学院）；Department of Computer Science and Department of Intelligent Systems Engineering, Indiana University Bloomington（印第安纳大学布卢明顿分校计算机科学系和智能系统工程系）；Department of Applied Artificial Intelligence, Sungkyunkwan University（成均馆大学应用人工智能系）
本文提出Hyper-STTN，通过构建多尺度超图和时空变换器，有效建模人群轨迹预测中的群体和个体交互，实验表明其优于现有方法。
2026-03-20 cs.CV cs.LG
LATTE: LAnguage Trajectory TransformEr
Technische Universität München（慕尼黑工业大学）；Microsoft（微软）
自然语言是表达人类意图的最直观的方式之一。然而，将指令和命令转换为机器人运动生成和部署在现实世界中远非一件容易的任务。传统上，将机器人固有的低级几何和运动力学约束与人类的高级语义指令相结合的挑战是使用特定于任务的解决方案来解决的，这些解决方案在硬件平台之间几乎没有通用性，通常使用静态的目标动作和命令集。这项工作提出了一个灵活的基于语言的框架，允许用户修改通用的机器人轨迹。我们的方法利用预先训练的语言模型（BERT和CLIP）直接从自由形式的文本输入和场景图像中编码用户的意图和目标对象，融合由Transformer编码器网络生成的几何特征，并最终使用Transformer解码器输出轨迹，而不需要与任务或机器人信息相关的先验知识。通过将轨迹参数化空间扩展到3D和速度，而不仅仅是XY运动，我们显着扩展了Bucker等人之前的工作。此外，我们现在训练模型使用场景中对象的实际图像作为上下文（而不是文本描述），并且我们在操纵之外的各种场景中评估系统，例如空中和足式机器人。我们的模拟和现实生活中的实验表明，我们的Transformer模型可以成功地遵循人类的意图，在多个环境中修改轨迹的形状和速度。代码库网址：https://github.com/arthurfenderbucker/LaTTe-Language-Trajectory-TransformEr.git
2022-09-16 cs.AI cs.CL cs.CV
GETNext: Trajectory Flow Map Enhanced Transformer for Next POI Recommendation
The University of Auckland（奥克兰大学）
下一个POI建议旨在根据用户的当前状态和历史信息预测用户的近期未来移动，为用户和服务提供商提供巨大的价值。然而，这个问题显然是复杂的，因为需要综合考虑各种数据趋势。这包括空间位置，时间背景，用户的喜好，等等。大多数现有的研究认为，下一个POI推荐作为一个序列预测问题，而忽略了其他用户的合作信号。相反，我们提出了一个用户不可知的全局轨迹流图和一个新的图形增强的Transformer模型（GETNext），以更好地利用广泛的协作信号，更准确的下一个POI预测，并减轻冷启动问题的同时。GETNext将全局迁移模式、用户的一般偏好、时空上下文和时间感知的类别嵌入到一个Transformer模型中，以预测用户的未来移动。通过这种设计，我们的模型优于最先进的方法，具有很大的利润，也揭示了冷启动的挑战，在时空涉及的推荐问题。
2023-03-03 cs.IR cs.LG
HDGT: Heterogeneous Driving Graph Transformer for Multi-Agent Trajectory Prediction via Scene Encoding
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Lab（上海人工智能实验室）
针对自动驾驶场景元素异质、空间关系具相对性的特点，提出将场景建模为异质图、采用分层Transformer聚合的HDGT方法，在两项轨迹预测挑战赛中达到SOTA性能。
2023-07-20 cs.AI cs.CV cs.LG
Multi-Phase Spacecraft Trajectory Optimization via Transformer-Based Reinforcement Learning
Aeronautics & Astronautics, Massachusetts Institute of Technology（航空与宇航科学系，麻省理工学院）；Department of Computer Systems Engineering, Universidad Politécnica de Madrid（计算机系统工程系，马德里理工大学）
针对航天器多阶段自主控制需分阶段设置独立策略的问题，提出基于GTrXL的Transformer强化学习框架，用单一策略实现跨动力学区间的多阶段轨迹优化，在多类基准与火箭上升任务中验证了有效性。
2025-11-14 cs.LG
Multi-Agent Inverted Transformer for Flight Trajectory Prediction
Department of Air Transport, Transportation, and Logistics, Korea Aerospace University（航空运输与物流系，韩国航空航天大学）
本文提出MAIFormer，一种多智能体倒置变换器，用于预测飞行轨迹，通过双注意力模块提升预测精度与可解释性。
2026-07-22 cs.LG
Transformer-Guided Deep Reinforcement Learning for Optimal Takeoff Trajectory Design of an eVTOL Drone
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）；AIAA Student Member（AIAA学生会员）；AIAA member（AIAA会员）
针对eVTOL无人机最优起飞轨迹设计中传统方法受维度限制、普通DRL训练难的问题，提出Transformer引导的DRL方法，大幅提升训练效率与能耗优化准确率。
2025-11-18 cs.LG
Learning Spatio-Temporal Dynamics for Trajectory Recovery via Time-Aware Transformer
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Key Laboratory of Data Science, Fudan University（复旦大学数据科学重点实验室）；Shanghai Institute of Intelligent Electronics & Systems（上海智能电子与系统研究所）；School of Computing and Information Systems, Singapore Management University（新加坡国立大学计算与信息系统学院）
针对GPS轨迹稀疏不规则难以直接应用的问题，提出TedTrajRec方法，通过PD-GNN捕捉交通时空动力学、TedFormer处理轨迹时空动力学，在三个真实数据集上实现了更优的地图约束轨迹恢复效果。
2025-05-20 cs.AI cs.LG
TrajGPT: Controlled Synthetic Trajectory Generation Using a Multitask Transformer-Based Spatiotemporal Model
University of Southern California（南加州大学）；Novateur Research Solutions（诺瓦泰研究解决方案公司）
TrajGPT提出一种基于Transformer的多任务时空生成模型，将受控轨迹生成视为文本填充问题，通过贝叶斯模型整合时空信息，在填补访问序列空缺时实现时空一致，并在下一位置预测中显著提升时间准确性。
2024-11-07 cs.LG
DeepJ: Graph Convolutional Transformers with Differentiable Pooling for Patient Trajectory Modeling
University of Florida（佛罗里达大学）；University of Kansas（堪萨斯大学）
DeepJ提出一种结合可微池化的图卷积Transformer模型，用于建模EHR中跨就诊的医疗事件交互，显著优于五种基线模型并增强可解释性，改善患者风险分层。
2025-06-18 cs.LG
TrackGPT -- A generative pre-trained transformer for cross-domain entity trajectory forecasting
Illumina Consulting Group（Illumina咨询集团）
本研究提出基于GPT的跨域实体轨迹预测模型TrackGPT，仅需位置和时间特征即可在海事、航空等领域实现高精度长短期预测，在准确性、可靠性和模块化上优于现有深度学习方法，验证了GPT架构在轨迹预测领域的潜力。
2024-01-29 cs.AI cs.LG
