Symmetry-Aware Transformer Training for Automated Planning
提出对比学习目标使Transformer感知对称性,结合架构改进,解决其在自动规划中因问题对称性导致的泛化困难。
2026-06-29 cs.AI cs.LG
[Re] Differentiable Spatial Planning using Transformers
IIT Kharagpur(印度理工学院克勒格布尔分校)
这份报告涵盖了我们对Chaplot等人的论文“使用Transformers的微分空间规划”的复制工作。研究了可微路径规划问题。他们表明,他们提出的使用空间规划Transformers的方法优于以前的数据驱动模型,并利用可微结构来学习映射,而无需同时使用地面实况地图。我们通过复制他们的实验并在新数据上测试他们的方法来验证这些说法。我们还研究了规划精度的稳定性与地图增加障碍的复杂性。调查和验证Mapper模块的学习的努力遇到了失败,这是由于计算资源的缺乏和无法联系到作者。
2022-08-19 cs.AI cs.RO
BYOL-S: Learning Self-supervised Speech Representations by Bootstrapping
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College London(帝国理工学院);Université de Lausanne(洛桑大学);Logitech Europe S.A.(罗技欧洲公司)
自从几十年前频谱分析的开创性工作以来,已经研究了用于提取音频和语音特征的方法。最近的努力是由开发通用音频表示的雄心指导的。例如,深度神经网络如果在大型音频数据集上进行训练,则可以提取最佳嵌入。这项工作扩展了现有的基于自举的自监督学习的方法,提出了各种编码器架构,并探讨了使用不同的预训练数据集的影响。最后,我们提出了一个新的训练框架来提出一个混合音频表示,它结合了手工制作和数据驱动的学习音频功能。所有提出的表示都在HEAR NeurIPS 2021挑战中进行了评估,用于听觉场景分类和时间戳检测任务。我们的研究结果表明,卷积Transformer作为编码器的混合模型在大多数HEAR挑战任务中具有优异的性能。
2022-10-25 cs.AI cs.LG cs.SD
Motion Planning Transformers: A Motion Planning Framework for Mobile Robots
University of California San Diego(加州大学圣地亚哥分校);Purdue University(普渡大学)
快速高效的基于采样的运动规划(SMP)是许多机器人系统(例如自动驾驶汽车)的组成部分。提高这些规划器效率的一种流行技术是在规划域中限制搜索空间。现有的算法定义参数函数来约束搜索空间,但这些不扩展到非完整机器人系统。最近的基于学习的方法使用卷积和全连接网络的组合来编码规划空间。然而,这些方法仅限于固定的地图大小,这在现实世界中往往是不现实的。在本文中,我们介绍了一种基于变换的方法,运动规划Transformer,限制搜索空间通过学习辨别区域的有效路径从先验数据。该模型不仅学习限制简单的2D系统的搜索空间,但也为非完整的机器人系统。我们验证我们的方法在各种随机生成的环境中,不同的地图大小和计划轨迹的物理非完整机器人。我们还为Nav2规划栈提供了我们方法的ROS2插件。结果表明,我们的方法减少了搜索空间节点的2 - 12倍相比,传统的规划器,并具有更好的泛化能力比最近的学习为基础的规划器。
2022-11-13 cs.AI cs.RO
InteractionNet: Joint Planning and Prediction for Autonomous Driving with Transformers
Xi’an Jiaotong University(西安交通大学);Institute of Artificial Intelligence and Robotics(人工智能与机器人研究所)
针对自动驾驶中规划与预测独立处理忽略交互的问题,提出InteractionNet,利用双transformer架构联合规划与预测并聚焦关键车辆,在多个基准上显著提升安全性。
2023-09-07 cs.AI cs.RO
From Next Token Prediction to (STRIPS) World Models
RWTH Aachen University, Germany(亚琛工业大学,德国);Universitat Pompeu Fabra, Spain(庞培法华大学,西班牙)
研究下一个词预测能否产生支持规划的世界模型,提出STRIPS Transformer和标准Transformer两种架构,在五个经典规划领域评估训练准确率、泛化能力和规划性能。
2026-05-25 cs.AI
Fast and scalable retrosynthetic planning with a transformer neural network and speculative beam search
SUPSI, IDSIA(SUPSI、IDSIA);Pfizer Research and Development(辉瑞研发);Institute for Digital Technologies for Personalized Healthcare(个性化医疗数字技术研究所);KAUST(王国立科技大学);Center for Generative AI(生成人工智能中心)
针对AI驱动的逆合成规划系统延迟高的问题,提出结合Medusa草稿策略的推测性束搜索,加速SMILES到SMILES Transformer,在相同时间限制下解决多26%至86%的分子,满足高通量筛选需求。
2025-08-02 cs.AI cs.LG
Logically Constrained Robotics Transformers for Enhanced Perception-Action Planning
Carnegie Mellon University(卡内基梅隆大学);Scaled Foundations
本文提出将信号时序逻辑规范融入自回归 Transformer 轨迹规划的新方法,并构建预训练数据集,使规范满足率较基线提升 74.3%。
2024-08-09 cs.AI cs.RO
Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
Durham University(杜伦大学)
针对Decision Transformer等离线强化学习监督方法在长时序任务中累积误差高的问题,提出带有规划令牌的Planning Transformer,通过双时间尺度令牌预测实现隐式规划指导低层策略,在D4RL环境中达SOTA并提升策略可解释性。
2024-09-14 cs.AI cs.CL cs.LG
Enterprise Resource Planning Using Multi-type Transformers in Ferro-Titanium Industry
Department of Mathematics and Industrial Engineering(数学与工业工程系);Polytechnique Montreal(蒙特利尔理工学院);Department of Mechanical, Industrial and Aerospace Engineering(机械、工业和航空航天工程系);Concordia University(Concordia大学)
本文提出利用多类型变压器解决钢铁行业中的企业资源计划问题,展示其在作业车间调度和背包问题上的高效性能。
2026-01-28 cs.AI cs.LG
Learning Cognitive Maps from Transformer Representations for Efficient Planning in Partially Observed Environments
Google DeepMind(谷歌DeepMind)
本文提出带离散瓶颈的Transformer模型TDB,通过从部分观测环境的历史中学习压缩表示并提取认知地图,结合外部求解器实现比普通Transformer或LSTM更快的最短路径规划和更高的上下文准确率。
2024-01-11 cs.AI cs.LG
RRT*former: Environment-Aware Sampling-Based Motion Planning using Transformer
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(自动化与智能感知学院,上海交通大学)
RRT*former 是一种结合变换器网络的新型运动规划算法,通过利用环境信息和先前样本提升路径规划的最优性和效率。
2025-11-19 cs.AI cs.RO
Transformer-Based Token Fusion and Dynamic Graph Planning for Audio-Visual Navigation
Xinjiang University(新疆大学)
针对视听导航中视觉信息缺失导致规划低效的问题,提出TDGP模型,融合Transformer多模态令牌融合与动态图规划,通过碰撞惩罚强制重规划,在Replica和MP3D数据集上超越基线并提升泛化能力。
2026-09-16 cs.AI eess.SP
Transformer-based Planning for Symbolic Regression
Virginia Tech(弗吉尼亚理工大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出TPSR,将蒙特卡洛树搜索引入Transformer解码过程,以融合拟合精度和复杂度等不可微分反馈,从而在符号回归任务中超越现有方法,提升拟合-复杂度权衡、外推能力和抗噪性。
2023-10-27 cs.AI cs.LG
Planning Assembly Sequence with Graph Transformer
Tsinghua University(清华大学);Qianzhi Technology(千知科技)
装配序列规划是现代制造业的关键过程,是一个NP完全问题,如何有效地解决装配序列规划问题一直是该领域研究人员面临的一个挑战。在本文中,我们提出了一个基于图转换器的框架,为ASP问题,这是训练和展示一个自收集的ASP数据库。ASP数据库包含一组自己收集的乐高模型。通过对乐高模型的结构分析和特征提取,将乐高模型抽象为一个异构的图结构。地面实况组装序列首先通过蛮力搜索生成,然后手动调整以符合人类的理性习惯。基于这个自收集的ASP数据集,我们提出了一个异构的图形转换框架来学习潜在的规则,装配规划。我们在一系列实验中评估了所提出的框架。结果表明,预测和地面真相序列的相似性可以达到0.44,由肯德尔的$τ$测量的中等相关性。同时,比较了节点特征和边特征对装配的影响,生成了合理可行的装配序列,为后续的研究提供了参考。我们的数据集和代码可以在https://github.com/AIR-DISCOVER/ICRA\_ASP上找到。
2022-10-15 cs.AI cs.LG
Intelligent logistics management robot path planning algorithm integrating transformer and GCN network
Washington University in St. Louis(圣路易斯华盛顿大学);Duke University(杜克大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Michigan(密歇根大学);Northeastern University(东北大学)
本文提出一种融合Transformer、GNN和GAN的智能物流机器人路径规划算法,在真实数据集上实现行驶距离减少15%、时间效率提升20%、能耗降低10%。
2025-03-12 cs.AI cs.RO
Cooperative and Asynchronous Transformer-based Mission Planning for Heterogeneous Teams of Mobile Robots
McMaster University(麦克马斯特大学)
针对异构移动机器人团队在通信受限、资源有限下的协作规划难题,提出基于MARL与AMAT架构的CATMiP框架及CMacDec-POMDP模型,采用异步集中训练分布式执行方案,实验验证其在效率、可扩展性与抗干扰性上更具优势。
2025-07-31 cs.AI cs.RO
Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping
本文提出跨模态框架,受BLIP-2启发用Q-Former从预训练音频LM提取风格表示,经两阶段训练实现可控风格钢琴编曲,在多项任务中提升了风格对齐与音乐质量。
2026-08-05 cs.AI cs.MM cs.SD
Transformer-Enhanced Motion Planner: Attention-Guided Sampling for State-Specific Decision Making
Harbin Institute of Technology(哈尔滨工业大学)
本文提出TEMP深度学习运动规划框架,通过EISE语义编码与MPT注意力引导采样提升路径质量、搜索效率及跨任务泛化能力。
2024-04-30 cs.AI cs.RO
SearchGym: Bootstrapping Real-World Search Agents via Cost-Effective and High-Fidelity Environment Simulation
The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学)
SearchGym通过高效高保真的模拟环境提升搜索代理的鲁棒性和性能,实验表明其在多个基准测试中优于现有方法。
2026-01-21 cs.AI cs.CL
Learning Sampling Dictionaries for Efficient and Generalizable Robot Motion Planning with Transformers
University of California San Diego(加州大学圣地亚哥分校);Purdue University(普渡大学)
本文提出两阶段 VQ-MPT,用离散采样字典和自回归采样区域选择增强 SMP,实现跨 2D 到 14D 机器人及未见环境的高效、可泛化运动规划。
2023-09-26 cs.AI cs.RO
Accelerating Multi-Agent Planning Using Graph Transformers with Bounded Suboptimality
University of California San Diego(加州大学圣地亚哥分校);University of Cambridge(剑桥大学)
基于路径搜索是多智能体路径搜索中最常用的方法之一。虽然它是完整的和最佳的,但它不能很好地扩展。最近的工作已经提出,以加快它通过引入各种化学。然而,这些技巧是否可以适用于非基于网格的问题设置,同时保持其有效性仍然是一个悬而未决的问题。在这项工作中,我们发现答案往往是否定的。为此,我们提出了一个基于学习的组件,即,图Transformer,作为一个启发式功能,以加快规划。所提出的方法是可证明的完整和有界次优与任何所需的因素。我们进行了广泛的实验,在两个环境中密集的图形。结果表明,所提出的图Transformer可以在问题实例中训练相对较少的代理,并推广到大量的代理,同时实现更好的性能比国家的最先进的方法。
2023-01-20 cs.AI cs.LG cs.MA
Differentiable Spatial Planning using Transformers
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院);UC Berkeley(加州大学伯克利分校)
我们考虑空间路径规划问题。与从头开始优化新计划并假设访问具有地面真实障碍物位置的完整地图的经典解决方案相比,我们以可微的方式从数据中学习规划器,从而使我们能够利用来自过去数据的统计数据。我们提出了空间规划Transformers(SPT),它给出了一个障碍地图,通过规划长距离的空间依赖性来学习生成动作,这与以前的数据驱动的规划器不同,后者通过卷积结构以迭代的方式在本地传播信息。在代理不知道地面实况地图的情况下,我们在端到端框架中利用预先训练的SPT,该框架具有内置的映射器和规划器结构,可以无缝泛化到分布外的地图和目标。SPT在所有操作和导航任务的设置中都优于现有的最先进的可微分规划器,从而使其绝对性能提高了7- 19%。
2021-12-02 cs.AI cs.CV cs.LG
Plansformer: Generating Symbolic Plans using Transformers
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);IBM Research(IBM研究院);University of Parma(帕尔马大学);University of Brescia(布雷西亚大学)
大语言模型(LLM)一直是活跃的研究主题,显著推进了自然语言处理(NLP)领域。从BERT到BLOOM,LLM在各种自然语言任务(如问答、摘要和文本生成)中取得了超越最先进水平的成果。许多正在进行的努力集中在理解LLM的能力,包括他们的世界知识,语法和语义。然而,将LLM的文本能力扩展到符号推理的速度很慢,主要集中在解决与数学领域相关的问题上。在本文中,我们将探讨使用LLM进行自动规划-人工智能的一个分支,涉及实现行动序列(计划)以实现目标,通常由智能代理,自主机器人和无人驾驶车辆执行。我们介绍Plansformer; LLM对规划问题进行微调,并能够在正确性和长度方面产生具有良好行为的计划,并减少知识工程工作。我们还展示了适应性的规划器在解决不同的规划域具有不同的复杂性,由于迁移学习能力的LLM。对于一个配置的Plansformer,我们实现了~97%的有效计划,其中~95%是最佳的汉诺塔-一个解谜域。
2022-12-16 cs.AI
Topological Planning with Transformers for Vision-and-Language Navigation
Stanford University(斯坦福大学);Yale University(耶鲁大学)
传统的视觉和语言导航(VLN)方法是端到端训练的,但很难在可自由穿越的环境中表现良好。受机器人社区的启发,我们提出了一个模块化的方法,VLN使用拓扑地图。给定自然语言指令和拓扑地图,我们的方法利用注意力机制来预测地图中的导航计划。然后,使用鲁棒控制器以低级动作(例如,向前、旋转)执行该计划。实验表明,我们的方法优于以前的端到端的方法,生成可解释的导航计划,并表现出智能行为,如回溯。
2020-12-09 cs.AI cs.CL cs.CV
Transformer Based Planning in the Observation Space with Applications to Trick Taking Card Games
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
针对不完全信息博弈中传统搜索算法的局限性,提出GO-MCTS方法,利用仅依赖观察的Transformer模型在观察空间内执行MCTS,并通过基于种群的自我博弈迭代训练,在Hearts等吃墩牌游戏中取得可喜成果。
2024-04-19 cs.AI cs.LG
Planning with Large Language Models for Code Generation
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);The University of Hong Kong(香港大学);MIT(麻省理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校)
现有的基于大型语言模型的代码生成流水线通常在解码过程期间使用束搜索或采样算法。虽然它们生成的程序获得了很高的基于标记匹配的分数,但它们通常无法编译或生成不正确的输出。主要原因是传统的Transformer解码算法可能不是代码生成的最佳选择。在这项工作中,我们提出了一种新的Transformer解码算法,规划引导的Transformer解码(PG-TD),使用规划算法做前瞻搜索,并指导Transformer生成更好的程序。具体地说,Transformer不是简单地优化生成序列的可能性,而是利用规划器来生成候选程序并在公共测试用例上测试它们。因此,Transformer可以做出更明智的决策,并生成最终导致更高质量程序的令牌。我们还设计了一个机制,共享信息之间的Transformer和规划,使我们的算法计算效率。我们以几个大语言模型作为公共编码挑战基准测试的主干,对我们的框架进行了经验评估,结果表明:1)与竞争基线方法相比,它可以生成持续实现更高性能的程序; 2)它可以通过优化修改目标来实现可控的代码生成,例如简洁代码和高度注释的代码。
2023-03-09 cs.AI cs.CL cs.LG
BLAZER: Bootstrapping LLM-based Manipulation Agents with Zero-Shot Data Generation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
BLAZER利用LLM零样本规划能力自动生成仿真演示数据,微调LLM以提升操作策略,无需人工监督,在仿真和真实环境中显著提升零样本操作性能。
2025-10-09 cs.AI cs.LG cs.RO
Amortized Planning with Large-Scale Transformers: A Case Study on Chess
Google DeepMind(谷歌DeepMind);Google(谷歌公司)
本文通过发布包含1000万局棋的ChessBench数据集并训练大规模Transformer,展示了监督学习可蒸馏出接近Stockfish的规划能力,在无显式搜索下达到特级大师水平,同时表明完美蒸馏仍具挑战性。
2024-10-21 cs.AI cs.LG stat.ML
FluenceFormer: Transformer-Driven Multi-Beam Fluence Map Regression for Radiotherapy Planning
Wayne State University(韦恩州立大学);Henry Ford Health(亨利福特医疗)
FluenceFormer 是一种基于 Transformer 的多束荧光图回归方法,通过两阶段设计和物理约束损失提升放疗计划的结构保真度和能量精度。
2026-03-05 cs.AI cs.CV
PlanT: Explainable Planning Transformers via Object-Level Representations
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
在复杂环境中规划最佳路线需要对周围场景进行有效推理。虽然人类驾驶员优先考虑重要对象并忽略与决策无关的细节,但基于学习的规划者通常从包含所有车辆和道路上下文信息的密集高维网格表示中提取特征。在本文中,我们提出了PlanT,这是一种在自动驾驶背景下使用标准Transformer架构进行规划的新方法。PlanT基于具有紧凑对象级输入表示的模仿学习。在CARLA的Longest6基准测试中,PlanT优于所有先前的方法(匹配专家的驾驶分数),同时在推理过程中比同等的基于像素的规划基线快5.3倍。将PlanT与现成的感知模块相结合,提供了一个基于传感器的驾驶系统,该系统在驾驶评分方面比现有的最新技术水平高出10分以上。此外,我们提出了一个评估协议,以量化规划者识别相关对象的能力,为他们的决策提供见解。我们的研究结果表明,植物可以集中在场景中最相关的对象,即使这个对象是几何距离。
2022-10-25 cs.AI cs.CV cs.LG
Efficient Virtuoso: A Latent Diffusion Transformer Model for Goal-Conditioned Trajectory Planning
Independent Researcher(独立研究者)
本文提出高效演奏家模型,利用两阶段归一化与潜扩散Transformer实现目标条件轨迹规划,在Waymo数据集上达到最先进性能,并揭示多步稀疏路线对高保真战术执行的关键作用。
2025-09-06 cs.AI cs.LG cs.RO
NaviFormer: A Deep Reinforcement Learning Transformer-like Model to Holistically Solve the Navigation Problem
Grupo de Tratamiento de Imágenes, Information Processing and Telecommunications Center, ETSI Telecomunicación, Universidad Politécnica de Madrid(图像处理与电信中心,信息处理与电信中心,电信工程学院,马德里理工大学);Idiap Research Institute(Idiap研究机构)
NaviFormer通过预测高层路线和底层轨迹,整体解决导航问题,实验表明其在准确性和计算速度上表现优异,适用于实时任务。
2026-04-18 cs.AI cs.RO
Beyond Policy Optimization: A Data Curation Flywheel for Sparse-Reward Long-Horizon Planning
Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);School of Computing, National University of Singapore(新加坡国立大学计算机科学学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本文提出BPO框架,通过自改进的数据飞轮开发鲁棒推理模型,解决多轮代理规划中稀疏奖励长周期问题,实现高效推理和显著的token效率。
2026-05-16 cs.AI cs.RO
ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models
Microsoft Research Asia(微软亚洲研究院);Harvard University(哈佛大学);Peking University(北京大学);University of Southern California(南加州大学)
本文通过理论分析和实验揭示,基于Transformer的LLMs通过下一词预测可学习邻接与有限可达性矩阵以执行路径查找,但受限于无法通过传递性识别可达关系,为自回归学习的规划能力提供了新见解。
2024-11-11 cs.AI cs.CL cs.LG
On the Ability of Transformers to Verify Plans
Saarland University(萨尔兰大学);Australian National University(澳大利亚国立大学);University of Toulouse / LAAS-CNRS(图卢兹大学 / LAAS-CNRS)
研究分析了解码器-only模型验证计划的能力,提出C*-RASP框架以保证序列长度和词汇量增长时的泛化能力,发现某些经典规划领域中Transformer能有效学习验证长计划。
2026-07-07 cs.AI cs.CL cs.LG
Exploiting Transformer in Sparse Reward Reinforcement Learning for Interpretable Temporal Logic Motion Planning
University of Science and Technology of China(中国科学技术大学)
本文提出双 Transformer 引导的 T2TL 框架,结合 LTL progression 与环境无关预训练,将复杂时序逻辑任务分解为可学习子目标,提升稀疏奖励强化学习运动规划性能。
2023-07-17 cs.AI cs.LO cs.RO
Understanding and Enhancing the Planning Capability of Language Models via Multi-Token Prediction
College of Computer Science and Software Engineering, Shenzhen University(计算机科学与软件工程学院,深圳大学);Microsoft Research Asia(微软亚洲研究院)
本文从理论上分析 MTP 如何借助传输层学习多步邻接与传递可达关系,并提出 NTI 和 Transformer 传输层以提升语言模型的路径规划能力。
2025-09-27 cs.AI cs.LG
Rearrangement Planning for General Part Assembly
Columbia University(哥伦比亚大学);Google Deepmind(谷歌DeepMind)
本文提出通用零件装配任务,并设计基于Transformer的GPAT模型,通过推断零件与目标形状的对应关系来预测精确位姿,实验证明其泛化能力。
2023-09-03 cs.AI cs.RO
Advances in Transformers for Robotic Applications: A Review
University of California, Los Angeles(加州大学洛杉矶分校);Northeastern University(东北大学)
本文综述Transformer架构在机器人领域的应用,涵盖感知、规划、控制及与深度强化学习的集成,并讨论其提升人机交互、长时域决策和泛化的潜力,最后指出局限与未来方向。
2024-12-13 cs.AI cs.RO
Evolution Transformer: In-Context Evolutionary Optimization
TU Berlin(柏林工业大学);Google DeepMind(谷歌DeepMind)
针对进化优化算法难以利用过程信息的问题,提出具备合适归纳偏置的Evolution Transformer架构,通过进化算法蒸馏训练,实现优异的上下文内优化与神经进化任务泛化能力,还提出自引用训练方法并开源实现。
2024-03-05 cs.AI cs.NE
UAV Trajectory Planning for AoI-Minimal Data Collection in UAV-Aided IoT Networks by Transformer
University of Saskatchewan(萨斯喀彻温大学);Cisco Systems Inc.(思科系统公司);Beijing Institute of Technology(北京理工大学)
本文研究了无人机辅助IoT网络中最小化信息年龄的轨迹规划问题,联合优化悬停点选择与访问顺序,提出基于Transformer和加权A*的机器学习算法,实验表明该模型泛化能力强且能找到更优的最小总AoI轨迹。
2023-11-08 cs.AI cs.NI
Bootstrapped Transformer for Offline Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
离线强化学习(RL)旨在从先前收集的静态轨迹数据中学习策略,而无需与真实环境进行交互。最近的工作提供了一个新的视角,通过查看离线RL作为一个通用的序列生成问题,采用序列模型,如Transformer架构,以模拟分布轨迹,并重新利用束搜索作为规划算法。然而,在一般离线RL任务中使用的训练数据集是相当有限的,并且经常遭受不足的分布覆盖,这可能对训练序列生成模型有害,但在以前的工作中尚未引起足够的关注。在本文中,我们提出了一种新的算法名为Bootstrapped Transformer,它结合了自举的思想,并利用学习的模型来自我生成更多的离线数据,以进一步提高序列模型的训练。我们在两个离线RL基准上进行了大量的实验,并证明我们的模型可以在很大程度上弥补现有的离线RL训练限制,并击败其他强大的基线方法。我们还分析了生成的伪数据,揭示的特征可能会对离线RL训练有所启发。这些代码可在https://seqml.github.io/bootorl上获得。
2022-10-18 cs.AI cs.LG cs.RO
IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Peking University(北京大学)
IPD通过引入离线规划蒸馏技术,提升离线强化学习中序列策略的决策稳定性和性能。
2026-03-04 cs.AI cs.LG
Structure-Aware Piano Accompaniment via Style Planning and Dataset-Aligned Pattern Retrieval
Lewis University(利维斯大学);Nexus Art Foundation(nexus艺术基金会);Governors State University(governors州大学)
本文提出一种结构感知的钢琴伴奏生成方法,通过风格规划和数据集对齐的模式检索实现多样化的伴奏生成。
2026-02-16 cs.AI cs.SD
Zero-Shot Signal Temporal Logic Planning with Disjunctive Branch Selection in Dynamic Semantic Maps
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院);Key Laboratory of System Control and Information Processing, the Ministry of Education of China(中国教育部系统控制与信息处理重点实验室)
本文提出一种零样本STL规划求解器,通过映射条件Transformer与轻量启发式结合,有效处理复杂离散子公式,利用传递强化学习确保时间一致性和逻辑连贯性,实验证明其在动态语义地图中具有优越的零样本泛化能力。
2026-05-02 cs.AI
Learning Elementary Cellular Automata with Transformers
London Institute for Mathematical Sciences(伦敦数学科学学院);Royal Institution(英国皇家研究院)
本文训练 Transformers 从随机初始状态序列中学习初等元胞自动机规则,发现其可抽象固定元数 Boolean 规则,但长程多步规划受限;未来状态或规则预测损失及增加深度可显著改善性能。
2024-12-02 cs.AI cs.FL cs.NE
Decision Transformer-Based Drone Trajectory Planning with Dynamic Safety-Efficiency Trade-Offs
针对无人机轨迹规划中安全与效率权衡需专业调参、现有方法未明确处理该问题的局限,提出基于Decision Transformer的规划器,用单一RTG参数动态调节权衡,无需专业知识,在仿真与真实实验中均优于基线方法。
2025-07-30 cs.AI cs.RO
Distilling Reinforcement Learning Algorithms for In-Context Model-Based Planning
Seoul National University(首尔大学);LG AI Research(LG AI研究院)
提出DICP框架,让Transformer在上下文中同时学习环境动力学并改进策略,通过模型基规划克服模仿算法的次优行为,在多个环境上以更少交互达到最先进性能。
2025-02-26 cs.AI cs.LG
Entropy-Reinforced Planning with Large Language Models for Drug Discovery
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
提出ERP算法,通过熵增强规划平衡探索与利用,提升Transformer解码在药物分子生成中的有效性,在多个基准上超越现有方法。
2025-03-29 cs.AI cs.LG q-bio.QM
Representation-Regularized Convolutional Audio Transformer for Audio Understanding
Auditory Cognition and Computational Acoustics Lab, Shanghai Jiao Tong University(上海交通大学听力认知与计算声学实验室)
本文提出卷积音频变换器(CAT),通过多分辨率块和表示正则化目标,提升音频理解任务的性能与训练效率。
2026-01-29 cs.AI cs.SD eess.AS
Approaching sales forecasting using recurrent neural networks and transformers
University of Valencia(瓦伦西亚大学)
准确、快速的需求预测是供应链中的热门话题之一,可以精确执行相应的下游流程(入站和出站计划、库存放置、网络规划等)。我们开发了三种替代方案,以解决使用深度学习技术和Corporación Favorita数据集(作为Kaggle竞赛的一部分发布)预测日/商店/商品级别的客户销售额的问题。我们的实证结果表明,如何良好的性能可以通过使用一个简单的序列到序列的架构,以最小的数据预处理工作。此外,我们还描述了一个训练技巧,使模型更加独立于时间,从而随着时间的推移提高泛化能力。所提出的解决方案实现了约0.54的RMSLE,这与Kaggle竞赛中提出的问题的其他更具体的解决方案具有竞争力。
2022-04-16 cs.AI cs.LG stat.AP
What Is the Minimum Architecture for Prolepsis? Early Irrevocable Commitment Across Tasks in Small Transformers
Cosmic AI
本文探讨了变压器在何时做出决策以及为何无法纠正决策,提出前瞻性架构概念,通过实验验证了任务特定注意力头对决策的持续影响及架构设计对任务性能的影响。
2026-07-20 cs.AI cs.CL cs.LG
Idea-Gated Transformers: Enforcing Semantic Coherence via Differentiable Vocabulary Pruning
Darshan Fofadiya(独立研究者)
Idea-Gated Transformers通过可微分词汇修剪机制,实现语义一致性,提升语言模型的领域保留能力与生成可控性。
2025-12-11 cs.AI cs.CL