OLLIE: Imitation Learning from Offline Pretraining to Online Finetuning
Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室);University of Houston(休斯顿大学);University of California, Davis(加州大学戴维斯分校)
本文提出离线到在线模仿学习方法OLLIE,通过同时学习近专家策略初始化和对齐的判别器初始化,解决现有方法因判别器随机性导致预训练知识遗忘的问题,在20项任务中显著提升性能与效率。
2024-05-30 cs.AI cs.LG
ATOM: A Pretrained Neural Operator for Multitask Molecular Dynamics
The University of Sydney(悉尼大学);Data61 CSIRO(Data61 物理研究所);University of Cambridge(剑桥大学)
本文提出ATOM,一种准等变的预训练Transformer神经算子,通过时间注意力并行解码多未来状态,并在TG80数据集上预训练,实现多任务分子动力学模拟的零样本泛化,性能超越现有基准。
2025-10-07 cs.LG
MMPolymer: A Multimodal Multitask Pretraining Framework for Polymer Property Prediction
University of California, Davis(加利福尼亚大学戴维斯分校);DP Technology(德璞科技)
提出多模态多任务预训练框架MMPolymer,结合1D序列与3D结构信息并引入Star Substitution策略,在聚合物性质预测任务中达到SOTA。
2024-07-26 cond-mat.soft cs.AI cs.LG
Self-Supervised Pretraining on Paired Sequences of fMRI Data for Transfer Learning to Brain Decoding Tasks
Dartmouth College(达特茅斯学院)
本文提出了一个针对fMRI数据的transformer自监督预训练框架,通过同时进行两个任务预训练以学习听觉皮层时空动态,并在有监督分类任务中微调,显著提升了留出运行上的准确率,验证了多任务预训练与迁移学习的有效性。
2023-05-15 cs.LG q-bio.NC
Multitask Battery Management with Flexible Pretraining
IIIS, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院);State Key Laboratory of Intelligent Green Vehicle and Mobility, School of Vehicle and Mobility, Tsinghua University(清华大学智能绿色车辆与交通全国重点实验室、车辆与运载学院);School of Advanced Manufacturing and Robotics, National Engineering Laboratory for Big Data Analysis and Applications, Peking University(北京大学先进制造与机器人学院、大数据分析与应用技术国家工程实验室)
针对工业电池管理多任务数据异构、定制方法成本高的问题,提出灵活掩码自编码器FMAE预训练框架,可从异构数据学习统一表示,在少数据、通道缺失场景下仍优于现有任务特定方法,为高效多任务动态系统管理提供实用方案。
2025-09-01 cs.AI cs.LG
Improved Reinforcement Learning through Imitation Learning Pretraining Towards Image-based Autonomous Driving
Korea Advanced Institute of Science and Technology(韩国科学技术院)
我们为自动驾驶任务提供了一个训练管道,给定当前相机图像和车辆速度作为输入,以产生油门,刹车和转向控制输出。模拟器Airsim方便的天气和照明API在训练过程中提供了足够的多样性,这对提高训练策略的鲁棒性非常有帮助。为了不限制可能的策略的性能,我们使用连续的和确定性的控制策略设置。我们使用ResNet-34作为我们的演员和评论家网络,在完全连接的层中有一些轻微的变化。考虑到人类对这项任务的掌握和这项任务的高复杂性,我们首先使用模仿学习来模仿给定的人类策略,并将训练好的策略及其权重利用到我们使用DDPG的强化学习阶段。与纯模仿学习和纯DDPG相比,这种组合在自动驾驶任务中表现出相当大的性能提升。
2019-07-16 cs.AI cs.CV cs.LG
Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data
University of California, Santa Barbara(加州大学圣巴巴拉分校)
Neuroformer是一种多模态多任务生成式预训练Transformer,用于分析大规模神经元放电数据,能预测神经活动、推断回路连接,并通过少量微调预测行为,展现无监督关联能力。
2024-03-15 cs.LG cs.NE q-bio.NC
PIRLNav: Pretraining with Imitation and RL Finetuning for ObjectNav
Georgia Institute of Technology(佐治亚理工学院);FAIR, Meta AI(Meta人工智能研究院(FAIR))
我们研究ObjectGoal导航-其中一个虚拟机器人位于一个新的环境中被要求导航到一个对象。先前的工作表明,模仿学习(IL)使用行为克隆(BC)的数据集上的人类示范取得了可喜的成果。然而,这也有局限性--1)不列颠哥伦比亚省的政策对新的州的推广效果很差,因为培训模仿的是行动而不是后果,2)收集示范是昂贵的。另一方面,强化学习(RL)是微不足道的可扩展性,但需要仔细的奖励工程,以实现理想的行为。我们提出了PIRLNav,这是一个两阶段的学习计划,用于对人类演示进行BC预训练,然后进行RL微调。这导致策略在ObjectNav上实现$65.0\%$的成功率($+5.0\%$绝对超过先前的最新技术水平)。使用这个BC $\rightarrow$ RL训练配方,我们对设计选择进行了严格的实证分析。首先,我们调查是否可以用“自由”(自动生成)的示威来源,例如最短路径(SP)或任务不可知的前沿探索(FE)轨迹取代人类示威。我们发现,BC $\rightarrow$ RL在人类演示上优于BC $\rightarrow$ RL在SP和FE轨迹上,即使在训练上控制相同的BC预训练成功时,甚至在BC预训练成功有利于SP或FE策略的val片段的子集上。接下来,我们研究RL微调性能如何随BC预训练数据集的大小而变化。我们发现,当我们增加BC预训练数据集的大小并达到高BC准确率时,RL微调的改进较小,并且我们…
2023-03-26 cs.AI cs.LG cs.RO
Efficient Diffusion Transformer Policies with Mixture of Expert Denoisers for Multitask Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);MIT(麻省理工学院)
本文提出去噪专家混合(MoDE)策略,通过稀疏专家和噪声条件路由实现参数高效扩展,在134个任务上超越现有扩散策略,减少40%活跃参数和90%推理成本,平均性能提升57%。
2024-12-17 cs.LG cs.RO
Noise-Guided Transport for Imitation Learning
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
针对低数据场景下的模仿学习,提出噪声引导传输(NGT)方法,通过对抗训练将模仿问题转化为最优传输问题,无需预训练或特殊架构,在极低数据量下实现强性能。
2026-06-11 cs.AI cs.LG
What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?
Hugging Face;Google(谷歌);LightOn;Allen Institute for AI(艾伦人工智能研究所);LPENS, École Normale Supérieure(巴黎高等师范学院物理实验室)
大型预训练的Transformer语言模型已被证明具有zero-shot泛化能力,即它们可以执行各种各样的任务,而这些任务并没有被显式训练过。然而,最先进的模型之间使用的架构和预训练目标存在显着差异,并且这些因素的系统比较有限。在这项工作中,我们提出了一个大规模的评估建模的选择和它们的影响zero-shot推广。特别是,我们专注于文本到文本模型,并使用三种模型架构(因果/非因果解码器和编码器-解码器)进行实验,使用两种不同的预训练目标(自回归和掩码语言建模)进行训练,并在有和没有多任务提示微调的情况下进行评估。我们为超过1700亿个令牌训练了超过50亿个参数的模型,从而增加了我们的结论转移到更大规模的可能性。我们的实验表明,在纯无监督预训练后,在自回归语言建模目标上训练的因果解码器模型表现出最强的zero-shot泛化能力。然而,在我们的实验中,使用掩蔽语言建模目标训练的输入具有非因果可见性的模型在多任务微调之后表现最好。因此,我们考虑跨架构和目标调整预训练模型。我们发现,预训练的非因果解码器模型可以适应性能生成的因果解码器模型,使用自回归语言建模作为下游任务。此外,我们发现预训练的因果解码器模型可以有效地适应非因果解码器模型,最终在多任务微调后实现有竞争力的性能。代码和检查点可在https://github.com/bigscience-workshop/architecture…
2022-04-12 cs.CL cs.LG stat.ML
When Dynamics Shift, Robust Task Inference Wins: Offline Imitation Learning with Behavior Foundation Models Revisited
University of Southern California(南加州大学)
本文提出了一种基于行为基础模型(BFM)的框架,通过将任务推断建模为鲁棒最小最大优化问题,以应对动态变化,从而在不修改预训练的情况下实现对最坏动态扰动的适应。该方法在动态变化下显著优于标准BFM和鲁棒离线模仿学习基线。
2026-05-16 cs.AI cs.LG
SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning
Nanyang Technological University(南洋理工大学);Amazon Web Services(亚马逊云科技)
预训练的大语言模型可以以自然的方式有效地插入人类书写的提示。多任务提示学习可以通过一次完成一组不同的任务来帮助概括,从而提高更有效的下游微调的潜力。为了在同一批中执行有效的多任务推理,已经提出了诸如提示微调的参数高效微调方法。然而,现有的提示微调方法可能缺乏通用性。我们提出了SPT,半参数提示微调方法多任务提示学习。SPT的新颖组件是一个存储体,从该存储体中基于离散提示检索存储器提示。大量的实验,如(i)微调一个完整的语言模型与SPT的31个不同的任务,从8个不同的领域和评估zero-shot泛化9 heldout数据集下的5个NLP任务类别和(ii)预训练SPT的GLUE数据集和评估微调SuperGLUE数据集,证明了SPT的有效性。
2022-12-21 cs.AI cs.CL cs.LG
Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets
Paul G. Allen School of Computer Science and Engineering, University of Washington(保罗·G·艾伦计算机科学与工程学院,华盛顿大学);Toyota Research Institute(丰田研究中心)
提出统一世界模型(UWM),在统一Transformer中耦合视频与动作扩散,利用大规模异构数据预训练,提升机器人策略的泛化性与鲁棒性。
2025-05-23 cs.AI cs.LG cs.RO
All You Need Is Synthetic Task Augmentation
Osmo Labs(Osmo 实验室)
本文提出用 XGBoost 基于 Osmordred 描述符生成合成辅助任务,并与实验目标联合训练单个 Graph Transformer,从而在 19 个分子性质任务上显著提升性能。
2025-05-15 cs.AI cs.LG
Learning Massively Multitask World Models for Continuous Control
University of California San Diego(加州大学圣地亚哥分校)
Newt通过大规模预训练和在线交互,实现智能体在数百个任务上的多任务学习,提升连续控制的效率和适应性。
2025-12-02 cs.CV cs.LG cs.RO
STIR$^2$: Reward Relabelling for combined Reinforcement and Imitation Learning on sparse-reward tasks
MINES ParisTech(巴黎高等矿业学院);PSL University(巴黎文理研究大学)
在寻找更有效的样本学习(RL)算法时,一个有希望的方向是利用尽可能多的外部非策略数据。例如,专家示范。在过去,已经提出了多种想法来充分利用添加到重放缓冲区的演示,例如仅对演示进行预训练或最小化附加成本函数。我们提出了一种新的方法,能够利用任何稀疏奖励环境中的任何离线策略算法在线收集的演示和情节。我们的方法是基于奖励奖金给予示范和成功的情节(通过重新标记),鼓励专家模仿和自我模仿。我们的实验集中在两个不同的模拟环境中的几个机器人操作任务。我们表明,我们的方法的基础上奖励重新标记提高了性能的基础算法(SAC和DDPG)对这些任务。最后,我们最好的算法STIR $^2$(通过奖励重新标记的自我和教师模仿),它集成到我们的方法中,从以前的作品中进行了多次改进,比所有基线都更有效。
2023-02-28 cs.LG cs.RO
Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学)
本文首次证明多任务预训练两层ReLU神经网络能通过伪对比损失恢复低维投影特征,实现与输入维度无关的下游泛化,而单任务训练无法保证学到全部真实特征。
2024-06-07 cs.LG
SMART: Self-supervised Multi-task pretrAining with contRol Transformers
University of Maryland(马里兰大学);Microsoft(微软)
自监督预训练在语言和视觉领域得到了广泛的研究,其中统一的模型可以通过预训练没有显式标签的表示来轻松适应各种下游任务。然而,当涉及到顺序决策任务时,很难正确设计这样一种预训练方法,既可以处理高维感知信息,又可以处理长交互范围内顺序控制的复杂性。如果我们想预训练能够适应各种任务的表示,那么挑战在组合上变得更加复杂。为了解决这个问题,在这项工作中,我们制定了一个通用的预训练,微调管道顺序决策,在此基础上,我们提出了一个通用的预训练框架\textit{Self-supervised Multi-task pretrAining with contRol Transformer (SMART)}。通过系统地研究预训练机制,我们精心设计了一个控制Transformer(CT)加上一个新的控制为中心的预训练目标在一个自我监督的方式。SMART鼓励代表捕获与短期控制和长期控制相关的共同基本信息,这些信息可以在任务之间转移。我们通过在DeepMind Control Suite中的大量实验表明,SMART在不同的学习场景下,包括模仿学习(IL)和强化学习(RL),显着提高了可见和不可见下游任务和领域的学习效率。受益于所提出的以控制为中心的目标,SMART对预训练和微调之间的分布偏移具有弹性,甚至可以很好地处理随机收集的低质量预训练数据集。
2023-01-24 cs.AI cs.LG
Omni-Mol: Multitask Molecular Model for Any-to-any Modalities
National University of Singapore(新加坡国立大学);University of Maryland, College Park(马里兰大学 College Park 分校);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出多模态大模型框架Omni-Mol,通过构建超140万样本的最大分子指令微调数据集并引入动态适应任务内在秩的MoGE混合专家架构,统一支持小分子生成与理解,在16项任务中13项达到SOTA。
2025-10-30 cs.LG
Representation Matters: Offline Pretraining for Sequential Decision Making
Google Research(谷歌研究院)
最近监督学习方法在越来越大的离线数据集上的成功激发了人们对强化学习(RL)领域的兴趣,以研究相同的范式是否可以转化为RL算法。这个研究领域被称为离线RL,主要集中在离线策略优化上,旨在完全从离线数据中找到回报最大化的策略。在本文中,我们考虑了一种稍微不同的方法,将离线数据纳入顺序决策。我们的目标是回答这样一个问题,即应用于离线数据集的无监督目标能够学习状态表示,从而提高下游任务的性能,这些下游任务是否是在线RL,专家演示的模仿学习,甚至是基于同一离线数据集的离线策略优化?通过利用标准离线RL数据集进行的各种实验,我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能,否则这些算法本身的性能就很一般。广泛的消融进一步提供了对这些无监督目标的组成部分的了解-例如,奖励预测、连续或离散表示、预训练或微调--是最重要的,以及在哪些环境中。
2021-02-11 cs.AI cs.LG
Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning
University of Toronto(多伦多大学)
有效的探索仍然是一个重大的挑战,阻碍了强化学习在许多物理系统中的部署。这对于具有连续和高维状态和动作空间的系统尤其如此,例如机器人操纵器。在稀疏奖励设置中,密集奖励设计所需的低级状态信息不可用,这一挑战更加突出。对抗性模仿学习(AIL)可以部分克服这一障碍,它利用专家生成的最佳行为演示,并从本质上替代密集的奖励信息。不幸的是,专家演示的可用性并不一定提高代理的能力,有效地探索,正如我们的经验表明,可能会导致效率低下或停滞的学习。我们提出了从引导式游戏(LfGP),一个框架,在这个框架中,我们利用专家演示,除了一个主要任务,多个辅助任务。随后,一个分层模型是用来学习每个任务的奖励和政策,通过修改后的AIL程序,其中所有任务的探索是通过一个调度器组成不同的任务在一起。这提供了许多好处:对于具有挑战性瓶颈转换的主要任务,学习效率得到提高,专家数据在任务之间变得可重复使用,并且通过重复使用学习的辅助任务模型来进行迁移学习成为可能。我们在一个具有挑战性的多任务机器人操作域的实验结果表明,我们的方法相比有利的监督模仿学习和一个国家的最先进的AIL方法。代码可在https://github.com/utiasSTARS/lfgp上获得。
2022-07-19 cs.AI cs.LG cs.RO
Multitask Prompted Training Enables Zero-Shot Task Generalization
Hugging Face;Brown University(布朗大学);Snorkel AI;BigScience;KFUPM(法赫德国王石油与矿业大学);IRISA(法国信息与随机系统研究所);IMATAG;Hyperscience;SAP(思爱普);NTU(南洋理工大学);UCSD(加州大学圣地亚哥分校);SambaNova Systems;Walmart Labs(沃尔玛实验室);VU Amsterdam(阿姆斯特丹自由大学);University of Virginia(弗吉尼亚大学);ASUS(华硕);ZEALS;NYU(纽约大学);IBM Research(IBM研究院);UC Berkeley(加州大学伯克利分校);Parity;Inria(法国国家信息与自动化研究所);Naver Labs Europe(Naver欧洲实验室);BITS Pilani(博拉理工学院);University of Rome(罗马大学);Stanford(斯坦福大学);Charles River Analytics(查尔斯河分析公司);Booz Allen(博思艾伦);EleutherAI
大语言模型最近已经被证明在不同的任务集合上获得合理的zero-shot泛化(Brown等人,2020年)。已经假设这是语言模型的预训练中的内隐多任务学习的结果(Radford等人,2019年)。zero-shot泛化是否可以直接通过外显多任务学习来诱导?为了大规模地测试这个问题,我们开发了一个系统,可以轻松地将任何自然语言任务映射到人类可读的提示形式。我们转换了大量的监督数据集,每个数据集都有多个不同措辞的提示。这些提示的数据集允许对模型执行完全保留任务的能力进行基准测试。我们微调预训练的编码器-解码器模型(Raffel等人,2020; Lester等人,2021年)在这个多任务混合覆盖各种各样的任务。该模型在几个标准数据集上实现了强大的zero-shot性能,通常优于高达16倍大小的模型。此外,我们的方法在BIG-Bench基准测试的一部分任务上获得了很好的性能,比模型的性能高出6倍。所有经过训练的模型都可以在https://github.com/bigscience-workshop/t-zero上找到,所有提示都可以在https://github.com/bigscience-workshop/promptsource上找到。
2022-03-17 cs.CL cs.LG
DynaMo: In-Domain Dynamics Pretraining for Visuo-Motor Control
New York University(纽约大学)
针对模仿学习处理高维视觉观测时数据效率低的问题,提出域内自监督方法DynaMo,通过联合学习潜在逆动力学与前向动力学模型学习视觉表示,在多环境多策略类别下显著提升下游模仿学习性能。
2024-10-30 cs.AI cs.CV cs.LG
Behavioral Cloning via Search in Video PreTraining Latent Space
University of Eastern Finland(东芬兰大学);University of Bielefeld(比勒费尔德大学);Indian Institute of Technology BHU(印度理工学院(BHU))
本文提出在视频预训练潜在空间中对 BASALT MineRL 专家演示进行邻近搜索的行为克隆方法,使智能体在 Minecraft 中展现类人行为。
2023-04-17 cs.AI cs.CV cs.LG
A New Path: Scaling Vision-and-Language Navigation with Synthetic Instructions and Imitation Learning
Google Research(谷歌研究院);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
本文提出利用合成导航指令和GAN生成新视角图像构建大规模VLN数据集,并通过模仿学习训练Transformer智能体,在RxR上显著超越现有RL方法。
2023-04-17 cs.CL cs.CV cs.LG
Provable Ordering and Continuity in Vision-Language Pretraining for Generalizable Embodied Agents
The University of Queensland(昆士兰大学);Tongji University(同济大学);University of Technology Sydney(悉尼科技大学)
本文提出AcTOL方法,通过对比帧间语义差异和局部布朗桥约束,实现有序且连续的视觉-语言表示,提升具身体验代理在不同指令风格下的鲁棒性。
2025-12-18 cs.AI cs.CV cs.LG
Imitating Language via Scalable Inverse Reinforcement Learning
Google DeepMind(谷歌DeepMind);Cohere(科here)
该研究从逆强化学习视角出发研究语言模仿,将逆软Q学习重构为带时间差分正则化的MLE扩展,验证了其在监督微调中兼顾性能与多样性的优势,为大模型后训练提供更鲁棒的奖励方案。
2024-12-09 cs.AI cs.CL cs.LG
Playful Interactions for Representation Learning
UC Berkeley(加州大学伯克利分校);NYU(纽约大学)
视觉模仿学习的关键挑战之一是为给定的任务收集大量的专家演示。虽然收集人类演示的方法随着遥操作方法和低成本辅助工具的使用变得越来越容易,但我们通常仍然需要为每个任务进行100-1000次演示才能学习视觉表示和策略。为了解决这个问题,我们转向另一种不需要特定任务演示的数据形式--游戏。游戏是儿童在早期学习中学习一系列技能、行为和视觉表征的基本方法。重要的是,游戏数据是多样的,任务不可知的,并且获得相对便宜。在这项工作中,我们建议以自我监督的方式使用有趣的交互来学习下游任务的视觉表示。我们在19个不同的环境中收集了2个小时的有趣数据,并使用自我预测学习来提取视觉表征。给定这些表示,我们使用模仿学习为两个下游任务训练策略:推和堆叠。我们证明,我们的视觉表示概括优于标准的行为克隆,可以实现类似的性能,只有一半的数量所需的演示。我们的表示是从头开始训练的,与ImageNet预训练的表示相比毫不逊色。最后,我们提供了一个实验分析不同的预训练模式对下游任务学习的影响。
2021-07-19 cs.AI cs.CV cs.LG
Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning
Seoul National University(首尔国立大学)
在高度复杂的环境中,许多机器人任务是由许多时间相关的子任务组成的。重要的是通过仔细考虑时间抽象来发现情境意图和适当的行动,以有效地解决问题。为了理解与不断变化的任务动态分离的意图,我们将基于授权的正则化技术扩展到基于生成对抗网络框架的多任务情况。在动态未知的多任务环境下,我们专注于从未标记的专家样本中学习奖励和策略。在本研究中,我们将情境授权定义为互信息的最大值,它代表了以特定状态和子任务为条件的行为如何影响未来。该方法通过推导情境互信息的变分下界来优化情境互信息,并通过在目标函数中加入诱导项来同时学习可转移的多任务奖励函数和策略.通过这样做,多任务奖励函数有助于学习针对环境变化的稳健政策。我们验证了我们的方法在多任务学习和多任务迁移学习上的优势。我们证明了我们提出的方法具有鲁棒性的随机性和不断变化的任务动态。最后,我们证明了我们的方法具有显着更好的性能和数据效率比现有的模仿学习方法在各种基准。
2022-06-19 cs.AI cs.LG cs.RO
The Power of Training: How Different Neural Network Setups Influence the Energy Demand
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Kaiserslautern-Landau (RPTU)(凯泽斯劳滕-兰道大学(RPTU))
本研究评估机器学习训练参数与学习范式对计算能耗的影响,发现相同模型硬件下不当超参数能耗可达最优设置的5倍,并验证了预训练、多任务训练等范式的节能作用。
2024-10-05 cs.AI cs.LG cs.PF