Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室 IDSIA/USI/SUPSI）；NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而，这些方法通常需要在数据汇集期间记录动作信息，这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中，我们研究了使用无动作离线数据集来改进在线强化学习的潜力，将这个问题命名为无动作离线预训练的强化学习（AFP-RL）。我们介绍了无动作指南（AF-Guide），一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer（AFDT）组成，实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态，以及一个引导的软演员-评论家（引导SAC），它在AFDT的指导下在线学习。实验结果表明，AF-Guide能够有效地提高样本效率和在线训练的性能，这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University（清华大学）
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题，提出无评判者预训练范式，兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
Boosting deep Reinforcement Learning using pretraining with Logical Options
通过逻辑选项预训练提升深度强化学习，实现目标导向行为与长周期决策能力的提升。
2026-03-06 cs.AI cs.LG
Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization
Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia（计算统计与机器学习 - 意大利技术研究院）；AI Centre, Computer Science Department, University College London（人工智能中心，计算机科学系，伦敦大学学院）
提出一种无奖励预训练方法ROVER，通过最大化状态占据测度的覆盖来学习可迁移探索策略，在稀疏奖励下游任务中快速适应。
2026-06-23 cs.LG
RLP: Reinforcement as a Pretraining Objective
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）；Boston University（波士顿大学）；Stanford University（斯坦福大学）
RLP通过将强化学习的探索精神引入预训练阶段，提升模型在数学和科学任务中的推理能力。
2026-03-01 cs.AI cs.CL cs.LG
Supervised Pretraining Can Learn In-Context Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Google DeepMind（谷歌DeepMind）
本文提出Decision-Pretrained Transformer (DPT)，通过监督预训练让模型根据查询状态和交互数据预测最优动作，使其具备上下文强化学习能力，实现贝叶斯后验采样并保证更快的收敛速度。
2023-06-26 cs.AI cs.LG
APS: Active Pretraining with Successor Features
University of California, Berkeley（加州大学伯克利分校）
我们为强化学习引入了一个新的无监督预训练目标。在无监督的无奖励预训练阶段，代理最大化由策略引起的任务和状态之间的互信息。我们的主要贡献是这个棘手的数量的一个新的下界。我们表明，通过重新解释和结合变后继功能~ \citep{Hansen2020Fast}与非参数熵最大化~ \citep{liu2021behavior}，棘手的互信息可以有效地优化。提出的方法主动预训练与后继特征（APS）探索环境通过非参数熵最大化，和探索的数据可以有效地利用变化的后继特征学习行为。APS解决了现有的基于互信息最大化和基于熵最大化的无监督RL的局限性，并结合了两个世界的最佳。当在Atari 100 k数据效率基准上进行评估时，我们的方法显着优于之前将无监督预训练与特定任务微调相结合的方法。
2021-08-31 cs.LG
Model-Based Reinforcement Learning with Multi-Task Offline Pretraining
Shanghai Jiao Tong University（上海交通大学）
提出一种基于模型的强化学习方法，通过世界模型衡量任务相关性并利用相似性权重自适应迁移物理动力学知识和源动作演示，显著提升新任务的在线训练效率。
2024-06-05 cs.AI cs.LG cs.RO
Guiding Pretraining in Reinforcement Learning with Large Language Models
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Inria（法国国家信息与自动化研究所）
本文提出 ELLM 方法，利用大型语言模型的背景知识为强化学习智能体提供目标奖励，从而在无需人类参与的情况下改善预训练阶段的探索效率，并在下游任务中保持或提升性能。
2023-09-15 cs.AI cs.CL cs.LG
Pretraining in Actor-Critic Reinforcement Learning for Locomotion
Robotic Systems Lab, ETH Zürich（苏黎世联邦理工学院机器人系统实验室）；Section of Microengineering, EPFL（日内瓦联邦理工学院微工程系）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
本研究提出了一种在机器人运动强化学习中预训练Actor-Critic算法的方法，通过预训练模型提升样本效率和任务性能。
2026-07-16 cs.LG cs.RO
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Pretrain Soft Q-Learning with Imperfect Demonstrations
Tsinghua University（清华大学）；University of Science & Technology Beijing（北京科技大学）
由于现有的强化学习算法需要大量的计算能力用于在线仿真，因此带演示的预训练强化学习方法是强化学习研究中的一个重要概念。预训练强化学习在利用专家演示的同时保持探索潜力，特别是对于基于值的方法，仍然是一个重大挑战。在本文中，我们提出了一种软Q学习的预训练方法。我们的工作受到演员评论家算法的预训练方法的启发，因为软Q学习是一种基于值的算法，相当于策略梯度。该方法基于$γ$ -熵正则化折扣有偏策略评估，这也是软Q学习的更新目标。我们的方法是评估从Atari 2600的各种任务。实验表明，我们的方法可以有效地从不完美的演示中学习，并且优于其他从专家演示中学习的最先进的方法。
2019-05-09 cs.AI cs.LG stat.ML
Experience-Efficient Model-Free Deep Reinforcement Learning Using Pre-Training
Department of Computer Science（计算机科学系）；Georgetown University（乔治城大学）
PPOPT通过预训练神经网络提高小样本训练效率，优于经典PPO并在训练稳定性上表现优异，尽管在模型方法上稍逊，但训练时间更短。
2025-11-22 cs.LG stat.ML
Pretraining a Shared Q-Network for Data-Efficient Offline Reinforcement Learning
Hyundai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
针对离线强化学习数据收集成本高的问题，提出共享Q网络的即插即用预训练方法，通过下一状态预测初始化特征，显著提升多种算法在低数据场景下的性能。
2025-10-21 cs.AI cs.LG
Task Adaptation of Reinforcement Learning-based NAS Agents through Transfer Learning
University of Antwerp（安特卫普大学）；imec；IDLab - Faculty of Applied Engineering（IDLab - 应用工程学院）
本文评估基于强化学习的NAS智能体在Trans-NASBench-101基准上的任务迁移能力，发现预训练能提升除1个任务外的最终性能并显著缩短训练时间，有效降低初始计算成本。
2024-12-19 cs.LG
On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
智能代理应该能够利用以前学习的任务中的知识，以便快速有效地学习新任务。元学习方法已经成为实现这一目标的流行解决方案。然而，Meta强化学习（meta-RL）算法迄今仅限于任务分布较窄的简单环境。此外，在监督学习和自监督学习中，预训练之后进行微调以适应新任务的范例已经成为一种简单而有效的解决方案。这就质疑了元学习方法在强化学习中的好处，因为这通常是以高复杂性为代价的。因此，我们在各种基于视觉的基准测试中研究了元RL方法，包括Procgen，RLBench和Atari，其中对完全新颖的任务进行了评估。我们的研究结果表明，当元学习方法在不同的任务上进行评估时（而不是同一任务的不同变体），多任务预训练与微调新任务的表现一样好，甚至更好，比元预训练与Meta测试时自适应。这对未来的研究是令人鼓舞的，因为多任务预训练往往比元RL更简单，计算成本更低。根据这些发现，我们主张在更具挑战性的任务上评估未来的元强化学习方法，并将多任务预训练与微调作为一个简单但强大的基线。
2023-02-16 cs.AI cs.CV cs.LG
Improved Reinforcement Learning through Imitation Learning Pretraining Towards Image-based Autonomous Driving
Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们为自动驾驶任务提供了一个训练管道，给定当前相机图像和车辆速度作为输入，以产生油门，刹车和转向控制输出。模拟器Airsim方便的天气和照明API在训练过程中提供了足够的多样性，这对提高训练策略的鲁棒性非常有帮助。为了不限制可能的策略的性能，我们使用连续的和确定性的控制策略设置。我们使用ResNet-34作为我们的演员和评论家网络，在完全连接的层中有一些轻微的变化。考虑到人类对这项任务的掌握和这项任务的高复杂性，我们首先使用模仿学习来模仿给定的人类策略，并将训练好的策略及其权重利用到我们使用DDPG的强化学习阶段。与纯模仿学习和纯DDPG相比，这种组合在自动驾驶任务中表现出相当大的性能提升。
2019-07-16 cs.AI cs.CV cs.LG
Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning
Interactive Robot Perception & Learning (PEARL) Lab, TU Darmstadt, Germany（图腾机器人感知与学习实验室，图腾施塔德大学，德国）；Hessian.AI（海斯堡人工智能）；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））
提出MSDP框架，通过掩码自编码和跨模态预测学习多感官表示，并采用非对称架构（评论家使用交叉注意力提取动态特征，演员使用稳定池化表示）加速策略学习，在模拟和真实机器人任务中展现出鲁棒性和高效性。
2026-06-11 cs.LG cs.RO
Random Policy Enables In-Context Reinforcement Learning within Trust Horizons
Department of Electrical, Computer, and Systems Engineering, Rensselaer Polytechnic Institute（电气、计算机与系统工程系，拉特格斯理工学院）
提出State-Action Distillation（SAD）方法，仅利用随机策略在信任范围内提取状态-动作对生成预训练数据集，首次在随机策略和上下文下实现有效ICRL，并在多个基准上显著超越基线。
2025-05-02 cs.AI cs.LG
Actor-Critic Pretraining for Proximal Policy Optimization
Institute for Control Engineering of Machine Tools and Manufacturing Units ISW, University of Stuttgart（斯图加特大学机床与制造装置控制工程研究所ISW）；Materials Testing Institute MPA, University of Stuttgart（斯图加特大学材料测试研究所MPA）
本文提出了一种基于行为克隆的actor-critic预训练方法，用于近端策略优化，通过初始化actor和critic网络提升样本效率。
2026-02-27 cs.LG
Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
本文研究了在预训练后通过上下文适应新任务的强化学习代理，通过softmax注意力机制证明了Transformer层前向传递等价于加权softmax时序差分算法的迭代更新，并证明了参数在预训练损失中的全局极小性。
2026-05-17 cs.LG
From Weak Data to Strong Policy: Q-Targets Enable Provable In-Context Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；University at Buffalo（纽约州立大学布法罗分校）
提出QTPT方法，用Q目标替代行为克隆进行上下文强化学习预训练，在理论和实验上证明其对弱数据更鲁棒，优于监督行为预测。
2026-09-28 cs.LG
Reasoning Under 1 Billion: Memory-Augmented Reinforcement Learning for Large Language Models
Applied AI Institute, Deakin University（应用人工智能研究所，迪肯大学）
本研究提出一种基于情景记忆的内在动机方法，通过利用成功推理模式与受控探索，显著提升了10亿参数以下微型LLMs在CoT推理任务中的样本效率与泛化能力。
2025-04-03 cs.LG
SABR: A Stable Adaptive Bitrate Framework Using Behavior Cloning Pretraining and Reinforcement Learning Fine-Tuning
Ningbo Artificial Intelligence Institute, Shanghai Jiao Tong University, Ningbo, China（宁波人工智能研究院，上海交通大学，宁波，中国）；School of Automation and Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, China（自动化与智能感知学院，上海交通大学，上海，中国）；School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（电子与电气工程学院，南洋理工大学，新加坡）
针对基于学习的ABR方法在分布外网络条件下泛化差的问题，提出结合行为克隆预训练与强化学习微调的SABR框架，并引入ABRBench基准，实验证明其在广泛分布上学习更稳定且泛化性更优。
2025-08-30 cs.AI cs.LG cs.MM
Sample-Efficient Multi-Agent Reinforcement Learning with Demonstrations for Flocking Control
Tsinghua University（清华大学）
群集控制是多智能体系统中的一个重要问题，它可以提高智能体之间的协作性和安全性，如多智能体无人机和多智能体水下航行器等。与传统方法相比，多智能体强化学习（MARL）更灵活地解决了群集控制问题。然而，基于MARL的方法存在样本效率低下的问题，因为它们需要从代理与环境之间的交互中收集大量的经验。我们提出了一种新的方法预训练与示范MARL（PwD-MARL），它可以利用非专家的示范收集预先与传统的方法来预训练代理。在预训练过程中，智能体同时从MARL和行为克隆的示范中学习策略，并防止过度拟合示范。PwD-MARL通过非专家演示进行预训练，提高了在线MARL过程中的样本效率，具有良好的启动效果。实验表明，即使在演示不好或很少的情况下，PwD-MARL也能提高集群控制问题的样本效率和策略性能。
2022-09-17 cs.AI cs.LG cs.MA
CLIP-RL: Surgical Scene Segmentation Using Contrastive Language-Vision Pretraining & Reinforcement Learning
Department of Surgery（外科部）；Hamad Medical Corporation（哈马德医疗集团）；Department of Computer Science and Engineering（计算机科学与工程系）；Qatar University（卡塔尔大学）
针对微创手术视频的手术场景语义分割问题，提出融合对比语言-视觉预训练、强化学习与课程学习的CLIP-RL模型，在EndoVis数据集上取得优于现有最优模型的性能，可稳健处理复杂光学环境。
2025-07-06 cs.AI cs.CV cs.LG
Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos
OpenAI（OpenAI（开放人工智能研究中心））；University of British Columbia（不列颠哥伦比亚大学）
在嘈杂的互联网规模的数据集上进行预训练已经被大量研究，作为一种训练模型的技术，该模型具有广泛的文本，图像和其他形式的一般能力。然而，对于许多顺序决策领域，如机器人，视频游戏和计算机使用，公开可用的数据不包含以相同的方式训练行为先验所需的标签。我们通过半监督模仿学习将互联网规模的预训练范式扩展到顺序决策域，其中代理通过观看在线未标记的视频来学习采取行动。具体来说，我们表明，使用少量的标记数据，我们可以训练一个逆动力学模型，该模型足够准确，可以标记大量未标记的在线数据源-这里，人们玩Minecraft的在线视频-然后我们可以训练一般行为先验。尽管使用本机人机界面（鼠标和键盘在20赫兹），我们表明，这种行为先验具有非平凡的zero-shot能力，它可以微调，与模仿学习和强化学习，硬探索任务，是不可能从头开始学习通过强化学习。对于许多任务，我们的模型表现出人类水平的性能，我们是第一个报告可以制作金刚石工具的计算机代理，这可能需要熟练的人类超过20分钟（24，000个环境动作）的游戏才能完成。
2022-06-23 cs.AI cs.LG
Value Explicit Pretraining for Learning Transferable Representations
Thomas Lord Department of Computer Science at the University of Southern California（南加州大学汤姆·劳德计算机科学系）
本文提出价值显式预训练（VEP），通过学习对环境动态和外观变化不变的表示，提升强化学习任务迁移能力。实验表明VEP在未见任务泛化能力、奖励和样本效率上均优于现有方法。
2026-04-30 cs.LG cs.RO
Representation Matters: Offline Pretraining for Sequential Decision Making
Google Research（谷歌研究院）
最近监督学习方法在越来越大的离线数据集上的成功激发了人们对强化学习（RL）领域的兴趣，以研究相同的范式是否可以转化为RL算法。这个研究领域被称为离线RL，主要集中在离线策略优化上，旨在完全从离线数据中找到回报最大化的策略。在本文中，我们考虑了一种稍微不同的方法，将离线数据纳入顺序决策。我们的目标是回答这样一个问题，即应用于离线数据集的无监督目标能够学习状态表示，从而提高下游任务的性能，这些下游任务是否是在线RL，专家演示的模仿学习，甚至是基于同一离线数据集的离线策略优化？通过利用标准离线RL数据集进行的各种实验，我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能，否则这些算法本身的性能就很一般。广泛的消融进一步提供了对这些无监督目标的组成部分的了解-例如，奖励预测、连续或离散表示、预训练或微调--是最重要的，以及在哪些环境中。
2021-02-11 cs.AI cs.LG
SMART: Self-supervised Multi-task pretrAining with contRol Transformers
University of Maryland（马里兰大学）；Microsoft（微软）
自监督预训练在语言和视觉领域得到了广泛的研究，其中统一的模型可以通过预训练没有显式标签的表示来轻松适应各种下游任务。然而，当涉及到顺序决策任务时，很难正确设计这样一种预训练方法，既可以处理高维感知信息，又可以处理长交互范围内顺序控制的复杂性。如果我们想预训练能够适应各种任务的表示，那么挑战在组合上变得更加复杂。为了解决这个问题，在这项工作中，我们制定了一个通用的预训练，微调管道顺序决策，在此基础上，我们提出了一个通用的预训练框架\textit{Self-supervised Multi-task pretrAining with contRol Transformer (SMART)}。通过系统地研究预训练机制，我们精心设计了一个控制Transformer（CT）加上一个新的控制为中心的预训练目标在一个自我监督的方式。SMART鼓励代表捕获与短期控制和长期控制相关的共同基本信息，这些信息可以在任务之间转移。我们通过在DeepMind Control Suite中的大量实验表明，SMART在不同的学习场景下，包括模仿学习（IL）和强化学习（RL），显着提高了可见和不可见下游任务和领域的学习效率。受益于所提出的以控制为中心的目标，SMART对预训练和微调之间的分布偏移具有弹性，甚至可以很好地处理随机收集的低质量预训练数据集。
2023-01-24 cs.AI cs.LG
Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers
Department of Electrical and Computer Engineering, Duke University, Durham, US（电子工程系，杜克大学，达勒姆，美国）；Department of Computer Science, Duke University, Durham, US（计算机科学系，杜克大学，达勒姆，美国）；Department of Biostatistics and Bioinformatics, Duke University, Durham, US（生物统计学与生物信息学系，杜克大学，达勒姆，美国）；Department of Statistics and Data Science, Yale University, New Haven, US（统计学与数据科学系，耶鲁大学，纽 Haven，美国）
本文提出ICPRL范式，通过仅使用偏好反馈实现无奖励的强化学习，适用于奖励难以获取的场景，实验显示其在连续控制等任务中性能接近传统ICRL方法。
2026-02-09 cs.AI cs.LG
A Reinforcement Learning Framework for Online Speaker Diarization
Columbia University（哥伦比亚大学）；New York University（纽约大学）
说话人日志是一项在每个给定时间戳用说话人的身份标记音频或视频记录的任务。在这项工作中，我们提出了一种新的机器学习框架，进行实时多说话人日记和识别，而无需事先注册和预训练，在一个完全在线和强化学习设置。我们的框架结合了嵌入提取，聚类和重新分割到同一个问题作为一个在线决策问题。我们讨论了实际的考虑和先进的技术，如离线强化学习，半监督，和领域自适应，以解决有限的训练数据和分布环境的挑战。我们的方法认为说话人日记作为一个完全在线学习问题的说话人识别任务，代理接收任何训练集部署之前没有预训练，并学会检测扬声器的身份在飞行中通过奖励反馈。说话人日记化的强化学习方法的范例呈现了一种自适应、轻量级和可推广的系统，该系统对于多用户电话会议是有用的，其中许多人可能在没有提前进行大量预注册的情况下来来去去。最后，我们提供了一个桌面应用程序，使用我们提出的方法作为概念证明。据我们所知，这是第一种将强化学习方法应用于说话人日记化任务的方法。
2023-02-21 cs.AI cs.HC cs.LG
Accelerating Reinforcement Learning for Wind Farm Control via Expert Demonstrations
Department of Wind and Energy Systems, Technical University of Denmark（丹麦技术大学风能与能源系统系）
提出一种利用稳态尾流模型生成的专家演示预训练方法，通过行为克隆初始化Soft Actor-Critic网络，消除初始学习阶段，使初始性能接近基线水平，并在在线微调后超越查表控制器。
2026-04-13 cs.LG cs.SY eess.SY
TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning
University of Washington（华盛顿大学）；Amazon FAR（亚马逊FAR）
本文提出TMRL框架，通过结合行为克隆预训练与强化学习微调，解决预训练中动作分布狭窄的问题，提升机器人策略微调的样本效率。
2026-08-13 cs.AI cs.LG cs.RO
On the Feasibility of Cross-Task Transfer with Model-Based Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）
针对强化学习样本效率低、从零学世界模型难的问题，提出支持世界模型预训练与微调的跨任务迁移框架XTRA，相较基线显著提升EfficientZero的性能。
2023-06-15 cs.CV cs.LG cs.RO
Light-weight probing of unsupervised representations for Reinforcement Learning
AssemblyAI；New York University（纽约大学）；Facebook AI Research（Facebook AI研究院）
本文提出利用线性探测作为无监督强化学习表示质量的代理评估任务，在保持与下游RL性能强相关的同时大幅降低计算成本，并据此改进了现有自监督学习方案。
2024-05-31 cs.AI cs.LG
PROTO: Iterative Policy Regularized Offline-to-Online Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
PROTO 通过在标准 RL 目标中加入迭代演化的正则化项，以信赖域式更新逐步放宽约束，实现稳定且高效的离线到在线强化学习微调，并可与任意离线预训练方法对接。
2023-05-25 cs.AI cs.LG cs.RO
Learning to Drive by Watching YouTube Videos: Action-Conditioned Contrastive Policy Pretraining
The Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度视觉策略学习旨在将原始视觉观察映射到行动，在机器人操作和自动驾驶等控制任务中取得了可喜的成果。然而，它需要与培训环境进行大量的在线交互，这限制了它在现实世界中的应用。与目前流行的无监督特征学习相比，视觉控制任务的特征预训练研究较少。在这项工作中，我们的目标是通过观看长达数小时的未经策划的YouTube视频来预训练驾驶任务的策略表示。具体来说，我们用少量的标记数据训练一个逆动态模型，并用它来预测所有YouTube视频帧的动作标签。然后，提出了一种新的对比策略预训练方法，用于从带有伪动作标签的视频帧中学习动作条件特征。实验表明，所得到的动作条件特征对于下游的强化学习和模仿学习任务获得了实质性的改进，优于以前的无监督学习方法和ImageNet预训练的权重。代码、模型重量和数据可在https://metadriverse.github.io/ACO上获得。
2022-07-17 cs.CV cs.LG cs.RO
Skill-Based Reinforcement Learning with Intrinsic Reward Matching
UC Berkeley（加州大学伯克利分校）
本文提出内在奖励匹配（IRM）方法，利用技能判别器匹配内在奖励与下游任务奖励，无需环境样本即可为未见任务选择最优技能，并支持技能序列编排，在机器人操作基准上显著提升预训练技能的利用效率。
2023-05-25 cs.AI cs.LG cs.RO
Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Nissan Advanced Technology Center Silicon Valley（日产先进技术研发中心硅谷）
本文为自动机条件强化学习提供理论框架，证明其可学习性，并提出可证明正确的自动机嵌入方法，保证最优多任务策略学习，实验验证了理论结果。
2025-05-22 cs.AI cs.CL cs.FL
United We Pretrain, Divided We Fail! Representation Learning for Time Series by Pretraining on 75 Datasets at Once
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；TU Eindhoven（埃因霍温理工大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）
本文提出XD-MixUp插值与SICC损失的自监督对比预训练方法，首次证明可在75个多样时间序列数据集上一次性学习通用表示，并在低数据微调中超越监督训练。
2024-02-23 cs.LG
Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing
Gatsby Computational Neuroscience Unit（Gatsby计算神经科学单元）；University College London（伦敦大学学院）；Institute of Science and Technology Austria（奥地利科学与技术研究所）；Sainsbury Wellcome Centre（萨金斯-韦尔科姆中心）
本文研究了预训练和线性探测过程中的最优表示尺寸问题，通过高维分析揭示了表示维度、未标记和标记样本数量以及任务对齐性对训练和泛化误差的影响，提出了在不同预训练和下游数据条件下优化表示尺寸的条件。
2026-11-10 cs.LG
CORD: Learning Reusable Degradation Representations Across Heterogeneous Physical Systems
CentraleSupélec, Université Paris-Saclay（巴黎中央理工-高等电力学院，巴黎萨克雷大学）
CORD通过联合预训练跨异构物理系统学习可复用退化表征，结合类型特定接口与共享主干，在轴承、电池等数据集上优于单域模型，并改善跨单元生命周期一致性。
2026-10-01 cs.LG
Protein Representation Learning by Geometric Structure Pretraining
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of Cambridge（剑桥大学）；IBM Research（IBM研究院）；HEC Montréal（蒙特利尔高等商学院）
学习有效的蛋白质表示在生物学中的各种任务中至关重要，例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预训练蛋白质语言模型，然后在下游任务中使用一些标记的数据对模型进行微调。尽管基于序列的方法是有效的，但对已知蛋白质结构的预训练的能力（仅在较小数量中可用）尚未被探索用于蛋白质性质预测，尽管蛋白质结构已知是蛋白质功能的决定因素。在本文中，我们提出了预训练蛋白质表示，根据其3D结构。我们首先提出了一个简单而有效的编码器来学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预训练蛋白质图编码器。函数预测和折叠分类任务的实验结果表明，我们提出的预训练方法优于或与最先进的基于序列的方法相当，同时使用更少的预训练数据。我们的实现可以在https://github.com/DeepGraphLearning/GearNet上获得。
2023-01-28 cs.LG
Prototype Guided Post-pretraining for Single-Cell Representation Learning
本文提出CellRefine方法，通过整合标记基因集作为先验指导单细胞预训练后的优化，提升下游任务性能，实验显示性能提升达15%。
2026-10-01 cs.LG
ED-DiT: Physics-Guided Diffusion Pretraining for Transferable Molecular Representations from Electron Density
本研究提出ED-DiT，一种物理引导的扩散Transformer，通过电子密度点云自监督预训练学习可迁移分子表示，在6项EDBench任务及低监督场景下均优于基线，展现出良好效果。
2026-08-05 cs.LG
A surprisingly simple technique to control the pretraining bias for better transfer: Expand or Narrow your representation
Meta AI；Mila（米拉人工智能研究所）；Universite de Montreal（蒙特利尔大学）
本文提出仅通过改变骨干网络最后一个块的维度即可有效控制预训练偏差，显著提升自监督和监督预训练模型的下游迁移性能。
2023-04-11 cs.LG
Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation
New York University（纽约大学）；Google（谷歌）
本研究探讨了模仿学习中的预训练范式，提出逆向动力学建模作为多任务预训练目标，学习可迁移的低维观测表示，并通过模拟实验和理论分析验证了其有效性。
2023-10-25 cs.LG
NeuroOnline: Bridging Pretraining and Online Adaptation for EEG Foundation Models
Southern University of Science and Technology（南方科技大学）
研究脑电图基础模型，提出NeuroOnline框架，集成多视图一致性学习和上下文感知表示调制机制，统一表示对齐和动态适应，实验表明其在在线设置中性能优于基线。
2026-07-07 cs.LG
Understanding and Enhancing Mask-Based Pretraining towards Universal Representations
Yale University（耶鲁大学）
本研究通过高维线性回归理论揭示掩码预训练机制，提出随机随机掩码自编码（R$^2$MAE）方案，在视觉、语言、DNA和单细胞任务中超越现有掩码策略，提升最先进模型性能。
2025-09-25 cs.LG
GeoNIRS: Geometry-Aware Pretraining for Heterogeneous fNIRS Representation Learning
Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Omni-Intelligence（奥米智能）；Shenzhen Loop Area Institute（深圳河套学院）
本文提出GeoNIRS框架，利用通道几何信息实现异构fNIRS数据的联合预训练，在跨任务评估中显著提升了各类下游任务的平衡准确率，且对缺失通道具有鲁棒性。
2026-10-14 cs.LG
Does GNN Pretraining Help Molecular Representation?
Google Cloud AI Research（谷歌云人工智能研究院）；Google Research（谷歌研究院）
使用图神经网络（GNN）提取分子的信息表示在AI驱动的药物发现中至关重要。最近，图研究社区一直在试图复制自然语言处理中自我监督预训练的成功，并取得了一些成功。然而，我们发现在许多情况下，对小分子数据进行自我监督预训练所带来的好处可以忽略不计。我们对GNN预训练的关键组成部分进行了彻底的消融研究，包括预训练目标，数据分割方法，输入特征，预训练数据集规模和GNN架构，以了解它们如何影响下游任务的准确性。我们的第一个重要发现是，在许多情况下，自监督图预训练并不总是比非预训练方法具有统计上的显著优势。其次，虽然通过额外的监督预训练可以观察到明显的改善，但随着更丰富的特征或更平衡的数据分割，这种改善可能会减少。第三，超参数对下游任务准确率的影响可能大于预训练任务的选择，特别是当下游任务规模较小时。最后，我们提供了一些小分子预训练方法的复杂性可能不足的地方，然后是不同预训练数据集上的经验证据。
2022-11-02 cs.LG q-bio.BM
On the Role of Inductive Bias in Time-Series Pretraining: A Case Study in Learning Generalizable Representations for Clinical Time Series
ETH Zurich（苏黎世联邦理工学院）；Swiss Paraplegic Research（瑞士脊髓损伤研究所）；ETH Zurich, Swiss Paraplegic Research（苏黎世联邦理工学院、瑞士脊髓损伤研究所）
通过PathoFM编码器中心Transformer，结合局部补全、时间连续性和无监督上下文动力学三种互补目标，研究预训练目标中归纳偏置对跨任务类型和受试者迁移的影响，发现动态中心混合目标能产生最平衡的迁移表征。
2026-05-27 cs.LG
NeuroPB: Scaling Neural Decoding with Pretrained Behavioral Representations
本文提出NeuroPB框架，通过预训练大规模行为表示并对齐有限配对神经-行为数据，提升神经解码性能，在猕猴数据集上R²提升11%与8%，且泛化能力强，为高效BCI提供可行方向。
2026-08-06 cs.LG
