Future-conditioned Unsupervised Pretraining for Decision Transformer
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出预训练决策Transformer（PDT），利用未来轨迹信息作为特权上下文进行无监督离线RL预训练，并通过在线微调可控采样高回报行为，在次优数据上优于监督预训练方法。
2023-05-26 cs.LG
Unsupervised Program Synthesis for Images By Sampling Without Replacement
Carnegie Mellon University（卡内基梅隆大学）
程序合成已成为图像解析任务的一种成功方法。大多数先前的工作依赖于两步方案，该两步方案涉及使用合成程序对Seq 2Seq模型进行监督预训练，然后进行强化学习（RL）以使用真实参考图像进行微调。完全无监督的方法承诺直接在目标图像上训练模型，而不需要策划的预训练数据集。然而，他们与搜索空间中有意义的程序的固有稀疏性作斗争。在本文中，我们提出了第一个无监督的算法能够解析到上下文无关文法（CFG）的建设性立体几何（CSG）图像，而无需通过不可微渲染器预训练。为了解决\emph{non-Markovian}稀疏奖励问题，我们结合了三个关键成分-（i）确保程序有效性的语法编码树LSTM（ii）熵正则化和（iii）从CFG语法树中进行采样而无需替换。经验上，我们的算法恢复有意义的程序在大搜索空间（高达$3.8 \times 10^{28}$）。此外，即使我们的方法是完全无监督的，它比合成2D CSG数据集上的监督方法更好地推广。在2D计算机辅助设计（CAD）数据集上，我们的方法显着优于监督预训练模型，并与改进模型竞争。
2021-06-14 cs.LG stat.ML
Unsupervised Pretraining for Fact Verification by Language Model Distillation
University of Cambridge（剑桥大学）
针对事实验证的语义对齐依赖标注数据的问题，提出无监督预训练框架SFAVEL，通过新型对比损失实现高质量主张-证据对齐，在FB15k-237和FEVER数据集上取得SOTA结果。
2024-03-06 cs.CL cs.LG stat.ML
Unsupervised Pretraining Encourages Moderate-Sparseness
Nanjing University of Science and Technology（南京理工大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
众所周知，直接训练深度神经网络通常会导致效果不佳。近年来的一个主要进展是发明了各种预训练方法来初始化网络参数，并表明这些方法导致良好的预测性能。然而，预训练成功的原因尚未完全理解，尽管有人认为正则化和更好的优化发挥了一定的作用。本文提供了另一种解释预训练的有效性，在那里我们表明预训练导致稀疏的隐藏单元激活所产生的神经网络。主要原因是预训练模型可以被解释为自适应稀疏编码。与具有sigmoid函数的深度神经网络相比，我们在MNIST和Birdsong上的实验结果进一步支持了这种稀疏性观察。
2014-06-09 cs.LG cs.NE
Unsupervised Pretraining for Sequence to Sequence Learning
Google Brain（谷歌大脑(Google Brain)）
本文提出了一种通用的无监督学习方法来提高序列到序列（seq2seq）模型的精度。在我们的方法中，seq2seq模型的编码器和解码器的权重使用两个语言模型的预训练权重进行初始化，然后使用标记数据进行微调。我们将这种方法应用于机器翻译和抽象摘要中具有挑战性的基准测试，发现它显着改善了后续的监督模型。我们的主要结果是，预训练提高了seq2seq模型的泛化能力。我们在WMT英语$\rightarrow$德语任务上取得了最先进的结果，超过了使用基于短语的机器翻译和神经机器翻译的一系列方法。我们的方法在WMT'14和WMT'15英语$\rightarrow$德语上实现了1.3 BLEU的显着改进。我们还对抽象摘要进行了人工评估，发现我们的方法在统计上显著优于纯监督学习基线。
2018-02-22 cs.CL cs.LG cs.NE
Simplicity is Key: An Unsupervised Pretraining Approach for Sparse Radio Channels
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
SpaRTran通过捕捉无线传播的稀疏性作为无监督学习目标，提高了无线信道的定位精度和波束成形性能。
2026-01-28 cs.LG eess.SP
Palm up: Playing in the Latent Manifold for Unsupervised Pretraining
UC Berkeley（加州大学伯克利分校）；DeepMind（深度思维）
大型和多样化的数据集一直是人工智能许多令人印象深刻的进步的基石。然而，智能生物通过与环境的互动来学习，这会改变输入的感觉信号和环境的状态。在这项工作中，我们的目标是两全其美，并提出一种算法，该算法在利用大型多样化数据集的同时表现出探索性行为。我们的关键思想是利用在静态数据集上预训练的深度生成模型，并在潜在空间中引入动态模型。过渡动态简单地混合了动作和随机采样的潜伏。然后，它应用一个指数移动平均的时间持久性，得到的潜在的解码使用预训练的生成器的图像。然后，我们采用无监督强化学习算法在这种环境中进行探索，并对收集到的数据进行无监督表示学习。我们进一步利用这些数据的时间信息来配对数据点，作为表示学习的自然监督。我们的实验表明，学习的表征可以成功地转移到视觉和强化学习领域的下游任务。
2022-10-21 cs.AI cs.LG
Unsupervised Parameter Efficient Source-free Post-pretraining
KU Leuven（鲁汶大学）；University of Technology Nuremberg（纽伦堡工业大学）
针对大型视觉模型适配成本高的问题，提出无监督参数高效的无源后预训练方法UpStep，通过自监督训练、中心向量正则化和低秩适配，在无源数据下高效适配至八个目标领域。
2025-02-28 cs.CV cs.LG
Unsupervised Few-shot Learning via Deep Laplacian Eigenmaps
University of Toronto（多伦多大学）
从少量示例中学习新任务仍然是机器学习中的一个公开挑战。尽管最近在少样本学习方面取得了进展，但大多数方法依赖于对标记的Meta训练数据的监督预训练或元学习，并且不能应用于预训练数据未标记的情况。在这项研究中，我们提出了一种无监督的少样本学习方法，通过深度拉普拉斯特征映射。我们的方法通过将相似的样本分组在一起来从未标记的数据中学习表示，并且可以通过在增强的训练数据上随机游走来直观地解释。我们分析了深度拉普拉斯特征映射如何避免无监督学习中的崩溃表示，而无需明确比较正负样本。所提出的方法显着关闭监督和无监督少样本学习之间的性能差距。我们的方法也达到了目前最先进的自监督学习方法下的线性评价协议的性能相当。
2022-10-07 cs.LG
How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression?
UC Berkeley（加州大学伯克利分校）；The University of Hong Kong（香港大学）；UCLA（加州大学洛杉矶分校）；Rice University（莱斯大学）；Google DeepMind（谷歌DeepMind）
本文研究线性回归中上下文学习所需的预训练任务数量，证明少量独立任务即可有效预训练线性注意力模型，且其性能接近贝叶斯最优的岭回归。
2024-03-15 cs.LG stat.ML
Representation Matters: Offline Pretraining for Sequential Decision Making
Google Research（谷歌研究院）
最近监督学习方法在越来越大的离线数据集上的成功激发了人们对强化学习（RL）领域的兴趣，以研究相同的范式是否可以转化为RL算法。这个研究领域被称为离线RL，主要集中在离线策略优化上，旨在完全从离线数据中找到回报最大化的策略。在本文中，我们考虑了一种稍微不同的方法，将离线数据纳入顺序决策。我们的目标是回答这样一个问题，即应用于离线数据集的无监督目标能够学习状态表示，从而提高下游任务的性能，这些下游任务是否是在线RL，专家演示的模仿学习，甚至是基于同一离线数据集的离线策略优化？通过利用标准离线RL数据集进行的各种实验，我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能，否则这些算法本身的性能就很一般。广泛的消融进一步提供了对这些无监督目标的组成部分的了解-例如，奖励预测、连续或离散表示、预训练或微调--是最重要的，以及在哪些环境中。
2021-02-11 cs.AI cs.LG
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练，为广泛的自然语言处理任务提供了强大的性能基础。然而，这种方法的适用性是未知的，当目标域从预训练语料库变化很大。我们特别感兴趣的场景是，标记数据仅在一个规范的源域（如newstext）中可用，而目标域与标记文本和预训练文本都不同。为了解决这种情况下，我们提出了域自适应微调，其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域：早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同，领域自适应微调在强BERT基线上产生了实质性的改进，在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是，域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
Convergence of End-to-End Training in Deep Unsupervised Contrastive Learning
University of International Business and Economics（对外经济贸易大学）
无监督对比学习在最新的研究中得到了越来越多的关注，并已被证明是一种从未标记数据中学习表示的强大方法。然而，很少有理论分析是已知的这一框架。本文研究深度无监督对比学习的优化问题。我们证明，通过应用端到端训练，同时更新两个深度过参数化神经网络，可以找到非凸对比损失的近似稳态解。这个结果本质上不同于监督设置中现有的过参数化分析，因为与学习特定目标函数相反，无监督对比学习试图将未标记的数据分布编码到神经网络中，其通常没有最优解。我们的分析为这些无监督预训练方法的实际成功提供了理论见解。
2021-05-30 cs.LG stat.ML
DiffRoll: Diffusion-based Generative Music Transcription with Unsupervised Pretraining Capability
Sony（索尼公司）
本文提出基于扩散的生成式方法DiffRoll解决自动音乐转录，将AMT视为条件生成任务，支持转录、生成和修复音乐，并能在未配对数据上训练，性能优于判别式方法。
2022-10-20 cs.AI cs.LG cs.SD
Siamese Networks with Soft Labels for Unsupervised Lesion Detection and Patch Pretraining on Screening Mammograms
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
本文提出利用对侧乳腺X线影像的天然对称性作为弱标签，结合基于欧氏距离的软标签训练连体网络，在无监督条件下实现病灶检测与图像块预训练，并在乳腺X线影像块分类上优于现有自监督方法。
2024-01-10 cs.AI cs.CV cs.LG
Unsupervised Cross-lingual Representation Learning for Speech Recognition
Facebook AI（脸书人工智能）
本文介绍了XLSR，它通过从多种语言的语音原始波形中预训练单个模型来学习跨语言的语音表示。我们建立在wav 2 vec 2.0的基础上，通过在掩蔽的潜在语音表示上解决对比任务来训练wav 2 vec 2.0，并联合学习跨语言共享的潜在语音的量化。由此产生的模型在标记数据上进行了微调，实验表明，跨语言预训练显着优于单语预训练。在CommonVoice基准测试中，XLSR显示与最佳已知结果相比，相对音素出错率降低了72%。在BABEL，我们的方法提高了字出错率16%，相对于可比系统。我们的方法使一个单一的多语言语音识别模型，这是强大的个人模型的竞争力。分析表明，潜在的离散语音表示共享跨语言增加共享相关的语言。我们希望通过发布XLSR-53来促进低资源语音理解的研究，XLSR-53是一个用53种语言预训练的大型模型。
2020-12-15 cs.CL cs.LG cs.SD
Towards Unsupervised Domain Generalization
Tsinghua University（清华大学）
领域泛化（DG）旨在帮助在一组源域上训练的模型更好地泛化看不见的目标域。目前的DG方法的性能在很大程度上依赖于足够的标记数据，这通常是昂贵的或不可用的，但是。由于未标记的数据更容易访问，我们试图探索无监督学习如何帮助深度模型跨领域推广。具体来说，我们研究了一种新的泛化问题，称为无监督领域泛化（UDG），其目的是学习可推广的模型与未标记的数据和分析预训练对DG的影响。在UDG中，模型在使用标记的源数据进行训练之前，使用来自各个源域的未标记数据进行预训练，并最终在看不见的目标域上进行测试。然后，我们提出了一种名为领域感知表示学习（DARLING）的方法，以应对未标记的预训练数据中的显着和误导性的异质性和严重的分布偏移之间的源和目标数据。令人惊讶的是，我们观察到DARLING不仅可以抵消标记数据的稀缺性，而且还可以在标记数据不足时进一步增强模型的泛化能力。作为一种预训练方法，DARLING与ImageNet预训练协议相比表现出更好或相当的性能，即使可用数据是未标记的，并且与ImageNet相比数量要少得多，这可能有助于提高大规模未标记数据的泛化能力。
2022-04-12 cs.CV cs.LG cs.MM
Proposal-Contrastive Pretraining for Object Detection from Fewer Data
Université Paris-Saclay（巴黎-萨克雷大学）；CEA（法国原子能委员会）；Université Jean Monnet Saint-Etienne（圣艾蒂安让·莫内大学）；CNRS（法国国家科学研究中心）；Laboratoire Hubert Curien UMR 5516（于贝尔·居里安实验室）；Institut Universitaire de France (IUF)（法国大学研究院）
本文提出ProSeCo无监督预训练方法，利用Transformer检测器生成的大量目标提议进行对比学习，结合目标级特征与位置信息学习局部信息，在更少数据下的目标检测任务中超越现有技术。
2023-10-25 cs.AI cs.CV cs.LG
In-Context Learning for Latent Space Bayesian Optimization
Aalto University（阿尔托大学）
针对潜空间贝叶斯优化中上下文学习模型与优化任务不匹配的问题，提出在分子VAE潜空间上定义合成优化任务进行持续预训练，并引入正则化器保持原始先验，显著提升分子优化性能。
2026-06-08 cs.LG stat.ML
DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University Health Network（大学健康网络）
句子嵌入是许多自然语言处理（NLP）系统的重要组成部分。与词嵌入一样，句子嵌入通常在大型文本语料库中学习，然后转移到各种下游任务中，例如聚类和检索。与词嵌入不同，学习句子嵌入的最高性能解决方案需要标记数据，这限制了它们对标记数据丰富的语言和领域的有用性。在本文中，我们提出了DeCLUTR：用于无监督文本表示的深度对比学习。受深度度量学习（DML）最新进展的启发，我们仔细设计了一个自监督目标，用于学习通用句子嵌入，不需要标记的训练数据。当用于扩展基于transformer的语言模型的预训练时，我们的方法缩小了通用句子编码器的无监督和监督预训练之间的性能差距。重要的是，我们的实验表明，学习嵌入的质量与可训练参数的数量和未标记的训练数据的数量成比例。我们的代码和预训练模型是公开的，可以轻松适应新领域或用于嵌入看不见的文本。
2021-05-27 cs.CL cs.LG
Graph Context Encoder: Graph Feature Inpainting for Graph Generation and Self-supervised Pretraining
AnotherBrain
我们提出了图上下文编码器（GCE），一个简单而有效的方法，图表示学习的基础上图特征掩蔽和重建。GCE模型被训练成有效地重建输入图，类似于图自动编码器，其中节点和边缘标签被掩蔽。特别是，我们的模型还允许通过掩蔽和重建由随机伪边增强的图来改变图结构。我们表明，GCE可用于新的图形生成，与分子生成的应用程序。作为一种预训练方法，我们还表明，GCE提高了在多个标准基准图数据集上测试的监督分类任务的基线性能。
2021-06-18 cs.LG
Distilled Pretraining: A modern lens of Data, In-Context Learning and Test-Time Scaling
FAIR at Meta（Meta旗下的FAIR）；Carnegie Mellon University（卡内基梅隆大学）
本研究探究蒸馏对大语言模型预训练的新范式影响，发现其提升测试时缩放性能但削弱上下文学习能力，并通过二元模型沙箱找到核心因素，给出预训练设计参考。
2025-09-01 cs.LG
A Call for More Rigor in Unsupervised Cross-lingual Learning
HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学 HiTZ 中心）；DeepMind
我们回顾了无监督跨语言学习的动机，定义，方法和方法，并呼吁在每一个更严格的立场。这种研究的现有理由是缺乏世界上许多语言的平行数据。然而，我们认为，没有任何平行的数据和丰富的单语数据的情况下，在实践中是不现实的。我们还讨论了在以前的工作中使用的不同的训练信号，这些信号与纯无监督设置不同。然后，我们描述了调整和评估无监督跨语言模型的常见方法问题，并提出了最佳实践。最后，我们为这一领域的不同类型的研究提供了一个统一的前景（即，跨语言词嵌入、深度多语言预训练和无监督机器翻译），并主张对这些模型进行可比较的评估。
2020-04-30 cs.CL cs.LG stat.ML
TaskBridge: Bridging Unsupervised Tabular Anomaly Detection and In-Context Learning via Virtual Tasks
Seoul National University（首尔大学）；KAIST（韩国科学技术院）；Nums AI Inc.（Nums AI 公司）
TaskBridge通过构建虚拟监督任务，将无监督表格异常检测重构为上下文学习，无需异常预训练，在790个数据集上超越30个基线。
2026-09-30 cs.LG
Thoughtbubbles: an Unsupervised Method for Parallel Thinking in Latent Space
Department of Computer Science, Stanford University, Stanford, CA, United States（计算机科学系，斯坦福大学，斯坦福，CA，美国）
Thoughtbubbles是一种通过预训练学习并行自适应计算的转换器变体，能够在潜在空间中实现更高效的计算，提升模型的推理性能和零样本评估表现。
2026-01-30 cs.AI cs.CL cs.LG
Next-token pretraining implies in-context learning
Simplex（简单公司）；Astera Institute（Astera研究所）
我们认为，上下文学习（ICL）可预见地产生于标准的自我监督下一个令牌预训练，而不是一个外来的新兴属性。这项工作建立了这种出现的基本原则，重点是在分布ICL，演示模型如何必须适应上下文时，训练令牌序列，特别是从非遍历来源。我们的信息理论框架精确地预测了这些分布中的ICL动态（即，上下文相关的损失减少）。我们使用不同类型的相关结构的合成数据集的实验验证了这一点，再现特征现象，如诱导头形成和幂律缩放的上下文损失的训练损失中的相变。我们进一步表明，模型在任何任务上的上下文表现在数学上与预训练中看到的任务集合相耦合，为这种推理时间学习提供了一个基本的解释，该解释基于架构和模态独立的原则。
2025-07-13 cs.AI cs.LG
Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models
Google DeepMind（谷歌DeepMind）
本文通过受控的 $(x, f(x))$ 序列实验表明，Transformer 的上下文模型选择能力高度依赖预训练数据覆盖，域外任务会导致明显失败。
2023-11-01 cs.CL cs.LG stat.ML
Pretraining Representations for Data-Efficient Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；CIFAR（加拿大高等研究院）；Microsoft Research（微软研究院）
数据效率是深度强化学习的关键挑战。我们通过使用未标记的数据来预训练编码器来解决这个问题，然后对少量特定于任务的数据进行微调。为了鼓励学习表示，捕获底层MDP的各个方面，我们采用了潜在的动态建模和无监督的目标条件RL的组合。当限制在Atari游戏上的10万步交互（相当于两个小时的人类经验）时，我们的方法大大超过了之前将离线表示预训练与特定任务微调相结合的工作，并且与其他需要数量级更多数据的预训练方法相比毫不逊色。我们的方法在与更大的模型以及更多样化、与任务一致的观测数据相结合时表现出了特别的前景--在我们最好的环境中，在Atari上接近人类水平的性能和数据效率。我们在https://github.com/mila-iqia/SGI上提供与此工作相关的代码。
2021-06-09 cs.LG
The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
在大型语料库上预训练神经语言模型（NLM）涉及将文本分块成训练样本，这些样本是神经架构可处理的大小的连续文本段。我们强调了这种常见做法引入的偏见：我们证明了预训练的NLM可以对出现在同一训练示例中的文本段之间的依赖关系进行建模，而不是出现在不同训练样本中的文本段之间的依赖关系。这个直观的结果具有双重作用。首先，它形式化了最近成功的NLM培训策略背后的动机，这些策略是针对预训练和微调阶段提出的，乍一看并不一定相关。其次，我们的结果清楚地表明，NLM预训练的进一步改进，有利于自然语言理解任务。作为一个例子，我们提出了“kNN预训练”：我们表明，包括语义相关的非相邻句子在同一预训练的例子产生改进的句子表示和开放域问答能力。这种理论上的自由度为预训练的例子设计表明新的培训计划，自我改进的表示。
2022-03-21 cs.CL cs.LG
Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge
University of Southern California（南加州大学）；University of British Columbia（不列颠哥伦比亚大学）；Flatiron Institute（Flatiron研究所）
本文研究了Transformer模型在上下文学习中如何通过微调实现对预训练知识的推理，探讨了预训练和微调对上下文回忆能力的影响及机制。
2026-03-21 cs.CL cs.LG
Light-weight probing of unsupervised representations for Reinforcement Learning
AssemblyAI；New York University（纽约大学）；Facebook AI Research（Facebook AI研究院）
本文提出利用线性探测作为无监督强化学习表示质量的代理评估任务，在保持与下游RL性能强相关的同时大幅降低计算成本，并据此改进了现有自监督学习方案。
2024-05-31 cs.AI cs.LG
CCPL: Cross-modal Contrastive Protein Learning
Zhejiang University（浙江大学）；AI Lab, Westlake University（西湖大学人工智能实验室）
本文提出无监督跨模态对比蛋白质学习方法CCPL，利用蛋白质语言模型和对比对齐增强结构表示学习，并通过自监督结构约束保持结构信息，在多个基准上取得优越性能。
2024-09-04 cs.AI cs.LG q-bio.BM
In-context Pretraining: Language Modeling Beyond Document Boundaries
Meta AI；University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
针对现有预训练中随机拼接文档无法提供跨文档预测信号的问题，提出In-Context Pretraining方法，通过近似算法排序相关文档构建连贯上下文，可扩展地显著提升大语言模型在多种复杂上下文推理任务上的性能。
2024-06-24 cs.AI cs.CL cs.LG
Multipole Semantic Attention: A Fast Approximation of Softmax Attention for Pretraining
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）
提出多极语义注意力（MuSe），通过对查询和键分别聚类实现查询特定的摘要，在64k上下文预训练中加速36%且保持损失不变，无需架构修改，兼容现有预训练模型。
2026-07-01 cs.LG
Scaling Laws for Forgetting during Finetuning with Pretraining Data Injection
Apple（苹果公司）
本研究推导了微调过程中遗忘与过拟合的缩放定律，发现注入仅1%的预训练数据即可有效防止遗忘并缓解过拟合。
2025-05-26 cs.CL cs.LG
Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm
University of California, Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）
由于大规模数据和高标注成本，预训练-微调成为多个计算机视觉任务中的流行范例。以前的研究已经涵盖了无监督预训练和监督微调在这个范例，而很少注意到利用注释预算微调。为了填补这一空白，我们正式定义了这个新的主动微调任务，重点是在预训练微调范式中选择用于注释的样本。我们提出了一种新的方法称为ActiveFT主动微调任务，选择一个子集的数据分布类似于整个未标记的池，并保持足够的多样性，通过优化参数模型在连续空间。我们证明了地球移动器的分布之间的选定的子集和整个数据池的距离也减少了在这个过程中。大量的实验表明，ActiveFT在图像分类和语义分割方面均优于基线算法，具有领先的性能和高效性。我们的代码发布在https://github.com/yichen928/ActiveFT。
2023-03-25 cs.CV cs.LG
Time Series Causal Discovery via Context-Conditioned and Causality-Augmented Pretraining
East China Normal University（东华师范大学）
提出PTCD框架，通过上下文条件建模和可迁移因果增强的预训练范式，提升跨任务时间序列因果发现的泛化能力，在多个真实OOD数据集上因果发现和根因识别表现优异。
2026-06-15 cs.LG
Supervised Pretraining Can Learn In-Context Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Google DeepMind（谷歌DeepMind）
本文提出Decision-Pretrained Transformer (DPT)，通过监督预训练让模型根据查询状态和交互数据预测最优动作，使其具备上下文强化学习能力，实现贝叶斯后验采样并保证更快的收敛速度。
2023-06-26 cs.AI cs.LG
Joint Unsupervised and Supervised Training for Multilingual ASR
Google（谷歌）
自监督训练在预训练模型和促进语音识别的下游微调（如多语言ASR）方面显示出了有希望的收益。大多数现有的方法采用2阶段方案，其中在第一预训练阶段优化自监督损失，在第二阶段恢复标准监督微调。在本文中，我们提出了一种端到端（E2 E）联合无监督和监督训练（JUST）方法，将监督RNN-T损失和自监督对比和掩蔽语言建模（MLM）损失结合起来。我们在公共数据集多语言LibriSpeech（MLS）上验证了它的性能，该数据集包括8种语言，并且非常不平衡。在MLS上，我们探索（1）从头开始训练，（2）从预训练的检查点进行微调。实验表明，JUST可以始终优于其他现有的最先进的方法，并击败单语基线的显着保证金，展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%，最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上，我们的WER不到单语基线的一半，甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
An Explanation of In-context Learning as Implicit Bayesian Inference
Stanford University（斯坦福大学）
大语言模型（LMs），如GPT-3，具有令人惊讶的上下文学习能力，其中模型仅通过由输入-输出示例组成的提示来学习完成下游任务。LM从这些示例中学习，而无需明确地预先训练学习。因此，目前还不清楚是什么使上下文学习。在本文中，我们研究了如何上下文学习可以出现时，预训练文档具有长程一致性。在这里，LM必须推断潜在的文档级概念，以在预训练期间生成连贯的下一个标记。在测试时，当LM也推断提示中的示例之间的共享潜在概念时，上下文学习发生。我们证明了这种情况发生时，尽管提示和预训练数据之间的分布不匹配的设置中，预训练分布是一个混合的障碍。与用于训练具有上下文学习能力的LM的杂乱大规模数据集相比，我们生成了一个小规模合成数据集（GINC），其中Transformers和LSTM都表现出上下文学习。除了理论之外，GINC的实验还展示了大规模的现实世界现象，包括模型缩放（尽管有相同的预训练损失），对示例顺序的敏感性，以及zero-shot优于Few-Shot上下文学习的实例。
2022-07-21 cs.CL cs.LG
Urban In-Context Learning: Bridging Pretraining and Inference through Masked Diffusion for Urban Profiling
针对城市画像中两阶段范式依赖任务特定微调的问题，提出城市上下文学习框架，通过掩码扩散Transformer和表示对齐机制统一预训练与推理，在两个城市三项指标上优于最先进两阶段方法。
2025-08-05 cs.LG
Towards Provable Emergence of In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）
本文针对强化学习预训练为何能产生具备上下文强化学习能力的参数这一核心问题，提出相关参数为预训练损失极小值点的假设，并通过案例证明预训练用于策略评估的Transformer的全局极小值点可实现上下文时序差分学习，为假设提供初步支持。
2025-10-03 cs.LG
TabGemma: Text-Based Tabular ICL via LLM using Continued Pretraining and Retrieval
SAP SE（SAP公司）
TabGemma 通过科学计数法规范化数值、持续预训练 12B Gemma 3 模型及 n-gram 检索示例，在语义丰富的表格分类任务上取得最优结果，并揭示了回归任务中的局限。
2025-11-05 cs.LG
Pretraining task diversity and the emergence of non-Bayesian in-context learning for regression
Stanford University（斯坦福大学）
该研究通过实验发现预训练Transformer的上下文学习存在任务多样性阈值，超过阈值后模型能以非贝叶斯方式最优解决全新回归任务，揭示了任务多样性对ICL涌现的关键作用。
2023-11-08 cs.AI cs.CL cs.LG
Context-Aware Multimodal Pretraining
Tübingen AI Center（蒂宾根人工智能中心）；Munich Center for ML（慕尼黑机器学习中心）；Helmholtz Munich（慕尼黑亥姆霍兹中心）；TU Munich（慕尼黑工业大学）；Google DeepMind（谷歌DeepMind）
本文提出一种上下文感知的多模态预训练扩展方法，使视觉-语言模型在保持零样本泛化性能的同时，在21个下游任务中实现平均超过5%的少样本适应增益，并凭借简单的免训练度量适应机制超越复杂的基于优化的方案。
2024-11-22 cs.CL cs.CV cs.LG
Zebra: In-Context Generative Pretraining for Solving Parametric PDEs
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR研究所）；Naver Labs Europe（Naver欧洲实验室）；Critéo AI Lab（Critéo人工智能实验室）
提出Zebra，一种生成式自回归Transformer，通过上下文学习在无需梯度适应的情况下求解参数化PDEs，展现出优越的适应性、鲁棒性和性能。
2025-06-26 cs.LG
When Does Contrastive Visual Representation Learning Work?
Caltech（加州理工学院）；Google（谷歌）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Copenhagen（哥本哈根大学）
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解，但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步，我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度，我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果：（i）超过500k图像的额外预训练数据的好处是适度的，（ii）添加来自另一个域的预训练图像不会导致更一般的表示，（iii）损坏的预训练图像对监督和自监督预训练有不同的影响，（iv）对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Carnegie Mellon University（卡内基梅隆大学）；Google AI Brain Team（谷歌人工智能大脑团队）
由于具有双向上下文建模的能力，基于去噪自编码的预训练（如BERT）比基于自回归语言建模的预训练方法具有更好的性能。然而，依赖于用掩码破坏输入，BERT忽略了掩码位置之间的依赖性，并且遭受预训练微调差异。鉴于这些优点和缺点，我们提出了XLNet，这是一种广义自回归预训练方法，它（1）通过最大化因子分解顺序的所有排列的预期似然来学习双向上下文，（2）克服了BERT的自回归公式的局限性。此外，XLNet将最先进的自回归模型Transformer-XL的思想集成到预训练中。根据经验，在可比的实验设置下，XLNet在20个任务上的表现优于BERT，通常是大幅度的，包括问答、自然语言推理、情感分析和文档排序。
2020-01-02 cs.CL cs.LG
MUSS: Multilingual Unsupervised Sentence Simplification by Mining Paraphrases
Facebook AI Research（Facebook AI研究院）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学实验室）
句子简化的进展一直受到缺乏标记的并行简化数据的阻碍，特别是在英语以外的语言中。我们介绍MUSS，一个多语言无监督句子简化系统，不需要标记的简化数据。MUSS使用了一种新的句子简化方法，该方法使用句子级别的释义数据而不是适当的简化数据来训练强大的模型。这些模型利用无监督预训练和可控生成机制，在推理时灵活调整长度和词汇复杂度等属性。我们进一步提出了一种方法来挖掘这样的释义数据，在任何语言的公共爬行使用语义句子嵌入，从而消除了对标记数据的需要。我们在英语，法语和西班牙语的简化基准上评估了我们的方法，并与之前的最佳监督结果密切匹配或优于之前的最佳监督结果，尽管没有使用任何标记的简化数据。我们通过合并标记的简化数据进一步推动了最先进的技术。
2021-04-16 cs.CL cs.LG
Pretraining Decision Transformers with Reward Prediction for In-Context Multi-task Structured Bandit Learning
提出一种无需最优动作且能超越演示者的预训练决策Transformer方法，利用任务共享结构实现上下文多任务结构化老虎机学习，降低未见任务的累积遗憾。
2025-10-22 cs.LG
RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions
Stanford University（斯坦福大学）；SAP（思爱普）
本文提出85M参数的关系基础模型RT-J，通过构建含639个数据库的数据集、轻量级随机游走检索器及上下文调优等技术，在RelBench回归任务上仅需1/10示例即可达到同类模型性能，推进了关系数据上下文高效预测的前沿。
2026-10-16 cs.AI cs.DB cs.LG
On Pretraining for Project-Level Code Completion
JetBrains Research（JetBrains 研究）
本研究探讨仓库级预训练策略对OpenCoder模型代码补全的影响，通过扩展上下文窗口和调整RoPE参数，在较小数据集上达到与大型模型相当的性能，并验证了文件级训练的简单高效性。
2025-10-15 cs.LG cs.SE
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Variational Pretraining for Semi-supervised Text Classification
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了VAMPIRE，一个轻量级的预训练框架，用于在数据和计算资源有限的情况下进行有效的文本分类。我们预训练一个unigram文档模型作为域内未标记数据的变分自编码器，并使用其内部状态作为下游分类器的特征。从经验上讲，我们显示了VAMPIRE对计算昂贵的上下文嵌入和低资源设置下的其他流行的半监督基线的相对强度。我们还发现，在有限的监督下工作时，对域内数据进行微调对于从上下文嵌入中获得良好的性能至关重要。我们在本文中附带了预训练代码，并在下游任务中使用VAMPIRE嵌入。
2019-06-05 cs.CL cs.LG
