Investigating Continual Pretraining in Large Language Models: Insights and Implications
University of Tübingen（蒂宾根大学）；Cohere for AI；Tübingen AI Center, University of Tübingen（蒂宾根人工智能中心，蒂宾根大学）
针对现有工作多聚焦有限下游任务或领域的持续微调问题，该研究引入新基准衡量LLMs对预训练数据变化的适应性，探究模型规模等因素的影响，发现持续预训练对小模型提升显著等关键见解，为LLMs持续学习提供新基准与评估方法。
2025-02-12 cs.CL
Analyzing Commonsense Emergence in Few-shot Knowledge Models
Allen Institute for AI（艾伦人工智能研究所）；EPFL（洛桑联邦理工学院）；University of Washington（华盛顿大学）
最近，常识知识模型--在知识图谱（KG）元组上微调的预训练语言模型（LM）--表明，相当数量的常识知识可以编码在大语言模型的参数中。然而，由于平行研究表明，LMs本身是陈述性常识关系的糟糕假设者，因此尚不清楚这种知识是在预训练期间学习的，还是从KG示例的微调中学习的。为了研究这一问题，我们在Few-Shot场景中对常识知识模型进行训练，以研究其常识表征能力的出现。我们的研究结果表明，常识知识模型可以从有限的例子中快速适应，这表明KG微调有助于学习预训练期间学习的编码知识的接口。重要的是，我们的绝对，角度和分布参数变化的分析，在Few-Shot微调提供了新的见解如何学习这个接口。
2021-09-10 cs.CL
Attributing Culture-Conditioned Generations to Pretraining Corpora
University of Southern California（南加州大学）；IIIT Delhi（德里印度理工学院）
研究通过分析预训练数据模式，探讨预训练如何导致文化条件化生成的偏差，提出MEMOed框架以识别记忆化生成，并发现高频文化生成更多记忆符号，而低频文化则无生成。
2025-03-19 cs.AI cs.CL
Understanding In-Context Learning via Supportive Pretraining Data
Meta AI；University of Washington（华盛顿大学）
本文通过基于梯度的迭代方法提取支持ICL的预训练数据子集，发现对其进行持续预训练可使ICL能力提升18%，并揭示该数据具有长尾词元多、长程上下文信息增益低等特征。
2023-06-26 cs.CL
LLM generation novelty through the lens of semantic similarity
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）
通过语义相似性视角探讨大语言模型生成新颖性的评估方法，揭示模型在预训练数据中的长序列抽取能力及任务领域对生成新颖性的影响
2026-08-04 cs.AI cs.CL cs.LG
An Integrated Data Processing Framework for Pretraining Foundation Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
本文提出一个集成数据处理框架，包含多粒度算子的处理模块与数据评估分析模块，并通过ChatGPT和GPT-2预训练验证了其提升数据质量的有效性。
2024-04-23 cs.CL cs.IR cs.LG
Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data
Yonsei University（延世大学）
提出 Gap-K% 方法，利用 LLM 的 top-1 预测与目标 token 的对数概率差距及滑动窗口策略，在 WikiMIA 和 MIMIR 基准上实现预训练数据检测的最优性能。
2026-05-29 cs.AI cs.CL cs.LG
Generating Datasets with Pretrained Language Models
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
为了从预训练的语言模型（PLM）中获得高质量的句子嵌入，它们必须使用额外的预训练目标进行增强，或者在大量标记文本对上进行微调。虽然后一种方法通常优于前者，但它需要大量的人力来生成足够大小的合适数据集。在本文中，我们展示了如何利用PLM来获得高质量的句子嵌入，而不需要标记数据，微调或修改预训练目标：我们利用大型和高性能PLM的生成能力从头开始生成标记文本对的整个数据集，然后我们使用这些数据集来微调更小，更有效的模型。我们的完全无监督方法在几个语义文本相似性数据集上的表现优于强基线。
2021-10-04 cs.CL cs.LG
Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；SynthLabs；Carnegie Mellon University（卡内基梅隆大学）
本文提出分布记忆概念和task-gram语言模型，通过统计预训练语料中n-gram共现频率，在Pythia模型上分析四项任务，发现记忆在知识密集型任务中作用更大，泛化是推理任务关键。
2025-03-02 cs.AI cs.CL cs.LG
Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Alberta（阿尔伯塔大学）；Purdue University Fort Wayne（普渡大学韦恩堡分校）
相似性分析是大多数功能磁共振成像研究的关键步骤之一。表征相似性分析（RSA）可以测量由不同认知状态产生的神经信号的相似性。本文开发了深度表征相似性学习（DRSL），这是RSA的深度扩展，适用于分析具有大量受试者的fMRI数据集中各种认知任务之间的相似性，以及高维性-例如全脑图像。与以前的方法不同，DRSL不受线性变换或受限固定非线性核函数（如高斯核）的限制。DRSL利用多层神经网络将神经响应映射到线性空间，该网络可以分别为每个受试者实现定制的非线性变换。此外，在DRSL中使用基于梯度的优化可以显着减少大型数据集上的分析运行时间，因为它在每次迭代中使用一批样本，而不是所有神经响应来找到最佳解决方案。多主题的fMRI数据集与各种任务的实证研究-包括视觉刺激，决策，风味，和工作记忆-证实，所提出的方法实现了优越的性能比其他国家的最先进的RSA算法。
2020-09-28 cs.AI cs.LG eess.IV
In-context Pretraining: Language Modeling Beyond Document Boundaries
Meta AI；University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
针对现有预训练中随机拼接文档无法提供跨文档预测信号的问题，提出In-Context Pretraining方法，通过近似算法排序相关文档构建连贯上下文，可扩展地显著提升大语言模型在多种复杂上下文推理任务上的性能。
2024-06-24 cs.AI cs.CL cs.LG
Sem4SAP: Synonymous Expression Mining From Open Knowledge Graph For Language Model Synonym-Aware Pretraining
Fudan University（复旦大学）；Fudan-Aishu Cognitive Intelligence Joint Research Center（复旦-爱数认知智能联合研究中心）
模型理解同义表达的能力在许多下游任务中至关重要。这将使模型能够更好地理解上下文之间的相似性，并且对同义词替换攻击具有更强的鲁棒性。然而，由于小规模同义词集和PLM预训练目标的限制，许多预训练的语言模型（PLM）缺乏同义词知识。在本文中，我们提出了一个名为Sem 4SAP的框架，从开放知识图谱（Open-KG）中挖掘同义词集，并使用挖掘出的同义词集对语言模型进行同义词感知的预训练。我们建议对Open-KG中的内容进行粗过滤，并使用频率信息来更好地帮助低资源无监督条件下的聚类过程。我们通过在同义表达式之间迁移核心语义来扩展所挖掘的同义词集。我们还提出了两种新颖有效的同义词感知预训练方法来将同义词知识注入PLM。大量的实验表明，Sem 4SAP在10个不同的任务上可以显着优于原始PLM和其他基线。
2023-03-25 cs.AI cs.CL
Robustification of Multilingual Language Models to Real-world Noise in Crosslingual Zero-shot Settings with Robust Contrastive Pretraining
University of Edinburgh（爱丁堡大学）；WS AI Labs（WS人工智能实验室）；New York University（纽约大学）
神经建模的进步已经在公共自然语言处理（NLP）基准测试中取得了最先进的（SOTA）结果，有时甚至超过了人类的表现。然而，在公共基准测试和真实世界的应用程序之间存在着差距，在真实世界的应用程序中，噪音（如排版或语法错误）非常丰富，可能导致性能下降。不幸的是，评估神经模型对噪声数据的鲁棒性并提出改进的工作仅限于英语。在分析不同语言中的噪音时，我们观察到不同语言中的噪音类型差异很大。因此，现有的调查并没有简单地推广到多语言环境。为了对预训练的多语言模型的性能进行基准测试，我们构建了涵盖五种语言和四个NLP任务的噪声数据集，并观察到zero-shot跨语言设置中干净数据和噪声数据之间的性能存在明显差距。在研究了几种提高多语言模型鲁棒性的方法之后，我们提出了鲁棒对比预训练（RCP）。RCP在预训练阶段将数据增强与对比损失项相结合，并在两个重复级别（+3.2%）和两个序列标记（+10 F1分数）的多语言分类任务中对噪声（和原始测试数据）进行了大幅改进。
2023-02-10 cs.AI cs.CL cs.LG
LangSAMP: Language-Script Aware Multilingual Pretraining
Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑莱茵河大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Bosch Center for Artificial Intelligence（博世人工智能中心）
提出LangSAMP方法，通过融合语言和文字嵌入增强多语言预训练，在500+语言上持续预训练XLM-R，提升零样本跨语言迁移性能，并可用于源语言选择。
2025-05-21 cs.CL
Scaling Laws for Downstream Task Performance of Large Language Models
Google Research（谷歌研究）；OpenAI（开放人工智能）；Stanford University（斯坦福大学）
本研究探讨了预训练数据规模和分布对齐对大语言模型下游任务性能的影响，揭示了扩展定律在迁移学习中的应用及翻译质量的预测方法。
2026-01-29 cs.CL cs.LG stat.ML
Target-Oriented Pretraining Data Selection via Neuron-Activated Graph
ByteDance（字节跳动）；UC Santa Cruz（加州大学圣克鲁兹分校）；UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出基于神经激活图的排名方法，通过选取高影响神经元构建NAG，提升目标导向预训练效果，实验显示在六个基准测试中平均提升4.9%，并在多目标设置中优于基线方法。
2026-04-17 cs.CL
Adaptation Odyssey in LLMs: Why Does Additional Pretraining Sometimes Fail to Improve?
Concordia University（康考迪亚大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Cohere For AI（Cohere人工智能项目）；Laval University（拉瓦尔大学）
本文实证研究了LLM额外预训练导致性能下降的现象，发现该下降与新旧预训练数据集的相似性正相关，且源于少数无信息量token的困惑度增加，为模型适应决策提供了指导。
2024-10-16 cs.AI cs.CL cs.LG
ViT-2SPN: Vision Transformer-based Dual-Stream Self-Supervised Pretraining Networks for Retinal OCT Classification
The University of Arizona（亚利桑那大学）；University of Arizona（亚利桑那大学）
提出ViT-2SPN框架，通过监督预训练、自监督预训练和监督微调三阶段流程，利用ViT-Base和负余弦相似度损失增强特征提取，在OCTMNIST数据集上实现高诊断准确率并优于现有方法。
2025-01-28 cs.AI cs.CV cs.LG
Gradient-based Representational Similarity Analysis with Searchlight for Analyzing fMRI Data
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
表征相似性分析（RSA）旨在探索不同刺激的神经活动之间的相似性。经典的RSA技术使用协方差矩阵的逆来探索神经活动和任务事件之间的线性模型。然而，计算大规模协方差矩阵的逆是耗时的，并且可以降低最终分析的稳定性和鲁棒性。值得注意的是，当样本数量太大时，它变得严重。针对这一缺点，本文提出了一种新的RSA算法--基于梯度的RSA算法（GRSA）。此外，所提出的方法不限于线性模型。事实上，人们越来越有兴趣找到更有效的方法来使用多学科和全脑功能磁共振成像数据。探照灯技术可以将RSA从局部脑区扩展到全脑区，每个过程占用的记忆空间较小。基于探照灯，我们提出了一种新的方法称为时空探照灯GRSA（SSL-GRSA），推广我们的基于ROI的GRSA算法的全脑数据。此外，我们的方法可以处理一些计算的挑战，同时处理大规模，多学科的功能磁共振成像数据。多主题数据集上的实验研究证实，这两种方法实现了优于其他国家的最先进的RSA算法的性能。
2018-09-12 cs.LG q-bio.NC stat.ML
Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE
Wuhan University（武汉大学）；JD Explore Academy, JD.com Inc.（京东集团京东探索研究院）；Beihang University（北京航空航天大学）
这份技术报告简要介绍了我们的JDExplore d-team在通用语言理解评估（GLUE）排行榜上提交的Vega v1，其中GLUE是九个自然语言理解任务的集合，包括问答、语言可接受性、情感分析、文本相似性、释义检测和自然语言推理。[方法]研究几种有效的策略，并选择其最佳组合设置作为训练配方。在模型结构上，我们采用了具有分离注意力的普通Transformer作为基本的块编码器。对于自监督训练，我们采用代表性的去噪目标（即，替换令牌检测）并将对比目标（即，句子嵌入对比学习）与其在阶段2中。在微调过程中，采用了一些先进的技术，如转导微调，自校准微调，对抗微调。[结果]根据我们的提交记录（2022年1月），通过我们优化的预训练和微调策略，我们的13亿模型在4/9的任务上设置了新的最先进水平，达到了91.3的最佳平均得分。令人鼓舞的是，我们的Vega v1是第一个在两项具有挑战性的任务上超越人类的强大性能，即，SST-2和WNLI。我们相信我们经验上成功的配方和一袋技巧可以为开发有效的区分大语言模型提供新的思路。
2023-02-18 cs.CL
Natural Context Drift Undermines the Natural Language Understanding of Large Language Models
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；Imperial College London, Imperial Global Singapore（伦敦帝国学院，帝国全球新加坡）
该研究提出框架整理自然演化的阅读段落变体并分析其与预训练内容的语义相似性，发现文本自然演化会导致大语言模型问答准确率显著下降，揭示了自然上下文漂移对LLM语言理解能力的挑战。
2025-09-01 cs.AI cs.CL
mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；Konrad Zuse School of Excellence in Reliable AI（康拉德·祖斯可靠人工智能卓越学院）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高级技术学院）；Unbabel（Unbabel公司）；Instituto de Telecomunicações（电信研究所）
本文提出mPLM-Sim语言相似性度量，利用多平行语料库从多语言预训练模型中归纳跨语言相似性，并证明其能比传统语言学度量更有效地选择源语言，提升零样本跨语言迁移性能1%-2%。
2024-07-05 cs.CL
Merging Continual Pretraining Models for Domain-Specialized LLMs: A Case Study in Finance
NARA Institute of Science and Technology（日本科学技术研究院）
针对LLM在金融等专业领域技能不足的问题，本研究提出合并持续预训练（CPT）专家模型作为替代方案，通过三阶段评估和三种合并方法验证，发现合并能有效恢复通用知识并产生跨领域涌现技能，为构建多技能LLM提供了首个基础性分析框架与指导。
2025-11-04 cs.CL
Rethinking Pretraining as a Bridge from ANNs to SNNs
Tsinghua University（清华大学）；Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所）
脉冲神经网络（SNN）以其丰富的神经元动力学特性、多样的编码方式和低功耗的特性被认为是一种典型的脑启发模型。如何获得高精度的神经网络模型一直是神经网络领域的主要挑战。目前，有两种主流方法，即，通过将训练良好的人工神经网络（ANN）转换为其SNN对应物或直接训练SNN来获得转换的SNN。然而，转换后的SNN的推理时间太长，而SNN训练通常非常昂贵且效率低下。在这项工作中，通过结合两种不同训练方法的概念，并借助预训练技术和基于BP的深度SNN训练机制，提出了一种新的SNN训练范式。我们相信，所提出的范例是训练SNN的更有效的管道。流水线包括用于静态数据传输任务的pipeS和用于动态数据传输任务的pipeD。SOTA结果是在大规模事件驱动数据集ES-ImageNet中获得的。对于训练加速，我们在ImageNet-1 K上使用1/10的训练时间，在ES-ImageNet上使用2/5的训练时间，实现了与类似的LIF-SNN相同（或更高）的最佳精度，并为新数据集ES-UCF 101提供了时间精度基准。这些实验结果揭示了神经网络和SNN之间的参数函数的相似性，也展示了SNN训练管道的各种潜在应用。
2022-03-04 cs.LG cs.NE
PriVi: Towards A General-Purpose Video Model For Primate Behavior In The Wild
PriVi通过数据驱动方法构建大规模灵长类视频预训练数据集，提升视频模型在低标签场景下的数据效率和泛化能力，优于现有方法。
2026-03-27 cs.CV cs.LG
Contrastive Visual Semantic Pretraining Magnifies the Semantics of Natural Language Representations
University of Washington（华盛顿大学）
我们研究对比视觉语义预训练的效果，通过比较GPT-2和CLIP（一个zero-shot多模态图像分类器，它适应GPT-2架构来编码图像字幕）形成的上下文化英语语言表示的几何和语义属性。我们发现，对比视觉语义预训练显着减轻了GPT-2的上下文词嵌入中发现的各向异性，使得CLIP词嵌入的层内自相似性（平均成对余弦相似性）在所有层中均低于0.25，而GPT-2的顶层大于0.95。CLIP词嵌入在词级语义内在评估任务上优于GPT-2，并在RG 65评估中达到了新的基于语料库的最新水平，为0.88。CLIP还形成了句子的细粒度语义表示，并在SemEval-2017语义文本相似性基准测试中获得了Spearman的rho = .73，没有进行微调，而GPT-2的任何层都不大于rho = .45。最后，CLIP句子嵌入的层内自相似性随着层索引的增加而降低，在顶层达到0.25，而使用EOS令牌形成的GPT-2句子嵌入的自相似性逐层增加，并且从未低于0.97。我们的研究结果表明，高各向异性是不是一个不可避免的后果的语境化，视觉语义预训练是有益的，不仅为有序的视觉表示，但也为编码有用的语义表示的语言，无论是在单词水平和句子水平。
2022-03-14 cs.AI cs.CL cs.CY
Hierarchical Pretraining for Biomedical Term Embeddings
Stanford University（斯坦福大学）；Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Alibaba Damo Academy（阿里巴巴达摩院）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
提出HiPrBERT模型，通过在包含分层结构的额外数据上微调并修改对比损失函数，有效捕捉生物医学术语间的分层相似度，生成信息量更大的语义嵌入。
2023-07-01 cs.AI cs.CL
A Supervised Contrastive Learning Pretrain-Finetune Approach for Time Series
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）；IBM Research, Thomas J. Watson Research Center（IBM研究部托马斯·J·沃森研究中心）
针对时间序列模型预训练知识迁移的挑战，提出一种基于监督对比学习的预训练-微调方法，利用概率相似度指标对齐数据动态以增强目标预测，实验验证了其有效性。
2023-11-21 cs.LG
Massively Multilingual Adversarial Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
我们报告了在多达100种语言上训练的多语言端到端语音识别模型的适应性。我们的研究结果揭示了目标语言和预训练语言之间的语音，音韵，语言家族，地理位置和正字法维度的相似性的相对重要性。在这种情况下，实验证明了两个额外的预训练目标的有效性，鼓励语言独立的编码器表示：一个上下文无关的音素目标配对的语言对抗分类目标。
2019-04-03 cs.CL cs.LG
Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity
Department of Computer Science and Engineering, The Ohio State University（计算机科学与工程系，俄亥俄州立大学）
本文通过简单余弦相似度分析Transformer逐层表示相似性，提出对齐训练方法增强浅层有效性，实现单分类器多出口模型，性能与标准多出口架构相当。
2025-05-22 cs.AI cs.CL cs.CV
Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯坦福大学）
本文分析ASV嵌入在说话人相似度评估中的局限，指出其偏重静态特征而忽略动态节奏，并提出U3D指标以改进语音克隆中的身份一致性评估。
2025-07-02 cs.CL cs.LG cs.SD
Utilizing Language-Image Pretraining for Efficient and Robust Bilingual Word Alignment
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
没有平行语料库的单词翻译已经变得可行，可以与监督方法的性能相媲美。最近的研究结果表明，无监督单词翻译（UWT）的准确性和鲁棒性可以通过使用视觉观察来提高，视觉观察是跨语言的通用表示。在这项工作中，我们研究了不仅使用视觉观察，而且使用预训练的语言图像模型来实现更有效和更强大的UWT的潜力。具体来说，我们开发了一种新的UWT方法，称为使用图像预训练的单词对齐（WALIP），该方法通过CLIP模型提供的图像和文本的共享嵌入空间利用视觉观察（Radford等人，2021年）。WALIP有两个步骤。首先，我们检索词对相似性的高置信度，计算使用我们提出的基于图像的指纹，它定义了单词对齐的初始枢轴。其次，我们应用我们的鲁棒的Procrustes算法来估计两个嵌入空间之间的线性映射，迭代地校正和细化估计的对齐。我们广泛的实验表明，WALIP提高了双语词对齐的最先进的性能，为几个语言对在不同的词嵌入，并显示出很大的鲁棒性的语言对或训练语料库的两个词嵌入的相异。
2022-11-07 cs.CL cs.LG
CyCLIP: Cyclic Contrastive Language-Image Pretraining
UCLA（加州大学洛杉矶分校）；Adobe Systems（奥多比系统公司）；Adobe Research（奥多比研究院）
最近在成对图像-文本数据上的对比表示学习的进展已经导致了诸如CLIP的模型，其实现了zero-shot分类和分布鲁棒性的最新性能。这种模型通常需要在图像和文本表示空间中进行联合推理，以完成下游推理任务。与先前的信念相反，我们证明了通过标准对比目标学习的图像和文本表示是不可互换的，并且可能导致不一致的下游预测。为了缓解这个问题，我们正式一致性，并提出了CyCLIP，一个框架的对比表示学习，明确优化的学习表示是几何一致的图像和文本空间。特别是，我们表明，一致的表示可以通过明确对称（a）两个不匹配的图像-文本对之间的相似性（跨模态一致性）;和（b）图像-图像对和文本-文本对之间的相似性（模态一致性）。从经验上讲，我们表明，在CyCLIP中的改进的一致性转化为显着的增益CLIP，增益范围从10%-24%的zero-shot分类精度标准基准（CIFAR-10，CIFAR-100，ImageNet 1 K）和10%-27%的鲁棒性，以各种自然分布偏移。该代码可在https://github.com/goel-shashank/CyCLIP上获得。
2022-10-26 cs.CV cs.LG
Compositional generalization in semantic parsing with pretrained transformers
New York University（纽约大学）
大规模的预训练将大量的知识灌输到深度神经网络中。这反过来又改善了这些模型在下游任务中的泛化行为。大规模预训练的泛化优势究竟有哪些限制？在这里，我们报告的意见，从一些简单的实验，旨在解决这个问题的背景下，涉及自然语言，扫描和COGS的两个语义解析任务。我们发现，与从头开始训练的模型相比，专门用非英语语料库，甚至用程序设计语言语料库预训练的语言模型在这些基准测试中显着提高了分布外泛化，即使这两个基准测试都是基于英语的。这证明了预先训练的表示和知识具有惊人的广泛可移植性。另一方面，使用大规模蛋白质序列预测任务进行预训练主要会恶化SCAN和COGS中的泛化性能，这表明预训练的表示不会普遍转移，并且预训练和下游域之间的相似性存在限制，以便成功转移。最后，我们表明，较大的模型更难从头开始训练，并且在相对较小的SCAN和COGS数据集上训练收敛时，其泛化精度较低，但大规模预训练的好处在较大的模型中变得更加清晰。
2022-12-22 cs.CL cs.LG cs.NE
On the Importance of Pretraining Data Alignment for Atomic Property Prediction
King Abdullah University of Science and Technology (KAUST)（国王阿卜杜勒-阿齐兹大学科学与技术学院）
本文发现，通过精心选择的任务对齐数据集预训练，可提升原子性质预测的性能，且比大规模混合数据集预训练更有效。
2026-01-30 cs.AI cs.LG
Agglomerative Clustering of Handwritten Numerals to Determine Similarity of Different Languages
Khulna University of Engineering & Technology（库尔纳工程技术大学）
不同语言的手写数字具有不同的特点。通过分析提取的数词特征，可以衡量语言的相似性和差异性。手写数字数据集可用于不同地区的许多知名语言。本文收集了几种不同语言的手写体数字数据集。然后通过确定和比较各个手写数字的相似性来寻找这些书面语言之间的相似性。这将有助于找到哪些语言具有相同或相邻的母语言。首先，用一个连体网络构造两幅数字图像的相似性度量。其次，利用Siamese网络和一个新的随机样本，采用替换相似性平均技术，确定数字数据集的相似性。最后，基于每个数据集的相似性进行凝聚聚类。这种聚类技术显示了数据集的一些非常有趣的特性。本文所关注的属性是数据集的区域相似性。通过分析聚类，可以很容易地识别哪些语言起源于相似的地区。
2020-11-22 cs.CL cs.CV cs.LG
Analysis of Atom-level pretraining with Quantum Mechanics (QM) data for Graph Neural Networks Molecular property models
Janssen Research & Development（杨森研发公司）；Janssen Pharmaceutica NV（杨森制药公司 NV）
本研究分析原子级QM预训练对图神经网络分子性质模型的影响，证明其能缓解分布偏移，提升泛化性能，并首次比较了分子级与原子级预训练的效果。
2024-05-27 cs.LG physics.chem-ph quant-ph
Nexus: Same Pretraining Loss, Better Downstream Generalization via Common Minima
Tsinghua University（清华大学）
本文提出Nexus优化器，通过最大化梯度相似性促使不同数据源的损失函数极小值靠近，在保持相同预训练损失的情况下显著提升下游泛化性能。
2026-11-06 cs.LG
No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance
Tübingen AI Center（蒂宾根人工智能中心）；University of Tübingen（蒂宾根大学）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
该研究探究多模态模型下游性能与预训练概念频率的关系，发现其需指数级数据才能实现线性性能提升，长尾表现差，质疑现有“零样本”泛化的真实性并贡献了相关基准。
2024-10-29 cs.CL cs.CV cs.LG
FaultFormer: Pretraining Transformers for Adaptable Bearing Fault Classification
Carnegie Mellon University（卡内基梅隆大学）
提出基于transformer的自监督预训练与微调框架FaultFormer，通过tokenization和数据增强策略解决轴承故障分类中数据稀缺与泛化能力不足的问题，实现跨数据集的one-shot泛化。
2024-05-29 cs.LG eess.SP
Analyzing the Forgetting Problem in the Pretrain-Finetuning of Dialogue Response Models
MIT（麻省理工学院）；Facebook（脸书）；New York University（纽约大学）
在这项工作中，我们研究了预训练微调框架中的微调阶段如何改变预训练神经语言生成器的行为。我们专注于Transformer编码器-解码器模型的开放域对话响应生成任务。我们的主要发现是，在标准的微调之后，模型忘记了在大规模预训练期间获得的一些重要的语言生成技能。我们通过一系列详细的行为分析，从知识转移，上下文敏感性和功能空间投影的角度来证明遗忘现象。作为缓解遗忘问题的初步尝试，我们提出了一个直观的微调策略命名为“混合审查”。我们发现，混合复习有效地规范了微调过程，遗忘问题在一定程度上得到了缓解。最后，我们讨论了有趣的行为的对话模型及其影响。
2021-01-16 cs.AI cs.CL cs.LG
Weighted Point Set Embedding for Multimodal Contrastive Learning Toward Optimal Similarity Metric
Sony AI（索尼人工智能）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）；Sony Group Corporation（索尼集团公司）
针对单点表示难以捕捉实例相似度结构的问题，提出加权点集嵌入方法，通过理论证明其能实现最优相似度并在下游分类任务中降低超额风险。
2025-03-03 cs.LG
Is Large-Scale Pretraining the Secret to Good Domain Generalization?
Boston University（波士顿大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文提出对齐假设，认为域泛化性能取决于预训练中图像与文本嵌入的对齐程度，并通过划分预训练内外数据验证了现有方法的局限，强调需超越预训练对齐的泛化方法。
2025-04-22 cs.CV cs.LG
Pretraining on Call Graphs: When Binary Analysis Tasks Profit From Context
Ludwig-Maximilians-Universität München（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Center for Digital Technology and Management（数字技术与管理中心）
本研究探究调用图对二进制分析任务的影响，发现结合过程间上下文可提升嵌入鲁棒性但未必泛化到下游任务，且对命名空间相关函数更有益。
2026-08-04 cs.CR cs.LG cs.SE
Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test
Department of Computer Science, University of Maryland, College Park（计算机科学系，马里兰大学，学院公园）
本文研究了LLM预训练中“Grokking”现象，通过分析训练数据路径的动态变化，提出两种新度量标准以监控模型泛化能力，无需额外成本。
2026-02-03 cs.LG
TS3IM: Unveiling Structural Similarity in Time Series through Image Similarity Assessment Insights
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）
本文提出受SSIM启发的TS3IM指标，从趋势、可变性和结构完整性多维度量时间序列相似性，实验显示其更贴近DTW并显著提升对抗识别性能。
2024-05-10 cs.CV cs.LG
MoCo-Transfer: Investigating out-of-distribution contrastive learning for limited-data domains
Carnegie Mellon University（卡内基梅隆大学）
本文研究在有限数据领域下，利用分布外数据进行MoCo对比预训练并迁移表征的收益，发现相关领域预训练优于ImageNet，并初步提出数据集相似度量化方法。
2023-11-15 cs.CV cs.LG
Scale Dependent Data Duplication
Department of Statistics, Stanford University；AI4Science, EPFL；Department of Computer Science, Stanford University；ServiceNow Research；Department of XXX, University of YYY, Location, Country；School of ZZZ, Institute of WWW, Location, Country；École Polytechnique F\'ed\'erale de Lausanne (EPFL), CH-1015 Lausanne, Switzerland
研究发现数据复制在不同规模下表现不同，模型能力提升导致语义相似性梯度一致，大规模下语义碰撞加速，提出明确的规模定律以提高预测准确性。
2026-02-18 cs.AI cs.LG
Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning
Simon Fraser University（西蒙弗雷泽大学）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；International Computer Science Institute（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）
本文提出一种用于偏微分方程算子学习的无监督预训练与上下文学习方法，通过挖掘无标签数据并利用物理启发代理任务预训练神经算子，显著提升了数据效率与分布外泛化能力。
2025-06-02 cs.LG stat.ML
Data-Efficient Sleep Staging with Synthetic Time Series Pretraining
Department of Medical Engineering and Technomathematics, FH Aachen University of Applied Sciences（弗劳恩霍夫亚琛应用科学大学医学工程与技术数学系）；Department of Information and Computing Sciences, Utrecht University（乌得勒支大学信息与计算科学系）；Institute for Data-Driven Technologies, FH Aachen University of Applied Sciences（弗劳恩霍夫亚琛应用科学大学数据驱动技术研究所）
提出“频率预训练”任务，通过预测合成时间序列的频率内容来预训练睡眠分期网络，在数据或受试者有限的场景中优于全监督学习，并揭示了频率信息与频率外信息对睡眠分期的重要性。
2025-09-17 cs.LG q-bio.QM
Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining
The Ohio State University（俄亥俄州立大学）；Technical University of Munich（慕尼黑工业大学）；IBM Research（IBM研究院）；University of Toronto（多伦多大学）
针对LLM预训练中样本权重未动态调整的问题，提出基于损失的动态实例级重加权算法，通过在线调整样本权重聚焦重要样本，经理论分析和实证验证，可提升预训练效率与性能。
2025-02-10 cs.AI cs.LG
Theoretical Refinement of CLIP by Utilizing Linear Structure of Optimal Similarity
The University of Tokyo（东京大学）；Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文提出KME-CLIP，利用再生核希尔伯特空间内积近似逐点互信息，改进CLIP相似性计算，理论保证精度，实验优于标准CLIP。
2026-09-29 cs.LG cs.NA math.NA
Methods for Computing Legal Document Similarity: A Comparative Study
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Tata Research Development and Design Centre (TRDDC)（塔塔研究开发与设计中心（TRDDC））；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Cyber Security CRC（网络安全合作研究中心）
计算法律文本之间的相似度是法律信息检索领域中一个重要而又具有挑战性的课题。发现相似的法律文档在下游任务中有许多应用，包括先前案例检索、法律文章推荐等。先前的工作已经提出了两种广泛的测量法律文档之间相似性的方法-分析先例引文网络和基于文本内容相似性度量来测量相似性。但是还没有在一个共同的平台上对这些现有方法进行全面的比较。在本文中，我们执行现有的方法的第一个系统的分析。此外，我们还探索了两种有前途的新的相似度计算方法-一种是基于文本的，另一种是基于网络嵌入的，这是迄今为止还没有考虑过的。
2020-04-26 cs.CL cs.IR cs.LG
Context-self contrastive pretraining for crop type semantic segmentation
提出上下文自对比损失（CSCL）预训练方案，解决卫星图像时间序列中作物类型语义分割的地块边界性能瓶颈，并发布最大密集标注数据集，提升超分辨率分割性能。
2024-02-05 cs.CV cs.LG
