Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs
Technion – Israel Institute of Technology(以色列技术学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出一种两步因果实验方法,通过多次微调和交叉微调分离训练随机性、预训练与微调对LLMs认知偏差的影响,发现偏差主要由预训练塑造,为评估和缓解偏差提供了新视角。
2025-07-12 cs.AI cs.CL cs.LG
MAGMA -- Multimodal Augmentation of Generative Models through Adapter-based Finetuning
Aleph Alpha;Heidelberg University(海德堡大学)
大规模的预训练正在迅速成为视觉语言(VL)建模的标准。然而,流行的VL方法受到对标记数据的要求和使用复杂的多步预训练目标的限制。我们提出了MAGMA -一种简单的方法,用于增强生成语言模型与其他形式,使用基于适配器的微调。在Frozen的基础上,我们训练了一系列VL模型,这些模型可以从视觉和文本输入的任意组合中自动生成文本。预训练完全是端到端的,使用单一的语言建模目标,与以前的方法相比简化了优化。重要的是,语言模型权重在训练过程中保持不变,允许从语言预训练中转移语言知识和上下文学习能力。MAGMA在开放式生成任务上的表现优于Frozen,在OKVQA基准测试中获得了最先进的结果,在一系列其他流行的VL基准测试中获得了有竞争力的结果,同时在用于训练SimVLM的样本数量的0.2%上进行了预训练。
2022-10-24 cs.CL cs.CV
Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge
University of Southern California(南加州大学);University of British Columbia(不列颠哥伦比亚大学);Flatiron Institute(Flatiron研究所)
本文研究了Transformer模型在上下文学习中如何通过微调实现对预训练知识的推理,探讨了预训练和微调对上下文回忆能力的影响及机制。
2026-03-21 cs.CL cs.LG
Chameleon: A Flexible Data-mixing Framework for Language Model Pretraining and Finetuning
提出数据混合框架 Chameleon,利用杠杆分数量化领域重要性,实现高效预训练与微调,在适应新数据时无需重训练即可提升性能。
2025-05-30 cs.CL cs.LG
An Experimental Study on Pretraining Transformers from Scratch for IR
Naver Labs Europe(NAVER 欧洲实验室)
自从几年前取得突破性的效果以来,对IR的预训练语言模型(PLM)进行微调已经成为事实上的标准实践。但是,这种方法是否得到了很好的理解?在本文中,我们研究了预训练收集对最终IR效果的影响。特别是,我们挑战了目前的假设,即PLM应在足够大的通用集合上进行训练,我们表明,从零开始对感兴趣的集合进行预训练与目前的方法相比具有惊人的竞争力。我们基准第一阶段的排名排序器和交叉编码器重新排名的任务,一般通过检索MSMARCO,先生,Tydi阿拉伯语,日语和俄语,和TripClick的特定领域。与流行的观点相反,我们表明,对于微调第一阶段的排名,仅在其集合上预训练的模型与更一般的模型相比具有等同或更好的有效性。然而,对于只在目标集合上进行预训练的重新排序器,效率略有下降。总的来说,我们的研究揭示了预训练集合的作用,应该让我们的社区思考通过从头开始预训练来构建专业模型。最后但并非最不重要的是,这样做可以更好地控制效率,数据偏差和可复制性,这是IR社区的关键研究问题。
2023-01-25 cs.CL cs.IR
CodePMP: Scalable Preference Model Pretraining for Large Language Model Reasoning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Xiaohongshu Inc(小红书公司)
提出可扩展偏好模型预训练流程CodePMP,利用大规模合成代码偏好对预训练奖励模型,有效缓解高质量偏好数据稀缺问题,显著提升大型语言模型在数学与逻辑推理任务上的性能。
2025-05-29 cs.AI cs.CL
Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers
Carnegie Mellon University(卡内基梅隆大学)
文本到文本Transformers在多任务迁移学习任务中取得了显着的成功,特别是在自然语言处理(NLP)中。然而,虽然已经有几次尝试在不同的域上训练Transformers,但是这些域之间通常有明确的关系,例如,代码摘要,其中自然语言摘要描述代码。很少有人尝试研究多任务迁移学习如何在不同领域的任务上发挥作用。在这个项目中,我们使用多域文本到文本转换Transformers(MD-T5)在两个域(Python Code和Chess)的四个任务上研究了多域多任务学习的行为。我们使用三种流行的训练策略进行了广泛的实验:Bert风格的联合预训练+连续微调,GPT风格的联合预训练+连续微调,以及GPT风格的联合预训练+联合微调。此外,我们还根据四个指标对模型进行了评估- Play Score,Eval Score,BLEU Score和Multi-Domain Learning Score(MDLS)。这些指标衡量各种任务和多领域学习的性能。我们发现,虽然负知识转移和灾难性遗忘对所有模型来说仍然是相当大的挑战,但GPT风格的联合预训练+联合微调策略在多领域,多任务学习中表现最好,因为它在所有四个任务中表现良好,同时仍然保持其多领域知识。
2022-09-21 cs.CL cs.LG
ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality
MIT(麻省理工学院);University of Washington(华盛顿大学);Stanford University(斯坦福大学);Google Cloud AI(谷歌云人工智能);Google DeepMind(谷歌DeepMind)
ATLAS提出了一种适应性迁移缩放定律,用于多语言预训练、微调和解码,解决了多语言学习中的性能瓶颈和计算优化问题。
2026-02-25 cs.CL cs.LG
Sparse Upcycling: Inference Inefficient Finetuning
Databricks(达特睿奇科技)
本研究比较了将稠密模型转为 MoE 架构的 Sparse Upcycling 与持续预训练的效果,发现前者质量提升超 20%,但会导致约 40% 的推理速度下降,揭示了质量与效率的权衡。
2024-11-13 cs.CL cs.LG
Small or Large? Zero-Shot or Finetuned? Guiding Language Model Choice for Specialized Applications in Healthcare
British Columbia Cancer Registry Provincial Health Services Authority(不列颠哥伦比亚省癌症登记处省级卫生服务局);Data Science Institute University of British Columbia(数据科学研究所不列颠哥伦比亚大学)
本研究通过病理报告分类任务,比较微调与零样本、小模型与大模型,发现微调的小语言模型在特定任务上超越零样本大模型,且领域预训练有额外优势。
2025-09-24 cs.AI cs.CL cs.LG
FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing
Columbia University(哥伦比亚大学);Shanghai University(上海大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 FinGPT-HPC,通过低秩结构替换线性层并结合 8 位/4 位量化,在金融 LLM 预训练中实现 1.3 倍加速与 2.64 倍压缩,微调精度提升最高 24%,模型小于 0.59 GB 可在手机端推理。
2024-02-21 cs.AI cs.CL cs.DC
Are we pretraining it right? Digging deeper into visio-linguistic pretraining
Facebook AI Research(Facebook人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
最近的许多工作都提出了预训练通用的非语言表征,然后对它们进行微调,以用于下游的视觉和语言任务。虽然架构和目标函数的设计选择受到了关注,但预训练数据集的选择却很少受到关注。在这项工作中,我们的问题,在文学的一些默认的选择。例如,我们系统地研究了预训练数据集域(文本和视觉)与下游域之间的不同相似性如何影响性能。令人惊讶的是,我们表明,自动生成的数据在一个域更接近下游任务(例如,VQA v2)是比“自然”数据更好的预训练选择,但域略有不同(例如,概念字幕)。另一方面,一些看似合理的预训练数据集的选择被发现对一些下游任务完全无效。这表明,尽管最近做出了许多努力,但视觉和语言预训练还没有完全“开箱即用”。总的来说,作为我们研究的副产品,我们发现预训练中的简单设计选择可以帮助我们在下游任务中实现接近最先进的结果,而无需任何架构更改。
2020-04-19 cs.CL cs.CV
Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings
Sakana AI;University of Oxford(牛津大学)
通过删除预训练语言模型的位置嵌入,实现无需长上下文微调的零样本上下文扩展,提升语言模型的泛化能力。
2025-12-13 cs.AI cs.CL
Investigating the 'Autoencoder Behavior' in Speech Self-Supervised Models: a focus on HuBERT's Pretraining
Orange(Orange公司)
本研究聚焦HuBERT预训练,探究语音自监督模型的“自编码器”行为,通过分析影响因素优化训练流程与顶层网络,实现了更快收敛及下游任务的竞争性性能。
2024-05-14 cs.CL
Downstream Datasets Make Surprisingly Good Pretraining Corpora
Carnegie Mellon University(卡内基梅隆大学)
本文通过大规模自预训练实验证明,使用下游数据同时进行预训练和微调可在多个分类及结构化预测任务上媲美甚至超越BookWiki标准预训练,表明预训练目标本身而非海量外部数据是性能提升的关键。
2023-05-26 cs.CL cs.LG
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型,例如wav 2 vec 2.0和HuBERT,已经对自动语音识别(ASR)的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显,当使用可用的标记数据进行微调时。然而,微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中,我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练(CoPT)。CoPT比半监督训练(SST)更有效,半监督训练是在ASR中利用未标记数据的标准方法,因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率(WERs)的结果,等于或略优于使用SST。此外,我们表明,使用CoPT模型的伪标签,并使用这些标签在SST中,结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
GEITje 7B Ultra: A Conversational Model for Dutch
KU Leuven(鲁汶大学);Dutch Language Institute(荷兰语言研究所)
针对语言模型多聚焦英语、忽视其他语言的问题,本研究以源自Mistral 7B的荷兰语模型GEITje为基础,通过合成对话数据集监督微调与反馈数据集偏好对齐,扩展其能力并公开模型与数据集。
2024-12-05 cs.CL
MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models
Massachusetts Institute of Technology(麻省理工学院)
该研究提出MIDI-LLM,通过适配Llama 3.2(1B)采用两阶段训练改进文本到MIDI生成,在用户研究中证实其在人机音乐协同创作中的有效性。
2026-08-05 cs.CL cs.MM cs.SD
Crossing Linguistic Horizons: Finetuning and Comprehensive Evaluation of Vietnamese Large Language Models
Stanford University(斯坦福大学);Ho Chi Minh City University of Technology(胡志明市技术大学);VNU-HCM(胡志明市国家大学)
针对越南语微调LLMs,构建含10任务31指标的综合评估框架,发现微调提升越南语能力,但参数增多带来偏差,数据集质量是关键。
2024-05-26 cs.AI cs.CL
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance(字节跳动)
本文提出利用IPA多语言模型生成帧级伪标签,以音素信息指导方式引导HuBERT预训练,在低资源ASR任务中持续优于标准HuBERT,节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS