Prox: Training-Free FFN Activation Sparsity via Approximate Intermediate-Channel Salience in LLMs
Prox是一种两阶段无训练的SwiGLU前馈网络激活稀疏化框架，通过近似中间通道显著性构建掩码，在多类大语言模型上实现了优于基线的性能与解码加速，且兼容量化和稀疏注意力。
2026-07-31 cs.CL cs.LG
Studying Strategically: Learning to Mask for Closed-book QA
Facebook AI（脸书人工智能研究院）；University of Southern California（南加州大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
闭卷问答（QA）是一项具有挑战性的任务，它需要一个模型来直接回答问题，而无需访问外部知识。已经表明，直接微调预训练的语言模型与（问题，答案）的例子产生了令人惊讶的竞争力的性能，这是进一步提高通过添加一个中间的预训练阶段之间的一般预训练和微调。之前的工作在这个中间阶段使用了启发式方法，其中命名的实体和日期被屏蔽，模型被训练来恢复这些标记。在本文中，我们的目标是学习中间预训练阶段的最佳掩蔽策略。我们首先训练我们的掩蔽策略，以使用下游任务本身的监督来提取可能要测试的跨度，然后在中间预训练期间部署学到的策略。因此，我们的策略将任务相关的知识打包到语言模型的参数中。我们的方法在TriviaQA上特别有效，当用于预训练BART时，它的性能优于强大的算法。
2021-01-01 cs.AI cs.CL
Does Representation Matter? Exploring Intermediate Layers in Large Language Models
Mila（米拉研究所）；New York University（纽约大学）；Meta FAIR；University of Kentucky（肯塔基大学）
该研究探索大语言模型中间层表征质量，发现中间层表征对下游任务更具信息量，通过多指标实证揭示架构差异、训练演化及影响因素，为模型架构优化和训练提供指导。
2024-12-12 cs.CL cs.LG
BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies?
Cardiff University（卡迪夫大学）
类比在人类的常识推理中起着核心作用。识别类比的能力，如“眼睛是看什么耳朵是听”，有时被称为类比比例，塑造我们如何构建知识和理解语言。然而，令人惊讶的是，在语言模型时代，识别这种类比的任务还没有得到太多的关注。在本文中，我们分析了基于transformer的语言模型在这个无监督任务上的能力，使用从教育环境中获得的基准，以及更常用的数据集。我们发现，现成的语言模型可以在一定程度上识别类比，但挣扎与抽象和复杂的关系，结果是高度敏感的模型架构和超参数。总体而言，使用GPT-2和RoBERTa获得了最佳结果，而使用BERT的配置无法优于词嵌入模型。我们的研究结果为未来的工作提出了重要的问题，即预训练的语言模型如何以及在多大程度上捕获关于抽象语义关系的知识。
2022-09-09 cs.CL cs.LG
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University（台湾大学）
近年来，预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发，大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素，但经常被随意讨论。因此，本文对主流的预训练Transformers的职位嵌入进行了实证研究，主要关注两个问题：1）职位嵌入是否真的学习了职位的含义？2)这些不同的学习位置嵌入如何影响NLP任务的Transformers？本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验，为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作，选择合适的位置编码功能，为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
Masked Self-Distillation: Internalizing the Chain-of-Thought in Language Models
SCAI, Arizona State University（亚利桑那州立大学计算与增强智能学院）
研究能否将大型推理模型中间步骤计算内化到语言模型参数中，提出掩码蒸馏框架，在自我蒸馏和双模型设置中实例化，并改变中间令牌支架长度，通过实验在GSM8K和Countdown推理领域进行评估。
2026-10-02 cs.AI cs.CL
What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference
East China Normal University（华东师范大学）；RMIT University（皇家墨尔本理工大学）
提出ActInv方法解决中间激活匹配问题以重建客户端输入，并引入扰动放大因子（PAF）量化层固有抗重建能力，揭示隐私脆弱性在层间不均匀分布，进而设计PriPert防御策略。
2026-05-22 cs.CL cs.CR cs.LG
Revisiting Intermediate Layer Distillation for Compressing Language Models: An Overfitting Perspective
KAIST（韩国科学技术院）
知识蒸馏（KD）是一种非常有前途的方法，用于减轻预训练语言模型（PLM）的计算问题。在各种KD方法中，中间层蒸馏（ILD）已成为NLP领域的事实标准KD方法。在本文中，我们发现现有的ILD方法容易过拟合训练数据集，尽管这些方法比原始KD传递更多的信息。接下来，我们提出了一些简单的观察来减轻ILD的过拟合：只提取最后一个Transformer层，并在补充任务上进行ILD。基于我们的两个发现，我们提出了一个简单而有效的一致性正则化ILD（CR-ILD），它可以防止学生模型过度拟合训练数据集。在GLUE基准数据集和多个合成数据集上提取BERT的大量实验表明，我们提出的ILD方法优于其他KD技术。我们的代码可在https://github.com/jongwooko/CR-ILD上获得。
2023-02-03 cs.AI cs.CL cs.LG
English Intermediate-Task Training Improves Zero-Shot Cross-Lingual Transfer Too
New York University（纽约大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）
中间任务训练-在目标任务上再次微调之前，在中间任务上微调预训练的模型-通常会大大提高单语英语设置中语言理解任务的模型性能。我们研究了英语中介任务训练是否对非英语目标任务仍然有帮助。使用九个中间语言理解任务，我们评估中间任务转移在XTREME基准测试的zero-shot跨语言设置。我们看到BUCC和Tatoeba句子检索任务的中级训练有很大的改善，而问答目标任务有适度的改善。MNLI，SQuAD和HellaSwag作为中间任务实现了最佳的整体结果，而多任务中间任务提供了小的额外改进。使用我们针对每个目标任务的最佳中间任务模型，我们在XTREME基准测试中获得了超过XLM-R Large的5.4点改进，设定了截至2020年6月的最新技术水平。我们还研究了在中间任务训练和使用机器翻译的中间任务数据期间继续进行多语言MLM，但两者都不总是优于简单地执行英语中间任务训练。
2020-09-30 cs.CL
Unlocking Compositional Generalization in Pre-trained Models Using Intermediate Representations
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
序列到序列（seq2seq）模型在语义解析中很流行，但已经发现在分布外的组合泛化方面很困难。虽然已经提出了专门的模型架构和seq2seq模型的预训练来解决这个问题，但前者通常以通用性为代价，而后者只显示出有限的成功。在本文中，我们研究了中间表示对预训练seq2seq模型中组合泛化的影响，而根本不改变模型架构，并确定了设计有效表示的关键方面。我们不是训练直接将自然语言映射到可执行形式，而是映射到与自然语言具有更强结构对应性的可逆或有损中间表示。我们提出的中间表示和预训练模型的组合令人惊讶地有效，其中最佳组合在CFQ（+14.8准确度点）和三个文本到SQL数据集的模板分割（+15.0到+19.4准确度点）上获得了新的最先进水平。这项工作强调，中间表示提供了一个重要的，可能被忽视的自由度，以提高预训练seq2seq模型的组合泛化能力。
2021-04-15 cs.CL
The (In)Effectiveness of Intermediate Task Training For Domain Adaptation and Cross-Lingual Transfer Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
从大语言模型（LLM）的迁移学习已经成为一种强大的技术，可以为许多任务进行基于知识的微调，为不同的领域甚至语言调整模型。然而，迁移学习是否以及何时起作用，即导致正迁移还是负迁移，仍然是一个悬而未决的问题。在本文中，我们分析了三个自然语言处理（NLP）任务-文本分类，情感分析和句子相似性，使用三个LLM- BERT，RoBERTa和XLNet -并分析其性能，通过微调目标数据集的域和跨语言适应任务，有和没有中间任务训练更大的数据集。我们的实验表明，在没有中间任务训练的情况下进行微调可以使大多数任务的性能更好，而更一般化的任务可能需要预先进行中间任务训练步骤。我们希望这项工作将作为迁移学习的NLP从业者的指南。
2022-11-04 cs.CL
TAPAS at SemEval-2021 Task 9: Reasoning over tables with intermediate pre-training
Google Research, Zürich（谷歌研究院（苏黎世））
我们介绍了TAPAS对使用表格进行声明验证和证据发现的共享任务的贡献（SemEval 2021任务9，Wang等人（2021））。SEM TAB FACT任务A是一个分类任务，识别一个陈述是否被给定表格的内容所包含，中性或反驳。我们采用Eisenschlos et al.（2020）的二元TAPAS模型来完成这项任务。我们学习了两个二元分类模型：第一个模型预测一个语句是中性的还是非中性的，第二个模型预测它是蕴含的还是反驳的。由于共享任务训练集只包含蕴涵或反驳的例子，我们生成人工中性的例子来训练第一个模型。两个模型都使用MASKLM目标、中间反事实和合成数据进行预训练（Eisenschlos等人，2020）和TABBACT（Chen等人，2020年），一个大表蕴涵数据集。我们发现，人工中性示例在训练第一个模型时有些有效，达到68.03的测试F1，而大多数基线为60.47。对于第二阶段，我们发现中间数据和TABBACT的预训练比MASKLM预训练改善了结果（68.03 vs 57.01）。
2021-04-02 cs.CL
Does QA-based intermediate training help fine-tuning language models for text classification?
RMIT University（皇家墨尔本理工大学）
为下游任务微调预训练的语言模型已经成为NLP的规范。近年来研究发现，基于高级推理任务（如问答）的中间训练可以提高目标任务的某些语言模型的性能。然而，目前尚不清楚中间训练是否普遍有益于各种语言模型。在本文中，使用SQuAD-2.0 QA任务的目标文本分类任务的中间训练，我们实验了8个任务的单序列分类和8个任务的序列对分类使用两个基地和两个紧凑的语言模型。我们的实验表明，基于QA的中间训练产生不同的迁移性能在不同的语言模型，除了类似的QA任务。
2021-12-30 cs.AI cs.CL
SPARQLing Database Queries from Intermediate Question Decompositions
HSE University（高等经济大学）；Yandex（杨德克斯）
为了将自然语言问题转换为可执行的数据库查询，大多数方法依赖于完全注释的训练集。使用查询注释大型数据集是困难的，因为它需要查询语言专业知识。我们减少这种负担，使用接地在数据库中间的问题表示。这些表示更容易收集，并且最初在Break数据集中众包（Wolfson等人，2020年）。我们的管道由两部分组成：一个神经语义解析器，它将自然语言问题转换为中间表示和一个不可训练的转译器SPARQL查询语言（一种访问知识图谱和语义Web的标准语言）。我们选择SPARQL是因为它的查询在结构上更接近我们的中间表示（与SQL相比）。我们观察到，我们的模型在具有挑战性的Spider数据集上构建的查询的执行准确性与使用注释SQL查询训练的最先进的文本到SQL方法相当。我们的代码和数据是公开的（请参阅https：//github.com/yandex-research/sparqling-queries）。
2022-05-31 cs.CL
Applying Occam's Razor to Transformer-Based Dependency Parsing: What Works, What Doesn't, and What is Really Necessary
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）
预训练的基于transformer的上下文化词嵌入的引入已经导致了通用语法（UD）等框架的基于图的解析器的准确性的显著提高。然而，以前的作品在各个方面都有所不同，包括他们对预训练语言模型的选择以及他们是否使用LSTM层。为了解开这些选择的影响，并确定一个简单而广泛适用的体系结构，我们介绍了STEPS，一个新的模块化的基于图的依赖解析器。使用STEPS，我们进行了一系列的分析UD语料库的一组不同的语言。我们发现，到目前为止，预训练嵌入的选择对解析器性能的影响最大，并在我们的研究中将XLM-R确定为跨语言的鲁棒选择。在使用基于transformer的嵌入时，添加LSTM层没有任何好处。输出附加UD特征的多任务训练设置可能会扭曲结果。将这些见解结合在一起，我们提出了一个简单但广泛适用的解析器架构和配置，为12种不同语言中的10种实现了新的最先进的结果（就LAS而言）。
2021-07-29 cs.CL
When to Use Multi-Task Learning vs Intermediate Fine-Tuning for Pre-Trained Encoder Transfer Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；Brigham Young University（杨百翰大学）；Microsoft Semantic Machines（微软语义机器公司）
近年来，自然语言处理（NLP）中的迁移学习（TL）引起了人们的极大兴趣，因为预先训练的模型已经显示出令人印象深刻的迁移到新任务的能力。在微调期间使用多个监督数据集已经出现了三种主要策略：在目标任务上训练之前训练中间任务（STILTs），使用多任务学习（MTL）联合训练补充任务和目标任务（成对MTL），或者简单地使用MTL联合训练所有可用的数据集（MTL-ALL）。在这项工作中，我们比较了所有三种TL方法在一个全面的分析GLUE数据集套件。我们发现，有一个简单的启发式当使用这些技术之一，在其他：成对MTL是优于STILTs时，目标任务的实例比支持任务，反之亦然。我们表明，这在GLUE数据集上92%以上的适用情况下都是正确的，并通过不同数据集大小的实验验证了这一假设。这种启发式方法的简单性和有效性令人惊讶，值得TL社区进行更多的探索。此外，我们发现MTL-ALL在几乎所有情况下都比成对方法更差。我们希望这项研究能够帮助其他人在自然语言处理任务中选择TL方法。
2022-05-17 cs.CL
Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?
Kyoto University（京都大学）；National Institute of Informatics（信息学研究所）；The University of Tokyo（东京大学）
本研究揭示非英语中心LLM（如Swallow和LLM-jp）具有日语和英语双潜在语言，并随层变化，加深了对多语言模型内部语言动态的理解。
2024-08-20 cs.AI cs.CL
On the Influence of Masking Policies in Intermediate Pre-training
Facebook AI（脸书人工智能研究院）；University of Southern California（南加州大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
目前的NLP模型主要通过两阶段“预训练然后微调”管道进行训练。先前的工作表明，插入一个中间的预训练阶段，使用启发式掩蔽策略进行掩蔽语言建模（MLM），可以显着提高最终性能。然而，目前还不清楚（1）在什么情况下这种中间预训练是有帮助的，（2）手工制作的启发式目标是否对给定的任务是最佳的，以及（3）为一个任务设计的掩蔽策略是否可以推广到该任务之外。在本文中，我们进行了一个大规模的实证研究，调查不同的掩蔽政策在中间预训练的效果与九个选定的任务，在三个类别。至关重要的是，我们引入了通过直接监督或元学习自动发现最佳掩蔽策略的方法。我们得出结论，中间预训练的成功取决于适当的预训练语料库，输出格式的选择（即，掩蔽跨度或完整的句子），并清楚地了解传销的作用，为下游任务。此外，我们发现我们学习的掩蔽策略优于TriviaQA上掩蔽命名实体的启发式方法，并且在某些情况下，从一个任务中学习的策略可以积极地转移到其他任务中，邀请未来在这个方向上进行研究。
2021-09-30 cs.CL cs.LG
Intermediate-Task Transfer Learning with Pretrained Models for Natural Language Understanding: When and Why Does It Work?
New York University（纽约大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
虽然像BERT这样的预训练模型在自然语言理解任务中表现出了很大的增益，但在对目标任务进行微调之前，可以通过在数据丰富的中间任务上进一步训练模型来提高它们的性能。然而，它仍然是知之甚少，以及为什么中间任务培训是有益的，为一个给定的目标任务。为了研究这一点，我们对预训练的RoBERTa模型进行了一项大规模研究，其中包含110个中间目标任务组合。我们通过25个探测任务进一步评估所有经过训练的模型，旨在揭示推动迁移的特定技能。我们观察到，需要高层次的推理和推理能力的中级任务往往效果最好。我们还观察到，目标任务的表现与更高层次的能力，如共指消解密切相关。然而，我们未能观察到探测和目标任务性能之间的更细粒度的相关性，突出了需要进一步的工作，广泛覆盖的探测基准。我们还观察到证据表明，在预训练过程中学习的知识的遗忘可能会限制我们的分析，强调需要在这些设置中进一步研究迁移学习方法。
2020-05-09 cs.CL
Teach Me What to Say and I Will Learn What to Pick: Unsupervised Knowledge Selection Through Response Generation with Pretrained Generative Models
CLiPS Research Center（CLiPS研究中心）；University of Antwerp（安特卫普大学）
基于知识的会话模型（KGCM）通常基于选择/检索模块和生成模块，分别或同时训练，可以访问或不访问黄金知识选项。随着大型预训练生成模型的引入，选择和生成部分变得越来越复杂，重点转向增强知识整合（来自多个来源），而不是试图选择最佳知识选项。然而，这些方法依赖于知识标签和/或单独的密集检索器以获得最佳性能。在这项工作中，我们研究了预训练生成模型（例如BART）的无监督选择能力，并表明通过在编码器和解码器之间添加评分和聚合模块，它们能够通过最小化语言建模损失（即无需访问知识标签）来学习选择适当的知识。经过这样的训练，我们的模型- K-Mine -显示出与受益于知识标签和/或单独的密集检索器的模型相比具有竞争力的选择和生成性能。
2021-10-05 cs.CL
Domain Adaptation for Sparse-Data Settings: What Do We Gain by Not Using Bert?
Center for Information & Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
大部分NLP的实际成功取决于训练数据的可用性。然而，在现实世界的场景中，训练数据往往是稀缺的，尤其是因为许多应用领域是有限的和特定的。在这项工作中，我们比较了不同的方法来处理这个问题，并提供指导方针，当只有少量的标记训练数据可用于特定的域时，建立NLP应用程序。虽然使用预训练的语言模型的迁移学习在跨任务方面优于其他方法，但替代方法的性能不会差得多，同时需要的计算工作量少得多，从而显著降低了金钱和环境成本。我们研究了几种这样的替代方案的性能权衡，包括可以训练高达175K倍的模型，并且不需要单个GPU。
2022-03-31 cs.CL
A Primer in Post-Training Reasoning Data: What We Know About How It Works
Peking University（北京大学）；Tsinghua University（清华大学）；Qiyuan Tech（启元科技）
本文综述了后训练推理数据的类型、效用、构建方法和扩展规律，为未来推理数据发布和后训练方案提供归因框架。
2026-06-01 cs.AI cs.CL
The CRINGE Loss: Learning what language not to model
Meta AI；ETH Zürich（苏黎世联邦理工学院）；Princeton University（普林斯顿大学）
标准语言模型训练采用黄金人类文档或人-人交互数据，并将所有训练数据视为正例。越来越多的证据表明，即使有非常大量的正训练数据，问题仍然存在，可以用相对少量的负数据来缓解-模型不应该做什么的例子。在这项工作中，我们提出了一种新的程序，训练与这样的数据称为CRINGE损失（对比迭代负生成）。我们展示了这种方法在安全生成，矛盾避免和开放域对话任务的三个不同实验中的有效性。我们的模型优于多个强基线，概念简单，易于训练和实施。
2022-11-10 cs.AI cs.CL
Understanding tables with intermediate pre-training
Google Research, Zürich（谷歌研究，苏黎世）
表蕴涵是一种二元分类任务，用于查找一个句子是否被表的内容所支持或反驳，需要解析语言和表结构以及数值和离散推理。虽然有大量的工作，文本蕴涵，表蕴涵是研究较少。我们采用TAPAS（Herzig等人，2020），一个基于表格的BERT模型，以识别蕴涵。受到数据增强的好处的激励，我们创建了一个由数百万个自动创建的训练样本组成的平衡数据集，这些样本是在微调之前的中间步骤中学习的。这个新数据不仅对表蕴涵有用，而且对SQA也有用（Iyyer等人，2017），一个顺序表QA任务。为了能够使用长样本作为BERT模型的输入，我们评估了表修剪技术作为预处理步骤，以在准确性适度下降的情况下大幅提高训练和预测效率。不同的方法在TabFact上设置了新的最新技术水平（Chen等人，2020）和SQA数据集。
2020-10-05 cs.AI cs.CL cs.IR
What's Holding Back Latent Visual Reasoning?
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院）；Instituto de Telecomunicações（电信研究所）；TransPerfect（TransPerfect公司）；Carnegie Mellon University（卡内基梅隆大学）
本研究探讨了现有模型如何利用潜在令牌，发现潜在令牌在最终预测中起作用有限，主要问题在于训练数据中潜在令牌信息有限且推理时生成的潜在令牌偏离真实表示，需要高质量数据和更精确的潜在令牌预测来推动发展。
2026-05-19 cs.AI cs.CL cs.CV
What do self-supervised speech models know about Dutch? Analyzing advantages of language-specific pre-training
Institute for Logic, Language and Computation（逻辑、语言和计算研究所）；Centre for Language Studies（语言研究学院）
研究测试了自监督Wav2Vec2模型对荷兰语语音和词汇信息的编码，发现仅在荷兰语上预训练相比英语或多语言数据能更好地改善其语言特征表征，且此优势与自动语音识别的下游性能一致。
2025-07-10 cs.AI cs.CL cs.SD
