Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Facebook AI（Facebook人工智能）
预训练语言模型的最新突破已经表明了自监督学习对广泛的自然语言处理（NLP）任务的有效性。除了标准的语法和语义NLP任务外，预训练模型在涉及真实世界知识的任务上也取得了很大的改进，这表明大规模语言建模可能是一种捕获知识的隐式方法。在这项工作中，我们进一步研究了预训练模型（如BERT）使用zero-shot事实完成任务捕获知识的程度。此外，我们提出了一个简单而有效的弱监督预训练目标，它明确地迫使模型包含有关真实世界实体的知识。用我们的新目标训练的模型在事实完成任务上有显著的改进。当应用于下游任务时，我们的模型在四个实体相关的问答数据集上的表现始终优于BERT（即，WebQuestions、TriviaQA、SearchQA和Quasar-T），平均有2.7个F1改进和一个标准的细粒度实体类型数据集（即，FIGER），具有5.7精度增益。
2019-12-20 cs.CL
Next Token Knowledge Tracing: Exploiting Pretrained LLM Representations to Decode Student Behaviour
本文提出NTKT方法，利用预训练大语言模型预测学生行为，提升知识追踪任务的性能和泛化能力。
2026-01-26 cs.AI cs.CL
Byte Pair Encoding is Suboptimal for Language Model Pretraining
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Computer Science（计算机科学系）
预训练的Transformer语言模型（LM）在自然语言处理中的成功导致了广泛的预训练设置。特别地，这些模型采用各种子字标记化方法，最显著的是字节对编码（BPE）（Sennrich等人，2016; Gage，1994），WordPiece方法（Schuster和Nakajima，2012）和unigram语言建模（Kudo，2018），以分割文本。然而，据我们所知，文献中并没有直接评估标记化对语言模型预训练的影响。我们分析了BPE和单字LM标记化之间的差异，发现后一种方法恢复了与形态学更紧密对齐的子字单元，并避免了BPE贪婪构造过程中产生的问题。然后，我们比较了使用这些标记化预训练的相同Transformer掩码语言模型的微调任务性能。在下游任务和两种语言（英语和日语）中，我们发现unigram LM标记化方法匹配或优于BPE。我们希望未来预训练LM的开发人员将考虑采用单字LM方法，而不是更流行的BPE。
2020-10-05 cs.CL
Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
AWS AI
预训练的语言模型（PLM）通过在大规模文本语料库上学习信息性的上下文化表示建立了一种新的范式。这种新的范式彻底改变了整个自然语言处理领域，并为各种NLP任务设置了新的最先进的性能。然而，尽管PLM可以存储来自训练语料库的某些知识/事实，但它们的知识感知仍然远远不能令人满意。为了解决这个问题，将知识集成到PLM中最近已经成为一个非常活跃的研究领域，并开发了各种方法。在本文中，我们提供了一个全面的调查，这一新兴的和快速增长的领域-知识增强预训练语言模型（KE-PLMs）的文献。我们引入三个分类法来分类现有的工作。此外，我们还调查了各种NLU和NLG应用程序，KE-PLM在这些应用程序上表现出优于普通PLM的性能。最后，我们讨论了KE-PLM面临的挑战，也有前途的未来研究方向。
2021-10-16 cs.CL
Incorporating Commonsense Knowledge Graph in Pretrained Models for Social Commonsense Tasks
Academia Sinica（中央研究院）；Alexa AI, Amazon（亚马逊Alexa人工智能）；USC（南加利福尼亚大学）
预训练的语言模型最近在许多NLP任务中表现出色;然而，它们的社会智能仍然不令人满意。为了实现这一点，机器需要对我们复杂的世界有更全面的了解，并发展执行常识推理的能力，除了适应特定的下游任务。外部常识知识图谱（KG），如ConceptNet，提供了关于单词及其关系的丰富信息。因此，对于一般的常识学习，我们提出了两种方法\emph{implicitly}和\emph{explicitly}注入这样的KG到预训练的语言模型。我们证明了我们提出的方法在SocialIQA，社会常识推理任务，在有限和完整的训练数据制度表现良好。
2021-05-12 cs.CL
Pretrained Language Model Embryology: The Birth of ALBERT
虽然预训练的语言模型（LM）的行为已经得到了彻底的研究，但在预训练期间发生了什么却很少有人研究。因此，我们调查的发展过程中，从一组随机初始化的参数，一个全能的语言模型，我们称之为胚胎学的预训练语言模型。我们的研究结果表明，ALBERT在预训练期间以不同的学习速度学习重建和预测不同词性的标记。我们还发现，语言知识和世界知识一般不会随着预训练的进行而提高，下游任务的表现也不会提高。这些发现表明，在预训练过程中，对预训练模型的了解会有所不同，并且具有更多的预训练步骤并不一定能提供具有更全面知识的模型。我们将在https://github.com/d223302/albert-embryology上提供源代码和预训练模型来重现我们的结果。
2020-10-29 cs.CL
Improving Biomedical Pretrained Language Models with Knowledge
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
预训练的语言模型已经在许多自然语言处理任务中显示出成功。许多作品探索将知识合并到语言模型中。在生物医学领域，专家们已经花了几十年的努力来建立大规模的知识库。例如，统一医学语言系统（UMLS）包含数百万个实体及其同义词，并定义了实体之间的数百种关系。利用这些知识可以使各种下游任务受益，例如命名实体识别和关系抽取。为此，我们提出了KeBioLM，生物医学预训练的语言模型，明确利用知识的UMLS知识库。具体来说，我们从PubMed摘要中提取实体，并将其链接到UMLS。然后，我们训练知识感知的语言模型，首先应用纯文本编码层来学习实体表示，并应用文本-实体融合编码来聚合实体表示。此外，我们增加了实体检测和实体连接两个训练目标。在BLURB基准测试中进行的命名实体识别和关系抽取实验表明了该方法的有效性。对收集的探测数据集的进一步分析表明，我们的模型具有更好的建模能力的医学知识。
2021-04-21 cs.CL
Collaborative decoding of critical tokens for boosting factuality of large language models
Tencent AI Lab（腾讯AI实验室）
针对微调、对齐及采样导致LLM幻觉的问题，提出基于关键token分类器在预训练模型与微调模型间协作选择并解码的框架，实验表明可显著降低幻觉。
2024-02-28 cs.CL
Calibrating Factual Knowledge in Pretrained Language Models
Peking University（北京大学）；Shanghai AI Lab（上海人工智能实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
已有文献证明预训练语言模型（PLMs）可以存储事实知识。然而，我们发现存储在PLM中的事实并不总是正确的。它促使我们探索一个基本问题：我们如何在不从头开始重新培训的情况下校准PLM中的事实知识？在这项工作中，我们提出了一个简单而轻量级的方法CaliNet来实现这一目标。具体来说，我们首先检测PLM是否可以通过正确和虚假事实之间的对比得分来学习正确的事实。如果没有，我们使用一个轻量级的方法来添加和调整新的参数，以特定的事实文本。在知识探测任务上的实验表明了该方法的有效性和效率。此外，通过闭卷问答，我们发现，校准后的PLM微调后具有知识泛化能力。除了校准性能，我们进一步研究和可视化的知识校准机制。
2022-10-18 cs.CL
Multilingual Knowledge Graph Completion from Pretrained Language Models with Knowledge Constraints
Yunnan Key Laboratory of Artificial Intelligence, Kunming, China（云南人工智能重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Science（中国科学院大学人工智能学院）；Meituan（美团）
本文提出全局与局部知识约束方法，使多语言预训练模型适应多语言知识图谱补全任务，在公开数据集上Hits@1和Hits@10平均提升12.32%和16.03%。
2024-06-26 cs.CL
Backdoor Token Unlearning: Exposing and Defending Backdoors in Pretrained Language Models
Xidian University（西安电子科技大学）；Singapore Management University（新加坡管理大学）
针对训练阶段后门防御不足的问题，提出 BTU，通过识别异常词嵌入参数并细粒度遗忘后门令牌，在三类数据集和四种攻击上有效消除后门且保持主任务性能。
2025-01-05 cs.AI cs.CL cs.CR
Are Pretrained Language Models Symbolic Reasoners Over Knowledge?
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
预训练的语言模型（PLM）如何从训练集中学习事实知识？我们研究了两个最重要的机制：推理和记忆。先前的工作试图量化PLM学习的事实数量，但我们目前，使用合成数据，第一次研究，调查培训中存在的事实和PLM学习的事实之间的因果关系。对于推理，我们表明，PLM似乎学会正确地应用一些符号推理规则，但与其他人，包括两跳推理斗争。进一步的分析表明，即使是学习推理规则的应用也是有缺陷的。对于记忆，我们确定图式一致性（由其他事实系统地支持的事实）和频率是成功的关键因素。
2020-10-10 cs.CL
Modular Monolingual Adaptation using Pretrained Language Models
Charles University, Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics（查尔斯大学数学与物理系形式与应用语言学研究所）
提出一种模块化方法，通过替换标记、冻结对应嵌入并调整模型其余部分，在低资源语言上提升NLU任务性能，优于全模型微调。
2026-06-04 cs.CL
Accurate Retraining-free Pruning for Pretrained Encoder-based Language Models
Seoul National University（首尔大学）；Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）
本文提出K-prune，一种免重训练的结构化剪枝算法，通过知识测量、掩码搜索和权重调整保留预训练知识，在SQuAD上80%压缩率下F1提升高达58.02个百分点。
2024-03-15 cs.CL
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon（俄勒冈大学）
我们介绍Trankit，一个轻量级的基于transformer的多语言自然语言处理（NLP）工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道，并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上，在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道，同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer，我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的，其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在：http://nlp.uoregon.edu/trankit。最后，我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained Language Model
Institute of Artificial Intelligence, Soochow University（苏州大学人工智能研究院）；Peking University（北京大学）；The Hong Kong Polytechnic University（香港理工大学）；Pharmcube（药智魔方）；Changping Laboratory（昌平实验室）
针对生物医学领域多语言模型训练数据稀缺的问题，提出知识锚定模型KBioXLM，通过融入多粒度知识对齐与对应训练任务增强XLM-R的跨语言能力，在零样本和少样本场景下显著优于现有模型。
2023-11-20 cs.CL
Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer
Peking University（北京大学）
最近的进展，快速调整铸造Few-Shot分类任务作为一个掩蔽的语言建模问题。通过将输入包装到模板中并使用在标签空间和标签词空间之间构造映射的动词化器，自动调优可以在zero-shot和Few-Shot场景中获得优异的结果。然而，典型的自动调优需要手动设计的语言化器，这需要领域专业知识和人工努力。标签空间不足可能会给结果带来相当大的偏差。在本文中，我们专注于从预训练的语言模型中获取知识，并提出了一个原型提示动词化器的自动调优。标签由特征空间中的原型嵌入表示，而不是由离散的单词表示。在输入的掩蔽位置处的嵌入和原型嵌入之间的距离被用作分类标准。对于zero-shot设置，通过手动设计的模板从预训练的语言模型中引出知识以形成初始原型嵌入。对于Few-Shot设置，调整模型以学习有意义和可解释的原型嵌入。我们的方法通过对比学习优化模型。在几个低资源环境下的多类文本分类数据集上的实验结果表明，与其他动词化器构造方法相比，该方法是有效的。我们的实现可以在https://github.com/Ydongd/prototypical-prompt-verbalizer上获得。
2022-01-14 cs.CL
Multilingual LAMA: Investigating Knowledge in Multilingual Pretrained Language Models
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
近年来，人们发现单语英语语言模型可以作为知识库。代替结构化知识库查询，使用诸如“Paris is the capital of [MASK]”之类的掩码语句作为探测。我们将已建立的基准TREx和GoogleRE翻译成53种语言。通过与mBERT合作，我们研究了三个问题。(i)mBERT可以用作多语言知识库吗？大多数以前的工作只考虑英语。将研究扩展到多种语言对于多样性和可访问性非常重要。(ii)mBERT作为知识库的性能是独立于语言的，还是因语言而异？(iii)多语言模型在更多文本上训练，例如，mBERT在104个维基百科上训练。mBERT能利用这一点来提高性能吗？我们发现，使用mBERT作为知识库会产生不同的语言和语言之间的池预测性能提高不同的性能。相反，mBERT表现出语言偏见;例如，当用意大利语查询时，它倾向于预测意大利是原产国。
2021-02-01 cs.CL
Evaluating the Effectiveness of Linguistic Knowledge in Pretrained Language Models: A Case Study of Universal Dependencies
Minzu University of China（中央民族大学）
本文通过将通用依存关系（UD）集成到预训练语言模型中，研究其在跨语言对抗性释义识别任务上的效果，发现UD能显著提升准确率和F1分数，并缩小与大型语言模型的差距，证明了UD在域外任务中的有效性。
2025-06-05 cs.CL
BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models
UC San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出BertNet，仅用关系提示和少量实体对示例，即可从预训练语言模型中高效搜索并抽取400多种任意关系的符号化知识图谱。
2023-06-02 cs.CL
When Machines Speak: A Unified Generative Framework for Integrating Machine-Native Symbols into Pretrained Large Language Models
研究针对预训练大语言模型无法处理机器原生符号的问题，提出UniLang框架将机器原生符号与自然语言 token 同等建模，在序列推荐、法律先例预测任务上均优于基线，拓展了LLMs的应用范围。
2026-08-21 cs.AI cs.CL
Can Pretrained Language Models (Yet) Reason Deductively?
University of Cambridge（剑桥大学）；University of Glasgow（格拉斯哥大学）
基于预训练语言模型的知识获取方法在许多知识密集型任务中表现出良好的性能，受到越来越多的关注。他们的良好表现使社区相信这些模型确实具有一定的推理能力，而不仅仅是记住知识。在本文中，我们进行了全面的评估学习演绎（也称为显式）推理能力的PLM。通过一系列的对照实验，我们得到了两个主要的发现。(i)PLM不能充分概括学习的逻辑规则，并且对简单的对抗性表面形式编辑表现不一致。(ii)虽然PLM的演绎推理微调确实提高了它们对看不见的知识事实的推理性能，但它会导致灾难性地忘记先前学习的知识。我们的主要研究结果表明，PLM还不能进行可靠的演绎推理，证明控制考试和探测PLM的推理能力的重要性;我们超越（误导）任务性能，揭示PLM仍然远离人类水平的推理能力，即使是简单的演绎任务。
2023-02-13 cs.CL
Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；Huawei Cloud（华为云）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文研究了如何在知识图谱中自动生成描述事实的自然语言文本。考虑到Few-Shot设置，我们利用预训练的语言模型（PLM）在语言理解和生成方面的出色能力。我们做了三个主要的技术贡献，即表示对齐弥合KG编码和PLM之间的语义差距，关系偏向KG线性化，以获得更好的输入表示，和多任务学习学习KG和文本之间的对应关系。在三个基准数据集上的大量实验证明了该模型在KG到文本生成任务上的有效性。特别是，我们的模型在全监督和Few-Shot设置上都优于所有比较方法。我们的代码和数据集可以在https://github.com/RUCAIBox/Few-Shot-KG2Text上找到。
2021-06-03 cs.CL
Negated and Misprimed Probes for Pretrained Language Models: Birds Can Talk, But Cannot Fly
在Petroni等人（2019）的基础上，我们提出了两个新的探测任务，分析存储在预训练语言模型（PLM）中的事实知识。(1)否定。我们发现，PLM没有区分否定型（“Birds cannot [MASK]”）和非否定型（“Birds can [MASK]”）完形填空题。(2)启动错误。受人类心理学中启动方法的启发，我们在完形填空题中加入了“误启动”（“谈话？鸟类可以[面具]”）。我们发现，PLM很容易被误启动分心。这些结果表明，PLM仍然有很长的路要走，充分学习人类一样的事实知识。
2020-05-15 cs.CL
X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models
Carnegie Mellon University（卡内基梅隆大学）；George Mason University（乔治梅森大学）；Bosch Research（博世研究院）
语言模型（LM）已经被证明在通过完成完形填空题（如“Punta Cana is located in _.“然而，虽然知识是书面和查询在许多语言，研究的事实表征能力的LM几乎总是在英语进行。为了评估不同语言的LM中的事实知识检索，我们为23种类型学上不同的语言创建了一个多语言的完形填空式探针基准。为了正确处理语言的变化，我们扩展探测方法从单个到多个字的实体，并开发几个解码算法来生成多令牌的预测。广泛的实验结果提供了关于当前最先进的LM在具有或多或少可用资源的语言中执行此任务的情况如何的见解。我们进一步提出了一种基于代码转换的方法来提高多语言语言学习者获取知识的能力，并在几种基准语言上验证了其有效性。基准数据和代码已在https://x-factr.github.io上发布。
2020-10-27 cs.CL
Coherence boosting: When your pretrained language model is not paying enough attention
Mila / Université de Montréal（米拉 / 蒙特利尔大学）；Ohio State University（俄亥俄州立大学）；Microsoft Research（微软研究院）
长距离语义连贯一直是语言生成和理解中的一个难题。我们证明了大语言模型没有充分地学习远距离单词对下一个标记预测的影响。我们提出的连贯性增强，推理过程，增加LM的重点放在一个长期的背景。我们通过对生成的普通文本和对话响应进行分布分析，展示了使用预训练模型增强一致性的好处。研究还发现，对于各种zero-shot NLP任务，使用最先进的模型进行一致性增强，无需额外的训练即可获得性能增益。
2022-03-16 cs.CL
Unsupervised Paraphrasing with Pretrained Language Models
Salesforce Research（Salesforce研究院）
释义生成广泛受益于最近的进展，在设计的培训目标和模型架构。然而，以前的探索主要集中在监督的方法，这需要大量的标记数据是昂贵的收集。为了解决这个缺点，我们采用了迁移学习方法，并提出了一个训练管道，使预先训练的语言模型，以产生高质量的释义在无监督的设置。我们的配方包括任务自适应，自我监督，和一种新的解码算法，称为动态阻塞（DB）。为了实施与输入不同的表面形式，每当语言模型发出包含在源序列中的标记时，DB阻止模型输出用于下一生成步骤的后续源标记。我们通过自动和人工评估表明，我们的方法在Quora问题对（QQP）和ParaNMT数据集上都达到了最先进的性能，并且对不同分布的两个数据集之间的域转移具有鲁棒性。我们还证明了我们的模型转移到其他语言的释义，而无需任何额外的微调。
2021-09-10 cs.CL
Probing Pretrained Language Models for Lexical Semantics
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
BERT和RoBERTa等大型预训练语言模型（LM）的成功引发了人们对探索其表示的兴趣，以揭示它们隐含地捕获了哪些类型的知识。虽然以前的研究集中在形态句法，语义和世界知识，它仍然不清楚在何种程度上LM也从上下文中的单词获得词汇类型级别的知识。在这项工作中，我们提出了一个系统的实证分析，在六个类型不同的语言和五个不同的词汇任务，解决以下问题：1）如何不同的词汇知识提取策略（单语与多语言源LM，上下文外与上下文编码，包括特殊标记，分层平均）的影响性能？在不同的任务和语言中观察到的效果有多一致？2)词汇知识是存储在几个参数中，还是分散在整个网络中？3)在词汇任务中，这些表征与传统的静态词向量相比表现如何？4)从独立训练的单语LM中出现的词汇信息是否显示出潜在的相似性？我们的主要结果表明，普遍适用的模式和最佳实践，但也指出了不同语言和任务之间的显著差异。此外，我们验证了较低的Transformer层携带更多的类型级词汇知识的说法，但也表明，这种知识分布在多个层。
2020-10-12 cs.CL
Identifying the Limits of Cross-Domain Knowledge Transfer for Pretrained Models
Stanford University（斯坦福大学）
越来越多的证据表明，预训练的语言模型不仅可以改善预训练中看到的语言，而且还可以改善新语言甚至非语言数据的特定任务微调。这种令人惊讶的跨域转移的本质是什么？我们提供了一个部分的答案，通过系统的探索有多少转移发生时，模型被拒绝通过随机加扰的任何信息字的身份。在四个分类任务和两个序列标记任务中，我们评估了基线模型，使用GloVe嵌入的LSTM和BERT。我们发现，只有BERT显示高速率的转移到我们的扰码域，分类，但不是序列标签任务。我们的分析试图解释为什么迁移在某些任务中成功，而在另一些任务中却不成功，分离出预训练与微调的单独贡献，并量化词频的作用。这些发现有助于解释跨域迁移发生的位置和原因，这可以指导未来的研究和实际的微调工作。
2021-04-17 cs.CL
Knowledge-Augmented Language Models for Cause-Effect Relation Classification
The George Washington University（乔治华盛顿大学）；Meta AI
先前的研究已经表明了知识增强方法在预训练语言模型中的有效性。但是，这些方法在域和下游任务中的行为不同。在这项工作中，我们研究了增强预训练的语言模型与常识知识的因果关系分类和常识因果推理任务。在自动语言化ATOMIC 2020，一个广泛覆盖的常识推理知识图，和GLUCOSE，一个隐含的常识因果知识的数据集，我们不断预训练BERT和RoBERTa与语言化的数据。然后，我们评估产生的模型上的因果对分类和回答常识因果推理问题。我们的研究结果表明，用常识知识增强的持续预训练的语言模型在两个常识因果推理基准（COPA和BCOPA-CE）以及时间和因果推理（TCR）数据集上的表现优于我们的基线，而无需对模型架构进行额外改进或使用质量增强的数据进行微调。
2022-06-02 cs.CL
Mind the Labels: Describing Relations in Knowledge Graphs With Pretrained Models
Charles University（查理大学）；Heriot-Watt University（赫瑞-瓦特大学）
本文研究数据到文本生成中标签模糊导致预训练语言模型输出不准确的问题，构建涵盖三个知识图谱1,522种关系的新数据集，发现多样清晰的关系标签训练能显著提升模型对新关系的泛化能力。
2023-10-16 cs.CL
Test-Time Training with Next-Token Prediction
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出TTT-NTP方法，利用预训练语言模型自身的下一个隐藏状态作为自监督信号进行测试时训练，无需重新设计骨干网络，在多个长上下文基准上显著提升性能。
2026-09-01 cs.CL
Wine is Not v i n. -- On the Compatibility of Tokenizations Across Languages
LMU Munich（慕尼黑大学）
词汇表的大小是大型预训练语言模型的核心设计选择，考虑到性能和内存需求。通常，使用诸如字节对编码和WordPiece的子字标记化算法。在这项工作中，我们调查的多语言静态和上下文嵌入空间的标记化的兼容性，并提出了一个措施，反映了跨语言的标记化的兼容性。我们的目标是防止不兼容的标记，例如，英语中的“wine”（词级）与法语中的“v i n”（字符级），这使得很难学习良好的多语言语义表示。我们表明，我们的兼容性措施允许系统设计人员创建跨语言的词汇表是兼容的-一个迫切需要，到目前为止，一直被忽视的多语言模型。
2021-09-13 cs.CL
WECHSEL: Effective initialization of subword embeddings for cross-lingual transfer of monolingual language models
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
大型预训练语言模型（LM）已经成为许多NLP应用程序的核心构建块。训练这些模型需要更多的计算资源，并且大多数现有模型仅在英文文本上训练。用其他语言训练这些模特是极其昂贵的。为了缓解这个问题，我们引入了一种新的方法-称为WECHSEL -来有效地将预训练的LM转换为新的语言。WECHSEL可以应用于任何使用基于子词的标记化并为每个子词学习嵌入的模型。源模型（英语）的标记化器被替换为目标语言的标记化器，并且通过利用覆盖英语和目标语言的多语言静态词嵌入来初始化标记嵌入，使得它们在语义上类似于英语标记。我们使用WECHSEL将英文版的RoBERTA和GPT-2模型转换为四种语言（法语、德语、中文和斯瓦希里语）。我们还研究了我们的方法对资源非常少的语言的好处。WECHSEL改进了所提出的跨语言参数传输方法，并优于从头开始训练的可比大小的模型，训练工作量减少了64倍。我们的方法使得为新语言训练大语言模型更容易，对环境的破坏更小。我们公开我们的代码和模型。
2022-05-04 cs.CL
Efficiently Adapting Pretrained Language Models To New Languages
SambaNova Systems, Inc.（桑巴诺瓦系统公司）
针对预训练大语言模型适配低资源新语言时的灾难性遗忘与分词器低效问题，提出添加目标语言新token优化分词效率、结合数据混合方案的方法，实验证明在匈牙利语、泰语上表现优于开源模型且英语性能退化极小。
2023-12-14 cs.AI cs.CL cs.LG
Parameter-Efficient Tuning with Special Token Adaptation
Tsinghua University（清华大学）；University of Southern California（南加利福尼亚大学）
参数高效调优的目的是在使预训练模型适应下游任务时仅更新一小部分参数。在这项工作中，我们引入PASTA，其中我们只修改特殊的令牌表示（例如，[SEP]和BERT中的[CLS]）在基于变换器的模型中的每一层的自注意模块之前。PASTA在自然语言理解任务中实现了与完全微调相当的性能，包括文本分类和NER，最多仅训练了总参数的0.029%。我们的工作不仅提供了一种简单而有效的参数有效调整方法，在为多个任务部署微调模型时具有广泛的实际应用，而且还展示了特殊令牌在预训练语言模型中的关键作用
2023-02-14 cs.AI cs.CL cs.LG
Beyond Atomic Tokens: Factorizing Syllables for Language Model Pretraining
University of Information Technology, Vietnam National University, Ho Chi Minh city（胡志明市越南国立大学信息技术大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对传统分词忽视音节结构的问题，提出Phonemic Tokenizer，将音节分解为声母、韵母和声调，并构建PhonemicBERT，以极小词表在中文和越南语上取得与现有预训练模型相当或更优的性能。
2026-09-28 cs.CL
Future Sight: Dynamic Story Generation with Large Pretrained Language Models
University of Waterloo（滑铁卢大学）
深度学习研究的最新进展，如Transformers，增强了自动代理生成类似于人类所写的创造性文本的能力。默认情况下，Transformer解码器只能根据先前生成的文本生成新文本。在任何位置的候选标记的输出分布的条件下，先前选择的标记使用自我注意力机制，以模仿自回归的属性。这在本质上限制了诸如可控故事生成之类的任务，在可控故事生成中，在编写故事时可能需要以未来的情节事件为条件。在这项工作中，我们提出了Future Sight，这是一种在未来条件反射任务上微调预训练生成Transformer的方法。Transformer解码器通常通过自我注意力的方式预先训练完成上下文的任务，一次一个令牌。Future Sight还使解码器能够关注编码的未来情节事件。这促使解码器以逻辑上以所提供的未来结束的方式扩展上下文。在推理过程中，未来的情节事件可以由人类作者编写，以引导叙事在某个方向上生成。我们评估我们的方法的功效与人类评估的故事生成任务。
2022-12-20 cs.AI cs.CL cs.LG
Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models
Academia Sinica（中央研究院）；University of Waterloo（滑铁卢大学）
本文提出了一个基于序列到序列结构和预训练语言模型的会话问题重构的实证研究。我们利用PLM来解决CQR任务的共同目标最大似然估计中的强令牌到令牌独立性假设。在面向任务的对话系统的CQR基准测试中，我们将最近引入的CANARD数据集作为域内任务评估微调的PLM，并使用TREC 2019 CAST Track的数据作为域外任务验证模型。检查不同的参数数量的各种架构，我们证明，最近的文本到文本传输Transformer（T5）实现了最好的结果都在CANARD和CAST与较少的参数，相比类似的Transformer架构。
2020-04-04 cs.AI cs.CL cs.LG
Stabilizing Knowledge, Promoting Reasoning: Dual-Token Constraints for RLVR
The Hong Kong University of Science and Technology（香港科学与技术大学）；Kuaishou Technology（快手科技）；Tsinghua University（清华大学）
本文提出Archer框架，通过双令牌约束在RLVR中平衡优化，提升LLM的推理和知识保持能力，实验显示在数学推理和代码生成任务中表现优异。
2026-05-15 cs.CL
Do Pretrained Contextual Language Models Distinguish between Hebrew Homograph Analyses?
Bar Ilan University（巴伊兰大学）；DICTA
本研究以希伯来语为案例，构建同形异义词挑战数据集，评估现有希伯来语上下文嵌入模型的消歧能力，验证了其优于非上下文嵌入，并明确了不同歧义类型、切分数量等因素对消歧效果的影响。
2024-05-11 cs.CL
Models In a Spelling Bee: Language Models Implicitly Learn the Character Composition of Tokens
Tel Aviv University（特拉维夫大学）
标准的预训练语言模型对子字标记序列进行操作，而不直接存取组成每个标记的字符串表示的字符。我们探测了预训练的语言模型的嵌入层，并表明模型在令人惊讶的程度上学习了整个单词和子单词标记的内部字符组成，而从未看到与标记相结合的字符。我们的研究结果表明，RoBERTa的嵌入层拥有足够的信息，可以准确拼写多达三分之一的词汇，并在所有标记类型上达到高平均字符ngram重叠。我们进一步测试了用额外的字符信息丰富子词模型是否可以改善语言建模，并观察到这种方法具有与没有基于拼写的丰富训练几乎相同的学习曲线。总的来说，我们的研究结果表明，语言建模目标激励模型隐式地学习一些拼写的概念，而明确地教模型如何拼写似乎并不能提高其在这些任务上的表现。
2022-06-08 cs.AI cs.CL cs.LG
Discovering Knowledge-Critical Subnetworks in Pretrained Language Models
EPFL（洛桑联邦理工学院）
本研究提出一种多目标可微分掩码方案，用于发现预训练语言模型中与特定知识相关的稀疏关键子网络，从而在最小化副作用的前提下精确移除特定知识，并在多个GPT2变体上验证了其有效性。
2024-10-15 cs.AI cs.CL cs.LG
Small Vocabularies, Big Gains: Pretraining and Tokenization in Time Series Models
本文针对时间序列预测基础模型，系统研究分词器设计与预训练的影响，发现小词表搭配预训练权重优势显著，为相关设计提供了实操指导。
2025-11-06 cs.AI cs.CL cs.LG
The Maskability Index: Predicting Task-Objective Alignment in Pretrained Language Models
Sirjan University of Technology（锡尔詹理工大学）；Department of Computer Engineering（计算机工程系）
研究提出可掩码性指数（MI），用于评估知识关系适合的提示方式，通过掩码与未掩码模板的DepthRank分数差异计算。在ATOMIC2020基准上评估发现MI与下游生成性能正相关，有助于选择提示模板和策略提取预训练语言模型的关系知识。
2026-07-23 cs.AI cs.CL
MKD: a Multi-Task Knowledge Distillation Approach for Pretrained Language Models
University of Waterloo（滑铁卢大学）；Salesforce Research（赛富时研究院）
预训练的语言模型在许多NLP任务中带来了显着的性能提升。然而，密集的计算资源训练这样的模型仍然是一个问题。知识蒸馏通过学习一个轻量级学生模型来解决这个问题。到目前为止，蒸馏方法都是针对特定任务的。本文探讨了多任务学习环境下的知识蒸馏。学生在不同的任务中共同提炼。它通过多任务蒸馏获得更一般的表示能力，并可以进一步微调，以改善目标域中的模型。与其他专门为基于transformer架构设计的BERT提取方法不同，我们提供了一个通用的学习框架。我们的方法是模型不可知的，可以很容易地应用于不同的未来教师模型架构。我们在基于transformer和基于LSTM的学生模型上评估了我们的方法。与一个强大的，类似的基于LSTM的方法相比，我们在相同的计算约束下实现了更好的质量。与现有技术相比，我们以更快的推理速度达到了可比的结果。
2020-04-30 cs.CL cs.LG
Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator
Imperial College London（伦敦帝国学院）
针对文本转手语生成任务研究不足的问题，提出多语种手语模型SOKE，通过解耦分词、多头解码及检索增强机制，借助预训练LM高效生成精准3D手语虚拟形象。
2025-07-29 cs.CL cs.CV
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology（华南理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题，提出SARCSE框架，通过自编码器重构全部词元并引入自适应重构损失，在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
Context Variance Evaluation of Pretrained Language Models for Prompt-based Biomedical Knowledge Probing
College of Information and Computer Science, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Department of Computer Science, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校计算机科学系）；Department of Medicine, University of Massachusetts Medical School（马萨诸塞大学医学院医学系）；Center for Healthcare Organization and Implementation Research, Bedford Veterans Affairs Medical Center（贝德福德退伍军人事务医疗中心医疗保健组织与实施研究中心）
预训练的语言模型（PLM）激发了关于这些模型学习什么样的知识的研究。填空题（例如，完形填空）是测量这些知识的自然方法。BioLAMA生成生物医学事实知识三元组的提示，并使用Top-k准确度指标来评估不同PLM的知识。然而，现有的研究表明，这种基于知识的探测方法只能探测知识的下限。许多因素，如基于探针的探测偏差，使LAMA基准不可靠和不稳定。这个问题在BioLAMA中更为突出。词汇量的严重长尾分布和大N-M关系使得LAMA和BioLAMA之间的性能差距仍然显着。为了解决这些问题，我们引入上下文方差到提示生成，并提出了一个新的排名变化为基础的评价指标。与以往的已知-未知评价标准不同，本文首次提出了LAMA中的“误解”概念。通过在12个PLM上的实验，我们的上下文方差提示和理解-混淆-误解（UCM）度量使BioLAMA对大N-M关系和稀有关系更友好。我们还进行了一系列对照实验，以将“理解”从“阅读和复制”中分离出来。
2023-01-25 cs.AI cs.CL
Harnessing the Intrinsic Knowledge of Pretrained Language Models for Challenging Text Classification Settings
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本论文利用预训练语言模型的内在知识，通过上下文词表示、领域无关标签描述微调及优化上下文学习示例选择，解决了完形填空干扰项选择、未见标签泛化和提示敏感性三个文本分类挑战。
2024-08-28 cs.AI cs.CL
Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit
提出利用正交匹配追踪以稀疏系数跨嵌入空间重建新 token 嵌入的免训练分词器移植方法，在 Llama→Mistral NeMo 与 Qwen→Llama 任务上零样本性能优于多种基线，并集成至 mergekit-tokensurgeon。
2025-06-07 cs.AI cs.CL cs.LG
Measuring the Knowledge Acquisition-Utilization Gap in Pretrained Language Models
McGill University（麦吉尔大学）；Mila - Quebec AI（Mila - 魁北克人工智能研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
该研究提出一个系统性框架测量PLMs中参数化知识的利用情况，发现模型存在知识获取与利用之间的差距，且更大模型虽能缩小获取差距但利用差距仍存在。
2023-05-24 cs.AI cs.CL cs.LG
Tokenization Tradeoffs in Structured EHR Foundation Models
Child Health Evaluative Sciences（儿童健康评估科学）；The Hospital for Sick Children（圣迈克尔医院）；University Health Network（大学健康网络）；Department of Medicine（医学部）；Division of Computational Medicine, Department of Medicine（计算医学科，医学部）；Stanford University（斯坦福大学）
本文研究了结构化电子健康记录基础模型中分词设计对性能和效率的影响，通过实验发现联合事件编码和时间位置编码在多个临床预测任务中表现更优，且计算效率更高。
2026-03-03 cs.CL cs.LG
ReGen: Reinforcement Learning for Text and Knowledge Base Generation using Pretrained Language Models
IBM Research（IBM研究院）
从文本中自动构建相关知识库，以及从知识库中生成语义有意义的文本是机器学习的长期目标。在本文中，我们提出了ReGen，一个双向生成的文本和图形利用强化学习（RL），以提高性能。图线性化使我们能够将这两个任务重新构建为序列到序列生成问题，而不管生成方向如何，这反过来又允许使用强化学习进行序列训练，其中模型本身被用作其自己的批评者，从而导致自我批评序列训练（SCST）。我们提出了一项广泛的调查，证明通过SCST使用RL有利于在WebNLG+ 2020和TekGen数据集上生成图形和文本。我们的系统在WebNLG+ 2020上提供了最先进的结果，大大改进了WebNLG 2020+挑战赛的文本到图形和图形到文本生成任务的结果。
2021-08-27 cs.CL cs.LG
