Evaluation of Contextual Understanding in Large Language Models
University of Moratuwa（莫拉图瓦大学）；University of Miami（迈阿密大学）
本文提出基于知识图谱的S3KG混合相似度评估框架，用于衡量大型语言模型在问答中的上下文理解能力，并验证其正确性、忠实性与可解释性。
2026-09-09 cs.CL cs.LG
End-to-end contextual speech recognition using class language models and a token passing decoder
Facebook（脸书）
自动语音识别（ASR）的端到端建模（E2E）将传统语音识别系统的所有组件融合到一个统一的模型中。统一模型虽然简化了训练和解码流程，但在训练数据和测试数据不匹配的情况下难以适应。在这项工作中，我们专注于上下文语音识别，这是特别具有挑战性的E2E模型，因为它引入了显着的训练和测试数据之间的不匹配。为了提高性能，在复杂的上下文信息的存在下，我们建议使用基于类的语言模型（CLM），可以填充类与上下文相关的信息在实时。为了使这种方法能够扩展到大量的类成员，并尽量减少搜索错误，我们提出了一个令牌传递解码器，有效的令牌重组E2E系统的第一次。我们评估所提出的系统一般和上下文的ASR，并实现相对62%的字出错率（WER）减少上下文的ASR，而不损害一般ASR的性能。我们表明，该方法在不修改跨任务的解码超参数的情况下表现良好，使其成为E2E ASR的通用解决方案。
2018-12-05 cs.CL cs.LG
Estimating Privacy Leakage of Augmented Contextual Knowledge in Language Models
University of Southern California（南加州大学）；TikTok
本研究提出上下文影响指标，用于估算语言模型中增强上下文知识的隐私泄露，通过分析上下文与参数知识的分布差异来评估隐私风险。
2025-12-16 cs.CL cs.LG
Language Model Detoxification in Dialogue with Contextualized Stance Control
University of California, Santa Barbara（加州大学圣巴巴拉分校）
为了减少预训练的语言模型（LM）中的毒性退化，以前关于语言模型解毒的工作集中于在不考虑上下文的情况下减少生成本身的毒性（自毒性）。因此，一种隐含的攻击性语言被忽略了，在这种语言中，世代支持上下文中的攻击性语言。不同于LM控制任务在以前的工作中，其中所需的属性是固定的生成，所需的立场的生成依赖于攻击性的上下文。因此，我们提出了一种新的控制方法来做上下文相关的解毒考虑的立场。我们引入Meta前缀来学习上下文化的姿态控制策略，并根据输入的上下文生成姿态控制前缀。然后将生成的姿态前缀与毒性控制前缀组合以指导响应生成。实验结果表明，我们提出的方法可以有效地学习上下文相关的姿态控制策略，同时保持低自毒性的底层LM。
2023-01-25 cs.CL cs.LG
Speaker Role Contextual Modeling for Language Understanding and Dialogue Policy Learning
National Taiwan University（国立台湾大学）
语言理解和对话策略学习是会话系统的两个重要组成部分。人与人之间的对话并没有得到很好的控制，而且由于他们自己的目标和说话习惯，往往是随机和不可预测的。本文提出了一个基于角色的语境模型，根据多话轮对话中说话人的不同说话模式，独立考虑不同的说话人角色。在基准数据集上的实验表明，所提出的基于角色的模型成功地学习了特定于角色的行为模式，从而显著提高了语言理解和对话策略学习任务。
2017-09-30 cs.CL
Masked ELMo: An evolution of ELMo towards fully contextual RNN language models
xBrain；Augustus Intelligence（奥古斯都智能）
本文提出了一种新的基于RNN的语言模型预训练模型Masked ELMo，它是从ELMo语言模型演化而来的。与只使用独立的从左到右和从右到左上下文的ELMo相反，Masked ELMo学习完全双向的单词表示。为了实现这一点，我们使用与BERT相同的Masked语言模型目标。此外，由于对LSTM神经元的优化，掩模累积和双向截断反向传播的集成，我们大大提高了模型的训练速度。所有这些改进使得在保持低计算成本的同时预训练比ELMo更好的语言模型成为可能。我们通过在GLUE基准测试中将其与相同协议中的ELMo进行比较来评估掩蔽ELMo，其中我们的模型显著优于ELMo，并且与Transformer方法具有竞争力。
2020-10-08 cs.CL cs.LG
Supervised Contextual Embeddings for Transfer Learning in Natural Language Processing Tasks
Carnegie Mellon University（卡内基梅隆大学）
预训练的词嵌入是几个自然语言处理（NLP）任务中迁移学习的主要方法。最近的工作集中在使用无监督技术，如语言建模，以获得这些嵌入。相比之下，这项工作的重点是从多个预先训练的监督模型中提取表示，这丰富了任务和领域特定知识的词嵌入。在跨任务、跨领域和跨语言环境中进行的实验表明，这种监督嵌入是有帮助的，特别是在低资源环境中，但增益的程度取决于任务和领域的性质。我们公开我们的代码。
2019-06-28 cs.CL cs.LG
Sparse associative memory based on contextual code learning for disambiguating word senses
Institut Mines-Télécom Atlantique（法国大西洋矿业电信学院）；Centre Hospitalier Universitaire de Brest（布雷斯特大学医院中心）
在最近的文献中，上下文预训练的语言模型（LM）在将知识推广到几个自然语言处理（NLP）任务中表现出了它们的潜力，包括有监督的词义消歧（WSD），这是自然语言理解（NLU）领域中的一个具有挑战性的问题。然而，来自这些模型的单词表示仍然非常密集，在内存占用方面代价高昂，并且可解释性最低。为了解决这些问题，我们提出了一种新的监督生物启发技术，用于将大型预训练的语言模型表示转换为压缩表示，对于WSD的情况。我们产生的表示有助于增加框架的一般可解释性，并减少内存占用，同时提高性能。
2019-11-14 cs.CL cs.LG
Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了上下文语言模型，将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列，而没有考虑对话的交互作用。我们设计了基于递归神经网络（RNN）的上下文语言模型，专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明，该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
High Quality ELMo Embeddings for Seven Less-Resourced Languages
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）
最近的研究结果表明，使用上下文嵌入的深度神经网络在大多数文本分类任务上的表现明显优于非上下文嵌入。我们为七种语言提供流行的上下文ELMo模型的预计算嵌入：克罗地亚语，爱沙尼亚语，芬兰语，拉脱维亚语，立陶宛语，斯洛文尼亚语和瑞典语。我们证明了嵌入的质量强烈依赖于训练集的大小，并表明现有的公开上市语言的ELMo嵌入应得到改进。我们在更大的训练集上训练新的ELMo嵌入，并展示了它们相对于基线非上下文FastText嵌入的优势。在评估中，我们使用两个基准，类比任务和NER任务。
2020-03-27 cs.CL cs.LG
Using Distributional Principles for the Semantic Study of Contextual Language Models
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）
近年来，人们对语境语言模型的性质进行了大量的研究，但令人惊讶的是，只有少数研究从语义相似性的角度来考虑这些模型的性质。在这篇文章中，我们首先专注于这些属性的英语利用分布原则的替代作为一种探测机制，在控制的SemCor和WordNet的聚合关系的背景下。然后，我们建议适应相同的方法，以更开放的设置，静态和上下文语言模型之间的差异的特点。
2021-11-23 cs.CL
Polyglot Contextual Representations Improve Crosslingual Transfer
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们介绍了Rosita，一种通过在多种语言的文本上训练单个语言模型来生成多语言上下文单词表示的方法。我们的方法结合了上下文单词表示与多语言表示学习的优点。我们从不同的语言对（英语/阿拉伯语和英语/中文）产生语言模型，并将它们用于依存句法分析，语义角色标注和命名实体识别，并与单语和非上下文变体进行比较。我们的研究结果为多语学习的好处提供了进一步的证据，在多语学习中，表征在多种语言中共享。
2019-03-18 cs.CL
CoT-MAE v2: Contextual Masked Auto-Encoder with Multi-view Modeling for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
本研究提出CoT-MAE v2，通过引入结合密集与稀疏向量的多视图表示及联合自编码与自回归的多视图解码范式，改进上下文掩码自编码器，有效提升了大规模段落检索与域外零样本检索的性能。
2023-04-05 cs.AI cs.CL cs.IR
Conditional BERT Contextual Augmentation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
我们提出了一种新的数据增强方法标记的句子称为条件BERT上下文增强。数据增强方法经常被应用于防止过拟合和提高深度神经网络模型的泛化能力。最近提出的上下文增强增强标记的句子随机替换的话与语言模型预测的更多样化的替代。BERT证明了深度双向语言模型比单向语言模型或前向和后向模型的浅层连接更强大。通过引入一个新的条件掩蔽语言模型\footnote{The term "conditional masked language model" appeared once in original BERT paper, which indicates context-conditional, is equivalent to term "masked language model". In our paper, "conditional masked language model" indicates we apply extra label-conditional constraint to the "masked language model".}任务，将BERT改进为条件BERT.经过良好训练的条件BERT可以应用于增强上下文增强。六个不同的文本分类任务的实验表明，我们的方法可以很容易地应用到卷积或递归神经网络分类器，以获得明显的改善。
2018-12-17 cs.AI cs.CL cs.LG
Evaluating Contextually Mediated Factual Recall in Multilingual Large Language Models
研究多语言大语言模型在自然上下文中回忆事实的能力，发现上下文中介显著降低事实回忆准确性，大模型更鲁棒，真实名称影响不系统。
2026-01-18 cs.CL
Deeper Text Understanding for IR with Contextual Neural Language Modeling
Carnegie Mellon University（卡内基梅隆大学）
神经网络为自动学习复杂的语言模式和查询-文档关系提供了新的可能性。神经IR模型在学习查询-文档相关模式方面取得了可喜的成果，但在理解查询或文档的文本内容方面却鲜有研究。本文研究了利用最近提出的上下文神经语言模型BERT来为信息检索提供更深层次的文本理解。实验结果表明，BERT的上下文文本表示比传统的词嵌入更有效。与词袋检索模型相比，上下文语言模型可以更好地利用语言结构，对用自然语言编写的查询带来很大的改进。将文本理解能力与搜索知识相结合导致增强的预训练BERT模型，其可以在训练数据有限的情况下有益于相关搜索任务。
2019-05-22 cs.CL cs.IR
COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation
National Taiwan Normal University（国立台湾师范大学）
研究旨在增强复杂多实体场景中的语音增强语言模型，提出COALA框架，通过将SLM潜在表示映射到判别空间量化匹配强度，并解决训练崩溃问题，在LibriSpeech基准上实现了卓越的上下文偏差性能。
2026-07-10 cs.CL
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo（滑铁卢大学）
上下文词嵌入模型，如BioBERT和Bio_ClinicalBERT，通过将其预训练过程集中在特定领域的语料库上，在生物医学自然语言处理任务中取得了最先进的结果。然而，这样的模型不考虑专家领域知识。在这项工作中，我们介绍了UmlsBERT，一个上下文嵌入模型，通过一种新的知识增强策略，在预训练过程中集成领域知识。更具体地说，用统一医学语言系统（UMLS）元词库对UmlsBERT进行增强是以两种方式进行的：i）连接UMLS中具有相同基础“概念”的单词，以及ii）利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略，UmlsBERT可以将临床领域知识编码到词嵌入中，并在常见的命名实体识别（NER）和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
Contextual Information and Specific Language Models for Spoken Language Understanding
在本文中，我们将解释如何上下文的预期产生和使用的任务导向的口语理解系统Dialogos。识别电话上的自发语音的艰巨任务可以极大地受益于在识别呼叫者的话语期间使用特定的语言模型。通过“特定语言模型”，我们指的是一组语言模型，这些语言模型是在上下文适当的数据上训练的，并且基于由对话管理模块发送到声学级的信息在对话的不同状态期间使用。在本文中，我们描述了特定的语言模型是如何获得的上下文信息的基础上。我们报告的实验结果表明，由于使用特定的语言模型，识别和理解性能得到提高。
1997-11-19 cmp-lg cs.CL
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University（麦迪卡普斯大学）
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果，例如pos标记，命名实体识别和文本分类。然而，这些语言模型中的大多数都是用高资源语言（如英语，德语，西班牙语）进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言，但它们往往不能代表这些语言的语言特征，因为它们不是研究的主要语言。我们介绍HinFlair，这是一个语言表示模型（上下文字符串嵌入）预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验，以分析这些上下文化的印地语字符串嵌入的性能。结果表明，HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外，HinFlair与FastText嵌入相结合时，性能优于许多基于transformers的语言模型，特别是为印地语训练的。
2021-01-18 cs.CL
Mark my Word: A Sequence-to-Sequence Approach to Definition Modeling
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Utrecht University（乌得勒支大学）
在文本上下文中定义单词对于实际目的和深入了解分布式单词表示都是一项有用的任务。基于分布假设，我们认为定义建模最自然的形式化是将其视为序列到序列任务，而不是单词到序列任务：给定带有突出显示单词的输入序列，为其生成上下文适当的定义。我们的建议允许训练上下文和定义生成在一个端到端的方式，这是一个概念上的改进，早期的作品。我们在上下文和非上下文定义建模方面都取得了最先进的成果。
2019-11-13 cs.CL
Low-Resource Parsing with Crosslingual Contextualized Representations
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管在依存句法分析方面取得了进展，但树库较小的语言仍然面临挑战。我们评估最近的方法，多语言的上下文单词表示（CWRs），并比较他们的跨语言迁移从一个大的树库语言与一个小的或不存在的树库，通过共享参数之间的语言在解析器本身。我们在模拟和真正的低资源情况下进行了多种语言选择的实验，并表明多语言CWRs极大地促进了低资源依存句法分析，即使没有跨语言的监督，如字典或并行文本。此外，我们研究了非上下文部分的学习语言模型（我们称之为“解文本探针”），以证明多语种语言模型更好地编码跨语言词汇对应对齐单语语言模型相比。这一分析进一步证明了多语言培训是一种有效的跨语言迁移方法。
2019-09-19 cs.CL
Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation
RIKEN AIP（理化学研究所先进智能项目中心）；Tohoku University（东北大学）；Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
预训练的上下文和非上下文子词嵌入已经在250多种语言中可用，允许大规模多语言NLP。然而，虽然并不缺乏预训练的嵌入，但明显缺乏系统的评估使得从业者很难在它们之间做出选择。在这项工作中，我们进行了广泛的评估比较非上下文子词嵌入，即FastText和BPEmb，和上下文表示方法，即BERT，多语言命名实体识别和词性标注。我们发现，总的来说，BERT，BPEmb和字符表示的组合在语言和任务中效果最好。更详细的分析揭示了不同的优点和缺点：多语言BERT在中高资源语言中表现良好，但在低资源环境中表现不如非上下文子词嵌入。
2019-06-04 cs.CL
Modeling Inter-Speaker Relationship in XLNet for Contextual Spoken Language Understanding
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们提出了两种方法来捕捉相关的历史信息，在一个多轮对话建模说话人之间的关系，口语语言理解（SLU）。我们的方法是为XLNet量身定制的，因此与XLNet兼容，XLNet是最先进的预训练模型，因此我们验证了在XLNet之上构建的模型。在我们的实验中，在两个基准数据集上，所有模型都比最先进的上下文SLU模型实现了更高的准确性。结果表明，该方法能有效提高XLNet的SLU精度。这些识别重要对话历史的方法将有助于减轻当前话语的SLU中的歧义。
2019-10-28 cs.CL cs.SD eess.AS
Hierarchical Multi Task Learning with Subword Contextual Embeddings for Languages with Rich Morphology
University of Tokyo（东京大学）；Bogazici University（海峡大学）
形态信息对于自然语言处理中的许多序列标注任务都是非常重要的。然而，现有的方法严重依赖于手动注释或外部软件来捕获此信息。在这项研究中，我们提出使用子词上下文嵌入来捕获丰富的形态语言的形态信息。此外，据我们所知，我们将这些嵌入在一个层次化的多任务设置中，这是以前没有使用过的。评估依存句法分析（DEP）和命名实体识别（NER）的任务，这是受益匪浅的形态信息，我们的最终模型优于以前的国家的最先进的模型在这两个任务的土耳其语。此外，我们表现出18.86%和4.61%F-1比以前提出的多任务学习者在相同的设置为DEP和NER任务，分别净改善。五个不同的MTL设置的实证结果表明，将子词上下文嵌入带来了显着的改善这两个任务。此外，我们观察到，多任务学习一贯提高DEP组件的性能。
2020-04-25 cs.CL cs.IR cs.LG
A Survey on Contextual Embeddings
University of Oxford（牛津大学）；DeepMind（深度思维）；University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
ELMo和BERT等上下文嵌入超越了Word2Vec等全局单词表示，并在广泛的自然语言处理任务中实现了突破性的性能。上下文嵌入根据上下文为每个单词分配一个表示，从而捕获单词在不同上下文中的使用，并对跨语言传输的知识进行编码。在本调查中，我们回顾了现有的上下文嵌入模型，跨语言多语言预训练，上下文嵌入在下游任务中的应用，模型压缩和模型分析。
2020-04-13 cs.AI cs.CL cs.LG
Sentence-Level Contextual Entrainment in Large Language Models
Kyoto University（京都大学）
研究大型语言模型中句子级上下文嵌入现象，发现提示中的句子（包括反事实陈述）会显著增加其推理概率，且该现象随模型增大而减弱，通过关闭2%-4%的注意力头可缓解而不影响性能。
2026-06-24 cs.CL
BabelEnconding at SemEval-2020 Task 3: Contextual Similarity as a Combination of Multilingualism and Language Models
Amazonas State Univ.（亚马孙州立大学）；Federal Univ. of Amazonas（亚马孙联邦大学）
本文描述了我们的团队（BabelEnconding）提交给SemEval-2020任务3的系统：预测上下文在单词相似度中的分级效应。我们提出了一种方法，依赖于翻译和多语言语言模型，以计算词对之间的上下文相似度。我们的假设是，来自其他语言的证据可以利用与人类生成的分数的相关性。BabelEnconding应用于两个子任务，并在八个任务/语言组合中的六个中排名前三，并且三次成为最高评分系统。
2020-08-19 cs.CL
Latin BERT: A Contextual Language Model for Classical Philology
School of Information（信息学院）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Department of Classics（古典学系）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了拉丁语BERT，这是一个拉丁语的上下文语言模型，训练了从古典时代到21世纪的各种来源的6.427亿个单词。在一系列的案例研究中，我们说明了这种语言特定的模型的启示，无论是在拉丁语的自然语言处理工作中，还是在传统学术研究中使用计算方法：我们表明，拉丁语BERT在拉丁语的所有三个通用依赖数据集上实现了词性标记的最新技术水平，并且可以用于预测丢失的文本（包括关键校正），我们创建了一个新的数据集，用于评估拉丁语的词义消歧，并证明拉丁语BERT优于静态词嵌入，我们表明，它可以用于语义知情搜索查询上下文最近的邻居。我们公开发布经过训练的模型，以帮助推动该领域的未来工作。
2020-09-21 cs.CL
Attention-based Contextual Language Model Adaptation for Speech Recognition
Amazon Alexa（亚马逊Alexa）
用于自动语音识别（ASR）的语言建模（LM）通常不包括话语级上下文信息。然而，对于像语音助理这样的一些领域，附加的上下文（诸如说出话语的时间）提供了丰富的输入信号。我们引入了一种注意力机制，用于在文本和非语言上下文数据上训练神经语音识别语言模型。当应用于一个流行的语音助手平台收集的大量去识别的话语数据集时，我们的方法相对于不包含上下文信息的标准LM减少了7.0%的困惑。当从数据集的长尾中提取的话语进行评估时，我们的方法相对于标准LM提高了9.0%的困惑度，与最先进的上下文LM模型相比，相对提高了2.8%。
2021-06-02 cs.AI cs.CL
CALM: Joint Contextual Acoustic-Linguistic Modeling for Personalization of Multi-Speaker ASR
Honda Research Institute Japan Co., Ltd.（本田研究院日本株式会社）；Carnegie Mellon University（卡内基梅隆大学）
CALM通过端到端框架整合目标说话人条件和上下文偏差，降低多说话人语音识别的词错误率和字符错误率，验证了跨语言的联合语音-语言建模有效性。
2026-05-13 cs.CL cs.SD eess.AS
Evaluation of contextual embeddings on less-resourced languages
University of Ljubljana（卢布尔雅那大学）；Queen Mary University of London（伦敦玛丽女王大学）；Jožef Stefan Institute（约泽夫·斯蒂芬研究所）
目前深度神经网络在自然语言处理中的主导地位是基于上下文嵌入，如ELMo，BERT和BERT衍生物。大多数现有的工作集中在英语，相比之下，我们在这里提出的第一个多语言的实证比较两个ELMo和几个单语和多语言的BERT模型使用14个任务，在9种语言。在单语环境中，我们的分析表明，单语BERT模型通常占主导地位，有一些例外，如依存句法分析任务，在那里他们是没有竞争力的ELMo模型上训练的大型语料库。在跨语言环境中，仅使用少数语言训练的BERT模型表现最好，紧随其后的是大规模多语言BERT模型。
2021-07-22 cs.CL
A scaling law of contextual persistence in human language
Florida Atlantic University（佛罗里达大西洋大学）
研究人类语言中单词顺序排列的规律，用大语言模型测量上下文持久性函数P(d)，发现其在多个语料库中按1/d衰减，建立了人类语言中上下文持久性的标度律。
2026-07-29 cs.CL
Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Westlake University（西湖大学）
自然语言推理是自然语言处理的一项基本任务，它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示，但它们不足以测试长文本的上下文推理，这是人类推理过程的自然部分。我们介绍了ConTRoL，一个新的数据集，用于长文本的上下文推理。ConTRoL由8，325个专家设计的带有黄金标签的“上下文假设”对组成，是一个高级NLI数据集，专注于复杂的上下文推理类型，如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验（言语推理测验），具有专家级质量。与以前的NLI基准相比，ConTRoL中的材料更具挑战性，涉及一系列推理类型。实证结果表明，最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集，例如检查摘要的事实正确性。
2020-11-10 cs.CL
Cross-lingual alignments of ELMo contextual embeddings
University of Ljubljana（卢布尔雅那大学）
为特定的NLP任务构建机器学习预测模型需要足够的训练数据，这对于资源较少的语言来说可能很难获得。跨语言嵌入将词嵌入从资源较少的语言映射到资源丰富的语言，使得在来自资源丰富的语言的数据上训练的预测模型也可以在资源较少的语言中使用。为了产生最近上下文嵌入的跨语言映射，嵌入空间之间的锚点必须是相同上下文中的单词。我们用一种新的方法来解决这个问题，用于创建跨语言上下文对齐数据集。在此基础上，我们提出了几种ELMo嵌入的跨语言映射方法。所提出的线性映射方法使用现有的Vecmap和MUSE对齐上下文ELMo嵌入。新的非线性ELMoGAN映射方法基于GANs，并且不假设同构嵌入空间。我们评估了九种语言的映射方法，使用四个下游任务：命名实体识别（NER），依存句法分析（DP），术语对齐，和情感分析。ELMoGAN方法在NER和术语对齐任务上表现非常好，与某些语言的直接训练相比，NER的跨语言损失更低。在DP和情感分析中，线性上下文对齐变体更成功。
2021-07-22 cs.CL
Contextual-Lexicon Approach for Abusive Language Detection
Institute of Mathematical and Computer Sciences, University of São Paulo（圣保罗大学数学与计算机科学学院）；Ribeirão Preto Medical School, University of São Paulo（圣保罗大学里贝朗普雷图医学院）；Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）
由于基于词典的方法在科学上更优雅，解释了解决方案的组成部分，并且更容易推广到其他应用程序，因此本文为社交媒体上的攻击性语言和仇恨言论检测提供了一种新方法。我们的方法体现了一个词汇的隐含和明确的进攻和咒骂的表达与上下文信息注释。由于巴西社交媒体滥用评论的严重性，以及缺乏葡萄牙语的研究，巴西葡萄牙语是用于验证模型的语言。然而，我们的方法可以适用于任何其他语言。进行的实验表明，所提出的方法的有效性，优于目前的基线方法的葡萄牙语。
2022-12-20 cs.CL
When Does Context Help? Error Dynamics of Contextual Information in Large Language Models
Harbin Institute of Technology（哈尔滨工业大学）；Singapore Management University（新加坡管理大学）
本文提出统一理论框架，分析上下文信息对Transformer模型误差动态的影响，通过几何条件和范数约束揭示上下文校正的必要条件，并通过实验验证提升模型性能。
2026-02-09 cs.CL
Do LLMs Know What Is Private Internally? Probing and Steering Contextual Privacy Norms in Large Language Model Representations
本文研究了大语言模型中上下文隐私规范的编码结构，通过探测和引导上下文隐私参数，揭示了模型在隐私保护上的不足，并展示了如何通过结构化控制减少隐私泄露。
2026-08-06 cs.CL
Transition-based Abstract Meaning Representation Parsing with Contextual Embeddings
University of Oxford（牛津大学）；The University of Edinburgh（爱丁堡大学）
理解和生成语言的能力使人类认知有别于其他已知的生命形式。我们研究了在语义解析任务中，将两种最成功的语言意义途径--统计语言模型和符号语义形式主义--结合起来的方法。建立在一个过渡为基础的，抽象意义表示（AMR）解析器，AmrEager，我们探讨了将预先训练的上下文感知的词嵌入-如BERT和RoBERTa-在AMR解析的问题，贡献一个新的解析器，我们称之为AmrBerger的效用。实验发现，这些丰富的词汇功能单独是不是特别有帮助，在提高分析器的整体性能的SMATCH分数相比，非上下文对应时，而额外的概念信息使系统能够超越基线。通过病变研究，我们发现上下文嵌入的使用有助于使系统对显式句法特征的去除更加鲁棒。这些发现揭示了当前形式的上下文嵌入和语言模型的优点和缺点，并促进了对它们的更深入的理解。
2022-06-13 cs.AI cs.CL cs.LG
Self-Supervised Contextual Language Representation of Radiology Reports to Improve the Identification of Communication Urgency
Dartmouth College（达特茅斯学院）；Dartmouth-Hitchcock Medical Center（达特茅斯-希区柯克医疗中心）
机器学习方法最近在生物医学文本分析中取得了高性能。然而，这些方法的广泛应用中的主要瓶颈是获得所需的大量带注释的训练数据，这是资源密集型和耗时的。自监督学习的最新进展已经显示出利用没有显式注释的大型文本语料库的前景。在这项工作中，我们建立了一个自我监督的上下文语言表示模型，使用BERT，一个深双向Transformer架构，以确定放射学报告，需要及时沟通的参考医生。我们在一个大型的未标记的放射学报告语料库上预训练了BERT模型，并在最终的文本分类器中使用了由此产生的上下文表示，用于通信紧急性。我们的模型实现了97.0%的准确率，召回率为93.3%，F-测量值为95.1%，在一个独立的测试集上，在识别放射学报告及时沟通，并显着优于以前的国家的最先进的模型的基础上word 2 vec表示。
2019-12-05 cs.CL cs.LG stat.ML
Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）
本文提出指针引导的段落排序预训练技术，通过自注意力指针网络恢复打乱文本顺序，增强大型语言模型的段落级上下文理解能力，并在多个下游分类任务中取得最先进性能。
2024-06-06 cs.AI cs.CL cs.LG
Contextual Biasing of Language Models for Speech Recognition in Goal-Oriented Conversational Agents
面向目标的会话界面旨在完成特定的任务，通常具有倾向于跨越多个回合的交互，这些交互遵循预定义的结构和目标。然而，自动语音识别（ASR）系统中的传统神经语言模型（NLM）大多是在有限的上下文下逐段训练的。在本文中，我们探索了将上下文纳入基于LSTM的NLM的不同方法，以便对长程依赖关系进行建模并改进语音识别。具体来说，我们使用跨多个回合的上下文结转，并使用词汇上下文线索，例如来自自然语言理解（NLU）模型的系统对话行为和用户提供的聊天机器人结构。我们还提出了一个新的架构，利用上下文嵌入来自BERT在推理时间提供的样本话语。我们的实验表明，一个字的出错率（WER）相对减少7%以上的非上下文话语级NLM rescorers目标为导向的音频数据集。
2021-06-04 cs.CL
Contextual Observer Grounding: Evaluating Situated Spatial Reasoning in Vision-Language Models
The University of Tokyo（东京大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出情境观察者锚定概念，构建POVBench基准，评估视觉-语言模型在具身任务中从情境线索推断说话者视角并定位目标的能力，发现明确分解空间推理可提升定位性能。
2026-09-09 cs.CL cs.CV cs.LG
Linguistic Knowledge and Transferability of Contextual Representations
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；University of Washington（华盛顿大学）
来自大规模神经语言模型的上下文单词表征在各种NLP任务中都是成功的，这表明它们编码了有用的和可转移的语言特征。为了揭示它们捕获的语言知识，我们研究了几个最近预训练的上下文化器（ELMo的变体，OpenAI Transformer语言模型和BERT）产生的表示，以及一套17个不同的探测任务。我们发现，在冻结的上下文表示之上训练的线性模型在许多情况下与最先进的任务特定模型竞争，但在需要细粒度语言知识的任务上失败（例如，联合识别）。为了研究上下文单词表示的可转移性，我们量化了上下文化器中各个层的可转移性差异，特别是递归神经网络（RNN）和Transformers之间的差异。例如，RNN的更高层更具有任务特定性，而Transformer层不表现出相同的单调趋势。此外，为了更好地理解是什么使上下文单词表示可转移，我们将语言模型预训练与11个监督预训练任务进行了比较。对于任何给定的任务，当预训练数据集固定时，对密切相关的任务进行预训练会产生比语言模型预训练更好的性能（平均而言更好）。然而，在更多数据上进行语言模型预训练会得到最好的结果。
2019-04-25 cs.CL
MAAM: Anchor-Preserving Compression and Contextual Calibration for Chinese Discriminatory Language Detection
School of Economics and Finance, Shanghai International Studies University（上海外国语大学国际金融贸易学院）
提出MAAM框架，通过保留歧视相关语义锚点并结合上下文先验校准，在轻量级模型上提升中文歧视性语言检测的准确性和校准性，同时构建首个中文LGBT歧视语料库ChLGBT。
2026-11-10 cs.CL
Contextual Topic Modeling For Dialog Systems
Amazon（亚马逊）
会话主题的准确预测可以是用于创建连贯和吸引人的对话系统的有价值的信号。在这项工作中，我们专注于上下文感知的主题分类方法，用于识别自由形式的人类聊天机器人对话中的主题。我们扩展了以前的工作，神经主题分类和无监督主题关键字检测，将会话上下文和对话行为功能。在注释数据上，我们表明，将上下文和对话行为导致主题分类准确率相对提高35%，主题经常跨越多个话语的会话交互的无监督关键字检测召回率提高11%。我们发现，主题深度等主题指标与连贯性和参与度等对话评价指标高度相关，这意味着会话主题模型可以预测用户满意度。我们检测对话主题和关键字的工作可以用来引导聊天机器人进行连贯的对话。
2018-10-19 cs.CL
Vector-Quantized Input-Contextualized Soft Prompts for Natural Language Understanding
Salesforce Research（赛富时研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
作为一种调节大规模预训练的语言模型以执行下游任务的参数高效方法，提示微调在很大程度上取得了成功。到目前为止，软提示微调学习任务特定的连续向量的固定集合，即，在任务样本中保持静态的软令牌。然而，固定的提示可能无法很好地推广到任务所包含的各种输入。为了解决这一问题，我们提出了矢量量化的输入上下文化调优器（VIP）作为软提示微调框架的扩展。VIP特别关注两个方面--上下文提示，其通过小规模句子编码器学习软提示令牌的输入特定上下文化，以及量化提示，其通过矢量量化网络将上下文化提示映射到一组可学习的码本矢量。在各种语言理解任务上，如SuperGLUE，QA，关系分类，NER和NLI，VIP的表现优于软提示微调（PT）基线的平均幅度为1.19%。此外，我们的泛化研究表明，VIP学习更强大的提示表示，在Out-of-domain QA和NLI任务上分别超过PT 0.6% - 5.3%，在跨12个域的4个任务的多任务设置上超过PT 0.75%。
2022-10-22 cs.CL
Your spouse needs professional help: Determining the Contextual Appropriateness of Messages through Modeling Social Relationships
University of Michigan（密歇根大学）；University of California, Davis（加州大学戴维斯分校）；University of Buffalo（布法罗大学）
本文提出通过显式建模社会关系来判断消息在特定语境中的适当性，构建新数据集并验证大语言模型可有效融入关系信息，同时揭示关系作为隐性规范的作用及其对其他社会因素的预测能力。
2023-07-06 cs.CL cs.CY
Named entity recognition in chemical patents using ensemble of contextual language models
University of Applied Sciences and Arts of Western Switzerland（瑞士西部应用科学与艺术大学）；Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；University of Geneva（日内瓦大学）
化学专利文献描述了广泛的应用，其中包含关键的反应和化合物信息，如化学结构，反应式和分子性质。这些信息实体应首先在文本段落中识别，以用于下游任务。文本挖掘通过信息抽取技术提供了从化学专利中提取相关信息的手段。作为化学信息学Elsevier墨尔本大学挑战赛的信息抽取任务的一部分，在这项工作中，我们研究了上下文化语言模型提取化学专利反应信息的有效性。我们评估Transformer架构训练的通用和专业语料库，提出一个新的合奏模型。我们最好的模型，基于多数集成方法，实现了92.30%的精确F1分数和96.24%的放松F1分数。实验结果表明，基于上下文的语言模型集成可以为化学专利信息抽取提供一种有效的方法。
2020-09-17 cs.CL
Contextual Cues in Machine Translation: Investigating the Potential of Multi-Source Input Strategies in LLMs and NMT Systems
LILT
本文比较GPT-4o与多语言NMT系统中多源输入策略对翻译质量的影响，发现中间语言上下文能提升领域特定及远距离语言对的翻译效果，并证明浅层融合结合高资源语言上下文可改善翻译质量。
2025-03-10 cs.CL
Quantum-Like Contextuality in Large Language Models
University College London（伦敦大学学院）；Quandela（宽德拉（Quandela））
本文通过构建语言模式并利用BERT提取概率分布，首次在自然语言中发现了大规模类量子情境性实例，并证明量子方法在语言任务中可能具有优势。
2024-12-21 cs.CL quant-ph
On the Universality of Deep Contextual Language Models
Birla Institute of Technology and Science, Pilani（比尔拉技术与科学学院）；Microsoft Research, Bengaluru（微软研究院）；Microsoft R&D, Hyderabad（微软研发中心）
像ELMO、BERT及其后继者这样的深度上下文语言模型（LM）主导了自然语言处理的领域，因为它们能够通过预训练单个模型，然后进行特定于任务的微调，快速扩展到多个任务。此外，像XLM-R和mBERT这样的模型的多语言版本在zero-shot跨语言迁移方面取得了令人鼓舞的结果，可能使许多服务不足和资源不足的语言的NLP应用程序成为可能。由于这一初步成功，预先训练的模型正被用作“通用语言模型”，作为跨不同任务、领域和语言的起点。这项工作探讨了“普遍性”的概念，确定了一个普遍模式应该能够扩展的七个方面，也就是说，表现同样好或相当好，在不同的环境中都是有用的。我们概述了目前的理论和实证结果，支持模型的性能在这些方面，随着扩展，可能有助于解决他们目前的一些局限性。通过这项调查，我们奠定了基础，了解大规模上下文语言模型的能力和局限性，并帮助识别研究差距和未来的工作方向，使这些LM包容性和公平的不同应用程序，用户和语言现象。
2021-12-18 cs.CL
Low-Resource Contextual Topic Identification on Speech
The Johns Hopkins University（约翰斯·霍普金斯大学）
在现实世界的非结构化音频的主题识别（主题ID）中，可变主题转换的音频实例首先被分解成连续的片段，并且每个片段被独立地分类。我们首先提出了一个通用的方法，在低资源的语言口语段的主题ID，使用级联的通用声学建模，翻译词典到英语，英语主题分类。接下来，而不是独立地分类每个段，我们证明，探索跨顺序段的上下文依赖关系可以提供很大的改进。特别是，我们提出了一个基于注意力的上下文模型，它能够利用上下文中有选择的方式。我们测试我们的上下文和非上下文模型四个LORELEI语言，但我们的注意力为基础的上下文模型显着优于上下文无关的模型。
2018-09-28 cs.CL
Neural Language Models Learn the Contextual Distributions of Dependency Structures: a statistical learning theory to compositionality
University of Oxford（牛津大学）
本文提出统计学习理论，认为NLM将已学依存结构作为新分布单元，通过合成语法实验证明模型能学习复合结构的上下文分布，且依存关系学习先于上下文特征，为组合性提供解释。
2026-09-29 cs.CL
