Does Context Matter? ContextualJudgeBench for Evaluating LLM-based Judges in Contextual Settings
Salesforce AI Research（Salesforce人工智能研究部门）
针对现有LLM评判器缺乏语境场景评估的问题，提出包含2000个响应对的ContextualJudgeBench基准，实验发现即使SOTA模型在该基准上的一致准确率也仅约55%。
2025-03-19 cs.AI cs.CL cs.LG
Pak3H: Evaluating the Cost of Cultural Mismatch in LLM Alignment with a Human-Contextualized Urdu Benchmark
Macquarie University（麦考瑞大学）；Lahore University of Management Sciences（拉合尔管理科学大学）
该研究针对LLM对齐中低资源语言的文化不匹配问题，构建了首个人类验证的乌尔都语3H对齐基准Pak3H1，经评估发现多语言LLM存在对齐差距，凸显人工引导本地化评估的必要性。
2026-09-01 cs.AI cs.CL
Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning
School of Economics and Management, East China Normal University（华东师范大学经济与管理学部）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
本文评估了十种模型编辑方法在可靠性、泛化性、局部性和可移植性上的不足，并提出不修改参数、利用外部知识进行选择性上下文推理的SCR方法，实验证明其在知识更新上更有效。
2025-03-07 cs.AI cs.CL
MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues
University of Notre Dame（诺丁汉大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Georgia Institute of Technology（佐治亚理工学院）；University of Montreal（蒙特利尔大学）
MTMCS-Bench评估多模态大语言模型在多轮对话中的上下文安全性，揭示了安全与效用之间的权衡及现有防护措施的不足。
2026-01-11 cs.AI cs.CL
How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing
European Commission Joint Research Centre（欧洲委员会联合研究中心）
在分类任务中，处理文本片段和元数据通常需要处理多模态方法。当这些元数据是文本的时候，为了利用模型内部编码的语义信息，很容易将它们与预先训练的Transformer一起使用。本文描述了如何通过将危机事件类型添加到要分类的每个推文来改进人道主义分类任务。基于模型权重和行为的附加实验，它识别了所提出的神经网络方法如何部分地过度拟合危机基准的特殊性，以更好地突出模型如何毫无疑问地学习使用和利用元数据的文本语义。
2021-11-07 cs.CL
When Specialization Helps: Using Pooled Contextualized Embeddings to Detect Chemical and Biomedical Entities in Spanish
Goethe University Frankfurt（法兰克福歌德大学）
药理学物质、化合物和蛋白质的识别是识别化学品和其他生物医学相关单位之间关系的基本前期工作。在本文中，我们描述了一种方法，任务1的PharmaCoNER挑战，其中涉及到识别提到的化学品和药物在西班牙医学文本。我们训练了一个最先进的BiLSTM-CRF序列标记器，它使用开源框架FLAIR堆叠池上下文嵌入，单词和子词嵌入。我们提出了一个新的语料库组成的文章和论文从西班牙健康科学期刊，称为西班牙健康语料库，并使用它来训练特定领域的嵌入，我们将在我们的模型训练。我们使用预训练的嵌入实现了89.76%的F1分数，并且能够使用专门的嵌入将这些结果提高到90.52%的F1分数。
2019-10-08 cs.CL cs.LG
Contextual Word Representations: A Contextual Introduction
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
这篇介绍旨在讲述我们如何将文字输入计算机的故事。它是人工智能的一个分支自然语言处理（NLP）领域故事的一部分。它的目标受众广泛，对计算机编程有基本的了解，但避免了详细的数学处理，也没有提出任何算法。它也不关注NLP的任何特定应用，如翻译，问答或信息抽取。这里提出的想法是由许多研究人员在几十年中发展起来的，所以引用并不详尽，而是引导读者阅读一些论文，在作者看来，这些论文是开创性的。阅读本文档后，您应该对词向量（也称为词嵌入）有一个大致的了解：它们为什么存在，它们解决了什么问题，它们来自哪里，它们如何随着时间的推移而变化，以及关于它们的一些开放性问题是什么。对于已经熟悉词向量的读者，建议跳到第5节来讨论最新的进展，上下文词向量。
2020-04-17 cs.CL
On the Universality of Deep Contextual Language Models
Birla Institute of Technology and Science, Pilani（比尔拉技术与科学学院）；Microsoft Research, Bengaluru（微软研究院）；Microsoft R&D, Hyderabad（微软研发中心）
像ELMO、BERT及其后继者这样的深度上下文语言模型（LM）主导了自然语言处理的领域，因为它们能够通过预训练单个模型，然后进行特定于任务的微调，快速扩展到多个任务。此外，像XLM-R和mBERT这样的模型的多语言版本在zero-shot跨语言迁移方面取得了令人鼓舞的结果，可能使许多服务不足和资源不足的语言的NLP应用程序成为可能。由于这一初步成功，预先训练的模型正被用作“通用语言模型”，作为跨不同任务、领域和语言的起点。这项工作探讨了“普遍性”的概念，确定了一个普遍模式应该能够扩展的七个方面，也就是说，表现同样好或相当好，在不同的环境中都是有用的。我们概述了目前的理论和实证结果，支持模型的性能在这些方面，随着扩展，可能有助于解决他们目前的一些局限性。通过这项调查，我们奠定了基础，了解大规模上下文语言模型的能力和局限性，并帮助识别研究差距和未来的工作方向，使这些LM包容性和公平的不同应用程序，用户和语言现象。
2021-12-18 cs.CL
Revisiting Contextual Toxicity Detection in Conversations
Queen Mary University of London（伦敦玛丽女王大学）
理解用户对话中的毒性无疑是一个重要的问题。处理“隐蔽的”或隐含的毒性案件特别困难，需要背景。很少有以前的研究分析了人类感知或自动检测模型中会话上下文的影响。我们深入研究这两个方向。我们从分析现有的上下文数据集开始，并得出结论，人类的毒性标签一般受会话结构，极性和上下文主题的影响。然后，我们建议通过引入和评估（a）意识到会话结构的上下文毒性检测的神经架构，以及（b）可以帮助建模上下文毒性检测的数据增强策略，将这些发现带入计算检测模型。我们的研究结果表明，令人鼓舞的潜力的神经架构，知道的对话结构。我们还证明了这种模型可以从合成数据中受益，特别是在社交媒体领域。
2022-10-18 cs.CL
Attention-based Contextual Language Model Adaptation for Speech Recognition
Amazon Alexa（亚马逊Alexa）
用于自动语音识别（ASR）的语言建模（LM）通常不包括话语级上下文信息。然而，对于像语音助理这样的一些领域，附加的上下文（诸如说出话语的时间）提供了丰富的输入信号。我们引入了一种注意力机制，用于在文本和非语言上下文数据上训练神经语音识别语言模型。当应用于一个流行的语音助手平台收集的大量去识别的话语数据集时，我们的方法相对于不包含上下文信息的标准LM减少了7.0%的困惑。当从数据集的长尾中提取的话语进行评估时，我们的方法相对于标准LM提高了9.0%的困惑度，与最先进的上下文LM模型相比，相对提高了2.8%。
2021-06-02 cs.AI cs.CL
Contextual Similarity is More Valuable than Character Similarity: An Empirical Study for Chinese Spell Checking
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；OPPO Research Institute（OPPO研究院）；Peng Cheng Laboratory（鹏城实验室）；Tencent Cloud Xiaowei（腾讯云小微）
中文拼写检查（CSC）任务旨在检测和纠正中文拼写错误。目前，相关研究主要集中在从混淆集中引入字符相似度来增强CSC模型，而忽略了包含更丰富信息的字符上下文。为了更好地利用情境信息，我们提出了一个简单而有效的课程学习（CL）框架的CSC任务。在我们与模型无关的CL框架的帮助下，现有的CSC模型将随着人类学习汉字而从容易到困难进行训练，并实现进一步的性能改进。广泛的实验和广泛使用的SIGHAN数据集的详细分析表明，我们的方法优于以前的国家的最先进的方法。更重要的是，我们的研究经验表明，上下文相似性比字符相似性更有价值的CSC任务。
2023-02-28 cs.CL
Combining Static and Contextualised Multilingual Embeddings
LMU Munich（慕尼黑大学）；Charles University（查理大学）
静态和上下文多语言嵌入具有互补的优势。静态嵌入虽然不如上下文语言模型具有表达性，但可以更直接地跨多种语言对齐。我们结合了静态和上下文模型的优势，以改善多语言表示。我们从XLM-R中提取了40种语言的静态嵌入，使用跨语言单词检索来验证这些嵌入，然后使用VecMap进行对齐。这就产生了高质量、高度多语言的静态嵌入。然后，我们将一种新的持续预训练方法应用于XLM-R，利用静态嵌入的高质量对齐来更好地对齐XLM-R的表示空间。我们对多个复杂的语义任务显示出积极的结果。我们发布静态嵌入和后续的预训练代码。与大多数以前的工作不同，我们的持续预训练方法不需要并行文本。
2022-03-17 cs.CL
Latin BERT: A Contextual Language Model for Classical Philology
School of Information（信息学院）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Department of Classics（古典学系）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了拉丁语BERT，这是一个拉丁语的上下文语言模型，训练了从古典时代到21世纪的各种来源的6.427亿个单词。在一系列的案例研究中，我们说明了这种语言特定的模型的启示，无论是在拉丁语的自然语言处理工作中，还是在传统学术研究中使用计算方法：我们表明，拉丁语BERT在拉丁语的所有三个通用依赖数据集上实现了词性标记的最新技术水平，并且可以用于预测丢失的文本（包括关键校正），我们创建了一个新的数据集，用于评估拉丁语的词义消歧，并证明拉丁语BERT优于静态词嵌入，我们表明，它可以用于语义知情搜索查询上下文最近的邻居。我们公开发布经过训练的模型，以帮助推动该领域的未来工作。
2020-09-21 cs.CL
Memory Consolidation for Contextual Spoken Language Understanding with Dialogue Logistic Inference
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
对话语境在口语语言理解（SLU）系统中被证明是有用的，并且它们通常被编码为外显记忆表征。然而，大多数以前的模型学习的上下文记忆只有一个目标，最大限度地提高SLU的性能，留下的上下文记忆开发不足。在本文中，我们提出了一个新的对话逻辑推理（DLI）任务巩固上下文记忆联合SLU在多任务框架。DLI被定义为将混洗的对话会话排序为其原始逻辑顺序，并且与SLU模型共享相同的存储器编码器和检索机制。我们的实验结果表明，各种流行的上下文SLU模型可以受益于我们的方法，和改进是相当令人印象深刻的，特别是在插槽填充。
2019-06-05 cs.CL
An Attention-Based Model for Predicting Contextual Informativeness and Curriculum Learning Applications
ACT, Inc（ACT公司）；University of Michigan（密歇根大学）；University of Oregon（俄勒冈大学）
本研究针对语境对词汇学习的助力差异问题，提出基于预训练嵌入和注意力机制的语境信息量预测模型，在相关数据集上达SOTA，可识别关键语境要素，并能用于优化词嵌入模型的训练课程。
2023-11-09 cs.CL
Fast and Robust Unsupervised Contextual Biasing for Speech Recognition
Salesforce.com, Inc.（赛富时公司）
自动语音识别（ASR）系统正在成为一种普遍存在的技术。虽然它的准确性在某些设置下正在缩小与人类水平的差距，但可以进一步改进的一个领域是纳入用户特定的信息或上下文来使其预测产生偏差。一种常见的框架是从所提供的上下文迷你语料库动态地构建小语言模型，并且在解码过程期间用主语言模型内插其得分。在这里，我们提出了一种替代方法，不需要显式的上下文语言模型。相反，我们从训练语料库中获得系统词汇表中每个单词的偏差分数。该方法的独特之处在于：1）它不需要上下文或训练语料库的元数据或类标签注释。2)偏差分数与单词的对数概率成比例，因此它不仅会使所提供的上下文发生偏差，而且对不相关的上下文（例如，用户错误指定或难以量化严格范围的情况）也是鲁棒的。3)在训练阶段期间预先确定整个词汇表的偏差分数，从而消除了在推理期间计算上昂贵的语言模型构造。当相关上下文可用时，我们在识别准确性方面表现出显着的改进。此外，我们还证明了所提出的方法具有较高的容忍度，在不相关的上下文存在的假触发错误。
2020-05-04 cs.CL
Transition-based Abstract Meaning Representation Parsing with Contextual Embeddings
University of Oxford（牛津大学）；The University of Edinburgh（爱丁堡大学）
理解和生成语言的能力使人类认知有别于其他已知的生命形式。我们研究了在语义解析任务中，将两种最成功的语言意义途径--统计语言模型和符号语义形式主义--结合起来的方法。建立在一个过渡为基础的，抽象意义表示（AMR）解析器，AmrEager，我们探讨了将预先训练的上下文感知的词嵌入-如BERT和RoBERTa-在AMR解析的问题，贡献一个新的解析器，我们称之为AmrBerger的效用。实验发现，这些丰富的词汇功能单独是不是特别有帮助，在提高分析器的整体性能的SMATCH分数相比，非上下文对应时，而额外的概念信息使系统能够超越基线。通过病变研究，我们发现上下文嵌入的使用有助于使系统对显式句法特征的去除更加鲁棒。这些发现揭示了当前形式的上下文嵌入和语言模型的优点和缺点，并促进了对它们的更深入的理解。
2022-06-13 cs.AI cs.CL cs.LG
Contextual Temperature for Language Modeling
National Tsing Hua University（国立清华大学）；Google（谷歌公司）
温度定标作为一种控制分布光滑性的有效方法，已被广泛应用，这有助于模型在各种任务中的性能。应用温度缩放的当前实践假设固定的或手动制作的动态变化的时间表。然而，我们的研究表明，每个类的个人最佳轨迹可以随着上下文而变化。为此，我们提出了上下文温度，一种广义的方法，学习每个词汇的最佳温度轨迹的上下文。实验结果表明，该方法显着提高了国家的最先进的语言模型，实现了55.31和62.89的测试集上的Penn Treebank和WikiText-2，分别困惑。深入的分析表明，学习的温度时间表的行为变化显着的词汇，最佳的时间表有助于控制的不确定性。这些证据进一步证明了所提出的方法的必要性及其相对于固定温度计划的优势。
2020-12-25 cs.CL cs.LG
Contextual BERT: Conditioning the Language Model Using a Global State
Zalando SE（扎兰多股份公司）
BERT是一种流行的语言模型，其主要的预训练任务是填充空白，即，根据剩余的单词预测句子中被屏蔽的单词。然而，在某些应用中，具有额外的上下文可以帮助模型做出正确的预测，例如，通过将域或写作时间考虑在内。这激励我们通过添加全局状态来调节固定大小的上下文来推进BERT架构。我们提出了我们的两种新颖的方法，并将它们应用到一个行业用例中，在这个行业用例中，我们根据特定的客户完成了缺少物品的时尚服装。与文献中其他方法的实验比较表明，我们的方法显着提高个性化。
2020-10-29 cs.CL
How Can BERT Help Lexical Semantics Tasks?
Westlake University（西湖大学）
诸如BERT之类的上下文化嵌入可以作为NLP任务的强输入表示，优于诸如skip-gram、CBOW和GloVe之类的静态嵌入。然而，这样的嵌入是动态的，根据一个词汇级上下文计算，这限制了它们在词汇语义任务中的使用。我们通过使用动态嵌入作为训练静态嵌入的单词表示来解决这个问题，从而利用它们强大的表示能力来消除上下文信息的歧义。结果表明，该方法导致改进传统的静态嵌入的词汇语义任务的范围内，获得最好的报告结果在七个数据集。
2020-04-05 cs.CL
Contextual Skipgram: Training Word Representation Using Context Information
Korea University（高丽大学）
skip-gram（SG）模型通过从非结构化文本数据中预测中心词周围的词来学习词表示。然而，并非上下文窗口中的所有单词都有助于中心单词的含义。例如，不太相关的词可能在上下文窗口中，从而阻碍SG模型学习更好质量的表示。在本文中，我们提出了一个增强版本的SG，利用上下文信息来产生单词表示。提出的模型，上下文跳跃gram，旨在预测上下文的中心词和上下文信息的话。这个简单的想法有助于减少无关词对训练过程的影响，从而增强最终的表现
2021-02-17 cs.CL cs.LG
Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information
Westlake University（西湖大学）；Tencent Inc（腾讯公司）；Westlake Institute for Advanced Study（西湖高等研究院）
针对论元结构抽取中上下文信息利用不充分的问题，提出ECASE模型，通过序列注意力模块、距离加权损失及数据增强提升性能，在5个跨领域数据集上达到SOTA。
2023-10-08 cs.CL
Contextual Text Denoising with Masked Language Models
Georgia Tech（佐治亚理工学院）；Tencent（腾讯）
本文提出一种基于现成掩码语言模型的上下文文本去噪算法，无需重训或成对清洗数据，即可在合成与自然噪声下纠正文本并提升下游任务性能。
2024-03-05 cs.CL cs.LG
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL（洛桑联邦理工学院）；Iprova SA（Iprova公司）
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中，我们展示了如何训练词嵌入联合二元组，甚至三元组嵌入，结果在改进的unigram嵌入。我们声称，训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息，从而产生更好的独立词嵌入。我们的经验表明，我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Contextual Inference in Computational Semantics
在本文中，自动定理证明技术的计算语义的应用。为了计算自然语言话语的预设，出现了几个推理任务。而不是处理这些推理相互独立，我们展示了如何从正式的方法，上下文到演绎的集成技术可以帮助更有效地计算预设。语境被表示为话语表征结构，它们的嵌套方式是明确的。此外，一个表演算是存在的，它保持跟踪的上下文信息，从而允许避免执行冗余的推理步骤，因为它发生在方法中，忽略显式嵌套的上下文。
2000-09-20 cs.AI cs.CL
Supervised Contextual Embeddings for Transfer Learning in Natural Language Processing Tasks
Carnegie Mellon University（卡内基梅隆大学）
预训练的词嵌入是几个自然语言处理（NLP）任务中迁移学习的主要方法。最近的工作集中在使用无监督技术，如语言建模，以获得这些嵌入。相比之下，这项工作的重点是从多个预先训练的监督模型中提取表示，这丰富了任务和领域特定知识的词嵌入。在跨任务、跨领域和跨语言环境中进行的实验表明，这种监督嵌入是有帮助的，特别是在低资源环境中，但增益的程度取决于任务和领域的性质。我们公开我们的代码。
2019-06-28 cs.CL cs.LG
Transformer ASR with Contextual Block Processing
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
Transformer自注意网络最近显示出作为端到端（E2 E）自动语音识别（ASR）系统中的递归神经网络（RNN）的替代方案的有前途的性能。然而，Transformer的缺点在于需要整个输入序列来计算自注意。在本文中，我们提出了一种新的块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码，还有助于对全局语言、通道和扬声器属性进行编码。为了有效地训练模型，我们引入了一种新的掩码技术来实现上下文继承。华尔街日报（WSJ），Librispeech，VoxForge意大利语，和AISHELL-1普通话语音识别数据集的评估表明，我们提出的上下文块处理方法优于天真块处理一致。此外，每一层的注意力权重的趋势进行了分析，以阐明如何添加上下文继承机制模型的全局信息。
2019-10-16 cs.CL eess.AS
Does Syntactic Knowledge help English-Hindi SMT?
Language Technologies Research Centre（语言技术研究中心）
在本文中，我们将探讨各种参数设置的国家的最先进的统计机器翻译系统，以提高翻译质量的“遥远”的语言对，如英语-印地语。我们提出了新的技术，有效的重新排序。据报告，使用这些技术后，与基线相比略有改善。我们还表明，一个简单的预处理步骤可以显着提高翻译的质量。
2014-01-20 cs.AI cs.CL
Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction
University of Waterloo（滑铁卢大学）
信息检索的最新进展发现，将查询和文档表示嵌入到多向量中可以在分布外的数据集上产生鲁棒的双编码器检索器。在本文中，我们探讨了后期交互（最简单的多向量形式）是否也有助于仅使用[CLS]向量来计算相似性得分的神经重排序器。虽然直观地说，前几层的重排序器的注意力机制已经收集了令牌级别的信息，但我们发现添加后期交互仍然会在分布外数据集上带来额外的5%的平均改善，延迟几乎没有增加，域内有效性也没有下降。通过大量的实验和分析，我们发现，在不同的模型大小和不同性质的第一阶段检索器是一致的，并且在较长的查询中，这种改进更为突出。
2023-02-13 cs.CL cs.IR
Pragmatically Informative Color Generation by Grounding Contextual Modifiers
Stanford University（斯坦福大学）；Institute of High Performance Computing, Agency for Science, Technology and Research（科学技术研究局高性能计算研究所）；National University of Singapore（新加坡国立大学）
将语言置于上下文信息中是细粒度自然语言理解的关键。一个重要的任务，涉及接地上下文修饰符是颜色生成。给定一个参考色“green”和一个修饰符“bluey”，如何生成一个可以表示“blueygreen”的颜色？我们提出了一个计算语用学模型，制定这个颜色生成任务作为一个递归的扬声器和听众之间的游戏。在我们的模型中，一个务实的扬声器的原因，听众会作出的推断，从而产生一个修改后的颜色，是最大限度地帮助听众恢复原来的参考。在本文中，我们表明，与其他最先进的深度学习模型相比，结合语用信息提供了显着的性能改进，其中缺乏语用推理和从大型连续空间表示颜色的灵活性。我们的模型在训练过程中看不到参考颜色的测试用例中性能绝对提高了98%，在训练过程中看不到参考颜色和修改器的测试用例中性能绝对提高了40%。
2020-10-09 cs.AI cs.CL
Reducing Spelling Inconsistencies in Code-Switching ASR using Contextualized CTC Loss
语码转换（CS）是自动语音识别（ASR）的一个难题，尤其是基于字符的模型。由于组合选择了多种语言中的字符，基于字符的模型的结果会受到音素重复的影响，从而导致语言不一致的拼写。我们提出了上下文连接时间分类（CCTC）的损失，以鼓励拼写错误的字符为基础的非自回归ASR，允许更快的推理。CCTC损失条件的主要预测的预测上下文，以确保语言的拼写一致性。与现有的基于CTC的方法相比，CCTC损失不需要帧级对齐，因为上下文地面真值是从模型的估计路径中获得的。与使用常规CTC损失训练的相同模型相比，我们的方法一致地提高了CS和单语语料库上的ASR性能。
2021-06-22 cs.CL cs.SD eess.AS
The Art of Saying No: Contextual Noncompliance in Language Models
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）；The Ohio State University（俄亥俄州立大学）；Microsoft Research（微软研究院）；Samaya AI（Samaya人工智能公司）；Nvidia（英伟达公司）
本文提出情境性不遵从分类体系及1000条评估提示，揭示现有模型在非安全类别中过度遵从的问题，并证明低秩适配器训练能在不损害通用能力的前提下改善不遵从表现。
2024-11-22 cs.AI cs.CL cs.HC
