Accurate, yet inconsistent? Consistency Analysis on Language Understanding Models
University of Oxford（牛津大学）；SK Telecom（SK电信）
一致性是指为语义相似的上下文生成相同预测的能力，是健全的语言理解模型的高度期望的属性。尽管最近的预训练语言模型（PLM）在各种下游任务中表现出色，但如果模型真正理解语言，它们应该表现出一致的行为。在本文中，我们提出了一个简单的框架命名为一致性分析语言理解模型（CALUM）}来评估模型的下界一致性能力。通过实验，我们证实，目前的PLM是容易产生不一致的预测，即使是语义相同的输入。我们还观察到，具有释义识别任务的多任务训练有利于提高一致性，平均提高了13%的一致性。
2021-08-15 cs.CL
Do Language Models Understand Measurements?
KAIST（韩国科学技术院）
最近成功的预训练语言模型（PLM）激发了人们对他们理解和处理数字的能力的兴趣。然而，测量的数值推理还没有正式研究，尽管他们的重要性。在这项研究中，我们表明，PLM缺乏推理测量所需的能力。此外，我们发现，一个语言模型上训练的测量丰富的语料库表现出更好的性能理解测量。我们提出了一个简单的嵌入策略，以更好地区分数字和单位，这导致探测任务的显着改善。
2022-10-23 cs.CL
Comparative Analysis of Listwise Reranking with Large Language Models in Limited-Resource Language Contexts
Simon Fraser University（西蒙菲莎大学）；Duke University（杜克大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Amsterdam（阿姆斯特丹大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究针对资源有限的非洲语言，对比多款专有大语言模型的列表式重排序性能，发现其在nDCG@10等多数指标上显著优于传统基线，为低资源语言重排序的高性价比方案提供参考。
2025-01-15 cs.CL
Semantics-Aware Inferential Network for Natural Language Understanding
Shanghai Jiao Tong University（上海交通大学）
对于自然语言理解任务，无论是机器阅读理解还是自然语言推理，语义感知和推理都是相关建模的有利特征，以获得更好的理解性能。因此，我们提出了一个语义感知推理网络（SAIN），以满足这样的动机。SAIN的推理模块以显式语境化语义作为补充输入，通过注意力机制对语义线索进行一系列推理。通过串接这些步骤，推理网络有效地学习执行迭代推理，该迭代推理结合了显式语义和上下文表示。在良好的预训练语言模型作为前端编码器方面，我们的模型在包括机器阅读理解和自然语言推理在内的11个任务上取得了显着的改进。
2020-04-28 cs.CL
ContextGuard: Structured Self-Auditing for Context Learning in Language Models
Peking University（北京大学）；SCUT（上海交通大学）；Tsinghua University（清华大学）
提出ContextGuard框架，通过结构化自我审计机制使大语言模型在复杂上下文任务中忠实遵循所有上下文约束，包括外围、持久和格式敏感要求。
2026-05-26 cs.AI cs.CL
In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models
Columbia University（哥伦比亚大学）
鉴于大型预训练语言模型的上下文学习的成功，我们引入上下文学习蒸馏，将上下文少样本学习能力从大型模型转移到较小的模型。我们建议将上下文学习目标与语言建模目标相结合，以将阅读上下文示例的能力和任务知识提取到较小的模型中。我们在两种不同的少样本学习范式下执行上下文学习蒸馏：Meta上下文调整（Meta-ICT）和多任务上下文调整（Multitask-ICT）。多任务ICT在多任务少样本学习上表现更好，但也需要比Meta-ICT更多的计算。我们的方法在两个基准上显示了元ICT和多任务ICT的一致改进：LAMA和CrossFit。我们的大量实验和分析表明，在多任务ICT范式下，上下文学习目标和语言建模目标是互补的。上下文学习目标与语言建模目标相结合时，可获得最佳性能。
2022-12-20 cs.CL cs.LG
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University（复旦大学）；Amazon Shanghai AI Lab（亚马逊上海人工智能实验室）
随着将事实知识整合到预先训练的语言模型（如BERT）中的新兴分支的出现，大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入，这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中，我们提出了语境化语言和知识嵌入（CoLAKE），它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入，而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性，我们将它们集成到一个统一的数据结构中，即词-知识图谱（WK图）。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明，CoLAKE在大多数任务上都优于以前的同类算法.此外，CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能，这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
Language Model Detoxification in Dialogue with Contextualized Stance Control
University of California, Santa Barbara（加州大学圣巴巴拉分校）
为了减少预训练的语言模型（LM）中的毒性退化，以前关于语言模型解毒的工作集中于在不考虑上下文的情况下减少生成本身的毒性（自毒性）。因此，一种隐含的攻击性语言被忽略了，在这种语言中，世代支持上下文中的攻击性语言。不同于LM控制任务在以前的工作中，其中所需的属性是固定的生成，所需的立场的生成依赖于攻击性的上下文。因此，我们提出了一种新的控制方法来做上下文相关的解毒考虑的立场。我们引入Meta前缀来学习上下文化的姿态控制策略，并根据输入的上下文生成姿态控制前缀。然后将生成的姿态前缀与毒性控制前缀组合以指导响应生成。实验结果表明，我们提出的方法可以有效地学习上下文相关的姿态控制策略，同时保持低自毒性的底层LM。
2023-01-25 cs.CL cs.LG
IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
AI4Bharat, Indian Institute of Technology Madras, India（AI4Bharat，印度理工学院马德拉斯分校）；Sarvam AI, India（Sarvam AI，印度）
提出IndicContextEval基准，包含8种印度语言555位说话人的56小时自然语音，通过7级提示框架评估音频大语言模型是否真正利用上下文而非依赖参数化知识。
2026-06-25 cs.CL eess.AS
LLMs Are Few-Shot In-Context Low-Resource Language Learners
HKUST（香港科技大学）；AI Singapore（新加坡AI研究院）
本文在25种低资源语言和7种高资源语言上广泛研究了ICL及X-ICL，指出了上下文标签对齐的缺陷并提出了更有效的查询对齐方法，证明了少样本上下文信息能显著提升LLM的低资源语言理解质量。
2024-06-25 cs.AI cs.CL
CoDA21: Evaluating Language Understanding Capabilities of NLP Models With Context-Definition Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）
预训练的语言模型（PLM）在许多基准测试中取得了超人的性能，因此需要更难的任务。我们引入CoDA 21（上下文定义对齐），这是一个具有挑战性的基准测试，用于测量PLM的自然语言理解（NLU）能力：给定k个单词的定义和上下文，但不是单词本身，任务是将k个定义与k个上下文对齐。CoDA21需要对上下文和定义有深刻的理解，包括复杂的推理和世界知识。我们发现，人类和PLM性能之间存在很大的差距，这表明CoDA21衡量了NLU的一个方面，而现有的基准测试中没有充分涵盖这一方面。
2022-03-11 cs.AI cs.CL
Intrinsic Entropy of Context Length Scaling in LLMs
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Carnegie Mellon University（卡内基梅隆大学）；CPHOS；University of Washington（华盛顿大学）
本研究提出'内在熵'理论，通过实验验证长上下文对语言模型的影响，揭示训练数据集大小与最佳上下文长度的关系。
2026-03-02 cs.CL cs.LG
Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction
New York University（纽约大学）
本文研究LLM在低资源语言翻译中的挑战，通过构建形式文法模型评估翻译性能，发现语法规模、句子长度及语言差异显著影响翻译准确性。
2026-04-08 cs.AI cs.CL
Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Electronic Science and Technology of China（电子科技大学）
针对大语言模型上下文忠实性幻觉问题，提出动态注意力引导的上下文解码（DAGCD）轻量框架，利用注意力分布与不确定性信号进行单次解码，在开放域问答数据集上显著提升忠实性与鲁棒性并保持计算效率。
2025-02-25 cs.CL cs.LG
SIEVE: Sample-Efficient Parametric Learning from Natural Language
University of California, Berkeley（加州大学伯克利分校）；Bespoke Labs
SIEVE通过合成数据生成管道实现高效参数学习，仅需三个查询示例即可提升模型性能，适用于需要上下文的推理任务。
2026-02-02 cs.CL cs.LG
In-context Language Learning for Endangered Languages in Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本研究探讨了LLMs通过上下文学习在语音识别中学习濒危语言的可能性，并展示了基于概率的方法在语言学习中的优势。
2026-01-27 cs.AI cs.CL
On General Language Understanding
University of Potsdam（波茨坦大学）
本文针对当前 NLP 领域关于大语言模型是否真正理解语言的本质主义争论，提出一个理解模型框架，从语言使用情境、理解的个体与社会双重属性以及理解指标选择三个层面，阐明现有基准测试的局限并引出 NLP 使用伦理问题。
2023-10-27 cs.CL cs.CY
Preservation of Language Understanding Capabilities in Speech-aware Large Language Models
Adam Mickiewicz University（亚当·密茨凯维奇大学）
提出C3T基准，通过文本任务和语音克隆TTS评估语音感知大语言模型在语音输入下语言理解能力的保持程度、说话者公平性及跨模态鲁棒性。
2025-10-16 cs.AI cs.CL
Beyond the Parameters: A Technical Survey of Contextual Enrichment in Large Language Models: From In-Context Prompting to Causal Retrieval-Augmented Generation
本文综述了大型语言模型中通过增加结构化上下文来提升性能的技术，涵盖上下文学习、提示工程、检索增强生成等方法，并提出透明的文献筛选协议和可信检索增强NLP的研究优先级。
2026-04-03 cs.AI cs.CL
LIFT: Improving Long Context Understanding Through Long Input Fine-Tuning
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；National Key Laboratory of General Artificial Intelligence, BIGAI（BIGAI通用人工智能全国重点实验室）
提出 LIFT 框架，通过测试时调整模型参数适应上下文，使短上下文模型高效处理长输入，结合上下文学习在长上下文基准上显著提升性能。
2024-12-18 cs.AI cs.CL
Bi-directional Context-Enhanced Speech Large Language Models for Multilingual Conversational ASR
Alibaba-NTU Global e-Sustainability CorpLab（阿里巴巴-国立科技大学全球可持续发展公司实验室）；Nanyang Technological University（国立科技大学）；College of Computing and Data Science（计算与数据科学学院）
本文提出将双向上下文融入语音大语言模型，通过字符级上下文掩码训练和两阶段上下文感知解码，在1500小时多语言对话语料上取得18%的相对改进，优于6000小时数据训练的模型。
2025-07-04 cs.CL eess.AS
SCOPE: Sign Language Contextual Processing with Embedding from LLMs
ShanghaiTech University（上海科技大学）
SCOPE框架利用大语言模型嵌入和对话上下文提升手语识别与翻译性能，并贡献了72小时中文手语对话数据集，在多个基准上取得最先进结果。
2024-09-02 cs.AI cs.CL cs.CV
RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达公司）
针对检索增强编码器-解码器语言模型上下文学习的预训练-推理不匹配与上下文长度受限问题，提出结合检索增强掩码语言建模和前缀语言建模的RAVEN模型及融合式上下文学习机制，在少样本场景下以更少参数取得媲美大模型的性能。
2024-08-19 cs.AI cs.CL cs.LG
Meta-in-context learning in large language models
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Tübingen（图宾根大学）；Google DeepMind（谷歌DeepMind）
本文提出元上下文学习，证明大型语言模型可通过上下文学习递归提升自身能力，自适应重塑先验并修改策略，在回归与老虎机任务中表现优异，为替代传统微调提供了新途径。
2023-05-22 cs.AI cs.CL cs.LG
Language over Content: Tracing Cultural Understanding in Multilingual Large Language Models
KAIST（韩国釜山科学技术院）
本研究通过测量激活路径重叠度，探究多语言大型语言模型的内部文化理解机制，发现语言对内部表示的影响强于文化，且语言相似性未必带来文化表示一致性。
2025-11-11 cs.AI cs.CL cs.LG
In-Context Alignment: Chat with Vanilla Language Models Before Fine-Tuning
University of Washington（华盛顿大学）
本文提出在推理阶段通过上下文学习为未微调的 Llama-2 提供少量对齐示范，在不改变权重的情况下将相对 text-davinci-003 的胜率提升 7 倍，达到与对齐微调强基线相当的水平。
2023-08-08 cs.AI cs.CL cs.LG
Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了上下文语言模型，将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列，而没有考虑对话的交互作用。我们设计了基于递归神经网络（RNN）的上下文语言模型，专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明，该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
Low-Rank RNN Adaptation for Context-Aware Language Modeling
University of Washington（华盛顿大学）
上下文感知语言模型使用位置、用户和/或域元数据（上下文）来调整其预测。在神经语言模型中，上下文信息通常表示为嵌入，并作为附加输入提供给RNN，这在许多应用中都很有用。我们引入了一种更强大的机制，通过让上下文向量控制递归层权重矩阵的低秩变换，使用上下文来适应RNN。实验表明，允许更大比例的模型参数进行调整的困惑和几种不同类型的上下文的分类方面的好处。
2018-05-04 cs.CL
What Context Features Can Transformer Language Models Use?
Massachusetts Institute of Technology（麻省理工学院）
基于transformer的语言模型受益于对数百到数千个先前标记的上下文的调节。这些上下文的哪些方面有助于准确的模型预测？我们描述了一系列的实验，测量可用的信息，有选择地消融词汇和结构信息的Transformer语言模型上训练的英语维基百科。在中、长范围的语境中，我们发现一些极具破坏性的语境操作--包括打乱句子中的词序和删除除名词以外的所有单词--只删除了不到15%的可用信息。我们的研究结果表明，长的上下文，但不是他们详细的句法和命题内容，是重要的低困惑电流Transformer语言模型。
2021-06-15 cs.CL
Natural Language Understanding Based on Semantic Relations between Sentences
Kim Il Sung University（金日成综合大学）
本文定义了自然语言句子上的事件表示和事件之间的语义关系。在此基础上，我们形式化地考虑了以事件为基本单位的文本理解过程。
2012-12-19 cs.CL
Putting words in context: LSTM language models and lexical ambiguity
Universitat Pompeu Fabra（庞培法布拉大学）
在语言的神经网络模型中，单词通常使用上下文不变表示（词嵌入）来表示，然后将其置于隐藏层的上下文中。由于单词通常是模糊的，因此表示上下文相关的信息并不是微不足道的。我们研究了LSTM语言模型如何处理英语中的词汇歧义，设计了一种方法来探测其隐藏的词汇和上下文信息的表示。我们发现，这两种类型的信息表示在很大程度上，但也有改进的空间，上下文信息。
2019-06-12 cs.CL
Using Distributional Principles for the Semantic Study of Contextual Language Models
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）
近年来，人们对语境语言模型的性质进行了大量的研究，但令人惊讶的是，只有少数研究从语义相似性的角度来考虑这些模型的性质。在这篇文章中，我们首先专注于这些属性的英语利用分布原则的替代作为一种探测机制，在控制的SemCor和WordNet的聚合关系的背景下。然后，我们建议适应相同的方法，以更开放的设置，静态和上下文语言模型之间的差异的特点。
2021-11-23 cs.CL
Lost in the Middle: How Language Models Use Long Contexts
Stanford University（斯坦福大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Samaya AI（萨马亚人工智能公司）
研究语言模型在长上下文中定位信息的能力，发现相关信息位于开头或结尾时性能最佳，位于中间时显著下降，为未来评估提供了新协议。
2023-11-20 cs.CL
Larger-Context Language Modelling
Center for Data Science（数据科学中心）；New York University（纽约大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
在这项工作中，我们提出了一种新的方法，将语料库级别的话语信息到语言建模。我们称之为大上下文语言模型。我们引入了一种基于长短期记忆单元（LSTM）的递归语言模型的后期融合方法，该方法有助于LSTM单元保持句内依赖性和句间依赖性彼此分离。通过对IMDB、BBC和PennTree Bank三个语料库的测试，我们证明了该模型在困惑度方面有明显的改善。在实验中，我们在改变上下文句子数量的同时评估了所提出的方法，并观察到所提出的后期融合优于将额外输入并入LSTM的通常方式。通过分析训练后的大语境语言模型，我们发现实词，包括名词，形容词和动词，从越来越多的语境句子中受益最多。该分析表明，大上下文语言模型通过更好和更容易地捕获文档的主题来改进无条件语言模型。
2015-12-25 cs.CL
MetaVL: Transferring In-Context Learning Ability From Language Models to Vision-Language Models
UCLA（加州大学洛杉矶分校）；USC（南加州大学）
本文提出 MetaVL，先在 NLP 任务上元训练语言模型的上下文学习能力，再接入视觉编码器迁移到 VL 任务，证明该能力可跨模态迁移，并以少 20 倍参数超越基线。
2023-06-02 cs.CL
Abuse is Contextual, What about NLP? The Role of Context in Abusive Language Annotation and Detection
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
最广泛用于滥用语言检测的数据集包含消息列表，通常是推文，这些消息已被一个或多个注释器手动判断为滥用或非滥用，注释在消息级别执行。在本文中，我们调查会发生什么情况时，仇恨的内容的消息也是根据上下文判断，消息往往是模棱两可的，需要在发生的上下文中进行解释。我们首先重新注释一个广泛使用的数据集的一部分，在英语中的滥用语言检测在两个条件下，即有和没有上下文。然后，我们比较了在这两种类型的数据集上获得的三种分类算法的性能，认为上下文感知分类更具挑战性，但也更类似于真实的应用场景。
2021-03-27 cs.CL
Dual Supervised Learning for Natural Language Understanding and Generation
National Taiwan University（台湾大学）
自然语言理解（NLU）和自然语言生成（NLG）都是自然语言处理领域的重要研究课题。自然语言理解是从给定的话语中提取出核心语义，而自然语言生成则与之相反，其目标是根据给定的语义构造相应的句子。然而，这种双重关系在文献中还没有被研究。本文在双监督学习的基础上，提出了一种新的语言理解和生成的学习框架，提供了一种利用二元性的方法。初步实验表明，所提出的方法提高了这两个任务的性能。
2020-04-30 cs.CL
Improving Context Aware Language Models
RNN语言模型适应性的提高导致预测的改进，使许多应用程序受益。然而，目前的方法没有充分利用RNN结构。我们发现，最广泛使用的适应方法（将上下文与递归层输入处的词嵌入连接起来）优于具有一些低成本改进的模型：隐藏层和输出层的适应。以及特征散列偏置项以捕获上下文特性。使用三个不同的语料库的语言建模和分类任务的实验证明了所提出的技术的优点。
2017-04-21 cs.CL
Practical experiments with regular approximation of context-free languages
几种方法进行了讨论，构造一个有限自动机给定一个上下文无关文法，包括两种方法，导致子集和那些导致超集的原始上下文无关语言。这些方法中的一些经常逼近是新的，和其他一些人在这里提出了一个更精致的形式，相对于现有的文献。口语输入的常规近似的不同方法进行实际实验：假设从语音识别器过滤通过有限自动机。
1999-10-25 cs.CL
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo（东京大学）
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中，但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域（和语言对）具有这样的文档级并行数据，因此我们无法在大多数领域中执行准确的上下文感知翻译。因此，我们提出了一个简单的方法，把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库，因此没有文档级的并行数据是必要的。在理论上，本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性，在三个语言对，英语到法语，英语到俄语，日语到英语，通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
QCSE: A Pretrained Quantum Context-Sensitive Word Embedding for Natural Language Processing
QCSE是一种利用量子计算的上下文敏感词嵌入模型，通过创新的上下文矩阵计算方法提升自然语言处理的表达能力。
2026-03-10 cs.CL
Enriching Abusive Language Detection with Community Context
McGill University（麦吉尔大学）
使用贬义词可以是善意的，也可以是积极的。当滥用检测模型将这些表达错误地归类为贬义时，它们无意中审查了边缘化群体进行的富有成效的对话。与非主导观点互动的一种方法是在对话中加入语境。以前的研究已经利用了用户级和线程级的功能，但它往往忽略了有效对话发生的空间。我们的论文强调了社区背景如何提高滥用语言检测的分类结果。我们为此作出两项主要贡献。首先，我们表明，在线社区集群的性质，他们对虐待受害者的支持。其次，我们建立了社区环境如何提高准确性，降低最先进的辱骂性语言分类器的误报率。这些发现为语境感知模型在辱骂性语言研究中的应用提供了一个有希望的方向。
2022-06-16 cs.CL
Conversational Agents and the Understanding of Human Language: Reflections on AI, LLMs, and Cognitive Science
HEIG-VD / HES-SO（瑞士西部应用科学与艺术大学伊韦尔东工程与管理高等学院）；EPFL（瑞士洛桑联邦理工学院）
本文探讨计算机自然语言处理与人类语言能力理解的关系，分析NLP发展与语言能力理论的异同，指出语言技术的进步未显著深化人类语言处理机制的理解。
2026-03-29 cs.CL
Benchmarking Language Models for Code Syntax Understanding
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
预训练的语言模型在自然语言处理和程序理解方面都表现出了令人印象深刻的性能，它将输入表示为令牌序列，而不显式地对其结构进行建模。一些先前的工作表明，预先训练的语言模型可以捕获自然语言的语法规则，而无需对语法理解任务进行微调。然而，到目前为止，对预训练模型如何理解代码结构的理解有限。在这项工作中，我们对最先进的预训练模型进行了第一次彻底的基准测试，用于识别程序的语法结构。具体来说，我们介绍Codebooks，一个大规模的数据集的程序注释的语法关系，在其相应的抽象语法树。我们的主要观察是，现有的代码预训练的语言模型仍然缺乏对代码语法的理解。事实上，这些预先训练的程序设计语言模型无法匹配基于位置偏移和关键字的简单基线的性能。我们还提出了一个自然语言的基准突出自然语言和程序设计语言的语法结构理解方面的差异。我们的研究结果指出了现有的程序设计语言的预训练方法的主要局限性，并提出了建模代码语法结构的重要性。
2022-10-26 cs.CL
Context-Tuning: Learning Contextualized Prompts for Natural Language Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Université de Montréal（蒙特利尔大学）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
最近，预训练语言模型（PLM）在语言生成方面取得了巨大的成功。为了利用PLM编码的丰富知识，一个简单而强大的范例是使用离散令牌或连续嵌入形式的提示。在现有的研究中，这些提示方法通常与输入无关，缺乏对输入语义的充分考虑。为了解决这个问题，我们提出了一种新的连续提示的方法，称为上下文调整，微调PLM的自然语言生成。首先，根据输入文本导出提示，以从PLM中提取有用的知识用于生成。我们把这种提示称为语境化提示。其次，我们使用连续的逆提示，以改善自然语言的生成过程，通过建模从输出到输入的逆生成过程，使生成的文本更相关的输入。此外，我们利用一个轻量级的上下文调整方法，微调只有0.12%的参数，同时保持良好的性能。我们的代码可在https://github.com/RUCAIBox/Context-Tuning上公开获取。
2022-10-03 cs.CL
Evaluating Transformer's Ability to Learn Mildly Context-Sensitive Languages
University of Washington（华盛顿大学）
本文测试了Transformer学习不同复杂度轻度上下文相关语言的能力，发现其同分布泛化良好但长序列外推逊于LSTM，并揭示其self-attention建模依存关系和计数行为的作用。
2023-10-19 cs.CL
Language Cognition and Language Computation -- Human and Machine Language Understanding
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Institute of Psychology（中国科学院心理研究所）
语言理解是认知科学和计算机科学领域的一个关键科学问题。然而，这两个学科在具体的研究问题上有很大的不同。认知科学侧重于分析大脑的具体机制，研究大脑对语言的反应;很少有研究将大脑的语言系统作为一个整体来考察。相比之下，计算机科学家在选择研究问题时关注的是实际应用的效率，但可能会忽视语言最基本的规律。鉴于这些差异，这些学科的结合能否为构建智能语言模型和研究语言认知机制提供新的见解？在下文中，我们首先回顾了认知科学和计算机科学中语言理解的研究问题、历史和方法，重点讨论了当前的进展和挑战。然后对认知科学和计算机科学对语言理解的研究进行了比较。最后，我们回顾现有的工作，结合语言认知和语言计算的见解，并提供未来的发展趋势的前景。
2023-01-12 cs.CL
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University（麦迪卡普斯大学）
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果，例如pos标记，命名实体识别和文本分类。然而，这些语言模型中的大多数都是用高资源语言（如英语，德语，西班牙语）进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言，但它们往往不能代表这些语言的语言特征，因为它们不是研究的主要语言。我们介绍HinFlair，这是一个语言表示模型（上下文字符串嵌入）预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验，以分析这些上下文化的印地语字符串嵌入的性能。结果表明，HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外，HinFlair与FastText嵌入相结合时，性能优于许多基于transformers的语言模型，特别是为印地语训练的。
2021-01-18 cs.CL
A Constraint-Satisfaction Parser for Context-Free Grammars
University of Granada（格拉纳达大学）
传统的语言处理工具将语言设计者限制在特定类型的语法上。相反，基于模型的语言规范将语言设计与语言处理相结合。因此，基于模型的语言规范工具需要能够解析不受限制的上下文无关文法的通用解析器。由于遵循这种方法指定的语言可能是二义性的，解析器必须处理二义性。基于模型的语言规范还允许定义关联性、优先级和自定义约束。因此，由模型驱动的语言规范工具生成的解析器需要强制约束。在本文中，我们提出了围栏，一个有效的自下而上的图表解析器，支持词汇和语法歧义，允许规范的约束，因此，使使用基于模型的语言规范在实践中。
2012-02-02 cs.CL
Context informs pragmatic interpretation in vision-language models
Department of Psychology Stanford University（心理学系 斯坦福大学）
本文通过迭代指称博弈测试视觉-语言模型的语境敏感语用推理能力，发现相关语境能显著提升模型表现，但抽象指称的少样本任务仍具挑战性。
2025-11-05 cs.CL
Incrementalizing RASA's Open-Source Natural Language Understanding Pipeline
Boise State University（博伊西州立大学）
随着口语对话系统和聊天机器人的广泛采用，用于自然语言理解的商业和开源服务正在出现。在本文中，我们解释了我们如何改变开源RASA自然语言理解管道以增量方式处理（即，逐词），遵循Schlangen和Skantze提出的增量单元框架。为此，我们更改了现有的RASA组件以增量方式处理，并将更新增量意图识别模型作为组件添加到RASA中。我们对Snips数据集的评估表明，我们的变化允许RASA作为一个有效的增量自然语言理解服务。
2019-07-11 cs.CL
Polyglot Contextual Representations Improve Crosslingual Transfer
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们介绍了Rosita，一种通过在多种语言的文本上训练单个语言模型来生成多语言上下文单词表示的方法。我们的方法结合了上下文单词表示与多语言表示学习的优点。我们从不同的语言对（英语/阿拉伯语和英语/中文）产生语言模型，并将它们用于依存句法分析，语义角色标注和命名实体识别，并与单语和非上下文变体进行比较。我们的研究结果为多语学习的好处提供了进一步的证据，在多语学习中，表征在多种语言中共享。
2019-03-18 cs.CL
Data Annealing for Informal Language Understanding Tasks
University of California, Davis（加州大学戴维斯分校）
正式和非正式的语言理解任务之间存在巨大的绩效差距。最近的预训练模型提高了形式语言理解任务的性能，但在非正式语言上没有取得可比的结果。我们提出了一个数据退火迁移学习过程，以弥补非正式的自然语言理解任务的性能差距。它成功地利用了预先训练的模型，如非正式语言中的BERT。在我们的数据退火过程中，训练集主要包含正式文本数据，然后，非正式文本数据的比例在训练过程中逐渐增加。我们的数据退火过程是独立于模型的，可以应用于各种任务。我们在详尽的实验中验证了它的有效性。当BERT与我们的学习过程实现时，它在三个常见的非正式语言任务上的表现优于所有最先进的模型。
2020-04-24 cs.CL
Context and Humor: Understanding Amul advertisements of India
语境知识是理解语言最重要的因素。语境知识指的是一般知识和话语知识，即情境语境、背景知识和互文语境的知识[10]。在本文中，我们将讨论语境知识在理解印度Amul卡通广告中的幽默的重要性。在此过程中，我们将分析这些广告，并看看幽默是否是广告的有效工具，从而，对于营销。这些双语广告也期望观众有适当的语言知识，包括英语和印地语词汇的知识，词法和句法。采用双关语、组合词和对流行谚语、表达方式、缩写词、著名对话、歌曲等的模仿等不同技巧，以幽默的方式传达信息。本研究将集中在这些语言线索和理解机智和幽默所需的上下文。
2018-04-15 cs.CL
