SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences
Keio University（庆应义塾大学）
词的分布式表示提高了许多自然语言任务的性能。然而，在许多方法中，一个词的一个标签只考虑一个含义，并且取决于上下文的多义词的多个含义很少被处理。虽然研究工作涉及多义词，但都是根据一批大的文献来确定多义词的意义。因此，将这些方法应用于连续的句子有两个问题，例如在包含歧义表达的对话中。第一个问题是这些方法不能顺序地处理语境和词义之间的相互依赖关系，即语境决定词义，词义决定语境。因此，语境估计必须并行进行，以寻求多种解释。第二个问题是，以前的方法使用大规模的句子集来离线学习新的解释，学习和推理的步骤被明确分离。这种使用离线学习的方法在对话期间无法获得新的解释。因此，为了动态估计会话语境和连续句子中多义词的解释，本文在传统的同时定位与地图构建（SLAM）算法的基础上，提出了一种同时语境化与解释（SCAIN）方法。通过使用SCAIN算法，我们可以顺序优化上下文和单词解释之间的相互依赖关系，同时在线获得新的解释。为了进行实验评估，我们创建了两个数据集：一个来自维基百科的消歧页面，另一个来自真实对话。对于这两个数据集，结果证实SCAIN可以有效地实现顺序优化的相互依赖性和收购新的解释。
2020-05-29 cs.AI cs.CL
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego（加州大学圣迭戈分校）
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集，系统评估单语与多语BERT模型的语境化语义表征，揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
"Let's Eat Grandma": Does Punctuation Matter in Sentence Representation?
Arizona State University（亚利桑那州立大学）
基于神经网络的嵌入已经成为用于创建文本的矢量表示以捕获词汇和语义相似性和不相似性的主流方法。一般来说，现有的编码方法将标点符号视为无关紧要的信息;因此，它们通常被视为预定义的标记/单词或在预处理阶段被消除。然而，标点符号可以在句子的语义中发挥重要作用，如“Let's eat \hl{,} grandma”和“Let's eat grandma”。我们假设，标点符号感知的表示模型会影响下游任务的性能。因此，我们提出了一个模型不可知的方法，结合了句法和上下文信息，以提高性能的情感分类任务。我们通过在公开数据集上进行实验来证实我们的发现，并提供案例研究，我们的模型生成了句子中标点符号的表示。
2022-08-07 cs.CL cs.LG
From a Word-Level Dictionary to Sentence-Level Semantics: Multilingual Grievance Labelling with Contextual Models
University of Technology Sydney（悉尼科技大学）
研究针对多语言不满情绪标注，指出词级词典存在问题，提出用上下文阅读模型取代术语匹配，在非循环基准上评估，结果显示阅读上下文能更准确测量不满情绪，在未选文本上测试更诚实，还发布了代码和基准。
2026-07-24 cs.CL
Sentence-level Online Handwritten Chinese Character Recognition
Harbin Institute of Technology（哈尔滨工业大学）；Meituan（美团）
单联机手写体汉字识别（单OLHCCR）取得了突出的性能。然而，在实际应用场景中，用户往往需要书写多个汉字来组成一个完整的句子，这些汉字中的上下文信息对提高句子级OLHCCR的准确性、鲁棒性和效率具有重要意义。在这项工作中，我们首先提出了一个简单而直接的端到端网络，即香草组合网络~（VCN）来解决业务级OLHCCR。它将卷积神经网络与序列建模结构相结合，利用手写字符先前的上下文信息。尽管VCN的性能比最先进的单一OLHCCR模型好得多，但当面对书写不好的字符（如潦草的书写、遗漏或折断的笔画）时，它暴露出高度的脆弱性。为了提高并行级OLHCCR的鲁棒性，我们进一步提出了一种新的深度时空融合网络DSTFN。该算法以预训练的自回归框架为主干，将每个汉字投影到词嵌入中，并在多层融合模块中多次融合手写体汉字的空间方位特征及其上下文信息。我们还构建了一个大规模的手写水平的数据集，命名为CSOHD评估模型。大量的实验结果表明，DSTFN达到了最先进的性能，表现出较强的鲁棒性相比，VCN和现有的单一OLHCCR模型。深入的实证分析和案例研究表明，DSTFN能显著提高手写输入的效率，对不完整笔画的手写体汉字也能准确识别。
2021-07-04 cs.CL cs.CV
Modelling Interaction of Sentence Pair with coupled-LSTMs
Fudan University（复旦大学）
最近，人们对使用深度神经网络来建模两个句子的交互越来越感兴趣。然而，大多数现有的方法用单独的编码器对两个序列进行编码，其中一个句子用很少或没有来自另一个句子的信息进行编码。在本文中，我们提出了一个深层的架构来模拟强互动的句子对与两个耦合LSTM。具体来说，我们引入了两种耦合的方式来模拟两个LSTM的相互依赖性，耦合两个句子的局部上下文化的相互作用。然后，我们汇总这些交互，并使用动态池来选择信息量最大的特征。两个非常大的数据集上的实验证明了我们提出的架构的有效性和其优越性，以国家的最先进的方法。
2016-05-20 cs.CL
Sparse Structure Learning via Graph Neural Networks for Inductive Document Classification
Seoul National University（首尔大学）；AIGENDRUG Co., Ltd.（AIGENDRUG有限公司）
近年来，图神经网络（GNNs）已被广泛用于文档分类。然而，大多数现有的方法都是基于静态的词共现图，没有词级信息，这带来了三个挑战：（1）词的歧义，（2）词的同义词，和（3）动态上下文依赖。为了解决这些挑战，我们提出了一种新的基于GNN的稀疏结构学习模型的归纳文档分类。具体地说，文档级图最初由文档级词共现图的不相交并集生成。我们的模型收集了一组可训练的边缘连接句子之间的不相交的单词，并采用结构学习稀疏地选择动态上下文依赖关系的边缘。具有稀疏结构的图可以通过GNN联合利用文档中的局部和全局上下文信息。对于归纳学习，细化后的文档图被进一步馈送到通用读出函数中，用于以端到端的方式进行图级分类和优化。在几个真实数据集上的大量实验表明，该模型的性能优于大多数最先进的结果，并揭示了为每个文档学习稀疏结构的必要性。
2022-03-21 cs.CL
Large-Scale Contextualised Language Modelling for Norwegian
University of Oslo（奥斯陆大学）
我们提出了正在进行的NorLM倡议，以支持创建和使用非常大的语境化语言模型挪威（原则上其他北欧语言），包括一个现成的软件环境，以及数据准备和培训的经验报告。本文介绍了第一个基于ELMo和BERT框架的挪威语大规模单语语言模型。除了详细介绍训练过程外，我们还为挪威人提供了一套NLP任务的对比基准测试结果。有关更多背景信息以及数据、模型和软件的访问，请访问http://norlm.nlpl.eu
2021-04-13 cs.CL
Towards Arabic Sentence Simplification via Classification and Generative Approaches
University of Leeds（利兹大学）；Alexandria University（亚历山大大学）
本文试图建立一个现代标准阿拉伯语（MSA）的词典级简化系统。我们使用两种方法进行了句子简化实验：（i）一种分类方法，使用Arabic-BERT，一种预先训练的上下文模型以及一种fastText词嵌入模型来实现词汇简化管道;（ii）一种生成方法，通过应用多语言文本到文本传输Transformer mT5的Seq 2Seq技术。我们通过对齐国际知名阿拉伯小说《Saaq al-Bambuu》中的原始句子和简化句子来开发我们的训练语料库。我们评估这些方法的有效性，通过比较生成的简单句子的目标简单句子使用BERTScore评价指标。通过BERTScore，mT5模型产生的简单句子达到P 0.72，R 0.68和F-1 0.70，而结合Arabic-BERT和fastText达到P 0.97，R 0.97和F-1 0.97。此外，我们报告了这些实验的手动误差分析。\url{https://github.com/Nouran-Khallaf/Lexical_Simplification}
2022-04-20 cs.CL
Contextual Lensing of Universal Sentence Representations
Google Research（谷歌研究院）
是什么让一个通用的句子编码器通用？文本的通用编码器的概念似乎与动态世界中语言使用的固有语境化和非永久性不一致。然而，将句子映射成通用的固定长度向量以用于下游相似性和检索任务已经是富有成效的，特别是对于多语言应用。我们如何处理这一困境？在这项工作中，我们提出了上下文透镜，诱导面向上下文的通用句子向量的方法。我们打破了通用句子向量的建设成一个核心，可变长度，句子矩阵表示配备了一个适应性强的“镜头”，固定长度的向量可以诱导作为镜头上下文的功能。我们表明，它是可能的语言相似性的概念集中到一个小数目的镜头参数的核心通用矩阵表示。例如，我们展示了将几种语言中句子的翻译相似性编码为单个权重矩阵的能力，即使核心编码器没有看到并行数据。
2020-02-20 cs.CL cs.LG
PoMo: Generating Entity-Specific Post-Modifiers in Context
Stony Brook University（石溪大学）；University of California, Irvine（加州大学欧文分校）；University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们引入实体后修饰符生成作为协作写作任务的一个实例。给定一个关于目标实体的句子，任务是自动生成一个后置修饰语短语，提供关于该实体的上下文相关信息。例如，对于句子，“巴拉克·奥巴马，_，支持#MeToo运动。“，短语“两个女孩的父亲”是上下文相关的后置修饰语。为此，我们建立PoMo，一个后修饰符数据集自动创建的新闻文章，反映了新闻需要纳入实体信息，是相关的一个特定的新闻事件。PoMo由超过231K个句子组成，这些句子带有从维基数据中提取的约57K个独特实体的后置修饰语和相关事实。我们使用众包表明，建模上下文相关性是必要的准确的后修饰符生成。我们采用了一些现有的生成方法作为此数据集的基线。我们的研究结果表明，在识别要包含的相关事实（知道哪些声明是相关的，BLEU分数提高了20%以上）和为上下文生成适当的后置修饰语文本（提供相关声明不足以准确生成）方面都有很大的改进空间。我们进行了误差分析，为未来的研究提出了有前途的方向。
2019-04-08 cs.CL
STaCK: Sentence Ordering with Temporal Commonsense Knowledge
University of Michigan（密歇根大学）；Singapore University of Technology and Design（新加坡科技设计大学）
句子顺序预测是在随机排序的文档中找到句子的正确顺序的任务。正确排列句子需要理解与文本中描述的事件的时间顺序相关的连贯性。围绕这些事件的文档级上下文理解和常识知识通常是揭示这种连贯性和预测确切时间顺序的关键。在本文中，我们介绍STaCK -一个框架的基础上图神经网络和时间常识知识的模型全局信息和预测相对顺序的句子。我们的图形网络使用“过去”和“未来”的知识积累时间证据，并将句子排序作为一个约束边缘分类问题。我们报告了五个不同数据集的结果，并根据经验表明，所提出的方法自然适合于订单预测。这项工作的实施情况可在https://github.com/declare-lab/sentence-ordering上公开查阅。
2021-09-06 cs.AI cs.CL
Team "better_call_claude": Style Change Detection using a Sequential Sentence Pair Classifier
Humanities Lab, Faculaty of Arts, Radboud University, Houtlaan 4, 6525 XZ, Nijmegen, Netherlands（人文实验室，艺术学院，拉德堡德大学）；Center for Artificial Intelligence, Technical University of Applied Sciences Würzburg-Schweinfurt, Münzstraße 12, 97070, Würzburg, Germany（人工智能中心，应用技术大学Würzburg-Schweinfurt）；LEYA Lab, School of Computer Science, Physics and Technology, HSE University, 6, 25th Liniya, Vasilievsky Ostrov, 199004, St Petersburg, Russia（LEYA实验室，计算机科学、物理与技术学院，俄罗斯高等经济大学）
本研究针对PAN 2025句子级风格变化检测任务，提出轻量的序列句子对分类器方法，结合预训练语言模型与BiLSTM建模上下文，在三个难度数据集上均取得优于随机基线和claude-3.7-sonnet零样本的宏F1表现。
2025-08-01 cs.CL
Do You See What I Mean? Visual Resolution of Linguistic Ambiguities
MIT（麻省理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
理解语言与整合通过感知获得的复杂上下文信息的能力密切相关。在这项工作中，我们提出了一个新的任务接地语言理解：消除歧义的一个句子给定的视觉场景，描绘了一个可能的解释，该句子。为此，我们引入了一个新的多模态语料库，包含歧义句，代表了广泛的句法，语义和话语的歧义，再加上视频，可视化的不同解释，为每个句子。我们通过扩展一个视觉模型来解决这个问题，该模型可以确定一个句子是否由视频描述。我们演示了如何调整这样的模型，以识别相同的基本句子的不同解释，允许在不同的歧义类型的统一的方式消除歧义的句子。
2016-03-26 cs.AI cs.CL cs.CV
Sentence Compression as Deletion with Contextual Embeddings
CINNAMON LAB（肉桂实验室）；Hung Yen University of Technology and Education（兴安技术教育大学）；The University of Queensland（昆士兰大学）
句子压缩是在保留重要信息的同时创建输入句子的较短版本的任务。在本文中，我们扩展的任务压缩删除使用上下文嵌入。不同于以前的工作通常使用非上下文嵌入（手套或Word2Vec），我们利用上下文嵌入，使我们的模型捕捉输入的上下文。更准确地说，我们利用由双向长短期记忆和条件随机场堆叠的上下文嵌入来处理序列标记。在基准Google数据集上的实验结果表明，通过利用上下文嵌入，我们的模型实现了一个新的最先进的F分数相比，强大的方法报告的领导者板。
2020-06-05 cs.CL cs.IR cs.LG
Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations
Preferred Networks, Inc.
我们提出了一种新的数据增强标记的句子称为上下文增强。我们假设一个不变性，即句子是自然的，即使句子中的词被替换为其他词与聚合关系。我们在单词位置随机地用由双向语言模型预测的其他单词替换单词。根据上下文预测的单词很多，但适合于增加原始单词。此外，我们改造了一个语言模型的标签条件架构，这使得该模型可以增加句子，而不破坏标签的兼容性。通过对六种不同文本分类任务的实验，我们证明了所提出的方法改进了基于卷积或循环神经网络的分类器。
2018-05-16 cs.CL cs.LG
Sentence-Level Contextual Entrainment in Large Language Models
Kyoto University（京都大学）
研究大型语言模型中句子级上下文嵌入现象，发现提示中的句子（包括反事实陈述）会显著增加其推理概率，且该现象随模型增大而减弱，通过关闭2%-4%的注意力头可缓解而不影响性能。
2026-06-24 cs.CL
Context-Aware Transformer Pre-Training for Answer Sentence Selection
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出三种模仿上下文答案句子选择下游任务的预训练目标，通过在公开和工业数据集上微调 RoBERTa 和 ELECTRA，将基线准确率提升多达 8%。
2023-05-24 cs.CL cs.LG
Contextual Sentence Analysis for the Sentiment Prediction on Financial Data
Trading Central Labs（Trading Central 实验室）
通讯和社交网络可以反映分析师和公众对公司提供的产品和/或服务的观点。因此，对这些文本进行情感分析，可以为投资者在市场中进行交易提供有用的信息。在本文中，一个层次堆栈的Transformers模型提出了识别与公司和股票相关的情绪，通过预测一个分数（数据类型真正的）在-1和+1之间的范围。具体来说，我们微调了一个RoBERTa模型来处理标题和微博，并将其与额外的Transformer层相结合，用情感词典处理句子分析，以改善情感分析。我们根据SemEval-2017 task 5发布的财务数据对其进行了评估，我们的提议优于SemEval-2017 task 5的最佳系统和强大的基线。事实上，上下文句子分析与金融和一般情感词典的结合为我们的模型提供了有用的信息，并使其能够生成更可靠的情感得分。
2021-12-27 cs.CL cs.LG
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool（利物浦大学）；Amazon（亚马逊）
在NLP社区中已经提出了各种上下文化的语言模型，这些模型在不同的语料库上训练以产生许多神经语言模型（NLM）。然而，不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法，该方法采用独立训练的上下文化词嵌入模型，并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的，并且不与特定的下游任务绑定，这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说，我们首先投影由各个NLM获得的令牌级嵌入，并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来，我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明，我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
Using Contextual Information for Sentence-level Morpheme Segmentation
George Mason University（乔治梅森大学）
本研究将语素切分重构为序列到序列任务，以整句为输入，发现多语言模型优于单语言模型，虽未超越最先进方法，但在高资源语言上效果相当，低资源语言上存在局限。
2024-12-16 cs.CL
Learning a Word-Level Language Model with Sentence-Level Noise Contrastive Estimation for Contextual Sentence Probability Estimation
Seoul National University（首尔大学）
推断句子或词序列的概率分布是自然语言处理中的一个关键过程。虽然单词级语言模型（LM）已被广泛采用的计算单词序列的联合概率，他们有困难，在捕捉足够长的上下文句子概率估计（SPE）。为了克服这一点，最近的研究引入了使用递归神经网络（RNN）的重复级噪声对比估计（NCE）的训练方法。在这项工作中，我们试图扩展它的上下文SPE，其目的是估计一个条件句的概率给定以前的文本。所提出的NCE独立于先前文本对否定句进行采样，使得训练后的模型对与\textcolor{blue}{the}上下文更一致的句子给出更高的概率。我们将我们的方法应用于一个简单的单词级RNN LM，以关注单词级NCE训练的效果，而不是网络架构。评估的质量对多项选择完形填空式的问题，包括人类和自动生成的问题。实验结果表明，该方法提高了词级RNN LM的SPE质量。
2021-03-14 cs.CL
Bi-ISCA: Bidirectional Inter-Sentence Contextual Attention Mechanism for Detecting Sarcasm in User Generated Noisy Short Text
Shiv Nadar University（希夫·纳达尔大学）；Accenture Technology Labs（埃森哲技术实验室）
社交媒体平台上的许多在线评论是仇恨的，幽默的，或讽刺的。这些评论（尤其是短评论）的讽刺性质改变了它们实际隐含的情感，这导致了现有情感分析模型的误解。大量的研究已经做了检测讽刺的文本中使用基于用户的，主题和会话信息，但没有太多的工作已经做了使用句间上下文信息检测相同。本文提出了一种新的最先进的深度学习架构，该架构使用一种新的双向句间上下文注意力机制（Bi-ISCA）来捕获句间依赖关系，以便仅使用会话上下文来检测用户生成的短文本中的讽刺。所提出的深度学习模型展示了捕获负责引起讽刺的显式、隐式和上下文不一致的单词和短语的能力。Bi-ISCA在两个广泛使用的讽刺检测任务基准数据集（Reddit和Twitter）上生成最先进的结果。据我们所知，没有一个现有的国家的最先进的模型使用一个句子间的上下文注意力机制，以检测讽刺的用户生成的短文本中使用的会话上下文。
2021-04-20 cs.CL
Simple Unsupervised Summarization by Contextual Matching
Harvard University（哈佛大学）
我们提出了一个无监督的方法，句子摘要只使用语言建模。该方法采用两个语言模型，一个是通用的（即预训练的），另一个是特定于目标域。我们表明，通过使用产品的专家标准，这些都足以保持连续的上下文匹配，同时保持输出流畅性。在抽象和提取句子摘要数据集上的实验表明，我们的方法在不暴露于任何配对数据的情况下取得了令人满意的结果。
2019-07-31 cs.CL cs.LG
Context-based Transformer Models for Answer Sentence Selection
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Amazon Alexa（亚马逊Alexa）
问答系统设计的一个重要任务是从与所问问题相关的文档中选择包含（或构成）答案的句子。大多数以前的工作只使用目标句子来计算它的分数，因为模型不够强大，无法有效地编码额外的上下文信息。在本文中，我们分析了上下文信息在句子选择任务中的作用，提出了一个基于Transformer的架构，利用两种类型的上下文，本地和全球。前者描述包含句子的段落，旨在解决隐式引用，而后者描述包含候选句子的整个文档，提供基于内容的信息。在三个不同的基准测试上的结果表明，在Transformer模型中，局部和全局上下文的组合显着提高了答案句子选择的准确性。
2020-06-01 cs.CL cs.LG
What do you learn from context? Probing for sentence structure in contextualized word representations
Google AI Language；Johns Hopkins University（约翰斯·霍普金斯大学）；Swarthmore College（斯沃斯莫尔学院）；New York University（纽约大学）；Brown University（布朗大学）
诸如ELMo（Peters等人，2018 a）和BERT（Devlin等人，2018）最近在一系列下游NLP任务上取得了最先进的成果。基于最近的标记级探测工作，我们引入了一种新的边缘探测任务设计，并从传统的结构化NLP管道中构建了一系列广泛的子句子任务。我们从四个最近的模型中探索词级上下文表示，并研究它们如何在一系列句法，语义，局部和远程现象中编码句子结构。我们发现，在语言建模和翻译上训练的现有模型对句法现象产生了强有力的表示，但在非上下文基线上对语义任务只提供了非常小的改进。
2019-05-15 cs.CL
Contextual Salience for Fast and Accurate Sentence Vectors
Stanford University（斯坦福大学）；Salesforce Research（Salesforce 研究院）
句子或文档的无监督向量表示是许多语言任务（如情感分类）的主要构建块。然而，目前的方法是不可解释的和缓慢的或需要大量的训练数据集。最近的词向量为基础的建议隐含地假设，在词嵌入空间的距离是同样重要的，无论上下文。我们引入上下文显着性（CoSal），一个词的重要性，使用上下文向量的分布来规范化的距离和权重的措施。CoSal依赖于不寻常的词向量不成比例地影响短语向量的洞察力。一个基于CoSal-based权重的词袋模型产生准确的无监督句子或文档表示用于分类，需要很少的计算来评估，只需要一个协方差计算来"训练“。“CoSal支持小上下文，上下文外的单词，在大多数基准测试中优于SkipThought，在所有基准测试中击败tf-idf，并与无监督的最先进技术竞争。
2020-11-02 cs.CL
Using contextual sentence analysis models to recognize ESG concepts
Trading Central（交易中心公司）；IRIT（图卢兹计算机研究所）；CNRS（法国国家科学研究中心）；University of Toulouse（图卢兹大学）；L3i（图像、交互与信息实验室）；La Rochelle Université（拉罗谢尔大学）
本文总结了交易中心实验室和拉罗谢尔大学L3 i实验室联合参与共享任务FinSim-4评估活动的两个子任务。第一个子任务旨在用新的词汇条目丰富“Fortia ESG分类法”，而第二个子任务旨在根据ESG（环境、社会和治理）相关因素将句子分类为“可持续”或“不可持续”。对于第一个子任务，我们提出了一个基于预训练的Sentence-BERT模型的模型，将句子和概念投影到一个公共空间中，以便更好地表示ESG概念。官方任务结果显示，与基线相比，我们的系统产生了显着的性能改进，并且在第一个子任务上优于所有其他提交。对于第二子任务，我们结合了RoberTa模型与前馈多层感知器，以提取句子的上下文并对其进行分类。我们的模型取得了很高的准确性分数（超过92%），并跻身前5名的系统。
2022-07-04 cs.CL cs.LG q-fin.GN
Contextual Clarity: Generating Sentences with Transformer Models using Context-Reverso Data
本文提出利用Context-Reverso数据训练T5模型，为关键词生成无歧义且简短的上下文句子，以提升信息检索与生成应用的效率。
2024-03-14 cs.AI cs.CL
CUE Vectors: Modular Training of Language Models Conditioned on Diverse Contextual Signals
Amazon Alexa（亚马逊 Alexa）
该论文提出CUE框架，通过模块化训练语言模型，利用多种上下文信号（如日期、作者）降低困惑度，并支持新元数据适应和模型替换，实现可扩展的上下文增强训练。
2022-03-16 cs.CL
Contextual Semantic Parsing using Crowdsourced Spatial Descriptions
Institute for Artificial Intelligence, University of Leeds（利兹大学人工智能研究所）
我们描述了一个上下文解析器的机器人命令树库，一个新的众包资源。与以前的语义分析器，选择最可能的解析，我们认为不同的问题，解析使用额外的情景上下文之间的歧义消除不同的阅读句子。我们表明，多个语义分析可以搜索使用动态规划通过与空间规划师的互动，指导解析过程。我们能够通过排除与空间上下文不兼容的早期分析来解析接近线性时间的句子。我们报告了34%的准确率上限，因为我们的规划器正确处理了10，000个句子中的3，394个空间上下文。然而，我们的解析器实现了96.53%的精确匹配分数内的句子识别的规划器的子集进行解析，相比之下，82.14%的非上下文解析器。
2014-05-01 cs.CL
An Attention-Gated Convolutional Neural Network for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）；Eindhoven University of Technology（埃因霍温理工大学）
由于句子包含的上下文信息有限，因此句子的分类是一个非常具有挑战性的问题。在本文中，我们提出了一个注意力门控卷积神经网络（AGCNN）的句子分类，它产生的注意力权重从不同大小的功能的上下文窗口通过使用专门的卷积编码器。它充分利用有限的上下文信息，提取并增强了重要特征对句子类别预测的影响。实验结果表明，我们的模型可以实现比标准CNN模型高出3.1%的准确率，并在六个任务中的四个任务上获得比基线更有竞争力的结果。此外，我们还设计了一个激活函数，即自然对数重标度整流线性单元（NLReLU）。实验表明，NLReLU可以优于ReLU，并且与AGCNN上的其他知名激活函数相当。
2018-12-28 cs.CL cs.LG
Attention-aware semantic relevance predicting Chinese sentence reading
University of Tübingen（蒂宾根大学）
本文提出注意力感知的语义相关性计算方法，结合上下文贡献与期望效应，能更准确预测中文阅读眼动注视时长，并支持语义预视效益的存在。
2024-03-27 cs.CL cs.LG
A Case Study to Reveal if an Area of Interest has a Trend in Ongoing Tweets Using Word and Sentence Embeddings
在自然语言处理领域，从文本中提取信息抽取一直是众多研究者的目标。许多不同的技术已经被应用，以揭示一条推文可能有的观点，从而了解多达280个字符的小文字的情绪。除了弄清楚推文的情绪之外，研究还可以专注于发现推文与特定兴趣领域的相关性，这构成了本研究的目的。为了揭示一个感兴趣的领域在正在进行的推文中是否有趋势，我们提出了一种易于应用的自动化方法，其中显示每日推文语料库与代表我们感兴趣领域的目标词之间相似性的每日平均相似性得分是通过使用基于朴素相关性的技术来计算的，而无需训练任何机器学习模型。每日平均相似度得分主要基于余弦相似度和多语言通用句子编码器计算的词/句子嵌入，并显示了关于某个感兴趣领域的推文的主要意见流，这证明了通过使用本研究中提出的方法可以很容易地几乎实时的捕获Twitter上特定主题的持续趋势。我们还比较了使用词与句子嵌入的有效性，同时应用我们的方法，并意识到，两者给出几乎相同的结果，而使用词嵌入需要更少的计算时间比句子嵌入，因此更有效。本文将首先介绍有关基础知识的背景信息，然后继续解释拟议的方法，最后解释结果并总结调查结果。
2021-10-02 cs.AI cs.CL
Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information
Westlake University（西湖大学）；Tencent Inc（腾讯公司）；Westlake Institute for Advanced Study（西湖高等研究院）
针对论元结构抽取中上下文信息利用不充分的问题，提出ECASE模型，通过序列注意力模块、距离加权损失及数据增强提升性能，在5个跨领域数据集上达到SOTA。
2023-10-08 cs.CL
Exploiting Sentence Embedding for Medical Question Answering
Tsinghua University（清华大学）；iFlytek Research（讯飞研究院）
尽管词嵌入取得了巨大的成功，但句子嵌入仍然是一个没有很好解决的问题。在本文中，我们提出了一个监督学习框架，利用句子嵌入的医疗问答任务。学习框架由两个主要部分组成：1）一个句子嵌入产生模块，和2）一个评分模块。前者是通过上下文自注意和多尺度技术将句子编码为嵌入张量而开发的。这个模块简称为上下文自我注意多尺度句子嵌入（CAMSE）。后者采用两种评分策略：语义匹配评分（SMS）和语义关联评分（SAS）。SMS测量相似性，而SAS捕获句子对之间的关联：一个医学问题与一个候选选择相连接，以及一个相应的支持证据。建议的框架是由两个医疗问答（MedicalQA）数据集，这是从现实世界中的应用程序：医疗考试和临床诊断的基础上，电子病历（EMR）。比较结果表明，我们提出的框架取得了显着的改进相比，竞争力的基线方法。此外，本文还通过一系列的对照实验，说明了多尺度策略和语境自注意层在产生有效的句子嵌入中的重要作用，以及两种评分策略在问答问题中的互补性。
2018-11-15 cs.AI cs.CL cs.LG
WSDMS: Debunk Fake News via Weakly Supervised Detection of Misinforming Sentences with Contextualized Social Wisdom
Hong Kong Baptist University（香港浸会大学）；Singapore Management University（新加坡管理大学）；Jinan University（暨南大学）
针对假新闻辟谣中缺乏句子级标注数据集的挑战，本文提出弱监督模型WSDMS，仅需包级标签即可结合情境化社交媒体对话推断句子级错误信息和文章级真实性，并在三个基准上优于现有基线。
2023-10-25 cs.CL
Contextual LSTM (CLSTM) models for Large scale NLP tasks
Google Research（谷歌研究院）
文档在多个抽象级别上展示顺序结构（例如，句子、段落、章节）。这些抽象构成了一个自然的层次结构，用于表示上下文，在上下文中推断单词和更大的文本片段的含义。在本文中，我们提出了CLSTM（Contextual LSTM），这是递归神经网络LSTM（长短期记忆）模型的扩展，其中我们结合了上下文特征（例如，#21453;的模式）。我们在三个特定的NLP任务上评估CLSTM：单词预测，下一句选择和句子主题预测。在两个语料库上运行的实验结果表明，使用单词和主题作为特征可以提高CLSTM模型在这些任务中的性能，这两个语料库分别是维基百科中的英语文档和最近的英语Google News快照中的文章子集。例如，在下一个句子选择任务中，维基百科数据集的相对准确率提高了21%，谷歌新闻数据集提高了18%。这清楚地表明了在自然语言（NL）任务中适当使用上下文的显著好处。这对各种各样的NL应用程序，如问答，句子完成，释义生成，以及对话系统中的下一个话语预测都有影响。
2016-05-31 cs.CL
An Attention-Based Model for Predicting Contextual Informativeness and Curriculum Learning Applications
ACT, Inc（ACT公司）；University of Michigan（密歇根大学）；University of Oregon（俄勒冈大学）
本研究针对语境对词汇学习的助力差异问题，提出基于预训练嵌入和注意力机制的语境信息量预测模型，在相关数据集上达SOTA，可识别关键语境要素，并能用于优化词嵌入模型的训练课程。
2023-11-09 cs.CL
Contextual trajectory and incremental contextual displacement: Towards using LLMs to understand dynamic, utterance-specific meaning construction
University of Vermont（佛蒙特大学）；Vermont Complex Systems Institute（佛蒙特复杂系统研究所）
本文提出逐标记增量轨迹方法，通过反复计算上下文词嵌入来追踪话语展开过程，在花园路径句上验证其能区分歧义句并揭示话语级信息分布，为利用LLM研究动态意义构建提供了新框架。
2026-10-02 cs.AI cs.CL
Pretrained Language Models for Sequential Sentence Classification
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Allen School of Computer Science & Engineering, University of Washington（华盛顿大学艾伦计算机科学与工程学院）
作为更好的文档级理解的一步，我们探讨了一个序列的句子到其相应的类别，一个任务，需要理解句子的上下文中的文件的分类。最近成功的模型，这个任务使用分层模型的上下文语句表示，和条件随机场（CRF），以纳入后续标签之间的依赖关系。在这项工作中，我们表明，预训练的语言模型，BERT（Devlin等人，2018），特别是可以用于此任务，以捕获上下文依赖性，而无需分层编码或CRF。具体来说，我们构建了一个联合句子表示，允许BERT Transformer层直接利用所有句子中所有单词的上下文信息。我们的方法在四个数据集上实现了最先进的结果，包括一个新的结构化科学摘要数据集。
2019-09-22 cs.CL
Interpretable Research Replication Prediction via Variational Contextual Consistency Sentence Masking
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
研究复制预测（RRP）是预测已发表的研究成果是否可以复制的任务。为RRP构建一个可解释的神经文本分类器，可以促进对研究论文被预测为可复制或不可复制的原因的理解，从而使其在现实世界中的应用更加可靠和值得信赖。然而，以往的模型解释工作主要集中在提高模型在词/短语水平的可解释性，这是不够的，特别是在长的研究论文RRP。此外，现有的方法不能利用大量的未标记数据集来进一步提高模型的可解释性。为了解决这些局限性，我们的目标是构建一个可解释的神经模型，该模型可以提供高级解释，并应用弱监督方法来进一步利用大型未标记数据集语料库来提高可解释性，同时提高预测性能。在这项工作中，我们提出了变分上下文一致性句子掩蔽（VCCSM）方法自动提取关键句子的基础上，在分类器中的上下文，使用标记和未标记的数据集。我们的实验结果RRP与欧洲人权公约（ECHR）数据集表明，VCCSM是能够提高模型的可解释性的长文档分类任务使用的扰动曲线和事后准确性作为评估指标的面积。
2022-03-28 cs.CL
Entity, Relation, and Event Extraction with Contextualized Span Representations
University of Washington（华盛顿大学）；Google AI Language（谷歌AI语言团队）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们研究了一个统一的，多任务的框架，三个信息抽取任务的能力：命名实体识别，关系抽取，和事件提取。我们的框架（称为DyGIE++）通过枚举，精炼和评分旨在捕获本地（句子内）和全球（跨句子）上下文的文本跨度来完成所有任务。我们的框架在来自各个领域的四个数据集上实现了所有任务的最先进结果。我们进行实验比较不同的技术来构建跨度表示。像BERT这样的上下文嵌入在捕获相同或相邻句子中的实体之间的关系方面表现良好，而动态跨度图更新则对长范围的跨句子关系进行建模。例如，通过预测的共指链接传播跨度表示可以使模型能够消除具有挑战性的实体提及的歧义。我们的代码可在https://github.com/dwadden/dygiepp上公开获取，并且可以轻松地适应新任务或数据集。
2019-09-10 cs.CL
On the Use of Context for Predicting Citation Worthiness of Sentences in Scholarly Articles
Bloomberg（彭博）
在本文中，我们研究了语境在预测学术文章中句子的被引价值方面的重要性。我们将这个问题表述为使用分层BiLSTM模型解决的序列标记任务。我们贡献了一个新的基准数据集，包含超过200万个句子及其相应的标签。我们保留了这个数据集中的句子顺序，并执行文档级的训练/测试分割，这重要的是允许在建模过程中结合上下文信息。我们在三个基准数据集上评估了所提出的方法。我们的研究结果量化了使用上下文和上下文嵌入的引用价值的好处。最后，通过错误分析，我们提供了洞察的情况下，上下文在预测引用价值发挥着至关重要的作用。
2021-04-18 cs.AI cs.CL cs.LG
End-to-End Neural Sentence Ordering Using Pointer Network
Fudan University（复旦大学）
句子排序是自然语言处理的重要任务之一。以前的工作主要集中在通过使用成对策略来提高其性能。然而，这是不平凡的成对模型，以纳入上下文句子信息。此外，在成对模型中使用流水线策略可能会引入误差传播。在本文中，我们提出了一种端到端的神经方法来解决句子排序问题，它使用指针网络（Ptr-Net）来减轻错误传播问题，并利用整个上下文信息。实验结果表明了该模型的有效性。本文提供了源代码和数据集。
2016-11-25 cs.CL
Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences
Henan Institute of Technology（河南科技学院）
提出ESC-GCN模型，通过融合实体感知自注意力与上下文化GCN，有效结合句法结构与语义上下文以减少依存树噪声，显著提升了长句关系抽取性能。
2024-11-12 cs.AI cs.CL
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University（耶鲁大学）
机器学习中的社会偏见已经引起了人们的极大关注，工作范围从在众多应用程序中展示偏见，为不同的上下文策划公平的定义，到开发算法来减轻偏见。在自然语言处理中，性别偏见已经被证明存在于上下文无关的词嵌入中。最近，上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文，也可以用于编码整个句子。在本文中，我们分析了在何种程度上的最先进的模型上下文单词表示，如BERT和GPT-2，编码偏见与性别，种族和交叉身份。为此，我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应，但避免了混淆效应，低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据，发现不同的证据嵌入关联测试中的偏见，特别是显示，种族偏见是强烈编码的上下文单词模型，并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外，在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见，这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
Comparative Analysis of Contextual Relation Extraction based on Deep Learning Models
Pondicherry University（本地治里大学）
本文针对现有机器学习方法在复杂句子上关系抽取效果不佳的问题，采用混合深度学习模型从多句上下文中有效抽取语义关系，并对多种深度学习模型进行了对比分析。
2023-09-13 cs.AI cs.CL cs.LG
Neural Generation of Diverse Questions using Answer Focus, Contextual and Linguistic Features
University of California Santa Cruz（加州大学圣克鲁兹分校）
问题生成是从文本输入自动创建问题的任务。在这项工作中，我们提出了一个新的注意编码器-解码器的递归神经网络模型的自动生成问题。我们的模型结合了语言特征和一个额外的句子嵌入来捕获句子和单词级别的含义。语言学特征被设计为捕获与命名实体识别、单词大小写和实体共指消解相关的信息。此外，我们的模型使用复制机制和特殊的答案信号，可以针对给定句子生成许多不同的问题。我们的模型在基准问题生成数据集上实现了19.98 Bleu_4的最新结果，大大优于所有先前发表的结果。人工评估还表明，这些添加的功能提高了生成的问题的质量。
2018-10-05 cs.AI cs.CL cs.LG
Lexical Substitution is not Synonym Substitution: On the Importance of Producing Contextually Relevant Word Substitutes
Technical University of Munich（慕尼黑工业大学）
本文提出 ConCat 方法，通过利用原始句子增强上下文信息来改进词汇替换任务，实验表明其优于现有方法，并揭示了 CoInCo 基准的评估缺陷。
2025-02-06 cs.CL
Rediscovering Hashed Random Projections for Efficient Quantization of Contextualized Sentence Embeddings
Berlin-Brandenburgische Akademie der Wissenschaften（柏林-勃兰登堡科学院）；Technische Universität Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））
提出一种基于随机超平面投影和二进制量化的方法，将预计算上下文句子嵌入的内存占用减少高达98.96%，并在英德句子分类任务中保留94%至99%的浮点性能。
2023-05-16 cs.CL
"The Boating Store Had Its Best Sail Ever": Pronunciation-attentive Contextualized Pun Recognition
University of California, Los Angeles（加州大学洛杉矶分校）
幽默在人类语言中扮演着重要的角色，在构建智能系统时对幽默进行建模是必不可少的。在各种幽默形式中，双关语利用双关语和语音相似度高的词语进行文字游戏，以达到幽默效果。然而，识别和建模双关语是具有挑战性的，因为双关语通常涉及隐含的语义或语音技巧。在本文中，我们提出了发音注意的语境化双关语识别（PCPR）来感知人类的幽默，检测句子中是否包含双关语，并将它们定位在句子中。PCPR通过捕获周围上下文与其对应的音标之间的关联来导出句子中每个单词的上下文化表示。在两个基准数据集上进行了大量的实验。实验结果表明，该方法在双关语检测和定位任务中的性能明显优于现有的方法。深入的分析验证了PCPR的有效性和鲁棒性。
2020-04-29 cs.CL
A Deep Neural Framework for Contextual Affect Detection
Indian Institute of Technology Patna（印度理工学院巴特那分校）
一个简短而简单的不带情感的文本在阅读时可以代表一些强烈的情感，即，同一个句子根据上下文的不同，既可以表达极度的愤怒，也可以表达极度的快乐。在本文中，我们提出了一个上下文情感检测（CAD）框架，它学习句子中单词的相互依赖，同时学习对话中句子的相互依赖。我们提出的CAD框架是基于一个门控递归单元（GRU），这是进一步协助上下文词嵌入和其他不同的手工制作的功能集。评估和分析表明，我们的模型在Friends和QuestionPush数据集上分别比最先进的方法高出5.49%和9.14%。
2020-01-28 cs.CL
SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models
University of Southern California（南加州大学）
句子嵌入是自然语言处理中的一个重要研究课题，它可以将知识传递给下游任务。同时，一个上下文化的词表示，称为BERT，在相当多的NLP任务中达到了最先进的性能。然而，从基于BERT的词模型中生成高质量的句子表示是一个悬而未决的问题。以往的研究表明，不同层次的BERT捕捉不同的语言属性。这使我们能够跨层融合信息，以找到更好的句子表示。在这项工作中，我们研究了深层上下文模型的单词表示的分层模式。然后，我们提出了一种新的句子嵌入方法，通过解剖BERT的词模型，通过几何分析的空间跨越的词表示。它被称为SBERT-WK方法。无需在SBERT-WK中进行进一步培训。我们评估SBERT-WK的语义文本相似性和下游监督任务。此外，十个层次的探测任务，提出了详细的语言分析。实验表明，SBERT-WK达到了最先进的性能。我们的代码是公开的。
2020-06-01 cs.CL cs.LG cs.MM
