Benchmarking BioRelEx for Entity Tagging and Relation Extraction
Amelia Science（阿米莉亚科学公司）；IPsoft（IPsoft公司）
提取不同生物实体之间的关系和相互作用仍然是一个极具挑战性的问题，但没有得到太多的关注，因为在其他通用领域的提取。除了缺乏附加说明的数据外，基准低仍然是进展缓慢的一个主要原因。为了填补这一空白，我们比较了多个现有的实体和关系抽取模型在最近推出的公共数据集，BioRelEx的句子注释与生物实体和关系。我们直接的基准测试表明，像DYGIE这样的基于跨度的多任务架构在实体标记和关系抽取方面分别比以前的最新技术进步了4.9%和6%，并且结合特定于领域的信息，如在相关领域预先训练的嵌入，可以提高性能。
2020-05-31 cs.CL cs.IR cs.LG
A Case Study to Reveal if an Area of Interest has a Trend in Ongoing Tweets Using Word and Sentence Embeddings
在自然语言处理领域，从文本中提取信息抽取一直是众多研究者的目标。许多不同的技术已经被应用，以揭示一条推文可能有的观点，从而了解多达280个字符的小文字的情绪。除了弄清楚推文的情绪之外，研究还可以专注于发现推文与特定兴趣领域的相关性，这构成了本研究的目的。为了揭示一个感兴趣的领域在正在进行的推文中是否有趋势，我们提出了一种易于应用的自动化方法，其中显示每日推文语料库与代表我们感兴趣领域的目标词之间相似性的每日平均相似性得分是通过使用基于朴素相关性的技术来计算的，而无需训练任何机器学习模型。每日平均相似度得分主要基于余弦相似度和多语言通用句子编码器计算的词/句子嵌入，并显示了关于某个感兴趣领域的推文的主要意见流，这证明了通过使用本研究中提出的方法可以很容易地几乎实时的捕获Twitter上特定主题的持续趋势。我们还比较了使用词与句子嵌入的有效性，同时应用我们的方法，并意识到，两者给出几乎相同的结果，而使用词嵌入需要更少的计算时间比句子嵌入，因此更有效。本文将首先介绍有关基础知识的背景信息，然后继续解释拟议的方法，最后解释结果并总结调查结果。
2021-10-02 cs.AI cs.CL
A Deep Architecture for Semantic Matching with Multiple Positional Sentence Representations
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
自然语言句子的匹配是诸如信息检索和问答等许多应用的核心。现有的深度模型依赖于单个句子表示或多个粒度表示进行匹配。然而，这样的方法不能很好地捕捉匹配过程中的上下文本地信息。为了解决这个问题，我们提出了一个新的深层架构，以匹配两个句子与多个位置的句子表示。具体地，每个位置句子表示是由双向长短期记忆（Bi-LSTM）生成的该位置处的句子表示。最后通过$k$ -Max池和多层感知器聚合这些不同位置句子表示之间的交互来产生匹配分数。我们的模型有几个优点：（1）通过使用Bi-LSTM，利用整个句子的丰富上下文来捕获每个位置句子表示中的上下文化局部信息;（2）通过与多个位置句子表示进行匹配，可以灵活地聚合句子中不同的重要上下文化局部信息以支持匹配;（3）在问答和句子完成等不同任务上的实验证明了该模型的优越性。
2015-11-26 cs.AI cs.CL cs.NE
Propagate-Selector: Detecting Supporting Sentences for Question Answering via Graph Neural Networks
Seoul National University（首尔国立大学）；Adobe Research（奥多比研究院）
在这项研究中，我们提出了一种新的图神经网络称为传播选择器（PS），它传播信息的句子，以了解信息时，不能推断孤立地考虑句子。首先，我们设计了一个图结构，其中每个节点代表一个单独的句子，并根据文本结构选择性地连接一些节点对。然后，我们开发了一个迭代的注意聚集和跳过合并方法，其中一个节点与它的邻居节点进行交互，以积累必要的信息。为了评估所提出的方法的性能，我们用标准的HotpotQA数据集进行实验。实证结果表明，我们所提出的方法，它获得了最好的性能，相比广泛使用的答案选择模型，不考虑intermittential关系的优越性。
2020-02-16 cs.AI cs.CL cs.LG
Neural Relation Extraction Within and Across Sentence Boundaries
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
以往的关系抽取研究主要集中在单句中实体对之间的二元关系。最近，NLP社区对跨越多个句子的实体对中的关系抽取产生了兴趣。在本文中，我们提出了一种新的架构，这一任务：基于内部依赖性的神经网络（iDepNN）。iDepNN通过递归和递归神经网络对最短和增强的依赖路径进行建模，以提取句子边界内（内部）和跨句子边界（内部）的关系。与SVM和神经网络基线相比，iDepNN对跨句子关系中的误报更具鲁棒性。我们在来自新闻专线（MUC6）和医疗（BioNLP共享任务）领域的四个数据集上评估了我们的模型，这些数据集实现了最先进的性能，并在精确度和召回率方面表现出更好的平衡。我们的表现优于参加2016年BioNLP共享任务的11支球队，并在F1中获得了5.2%的收益（0.587 vs 0.558）。我们还发布了MUC6的跨句注释。
2019-01-14 cs.AI cs.CL cs.IR
In Layman's Terms: Semi-Open Relation Extraction from Scientific Texts
Heriot-Watt University（赫瑞-瓦特大学）
科技文本的信息抽取可以引导读者获取科技文献的核心信息。但是，狭义的IE系统只能提取所捕获信息的一小部分，而开放的IE系统在科学文本中遇到的长而复杂的句子上表现不佳。在这项工作中，我们结合这两种类型的系统的输出，实现半开放的关系抽取，一个新的任务，我们在生物学领域探索。首先，我们提出了聚焦开放生物信息抽取（FOBIE）数据集，并使用FOBIE训练一个国家的最先进的狭窄的科学IE系统，以提取权衡关系和论点，是中央生物学文本。然后，我们运行两个狭窄的IE系统和一个国家的最先进的开放IE系统上的语料库的10K开放获取的科学生物学文本。我们发现，大量（65%）的错误和无信息的开放IE提取可以使用窄IE提取过滤。此外，我们发现，保留提取显着更经常为读者提供信息。
2020-05-26 cs.CL
Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-sentence Dependency Graph
Emory University（埃默里大学）；NEC Laboratories America（NEC美国实验室）
我们的目标是跨语言机器阅读理解（MRC）的任务，在直接zero-shot设置，通过合并的句法特征，从普遍的相似性（UD），我们使用的关键特征是每个句子内的句法关系。虽然以前的工作已经证明了有效的语法引导的MRC模型，我们建议采用句间的句法关系，除了基本的句内关系，进一步利用在多句输入的MRC任务的句法依赖。在我们的方法中，我们建立了句子间依赖图（ISDG）连接依赖树，以形成跨句子的全局句法关系。然后，我们提出了ISDG编码器，编码的全球依赖图，通过一跳和多跳依赖路径明确地解决句子间的关系。在三个多语言MRC数据集（XQuAD，MLQA，TyDiQA-GoldP）上的实验表明，我们的编码器只在英语上训练，能够提高所有14个测试集的zero-shot性能，覆盖8种语言，平均提高高达3.8 F1 / 5.2 EM，某些语言的5.2 F1 / 11.2 EM。进一步的分析表明，这种改进可以归因于对跨语言一致性句法路径的关注。
2022-03-15 cs.CL cs.LG
Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network
Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所人工智能研究中心）
句间关系抽取处理的是文档中大量复杂的语义关系，这些关系需要局部、非局部、句法和语义依赖。现有的方法没有充分利用这种依赖性。本文提出了一种新的句间关系抽取模型，该模型在文档级图上建立了一个标记边图卷积神经网络模型。该图使用各种句间和句内依赖关系来构建，以捕获本地和非本地依赖关系信息。为了预测实体对的关系，我们利用双仿射成对评分的多实例学习。实验结果表明，我们的模型在两个生物化学数据集上实现了与最先进的神经模型相当的性能。我们的分析表明，图中的所有类型是有效的句间关系抽取。
2019-06-11 cs.CL cs.IR
Distantly Supervised Relation Extraction with Sentence Reconstruction and Knowledge Base Priors
Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所人工智能研究中心）
我们提出了一个多任务，概率的方法，以促进远程监督关系抽取，使更接近的句子，包含相同的知识库对的表示。为了实现这一点，我们通过与关系分类器联合训练的变分自编码器（VAE）来偏置句子的潜在空间。潜码引导成对表征并影响句子重构。通过远程监督创建的两个数据集上的实验结果表明，多任务学习的性能优势。将知识库先验引入VAE的额外探索表明，句子空间可以向知识库的空间转移，提供可解释性并进一步改善结果。
2021-04-16 cs.CL
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督是一种很有前途的关系抽取方法，但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子，并使用多示例学习技术对标签进行去噪。然而，基于袋的范例，未能利用句间级和实体级的证据关系抽取，其去噪算法往往是专门的和复杂的。在本文中，我们提出了一个新的DS范式-基于文档的远程监督，模型关系抽取作为一个基于文档的机器阅读理解（MRC）的任务。通过将关于实体的所有句子重新组织为文档，并通过使用关系特定问题查询文档来提取关系，基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss（distantsupervisoryloss），该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型，从而从本质上解决了噪声标签问题。实验表明，我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
A Simple Approach to Jointly Rank Passages and Select Relevant Sentences in the OBQA Context
Arizona State University（亚利桑那州立大学）；University of Houston（休斯顿大学）
在开卷问答（OBQA）任务中，从分散注意力的信息中选择相关的段落和句子是推理问题答案的关键。HotpotQA数据集旨在教授和评估系统进行段落排名和句子选择。许多现有的框架使用单独的模型来分别选择相关的段落和句子。这样的系统不仅在模型参数方面具有高复杂性，而且由于一个任务可能对另一个任务有益，因此无法利用一起训练这两个任务的优势。在这项工作中，我们提出了一个简单而有效的框架来解决这些限制，联合排名段落和选择句子。此外，我们还提出了一致性和相似性约束，以促进段落排序和句子选择之间的相关性和交互性，实验结果表明，我们的框架在HotpotQA数据集上的相关句子的精确匹配方面，可以达到与以前的系统相竞争的结果，并且比基线高出28%.
2022-08-02 cs.CL
Document-level Relation Extraction with Cross-sentence Reasoning Graph
University of Electronic Science and Technology of China（电子科技大学）；TROY Information Technology Co., Ltd.（Troy信息技术有限公司）
关系抽取（RelationExtraction，RE）最近已经从文档级转移到文档级，这需要聚集文档信息并使用实体和提及进行推理。现有的工作将实体节点和提及节点以相似的方式表示在文档级图中，其复杂的边可能会产生冗余信息。此外，现有的研究只关注实体级的推理路径，没有考虑跨句实体间的全局交互。为此，我们提出了一种新的文档级RE模型与GRaph信息聚合和跨句子推理网络（GRACR）。具体而言，构建了简化的文档级图来描述文档中所有提及和句子的语义信息，并设计了实体级图来探索长距离跨句子实体对之间的关系。实验结果表明，GRACR在两个文档级RE公共数据集上取得了良好的性能。它在提取跨句子实体对的潜在关系时特别有效。我们的代码可在https://github.com/UESTC-LHF/GRACR上获得。
2023-03-07 cs.AI cs.CL cs.LG
Distant Supervision for Relation Extraction beyond the Sentence Boundary
Microsoft Research（微软研究院）
对结构化知识日益增长的需求导致了人们对关系抽取的极大兴趣，特别是在监督有限的情况下。然而，现有的距离监督方法只能提取单个句子中表达的关系。一般来说，跨句关系抽取是探索不足，即使在监督学习设置。在本文中，我们提出了第一种将远程监督应用于跨句关系抽取的方法。我们的方法的核心是一个图形表示，可以将标准的依赖关系和话语关系，从而提供了一个统一的方式来建模内和跨句子的关系。我们从这个图中的多条路径中提取特征，当遇到语言变化和分析错误时，提高了准确性和鲁棒性。在一个重要的精准医学提取任务上的实验表明，我们的方法可以学习一个准确的跨句子提取器，只使用一个小的现有知识库和生物医学研究文章中的未标记文本。与现有的远程监督范式相比，我们的方法以相似的精度提取了两倍的关系，从而证明了跨句子关系的普遍性和我们方法的前景。
2017-08-14 cs.CL
Evidence Sentence Extraction for Machine Reading Comprehension
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Tencent AI Lab（腾讯人工智能实验室）；Cornell（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）
在过去的几年里，在一些有限的机器阅读理解（MRC）任务上取得了显着的成功。然而，仍然很难解释现有MRC模型的预测。在本文中，我们专注于提取证据句子，可以解释或支持多项选择MRC任务的答案，其中大多数答案选项不能直接从参考文档中提取。由于在大多数情况下，缺乏地面真理证据句子标签，我们采用远程监督产生不完美的标签，然后使用它们来训练证据句子提取器。为了去除噪声标签，我们应用最近提出的深度概率逻辑学习框架，将句子级和跨句子语言指标用于间接监督。我们将提取的证据句子输入到现有的MRC模型中，并评估三个具有挑战性的多项选择MRC数据集（MultiRC、RACE和DREAM）的端到端性能，实现与将完整参考文档作为输入的相同模型相当或更好的性能。据我们所知，这是第一个工作提取证据句的多项选择MRC。
2019-09-24 cs.CL
NameRec*: Highly Accurate and Fine-grained Person Name Recognition
The University of Melbourne（墨尔本大学）
在本文中，我们介绍了NameRec* 任务，其目的是进行高度准确和细粒度的人名识别。传统的命名实体识别模型在从具有一致和完整语法的文本（例如新闻文章）中识别格式良好的人名方面具有良好的性能。然而，有快速增长的情况下，句子是不完整的语法和名称是在各种形式，如用户生成的内容和学术主页。为了解决在这种情况下的人名识别，我们提出了一个细粒度的注释计划的基础上anthroponymy。为了充分利用细粒度的注释，我们提出了一个共同指导的神经网络（CogNN）的人名识别。CogNN充分挖掘了句子内部的语境和丰富的训练信号的名称形式。为了更好地利用句子间的上下文和隐含关系，这是非常必要的识别长文档中的人名，我们进一步提出了一个句子间的BERT模型（IsBERT）。IsBERT具有重叠输入处理器和具有双向重叠上下文嵌入学习和多跳推理机制的句间编码器。为了从具有不同丰富上下文的不同文档中获益，我们提出了一种先进的自适应句间BERT模型（Ada-Is BERT），动态调整不同文档的句间重叠率。我们进行了广泛的实验，以证明所提出的方法在学术主页和新闻文章的优越性。
2021-03-23 cs.CL
OpBerg: Discovering causal sentences using optimal alignments
UCLA（加州大学洛杉矶分校）；Mayo Clinic（梅奥诊所）
生物学文献中有很多描述因果关系的句子。自动提取这些句子的方法可以帮助生物学家综合文献，甚至发现尚未明确表达的潜在关系。当前用于提取因果语句的方法基于机器学习或因果术语的预定义数据库。机器学习方法需要大量标记的训练数据，并且容易受到噪声的影响。基于预定义数据库的方法受到其策展质量的限制，并且无法捕获输入中的新概念或错误。我们通过调整和改进一种为一个看似无关的问题设计的方法来解决这些挑战：寻找基因组序列之间的比对。本文提出了一种新颖的和优于文本的因果关系提取方法对齐的词性表示的输入集与已知的因果句子。我们的实验表明，当应用到生物文献中寻找因果句子的任务时，我们的方法以计算效率高的方式提高了其他方法的准确性。
2019-04-03 cs.CL cs.IR
Sentences as connection paths: A neural language architecture of sentence structure in the brain
University of Twente（特文特大学）
本文提出了一种大脑中句子结构的神经语言架构，其中句子是将单词背后的神经结构互连起来的时间连接路径。单词保持“原位”，因此它们总是内容可寻址的。任意和新颖的句子（用新颖的单词）可以用单词和句子的“神经黑板”来创建。因此，自然语言的无限生产力可以通过“固定”的小世界网络结构来实现。本文重点讨论句子的神经黑板。该架构仅使用一个“连接矩阵”来绑定句子中单词之间的所有结构关系。它表示任意（英语）句子的能力进行了详细讨论，在全面分析它们的基础上。该架构模拟了在句子处理过程中观察到的颅内大脑活动以及与句子复杂性和歧义相关的fMRI观察。模拟结果表明，所观察到的效果涉及到全球控制的架构，而不是所涉及的句子结构，这预示着更高的活动差异与更高的理解能力的复杂性和歧义。讨论的其他方面是“内在的”句子结构提供的连接路径和它们的关系的范围和变形，使用的依赖分析器控制的绑定，长距离的依赖关系和差距，问答，模糊性的解决方案的基础上向后处理没有明确的回溯，花园路径，和嵌入相关的性能困难。
2022-05-19 cs.CL cs.NE q-bio.NC
SetCSE: Set Operations using Contrastive Learning of Sentence Embeddings
受集合论启发提出SetCSE信息检索框架，通过集合间对比学习目标增强句子嵌入模型对复杂语义的理解，并提供交集、差分等集合操作，显著提升模型判别能力，支持现有方法无法实现的复杂提示检索任务。
2024-04-25 cs.CL cs.IR cs.LG
Spatial Coordinates as a Cell Language: A Multi-Sentence Framework for Imaging Mass Cytometry Analysis
Department of Computer Science, The University of North Carolina at Chapel Hill（计算机科学系，北卡罗来纳大学教堂山分校）；Computational Medicine Program, The University of North Carolina at Chapel Hill（计算医学项目，北卡罗来纳大学教堂山分校）；Department of Genetics, The University of North Carolina at Chapel Hill（遗传学系，北卡罗来纳大学教堂山分校）
本文提出Spatial2Sentence框架，通过多句子方法将单细胞表达与空间坐标整合为自然语言，使LLMs学习细胞间相互作用，在IMC数据集上提升细胞分类和临床预测性能。
2025-06-02 cs.CL
Comply: Learning Sentences with Complex Weights inspired by Fruit Fly Olfaction
DATEXIS, Berliner Hochschule für Technik (BHT)（DATEXIS，柏林技术大学（BHT））；Medical AI Analytics & Information GmbH（医学人工智能分析与信息公司）；L3S, Leibniz University Hannover（L3S，莱布尼茨汉诺威大学）
本文提出 Comply 模型，通过引入复数权重结合位置信息，使单层神经网络能高效学习句子序列表示，在无额外参数下性能超越 FlyVec 并媲美大型最先进模型，且提供可解释的稀疏上下文表示。
2025-07-15 cs.AI cs.CL cs.LG
Using Inter-Sentence Diverse Beam Search to Reduce Redundancy in Visual Storytelling
Academia Sinica（中央研究院）
视觉叙事包括两个重要部分：故事与图像的连贯性和故事结构。对于图像到文本神经网络模型，序列中相似的图像将为故事生成器提供接近的信息，以获得几乎相同的句子。然而，重复叙述相同的对象或事件会破坏一个良好的故事结构。在本文中，我们提出了一个句子间多样化的束搜索，以产生一个更有表现力的故事。与最近的一些模型的视觉讲故事的任务，生成的故事，而不考虑生成的句子的前一张图片相比，我们提出的方法可以避免生成相同的句子，即使给定一个序列的相似图片。
2018-05-30 cs.AI cs.CL
Think in Sentences: Explicit Sentence Boundaries Enhance Language Model's Capabilities
Department of Computer Science and Engineering（计算机科学与工程系）
本文通过在语言模型输入中插入句子边界分隔符，提升其处理能力，实验显示在GSM8k和DROP任务上分别提升7.7%和12.5%。
2026-04-15 cs.AI cs.CL
Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
编码器-解码器对话模型是用于在复杂领域中构建对话系统的最突出的方法之一。然而，它是有限的，因为它不能输出可解释的行动，在传统的系统，这阻碍了人类理解其生成过程。我们提出了一个无监督的离散句子表示学习方法，可以与任何现有的编码器-解码器对话模型，可解释的响应生成。在变分自编码器（VAE）的基础上，我们提出了两种新的模型DI-VAE和DI-VST，它们改进了VAE，并且可以通过自动编码或上下文预测来发现可解释的语义。我们的方法已经在真实世界的对话数据集上进行了验证，以发现语义表示并增强具有可解释生成的编码器-解码器模型。
2018-04-22 cs.AI cs.CL
Fusing Recency into Neural Machine Translation with an Inter-Sentence Gate Model
Soochow University（苏州大学）
神经机器翻译（NMT）系统通常在大量双语句子对上训练，并且每次翻译一个句子，忽略句子间信息。这可能会使句子的翻译变得模棱两可，甚至与相邻句子的翻译不一致。为了解决这个问题，我们提出了一个句间门模型，该模型使用相同的编码器对两个相邻的句子进行编码，并通过句间门控制从前一句到当前句子翻译的信息量。通过这种方式，我们提出的模型可以捕获句子之间的联系，并将相邻句子的近因融合到神经机器翻译中。在几个NIST汉英翻译任务上，我们的实验表明，所提出的句间门模型在基线上取得了实质性的改善。
2018-06-12 cs.CL
A New Sentence Ordering Method Using BERT Pretrained Model
University of Tehran（德黑兰大学）；University of Rochester（罗切斯特大学）
构建具有自然语言理解（NLU）能力的系统一直是人工智能最古老的领域之一。NLU的一个重要组成部分是检测文本中包含的事件的逻辑顺序。提出了句子排序的任务来学习事件的连续性，并将其应用于人工智能任务中。以往的工作采用统计方法的性能是穷人，而神经网络为基础的方法是在严重需要大型语料库的模型学习。在本文中，我们提出了一种句子排序的方法，它不需要一个训练阶段，因此，一个大的语料库学习。为此，我们使用BERT预训练模型生成句子嵌入，并使用余弦相似度得分来测量句子相似度。我们建议这个分数作为连续事件的连贯性水平的指标。最后，我们通过蛮力搜索对句子进行排序，以最大限度地提高排序后的句子的整体相似性。我们提出的方法在ROCStories上的表现优于其他基线，ROCStories是一个5句人造故事的语料库。特别是当没有庞大的语料库时，该方法比基于神经网络的方法更有效。这种方法的优点之一是它的可解释性和不需要语言知识。
2021-08-26 cs.AI cs.CL
Characterizing the Effect of Sentence Context on Word Meanings: Mapping Brain to Behavior
ITESM（蒙特雷理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
语义特征模型已成为一种流行的工具，预测和解释的fMRI数据。特别是，以前的工作表明，在句子阅读的功能磁共振成像模式的差异可以解释上下文相关的变化，在语义特征表征的话。然而，受试者是否意识到这些变化并同意这些变化一直是一个悬而未决的问题。本文旨在通过一项人体研究来回答这个问题。受试者被要求判断当这些词被用在特定的句子中时，它们的一般意义是如何变化的。这些判断与模型预测一致，远高于偶然性。因此，研究结果支持了这一假设，即词义系统地变化取决于句子上下文。
2021-01-12 cs.AI cs.CL
SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences
Keio University（庆应义塾大学）
词的分布式表示提高了许多自然语言任务的性能。然而，在许多方法中，一个词的一个标签只考虑一个含义，并且取决于上下文的多义词的多个含义很少被处理。虽然研究工作涉及多义词，但都是根据一批大的文献来确定多义词的意义。因此，将这些方法应用于连续的句子有两个问题，例如在包含歧义表达的对话中。第一个问题是这些方法不能顺序地处理语境和词义之间的相互依赖关系，即语境决定词义，词义决定语境。因此，语境估计必须并行进行，以寻求多种解释。第二个问题是，以前的方法使用大规模的句子集来离线学习新的解释，学习和推理的步骤被明确分离。这种使用离线学习的方法在对话期间无法获得新的解释。因此，为了动态估计会话语境和连续句子中多义词的解释，本文在传统的同时定位与地图构建（SLAM）算法的基础上，提出了一种同时语境化与解释（SCAIN）方法。通过使用SCAIN算法，我们可以顺序优化上下文和单词解释之间的相互依赖关系，同时在线获得新的解释。为了进行实验评估，我们创建了两个数据集：一个来自维基百科的消歧页面，另一个来自真实对话。对于这两个数据集，结果证实SCAIN可以有效地实现顺序优化的相互依赖性和收购新的解释。
2020-05-29 cs.AI cs.CL
Modelling Interaction of Sentence Pair with coupled-LSTMs
Fudan University（复旦大学）
最近，人们对使用深度神经网络来建模两个句子的交互越来越感兴趣。然而，大多数现有的方法用单独的编码器对两个序列进行编码，其中一个句子用很少或没有来自另一个句子的信息进行编码。在本文中，我们提出了一个深层的架构来模拟强互动的句子对与两个耦合LSTM。具体来说，我们引入了两种耦合的方式来模拟两个LSTM的相互依赖性，耦合两个句子的局部上下文化的相互作用。然后，我们汇总这些交互，并使用动态池来选择信息量最大的特征。两个非常大的数据集上的实验证明了我们提出的架构的有效性和其优越性，以国家的最先进的方法。
2016-05-20 cs.CL
EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
MILA（MILA研究所）；McGill（麦吉尔大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了第一个句子简化模型，通过神经程序员解释器方法学习显式编辑操作（ADD，ESTA和KEEP）。目前大多数神经句子简化系统是从机器翻译中采用的序列到序列模型的变体。这些方法学习简化句子，这是它们在复杂-简单句子对上训练的副产品。相比之下，我们的神经程序员-解释器直接接受训练，以预测对输入句子的目标部分的明确编辑操作，类似于人类可能执行简化和修改的方式。我们的模型在SARI方面（+0.95 WikiLarge，+1.89 WikiSmall，+1.41 Newsela）在三个基准文本简化语料库上的表现优于之前最先进的神经句子简化模型（没有外部知识），并且被人类判断为产生整体更好，更简单的输出句子。
2019-06-19 cs.CL
Inter-rater Agreement on Sentence Formality
The Pennsylvania State University（宾夕法尼亚州立大学）
形式是文体变异的一个重要维度。在本研究中，我们进行了一个评价者间的信度实验，以评估句子正式的五点李克特量表，并获得了良好的一致性结果，以及不同的句子类别不同的评级分布。我们还进行了难度分析，以确定我们的评级程序的瓶颈。我们的主要目标是设计一个自动评分机制，为商务级别的正式，这项研究是重要的，为此目的。
2014-04-20 cs.CL
Enhancing Biomedical Relation Extraction with Directionality
National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国立卫生研究院国立医学图书馆）
针对生物医学关系抽取缺乏方向性标注的问题，本文标注了BioRED语料库的实体角色，并提出带软提示学习的多任务语言模型，联合识别关系、新发现和方向性，优于GPT-4和Llama-3。
2025-01-23 cs.CL
INSET: Sentence Infilling with INter-SEntential Transformer
Microsoft Corporation（微软公司）；Center for Theoretical Physics, MIT（麻省理工学院理论物理中心）
缺句生成（或句子填充）在自然语言生成中有着广泛的应用，如文档自动补全和会议笔记扩展。这个任务要求模型生成中间缺失的句子，这些句子可以在句法和语义上连接周围的上下文。解决句子填充任务需要自然语言处理中的技术，从理解到话语级规划再到生成。在本文中，我们提出了一个框架来解耦挑战并分别解决这三个方面，利用现有的大规模预训练模型（如BERT和GPT-2）的功能。我们经验证明了我们的模型在学习一个句子表示生成和进一步生成一个符合上下文的缺失句子的有效性。
2020-06-04 cs.CL
Compositional Sentence Representation from Character within Large Context Text
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文描述了一个层次组合递归网络（HCRN），它包括一个3级层次的组合模型：字符，单词和句子。该模型的目的是克服两个问题的基础上表示一个句子的组成词序列。第一个是词嵌入中的数据稀疏问题，另一个是没有使用句间依赖。在HCRN中，单词表示是从字符中构建的，从而解决了数据稀疏性问题，并且在句子组成的级别上将句间依赖嵌入到句子表示中。我们采用分层学习方案，以减轻以端到端方式学习深度分层递归网络的优化困难。HCRN的定量和定性评估的对话行为分类任务。特别是，具有句间依赖性的句子表示能够捕获句子的隐式和显式语义，显着提高性能。最后，HCRN在SWBD-DAMSL数据库上的对话行为分类测试出错率为22.7%，达到了最先进的性能。
2016-06-03 cs.CL
SenFlow: Inter-Sentence Flow Modeling for AI-Generated Text Detection in Hybrid Documents
Northwestern Polytechnical University（西北工业大学）；Zhejiang Lab（浙江实验室）
针对人机混合文档的句子级AI文本检测，提出SenFlow模型，通过图传播和CRF解码建模句间依赖，在MOSAIC基准上跨域F1提升4.15个百分点。
2026-06-18 cs.CL
Mimicking How Humans Interpret Out-of-Context Sentences Through Controlled Toxicity Decoding
Department of Computer Science（计算机科学系）
本文通过生成多样化的无上下文句子解读，模拟人类对不同毒性水平内容的感知，通过控制生成解读中的毒性来提高对人类写作解读的对齐性。
2025-03-11 cs.CL
BERT4SO: Neural Sentence Ordering by Fine-tuning BERT
Université de Montréal（蒙特利尔大学）；School of Information, Renmin University of China（中国人民大学信息学院）；Mila - Québec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）
句子排序的目的是将给定文本的句子以正确的顺序排列。最近的工作将其视为一个排名问题，并将深度神经网络应用于其中。在这项工作中，我们提出了一种名为BERT 4SO的新方法，通过微调BERT进行句子排序。我们连接所有句子并通过使用多个特殊标记和精心设计的段（区间）嵌入来计算它们的表示。跨多个句子的标记可以相互关注，这大大增强了它们的交互。我们还提出了一个基于边际的列表排序损失的基础上ListMLE，以促进优化过程。在五个基准数据集上的实验结果证明了该方法的有效性。
2021-05-12 cs.CL
Sentence Simplification Aids Protein-Protein Interaction Extraction
Arizona State University（亚利桑那州立大学）
从生物医学文章中自动提取蛋白质-蛋白质相互作用（PPI）的精确系统可以帮助加速生物医学研究。生物医学信息学研究人员正在合作提供元服务，并推进PPI提取的最新技术。当前自然语言处理系统经常忽略的一个问题是生物医学文献中句子的特征复杂性。在本文中，我们报告的影响，自动简化的句子有一个国家的最先进的PPI提取系统的性能，显示了显着改善召回（8%）时，句子简化方法的应用，没有显着影响精度。
2010-01-24 cs.CL
ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs
IBM Watson（IBM沃森）
如何对句子进行建模是许多自然语言处理任务中的关键问题，如答案选择、释义识别和文本蕴涵等。大多数先前的工作（i）通过微调特定的系统来处理一个单独的任务;（ii）分别对每个句子的表示进行建模，很少考虑其他句子的影响;或者（iii）完全依赖于手动设计的特定于任务的语言特征。本文提出了一种通用的基于注意力的卷积神经网络（ABCNN），用于对句子进行建模。我们做了三个贡献。(i)ABCNN可以应用于各种需要对句子对建模的任务。(ii)我们提出了三个注意力方案，将句子之间的相互影响整合到CNN中，因此，每个句子的表示都考虑到了它的对应物。这些相互依赖的句子对表征比孤立的句子表征更强大。(iii)ABCNN在AS、PI和TE任务上实现了最先进的性能。
2018-06-25 cs.CL
A Fast Unified Model for Parsing and Sentence Understanding
Stanford Linguistics（斯坦福大学语言学系）；Stanford NLP Group（斯坦福大学自然语言处理组）；Stanford AI Lab（斯坦福大学人工智能实验室）；Stanford Symbolic Systems（斯坦福大学符号系统学系）；Stanford Electrical Engineering（斯坦福大学电气工程系）；Stanford Computer Science（斯坦福大学计算机科学系）
树结构神经网络在解释句子的含义时利用了有价值的句法分析信息。然而，它们存在两个关键的技术问题，使得它们在大规模NLP任务中缓慢而笨拙：它们通常对解析的句子进行操作，并且它们不直接支持批量计算。我们解决这些问题，通过引入堆栈增强解析器解释器神经网络（SPINN），它结合了解析和解释在一个单一的树序列混合模型，通过集成树结构的句子解释到线性序列结构的移位-归约解析器。我们的模型支持批处理计算的速度比其他树结构模型高达25倍，其集成的解析器可以操作未解析的数据，精度损失不大。我们在斯坦福大学NLI蕴涵任务上对其进行了评估，并表明它显着优于其他编码模型。
2016-07-29 cs.CL
MLBiNet: A Cross-Sentence Collective Event Detection Network
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Hangzhou Innovation Center, Zhejiang University（浙江大学杭州国际科创中心）
我们认为集体检测多个事件，特别是在跨句子设置的问题。处理这个问题的关键是在文档级对语义信息进行编码，并对事件的相互依赖性进行建模。在本文中，我们将其重新定义为Seq2Seq任务，并提出了一个多层双向网络（MLBiNet）来同时捕获事件和语义信息的文档级关联。具体而言，双向解码器首先被设计为在解码事件标签向量序列时对句子内的事件相互依赖进行建模。其次，信息聚合模块用于聚合事件级语义和事件标签信息。最后，我们堆叠多个双向解码器并馈送跨句子信息，形成多层双向标记架构以迭代地跨句子传播信息。我们表明，我们的方法提供了显着的改善性能相比，目前最先进的结果。
2021-06-01 cs.AI cs.CL cs.IR
Bi-ISCA: Bidirectional Inter-Sentence Contextual Attention Mechanism for Detecting Sarcasm in User Generated Noisy Short Text
Shiv Nadar University（希夫·纳达尔大学）；Accenture Technology Labs（埃森哲技术实验室）
社交媒体平台上的许多在线评论是仇恨的，幽默的，或讽刺的。这些评论（尤其是短评论）的讽刺性质改变了它们实际隐含的情感，这导致了现有情感分析模型的误解。大量的研究已经做了检测讽刺的文本中使用基于用户的，主题和会话信息，但没有太多的工作已经做了使用句间上下文信息检测相同。本文提出了一种新的最先进的深度学习架构，该架构使用一种新的双向句间上下文注意力机制（Bi-ISCA）来捕获句间依赖关系，以便仅使用会话上下文来检测用户生成的短文本中的讽刺。所提出的深度学习模型展示了捕获负责引起讽刺的显式、隐式和上下文不一致的单词和短语的能力。Bi-ISCA在两个广泛使用的讽刺检测任务基准数据集（Reddit和Twitter）上生成最先进的结果。据我们所知，没有一个现有的国家的最先进的模型使用一个句子间的上下文注意力机制，以检测讽刺的用户生成的短文本中使用的会话上下文。
2021-04-20 cs.CL
An Empirical Analysis of NMT-Derived Interlingual Embeddings and their Use in Parallel Sentence Identification
DFKI（德国人工智能研究中心）；University of Saarland（萨尔大学）
端到端神经机器翻译在某些语言对的翻译质量方面已经超过了统计机器翻译，特别是那些具有大量并行数据的语言对。除了这种明显的改进，神经网络还提供了几个新的特性。一个系统可以被训练成在多种语言之间进行翻译，除了训练时间之外几乎没有额外的成本。此外，网络学习的内部表征作为单词或句子的新语义表征，与标准的词嵌入不同，它是在基本上双语甚至多语言的背景下学习的。鉴于这些属性，本工作的贡献是双重的。首先，我们系统地研究了NMT上下文向量，即编码器的输出，以及它们作为句子的中间语言表示的能力。我们通过测量翻译之间的相似性，以及语义相关和语义不相关的句子对来评估它们的质量和有效性。其次，作为第一点的外在评价，我们在可比语料库中识别出平行句子，当仅使用NMT上下文向量时，从共享任务的数据中获得F1=98.2%。使用上下文向量与相似性度量F1联合达到98.9%。
2017-11-15 cs.CL
Recurrent Convolutional Neural Networks for Discourse Compositionality
Oxford University（牛津大学）
意义的组合性超出了单个句子。正如单词组合形成句子的意义一样，句子组合形成段落，对话和一般话语的意义。我们介绍了相应的两个层次的组合性的句子模型和话语模型。句子模型采用卷积作为语义向量构成的中心运算，并基于一种新型的分层卷积神经网络。话语模型扩展了句子模型，并基于一个递归神经网络，该网络以一种新颖的方式对当前句子和当前说话者进行调节。语篇模型能够捕捉句子的顺序性和不同说话者之间的互动。在没有特征工程或预训练的情况下，通过简单的贪心解码，与句子模型耦合的话语模型在对话行为分类实验上获得了最先进的性能。
2013-06-15 cs.CL
Sentence Simplification with Memory-Augmented Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Massachusetts Medical School（马萨诸塞大学医学院）；Microsoft Research（微软研究院）
句子简化旨在简化复杂句子的内容和结构，从而使它们更容易为人类读者解释，并更容易为下游NLP应用程序处理。神经机器翻译的最新进展为这项任务的新方法铺平了道路。在本文中，我们采用了一种具有增强记忆能力的架构，称为神经语义编码器（Munkhdalai和Yu，2017），用于句子简化。我们的实验证明了我们的方法在不同的简化数据集上的有效性，无论是在自动评估措施和人类的判断。
2018-04-20 cs.CL
Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
过去在句子嵌入模型中探索组合性的工作面临着确定隐式语法表示的因果影响的问题。给定一个句子，我们构造一个神经模块网络的基础上，其语法分析和训练它端到端近似句子的嵌入生成的Transformer模型。然后，Transformer到句法神经元模块网（SynNaMoN）的可转换性捕获句法是否是其组合能力的强因果模型。此外，我们通过指定各个SynNaMoN模块的内部架构和线性来解决语义组合的几何问题。我们发现各种句子嵌入模型的可扩展性与其性能广泛相关，但观察到可扩展性不会因模型大小而发生很大变化。我们还提出了初步的证据表明，在句子嵌入模型的语法指导的组成是线性的，非线性可能主要用于处理非成分短语。
2023-02-08 cs.CL
Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation
Soochow University（苏州大学）；Sogou（搜狗）
文档级机器翻译将文档间的依赖性结合到源句子的翻译中。在本文中，我们提出了一个新的框架，通过训练神经机器翻译（NMT）来预测目标翻译和源句子的周围句子来建模跨句子依赖关系。通过强制NMT模型来预测源上下文，我们希望模型能够学习“上下文化”的源语句表示，这些表示可以捕获源端的文档级依赖关系。我们进一步提出了两种不同的方法来学习和集成这样的上下文句子嵌入到NMT：联合训练方法，联合训练NMT模型与源上下文预测模型和预训练和微调方法，预训练的源上下文预测模型上的大规模单语文档语料库，然后微调它与NMT模型。通过对汉英和英德翻译的实验表明，这两种方法都能在较强的文档级Transformer基础上显著提高翻译质量。
2020-03-30 cs.CL
EGFI: Drug-Drug Interaction Extraction and Generation with Fusion of Enriched Entity and Sentence Information
City University of Hong Kong（香港城市大学）；Hong Kong Institute for Data Science, City University of Hong Kong（香港城市大学香港数据科学研究院）；Jilin University（吉林大学）
文献的快速增长积累了各种各样的，但全面的生物医学知识隐藏挖掘，如药物相互作用。然而，很难提取的异构知识检索，甚至发现最新的和新颖的知识，在一个有效的方式。为了解决这个问题，我们提出EGFI从大规模的医学文献文本数据中提取和巩固药物相互作用。具体来说，EGFI包括两个部分：分类和生成。在分类部分，EGFI包含语言模型BioBERT，它已经在生物医学语料库上进行了全面的预训练。特别是，我们提出了多头注意力机制和包装BiGRU融合多种语义信息，严格的上下文建模。在生成部分，EGFI利用另一个预训练的语言模型BioGPT-2，其中生成句子是基于过滤规则选择的。我们在“DDIs 2013”数据集和“DTIs”数据集上对分类部分进行了评估，分别获得了0.842和0.720的FI分数。此外，我们应用分类部分来区分高质量的生成句子，并与现有的增长真理进行验证，以确认过滤后的句子。生成的句子没有记录在DrugBank和DDI 2013数据集中，也证明了EGFI识别新型药物关系的潜力。
2021-01-25 cs.CL
Learning to Map Context-Dependent Sentences to Executable Formal Queries
Cornell University（康奈尔大学）；Univ. of Washington（华盛顿大学）
我们提出了一个上下文相关的模型来映射内的交互可执行的正式查询的话语。为了整合交互历史，该模型维护了一个交互级编码器，该编码器在每轮之后更新，并且可以在生成过程中复制先前预测的查询的子序列。我们的方法结合了隐式和显式建模的话语之间的参考。我们评估我们的模型上的ATIS飞行计划的相互作用，并展示了建模上下文和显式引用的好处。
2018-04-25 cs.CL
Structural Analysis of Hindi Phonetics and A Method for Extraction of Phonetically Rich Sentences from a Very Large Hindi Text Corpus
Indian Institute of Information Technology, Allahabad（印度信息技术学院，阿拉哈巴德）
自动语音识别（ASR）和文本到语音（TTS）是当今人机交互的两个重要研究领域。为了开发人机交互的这两个交互模块，一组语音丰富的句子是非常重要的。从本质上讲，语音丰富的句子集必须覆盖均匀分布的所有可能的音素单元。从一个大的语料库中选择这样一个集合，保持语音特征的相似性仍然是一个具有挑战性的问题。本文的主要目标是设计一个标准，以选择一组句子，包括所有的语音方面的语料库的大小尽可能小。首先，本文提出了一个统计分析的印地语语音观察的结构特点。此外，提出了一个两阶段的算法，以提取语音丰富的句子与各种各样的三音子从埃米尔印地语语料库。该算法包括一个距离测量标准来选择一个句子，以改善三音子分布。此外，为了加快算法的速度，提出了一种特殊的预处理方法，对每个三音子进行逆概率评分。实验结果表明，该方法能够有效地构建出分布均匀、句子数量最优的语音丰富语料库。
2017-02-07 cs.CL
Towards Inter-character Relationship-driven Story Generation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
在本文中，我们介绍了建模的人际关系的故事生成的任务。为了解决这个问题，我们提出了关系作为故事生成的潜在变量（ReLists）。ReLiSt逐句生成故事，有两个主要组件-关系选择器和故事延续器。关系选择器指定一个潜在变量来选择要在下一个句子中表现的关系，故事延续器生成下一个句子，同时以连贯的方式表达所选择的关系。我们的自动和人工评估表明，ReLists能够生成更忠实于所需关系的故事，同时保持内容质量。推理过程中对句子的关系分配给ReLists带来了可解释性。
2022-11-01 cs.CL
Semantic Parsing: Syntactic assurance to target sentence using LSTM Encoder CFG-Decoder
University of Sao Paulo - USP（圣保罗大学）；Institute of Mathematics and Statistics - IME（数学与统计学院）
语义解析可以定义为将自然语言句子映射成其含义的机器可解释的形式化表示的过程。使用LSTM编码器-解码器神经网络的语义解析已经成为很有前途的方法。然而，自然语言的人工自动翻译并不为生成的句子提供语法性保证，这样的保证对于实际情况是特别重要的，在实际情况中，如果句子不符合语法，则数据库查询可能导致要害差错。在这项工作中，我们提出了一个神经架构称为编码器CFG解码器，其输出符合给定的上下文无关文法。结果表明，任何实现这种架构显示其正确性，并提供基准精度水平优于文献。
2018-07-18 cs.CL
Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts
National Taiwan University（国立台湾大学）
神经摘要的研究越来越多，以前的工作主要集中在总结单说话人的文件（新闻，科学出版物等）。在对话中，说话者之间存在着各种各样的互动，这些互动通常被定义为对话行为。交互式信号可以提供信息提示以更好地概括对话。本文提出在神经摘要模型中显式地利用对话行为，其中设计了一个会话门控机制来建模对话行为和摘要之间的关系。实验表明，我们提出的模型显着提高抽象摘要性能相比，国家的最先进的基线AMI会议语料库，展示了有用的对话行为提供的交互信号。
2018-09-29 cs.CL
End-Task Oriented Textual Entailment via Deep Explorations of Inter-Sentence Interactions
University of Pennsylvania（宾夕法尼亚大学）；LMU Munich（慕尼黑大学）
这项工作涉及SciTail，一个自然的蕴涵挑战来自多选择问答问题。SciTail中的前提和假设是在没有意识到彼此的情况下产生的，并且没有专门针对蕴涵任务。这使得它比其他蕴涵数据集更具挑战性，并且对最终任务--问答更直接有用。我们建议DEISTE（深层次的句子间互动的文本蕴涵）这个蕴涵任务。给定前提-假设对（$P$，$H$）之间的单词到单词的交互，DEISTE包括：（i）使$P$和$H$中的重要单词在学习的表示中起主导作用的参数动态卷积;以及（ii）对对齐单词对的表示和位置信息进行编码的位置感知卷积。实验表明，DEISTE得到$\approx$ 5\%的改进，比现有技术的状态，并在SciTail上的预训练的DEISTE推广RTE-5。
2018-05-15 cs.CL
Multimodal Convolutional Neural Networks for Matching Image and Sentence
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
在本文中，我们提出了多模态卷积神经网络（m-CNN）的图像和句子匹配。我们的m-CNN提供了一个具有卷积架构的端到端框架，以利用图像表示，单词组成以及两种模式之间的匹配关系。更具体地说，它由一个图像CNN编码图像内容，和一个匹配CNN学习图像和句子的联合表示。匹配的CNN将词组合成不同的语义片段，并学习图像与不同层次的语义片段之间的模态间关系，从而充分利用图像与句子之间的匹配关系。在双向图像和句子检索的基准数据库上的实验结果表明，所提出的m-CNN可以有效地捕获图像和句子匹配所需的信息。具体来说，我们提出的m-CNN在Flickr 30 K和Microsoft COCO数据库上进行双向图像和句子检索，达到了最先进的性能。
2015-08-29 cs.CL cs.CV cs.NE
