Paraphrase to Explicate: Revealing Implicit Noun-Compound Relations
Bar-Ilan University（巴伊兰大学）
揭示名词复合词各成分之间隐含的语义关系对许多自然语言处理应用都很重要。它已被解决在文献中作为一个分类任务，以一组预定义的关系，或通过生产自由文本释义阐明的关系。现有的大多数释义方法缺乏泛化能力，难以解释不常见的或新的名词复合词。我们提出了一个神经模型，通过在连续空间中表示释义来更好地概括，概括了看不见的名词复合词和罕见的释义。我们的模型有助于提高名词复合词释义和分类任务的性能。
2018-05-07 cs.CL
Bi-ISCA: Bidirectional Inter-Sentence Contextual Attention Mechanism for Detecting Sarcasm in User Generated Noisy Short Text
Shiv Nadar University（希夫·纳达尔大学）；Accenture Technology Labs（埃森哲技术实验室）
社交媒体平台上的许多在线评论是仇恨的，幽默的，或讽刺的。这些评论（尤其是短评论）的讽刺性质改变了它们实际隐含的情感，这导致了现有情感分析模型的误解。大量的研究已经做了检测讽刺的文本中使用基于用户的，主题和会话信息，但没有太多的工作已经做了使用句间上下文信息检测相同。本文提出了一种新的最先进的深度学习架构，该架构使用一种新的双向句间上下文注意力机制（Bi-ISCA）来捕获句间依赖关系，以便仅使用会话上下文来检测用户生成的短文本中的讽刺。所提出的深度学习模型展示了捕获负责引起讽刺的显式、隐式和上下文不一致的单词和短语的能力。Bi-ISCA在两个广泛使用的讽刺检测任务基准数据集（Reddit和Twitter）上生成最先进的结果。据我们所知，没有一个现有的国家的最先进的模型使用一个句子间的上下文注意力机制，以检测讽刺的用户生成的短文本中使用的会话上下文。
2021-04-20 cs.CL
Explaining Neural Network Predictions on Sentence Pairs via Learning Word-Group Masks
University of Virginia（弗吉尼亚大学）；IBM Research AI（IBM研究院AI）
解释神经网络模型对于增加其在现实世界应用中的可信度是重要的。大多数现有的方法生成事后解释神经网络模型通过识别单个特征属性或检测相邻特征之间的相互作用。然而，对于以文本对作为输入的模型（例如，释义识别），现有方法不足以捕获两个文本之间的特征交互，并且它们计算两个文本之间的所有词对交互的简单扩展在计算上是低效的。在这项工作中，我们提出了组掩码（GMASK）方法，通过将输入文本对中的相关单词分组在一起来隐式地检测单词相关性，并整体衡量它们对相应NLP任务的贡献。该方法在四个数据集上使用两种不同的模型架构（可分解注意力模型和BERT）进行评估，包括自然语言推理和释义识别任务。实验表明，GMASK在提供这些模型的忠实解释的有效性。
2021-04-13 cs.CL
DisSent: Sentence Representation Learning from Explicit Discourse Relations
Stanford University（斯坦福大学）
学习句子的有效表示是自然语言理解的核心任务之一。现有的模型要么在大量文本上进行训练，要么需要昂贵的手动策划的句子关系数据集。我们发现，与依存句法分析和基于规则的规则，我们可以策划一个高质量的句子关系的任务，利用明确的话语关系。我们表明，我们策划的数据集为学习句子含义的向量表示提供了一个很好的信号，表示只有当两个句子的含义结合起来时才能确定的关系。我们证明了自动策划的语料库允许双向LSTM句子编码器产生高质量的句子嵌入，并且可以作为BERT等大型模型的监督微调数据集。我们的固定句子嵌入在各种迁移任务上实现了高性能，包括SentEval，并且我们在Penn Discourse Treebank的隐式关系预测任务上实现了最先进的结果。
2019-06-04 cs.AI cs.CL
ERAS: Evaluating the Robustness of Chinese NLP Models to Morphological Garden Path Errors
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）；Center for Data Science（数据科学中心）
本文提出基准ERAS，通过对比有无局部分割歧义的句子，揭示中文分词和情感分析模型因忽视形态句法上下文而易犯形态学花园路径错误。
2024-10-16 cs.AI cs.CL
Argument Linking: A Survey and Forecast
语义角色标注（SRL）--识别同一句子中谓词和其他成分之间的语义关系--是自然语言理解（NLU）中一个研究得很好的任务。然而，这些关系中的许多只在文档的层次上是明显的，因为一个句子中的谓词的作用通常可以由另一个句子中的论元来填补。这种更一般的任务，被称为隐式语义角色标注或参数连接，近年来受到越来越多的关注，因为研究人员已经认识到它对信息抽取和NLU的中心作用。本文综述了文献的论点连接，并确定了现有的方法，表明沿着未来的研究工作可以最有利可图的花费路径的几个显着的缺点。
2021-07-18 cs.CL
Causal Intervention Improves Implicit Sentiment Analysis
ByteDance AI Lab（字节跳动人工智能实验室）
尽管在情感分析方面取得了巨大的成功，但现有的神经模型仍难以进行隐式情感分析。这可能是由于它们可能锁定到伪相关（“捷径”，例如，仅关注明确的情感词），导致破坏学习模型的有效性和鲁棒性。在这项工作中，我们提出了一个因果干预模型的内隐情感分析使用工具变量（ISAIV）。我们首先回顾情感分析从因果关系的角度，并分析在这个任务中存在的混杂因素。然后，我们引入一个工具变量来消除混杂的因果效应，从而提取句子和情感之间的纯因果效应。我们比较建议ISAIV模型与几个强基线上的一般隐式情感分析和基于方面的隐式情感分析任务。结果表明，我们的模型和隐式情感推理的有效性的巨大优势。
2022-08-19 cs.AI cs.CL
A MISMATCHED Benchmark for Scientific Natural Language Inference
Computer Science（计算机科学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Kansas State University（堪萨斯州立大学）
本文提出覆盖心理学、工程学和公共卫生三个非计算机科学领域的科学NLI基准MISMATCHED，并通过实验表明引入隐式NLI关系句子对可提升模型性能。
2025-06-05 cs.CL
One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations
Japan Advanced Institute of Science and Technology（日本先进科学研究院）；Toshiba Corporation（东芝公司）
DualCSE通过对比学习为句子生成显式和隐式语义嵌入，提升信息检索和文本分类任务性能。
2026-01-15 cs.CL
Aspect-Based Sentiment Analysis with Explicit Sentiment Augmentations
Jilin University（吉林大学）
针对ABSA任务中的隐式情感问题，提出融合显式情感增强的方法，通过后训练T5结合句法距离加权等技术生成增强样本，在两个基准上的隐式、显式情感准确率均超SOTA。
2023-12-18 cs.AI cs.CL
Improving Medical Short Text Classification with Semantic Expansion Using Word-Cluster Embedding
Peking University（北京大学）；ShenZhen Institute of Information Technology（深圳信息职业技术学院）
自动文本分类（TC）研究可以用于现实世界的问题，如住院患者出院摘要和医疗文本报告的分类，这有利于使医生更容易理解医疗文档。然而，在电子病历（EMR）中，包含句子的文本比一般领域中的文本要短，这导致了语义特征的缺乏和语义的模糊。为了应对这一挑战，我们提出将词簇嵌入到深度神经网络中，以提高短文本分类。具体地说，我们首先使用层次凝聚聚类在语义空间中的词向量聚类。然后计算聚类中心向量，该向量代表聚类中词的隐含主题信息。最后，我们使用聚类中心向量扩展词向量，并分别使用CNN和LSTM实现分类器。为了评估我们提出的方法的性能，我们进行了实验上的公共数据集TREC和医疗短句数据集，这是我们构建和发布。实验结果表明，我们提出的方法优于国家的最先进的基线在医学领域和一般领域的短句分类。
2018-12-05 cs.CL
On the Importance of Word and Sentence Representation Learning in Implicit Discourse Relation Classification
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
隐性语篇关系分类是浅层语篇分析中最困难的部分之一，因为在没有显性连接词的情况下进行关系预测需要在语篇跨度和句子两个层面上进行语言理解。以往的研究主要集中在两个参数之间的相互作用。我们认为，一个强大的语境化表征模块，双边多视角匹配模块，和一个全球性的信息融合模块都是重要的隐式话语分析。我们提出了一个新的模型，将这些模块结合在一起。大量的实验表明，我们提出的模型在PDTB数据集上的性能优于BERT和其他最先进的系统约8%，在CoNLL 2016数据集上的性能优于约16%。我们还分析了内隐话语关系分类任务中不同模块的有效性，并展示了不同水平的表示学习如何影响结果。
2020-04-28 cs.CL
ImpScore: A Learnable Metric For Quantifying The Implicitness Level of Sentence
Dartmouth College（达特茅斯学院）；Yale University（耶鲁大学）；Stony Brook University（石溪大学）
针对现有语言隐含程度度量缺失的问题，本文提出无参考可学习度量ImpScore，基于语义与语用差异定义，经成对对比学习训练，验证了其与人类判断的强相关性，并揭示大模型理解高隐含内容的局限。
2025-02-21 cs.CL
STACL: Simultaneous Translation with Implicit Anticipation and Controllable Latency using Prefix-to-Prefix Framework
Baidu Research（百度研究院）；Baidu, Inc.（百度公司）；Oregon State University（俄勒冈州立大学）
同声翻译，即在句子完成之前翻译句子，在许多情况下都很有用，但由于词序的差异而非常困难。虽然传统的seq-to-seq框架只适用于整句翻译，但我们提出了一种用于同声翻译的新型前缀到前缀框架，该框架隐式地学习在单个翻译模型中进行预测。在这个框架内，我们提出了一个非常简单但出奇有效的wait-k策略，经过训练可以与源句子同时生成目标句子，但始终落后k个单词。实验表明，我们的策略实现了低延迟和合理的质量（与整句翻译相比）4个方向：<->zhen和<->deen。
2019-06-24 cs.CL
Measure More, Question More: Experimental Studies on Transformer-based Language Models and Complement Coercion
New York University（纽约大学）；Allen Institute for AI（艾伦人工智能研究所）
基于transformer的语言模型在一系列自然语言理解任务上表现出了强大的性能。然而，这些模型如何对隐含意义做出反应的问题在很大程度上尚未被探索。我们使用补语强迫现象来研究这一点，其中包括像“学生完成了关于航行的书”这样的句子，其中“阅读”是隐含的。我们比较了LMs在有无隐含意义的句子中各个关键句子区域的语义估计。与恢复隐含意义的影响被发现在一个关键区域以外的句子最小的不同。然后，我们使用后续实验来排除潜在的混淆，揭示不同的观点，提供更丰富，更准确的图片。
2022-12-20 cs.CL
Revisiting Shallow Discourse Parsing in the PDTB-3: Handling Intra-sentential Implicits
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
在PDTB-3中，几千个隐含的话语关系被新注释了\textit{within}单个句子，增加了超过15，000个隐含的关系注释了PDTB-2中的\textit{across}相邻句子。由于这些\textit{intra-sentential implicits}的参数的位置不再像\textit{inter-sentential implicits}那样定义良好，因此话语分析器必须识别它们的位置和意义。这是目前工作的重点。本文对我们的结果进行了全面的分析，展示了不同场景下的模型性能，指出了局限性并指出了未来的发展方向。
2022-04-01 cs.CL
Pre-trained Sentence Embeddings for Implicit Discourse Relation Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Washington（华盛顿大学）
隐性语篇关系将较小的语言单位联结成连贯的语篇。隐式关系的自动意义预测是困难的，因为它需要理解链接参数的语义。此外，由于这种现象的规模，注释数据集包含相对较少的标记示例：平均每个话语关系包含几十个单词。在本文中，我们探讨了实用的预训练句子嵌入作为基本表示的神经网络隐含的话语关系意义分类。我们提出了一系列的实验，使用监督的端到端训练模型和预训练的句子编码技术- SkipThought，Sent 2 vec和Infersent。预训练的嵌入与端到端模型具有竞争力，并且方法是互补的，组合模型在三个评估中的两个上产生了显着的性能改进。
2022-10-20 cs.AI cs.CL
CEFER: A Four Facets Framework based on Context and Emotion embedded features for Implicit and Explicit Emotion Recognition
University of Isfahan（伊斯法罕大学）
人们的行为和反应是由他们的情绪驱动的。在线社交媒体正在成为以书面形式表达情感的重要工具。注意上下文和整个句子有助于我们从文本中检测情感。然而，这一观点阻碍了我们注意到文本中的一些情感词或短语，特别是当这些词含蓄而不是明确地表达情感时。另一方面，只关注词语而忽视语境会导致对句子意义和感觉的扭曲理解。在本文中，我们提出了一个框架，分析文本在句子和词的水平。CEFER（Context and Emotion Embedded Framework for Emotion Recognition）是一个基于上下文和情绪的情绪识别框架。我们的四个方法方面是通过同时考虑整个句子和每个单词以及内隐和外显情绪来提取数据。从这些数据中获得的知识不仅减轻了前面方法中缺陷的影响，而且还增强了特征向量。我们使用BERT族对几种特征空间进行了评价，并在此基础上设计了CEFER。CEFER将每个词的情感向量（包括显式和隐式情感）与每个词基于上下文的特征向量相结合。CEFER的性能优于BERT系列。实验结果表明，识别内隐情绪比检测外显情绪更具挑战性。CEFER提高了内隐情绪识别的准确率。结果表明，CEFER在外显情绪识别上比BERT家族高5%，在内隐情绪识别上高3%。
2022-09-28 cs.CL
Translate First Reorder Later: Leveraging Monotonicity in Semantic Parsing
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；dMetrics（dMetrics公司）
先前在语义解析中的工作已经表明，传统的seq2seq模型在组合泛化任务中失败。这种限制导致了对句子及其相应含义表示之间的对齐进行建模的方法的复兴，这些方法要么通过隐变量进行隐式建模，要么通过利用对齐注释进行显式建模。我们采取第二个方向，并提出TPOL，一个两步的方法，首先单调地翻译输入句子，然后重新排序，以获得正确的输出。这是通过一个模块化框架来实现的，该框架包括一个翻译器和一个重新排序器组件。我们在两个流行的语义解析数据集上测试我们的方法。我们的实验表明，通过单调翻译，TPOL可以从对齐的数据中学习可靠的词汇逻辑模式，显着提高了传统seq2seq模型以及其他利用黄金对齐的方法的组成概括。
2023-02-06 cs.AI cs.CL cs.LG
CO-NNECT: A Framework for Revealing Commonsense Knowledge Paths as Explicitations of Implicit Knowledge in Texts
Heidelberg University（海德堡大学）
在这项工作中，我们利用常识知识的知识路径的形式，建立句子之间的连接，作为一种形式的显式的隐性知识。这种连接可以是直接的（单跳路径），也可以是需要中间概念的（多跳路径）。为了构建这样的路径，我们将两种模型类型结合在一个联合框架中，我们称之为Co-nestra：一个关系分类器，预测概念之间的直接连接;和一个目标预测模型，它生成目标或中间概念，给出一个源概念和一个关系，我们使用它来构建多跳路径。与以前的工作，完全依赖于静态的知识源，我们利用语言模型微调存储在ConceptNet中的知识，动态生成知识路径，作为解释隐含的知识，连接文本中的句子。作为一个中心的贡献，我们设计的手动和自动评估设置，以评估生成的路径的质量。我们对两个论证数据集进行了评估，结果表明，这两种模型类型的组合在句子之间生成了有意义的、高质量的知识路径，揭示了文本中传达的隐含知识。
2021-05-07 cs.CL
IIIDYT at IEST 2018: Implicit Emotion Classification With Deep Contextualized Word Representations
Graduate School of Engineering（工学研究生院）；The University of Tokyo（东京大学）
在本文中，我们描述了我们为WASSA 2018内隐情感共享任务（IEST）设计的系统，该系统在26支球队中获得了2个$^{\text{nd}}$名额，测试宏F1得分为$0.710$。该系统由用于编码单词的单个预训练ELMo层、用于用上下文丰富单词表示的双向长短记忆网络BiLSTM、用于从所述单词向量创建句子表示的最大池化操作以及用于将句子表示投影到标签空间中的密集层组成。我们的正式提交是通过将这些模型中的6个模型集成在一起获得的，这些模型使用不同的随机种子进行初始化。复制这篇论文的代码可以在https://github.com/jabalazs/implicit_emotion上找到。
2018-09-01 cs.CL
An Analysis of Sentential Neighbors in Implicit Discourse Relation Prediction
The University of Colorado, Boulder（科罗拉多大学博尔德分校）
针对隐式话语关系预测仅依赖目标相邻句忽略更广上下文的问题，提出三种融入上下文的新方法，发现引入超单个话语单元的上下文会损害分类效果。
2024-05-17 cs.CL
Interpretation modeling: Social grounding of sentences by reasoning over their implicit moral judgments
KU Leuven（鲁汶大学）
本文提出解释建模任务，通过社会关系、共同背景及隐含道德判断的多重标注，结合一对一与一对多生成方法建模句子的多元合理解释，并以数据集、自动与人工评估及毒性分析验证其挑战与内容安全价值。
2023-11-27 cs.AI cs.CL
Let's be explicit about that: Distant supervision for implicit discourse relation classification via connective prediction
Stockholm University（斯德哥尔摩大学）
在隐性话语关系分类中，我们希望在没有任何显性话语联系语的情况下预测相邻句子之间的关系。这甚至对人类来说也是一个挑战，导致注释数据的短缺，这使得监督机器学习方法的任务更加困难。在本研究中，我们不依赖于任何标记的隐含关系进行隐性话语关系分类。我们避开了缺乏数据，通过显式的隐含关系，减少任务到两个子问题：语言建模和显式的话语关系分类，一个更容易的问题。我们的实验结果表明，这种方法甚至可以略优于国家的最先进的，尽管是简单得多的替代模型的可比性能。此外，我们还表明，所实现的性能在各个领域都是鲁棒的，正如在完全不同的领域进行的零射击（zero-shot）实验所表明的那样。这表明语言建模的最新进展已经使得语言模型在没有显式话语标记的帮助下能够足够好地捕捉句子间的关系。
2021-06-06 cs.CL
Adversarial Examples Generation for Reducing Implicit Gender Bias in Pre-trained Models
在过去的几年里，情境化的预训练神经语言模型，如BERT，GPT，在各种NLP任务中表现出显着的进步。为了增强现有预训练模型的鲁棒性，一种方法是对抗性示例生成和评估，以进行数据增强或对抗性学习。与此同时，在实际应用中，嵌入在模型中的性别偏见似乎是一个严重的问题。许多研究都涉及到了词汇层面的性别偏见（如性别刻板印象职业），而很少有研究涉及词汇层面的性别偏见和内隐性别偏见。本文提出了一种自动生成隐性性别偏见样本的方法和一种衡量性别偏见的指标。我们的方法生成的样品将在准确性方面进行评估。该指标将用于指导从预训练模型生成示例。因此，这些示例可以用于对预训练模型进行攻击。最后，我们讨论了我们生成的例子对减少性别偏见的评估功效，为未来的研究。
2021-10-03 cs.CL
BNS-Net: A Dual-channel Sarcasm Detection Method Considering Behavior-level and Sentence-level Conflicts
提出双通道讽刺检测模型BNS-Net，通过行为级和句子级冲突通道分别重构文本并引入外部情感知识捕捉冲突，在三个公开数据集上取得最先进性能。
2023-09-07 cs.CL
Using Sentence-Level LSTM Language Models for Script Inference
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
有一个小的，但不断增长的研究机构的统计脚本，模型的事件序列，允许概率推断隐含的事件从文件。这些系统对由NLP管道产生的结构化动词论元事件进行操作。我们将这些系统与最近的递归神经网络模型进行了比较，这些模型直接对原始标记进行操作以预测句子，发现后者在预测文档中的缺失事件方面与前者大致相当。
2016-06-08 cs.CL
CLEAR: Contrastive Learning for Sentence Representation
University of Michigan（密歇根大学）；Facebook AI（脸书人工智能研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
预训练的语言模型已经证明了它们在捕捉隐式语言特征方面的独特能力。然而，大多数的预训练方法都集中在单词层面的训练目标，而词汇层面的目标却很少被研究。在本文中，我们提出了对比学习的句子表示（CLEAR），它采用多个层次的增强策略，以学习噪声不变的句子表示。这些扩充包括单词和跨度删除、重新排序和替换。此外，我们还通过大量的实验研究了对比学习有效的关键原因。我们观察到，在预训练过程中，不同的句子增强会导致不同的下游任务的性能提高。我们的方法在SentEval和GLUE基准测试中优于多种现有方法。
2020-12-31 cs.CL
Extending Implicit Discourse Relation Recognition to the PDTB-3
University of Edinburgh（爱丁堡大学）
PDTB-3包含了比前一个PDTB-2更多的隐性话语关系。这部分是因为隐含的关系现在已经被注释在句子内以及句子之间。此外，有些现在与明确的话语关系共现，而不是单独出现。在这里，我们表明，虽然这可能会复杂的问题，确定隐含的话语关系的位置，它可以反过来简化的问题，确定其意义。我们目前的数据来支持这一主张，以及方法，可以作为一个非平凡的基线，为未来国家的最先进的识别器隐式话语关系。
2020-10-13 cs.CL
Elaborative Simplification as Implicit Questions Under Discussion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出通过讨论问题（QUD）框架的视角来研究详述性简化，将详述视为对隐性问题的明确回答，并引入了包含1.3K条详述的ElabQUD数据集，显式建模QUD不仅加深了对详述性简化的理解，还显著提升了详述生成的质量。
2023-10-24 cs.CL
A Survey of Implicit Discourse Relation Recognition
Huazhong University of Science and Technology（华中科技大学）
包含一个或多个句子的话语描述日常问题和事件，供人们交流思想和观点。由于句子通常是由多个语篇片段组成的，正确理解语篇的主题必须考虑语篇片段之间的关系。虽然有时在原始文本中存在连接词来表达关系，但更多的情况是两个文本片段之间不存在连接词，但它们之间存在某种隐含的关系。隐性话语关系识别的任务是在两个没有连接词的文本片段之间发现隐含的关系并对其意义进行分类。事实上，IDRR任务是重要的下游自然语言处理任务，如文本摘要，机器翻译等。本文提供了一个全面的和最新的调查IDRR任务。我们首先总结了该领域广泛使用的任务定义和数据源。我们从IDRR任务的发展历史的角度对IDRR任务的主要解决方案进行了分类。在每个解决方案类别中，我们介绍并分析了最具代表性的方法，包括它们的起源，想法，优点和缺点。我们还提出了这些解决方案的性能比较实验上的公共语料库与标准的数据处理程序。最后，我们讨论了话语关系分析的未来研究方向。
2022-03-06 cs.CL
Deep Enhanced Representation for Implicit Discourse Relation Recognition
Shanghai Jiao Tong University（上海交通大学）
隐含语篇关系识别是一项具有挑战性的任务，因为在语篇分析中，没有显式连接词的关系预测需要理解文本跨度，并且不能轻易地从输入句子对的表面特征中获得。因此，正确地表达文本对这项任务至关重要。在本文中，我们提出了一个模型增强了不同粒度的文本表示，包括字符，子字，单词，句子和句子对水平。在基准树库上对所提出的更深层次模型进行了评估，并根据我们的最佳知识首次在11路分类中实现了最先进的准确率大于48%，并且在4路分类中$F_1$得分大于50%。
2018-07-13 cs.AI cs.CL cs.LG
SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens
University of Virginia（弗吉尼亚大学）；LinkedIn Inc.（领英公司）
SemCoT通过语义对齐的隐式令牌优化，提升链式推理的效率与准确性。
2026-01-27 cs.CL
Incorporating Visual Semantics into Sentence Representations within a Grounded Space
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机科学实验室）；Criteo AI Lab（Criteo人工智能实验室）
语言背景是一个活跃的领域，旨在丰富文本表征与视觉信息。通常，文本和视觉元素嵌入在同一个表示空间中，这隐含地假设了模态之间的一一对应关系。这个假设并不成立时，代表的话，并成为问题时，用于学习句子表征-本文的重点-作为一个视觉场景可以描述各种各样的句子。为了克服这一限制，我们建议通过学习一个中间表示空间：接地空间将视觉信息转换为文本表示。我们进一步提出了两个新的互补目标，确保（1）与相同的视觉内容相关联的句子在接地空间中是接近的，（2）相关元素之间的相似性被保留在不同的模态。我们表明，该模型优于以前的国家的最先进的分类和语义相关的任务。
2020-02-07 cs.CL
Improving Implicit Discourse Relation Classification by Modeling Inter-dependencies of Discourse Units in a Paragraph
Texas A&M University（得克萨斯农工大学）
我们认为句子或小句的语义不能独立于段落的其他部分，或独立于所有的话语关系和整个段落层面的话语结构来解释。为了提高隐含语篇关系分类的准确性，我们引入了一个段落级的神经网络，该网络可以对语篇单元之间的相互依赖关系、语篇关系的连续性和模式进行建模，并预测一个段落中的语篇关系序列。实验结果表明，我们的模型优于以前的国家的最先进的系统上的基准语料的PDTB。
2018-04-16 cs.CL
Zero-shot transfer for implicit discourse relation classification
Stockholm University（斯德哥尔摩大学）
对语篇中句子之间的关系进行自动分类是一项具有挑战性的任务，特别是在没有明显表达关系的情况下。由于带注释的训练数据仅存在于少数语言（例如英语和中文）的事实，这变得更具挑战性。我们提出了一个新的系统，使用zero-shot迁移学习隐式话语关系分类，其中唯一的资源用于目标语言是未注释的平行文本。该系统的话语注释TED-MDB并行语料库上进行了评估，在那里它获得了良好的效果，所有七种语言使用英语训练数据。
2019-07-30 cs.CL
Learning Open Information Extraction of Implicit Relations from Reading Comprehension Datasets
The Wharton School（沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）；Western Engineering（西部工程学院）；University of Western Ontario（西安大略大学）
句子中两个实体之间的关系通常由语序和常识暗示，而不是明确的谓语。例如，很明显，“美联储主席鲍威尔表示加息”意味着（鲍威尔，是美联储主席）和（鲍威尔，为美联储工作）。这些元组与显式谓词元组一样重要（鲍威尔指出，利率上升），但在传统的开放信息抽取（OpenIE）系统下召回率要低得多。隐式元组是我们对这种类型的提取的术语，其中关系不存在于输入句子中。相对于其他NLP任务，OpenIE的训练数据非常少，而且没有一个专注于隐式关系。我们开发了一个开源的，基于解析的工具，用于将大型阅读理解数据集转换为OpenIE数据集，并发布了一个比以前的句子数量大35倍的数据集。在此数据上训练的基线神经模型在隐式提取任务上优于以前的方法。
2019-05-15 cs.CL cs.IR cs.LG
Refining Implicit Argument Annotation for UCCA
University of Copenhagen（哥本哈根大学）
谓词论元结构分析是语篇意义表征的核心内容。事实上，一些参数在句子中没有明确提到，这会导致语言理解的歧义，并使机器难以正确地解释文本。然而，只有很少的资源代表隐含的作用，自然语言理解，现有的研究在自然语言处理只是粗略的区别类别的参数省略从语言形式。本文在泛概念认知标注的基础层之上，提出了一种细粒度隐式论元标注的类型学。隐式论元分类是由隐式角色解释理论驱动的，包括六种类型：指示语、类属语、体裁型、可识别类型、非特定类型和迭代集。我们重新访问了UCCA EWT语料库的一部分，提供了一个新的数据集与细化层的注释，并与其他方案进行了比较分析，以验证我们的设计。
2021-04-08 cs.CL
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
Cornell University（康奈尔大学）
我们重新审视经典的问题，文档级的角色填充实体提取（REE）模板填充。我们认为，文本级的方法是不适合的任务，并引入了一个生成的基于转换器的编码器-解码器框架（GRIT），其目的是在文档级的上下文建模：它可以跨句子边界提取决策，是隐含地知道名词短语的共指结构，并有能力尊重模板结构中的跨角色依赖关系。我们在MUC-4数据集上评估了我们的方法，并表明我们的模型比以前的工作表现得更好。我们还表明，我们的建模选择有助于模型性能，例如，通过隐式地捕获语言知识，例如识别共指实体提及。
2021-01-28 cs.CL
AmpleHate: Amplifying the Attention for Versatile Implicit Hate Detection
Yonsei University（延世大学）
AmpleHate 通过模拟人类推理过程，利用命名实体识别和注意力机制放大目标与语境的关系信号，在隐式仇恨检测上平均超越对比学习基线 82.14%，并具有更快的收敛速度和良好的可解释性。
2025-09-19 cs.AI cs.CL cs.CY
Measuring Fine-Grained Semantic Equivalence with Abstract Meaning Representation
Georgetown University（乔治城大学）
识别语义等价的句子对于许多跨语言和单语言NLP任务都很重要。目前的语义等价方法对“等价”采取了一种松散的、中间层次的方法，尽管以前的证据表明细粒度的差异和隐含的内容对人类的理解（Roth和Anthonio，2021）和系统性能（Briakou和Carpuat，2021）有影响。在这项工作中，我们引入了一种新的，更敏感的方法，利用抽象意义表示图结构的特征语义等价。我们开发了一种方法，它可以用于黄金或自动AMR注释，并证明我们的解决方案实际上是细粒度比现有的语料库过滤方法和更准确地预测严格等价的句子比现有的语义相似性度量。我们建议，我们的更细粒度的语义等价性的措施可以限制在人类编辑后的机器翻译的任务，并在人类评价句子相似性的工作量。
2022-10-06 cs.CL
Do Pre-Trained Language Models Detect and Understand Semantic Underspecification? Ask the DUST!
College of Informatics（信息学院）；University of Amsterdam（阿姆斯特丹大学）；ILLC（语言、逻辑与计算研究所）
本文构建按类型分组的语义欠明确句子数据集 DUST，评估预训练语言模型的识别与解释能力，发现模型可识别欠明确句却难以正确解释且缺乏不确定性。
2024-06-12 cs.CL
Memorizing All for Implicit Discourse Relation Recognition
Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
由于缺乏来自显式连接词的必要信息线索，隐性话语关系识别是一项具有挑战性的任务。关系的预测需要对句对的语义有深刻的理解。由于隐式话语关系识别器需要仔细处理给定句子对之间的语义相似性，同时存在严重的数据稀疏性问题，因此，掌握整个训练数据应该是有益的。因此，在本文中，我们提出了一种新的内存机制，以应对进一步提高性能的挑战。记忆机制是通过对所有训练实例的表征和话语关系进行配对来充分记忆信息，这正好填补了当前隐式话语关系识别器中数据匮乏的问题。我们的实验表明，我们记忆整个训练集的完整模型在强大的基线上达到了新的最先进水平，特别是首次超过了4路任务中60%准确率的里程碑。
2019-08-29 cs.AI cs.CL cs.LG
Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention
Georgia Institute of Technology（佐治亚理工学院）
本研究通过四种大语言模型，探究人类与模型在处理花园小径句及持续误解上的一致性，发现二者在处理上表现出有前景的趋同，尤其在句法外信息引导时。
2024-05-25 cs.CL
A Side-by-side Comparison of Transformers for English Implicit Discourse Relation Classification
University of Pennsylvania（宾夕法尼亚大学）；LXPER AI Research（LXPER人工智能研究院）
本文在PDTB-3上对七个预训练语言模型进行隐式话语关系分类的并列比较，将SOTA提升至0.671 ACC，并发现句子级预训练目标通常不如MLM加全注意力机制有效。
2023-07-07 cs.CL
Comparing Without Saying: A Dataset and Benchmark for Implicit Comparative Opinion Mining from Same-User Reviews
VNU University of Engineering and Technology（越南工程大学）；Singapore Management University（新加坡管理大学）
SUDO数据集通过隐式比较意见挖掘任务，评估了从同一用户评论中推断偏好的挑战与方法。
2026-01-20 cs.CL
Cracking the Code: Enhancing Implicit Hate Speech Detection through Coding Classification
The University of Osaka（大阪大学）；Meetyou AI Lab（Meetyou人工智能实验室）
本文提出六种编码类型分类体系，并通过提示大语言模型或将其作为编码器嵌入编码类型，在中英文数据集上有效提升了隐性仇恨言论检测性能。
2025-06-05 cs.CL
Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
Anaphor Assisted Document-Level Relation Extraction
SKLSDE, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Zhongguancun Laboratory（中关村实验室）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）
针对文档级关系抽取中回指信息被忽略和跨句实体交互粒度不足的问题，本文提出回指辅助框架，并在常用数据集上取得新的最优性能。
2023-10-28 cs.CL
PerPaDa: A Persian Paraphrase Dataset based on Implicit Crowdsourcing Data Collection
German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心）；ICT Research Institute of ACECR（伊朗伊斯兰革命胜利组织信息与通信技术研究所）
在本文中，我们介绍PerPaDa，波斯语释义数据集，收集从用户的输入在剽窃检测系统。作为一种隐性的众包体验，我们从Hamtajoo收集了大量的原始和释义句子;这是一个波斯语剽窃检测系统，用户试图通过释义和重新提交手稿进行分析来隐藏文档中的文本重复使用情况。编译的数据集包含2446个释义实例。为了提高所收集数据的整体质量，已经使用了一些语法来排除不符合所提出的标准的句子。引入的语料库是远远大于可用的数据集的任务，在波斯语的释义识别。此外，与类似的数据集相比，数据中的偏差较小，因为用户没有尝试一些固定的预定义规则来生成与其原始输入相似的文本。
2022-01-17 cs.AI cs.CL cs.LG
Crowdsourcing Question-Answer Meaning Representations
Bar-Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们引入了问答意义表征（QAMRs），它将句子的谓词-论元结构表示为一组问答对。我们还开发了一个众包方案，表明QAMR可以通过很少的训练进行标记，并收集了一个包含5,000多个句子和10万个问题的数据集。详细的定性分析表明，群体生成的问题-答案对涵盖了现有数据集（包括PropBank，NomBank，QA-SRL和AMR）中的绝大多数谓词-参数关系，以及许多以前资源不足的关系，包括隐式参数和关系。QAMR数据和注释代码是公开的，以使未来的工作如何最好地模拟这些复杂的现象。
2017-11-16 cs.CL
Relation Extraction with Fine-Tuned Large Language Models in Retrieval Augmented Generation Frameworks
Freie Universitaet Berlin（柏林自由大学）；Fraunhofer Institute FOKUS（弗劳恩霍夫应用研究促进协会福库斯研究所）
本研究将微调后的大语言模型集成到检索增强生成（RAG）框架中开展关系抽取，解决句子级隐式关系识别难题，在多个基准数据集上取得超越既往方法的性能表现。
2024-06-24 cs.AI cs.CL
Transferring Semantic Knowledge Into Language Encoders
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）
我们引入语义形式中期调整，语义知识的语义表示转换为基于语言编码器的方法。在中期调整中，我们学习对齐一般句子的文本-不与任何特定的推理任务相关联-以及这些句子的结构化语义表示。我们的方法不需要黄金注释的语义表示。相反，它使用自动生成的语义表示，例如来自现成的PropBank和FrameNet语义解析器。我们表明，这种对齐可以通过分类或直接通过三重损失隐式学习。我们的方法产生的语言编码器，表现出更好的预测性能在推理，阅读理解，文本相似性，以及其他语义任务从GLUE，SuperGLUE和SentEval基准。我们在三个流行的基线模型上评估了我们的方法，我们的实验结果和分析得出结论，当前预训练的语言模型可以进一步受益于所提出的中期调整方法的结构化语义框架，因为它们将额外的任务不可知知识注入编码器，改善生成的嵌入以及给定模型的语言属性，这从对流行的句子嵌入工具包和各种探测任务的改进中显而易见。
2021-10-14 cs.CL
ChatGPT Evaluation on Sentence Level Relations: A Focus on Temporal, Causal, and Discourse Relations
HKUST（香港科技大学）；HKUST (GZ)（香港科技大学（广州））
该研究通过三种提示模板在11个数据集上评估ChatGPT的句间关系识别能力，首次建立相关任务基线，发现其因果关系推理强、时序与隐式话语关系及对话话语解析表现较弱。
2024-01-26 cs.CL
