Construction Artifacts in Metaphor Identification Datasets
Cardiff University（卡迪夫大学）；AMPLYFI（AMPLYFI公司）
本文揭示隐喻识别数据集因构建流程存在可被利用的偏差，并证明忽略上下文或目标词的模型也能达到竞争性能，而基于自然语料库的精心采样数据集更为可靠。
2023-11-15 cs.CL
Learning Outside the Box: Discourse-level Features Improve Metaphor Identification
Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）；The ALTA Institute（ALTA研究所）；University of Amsterdam（阿姆斯特丹大学）
目前大多数隐喻识别方法都使用有限的语言语境，例如只考虑动词的论元或包含短语的句子。受隐喻的语用学解释的启发，我们认为更广泛的语篇特征对于更好地识别隐喻至关重要。我们训练简单的梯度提升分类器，用于表达用各种文档嵌入方法学习的话语及其周围的话语，在2018年VU阿姆斯特丹隐喻识别任务中获得了接近最先进的结果，而没有其他系统使用的复杂的隐喻特定特征或深度神经架构。定性分析进一步证实了隐喻加工需要更广泛的语境。
2019-04-09 cs.CL
Floating or Suggesting Ideas? A Large-Scale Contrastive Analysis of Metaphorical and Literal Verb-Object Constructions
研究通过分析297个英语动词-宾语对，探讨隐喻和字面表达在语境中的差异，发现隐喻表达在情感负荷和图像性上更强，但缺乏统一分布模式。
2026-04-09 cs.CL
A neural network to classify metaphorical violence on cable news
University of California, Merced（加州大学默塞德分校）
我在这里提出了一个用于识别和注释语料库中隐喻的实验系统。它被设计为插件到Metacorps，一个实验性的网络应用程序，用于注释隐喻。当Metacorps用户注释隐喻时，系统将使用用户注释作为训练数据。当系统确信时，它将建议标识和注释。一旦被用户批准，这就变成更多的训练数据。这自然允许迁移学习，其中系统可以在仅在一个类别的隐喻上进行训练之后，以某种已知的可靠程度对另一个类别的隐喻进行分类。例如，在我们的隐喻暴力项目中，隐喻可以根据它们被观察到的网络，暴力隐喻的语法主语或宾语，或使用的暴力词（击中，攻击，殴打等）进行分类。
2018-10-19 cs.CL stat.ML
LaiDA: Linguistics-aware In-context Learning with Data Augmentation for Metaphor Components Identification
School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）
针对隐喻成分识别的复杂性与语境依赖难题，提出融合语言学感知与数据增强的LaiDA框架，通过图注意力网络检索相似示例微调大语言模型，在NLPCC2024相关子任务中获第二名。
2024-08-10 cs.CL
Metaphor Detection via Explicit Basic Meanings Modelling
University of Surrey（萨里大学）；University of Sheffield（谢菲尔德大学）
本文提出一种严格遵循MIP原则的隐喻检测方法，通过训练集字面标注显式建模词汇基本含义并与语境含义对比，在VUA18上F1提升1.0%并达到理论上限。
2023-05-26 cs.CL
Neural embeddings for metaphor detection in a corpus of Greek texts
National and Kapodistrian University of Athens（雅典国立与卡波迪斯特里亚大学）
NLP面临的主要挑战之一是隐喻检测，特别是通过自动手段，对于缺乏语言资源和工具的语言来说，这项任务变得更加困难。我们的目的是通过机器学习的计算方法，从希腊语语料库中的真实的无注释短语的字面意义和隐喻意义之间的自动微分。为此目的，分布语义学的理论背景进行了讨论和就业。分布语义学理论根据语言元素的分布特性，提出了对大量语言数据中语言元素所表现出的语义相似性进行量化和分类的概念和方法。根据这一模型，本文所采用的方法考虑到了语言环境，用于计算短语在几何空间中的分布表示，以及与其他短语的分布表示进行比较，这些短语在言语中的功能已经是“已知的”，目的是得出关于它们在特定语言环境中的字面或隐喻功能的结论。这一程序旨在解决希腊语缺乏语言资源的问题，因为迄今为止几乎不可能在“短语”之间进行语义比较，这种比较采取的形式是对它们在几何空间中的分布表示进行算术比较。
2019-02-10 cs.CL
How Metaphors Impact Political Discourse: A Large-Scale Topic-Agnostic Study Using Neural Metaphor Detection
Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of Amsterdam（阿姆斯特丹大学）
隐喻作为一种有效的框架手段在政治修辞中被广泛使用。虽然之前已经有文献记录了特定隐喻（如政治语篇中的战争隐喻）的功效，但这些研究通常依赖于少量的手动编码隐喻使用实例。需要更大规模的主题不可知论研究来建立隐喻作为一种手段的普遍说服力，并揭示指导其说服力的更广泛的模式。在本文中，我们提出了一个大规模的数据驱动的研究中使用的隐喻在政治语篇。我们对一个公开的数据集进行了这项研究，该数据集包含了412名美国政客在其Facebook公共页面上发布的超过8.5万个帖子，截至2017年2月。我们的贡献有三个方面：我们的证据表明，隐喻的使用与意识形态倾向以复杂的方式相关，这取决于同时发生的政治事件，如赢得或失去选举;我们表明，即使在控制了各种社会政治因素，如性别和政党关系后，隐喻的帖子也会引起观众的更多参与;最后，我们通过对7万篇帖子中513个词的隐喻用法和字面用法的细粒度语言学分析，证明隐喻性确实是帖子参与度增加的原因。
2021-04-08 cs.CL cs.SI
Metaphor Detection using Deep Contextualized Word Embeddings
University Of Delhi（德里大学）；National Informatics Center（国家信息中心）
隐喻普遍存在于自然语言中，其检测在语言理解、情感分析等自然语言处理任务中起着至关重要的作用。现有的隐喻检测方法大多依赖于复杂的、手工制作的和微调的特征管道，这极大地限制了它们的适用性。在这项工作中，我们提出了一个端到端的方法组成的深上下文的词嵌入，双向LSTM和多头注意力机制，以解决自动隐喻检测的任务。我们的方法，不像许多其他现有的方法，只需要原始文本序列作为输入功能来检测一个短语的隐喻性。我们分别在两个基准数据集TroFi和MOH-X上比较了我们的方法与现有基线的性能。实验评估证实了我们的方法的有效性。
2020-09-26 cs.CL cs.LG
Meanings are like Onions: a Layered Approach to Metaphor Processing
Institute for Cognitive Sciences and Technologies (ISTC), CNR, Rome, Italy（认知科学与技术研究所（ISTC），CNR，罗马，意大利）；University of Bologna, Italy（博洛尼亚大学，意大利）；University of Turin, Italy（都灵大学，意大利）
本文提出一种分层隐喻处理模型，将意义视为包含内容分析、概念融合和语用意图的多层洋葱结构，为计算系统实现超越表面关联的深层语境敏感隐喻理解奠定基础。
2025-08-14 cs.CL
Figurative Justice: Detecting metaphors in Hindi judgements with qualitative assessment and transformers
DigiTS, University of Tartu（塔尔图大学 DigiTS）；The West Bengal National University of Juridical Sciences (NUJS)（西孟加拉邦国家司法科学大学）；School of Languages and Linguistics, Jadavpur University（贾达普大学语言与语言学学院）
本研究针对低资源语言印度语，构建了HiLeMe语料库并采用mBERT及Transformer架构，实现了印度语司法判决中的隐喻检测，为低资源语言法律论述的自动化模型发展提供了支撑。
2026-08-25 cs.CL
Metaphors in Pre-Trained Language Models: Probing and Generalization Across Datasets and Languages
School of Electrical and Computer Engineering（电气与计算机工程学院）；College of Engineering（工程学院）；University of Tehran（德黑兰大学）
人类语言中充满了隐喻。隐喻通过将新的概念和领域与更熟悉的概念和领域联系起来，帮助人们理解世界。因此，大型预训练的语言模型（PLM）被假定为编码对NLP系统有用的隐喻知识。在本文中，我们调查这一假设的PLM，通过探测隐喻性信息的编码，并通过测量跨语言和跨数据集概括这些信息。我们在多个隐喻检测数据集和四种语言（即，英语、西班牙语、俄语和波斯语）。我们大量的实验表明，在PLM的上下文表征编码隐喻知识，主要是在他们的中间层。知识可以在语言和数据集之间转移，特别是当注释在训练集和测试集之间保持一致时。我们的发现为认知科学家和NLP科学家提供了有用的见解。
2022-03-26 cs.CL
ContrastWSD: Enhancing Metaphor Detection with Word Sense Disambiguation Following the Metaphor Identification Procedure
本研究提出融合隐喻识别流程与词义消歧的RoBERTa隐喻检测模型ContrastWSD，通过对比词语语境义与基本义判断隐喻用法，在多个基准数据集上表现优于现有方法，提升了隐喻检测效果。
2024-03-23 cs.CL cs.LG
An Expectation-Realization Model for Metaphor Detection
Ohio University（俄亥俄大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出由期望组件和实现组件构成的ER隐喻检测架构，学习词语隐喻用法模式，并通过模型集成提升性能，在分布内、分布外及新颖隐喻泛化测试中达到或超过现有最优水平。
2023-11-07 cs.AI cs.CL
Learning the Cue or Learning the Word? Analyzing Generalization in Metaphor Detection for Verbs
School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学）；Institute for Natural Language Processing, University of Stuttgart（自然语言处理研究所，斯图加特大学）
本文通过RoBERTa分析隐喻检测中的泛化能力，发现模型在未见过的词语上仍能保持表现，表明泛化主要由学习提示驱动，而词语记忆提供额外提升。
2026-04-15 cs.CL
Probing Semantic Alignment, Lexical Invariance, and Syntactic Influence in LLM Metaphor Processing
NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（自然语言处理2CT实验室，计算机与信息科学系，澳门大学）
通过几何探测、上下文替换和句法扰动三种方法，分析LLM在隐喻处理中的语义漂移、词汇稳定性及句法敏感性，揭示强行为表现可能源于异质信号。
2026-06-18 cs.AI cs.CL
Toward Metaphor-Fluid Conversation Design for Voice User Interfaces
Northeastern University（东北大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University College Dublin（都柏林大学）
研究针对语音用户界面现有隐喻设计不足，提出隐喻灵活设计方法，通过动态调整隐喻表示适应不同情境。经实验对比默认VUI，该方法提升了用户相关感受，但因个体差异需个性化，挑战了传统设计范式，展现新方法潜力。
2026-07-15 cs.AI cs.CL cs.CY
A Perspective on Literary Metaphor in the Context of Generative AI
King’s College London（伦敦国王学院）；Koç University（科克大学）；Bournemouth University（伯恩茅斯大学）；Marmara University（马尔马拉大学）
本文从文学理论视角探讨生成式AI中的文学隐喻，通过训练南非荷兰语LSTM语言模型验证原创比喻对文本质量的提升，并提出将AI作为陌生化技术以增强诗意表达。
2024-09-02 cs.AI cs.CL
Enhancing Metaphor Detection through Soft Labels and Target Word Prediction
College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）
本文提出融合知识蒸馏与提示学习的隐喻检测框架，通过目标词遮蔽预测和教师模型软标签缓解规则误用与数据稀疏问题，并在多个数据集上达到最先进性能。
2024-04-09 cs.CL
On the Impact of Temporal Representations on Metaphor Detection
University of Milano-Bicocca（米兰比可卡大学）；FIZ Karlsruhe - Leibniz Institute for Information Infrastructure（FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
现有的隐喻检测方法使用基于神经网络的隐喻分类器来比较它们的字面意义或核心意义以及它们的上下文意义。然而，由于文化和社会的影响，隐喻表达方式随着时间的推移而演变。人们知道隐喻表达与语言和字面词义共同进化，甚至在某种程度上推动了这种进化。这就提出了一个问题，即不同的，可能是特定时间的，字面意义的表征是否会影响隐喻检测任务。据我们所知，这是第一个研究，探讨隐喻检测任务，详细的探索性分析，不同的时间和静态词嵌入被用来解释不同的表征字面意义。我们的实验分析是基于三个流行的基准用于隐喻检测和词嵌入提取不同的语料库和时间对齐使用不同的国家的最先进的方法。结果表明，不同的静态词嵌入方法的使用确实影响隐喻检测任务，一些时间词嵌入略优于静态方法。然而，研究结果也表明，时间词嵌入可能提供表征的核心意义的隐喻，甚至太接近他们的上下文意义，从而混淆分类。总的来说，时间语言进化和隐喻检测之间的相互作用在我们的实验中使用的基准数据集似乎很小。这表明，未来对这一重要语言现象的计算分析工作应该首先从创建一个新的数据集开始，在这个数据集上更好地表示这种相互作用。
2022-04-29 cs.AI cs.CL
LMs stand their Ground: Investigating the Effect of Embodiment in Figurative Language Interpretation by Language Models
Ludwig-Maximilians-University (LMU)（路德维希-马克西米利安大学（慕尼黑大学））；Institute for Information and Language Processing (CIS)（信息与语言处理研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本研究探究具身性对语言模型比喻语言理解的影响，发现隐喻动作具身性越强，大语言模型解读表现越好，排除其他特征共线性干扰，为大模型具备促进比喻理解的具身概念化能力提供了初步证据。
2023-06-15 cs.CL
Hierarchical Attention Network for Explainable Depression Detection on Twitter Aided by Metaphor Concept Mappings
School of Computer Science and Engineering（计算机科学与工程学院）；Nanyang Technological University（南洋理工大学）
Twitter上的自动抑郁检测可以帮助个人在看到心理健康专业人员之前的早期阶段私下和方便地了解他们的心理健康状况。大多数现有的用于抑郁症检测的类似黑盒的深度学习方法主要集中在提高分类性能上。然而，解释模型决策在健康研究中是必不可少的，因为决策往往是高风险和生死攸关的。对包括抑郁症在内的心理健康问题的可靠自动诊断应该得到证明模型预测合理性的可信解释的支持。在这项工作中，我们提出了一个新的解释模型抑郁症检测Twitter上。它包括一个新的编码器结合分层注意力机制和前馈神经网络。为了支持心理语言学研究，我们的模型利用隐喻概念映射作为输入。因此，它不仅检测抑郁个体，而且还识别这些用户的推文和相关隐喻概念映射的特征。
2022-09-15 cs.CL cs.SI
Meta4XNLI: A Crosslingual Parallel Corpus for Metaphor Detection and Interpretation
HiTZ Basque Center for Language Technology - Ixa, University of the Basque Country UPV/EHU（巴斯克语言技术中心-ixa，巴斯克国家大学UPV/EHU）
本文提出首个面向隐喻检测与解释的英西平行NLI数据集Meta4XNLI，发现微调编码器在隐喻检测上优于仅解码器LLM，并揭示翻译对隐喻跨语言保留与模型性能的影响。
2025-07-21 cs.AI cs.CL cs.LG
A Transformer-based approach to Irony and Sarcasm detection
National Technical University of Athens（雅典国家技术大学）；Imperial College London（帝国理工学院）
比喻语言（FL）似乎无处不在，在所有的社交媒体论坛和聊天，提出额外的挑战，情感分析的努力。摘要短语篇中的外语图式识别在自然语言处理领域一直是一个悬而未决的问题，主要是由于它们的语义内容相互矛盾和具有隐喻性。其主要表现形式是讽刺、反语和隐喻。在本文中，我们采用先进的深度学习（DL）方法来解决识别上述FL形式的问题。显着扩展我们以前的工作[71]，我们提出了一种神经网络方法，该方法建立在最近提出的基于预训练变换器的网络架构上，该架构通过使用和设计递归卷积神经网络（RCNN）得到进一步增强。通过这种设置，数据预处理保持在最低限度。在四个基准数据集上测试了所设计的混合神经架构的性能，并与其他相关的最先进的方法和系统进行了对比。结果表明，所提出的方法在所有基准数据集下都达到了最先进的性能，甚至远远优于所有其他方法和已发表的研究。
2020-07-07 cs.CL
Words, Spaces and Generative AI: Layers of language in contemporary architecture
本章探讨建筑领域中语言作为设计材料的价值，结合语言学理论，明确生成式AI辅助建筑设计时交织的三类语言形式，并提出将生成式隐喻与生成式AI结合的研究议程。
2026-08-26 cs.CL
Geometry of Compositionality
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一个简单的组合性测试（即，字面用法）的一个词或短语在上下文特定的方式。该测试在计算上很简单，不依赖外部资源，只使用一组经过训练的词向量。实验结果表明，该方法在多种语言的不同数据集上，对各种自然语言现象（习语、讽刺、隐喻）的上下文组合性检测具有很高的准确性。关键的见解是将组合性与词嵌入的一个奇怪的几何性质联系起来，这是一个独立的兴趣。
2016-11-29 cs.CL
Measuring the Meaning of Words in Contexts: An automated analysis of controversies about Monarch butterflies, Frankenfoods, and stem cells
University of Amsterdam（阿姆斯特丹大学）；Royal Netherlands Academy of Arts and Sciences（荷兰皇家艺术与科学学院）
在科学、技术和社会研究中，共词被认为是不同领域的意义载体。然而，词和共词在句子中获得意义，句子在其使用的上下文中获得意义。在科学/社会界面上，可以预期词语具有不同的含义：为词语提供含义的通信代码在界面的不同侧面上是不同的。此外，含义和界面可能会随着时间的推移而改变。考虑到这种跨界面和跨时间的意义结构，我们将隐喻和转喻区分为促进上下文之间翻译的自反机制。我们的经验重点是最近的三个科学争议：帝王蝶，弗兰肯食品和干细胞疗法。本研究探索了将语境中的共词分析研究与意义分析和处理的社会学探索联系起来的新途径。
2009-11-17 cs.CL cs.IR physics.soc-ph
Neural-based Context Representation Learning for Dialog Act Classification
Institute for Natural Language Processing (IMS)（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
我们探讨了上下文表示学习方法在基于神经的模型的对话行为分类。我们提出并广泛比较了不同的方法，结合递归神经网络架构和注意力机制（AM）在不同的上下文水平。我们在两个基准数据集上的实验结果表明，与没有上下文信息的模型相比，我们的实验结果显示出一致的改进，并揭示了架构中最合适的AM取决于数据集的性质。
2017-08-08 cs.CL
Context-Aware Learning for Neural Machine Translation
New York University（纽约大学）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者（注：CIFAR是加拿大高级研究所，非机构；此处按原文保留））
对大上下文神经机器翻译的兴趣，包括文档级和多模态翻译，一直在增长。许多作品提出了新的网络架构或评估方案，但潜在的有用的上下文有时仍然被较大的上下文翻译模型所忽略。在本文中，我们提出了一种新的学习算法，明确鼓励神经翻译模型考虑到额外的上下文使用多级成对排序损失。我们评估所提出的学习算法与基于transformer的大上下文翻译系统的文档级翻译。通过比较使用实际和随机上下文的性能，我们表明，使用该算法训练的模型对额外的上下文更敏感。
2019-03-12 cs.CL
Improving Context-aware Neural Machine Translation with Target-side Context
Tokyo Metropolitan University（东京都立大学）
近年来，一些关于神经机器翻译（NMT）的研究试图通过使用多编码器和两个注意力机制来读取当前和先前的句子，以结合先前句子的上下文，从而使用文档级上下文。这些研究的结论是，目标方的上下文是没有那么有用的比源方的上下文。然而，我们认为目标端上下文不太有用的原因在于用于对这些上下文进行建模的架构。因此，在这项研究中，我们研究如何目标端上下文可以提高上下文感知神经机器翻译。我们提出了一种权重共享方法，其中NMT保存解码器状态，并在翻译当前句子时使用保存的状态计算注意力向量。我们的实验表明，目标端的上下文也是有用的，如果我们插入到NMT作为解码器状态时，翻译前一句话。
2019-09-02 cs.CL
Exploiting Sentential Context for Neural Machine Translation
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了新的方法来利用神经机器翻译（NMT）的原始上下文。具体来说，我们首先表明，仅从顶部编码器层提取的浅源上下文可以通过将单个单词的编码表示上下文化来提高翻译性能。接下来，我们引入了一个深度的上下文，它聚合了来自编码器所有内部层的上下文表示，以形成一个更全面的上下文表示。在WMT 14英语到德语和英语到法语基准测试上的实验结果表明，我们的模型始终优于强Transformer模型（Vaswani等人，2017年），证明了利用NMT的必要性和有效性。
2019-06-04 cs.CL
Using Context Events in Neural Network Models for Event Temporal Status Identification
Texas A&M University（德克萨斯A&M大学）
针对事件时态识别的任务，我们发现依赖树中直接或间接支配目标事件的事件是最重要的上下文。因此，我们提取包含上下文事件的依赖链，并将其用作神经网络模型的输入，该模型始终优于使用本地上下文单词作为输入的先前模型。可视化验证了依赖链表示能够有效地捕捉与目标事件密切相关的上下文事件，并在预测事件时序状态中发挥关键作用。
2017-10-12 cs.CL
Context-Adaptive Document-Level Neural Machine Translation
Zhejiang University（浙江大学）
大多数现有的文档级神经机器翻译（NMT）模型利用固定数量的先前或所有全局源句子来处理标准NMT中的上下文无关问题。然而，每一个源句的翻译都得益于不同大小的语境，不恰当的语境可能会损害翻译效果。在这项工作中，我们引入了一种数据自适应方法，使模型能够采用必要的和有用的上下文。具体来说，我们引入了一个轻预测两个文档级的翻译模型来选择显式的上下文。实验结果表明，该方法可以显着提高性能比以前的方法与增益高达1.99 BLEU点。
2021-10-07 cs.CL
Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了上下文语言模型，将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列，而没有考虑对话的交互作用。我们设计了基于递归神经网络（RNN）的上下文语言模型，专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明，该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
Sharp Nearby, Fuzzy Far Away: How Neural Language Models Use Context
Stanford University（斯坦福大学）
我们对神经语言模型（LM）如何使用先前的语言上下文知之甚少。在本文中，我们通过消融研究来研究上下文在LSTM LM中的作用。具体来说，我们分析了增加的困惑时，先前的上下文单词被洗牌，替换，或下降。在Penn Treebank和WikiText-2两个标准数据集上，我们发现该模型平均能够使用大约200个上下文标记，但可以将附近的上下文（最近的50个标记）与遥远的历史区分开来。该模型对最近句子中的单词顺序高度敏感，但忽略了长范围上下文（超过50个标记）中的单词顺序，这表明遥远的过去仅被建模为粗略的语义场或主题。我们进一步发现，神经缓存模型（Grave等人，2017 b）特别有助于LSTM从这个遥远的上下文中复制单词。总的来说，我们的分析不仅提供了对神经LM如何使用其上下文的更好理解，而且还揭示了基于缓存的模型最近的成功。
2018-05-12 cs.CL
When and Why is Document-level Context Useful in Neural Machine Translation?
RWTH Aachen University（亚琛工业大学）
文档级上下文在孤立句子的神经机器翻译（NMT）中得到了广泛的关注。然而，文档级NMT的最新进展集中在上下文的复杂集成上，仅用少数选定的示例或有针对性的测试集来解释其改进。我们广泛地量化的原因，改进的文档级模型在一般的测试集，澄清的限制文档级上下文在NMT的有用性。我们发现，大多数的改进是不能解释为利用上下文。我们还表明，一个最小的编码是足够的上下文建模和很长的上下文是没有帮助的NMT。
2019-10-01 cs.CL
Neural Machine Translation with Extended Context
University of Helsinki（赫尔辛基大学）
我们研究了扩展上下文在基于注意力的神经机器翻译中的应用。我们的实验基础上翻译的电影字幕，并讨论了增加超过单个翻译单位的片段的效果。我们研究了使用扩展的源语言上下文以及双语上下文扩展。这些模型学习区分来自不同片段的信息，并且在翻译质量方面具有惊人的鲁棒性。在这项初步研究中，我们观察到有趣的跨领域注意模式，提高文本连贯性的翻译至少在某些情况下。
2017-08-20 cs.CL
Context in Neural Machine Translation: A Review of Models and Evaluations
University of Applied Sciences of Western Switzerland (HES–SO)（瑞士西部应用科学大学）；School of Management and Engineering Vaud (HEIG–VD)（沃州管理与工程学院）
本文讨论了过去两年（2017-2018）中上下文如何用于神经机器翻译（NMT）。本文首先简要回顾了NMT模式的快速发展，然后回顾了从不同角度评估NMT输出的研究，重点是那些分析语境现象翻译局限性的研究。在随后的版本中，本文将介绍利用语境提高翻译质量的主要方法，并将旨在改善特定现象翻译的方法与考虑更广泛的非结构化语境的方法区分开来。
2019-01-25 cs.CL
Context Limitations Make Neural Language Models More Human-Like
Tohoku University（东北大学）；Langsmith Inc.（朗史密斯公司）；University of Tokyo（东京大学）；RIKEN（理化学研究所）
语言模型（LM）已被用于认知建模以及工程研究-它们计算信息理论复杂性度量，模拟人类在阅读过程中的认知负荷。这项研究强调了现代神经LM作为这一目的的选择模型的局限性：它们的上下文访问能力与人类之间存在差异。我们的研究结果表明，限制LM的上下文访问提高了他们对人类阅读行为的模拟。我们还表明，LM-人的差距，在上下文访问与特定的句法结构，将句法偏见到LM的上下文访问可能会提高他们的认知能力。
2022-11-01 cs.CL
Context Gates for Neural Machine Translation
Tsinghua University（清华大学）
在神经机器翻译（NMT）中，目标词的生成依赖于源上下文和目标上下文。我们发现源语语境直接影响译文的充分性，而译语语境影响译文的流畅性。直观地说，实词的生成应该更多地依赖于源语境，虚词的生成应该更多地依赖于目标语境。由于传统的翻译方法缺乏对源语语境和目的语语境的有效控制，译文往往不通顺，但也存在不足。为了解决这个问题，我们提出了上下文门，动态控制源和目标上下文有助于生成目标词的比例。通过这种方式，我们可以通过更仔细地控制来自上下文的信息流来提高NMT的充分性和流利性。实验表明，我们的方法显着提高了一个标准的基于注意力的NMT系统+2.3 BLEU点。
2017-03-08 cs.CL
Does Context Help Mitigate Gender Bias in Neural Machine Translation?
Vicomtech Foundation（维康科技基金会）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
该研究检验上下文感知模型能否缓解神经机器翻译的性别偏见，通过英德刻板职业翻译、巴斯克语到西班牙语无信息上下文翻译实验，发现这类模型虽提升阴性术语准确率，却仍可能维持甚至放大偏见，凸显需更细粒度的偏见缓解方案。
2024-06-18 cs.CL
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney（悉尼科技大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Wollongong（伍伦贡大学）
最近的工作将预训练的词嵌入（如BERT嵌入）纳入神经主题模型（NTM），生成高度连贯的主题。然而，有了高质量的上下文文档表示，我们真的需要复杂的神经模型来获得连贯和可解释的主题吗？在本文中，我们进行了深入的实验表明，直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM，也实现了更高的效率和简单性。
2022-04-21 cs.CL
Exploiting Cross-Sentence Context for Neural Machine Translation
Dublin City University（都柏林城市大学）；Tencent AI Lab（腾讯AI实验室）
在翻译过程中，将文件作为一个整体来考虑有助于解决歧义和不一致的问题。本文提出了一种跨句子上下文感知方法，并研究了历史上下文信息对神经机器翻译（NMT）性能的影响。首先，这段历史是以一种分层的方式总结的。然后，我们以两种策略将历史表示集成到NMT中：1）编码器和解码器状态的热启动，以及2）用于更新解码器状态的辅助上下文源。在一个大型的汉英翻译任务上的实验结果表明，我们的方法显着提高了一个强大的基于注意力的NMT系统高达+2.1 BLEU点。
2017-07-23 cs.CL
Focused Concatenation for Context-Aware Neural Machine Translation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（NAVER欧洲实验室）
上下文感知神经机器翻译的一个简单的方法包括在饲料的标准编码器-解码器架构的连续句子的窗口，由当前的句子和一些句子从它的上下文连接到it. In这项工作中，我们提出了一个改进的连接方法，鼓励模型专注于翻译的当前句子，贴现目标上下文产生的损失。我们还提出了一个额外的改进，加强句子边界和相对句子距离的概念，促进模型符合上下文折扣的目标。我们评估我们的方法与平均翻译质量指标和对比测试集的翻译间的话语现象，证明其优越性香草拼接方法和其他复杂的上下文感知系统。
2022-10-24 cs.CL
Evaluation of taxonomic and neural embedding methods for calculating semantic similarity
Shandong Jianzhu University（山东建筑大学）
语义相似度建模在词汇语义应用中起着基础性作用。计算语义相似度的一种自然方法是访问手工制作的语义网络，但相似度预测也可以在分布式向量空间中进行。相似度计算仍然是一项具有挑战性的任务，即使在深度神经语言模型方面取得了最新突破。我们首先研究了流行的方法在测量分类相似性，包括边计数，只采用语义关系的分类，以及复杂的方法，估计概念的特异性。我们进一步外推三个加权因子在建模分类相似性。为了研究分类相似性度量和分布相似性度量之间的不同机制，我们从词频、多义度和相似性强度的角度将每种度量与人类相似性判断进行了头对头比较。我们的研究结果表明，分类相似性度量方法可以在不对均匀距离进行微调的情况下，以最短路径长度作为预测语义相似性的主要因素;与分布语义学相比，边计数方法在使用中不受意义分布的影响，可以同时从字面和隐喻两个方面来度量词的相似性;在相似性预测中利用概念关系来改进神经嵌入的协同作用可以指示在迁移学习上利用知识库的新趋势。不同的词频、多义度和相似度范围在计算语义相似度方面还存在很大的差距。
2022-09-30 cs.AI cs.CL
Neural Contextual Conversation Learning with Labeled Question-Answering Pairs
RSVP Technologies Inc.（RSVP科技有限公司）；University of Waterloo（滑铁卢大学）
神经会话模型倾向于在不同的上下文中产生通用或安全的响应，例如，回答\textit{"Of course"}的叙述性陈述或回答\textit{"I don't know"}的问题。在本文中，我们提出了一种端到端的方法来避免神经生成模型中的此类问题。标准的序列到序列（seq 2seq）模型中引入了额外的记忆机制，以便在生成句子时可以考虑上下文。三个seq 2seq模型，分别从隐藏输入，隐藏输入/输出和门控上下文注意结构中记忆一个固定大小的上下文向量，已经在汉语标记问答对数据集上进行了训练和测试。在困惑测试中，具有情境注意的模型优于其他模型，包括最先进的seq 2seq模型。新颖的语境模型产生了多样化和强大的反应，并能够适当地进行广泛的话题对话。
2016-07-20 cs.AI cs.CL
SMDT: Selective Memory-Augmented Neural Document Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
现有的文档级神经机器翻译（NMT）模型已经充分探索了不同的上下文设置，为目标生成提供指导。然而，很少有人注意到开辟更多样化的语境丰富的语境信息。在本文中，我们提出了一个选择性记忆增强神经文档翻译模型来处理包含大的上下文假设空间的文档。具体来说，我们从训练语料库中检索相似的双语句子对来增强全局上下文，然后扩展具有选择机制的双流注意力模型来捕获局部上下文和多样化的全局上下文。这种统一的方法允许我们的模型在三个公开的文档级机器翻译数据集上进行优雅的训练，并且显著优于以前的文档级NMT模型。
2022-01-05 cs.AI cs.CL
Context Models for OOV Word Translation in Low-Resource Languages
University of Washington（华盛顿大学）
词汇表外的单词翻译是低资源语言翻译的一个主要问题，这些语言缺乏并行训练数据。本文评估的贡献，目标语言的上下文模型对翻译的OOV字，特别是在那些情况下，OOV翻译是来自外部的知识来源，如字典。我们开发了神经和非神经上下文模型，并在基于短语和基于自我注意的神经机器翻译系统中对其进行评估。我们的研究结果表明，神经语言模型，整合额外的上下文超出了当前的句子是最有效的消除歧义可能的OOV词翻译。我们提出了一个有效的第二遍格重评分方法的宽上下文神经语言模型，并证明了性能的改善，在五出六个低资源的语言对国家的最先进的自我注意神经MT系统。
2018-01-26 cs.CL stat.ML
A Hierarchical Approach to Neural Context-Aware Modeling
Institute for Anthropomatics and Robotics（人类学与机器人研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们提出了一种新的递归神经网络拓扑结构，通过结合更广泛的背景来增强最先进的机器学习系统。我们的方法克服了最近的限制，通过多层计算方法来生成一个抽象的上下文表示扩展的叙述。因此，所开发的系统捕获的叙事词的水平，话语水平，和上下文水平。通过分层设置，我们提出的模型总结了每个级别上最显着的信息，并创建一个抽象的表示扩展的上下文。随后，我们使用这种表示来增强神经语言处理系统的语义错误检测的任务。为了展示新引入的拓扑结构的潜力，我们将该方法与包括标准神经语言模型和监督二进制分类网络的上下文无关设置进行比较。错误检测任务的性能指标显示了分层上下文感知拓扑的优势，无监督模型的基线相对提高了12.75%，有监督模型的基线相对提高了20.37%。
2018-08-06 cs.CL cs.LG stat.ML
Does Neural Machine Translation Benefit from Larger Context?
New York University（纽约大学）
我们提出了一种神经机器翻译架构，除了源句子之外，还可以对周围的文本进行建模。这些模型在小语料库上训练时，在一般翻译质量和代词预测方面都有更好的性能，尽管在使用较大语料库训练时，这种改进基本上消失了。我们还发现，基于注意力的神经机器翻译非常适合代词预测，并且与专门为此任务设计的其他方法相比毫不逊色。
2017-04-17 cs.CL cs.LG stat.ML
