New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia（西波希米亚大学）；NTIS—New Technologies for the Information Society（NTIS—新信息技术学会）
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了，但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为，捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务，检查语法，形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验，并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
Learning to Describe Phrases with Local and Global Contexts
The University of Tokyo（东京大学）；Carnegie Mellon University（卡内基梅隆大学）；Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）；National Institute of Informatics（国立信息学研究所）
阅读文本时，经常会遇到不熟悉的单词和短语，例如具有新颖意义的多义词，很少使用的成语，网络俚语或新兴实体。如果我们人类无法从当地的语境中理解这些表达的含义，我们会查阅字典以获得定义，或者搜索文档或网络以找到其他全球语境来帮助解释。机器能帮助我们完成这项工作吗？哪种类型的上下文对机器解决问题更重要？为了回答这些问题，我们承担了一个任务，描述一个给定的短语在自然语言的基础上，其本地和全球的背景。为了解决这个问题，我们提出了一个神经描述模型，由两个上下文编码器和一个描述解码器。与现有的非标准英语解释[Ni+ 2017]和定义生成[Noraset+ 2017; Gadetsky+ 2018]方法相比，我们的模型适当地从本地和全球背景中获取重要线索。在三个现有数据集（包括WordNet、Oxford和Urban Dictionaries）和一个从Wikipedia新创建的数据集上的实验结果证明了该方法的有效性。
2019-04-10 cs.CL
Corpus analysis without prior linguistic knowledge - unsupervised mining of phrases and subphrase structure
Ludwig Maximilians University（路德维希-马克西米利安大学）
在研究自然语言的结构时，“短语”和“词”是中心概念。我们认为，在一个完全基于语料库和语言独立的方式，而不使用任何形式的先前的语言知识，任何长度和潜在的组成原则的语言的“有意义的子部分”的识别问题。描述了用于识别“短语”、挖掘子短语结构和以全自动方式查找单词的无监督方法。这可以被认为是自动计算“语料库的通用词典和语法”的一个步骤。我们希望，从长远来看，我们的方法的变体也适用于其他类型的序列数据，例如，语音、基因组序列或音乐注释。即使我们不是主要感兴趣的即时应用程序，各种语言的结果表明，我们的方法是有趣的文本挖掘，术语提取和词典编纂，搜索引擎技术，以及相关领域的许多实际任务。
2016-02-18 cs.CL
Neural Based Statement Classification for Biased Language
L3S Research Center（L3S研究中心）；Leibniz University of Hannover（莱布尼茨汉诺威大学）
有偏见的语言通常发生在具有争议性的话题周围，从而在讨论的不同参与方之间引发分歧。这是因为语言及其使用，特别是短语的理解和使用，在特定群体中的立场是有凝聚力的。然而，这种凝聚力并不存在于群体之间。在协作环境或需要公正语言的环境中（例如维基百科，新闻媒体），声明和其中的语言应该平等地代表相关各方，并且措辞中立。有偏见的语言是通过煽动性的词语或短语，或可能不正确或片面的陈述，从而违反这种共识。在这项工作中，我们专注于措辞偏见的具体情况下，这可能是通过特定的煽动性词语或短语在声明中介绍。为此，我们提出了一种依赖于递归神经网络的方法，以捕获引入偏见的短语中单词之间的相互依赖关系。我们进行了全面的实验评估，在那里我们显示了基于神经的方法在检测有偏见的语言方面优于依赖单词词典和其他手工制作的功能的竞争对手。我们能够以P=0.92的精度区分有偏见的陈述，从而显著优于基线模型，提高了30%以上。最后，我们发布了最大的带有偏见语言注释的声明语料库。
2018-11-14 cs.CL
"Did you really mean what you said?" : Sarcasm Detection in Hindi-English Code-Mixed Data using Bilingual Word Embeddings
Netaji Subhas University of Technology（内塔吉·苏巴斯理工大学）
随着世界各地的人们越来越多地使用社交媒体平台，许多新的有趣的NLP问题已经存在。其中之一是检测社交媒体文本中的讽刺。我们提出了一个语料库的tweets训练自定义词嵌入和标记为讽刺检测的Hinglish数据集。我们提出了一种基于深度学习的方法来解决印地语-英语代码混合推文中的讽刺检测问题，使用来自FastText和Word 2 Vec方法的双语词嵌入。我们试验了各种深度学习模型，包括CNN、LSTM、双向LSTM（有注意力和无注意力）。我们的深度学习模型能够超越所有最先进的性能，其中基于注意力的双向LSTM提供了最佳性能，准确率为78.49%。
2020-10-15 cs.CL
Yseop at FinSim-3 Shared Task 2021: Specializing Financial Domain Learning with Phrase Representations
Yseop
在本文中，我们提出了我们的方法FinSim-3共享任务2021：学习金融领域的语义相似性。这个共享任务的目的是将来自金融领域的给定术语列表正确分类为外部本体中最相关的上位词（或顶级）概念。对于我们的系统提交，我们评估了两种方法：在自定义语料库上预训练的句子-RoBERTa（SRoBERTa）嵌入模型，以及基于第一种方法的双单词-句子嵌入模型，该模型通过使用FastText模型改进所提出的基线词嵌入构造来提高分类性能。我们的系统在这两个指标上都排名第二，平均准确率为0.917，平均排名为1.141。
2021-08-21 cs.CL
The Effect of Negators, Modals, and Degree Adverbs on Sentiment Composition
National Research Council Canada（加拿大国家研究委员会）
否定词、情态动词和程度副词可以显著影响它们所修饰的词的情感。通常，它们的影响是用简单的语义学来建模的;尽管最近的研究表明，这种语义学并不能捕捉到多词短语的真实情感。我们创建了一个短语数据集，其中包括各种修饰语，情态动词和程度副词，以及它们的组合。短语和它们的组成内容词都用情感关联的实值分数进行了注释。使用创建的数据集中的短语术语，我们分析了单个修饰符的影响以及修饰符组对整体情绪的平均影响。我们发现，修饰语的效果在同一组的成员之间差异很大。此外，每个修饰语都可以以不同的方式影响情感词。因此，在自动情感预测任务上，基于统计学习的解决方案似乎比固定的手工规则更有前途。
2017-12-05 cs.CL
Statistical Models for Unsupervised Prepositional Phrase Attachment
我们提出了几个无监督的统计模型的介词短语附件的任务，接近最好的监督方法，这项任务的准确性。我们的无监督方法使用基于附件接近度的启发式算法，并从仅用词性标签和形态基本形式注释的原始文本中训练，而不是附件信息。因此，它是较少的资源密集型和更便携的比以前的基于语料库的算法提出了这项任务。我们目前的结果介词短语附件在英语和西班牙语。
1998-07-22 cmp-lg cs.CL
Phrase database Approach to structural and semantic disambiguation in English-Korean Machine Translation
Kim Il Sung University（金日成综合大学）
在机器翻译中，机器可读词典和标准的句法分析规则不足以保证英语短语到韩语的句法分析和翻译的准确性是一种普遍现象，这表现在由于结构和语义歧义而导致的误导性翻译结果。本文旨在通过将双语短语库应用于英朝机器翻译（EKMT）中，解决英语中常用短语因习语性和非语法性而产生的结构和语义歧义。本文首先从英语短语的定义出发，阐明了EKMT中的短语单元是什么，然后阐明了什么样的语言单元可以作为EKMT短语库的对象，最后通过举例说明短语库的格式，提出了一种建立短语库的方法，最后简要讨论了将该双语短语库应用于EKMT中进行结构和语义消歧的方法。
2015-03-19 cs.CL
Annotated Guidelines and Building Reference Corpus for Myanmar-English Word Alignment
University of Computer Studies, Mandalay（曼德勒计算机大学）；AI Research Lab（人工智能研究实验室）
词对齐参考语料库是开发和评估词对齐方法的重要资源。对于缅甸语-英语语言对，没有参考语料库来评估词对齐任务。因此，我们创建了基于对比学习的两种语言之间的缅甸-英语词对齐注释指南，并建立了由亚洲语言树库（ALT）的缅甸ALT验证对齐组成的缅甸-英语参考语料库。该参考语料库包含用于单词对齐的确信标签sure（S）和possible（P），其用于测试单词对齐任务的评估目的。我们讨论了最链接的歧义，以定义一致和系统的指示，以对齐手动的话。我们使用我们的参考语料库的对齐出错率（AER）在词对齐任务的注释协议的结果进行了评估，并讨论了BLEU分数方面的词的关系。
2019-09-25 cs.AI cs.CL cs.IR
Scalable Topical Phrase Mining from Text Corpora
The University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Army Research Laboratory（陆军研究实验室）
虽然大多数主题建模算法使用单字对文本语料库进行建模，但人类的解释通常依赖于将术语固有地分组为短语。因此，我们考虑发现混合长度的主题短语的问题。现有的工作要么执行后处理的推理结果的unigram为基础的主题模型，或利用复杂的n-gram发现主题模型。这些方法通常产生低质量的主题短语，或者即使在中等大小的数据集上也具有较差的可扩展性。我们提出了一种不同的方法，计算效率和有效的。我们的解决方案结合了一种新的短语挖掘框架，将文档分割成单个和多个单词的短语，以及一个新的主题模型，该模型对诱导的文档分区进行操作。我们的方法发现了高质量的主题短语，在各种数据集中，包括研究出版物的标题，摘要，评论和新闻文章的词袋主题模型的额外成本可以忽略不计。
2014-11-19 cs.CL cs.IR cs.LG
A Diverse Corpus for Evaluating and Developing English Math Word Problem Solvers
Academia Sinica（中央研究院）
我们提出了ASDiv（Academia Sinica Diverse MWP Dataset），一个多样化的（在语言模式和问题类型方面）英语数学应用题（MWP）语料库，用于评估各种MWP求解器的能力。现有的MWP语料库研究人工智能的进展仍然有限，无论是在语言使用模式或问题类型。因此，我们提出了一个新的英语MWP语料库2,305 MWPs，涵盖更多的文本模式和大多数问题类型教小学。每个MWP都标注了其问题类型和等级（用于指示难度级别）。此外，我们提出了一个度量标准来衡量一个给定的MWP语料库的词汇使用的多样性，并证明ASDiv比现有的语料库更多样化。实验表明，我们提出的语料库更忠实地反映了MWP求解器的真实能力。
2021-06-30 cs.AI cs.CL
Conducting sparse feature selection on arbitrarily long phrases in text corpora with a focus on interpretability
我们提出了一个通用的框架，为特定主题的大型文本语料库的摘要，并说明它如何可以用于分析在两个完全不同的情况下：OSHA数据库的死亡和灾难报告（以促进监督模式的情况下，导致受伤或死亡）和工人的赔偿要求的法律决定（探索相关的案例法）。我们的摘要框架建立在稀疏分类方法的基础上，是目前广泛使用的基于简单词频的方法与更重量级的模型密集型方法（如潜在狄利克雷分配（LDA））之间的折衷。对于感兴趣的特定主题（例如，心理健康残疾或化学反应），我们将文档的标记回归到文档中所有其他单词和短语的高维计数上。然后，将所得到的一小组被发现具有预测性的短语作为摘要收集。使用分支定界方法，可以扩展该方法以允许任意长度的短语，从而实现潜在的丰富摘要。我们讨论了如何专注于摘要的目的可以告知正则化参数和模型约束的选择。我们通过比较计算时间和汇总统计结果的单词列表在文献中的其他三种方法来评估这个工具。我们还提出了一个新的R包，textreg。总的来说，我们认为稀疏方法有很多提供文本分析，是一个分支的研究，应进一步考虑在这种情况下。
2016-07-23 cs.CL cs.IR stat.AP
An Unsupervised Semantic Sentence Ranking Scheme for Text Documents
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
本文提出了语义句子排名（SSR），一个无监督的计划自动排名句子在一个单一的文件，根据其相对重要性。特别地，SSR从文本文档中提取关键词和短语，并使用语义度量来分别构建短语和词的语义短语图和句子的语义句子图。它应用了两种偏向文章结构的PageRank变体，对第一个图上的短语和单词以及第二个图上的句子进行评分。然后，它将这些分数结合起来，生成每个句子的最终分数。最后，SSR解决了一个多目标优化问题，排名句子的基础上，他们的最终得分和主题的多样性，通过语义子主题聚类。在二次时间内运行的SSR的实现，它优于，在SummBank基准，每个单独的法官的排名，并与所有法官的综合排名相比。
2020-04-28 cs.CL cs.IR cs.LG
Phrase Pair Mappings for Hindi-English Statistical Machine Translation
Indian Institute of Technology (IIT) Bombay（印度理工学院孟买分校）
在本文中，我们提出了我们的工作，创造词汇资源的机器翻译之间的英语和印地语。我们描述了短语对映射的发展，我们的实验和不同的训练模型之间的比较性能评估的基础上的统计机器翻译系统。我们致力于通过探索不同的方法来增加平行语料库中的词汇量以及各种屈折形式。我们使用各种词汇资源（例如词汇词、同义词、虚词和动词短语）扩展了训练语料库。我们已经描述了案例研究，自动和主观评价，详细的错误分析的英语到印地语和印地语到英语的机器翻译系统。进一步分析表明，随着各种词汇资源的使用，机器翻译的质量也在不断提高。因此，词汇资源确实有助于提高资源贫乏语言的翻译质量。
2017-11-10 cs.CL
Towards a Heuristic Categorization of Prepositional Phrases in English with WordNet
本文讨论了PPs自动分类的方法及其基本实现;该主题在NLP中没有像NP和VP那样受到关注。该方法是一个基于规则的算法概述了我们的研究的几个层次。有7个语义类别的PP考虑在本文件中，我们能够从一个注释的语料库进行分类。
2010-02-04 cs.CL
Phrase translation using a bilingual dictionary and n-gram data: A case study from Vietnamese to English
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
过去使用基于词典的方法将L1语言中的短语翻译成L2语言的方法需要语法规则来重构初始翻译。本文介绍了一种新的方法，不使用任何语法规则，翻译一个给定的短语在母语中，这是不存在的字典，到二语。我们需要至少一个L1-L2双语词典和L2中的n-gram数据。我们翻译的平均人工评估分数为4.29/5.00，这意味着非常高的质量。
2022-08-05 cs.CL
Design and Implementation of English To Yorùbá Verb Phrase Machine Translation System
Obafemi Awolowo University（奥巴费米·阿沃洛沃大学）
本文设计并实现了一个英语到约鲁巴语的动词短语机器翻译系统，结合词典匹配、上下文无关文法和有限状态自动机，在人工评估中超过70%的响应优于谷歌翻译。
2023-08-05 cs.CL
Noun Phrase Reference in Japanese-to-English Machine Translation
本文论述了在机器翻译中区分名词短语指称用法的必要性。我们认为，区分名词短语的通用，指称和归属的使用是最低限度的必要生成文章和数字正确时，从日语翻译成英语。启发式确定这些差异提出了一个日本到英语的机器翻译系统。最后，结果表明，使用所提出的语法的正确使用的文章和数量的日语到英语的机器翻译系统ALT-J/E中产生的名词短语的百分比从65%提高到77%。
1996-01-23 cmp-lg cs.CL
NPtool, a detector of English noun phrases
NPtool是一个快速准确的系统，用于从英语文本中提取名词短语，用于信息检索，翻译单元发现和语料库研究。在一般性介绍后，系统架构的轮廓。然后是一个最近写的约束测试。评估报告结束了文件。
1995-02-13 cmp-lg cs.CL
"The Sum of Its Parts": Joint Learning of Word and Phrase Representations with Autoencoders
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；Facebook AI Research（Facebook人工智能研究院）
最近，人们在连续向量空间中表示单词方面做了很多努力。这些表征已被证明可以捕获有关单词的语义和句法信息。然而，短语的分布式表示仍然是一个挑战。我们介绍了一种新的模型，共同学习词向量表示及其总和。使用词共现统计信息来学习词表示。为了将具有不同大小的单词（即短语）序列嵌入到一个共同的语义空间中，我们建议对单词向量表示进行平均。与以前的方法，报告了后验的一些组成方面的简单的求和，我们同时训练字求和，同时保持最大的信息从原始向量。我们评估质量的词表示几个经典的词评价任务，我们引入了一个新的任务来评估质量的短语表示。虽然我们的分布式表示与其他方法的学习单词表示字评价竞争，我们表明，他们提供更好的性能的短语评价。这样的短语表示对于自然语言处理中的许多任务可能是有趣的。
2015-06-18 cs.CL
QCRI Machine Translation Systems for IWSLT 16
Qatar Computing Research Institute – HBKU（卡塔尔计算研究所 – 哈马德·本·哈利法大学）
本文介绍了QCRI的机器翻译系统的IWITH 2016评估活动。我们参加了阿拉伯语->英语和英语->阿拉伯语轨道。我们建立了基于短语和神经机器翻译模型，以探讨新出现的NMT框架是否优于传统的基于短语的系统在阿拉伯语-英语语言对。我们训练了一个非常强大的基于短语的系统，包括一个大的语言模型，操作序列模型，神经网络联合模型和基于类的模型，以及不同的领域自适应技术，如MML过滤，混合建模和使用微调NNJM模型。然而，通过微调堆叠来自不同流派的数据并应用8个模型的集成来训练的神经MT系统，在阿拉伯语->英语方向上以显着的2 BLEU点优势击败了我们非常强大的基于短语的系统。我们在另一个方向上没有获得类似的收益，但仍然能够胜过基于短语的系统。我们还将系统组合应用于基于短语的输出和NMT输出。
2017-01-14 cs.CL
PAEG: Phrase-level Adversarial Example Generation for Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）；Beihang University（北京航空航天大学）
虽然端到端神经机器翻译（NMT）已经取得了令人印象深刻的进展，但噪声输入通常会导致模型变得脆弱和不稳定。生成对抗性示例作为增强数据已被证明有助于缓解这个问题。现有的对抗性示例生成方法都是基于词或字符的，忽略了普遍存在的短语结构。在本文中，我们提出了一个短语级对抗性示例生成（PAEG）框架，以提高翻译模型的鲁棒性。我们的方法通过采用短语级替换策略进一步改进了基于梯度的词级AEG方法。我们验证了我们的方法在三个基准，包括LDC中文-英文，IWSLT 14德语-英语，和WMT 14英语-德语的任务。实验结果表明，我们的方法显着提高翻译性能和鲁棒性噪声相比，以前的强基线。
2022-10-24 cs.CL
NLML--a Markup Language to Describe the Unlimited English Grammar
在本文中，我们提出了NLML（自然语言置标语言），一个置标语言来描述任何语法正确的英语表达的句法和语义结构。首先分析了相关工作，论证了NLML的必要性：形式简单，易于管理，直接存储。然后从句子（不同复杂度、语态、语气、时态）、从句（关系从句和名词从句）和短语（名词短语、动词短语、介词短语、形容词短语、副词短语和谓语短语）三个层次详细介绍了NLML对英语语法的描述。最后以两个典型的例子：NLOJM（Java中的自然语言对象模型）和NLDB（自然语言数据库）说明了NLML在自然语言处理中的应用领域。
2004-04-07 cs.AI cs.CL
Neural Machine Translation Leveraging Phrase-based Models in a Hybrid Search
eBay Inc.（eBay公司）
在本文中，我们介绍了一种混合搜索的注意力为基础的神经机器翻译（NMT）。当NMT模型的注意力集中在由该短语翻译的源词上时，利用统计MT模型学习的目标短语扩展了NMT束搜索中的假设。以这种方式添加的短语使用NMT模型进行评分，但也使用SMT特征，包括短语级翻译概率和目标语言模型。对德语->英语新闻领域和英语->俄语电子商务领域翻译任务的实验结果表明，与强大的NMT基线相比，在NMT搜索中使用基于短语的模型将MT质量提高了2.3% BLEU绝对值。
2017-08-10 cs.CL
Exploring phrase-compositionality in skip-gram models
在本文中，我们介绍了一个变化的跳跃语法模型，共同学习分布式词向量表示和他们的方式组成，以形成短语嵌入。特别是，我们提出了一个学习过程，采用了一个短语组合功能，可以捕捉我们想要如何组成短语向量，从他们的组成词向量。我们的实验表明，改进的单词和短语的相似性任务，以及句法任务，如依存句法分析使用建议的联合模型。
2016-07-21 cs.CL
Neural Machine Translation with External Phrase Memory
The University of Hong Kong（香港大学）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
在本文中，我们提出了phraseNet，一个神经机器翻译与短语记忆存储短语对符号形式，从语料库中挖掘或由人类专家指定。对于任何给定的源句子，phraseNet扫描短语存储器以确定候选短语对，并相应地将标记信息集成到源句子的表示中。该解码器采用词生成组件和短语生成组件的混合，并采用专门设计的策略一次生成多个词的序列。PhraseNet不仅向将外部知识融入神经机器翻译迈出了一步，而且还努力扩展了递归神经网络的逐词生成机制。我们对汉英翻译的实证研究表明，在记忆中仔细选择短语表，phraseNet比通用神经机器翻译器产生3.45 BLEU的改进。
2016-06-06 cs.CL
Phrase-Based Attentions
Nanyang Technological University（南洋理工大学）
大多数最先进的神经机器翻译系统，尽管在架构框架（例如递归，卷积）方面有所不同，但都有一个不可或缺的功能：注意力。然而，大多数现有的注意力方法是基于标记的，忽略了短语对齐的重要性，这是基于短语的统计机器翻译成功的关键因素。在本文中，我们提出了新的基于短语的注意力方法来建模的n元语法的令牌作为注意实体。我们将我们基于短语的注意力纳入最近提出的Transformer网络中，并证明我们的方法使用WMT'16训练数据在WMT newest2014上产生了1.3 BLEU的英语到德语和0.5 BLEU的德语到英语翻译任务的改进。
2018-09-30 cs.CL
Predicting the Argumenthood of English Prepositional Phrases
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research AI（微软研究院AI）
动词的论元与非论元的区分是一个由来已久的问题。在自然语言处理中，论证信息在诸如语义角色标注（SRL）和介词短语（PP）附加消歧等任务中是重要的。在理论语言学中，存在许多用于论证的诊断测试，但它们经常产生相互矛盾的和潜在的梯度结果。这对于句法上倾斜的项目（如PP）来说尤其如此。我们提出了两个PP论证预测任务，从这两个动机分支：（1）VerbNet中PP的二元论元-附属分类，以及（2）使用人类判断作为金标准的梯度论证预测，并报告使用预训练的词嵌入和其他语言信息特征的预测模型的结果。我们在每个任务上的最佳结果是（1）$acc.=0.955$、$F_1=0.954$（ELMo+BiLSTM）和（2）Pearson的$r=0.624$（word 2 vec +MLP）。此外，我们证明了论证预测的效用，通过SRL的性能增益时，句子编码器与我们的任务进行预训练，以提高句子表示。
2019-04-14 cs.CL
A Recipe for Arabic-English Neural Machine Translation
National Center for AI and Big Data Technology（国家人工智能与大数据技术中心）；King Abdulaziz City for Science and Technology (KACST)（阿卜杜勒阿齐兹国王科技城（KACST））
在本文中，我们提出了一种构建良好的阿拉伯语-英语神经机器翻译的方法。我们比较神经系统与传统的基于短语的系统使用各种并行语料库，包括联合国，ISI和乌玛。我们还研究了阿拉伯语脚本的特殊预处理的重要性。所呈现的结果基于NIST MT 2005和2012的测试集。在NIST MT 12测试集中，最好的神经系统与等效的基于简单短语的系统相比产生+13 BLEU点的增益。出乎意料的是，我们发现使用像Ummah这样的小型高质量语料库对整个数据进行训练的模型进行调整，可以得到实质性的改进（+3 BLEU点）。我们还发现，用一个小的阿拉伯语-英语语料库训练神经系统与传统的基于短语的系统相比具有竞争力。
2018-08-18 cs.CL
Learning Semantic Representations for the Phrase Translation Model
Microsoft Research（微软研究院）
本文提出了一种新的基于语义的短语翻译模型。将一对源短语和目标短语投影到低维潜在语义空间中的连续值向量表示中，在该低维潜在语义空间中，通过该对短语之间的距离来计算它们的翻译得分。投影是由一个多层神经网络，其权重是学习并行训练数据。该学习旨在直接优化端到端机器翻译结果的质量。实验评估已进行两个Europarl翻译任务，英语-法语和德语-英语。实验结果表明，新的基于语义的短语翻译模型显著提高了基于短语的统计机器翻译系统的性能，获得了0.7-1.0的BLEU积分。
2013-11-28 cs.CL
Translating Phrases in Neural Machine Translation
Soochow University（苏州大学）；Tencent AI Lab（腾讯人工智能实验室）
短语在自然语言理解和机器翻译中发挥着重要作用（Sag等人，2002; Villavicencio等人，2005年）。然而，很难将它们集成到当前逐词阅读和生成句子的神经机器翻译（NMT）中。在这项工作中，我们提出了一种方法来翻译NMT中的短语，通过将存储目标短语的短语存储器从基于短语的统计机器翻译（SMT）系统集成到NMT的编码器-解码器架构中。在每个解码步骤中，短语存储器首先由SMT模型重写，SMT模型利用NMT模型提供的上下文信息动态地生成相关目标短语。然后，所提出的模型读取短语记忆中的所有短语的概率估计。如果进行短语生成，则NMT解码器从存储器中选择适当的短语以执行短语翻译，并通过消耗所选短语中的单词来更新其解码状态。否则，NMT解码器如一般NMT解码器那样从词汇表生成单词。实验结果表明，该模型在不同的测试集上都取得了显著的提高。
2017-08-07 cs.CL
Towards Recognizing Phrase Translation Processes: Experiments on English-French
LIMSI-CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；Univ. Paris-Sud（巴黎第十一大学）；Univ. Paris-Saclay（巴黎萨克雷大学）
在翻译短语（词或词组）时，译者在进行直译的同时，有意识或无意识地采用了习语对等、泛化、特殊化、语义调整等不同的翻译方法。提出了几种类型学来描述不同的翻译过程。然而，据我们所知，还没有努力自动分类这些细粒度的翻译过程。最近，TED演讲的英法平行语料库已经手动注释了翻译过程类别，以及既定的注释指南。基于这些注释的例子，我们提出了一个自动分类的翻译过程在substantial水平。实验结果表明，我们可以区分非直译和直译的准确率为87.09%，和55.20%的分类在五个非直译过程。这项工作表明，它是可以自动分类的翻译过程。即使有少量的注释的例子，我们的实验表明，我们可以在未来的工作中遵循的方向。我们的长期目标之一是利用这种自动分类，以更好地控制从双语平行语料库的释义提取。
2019-04-27 cs.CL
ClaC: Semantic Relatedness of Words and Phrases
Concordia University（康考迪亚大学）
短语语义相关度的度量是自然语言处理应用中的一个重要度量。在本文中，我们提出了三种方法来衡量短语语义，一个基于语义网络模型，另一个分布相似性模型，以及两者之间的混合。我们的混合方法实现了77.4%的F-措施的任务，评估单词和组成短语的语义相似性。
2017-08-19 cs.CL
Human Associations Help to Detect Conventionalized Multiword Expressions
Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）
在本文中，我们表明，如果我们想获得一些短语的约定化的人类证据，我们应该问母语的协会，他们有一个给定的短语和它的组成词。我们已经证明，如果一个短语的组成词之间有频繁的关联，那么这个短语可以被认为是规约化的。另一种类型的常规短语可以使用两个因素来揭示：短语关联的低熵和组成词和短语关联的低交集。关联实验是针对俄语进行的。
2017-09-12 cs.CL
Beyond Word-based Language Model in Statistical Machine Translation
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Microsoft Research Asia（微软亚洲研究院）
语言模型是统计机器翻译中最重要的模块之一，目前基于词的语言模型占据主导地位。然而，许多翻译模型（例如，基于短语的模型）通过渲染和合成短语而不是单词来生成目标语言句子。因此，对短语之间的依赖关系进行建模更为合理，但很少有研究成功地解决了这个问题。本文通过设计一种新的基于短语的语言模型来解决这一问题，该模型试图解决三个关键子问题：1，如何在语言模型中定义短语; 2，如何在大规模单语数据中确定短语边界以扩大训练集; 3，如何缓解由于短语词汇量巨大而导致的数据稀疏问题。通过仔细处理这些问题，大量的汉英翻译实验表明，我们的基于短语的语言模型可以显着提高翻译质量高达+1.47绝对BLEU得分。
2015-02-05 cs.CL
Phrase-Based & Neural Unsupervised Machine Translation
Facebook AI Research（脸书人工智能研究院）；Sorbonne Universités（索邦大学）；Université Le Mans（勒芒大学）
机器翻译系统在某些语言上实现了接近人类水平的性能，但它们的有效性强烈依赖于大量并行句子的可用性，这阻碍了它们对大多数语言对的适用性。这项工作研究了在只能访问每种语言的大型单语语料库时如何学习翻译。我们提出了两种模型变体，神经和基于短语的模型。这两个版本都利用了参数的仔细初始化、语言模型的去噪效果以及通过迭代反向翻译自动生成并行数据。这些模型明显优于文献中的方法，同时更简单，超参数更少。在广泛使用的WMT'14英-法和WMT'16德-英基准测试中，我们的模型在不使用单个平行句子的情况下分别获得了28.1和25.2个BLEU点，比现有技术高出11个BLEU点。在英语-乌尔都语和英语-罗马尼亚语等低资源语言上，我们的方法比半监督和监督方法利用可用双文本的缺乏取得了更好的结果。我们的NMT和PBSMT代码是公开的。
2018-08-13 cs.CL
Sentiment Composition of Words with Opposing Polarities
National Research Council Canada（加拿大国家研究委员会）
在本文中，我们探讨了至少有一个积极的和至少有一个消极的词的短语的情感成分-像“快乐的意外”和“最好的寒假”的短语。我们编制了一个这样的相反极性短语的数据集，并手动注释它们与情感关联的实值分数。使用这个数据集，我们分析了存在于相反极性短语中的语言模式。最后，我们应用了几种无监督和有监督的情感合成技术来确定它们在该数据集上的有效性。我们最好的系统，它结合了从短语的成分，他们的词性，他们的情感关联分数，和他们的嵌入向量的信息，获得了超过80%的准确性对相反的极性短语。
2018-05-11 cs.CL
Euphemistic Phrase Detection by Masked Language Model
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
众所周知，边缘团体和组织使用委婉语（听起来普通、看起来无辜、具有秘密含义的词语）来隐藏他们正在讨论的内容。例如，毒品贩子经常用“锅”来表示大麻，用“鳄梨”来表示海洛因。从社交媒体内容审核的角度来看，尽管NLP的最新进展已经能够自动检测这种单字委婉语，但现有的工作还不能自动检测多词委婉语，例如“蓝色梦想”（大麻）和“黑色焦油”（海洛因）。我们的论文处理的问题，委婉语短语检测，而无需人工努力的第一次，据我们所知。我们首先在原始文本语料库上执行短语挖掘（例如，社交媒体帖子）来提取高质量的短语。然后，我们利用词嵌入相似性来选择一组委婉短语候选。最后，我们用一个屏蔽的语言模型-- SpanBERT对这些候选者进行排序。与强基线相比，我们报告使用我们的算法检测委婉短语的检测准确率高出20-50%。
2021-09-10 cs.CL
Why and How to Pay Different Attention to Phrase Alignments of Different Intensities
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
本文比较研究了两种典型的句对分类任务：文本蕴涵（TE）和答案选择（AS），观察到不同强度的短语对齐在这两种任务中的贡献不同。我们解决的问题，确定短语对齐灵活的粒度和池对齐这些任务的不同强度。灵活粒度的示例是两个单个单词之间、单个单词与短语之间以及短短语与长短语之间的对齐。强度大致是指匹配程度，它的范围从同一性到表面形式的同现、改写和其他语义相关性，再到许多插入语文本中的无关词。先前的工作（i）在短语生成和表示方面具有限制，或者（ii）通过手工特征在单词和短语级别进行对齐，或者（iii）在对齐强度上利用单个注意力机制而不考虑特定任务的特征，这限制了系统在任务之间的有效性。我们提出了一种基于门控递归单元的体系结构，该体系结构支持（i）任意粒度的短语的表示学习和（ii）通过注意力池对两个句子之间的短语对齐进行特定任务的聚焦。TE和AS上的实验结果与我们的观察相匹配，并且是最先进的。
2016-06-13 cs.CL
Phrase Based Language Model for Statistical Machine Translation: Empirical Study
重排序是机器翻译系统面临的一个挑战。在机器翻译中，广泛使用的方法是应用基于词的语言模型（LM），它将句子的组成单位视为词。在语音识别（SR）中，已经提出了一些基于短语的LM。然而，这些LM不一定适合于重新排序或对于重新排序是最佳的。我们提出了两个短语为基础的LM认为一个句子的组成单位作为短语。实验表明，我们的短语为基础的LM优于基于词的LM方面的困惑和n-best列表重新排名。
2015-02-18 cs.CL
Word Sense Disambiguation Using English-Spanish Aligned Phrases over Comparable Corpora
UNED（西班牙国立远程教育大学）
在本文中，我们描述了一个WSD实验的基础上双语英语-西班牙语可比语料库中的个别名词短语已被确定，并与他们各自的对应在其他语言。该实验的评估是针对SemCor进行的。我们发现，采用的对齐算法，潜在的精度是高的（74.3%），但该方法的覆盖率是低的（2.7%），由于对齐是远远低于我们预期的频率。与我们的直觉相反，精确度并不随着比对的数量而一致地上升。由于几个因素，覆盖率很低;存在重要的领域差异，并且英语和西班牙语对于这种方法来说过于接近，无法有效地区分感官，因此不适合WSD，尽管该方法在机器翻译中可能更有成效。
2009-10-29 cs.AI cs.CL
No Word is an Island -- A Transformation Weighting Model for Semantic Composition
University of Tübingen（蒂宾根大学）
分布式语义的组合模型被用来从他们的词的表示构造短语表示。组成模型通常位于光谱的两端。它们要么有少量的参数，但以相同的方式组合所有短语，要么以大量参数为代价执行特定于单词的组合。在本文中，我们提出了转换加权（TransWeight），一个组成模型，始终优于现有的模型上的名词性化合物，形容词-名词短语和副词-形容词短语在英语，德语和荷兰语。与文献中的最佳模型相比，TransWeight通过以相同的方式组成相似的单词，大大减少了所需的参数数量。
2019-07-11 cs.CL
Possessive Pronouns as Determiners in Japanese-to-English Machine Translation
英语中的所有格代词在日语句子中没有对应词时用作限定词。本文提出了一种启发式的方法来生成这样的所有格代词，即使在日本没有对应的。该方法使用关于英语中的所有格代词的使用的信息被视为名词的词汇属性，以及关于名词短语指称性和名词短语出现在其中的句子的主语和主要动词的上下文信息。该方法已在NTT通信科学实验室的日英机器翻译系统ALT-J/E中实现。在6,200个句子的测试集中，所提出的方法将生成的具有适当所有格代词的名词短语的数量增加了263个到609个，代价是生成了83个具有不适当所有格代词的名词短语。
1996-01-23 cmp-lg cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute（伊迪亚普研究所）
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型，有效地学习蕴涵的词嵌入，使用最近提出的框架，在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据，他们对这个短语向量的贡献，或作为一个单词短语向量的后验分布，并发现后验向量表现更好。在无监督和半监督实验中，所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Ontology-Aware Token Embeddings for Prepositional Phrase Attachment
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；DeepMind
类型级词嵌入使用相同的参数集来表示词的所有实例，而不管其上下文如何，忽略了语言中固有的词汇歧义。相反，我们嵌入WordNet中定义的语义概念（或同义词集），并通过估计相关语义概念的分布来表示特定上下文中的单词标记。我们在一个模型中使用新的上下文敏感的嵌入来预测介词短语（PP）附件，并共同学习概念嵌入和模型参数。我们发现，使用上下文敏感的嵌入提高了5.4%的绝对点的PP附件模型的准确性，这相当于一个34.4%的相对减少错误。
2017-05-08 cs.CL
Phrase Table as Recommendation Memory for Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）由于其良好的翻译性能而受到广泛关注。然而，一些研究表明，NMT往往产生流畅，但不忠实的翻译。在本文中，我们提出了一种方法来缓解这个问题，使用短语表作为推荐记忆。其主要思想是为值得推荐的单词添加奖金，以便NMT能够做出正确的预测。具体地说，我们首先根据源句子搜索短语翻译表，得到一个前缀树来容纳所有候选目标短语。然后，我们通过NMT将候选目标短语与先前翻译的目标词进行匹配来构建推荐词集。之后，我们通过使用注意向量和短语翻译概率来确定每个可重复单词的具体奖励值。最后，我们将此奖金值集成到NMT中，以改善翻译结果。大量的实验表明，所提出的方法得到显着的改善，基于强注意力的NMT。
2018-05-25 cs.CL
Towards Neural Phrase-based Machine Translation
Microsoft Research（微软研究院）；Google（谷歌）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Citadel（城堡投资）
在本文中，我们提出了基于神经短语的机器翻译（NPMT）。我们的方法显式地使用睡眠唤醒网络（SWAN），最近提出的基于分割的序列建模方法的输出序列中的短语结构建模。为了减轻SWAN的单调对齐要求，我们引入了一个新的层来执行输入序列的（软）局部重排。与现有的神经机器翻译（NMT）方法不同，NPMT不使用基于注意力的解码机制。相反，它直接按顺序输出短语，并可以在线性时间内解码。我们的实验表明，与强大的NMT基线相比，NPMT在IWSLT 2014德语-英语/英语-德语和IWSLT 2015英语-越南语机器翻译任务上取得了优异的性能。我们还观察到，我们的方法在输出语言中产生有意义的短语。
2018-09-24 cs.CL stat.ML
Word and Phrase Translation with word2vec
单词和短语表是机器翻译的关键输入，但制作成本很高。新的无监督学习方法在高维向量空间中表示单词和短语，这些单语嵌入已被证明可以编码语言元素之间的句法和语义关系。这些嵌入捕获的信息可以通过学习转换矩阵来用于双语翻译，该转换矩阵允许在两个单语向量空间中匹配相对位置。该方法旨在从未标记的数据中更经济有效地识别高质量的单词和短语翻译候选。本文将以前的双语翻译尝试的范围扩大到四种语言（英语，德语，西班牙语和法语）。它展示了如何处理源数据，训练一个神经网络来学习各个语言的高维嵌入，并扩展了测试英语之外的质量的框架。此外，它还展示了如何学习双语转换矩阵，获得单词和短语翻译的候选项，并评估其质量。
2018-04-24 cs.AI cs.CL
The AMU-UEDIN Submission to the WMT16 News Translation Task: Attention-based NMT Models as Feature Functions in Phrase-based SMT
Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；University of Edinburgh（爱丁堡大学）
本文介绍了AMU-UEDIN提交给WMT 2016新闻翻译共享任务的内容。我们探索基于注意力的神经翻译模型与基于短语的统计机器翻译的解码时间整合方法。提出并实现了GPU查询的高效批处理算法。对于英语-俄语，我们的系统在BLEU方面落后于最先进的纯神经模型。在受限系统中，手动评估将其置于与纯神经模型绑定的第一个集群中。对于俄语-英语任务，我们的提交达到了最高的BLEU结果，比最好的纯神经系统高出1.1 BLEU点，比我们自己的基于短语的基线高出1.6 BLEU。经过人工评估，该系统是最好的限制系统在自己的集群。在后续实验中，我们将结果提高了0.8 BLEU。
2016-06-23 cs.CL
Bilingual Words and Phrase Mappings for Marathi and Hindi SMT
Indian Institute of Technology (IIT) Bombay（印度理工学院孟买分校）
缺乏合适的语言资源是机器翻译系统在处理资源贫乏语言时面临的主要挑战。在本文中，我们描述了有效的方法来利用词汇资源，以提高质量的统计机器翻译。我们对词汇资源使用的研究主要集中在两个方面，如：增加平行语料库的词汇量和提供多样化的词形。我们增加了各种词汇资源，如词汇词，功能词，kridanta对和动词短语的训练语料库。我们已经描述了马拉地语到印地语和印地语到马拉地语机器翻译系统的案例研究、评估和详细的错误分析。从评估中我们观察到，随着各种词汇资源使用的增加，机器翻译的质量也在不断提高。此外，在平行语料库有限的情况下，使用各种词汇资源有助于提高机器翻译的覆盖率和质量。
2017-11-10 cs.CL
UAlacant machine translation quality estimation at WMT 2018: a simple approach using phrase tables and feed-forward neural networks
Universitat d’Alacant（阿利坎特大学）
我们描述了Universitat d'Alacant提交给WMT 2018的单词和词典级机器翻译（MT）质量评估（QE）共享任务。我们的方法词级MT QE建立在以前的工作，标记的话在机器翻译的句子作为\textit{OK}或\textit{BAD}，并扩展到确定是否一个词或一系列的话需要插入在每个字后的间隙。我们的文档级提交只是使用词级方法预测的编辑操作来近似TER。所提出的方法在识别六个数据集中的三个数据集的间隙中的插入的子任务中排名第一，在其余数据集中排名第二。
2018-11-06 cs.CL
Induction of Word and Phrase Alignments for Automatic Document Summarization
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
目前，在自动单文档摘要的研究主要是由两个有效的，但幼稚的方法：通过句子提取摘要，并通过词袋模型的标题生成。虽然在某些任务中取得了成功，但这些模型都无法充分捕捉人类在生成摘要时使用的大量语言设备。这些模型被广泛使用的一个可能的解释是，已经开发出了良好的技术，可以从现有的文档/摘要和文档/标题语料库中为其提取适当的训练数据。我们相信，自动摘要的未来进展将受到更复杂的语言信息模型的开发以及更有效地利用文档/摘要语料库的推动。为了打开大门，同时实现这两个目标，我们已经开发了自动生成文档及其人类书面摘要之间的单词到单词和短语到短语对齐的技术。这些对齐使得存在于这样的文档/摘要对中的对应关系变得明确，并且创建了复杂的摘要算法可以从中学习的潜在丰富的数据源。本文介绍了我们已经进行了实验，以分析人类的能力，执行这样的路线，并根据这些分析，我们描述了实验自动创建它们。我们的比对任务模型是基于标准隐马尔可夫模型的扩展，并学习以完全无监督的方式创建比对。我们详细描述了我们的模型，并给出了实验结果，这些结果表明我们的模型能够学习可靠地识别<document，abstract>对语料库中的单词和短语级别的对齐。
2009-07-04 cs.CL
Topical Phrase Extraction from Clinical Reports by Incorporating both Local and Global Context
Aston University（阿斯顿大学）
理解单词通常需要同时检查术语的周围环境以及表征整个语料库的全局主题。一些主题模型已经利用了词嵌入来识别局部语境，但是在主题推理过程中，它与全局语境的结合还很弱。本文提出利用潜在语义分析检测出的全局上下文提取与词嵌入信息相一致的主题短语，然后利用Pólya瓮模型进行组合。为了突出这种组合方法的有效性，对该模型进行了评估，分析临床报告，这是一个具有挑战性的场景，其特点是技术术语和有限的词汇统计。实验结果表明，该方法在主题一致性和计算成本方面都优于现有的方法。
2019-11-22 cs.CL
