Bilingual Distributed Word Representations from Document-Aligned Comparable Data
University of Cambridge(剑桥大学);KU Leuven(鲁汶大学)
我们提出了一个新的模型学习双语单词表示非平行文档对齐的数据。在单词表示学习的最新进展之后,我们的模型学习密集的实值单词向量,即双语词嵌入(BWE)。不像以前的工作在很大程度上依赖于平行的文档对齐语料库和/或现成的翻译资源,如字典,诱导BWE的文章揭示,BWE可以学习的基础上,完全文档对齐的可比数据,没有任何额外的词汇资源,也没有句法信息。我们提出了一个比较我们的方法与以前的国家的最先进的模型,学习双语单词表示的可比数据,依赖于多语言概率主题建模(MuPTM)的框架,以及与分布式本地上下文计数模型。我们在两个语义任务中展示了诱导BWE的效用:(1)双语词典提取,(2)在上下文中为多义词建议词翻译。我们简单而有效的基于BWE的模型从可比数据以及先前的基于BWE的模型中显著优于基于MuPTM和上下文计数的表示模型,并在所有三种测试语言对的两项任务上获得最佳报告结果。
2016-02-28 cs.CL
Anchor-based Bilingual Word Embeddings for Low-Resource Languages
Technical University of Munich(慕尼黑工业大学);LMU Munich(慕尼黑大学)
高质量的单语词嵌入(MWE)可以为具有大量未标记文本的语言构建。MWE可以只使用几千个单词的翻译对来与双语空间对齐。对于低资源语言,单语训练MWE导致质量差的MWE,并且因此也导致差的双语词嵌入(BWE)。本文提出了一种新的方法来构建BWE,其中高资源源语言的向量空间被用作训练低资源目标语言的嵌入空间的起点。通过使用源向量作为锚,向量空间在训练期间自动对齐。我们实验英语德语,英语Hiligaynon和英语马其顿语。我们表明,我们的方法不仅在提高BWEs和双语词典归纳性能的结果,但也在提高目标语言MWE质量测量单语词相似性。
2021-07-27 cs.CL
Creating Reverse Bilingual Dictionaries
University of Colorado(科罗拉多大学)
双语词典是昂贵的资源,当其中一种语言资源贫乏时,可用的词典并不多。在本文中,我们提出了算法,从现有的双语词典,其中英语是两种语言之一,创建新的反向双语词典。我们的算法利用词概念对之间的相似性,使用英语Wordnet产生反向字典条目。由于我们的算法依赖于可用的双语词典,它们适用于任何双语词典,只要两种语言之一具有Wordnet类型的词汇本体。
2022-08-08 cs.CL
Mapping Supervised Bilingual Word Embeddings from English to low-resource languages
Saarland University(萨尔兰大学)
由于数据的可用性不足,使用低资源语言是非常具有挑战性的。过去,使用字典将独立训练的词嵌入映射到共享向量空间中已被证明在学习双语嵌入时非常有用。在这里,我们尝试映射英语单词的各个嵌入,以及它们在爱沙尼亚语、斯洛文尼亚语、爱沙尼亚语和匈牙利语等低资源语言中对应的翻译单词。我们使用了一种监督学习方法。我们报告的准确性分数,通过各种检索策略,这表明它是可能的方法具有挑战性的任务,在自然语言处理,如机器翻译等语言,只要我们至少有一定数量的适当的双语数据。我们还得出结论,我们可以遵循单语文本数据的无监督学习路径,因为这更适合于低资源语言。
2019-10-14 cs.CL
Code-switching Language Modeling With Bilingual Word Embeddings: A Case Study for Egyptian Arabic-English
The German University in Cairo(开罗德国大学);University of Stuttgart(斯图加特大学);Raisa Energy LLC(赖萨能源有限责任公司)
语码转换是双语和多语社会中普遍存在的现象。CS资源的缺乏阻碍了许多NLP任务的执行。在这项工作中,我们探索双语词嵌入在低资源埃及阿拉伯语-英语语言中用于代码切换(CS)语言建模(LM)的潜在用途。我们评估了不同的国家的最先进的双语词嵌入的方法,需要跨语言的资源在不同的水平,并提出了一个创新的,但简单的方法,共同学习双语单词表示,而不使用任何并行数据,只依赖于单语和少量的CS数据。虽然所有的表示都提高了CS LM,但我们的表现最好,相对于基线提高了33.5%的困惑度。
2019-09-24 cs.CL
Combining Static Word Embeddings and Contextual Representations for Bilingual Lexicon Induction
Soochow University(苏州大学);Alibaba DAMO Academy(阿里巴巴达摩院)
双语词汇归纳(BLI)旨在将一种语言中的单词映射到另一种语言中的翻译,通常通过学习线性投影来对齐单语单词表示空间。BLI的词汇表征分为静态词嵌入和语境表征两类,但还没有将两者结合起来的研究。在本文中,我们提出了一个简单而有效的机制,结合静态词嵌入和上下文表示,利用这两种范式的优点。我们测试的组合机制在各种语言对下的监督和无监督BLI基准设置。实验表明,我们的机制在所有语言对上的鲁棒BLI基线上持续提高性能,在监督设置中平均提高3.2点,在无监督设置中平均提高3.1点。
2021-06-10 cs.CL
Resolving Out-of-Vocabulary Words with Bilingual Embeddings in Machine Translation
TALP Research Center(TALP研究中心);Univesitat Politècnica de Catalunya(加泰罗尼亚理工大学)
词汇表外的单词在机器翻译系统中占很大比例的错误,特别是当系统在与训练它的领域不同的领域中使用时。为了缓解这个问题,我们建议使用一个基于对数双线性softmax的模型进行词汇扩展,这样,给定一个词汇外的源单词,该模型生成一个概率列表的可能的翻译在目标语言。我们的模型只使用在相当大的未标记单语语料库上训练的词嵌入,并在相当小的词到词的双语词典上训练。我们将此概率列表输入到标准的基于短语的统计机器翻译系统中,并在英语-西班牙语对上获得翻译质量的一致改进。特别是,我们得到了3.9 BLEU点的改进时,测试的域外测试集。
2016-08-05 cs.CL
Word Embedding Transformation for Robust Unsupervised Bilingual Lexicon Induction
Harbin Institute of Technology(哈尔滨工业大学)
无监督双语词典归纳(UBLI)通过对齐在单语语料库上独立训练的源和目标词嵌入,取得了很大的进展。大多数UBLI模型的共同假设是两种语言的嵌入空间近似同构。因此,性能受到同构程度的约束,特别是在词源和类型学上遥远的语言上。为了解决这个问题,我们提出了一种基于变换的方法来增加同构。通过旋转和缩放使两种语言的嵌入相互匹配。该方法不需要任何形式的监督,可以应用于任何语言对。在双语词典归纳的基准数据集上,与最先进的方法相比,我们的方法可以实现具有竞争力或优越的性能,在遥远的语言上发现了特别强大的结果。
2021-05-26 cs.CL
"Did you really mean what you said?" : Sarcasm Detection in Hindi-English Code-Mixed Data using Bilingual Word Embeddings
Netaji Subhas University of Technology(内塔吉·苏巴斯理工大学)
随着世界各地的人们越来越多地使用社交媒体平台,许多新的有趣的NLP问题已经存在。其中之一是检测社交媒体文本中的讽刺。我们提出了一个语料库的tweets训练自定义词嵌入和标记为讽刺检测的Hinglish数据集。我们提出了一种基于深度学习的方法来解决印地语-英语代码混合推文中的讽刺检测问题,使用来自FastText和Word 2 Vec方法的双语词嵌入。我们试验了各种深度学习模型,包括CNN、LSTM、双向LSTM(有注意力和无注意力)。我们的深度学习模型能够超越所有最先进的性能,其中基于注意力的双向LSTM提供了最佳性能,准确率为78.49%。
2020-10-15 cs.CL
Bilingual Character Representation for Efficiently Addressing Out-of-Vocabulary Words in Code-Switching Named Entity Recognition
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Department of Electronic and Computer Engineering(电子与计算机工程系);Hong Kong University of Science and Technology(香港科技大学)
本文提出了一种基于LSTM的分层结构的代码转换Twitter数据命名实体识别模型。我们的模型使用双语字符表示和迁移学习来解决词汇表外的单词。为了减轻数据噪声,我们建议使用令牌替换和归一化。在第三届语言代码转换共享任务的计算方法研讨会上,我们在不使用任何地名词典和知识信息的情况下,以62.76%的英语-西班牙语对调和平均F1分数获得第二名。
2019-06-10 cs.CL
Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English
Saarland University(萨尔大学);Zuse School ELIZA(Zuse ELIZA 学院);Radboud University(拉德堡德大学)
研究探讨双语模型中跨语言激活是否模仿人类处理模式,发现词形共享影响模型表现,频率而非形式一致性主导效果,仅在特定条件下重现人类处理特征。
2026-04-08 cs.CL
Bilingual Lexicon Induction via Unsupervised Bitext Construction and Word Alignment
TTI-Chicago(丰田工业大学芝加哥分校);University of Washington(华盛顿大学);Facebook AI Research(脸书人工智能研究院)
双语词典将一种语言中的单词映射到另一种语言中的翻译,并且通常通过学习线性投影来对齐单语词嵌入空间来诱导。在本文中,我们展示了结合(1)无监督的双文本挖掘和(2)无监督的单词对齐的方法可以产生更高质量的词典。直接应用一个管道,使用最近的算法,这两个子问题显着提高了诱导的词典质量和进一步的收益是可能的,通过学习过滤产生的词汇条目,无监督和半监督的计划。我们的最终模型在BUCC 2020共享任务上的表现优于最先进的12种语言对的平均14个$F_1$点,同时还提供了一种更可解释的方法,可以在上下文中进行丰富的词义推理。对我们的产出和标准参考词典的进一步分析表明,它们的质量相当,可能需要新的基准来衡量这项任务的进一步进展。
2021-06-12 cs.CL
Low-resource Bilingual Dialect Lexicon Induction with Large Language Models
LMU Munich(慕尼黑大学)
本文研究德语与巴伐利亚语、阿勒曼尼语之间的低资源双语词典归纳,分析基于 LLM 的无监督流程,并从词频和编辑距离评估输出,发布人工判定的句对与词对评测集。
2023-04-19 cs.CL
An Analysis of Euclidean vs. Graph-Based Framing for Bilingual Lexicon Induction from Word Embedding Spaces
Center for Imaging Science(影像科学中心);Human Language Technology Center of Excellence(人类语言技术卓越中心);Johns Hopkins University(约翰斯·霍普金斯大学)
双语词典归纳(BLI)的许多最新研究将词嵌入视为欧几里得空间中的向量。因此,BLI通常通过找到将嵌入映射到公共空间的线性变换来解决。或者,词嵌入可以被理解为加权图中的节点。这种框架使我们能够检查节点的图形邻域,而无需假设线性变换,并利用图形匹配优化文献中的新技术。迄今为止,BLI尚未对这些对比鲜明的方法进行比较。在这项工作中,我们研究的行为,欧几里德与图形为基础的方法,BLI在不同的数据条件下,并表明,它们相互补充时,结合起来。我们在https://github.com/kellymarchisio/euc-v-graph-bli上发布代码。
2021-09-26 cs.CL
Bridging Neural Machine Translation and Bilingual Dictionaries
University of Chinese Academy of Sciences(中国科学院大学);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
神经机器翻译(NMT)已经成为几种语言对的最新技术。然而,如何将NMT与主要包含在双语训练数据中很少或从未见过的词的双语词典集成仍然是一个具有挑战性的问题。在本文中,我们提出了两种方法来桥接NMT和双语词典。其核心思想是设计新的模型,将双语词典转换为适当的句子对,以便NMT可以从大量和重复的现象中排除潜在的双语映射。一种方法利用混合的单词/字符模型,另一种方法尝试合成平行句子,保证翻译词典的大量出现。大量的实验表明,所提出的方法可以显著提高翻译质量,测试句子中的大多数生僻词如果被词典覆盖,都可以得到正确的翻译。
2016-10-24 cs.CL
Bilingual Sentiment Embeddings: Joint Projection of Sentiment Across Languages
Institut für Maschinelle Sprachverarbeitung(机械语言处理研究所);University of Stuttgart(斯图加特大学)
低资源语言中的情感分析缺乏注释语料库来估计高性能模型。机器翻译和双语词嵌入通过跨语言情感方法提供了一些缓解。然而,它们要么需要大量的并行数据,要么不能充分捕获情感信息。我们引入双语情感嵌入(BLSE),共同代表情感信息的源和目标语言。该模型只需要一个小的双语词典,一个源语言语料库注释的情绪,和每种语言的单语词嵌入。我们对三种语言组合(西班牙语、加泰罗尼亚语、巴斯克语)进行了句子级跨语言情感分类实验,发现我们的模型在六个实验设置中的四个上显着优于最先进的方法,并且捕获了补充信息到机器翻译。我们对所得到的嵌入空间的分析提供了证据,证明它代表了资源贫乏的目标语言中的情感信息,而没有该语言中的任何注释数据。
2018-05-23 cs.CL
Unsupervised Word Mapping Using Structural Similarities in Monolingual Embeddings
The George Washington University(乔治华盛顿大学)
现有的大多数双语词典自动归纳方法依赖于源语言和目标语言之间的先验对齐,例如平行语料库或种子词典。对于许多语言对,这种监督对齐并不容易获得。我们提出了一种无监督的方法来学习一对语言的双语词典,因为它们是独立学习的单语词嵌入。该方法利用单语向量空间中的局部和全局结构来对齐它们,从而将相似的单词映射到彼此。我们的经验表明,使用我们提出的无监督的方法学习的双语通讯员的性能是相媲美的,使用监督的双语通讯员从种子字典。
2018-01-29 cs.CL
Using external sources of bilingual information for on-the-fly word alignment
Universitat d’Alacant(阿利坎特大学)
在本文中,我们提出了一种新的和简单的语言无关的方法,词对齐的基础上使用外部源的双语信息,如机器翻译系统。我们证明了对齐器的几个参数可以在非常小的语料库上训练,这导致了与最先进的工具GIZA++在精度方面获得的结果相当的结果。关于其他指标,如对齐出错率或F-测量,当在非常小的金标准(450对句子)上训练时,参数对齐器提供的结果与GIZA++在大约10,000对句子的域内语料库上训练时产生的结果相当。此外,所获得的结果表明,训练是独立于域的,这使得能够在任何新的句子对上使用经过训练的对齐器。
2012-12-07 cs.CL
Bilingual Embeddings with Random Walks over Multilingual Wordnets
UPV/EHU(巴斯克地区大学)
双语词嵌入在同一空间中表示两种语言的单词,并且允许在没有机器翻译的情况下将知识从一种语言转移到另一种语言。主要方法是首先训练单语嵌入,然后使用双语词典映射它们。在这项工作中,我们提出了一种新的方法来学习双语嵌入基于多语言知识库(KB),如WordNet。我们的方法通过随机游走从多语言词网中提取双语信息,并一次性学习联合嵌入空间。我们在流行的skipgram模型的损失函数中添加双语约束,进一步加强跨语言等效性。我们的实验涉及12个跨语言词汇相似度和相关度数据集,包括4种语言的6个语言对,实验结果表明:1)多语言词网的随机游走比仅使用词典的搜索结果有所改善; 2)多语言词网本身在相似度数据集上比基于文本的系统有所改善; 3)对于大的字网,(如英文、西班牙文)、较小的字网(例如巴斯克语)或松散对齐的词网(例如意大利语); 4)词网和文本的组合产生最佳结果,高于基于映射的方法。我们的方法可以应用于更丰富的知识库,如DBpedia或Babel-Net,并可以很容易地扩展到多语言嵌入。所有软件和资源都是开源的。
2018-04-23 cs.AI cs.CL
Cross-Domain Bilingual Lexicon Induction via Pretrained Language Models
Harbin Institute of Technology(哈尔滨工业大学)
本文提出跨领域双语词典归纳新任务,通过引入Code Switch方法结合预训练模型优化词嵌入,在医学等三个专业领域平均提升0.78分,解决了静态词嵌入在专业领域表现不佳的问题。
2025-05-29 cs.CL
A bilingual approach to specialised adjectives through word embeddings in the karstology domain
University of Zadar(扎达尔大学);Jožef Stefan Institute(约瑟夫·斯特凡研究所);University of Ljubljana(卢布尔雅那大学)
我们提出了一个实验,在提取形容词表达特定的语义关系,使用词嵌入。实验的结果,然后彻底分析和分类成组的形容词表现出形式或语义相似性。实验和分析进行英语和克罗地亚在岩溶学领域使用的数据集和方法开发的TermFrame项目。文章的主要原创贡献是两方面的:首先,提出了一种新的和有前途的方法提取语义相关的术语,其次,提供了一个详细的评估的输出,使我们一方面更好地了解特定领域的语义结构和词嵌入提取的相似性的类型。
2022-03-31 cs.CL
Construction of a Bilingual Dictionary Intermediated by a Third Language
在使用第三语言编制双语词典时,有必要区分对等词和因第三语言歧义而产生的不适当词。我们提出了一种方法来处理这一问题,利用字典的结构来衡量的接近的含义。由此产生的词典是一个词到词的名词双语词典,并可用于改进已出版的双语词典中的条目和等价物。
1994-10-24 cmp-lg cs.CL
Don't Forget Cheap Training Signals Before Building Unsupervised Bilingual Word Embeddings
双语词嵌入是自然语言处理模型中跨语言迁移的基石之一。它们可以只使用单语语料库构建,而无需监督,从而导致许多工作集中在无监督的BWE上。然而,目前大多数构建无监督BWE的方法都没有将其结果与基于易于访问的跨语言信号的方法进行比较。在本文中,我们认为,这种信号时,应始终考虑开发无监督斗轮挖掘机的方法。我们发现最有效的两种方法是:1)使用相同的单词作为种子词典(无监督方法错误地假设不适用于正字法不同的语言对)和2)将这些词典与通过将单词的罗马化版本与编辑距离阈值匹配而提取的对相结合。我们在13种非拉丁语言(和英语)上进行了实验,结果表明,这种廉价的信号效果很好,并且在遥远的语言对(如中文、日语、卡纳达语、泰米尔语和泰语)上使用更复杂的无监督方法时表现更好。此外,它们甚至可以与监督方法中使用的高质量词典竞争。我们的研究结果表明,这些训练信号不应该被忽视时,建立BWE,即使是遥远的语言。
2022-05-31 cs.CL
Bilingual Dictionary Based Neural Machine Translation without Using Parallel Sentences
Soochow University(苏州大学);Alibaba DAMO Academy(阿里巴巴达摩院);Westlake University(西湖大学)
在本文中,我们提出了一个新的任务机器翻译(MT),这是基于没有平行的句子,但可以参考地面真理双语词典。受单语者通过查找双语词典学习翻译的能力的启发,我们提出了一个任务,看看有多大的潜力,MT系统可以实现使用双语词典和大规模单语语料库,而独立于平行句子。我们建议锚定训练(AT)来解决这个问题。AT使用双语词典来建立锚点,以缩小源语言和目标语言之间的差距。在不同语言对上的实验表明,我们的方法明显优于各种基线,包括基于词典的逐字翻译,词典监督的跨语言词嵌入转换和无监督的MT。在无监督MT很难表现良好的远距离语言对上,AT表现得更好,达到了与在超过400万个并行句子上训练的有监督SMT相当的性能。
2020-07-06 cs.CL
Learning Crosslingual Word Embeddings without Bilingual Corpora
IBM Research - Tokyo(IBM 东京研究院);University of Melbourne(墨尔本大学);National ICT Australia(澳大利亚国家信息通信技术研究院);International Computer Science Institute(国际计算机科学研究所)
跨语言词嵌入在同一向量空间中表示来自不同语言的词汇项,从而实现NLP工具的传输。然而,以前的尝试有昂贵的资源需求,难以纳入单语数据或无法处理一词多义。我们解决这些缺点,在我们的方法中,利用高覆盖率的字典在EM风格的训练算法在两种语言的单语语料库。我们的模型实现了最先进的性能双语词汇归纳任务超过模型使用大型双语语料库,单语词相似性和跨语言文档分类任务的竞争结果。
2016-06-30 cs.AI cs.CL
Investigating Language Impact in Bilingual Approaches for Computational Language Documentation
Laboratoire d'Informatique de Grenoble (LIG)(格勒诺布尔信息学实验室);University of Sheffield(谢菲尔德大学);Institute of Informatics (INF), UFRGS(南里奥格兰德联邦大学信息学研究所)
对于濒危语言,数据汇集活动必须适应其中许多来自口头传统的挑战,并且制作翻译是昂贵的。因此,必须将其翻译成广泛使用的语言,以确保录音的可解释性。在本文中,我们将探讨如何选择翻译语言的影响后的文档工作和潜在的自动方法,将工作在上面的双语语料库。为了回答这个问题,我们使用MaSS多语言语音语料库(Boito等人,2020)创建56个双语对,我们应用于低资源无监督分词和对齐的任务。我们的研究结果强调了翻译语言的选择影响了分词的性能,并且通过使用不同的对齐翻译来学习不同的词汇。最后,本文提出了一种用于双语分词的混合方法,结合从非参数贝叶斯模型(Goldwater et al.,2009 a)与Godard et al.(2018)的注意力分词神经模型。我们的研究结果表明,将这些线索纳入神经模型的输入表示中可以提高其翻译和对齐质量,特别是对于具有挑战性的语言对。
2020-03-30 cs.CL
BilBOWA: Fast Bilingual Distributed Representations without Word Alignments
Google Inc.(谷歌公司);Université de Montréal(蒙特利尔大学);Canadian Institute for Advanced Research(加拿大高等研究院)
我们介绍了BilBOWA(Bilingual Bag-of-Words without Alignments),这是一种简单且计算效率高的模型,用于学习单词的双语分布式表示,可以扩展到大型单语数据集,并且不需要单词对齐的并行训练数据。相反,它直接在单语数据上训练,并从较小的原始文本对齐数据集中提取双语信号。这是使用一种新的采样词袋跨语言目标来实现的,该目标用于正则化两个噪声对比语言模型,以实现高效的跨语言特征学习。我们表明,使用所提出的模型学习的双语嵌入在跨语言文档分类任务以及WMT 11数据的词汇翻译任务上优于最先进的方法。
2016-02-04 cs.CL cs.LG stat.ML
Effective Parallel Corpus Mining using Bilingual Sentence Embeddings
Google AI(谷歌人工智能);Carnegie Mellon University(卡内基梅隆大学)
提出了一种基于双语句子嵌入的并行语料挖掘方法。我们的嵌入模型经过训练,专门为相互翻译的双语句子对生成类似的表示。这是使用一种新的训练方法来实现的,该方法引入了由不是翻译但具有一定程度语义相似性的句子组成的硬否定。通过并行语料库重建和评估在黄金句子对与挖掘句子对上训练的机器翻译系统来评估所得到的嵌入的质量。我们发现,句子嵌入可以用来重建联合国平行语料库在句子层面上的准确率为48.9%的en-fr和54.9%的en-es。当适应文档级匹配时,我们实现了与[Jakob 2010]的计算密集型方法相当的并行文档匹配精度。使用重建的并行数据,我们能够训练NMT模型,这些模型的性能几乎与在原始数据上训练的模型一样好(在1-2 BLEU内)。
2018-08-02 cs.CL
Adaptative Bilingual Aligning Using Multilingual Sentence Embedding
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文提出自适应双语对齐系统AIlign,利用句子嵌入提取锚点,以准线性复杂度实现与最先进技术相当的结果,并能处理局部平行和非单调文本。
2024-03-18 cs.CL
Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion
Facebook AI Research(脸书人工智能研究院)
在不同语言中分别学习的连续单词表示可以对齐,以便它们的单词在共同的空间中具有可比性。现有的作品通常解决一个最小二乘回归问题,学习旋转对齐一个小的双语词典,并使用检索标准进行推理。在本文中,我们提出了一个统一的配方,直接优化检索标准的端到端的方式。我们在标准基准测试上的实验表明,我们的方法在单词翻译上的表现优于最先进的技术,对于遥远的语言对,如英语-汉语,我们观察到了最大的改进。
2018-09-05 cs.CL cs.LG
The Development of a Labelled te reo Māori-English Bilingual Database for Language Technology
The University of Auckland(奥克兰大学);Te Hiku Media(特希库媒体)
新西兰的土著语言Te reo Māori(简称毛利语)在语言技术方面资源不足。毛利人讲双语,毛利语与英语进行代码转换。遗憾的是,可用于毛利语技术、语言检测和毛利语-英语对之间的代码转换检测的资源很少。英语和毛利语都使用源自罗马语的正字法,使得基于规则的语言检测系统和语码转换受到限制。大多数毛利语检测是由语言专家手动完成的。本研究建立了一个包含66,016,807个词的毛利语-英语双语数据库,并进行了词级语言标注。新西兰议会议事录辩论报告被用来建立数据库。语言标签是使用语言特定的规则和专家手册注释分配的。毛利语和英语中有拼写相同但含义不同的单词。这些单词不能根据单词级别的语言规则归类为毛利语或英语。因此,需要手动注释。还报告了一项分析,报告了数据库的各个方面,如元数据、年度分析、经常出现的单词、句子长度和N元语法。这里开发的数据库是一个宝贵的工具,为未来的语言和语音技术的发展,为新西兰奥特亚罗瓦。标记数据库所采用的方法也可用于其他资源较少的语言对。
2022-08-21 cs.CL
Inverted Bilingual Topic Models for Lexicon Extraction from Non-parallel Data
IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);IBM Research-Tokyo(IBM东京研究中心)
主题模型已经成功地应用于词典抽取。但是,以前的大多数方法仅限于文档对齐的数据。在本文中,我们试图解决两个挑战,将主题模型应用于非并行数据中的词汇提取:1)难以建模的单词关系和2)噪声种子字典。为了解决这两个挑战,我们提出了两个新的双语主题模型,以更好地捕捉每个单词的语义信息,同时区分在一个嘈杂的种子字典的多个翻译。我们通过颠倒“单词”和“文档”的角色来扩展主题模型的范围。此外,为了解决种子词典中的噪声问题,我们在模型中加入了翻译选择的概率。此外,我们还提出了一个有效的措施,以评估在不同的语言中的词的相似性,并选择最佳的翻译对。使用真实世界数据的实验结果表明,所提出的模型的实用性和有效性。
2017-06-21 cs.CL
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles(加州大学洛杉矶分校);Stony Brook University(石溪大学)
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇,在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典,这些种子词典的获取成本很高,或者需要包含粗糙和噪声对齐的平行句子。相反,我们提出了BilLex,利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下,BilLex采用了一种新的词对策略,自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估,发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
BattRAE: Bidimensional Attention-Based Recursive Autoencoders for Learning Bilingual Phrase Embeddings
Xiamen University(厦门大学);Soochow University(苏州大学)
在本文中,我们提出了一个二维注意递归自动编码器(BattRAE)集成线索和sourcetarget互动在多个级别的粒度双语短语表示。我们采用递归自动编码器来生成具有不同粒度级别的嵌入的短语的树结构(例如,单词、子短语和短语)。在源端和目标端的这些嵌入上,我们引入了一个二维注意力网络来学习它们在二维注意力矩阵中编码的交互,从中我们同时提取两个软注意力权重分布。这些权重分布使BattRAE能够通过卷积生成合成短语表示。基于学习的短语表示,我们进一步使用双线性神经模型,通过最大边缘方法训练,以衡量双语语义相似性。为了评估BattRAE的有效性,我们将这种语义相似性作为一个额外的功能到一个国家的最先进的SMT系统。在NIST中英文测试集上的大量实验表明,我们的模型在基线上平均获得了高达1.63个BLEU点的显著改善。
2016-11-25 cs.CL
Bilingual Words and Phrase Mappings for Marathi and Hindi SMT
Indian Institute of Technology (IIT) Bombay(印度理工学院孟买分校)
缺乏合适的语言资源是机器翻译系统在处理资源贫乏语言时面临的主要挑战。在本文中,我们描述了有效的方法来利用词汇资源,以提高质量的统计机器翻译。我们对词汇资源使用的研究主要集中在两个方面,如:增加平行语料库的词汇量和提供多样化的词形。我们增加了各种词汇资源,如词汇词,功能词,kridanta对和动词短语的训练语料库。我们已经描述了马拉地语到印地语和印地语到马拉地语机器翻译系统的案例研究、评估和详细的错误分析。从评估中我们观察到,随着各种词汇资源使用的增加,机器翻译的质量也在不断提高。此外,在平行语料库有限的情况下,使用各种词汇资源有助于提高机器翻译的覆盖率和质量。
2017-11-10 cs.CL
MultiMWE: Building a Multi-lingual Multi-Word Expression (MWE) Parallel Corpora
ADAPT Research Centre(ADAPT研究中心);Insight Centre for Data Analytics(洞察数据分析中心);Dublin City University(都柏林城市大学)
多词表达式(MWE)是自然语言处理(NLP)领域的一个研究热点,包括MWE检测、MWE分解以及MWE在机器翻译等其他NLP领域的应用研究。然而,双语或多语的MWE语料库的可用性是非常有限的。我们所知道的唯一的双语MWE语料库来自PARSEME(PARSing and Multi-word Expressions)EU Project。这是一个只有871对英语-德语MWE的小集合。在本文中,我们提出了多语言和双语MWE语料库,我们已经从根平行语料库中提取。我们收集到的双语MWE对分别为3,159,226和143,042德英和中英过滤后。我们检查这些提取的双语MWE在MT实验的质量。我们的初步实验表明,在MT中应用MWE的定性分析和更好的一般评价分数在定量分析中,无论是德国-英语和中国-英语语言对MWE术语的翻译性能提高。我们遵循一个标准的实验管道来创建我们的MultiMWE语料库,这些语料库可以在网上找到。研究人员可以使用这个免费的语料库为自己的模型或使用它们在知识库中作为模型功能。
2020-05-21 cs.CL
Beyond Bilingual: Multi-sense Word Embeddings using Multilingual Context
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Virginia(弗吉尼亚大学);Microsoft Research(微软研究院);Stanford University(斯坦福大学)
词嵌入将词表示为向量空间中的一个点,它在几个NLP任务中无处不在。最近的一系列工作使用双语(两种语言)语料库来学习一个词的每个意义的不同向量,通过利用跨语言信号来帮助意义识别。我们提出了一种多视图贝叶斯非参数算法,该算法通过(a)使用多语言(即,两种以上的语言)语料库,以显着提高意义嵌入超过一个人实现双语信息,和(b)使用一个原则性的方法来学习一个变量数量的意义,每个字,在数据驱动的方式。我们的方法是第一种能够有效利用多语言语料库进行多意义表示学习的方法。实验表明,多语言训练通过允许我们结合不同的平行语料库来利用多语言上下文,从而显着提高了单语和双语训练的性能。多语言训练产生的性能与在五倍以上的训练数据上训练的最先进的单语言模型相当。
2017-06-25 cs.CL cs.LG
About the creation of a parallel bilingual corpora of web-publications
ElVisti Information center(ElVisti信息中心)
给出了文本平行语料库的生成算法。该算法基于文本文档中的“关键词”的使用,以及它们的自动翻译方法。通过使用俄语和乌克兰语形态词典以及俄语和乌克兰语名词翻译词典挑选出关键词。此外,为了计算文档中的术语的权重,使用了统计学规则。所考虑的算法是以程序复合体的形式实现的,集成到内容监控InfoStream系统中。结果,建立了一个包含约3万份文件的并行双语网络出版物语料库
2008-07-02 cs.CL
Cross-Lingual Word Embeddings for Turkic Languages
CITIC Grupo LYS(CITIC LYS团队);Grupo COLE(COLE团队);Universidade de Vigo(维戈大学)
人们对学习跨语言词嵌入越来越感兴趣,以将从资源丰富的语言(如英语)获得的知识转移到资源较少的语言(如土耳其语,俄语等),这些语言的注释数据很少。在本文中,我们提出了第一个可行性研究的既定技术,以调整单语嵌入空间土耳其,乌兹别克,哈萨克,吉尔吉斯,突厥族家庭的成员,这是严重影响了低资源约束。众所周知,这些技术几乎不需要明确的监督,主要是以双语词典的形式,因此很容易适用于不同的领域,包括低资源领域。我们获得了新的双语词典和新的词嵌入,这些语言和获得跨语言的词嵌入使用国家的最先进的技术的步骤。然后,我们使用双语词典归纳任务来评估结果。我们的实验证实,所获得的双语词典优于以前可用的,和词嵌入从一个低资源的语言可以受益于资源丰富的密切相关的语言时,他们对齐在一起。此外,外部任务(对乌兹别克语的情感分析)的评价证明,单语词嵌入可以,虽然略有受益于跨语言的对齐。
2020-05-17 cs.CL
The CQC Algorithm: Cycling in Graphs to Semantically Enrich and Enhance a Bilingual Dictionary
Sapienza University of Rome(罗马大学)
双语机器可读词典是许多自动任务中有用的知识资源。然而,与WordNet等单语计算词典相比,双语词典通常提供较少量的结构化信息,例如词汇和语义关系,并且通常不涵盖感兴趣单词的整个可能翻译范围。在本文中,我们提出了循环和准循环(CQC),一种新的算法自动消歧的歧义翻译的词汇条目的双语机器可读词典。词典被表示为图,并且在图中寻找循环模式以向词条中的每个翻译分配适当的意义标签。此外,我们使用算法输出来提高字典本身的质量,通过建议准确的解决方案的结构问题,如错位,部分对齐和丢失的条目。最后,我们成功地将CQC应用到同义词抽取的任务中。
2014-01-18 cs.CL
Bilingual Learning of Multi-sense Embeddings with Discrete Autoencoders
University of Groningen(格罗宁根大学);University of Amsterdam(阿姆斯特丹大学)
我们提出了一种方法来学习多意义词嵌入依赖于单语和双语信息。我们的模型由一个编码器和一个解码器组成,编码器使用单语和双语上下文(即平行句子)为给定的单词选择一个意义,解码器根据所选择的意义预测上下文单词。这两个分量是联合估计的。我们观察到,从双语数据诱导的单词表征优于单语同行在一系列的评价任务,即使跨语言的信息是不可用的测试时间。
2016-03-30 cs.CL cs.LG stat.ML
Model Transfer for Tagging Low-resource Languages using a Bilingual Dictionary
The University of Melbourne(墨尔本大学)
跨语言模型转移是一种引人注目的和流行的方法,用于预测低资源语言中的注释,从而并行语料库提供了一个桥梁,高资源语言及其相关的注释语料库。然而,并行数据对于许多语言来说并不容易获得,限制了这些方法的适用性。我们在我们的框架中解决了这些缺点,该框架利用了仅在高覆盖率双语词典上训练的跨语言词嵌入。我们提出了一种新的神经网络模型,用于基于跨语言词嵌入的两个数据源的联合训练,并显示出比基线技术有实质性的经验改进。我们还提出了几个主动学习策略,从而导致竞争力的基准方法的改进。
2017-05-01 cs.CL
Density Matching for Bilingual Word Embedding
Carnegie Mellon University(卡内基梅隆大学)
最近的跨语言词嵌入方法通常基于两种语言中的嵌入向量集之间的线性变换。在本文中,我们提出了一种方法,而不是表示两个单语嵌入空间的概率密度定义的高斯混合模型,并匹配两个密度使用一种方法称为归一化流。该方法不需要明确的监督,并且可以仅使用具有相同字符串的单词的种子字典来学习。我们认为,这种提法有几个直观的吸引力的属性,特别是在提高鲁棒性和泛化困难的语言对或词对之间的映射。在双语词典归纳和跨语言单词相似性的基准数据集上,与最先进的已发表结果相比,我们的方法可以实现具有竞争力或优越的性能,在词源遥远和/或形态丰富的语言上发现了特别强大的结果。
2019-04-30 cs.CL cs.LG
Discovering Bilingual Lexicons in Polyglot Word Embeddings
Carnegie Mellon University(卡内基梅隆大学);Onai
双语词典和短语表是现代机器翻译系统的重要资源。虽然最近的研究结果表明,没有任何种子词典或平行数据,高度准确的双语词典可以使用无监督的方法来学习,这种方法依赖于大型,干净的单语语料库的存在。在这项工作中,我们利用一个单一的跳过语法模型训练的多语种语料库产生多语种词嵌入,并提出了一个新的发现,一个令人惊讶的简单的约束最近邻采样技术在这个嵌入空间可以检索双语词典,即使在苛刻的社会媒体数据集主要是写在英语和罗马印地语,并经常表现出代码切换。我们的方法不需要单语语料库,种子词典,或任何其他此类资源。此外,在三个欧洲语言对,我们观察到,多语词嵌入确实学习了丰富的语义表示的单词和大量的双语词典可以检索使用我们的约束最近邻抽样。我们调查潜在的原因和下游应用程序的设置跨越干净的文本和嘈杂的社交媒体数据集,并在资源丰富和资源不足的语言对。
2020-08-31 cs.CL cs.CY cs.LG
CLUSE: Cross-Lingual Unsupervised Sense Embeddings
National Taiwan University(国立台湾大学)
本文提出了一种模块化的意义归纳和表示学习模型,该模型利用英汉平行语料库中的跨语言信号来获取语言对中的搭配和分布特征,联合学习向量空间中匹配良好的双语意义嵌入。该模型在斯坦福大学上下文单词相似度(SCWS)数据集上进行评估,以确保单语意义嵌入的质量。此外,我们还引入了双语上下文单词相似度(BCWS),这是一个用于评估跨语言意义嵌入的大型高质量数据集,这是衡量学习的嵌入是否在向量空间中确实对齐的第一次尝试。所提出的方法显示了优越的质量的意义嵌入评估单语和双语空间。
2018-10-21 cs.CL
Learning Bilingual Sentence Embeddings via Autoencoding and Computing Similarities with a Multilayer Perceptron
RWTH Aachen University(亚琛工业大学);eBay, Inc.(易趣公司)
我们提出了一种新的模型架构和训练算法,从并行和单语数据的组合中学习双语句子嵌入。我们的方法连接了自动编码和神经机器翻译,以迫使源和目标句子嵌入共享相同的空间,而无需枢轴语言或额外的转换。我们在句子嵌入的基础上训练一个多层感知器,从非并行或有噪声的并行数据中提取好的双语句子对。我们的方法在句子对齐恢复和WMT 2018并行语料库过滤任务上表现出良好的性能,只有一个模型。
2019-06-05 cs.CL cs.LG
Automatically constructing Wordnet synsets
University of Colorado(科罗拉多大学)
手动构建Wordnet是一项艰巨的任务,需要专家多年的时间。作为第一步,自动构建完整的Wordnets,我们提出的方法来生成Wordnet同义词集的语言资源丰富和资源贫乏,使用公开的Wordnets,机器翻译和/或一个单一的双语词典。我们的算法将现有Wordnets的同义词集翻译成一个目标语言T,然后对翻译候选者应用一种排序方法来找到T中的最佳翻译。我们的方法适用于任何语言,至少有一个现有的双语词典翻译从英语到它。
2022-08-08 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);LRI, Univ. Paris-Sud, CNRS(巴黎第十一大学计算机研究实验室,法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中,我们探讨了语境词嵌入的特点,并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案,考虑上下文的多意义词嵌入的噪声(去除),并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入(替换)。实验结果表明,本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐,而不会影响双语词典归纳任务的宏观性能。对于无监督对齐,我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing
Department of Electrical Engineering, Indian Institute of Technology Delhi(印度理工学院德里电气工程系);Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(印度理工学院德里人工智能学院)
研究探讨多语言大语言模型在处理双语词时,如何通过拼写和语义特征进行区分,发现模型在处理双语同形词时存在显著困难,倾向于依赖拼写相似性而非语义理解。
2026-03-18 cs.CL
Neural Cross-Lingual Relation Extraction Based on Bilingual Word Embedding Mapping
IBM Research AI(IBM研究院人工智能部门)
关系抽取(RelationExtraction,RE)试图检测和分类实体之间的语义关系,这为许多自然语言处理应用提供了有用的信息。由于国家的最先进的RE模型需要大量的手动注释的数据和语言特定的资源,以达到高精度,这是非常具有挑战性的资源丰富的语言的RE模型,以资源贫乏的语言。本文提出了一种基于双语词嵌入映射的RE模型跨语言迁移方法。它将词嵌入从目标语言投影到源语言,使得经过良好训练的源语言神经网络RE模型可以直接应用于目标语言。实验结果表明,该方法在只有1K词对的小型双语词典上,对大量的目标语言,在内部数据集和开放数据集上都取得了很好的性能。
2019-10-31 cs.CL cs.IR cs.LG
Shared-Private Bilingual Word Embeddings for Neural Machine Translation
Northeastern University(东北大学);University of Macau(澳门大学);Tsinghua University(清华大学)
词嵌入是神经机器翻译的核心内容,近年来引起了广泛的研究兴趣。在NMT中,源嵌入扮演入口的角色,而目标嵌入扮演终端的角色。这些层占据了表示学习的大部分模型参数。此外,它们通过软注意力机制间接地相互作用,这使得它们相对孤立。在本文中,我们提出了共享私有的双语词嵌入,它给出了一个更密切的关系之间的源和目标嵌入,也减少了模型参数的数量。对于相似的源词和目标词,它们的嵌入倾向于共享一部分特征,并且它们合作学习这些共同的表征单元。在属于6个不同语系的5个语言对上进行的实验表明,该模型在使用更少的模型参数的情况下,在强基线上提供了显着的性能提升。
2019-06-07 cs.AI cs.CL
Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction
University of Cambridge(剑桥大学);National University of Ireland(爱尔兰国立大学);Facebook AI Research(Facebook AI研究院)
由于语言中单词的齐普菲分布,人类翻译人员通常必须翻译罕见的单词变化。当从西班牙语翻译时,一个好的翻译人员可以毫不费力地识别出统计上罕见的词形变化,如habláramos。注意词素本身,hablar,是相对常见的。在这项工作中,我们调查是否国家的最先进的双语词汇诱导器能够学习这种泛化。我们介绍了40个形态完整的字典在10种语言和评估三个国家的最先进的模型上的任务,不太频繁的形态形式的翻译。我们证明了最先进的模型的性能大大下降时,评估不频繁的形态变化,然后表明,在训练时添加一个简单的形态约束提高了性能,证明双语词典诱导器可以受益于更好的编码形态。
2019-10-22 cs.CL
Look It Up: Bilingual Dictionaries Improve Neural Machine Translation
University of Notre Dame(圣母大学)
尽管神经机器翻译(NMT)的质量有所提高,但生僻词仍然存在问题。对于人类来说,解决罕见词问题的方法一直是字典,但字典不能直接纳入NMT。在本文中,我们描述了一种将字典定义“附加”到稀有单词的新方法,以便网络可以学习使用它们的最佳方式。我们展示了高达1.8 BLEU使用双语词典的改进。
2022-01-28 cs.AI cs.CL cs.LG
How Does Language Influence Documentation Workflow? Unsupervised Word Discovery Using Translations in Multiple Languages
Laboratoire d’Informatique de Grenoble (LIG)(格勒诺布尔计算机实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);University of Sheffield(谢菲尔德大学);UFRGS(南里奥格兰德联邦大学)
对于语言文档举措,转录是一种昂贵的资源:一分钟的音频估计需要语言学家平均一个半小时的工作(Austin和Sallabank,2013年)。最近,在资源丰富的语言中收集对齐的翻译成为确保记录的事后可解释性的流行解决方案(Adda et al. 2016)。在本文中,我们调查语言相关的影响,在自动方法计算语言文档。我们将双语Mboshi-French平行语料库(Godard et al. 2017)翻译成其他四种语言,并执行双语根无监督单词发现。我们的研究结果暗示了资源丰富的语言对输出质量的影响。然而,通过结合不同双语模型学习到的信息,我们只能略微提高分割的质量。
2019-10-11 cs.CL