Bilingual Learning of Multi-sense Embeddings with Discrete Autoencoders
University of Groningen（格罗宁根大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一种方法来学习多意义词嵌入依赖于单语和双语信息。我们的模型由一个编码器和一个解码器组成，编码器使用单语和双语上下文（即平行句子）为给定的单词选择一个意义，解码器根据所选择的意义预测上下文单词。这两个分量是联合估计的。我们观察到，从双语数据诱导的单词表征优于单语同行在一系列的评价任务，即使跨语言的信息是不可用的测试时间。
2016-03-30 cs.CL cs.LG stat.ML
Leveraging Monolingual Data for Crosslingual Compositional Word Representations
National Institute of Informatics（国立信息学研究所）；University College London（伦敦大学学院）；University of Tokyo（东京大学）
在这项工作中，我们提出了一种新的神经网络为基础的架构，诱导成分的跨语言单词表示。与以前提出的方法不同，我们的方法满足以下三个标准;它约束的词级表示是合成的，它能够利用双语和单语数据，它是可扩展的大词汇量和大量的数据。我们的方法的关键组成部分是什么，我们称之为单语包含标准，利用观察到的短语更密切的语义相关的子短语比其他随机抽样的短语。我们评估我们的方法上一个完善的跨语言文档分类任务，并取得的结果是可比的，或大大提高了以前的国家的最先进的方法。具体地说，我们的方法达到了92.7%和84.4%的准确率分别为英语到德语和德语到英语的子任务。前者使现有技术的准确度提高了0.9%，后者比现有技术的准确度提高了7.7%，误差减少了33.0%。
2015-08-22 cs.CL
Bilingual Terminology Extraction from Comparable E-Commerce Corpora
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
双语术语是电子商业领域中重要的机器翻译资源，通常采用人工翻译或从并行数据中自动提取的方式。人工翻译成本高，而电子商业平行语料库又非常缺乏。但是，同一商品领域的不同语言的可比数据是丰富的。在本文中，我们提出了一个新的框架提取电子商务双语术语可比数据。得益于电子商业中的跨语言预训练，该框架能够充分利用源端术语和目标端句子之间的深层语义关系，提取出相应的目标术语。对不同语言对的实验结果表明，我们的方法比各种强基线实现了更好的性能。
2022-07-29 cs.CL
Neural Machine Translation for Low Resource Languages using Bilingual Lexicon Induced from Comparable Corpora
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
非英语语言的资源是稀缺的，本文解决了这个问题的背景下，机器翻译，自动提取平行的句子对多语种的文章在互联网上。在本文中，我们使用了一个端到端的Siamese双向递归神经网络来从维基百科中的可比多语言文章中生成并行句子。随后，我们已经表明，使用收获的数据集提高了低资源语言对的NMT和基于短语的SMT系统的BLEU分数：英语-印地语和英语-泰米尔语，与专门在为这些语言对收集的有限双语语料库上进行训练相比。
2018-06-25 cs.CL
Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究评估了多语言大语言模型在跨语言任务中的表现，发现其虽具备表层跨语言能力但存在深层知识转移壁垒，提出通过混合语言数据微调有效缩小差距，强调需显式优化以释放模型跨语言潜力。
2025-03-04 cs.CL cs.LG
MultiMWE: Building a Multi-lingual Multi-Word Expression (MWE) Parallel Corpora
ADAPT Research Centre（ADAPT研究中心）；Insight Centre for Data Analytics（洞察数据分析中心）；Dublin City University（都柏林城市大学）
多词表达式（MWE）是自然语言处理（NLP）领域的一个研究热点，包括MWE检测、MWE分解以及MWE在机器翻译等其他NLP领域的应用研究。然而，双语或多语的MWE语料库的可用性是非常有限的。我们所知道的唯一的双语MWE语料库来自PARSEME（PARSing and Multi-word Expressions）EU Project。这是一个只有871对英语-德语MWE的小集合。在本文中，我们提出了多语言和双语MWE语料库，我们已经从根平行语料库中提取。我们收集到的双语MWE对分别为3，159，226和143，042德英和中英过滤后。我们检查这些提取的双语MWE在MT实验的质量。我们的初步实验表明，在MT中应用MWE的定性分析和更好的一般评价分数在定量分析中，无论是德国-英语和中国-英语语言对MWE术语的翻译性能提高。我们遵循一个标准的实验管道来创建我们的MultiMWE语料库，这些语料库可以在网上找到。研究人员可以使用这个免费的语料库为自己的模型或使用它们在知识库中作为模型功能。
2020-05-21 cs.CL
Harvesting comparable corpora and mining them for equivalent bilingual sentences using statistical classification and analogy- based heuristics
平行句子是一种相对稀缺但非常有用的资源，对于许多应用，包括跨语言检索和统计机器翻译。这项研究探索了我们从以前获得的可比语料库中挖掘此类数据的新方法。这项任务是非常实用的，因为非平行的多语言数据存在的数量远远超过平行语料库，但平行的句子是一个更有用的资源。在这里，我们提出了一种网络爬行方法，用于从例如维基百科转储和Euronews网页构建主题对齐的可比语料库。机器翻译的改进显示在各种文本域的波兰语-英语语言对上。我们还测试了另一种基于可比语料库数据构建平行语料库的方法。它可以自动扩大现有的语料库的句子从语料库的主题之间的类比的基础上。
2015-11-18 cs.CL stat.ML
Advancing Multilingual Pre-training: TRIP Triangular Document-level Pre-training for Multilingual Language Models
The Chinese University of Hong Kong（香港中文大学）；Microsoft Corporation（微软公司）
针对多语言预训练依赖单语和双语语料而限制文档级跨语言任务性能的问题，提出TRIP方法，利用三语平行语料并通过Grafting方法将预训练目标加速为三语目标，在多个基准上取得SOTA结果。
2023-05-13 cs.CL
Beyond Bilingual: Multi-sense Word Embeddings using Multilingual Context
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Virginia（弗吉尼亚大学）；Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
词嵌入将词表示为向量空间中的一个点，它在几个NLP任务中无处不在。最近的一系列工作使用双语（两种语言）语料库来学习一个词的每个意义的不同向量，通过利用跨语言信号来帮助意义识别。我们提出了一种多视图贝叶斯非参数算法，该算法通过（a）使用多语言（即，两种以上的语言）语料库，以显着提高意义嵌入超过一个人实现双语信息，和（b）使用一个原则性的方法来学习一个变量数量的意义，每个字，在数据驱动的方式。我们的方法是第一种能够有效利用多语言语料库进行多意义表示学习的方法。实验表明，多语言训练通过允许我们结合不同的平行语料库来利用多语言上下文，从而显着提高了单语和双语训练的性能。多语言训练产生的性能与在五倍以上的训练数据上训练的最先进的单语言模型相当。
2017-06-25 cs.CL cs.LG
word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs
Kakao Brain
我们提出了word 2 word，一个公开的数据集和一个开源的Python包，用于从并行语料库中提取的跨语言单词翻译。我们的数据集在OpenSubtitles 2018中提供了62种语言的3，564（定向）语言对中的前k个单词翻译（Lison等人，2018年）。为了获得这个数据集，我们使用基于计数的双语词典提取模型的基础上观察，不仅源和目标词，而且源词本身可以高度相关。我们说明，由此产生的双语词典有很高的覆盖率，并达到竞争力的翻译质量的几种语言对。我们将数据集和模型包装在一个易于使用的Python库中，该库支持下载和检索任何支持的语言对中的前k个单词翻译，以及计算自定义并行语料库的前k个单词翻译。
2019-11-27 cs.CL
Neural machine translation, corpus and frugality
CNRS-CRLAO（法国国家科学研究中心-东亚语言研究中心）
在机器翻译领域，学术界和工业界都对越来越强大的系统越来越感兴趣，使用数亿到数十亿个示例的语料库。这些系统代表了最先进的技术水平。在这里，我们捍卫开发并行<<frugal>>双语翻译系统的想法，并使用相对较小的语料库进行训练。基于标准人类专业翻译的观察，我们估计语料库最多应由源语言的7500万个示例的单语子语料库、目标语言的600万个示例的第二单语子语料库和600万个双示例的对齐双语子语料库组成。一个不太理想的替代方案是一个4750万双示例的对齐双语语料库。
2021-01-26 cs.CL
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich（慕尼黑大学）
无监督神经机器翻译（UNMT）的成功方法是通过自我监督进行跨语言预训练，通常以掩蔽语言建模或序列生成任务的形式进行，这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言，但它在低资源和遥远的语言中表现不佳。以前的研究表明，这是因为表征没有充分对齐。在本文中，我们加强双语掩蔽语言模型预训练与词汇级信息，通过使用类型级跨语言子词嵌入。实证结果表明，使用我们的方法与UNMT基线相比，UNMT（高达4.5 BLEU）和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD（六境私人有限公司）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译（NMT）方面简单有效，但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中，我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量，回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明，基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
Bilingual Corpus Mining and Multistage Fine-Tuning for Improving Machine Translation of Lecture Transcripts
NICT（日本国立信息通信技术研究所）；Kyoto University（京都大学）；NII（日本国立信息学研究所）
针对课堂讲稿翻译缺乏公开平行语料的问题，提出基于动态规划的句子对齐算法从Coursera挖掘平行语料，结合多阶段微调提升翻译质量，还公开了语料与代码。
2023-11-07 cs.CL
Bilingual Rhetorical Structure Parsing with Large Parallel Annotations
FRC CSC RAS（俄罗斯科学院联邦研究中心计算机科学中心）；ISP RAS（俄罗斯科学院信息学问题研究所）
针对跨语言篇章解析中平行数据有限及RST应用不一致的问题，该研究为英文GUM RST语料库引入平行俄文标注，提出端到端RST解析器，在英俄语料库上取得最先进结果，并首次评估了跨语言端到端RST解析的潜力。
2024-09-23 cs.CL
On the Limitations of Unsupervised Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）；National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）；Aylien Ltd.（艾利恩有限公司）；University of Cambridge（剑桥大学）
无监督机器翻译-即，不假设任何跨语言的监督信号，无论是字典、翻译还是可比语料库-似乎是不可能的，但尽管如此，Lample等人（2018）最近提出了一个完全无监督的机器翻译（MT）模型。该模型严重依赖于用于双语词典归纳的词嵌入空间的对抗性、无监督对齐（Conneau等人，2018年，我们在这里进行了研究。我们的研究结果确定了当前无监督MT的局限性：当使用来自不同领域或不同嵌入算法的单语语料库时，无监督双语词典归纳在形态丰富的语言上表现得更差。我们表明，一个简单的技巧，利用弱监督信号从相同的话，使更强大的感应，并建立一个近乎完美的相关性无监督双语词典的诱导性能和以前未探索的图形相似性度量。
2018-05-09 cs.CL cs.LG stat.ML
Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
我们探索了结合双语词典来实现半监督神经机器翻译的方法。传统的反向翻译方法已经在利用目标侧单语数据方面取得了成功。然而，由于回译模型的质量与可用并行语料库的大小有关，因此这可能会对低资源设置中的合成生成的句子产生不利影响。我们提出了一个简单的数据增强技术来解决这两个缺点。我们将广泛使用的双语词典，产生逐字翻译生成合成句子。这会自动扩展模型的词汇表，同时保持高质量的内容。我们的方法在强基线上显示出明显的性能改善。
2020-04-05 cs.CL
Learning from Child-Directed Speech in Two-Language Scenarios: A French-English Case Study
本文研究了在严格数据匹配条件下，扩展BabyBERTa至英法双语场景的紧凑语言模型，对比儿童口语与多领域语料对语法和语义任务的影响，发现儿童口语在单语任务中表现更优，双语预训练对文本蕴含任务有显著提升。
2026-03-13 cs.AI cs.CL
Bilingual Dictionary-based Language Model Pretraining for Neural Machine Translation
Univ. of Maryland（马里兰大学）
最近的研究表明，通过应用跨语言语言模型预训练（Lample和Conneau，2019），特别是翻译语言模型（TLM），神经机器翻译的性能得到了明显的改善。为了减轻TLM对昂贵的并行语料库的需求，在这项工作中，我们将词典中的翻译信息纳入预训练过程，并提出了一种新的基于双语词典的语言模型（BDLM）。我们评估我们的BDLM中文，英语和罗马尼亚语。对于中文-英文，我们在WMT-News 19（Tiedemann，2012）上获得了55.0 BLEU，在WMT 20新闻评论上获得了24.3 BLEU，优于Vanilla Transformer（Vaswani et al.，2017年）分别超过8.4 BLEU和2.3 BLEU。根据我们的实验结果，BDLM在收敛速度和预测生僻字方面也有优势。WMT 16罗马尼亚语-英语BLEU的增加也表明了其在低资源语言翻译中的有效性。
2021-03-12 cs.AI cs.CL cs.LG
Pointer-based Fusion of Bilingual Lexicons into Neural Machine Translation
Simon Fraser University（西蒙弗雷泽大学）
神经机器翻译（NMT）系统需要大量高质量的域内并行语料库进行训练。最先进的NMT系统仍然面临着与词汇表外单词和处理低资源语言对相关的挑战。在本文中，我们提出并比较了几种模型的融合双语词典的端到端训练序列到序列模型的机器翻译。其结果是一个融合模型与两个信息源的解码器：神经条件语言模型和双语词典。该融合模型学习如何结合两种信息源，以产生更高质量的翻译输出。我们的实验表明，我们提出的模型在相对低资源的情况下工作得很好，也有效地减少了NMT的参数大小和训练成本，而不牺牲性能。
2019-09-17 cs.CL
Introducing Code-Switched Contexts to Cognitively-Inspired Bilingual Model Training
University of Göttingen（哥廷根大学）
本研究通过控制语码转换的结构位置和动态切换率，在两种类型不同的语言对上训练双语模型，发现合成语码转换数据能改善类型相近语言的跨语言对齐。
2026-10-06 cs.CL
Bilingual Dictionary Based Neural Machine Translation without Using Parallel Sentences
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Westlake University（西湖大学）
在本文中，我们提出了一个新的任务机器翻译（MT），这是基于没有平行的句子，但可以参考地面真理双语词典。受单语者通过查找双语词典学习翻译的能力的启发，我们提出了一个任务，看看有多大的潜力，MT系统可以实现使用双语词典和大规模单语语料库，而独立于平行句子。我们建议锚定训练（AT）来解决这个问题。AT使用双语词典来建立锚点，以缩小源语言和目标语言之间的差距。在不同语言对上的实验表明，我们的方法明显优于各种基线，包括基于词典的逐字翻译，词典监督的跨语言词嵌入转换和无监督的MT。在无监督MT很难表现良好的远距离语言对上，AT表现得更好，达到了与在超过400万个并行句子上训练的有监督SMT相当的性能。
2020-07-06 cs.CL
Bilingual Sentiment Embeddings: Joint Projection of Sentiment Across Languages
Institut für Maschinelle Sprachverarbeitung（机械语言处理研究所）；University of Stuttgart（斯图加特大学）
低资源语言中的情感分析缺乏注释语料库来估计高性能模型。机器翻译和双语词嵌入通过跨语言情感方法提供了一些缓解。然而，它们要么需要大量的并行数据，要么不能充分捕获情感信息。我们引入双语情感嵌入（BLSE），共同代表情感信息的源和目标语言。该模型只需要一个小的双语词典，一个源语言语料库注释的情绪，和每种语言的单语词嵌入。我们对三种语言组合（西班牙语、加泰罗尼亚语、巴斯克语）进行了句子级跨语言情感分类实验，发现我们的模型在六个实验设置中的四个上显着优于最先进的方法，并且捕获了补充信息到机器翻译。我们对所得到的嵌入空间的分析提供了证据，证明它代表了资源贫乏的目标语言中的情感信息，而没有该语言中的任何注释数据。
2018-05-23 cs.CL
Models of Visually Grounded Speech Signal Pay Attention To Nouns: a Bilingual Experiment on English and Japanese
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）；LIDILEM（语言、话语、文本、跨文化研究实验室）
我们研究了两种语言（英语和日语）训练的视觉接地语音的神经模型中的注意行为。实验结果表明，注意力集中在名词上，这种行为适用于两种非常不同的语言类型。我们还绘制了人工神经注意力和人类注意力之间的相似之处，并表明神经注意力集中在单词结尾，因为它已经被理论化为人类注意力。最后，我们研究了两个视觉接地单语模型可以用来执行跨语言语音到语音检索。对于这两种语言，丰富的双语（语音图像）语料库与词性标签和强制对齐分发给社区的可重复的研究。
2019-02-08 cs.CL
A Probabilistic Model of Machine Translation
提出了一个基于英俄平行文本语料库的机器翻译系统的概率生成模型。该模型使用具有预对齐的源和目标句子的平行文本语料库进行训练。该模型的训练产生了具有相关翻译概率的单词和“单词块”的双语词典。
2004-05-10 cs.CL
Creating Domain-Specific Translation Memories for Machine Translation Fine-tuning: The TRENCARD Bilingual Cardiology Corpus
Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出一种由译者主导的半自动翻译记忆构建方法，并据此从土耳其心脏病学期刊双语摘要构建了约80万词、5万句的TRENCARD土英双语语料库，用于机器翻译及大语言模型微调。
2024-09-04 cs.CL
A Bilingual Parallel Corpus with Discourse Annotations
ETH Zürich（苏黎世联邦理工学院）；Microsoft Research Asia（微软亚洲研究院）
机器翻译（MT）几乎已经实现了人类翻译水平的平等。作为回应，机器翻译界部分地将其重点转移到了文档级翻译上。然而，文档级机器翻译系统的开发受到缺乏平行文档语料库的阻碍。本文介绍了BWB，一个大型并行语料库首次在Jiang et al.（2022）中引入，以及一个注释的测试集。BWB语料库由专家翻译成英文的中文小说组成，标注测试集旨在探索机器翻译系统对各种语篇现象建模的能力。我们的资源是免费提供的，我们希望它能为文档级机器翻译的更多工作提供指导和灵感。
2022-10-26 cs.CL
Resolving Out-of-Vocabulary Words with Bilingual Embeddings in Machine Translation
TALP Research Center（TALP研究中心）；Univesitat Politècnica de Catalunya（加泰罗尼亚理工大学）
词汇表外的单词在机器翻译系统中占很大比例的错误，特别是当系统在与训练它的领域不同的领域中使用时。为了缓解这个问题，我们建议使用一个基于对数双线性softmax的模型进行词汇扩展，这样，给定一个词汇外的源单词，该模型生成一个概率列表的可能的翻译在目标语言。我们的模型只使用在相当大的未标记单语语料库上训练的词嵌入，并在相当小的词到词的双语词典上训练。我们将此概率列表输入到标准的基于短语的统计机器翻译系统中，并在英语-西班牙语对上获得翻译质量的一致改进。特别是，我们得到了3.9 BLEU点的改进时，测试的域外测试集。
2016-08-05 cs.CL
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology（国立信息通信技术研究所）
最近的工作在以完全无监督的方式训练神经机器翻译（NMT）系统方面取得了显着的成果，该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中，我们建议将无监督NMT（UNMT）定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构，通过用合成双语数据代替人工双语数据进行训练，提出了监督NMT。我们建议用无监督统计机器翻译（USMT）生成的合成双语数据初始化UNMT的训练。然后，利用反向翻译，逐步改进联合国地雷行动组系统。我们的初步实验表明，我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务，两个翻译方向。
2018-10-30 cs.CL
"Bilingual Expert" Can Find Translation Errors
Alibaba Group Inc.（阿里巴巴集团）
通过采用神经序列到序列模型，统计机器翻译的最新进展使端到端系统能够在许多WMT基准测试中达到最先进的水平。当提供黄金参考用于验证时，这种机器翻译（MT）系统的性能通常通过自动度量BLEU来评估。然而，对于模型推理或生产部署，黄金参考是禁止的，或者需要昂贵的人工注释和双语专业知识。为了解决质量评估（QE）的问题，没有参考，我们提出了一个通用的框架，自动评估的翻译输出的大多数WMT质量评估任务。我们首先建立了一个条件目标语言模型，一个新的双向Transformer，命名为神经双语专家模型，这是预先训练的大型并行语料库的特征提取。对于QE推理，双语专家模型可以同时产生源和翻译之间的联合潜在表示，以及基于从并行数据中学习的先验知识的可能错误的标记的实值测量。随后，这些特征将被进一步输入到一个简单的Bi-LSTM预测模型中进行质量评估。实验结果表明，我们的方法在WMT 2017/2018的质量估计跟踪中达到了最先进的性能。
2018-11-16 cs.CL
Bilingual Alignment Pre-Training for Zero-Shot Cross-Lingual Transfer
Joint Laboratory of HIT and iFLYTEK (HFL), iFLYTEK Research（哈尔滨工业大学与科大讯飞联合实验室（HFL），科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（认知智能国家重点实验室，科大讯飞研究院）
多语言预训练模型在跨语言迁移学习方面取得了显著的成绩。一些多语言模型，如mBERT，已经在未标记的语料库上进行了预训练，因此模型中不同语言的嵌入可能不会很好地对齐。为了提高zero-shot跨语言迁移的性能，本文提出了一种名为词交换对齐模型（WEAM）的预训练任务，该任务使用统计对齐信息作为先验知识来指导跨语言词预测。我们在多语言机器阅读理解任务MLQA和自然语言接口任务XNLI上评估了我们的模型。结果表明，WEAM能显著提高zero-shot性能。
2021-09-24 cs.CL
Don't Forget Cheap Training Signals Before Building Unsupervised Bilingual Word Embeddings
双语词嵌入是自然语言处理模型中跨语言迁移的基石之一。它们可以只使用单语语料库构建，而无需监督，从而导致许多工作集中在无监督的BWE上。然而，目前大多数构建无监督BWE的方法都没有将其结果与基于易于访问的跨语言信号的方法进行比较。在本文中，我们认为，这种信号时，应始终考虑开发无监督斗轮挖掘机的方法。我们发现最有效的两种方法是：1）使用相同的单词作为种子词典（无监督方法错误地假设不适用于正字法不同的语言对）和2）将这些词典与通过将单词的罗马化版本与编辑距离阈值匹配而提取的对相结合。我们在13种非拉丁语言（和英语）上进行了实验，结果表明，这种廉价的信号效果很好，并且在遥远的语言对（如中文、日语、卡纳达语、泰米尔语和泰语）上使用更复杂的无监督方法时表现更好。此外，它们甚至可以与监督方法中使用的高质量词典竞争。我们的研究结果表明，这些训练信号不应该被忽视时，建立BWE，即使是遥远的语言。
2022-05-31 cs.CL
Chinese-Portuguese Machine Translation: A Study on Building Parallel Corpora from Comparable Texts
Macao Polytechnic Institute（澳门理工学院）；Dublin City University（都柏林城市大学）
尽管中国与葡语国家之间的联系日益密切，但中葡语言对中的平行语料库并不多。这两种语言的人口都非常多，有12亿母语为汉语的人和2.79亿母语为葡萄牙语的人，然而，就可用的平行语料库而言，这两种语言可以被认为是低资源。在本文中，我们描述了我们的方法来策展中葡平行语料库和评估其质量。我们从澳门政府网站中抽取双语语料，并提出了一种分层策略来构建大型平行语料库。实验进行现有的语料库和我们使用基于短语的机器翻译（PBMT）和国家的最先进的神经机器翻译（NMT）模型。这项工作的结果可以作为未来的中葡MT系统的基准。我们在本文中使用的方法也展示了一个很好的例子，如何提高低资源语言对的MT系统的性能。
2018-04-05 cs.CL
Inferring Shallow-Transfer Machine Translation Rules from Small Parallel Corpora
本文描述了一种从小型平行语料库中自动推理结构迁移规则的方法，该方法可用于浅迁移机器翻译（MT）系统。结构转移规则基于比对模板，如在统计MT中使用的那些。对齐模板是从对齐的平行语料库中提取的，并扩展了一组限制，这些限制来自于MT系统的双语词典，并控制它们的应用程序作为传输规则。在免费/开源MT平台Atrium中使用三种不同的语言对进行的实验表明，与逐字翻译相比（当不使用转换规则时），翻译质量得到了提高，并且最终的翻译质量接近使用手工编码的转换规则获得的翻译质量。我们提出的方法是完全无监督的，并受益于MT系统的其余模块中的信息，其中应用推断的规则。
2014-01-15 cs.CL
Parallel Strands: A Preliminary Investigation into Mining the Web for Bilingual Text
平行语料库是机器翻译的宝贵资源，但目前它们的可用性和实用性受到体裁和领域特异性、许可限制以及除了世界上最主要的语言之外的所有语言中定位平行文本的基本困难的限制。一个尚未开发的平行语料库资源是万维网，它拥有大量的平行翻译页面，为其中一些问题提供了潜在的解决方案，并提供了自己独特的机会。本文提出了必要的第一步，探索：一种方法，自动发现并行翻译的文件在Web上。该技术概念简单，完全独立于语言，可扩展，初步评估结果表明，该方法可能足够准确，无需人工干预即可应用。
1998-08-07 cmp-lg cs.CL
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
近年来，文本和语音的表示学习已经成功地改善了许多与语言相关的任务。然而，所有现有的方法都受到两个限制：（a）它们仅从一种输入模态学习，而诸如端到端语音翻译的任务需要语音和文本的统一表示，并且因此，（b）它们不能利用各种大规模文本和语音数据，并且它们的性能受到并行语音翻译数据的稀缺性的限制。我们提出了一种融合的声学和文本掩蔽语言模型（FAT-MLM），其从各种类型的语料库（包括用于语音识别和机器翻译的并行数据，甚至纯语音和文本数据）联合学习声学和文本输入的统一表示。在此跨模态表示学习框架内，我们进一步提出了一个融合声学和文本语音翻译（FAT-ST）的端到端模型。三个翻译方向的实验表明，通过FAT-MLM的微调，我们提出的语音翻译模型大大提高了翻译质量，最高可达+5.9 BLEU。
2021-09-14 cs.CL
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia（微软亚洲研究院）
直接语音到语音翻译（S2 ST）是一个有吸引力的研究课题，与级联S2 ST相比具有许多优点。然而，直接S2 ST遭受数据稀缺的问题，因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题，我们在本文中提出了一个Speech 2S模型，该模型使用未配对的语音和双语文本数据进行联合预训练，用于直接语音到语音翻译任务。通过有效地利用成对的文本数据，Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明，与仅编码器的预训练模型相比，Speech 2S的BLEU分数提高了约5分，并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
Sharing Network Parameters for Crosslingual Named Entity Recognition
IBM Research India（IBM印度研究院）
用于命名实体识别的大多数现有技术方法依赖于手工制作的特征和注释的语料库。最近提出了基于神经网络的模型，它不需要手工制作的特征，但仍然需要注释的语料库。然而，这样的注释语料库可能不适用于许多语言。在本文中，我们提出了一个神经网络为基础的模型，允许共享解码器以及字和字符级参数之间的两种语言，从而允许资源幸运的语言，以帮助资源匮乏的语言。具体来说，我们专注于有限的注释语料库是在一种语言（$L_1$）和丰富的注释语料库是在另一种语言（$L_2$）。在$L_1$和$L_2$之间共享网络架构和参数导致$L_1$中的改进的性能。此外，我们的方法不需要任何手工制作的功能，而是直接从训练数据本身学习有意义的功能表示。我们用4种语言对进行了实验，结果表明，在资源受限的设置（较少注释的语料库）中，用另一种语言的数据联合训练的模型比只在一种语言的有限语料库上训练的模型表现更好。
2016-07-01 cs.CL
Emergent Translation in Multi-Agent Communication
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）；CIFAR Azrieli Global Scholar（加拿大高级研究院阿兹列利全球学者）
虽然迄今为止大多数机器翻译系统都是在大型并行语料库上训练的，但人类学习语言的方式不同：立足于环境并与其他人互动。在这项工作中，我们提出了一个通信游戏，两个代理，各自的语言的母语，共同学习解决视觉参考任务。我们发现，理解和翻译外语的能力是实现共同目标的一种手段。突现翻译具有交互性和多模态性，关键是不需要平行语料库，而只需要单语的、独立的文本和相应的图像。我们提出的翻译模型通过将源语言和目标语言接地到共享的视觉模态中来实现这一点，并且在单词级和句子级翻译任务上都优于几个基线。此外，我们表明，在多语言社区的代理学习翻译更好，更快，比在双语沟通设置。
2018-04-11 cs.AI cs.CL
Machine Translation for Nko: Tools, Corpora and Baseline Results
Stanford University（斯坦福大学）；Nko USA Inc.（Nko美国公司）；Friasoft（Friasoft公司）；Kofi Annan University（科菲·安南大学）
针对 Nko 语言缺乏机器翻译系统的问题，本文提出协作式语料整理工具、扩展语料库及基线模型，最佳英语-Nko 翻译 chrF++ 达 30.83。
2023-11-15 cs.CL cs.CY cs.HC
SAHAAYAK 2023 -- the Multi Domain Bilingual Parallel Corpus of Sanskrit to Hindi for Machine Translation
Asha M. Tarsadia Institute of Computer Science and Technology（阿莎·M·塔萨迪亚计算机科学与技术学院）；Uka Tarsadia University（乌卡·塔萨迪亚大学）
本文提出了名为 SAHAAYAK 2023 的大型多领域梵语-印地语双语平行语料库，包含 1.5M 句对，通过三步挖掘与规范化流程构建，可直接用于机器翻译算法。
2023-06-27 cs.CL
Automatic Construction of Discourse Corpora for Dialogue Translation
Dublin City University（都柏林城市大学）；Huawei Technologies（华为技术）
提出了一种面向对话机器翻译的平行语篇语料库自动构建方法。首先，从互联网上抓取并收集平行字幕数据和对应的单语电影剧本数据。然后通过信息检索方法将脚本数据中的说话人和话语边界等标签映射到字幕数据中，从而将单语话语映射为双语文本。我们不仅评估映射结果，而且将说话人信息整合到翻译中。实验结果表明，该方法在说话人和对话边界标注上的准确率分别达到81.79%和98.64%，基于说话人的语言模型自适应可以使翻译质量提高约0.5个BLEU点。最后，我们公开发布了大约10万个带有人工说话人和对话边界标注的并行话语数据。
2016-05-22 cs.CL
Bilingual Lexicon Induction for Low-Resource Languages using Graph Matching via Optimal Transport
Johns Hopkins University（约翰斯·霍普金斯大学）
双语词典形成了各种自然语言处理应用的关键组成部分，包括无监督和半监督机器翻译以及跨语言信息检索。我们提高双语词典归纳性能在40个语言对的图形匹配方法的基础上最佳运输。这种方法特别强大，但监督力度很小。
2022-10-25 cs.CL cs.LG
Noisy-parallel and comparable corpora filtering methodology for the extraction of bi-lingual equivalent data at sentence level
Polish Japanese Academy of Information Technology（波兰日本信息技术学院）
文本对齐和文本质量对于机器翻译（MT）系统、某些NLP工具以及任何其他需要双语数据的文本处理任务的准确性至关重要。本研究提出了一种基于波兰语（非位置敏感语言）的独立于语言的双句过滤方法。这种清理方法是在TED演讲语料库上开发的，最初也在维基百科的可比语料库上进行了测试，但它可以用于任何文本域或语言对。所提出的方法实现了句子比较的各种语法。其中一些利用同义词和文本的语义和结构分析作为附加信息。确保最大限度地减少数据丢失。讨论了使用该工具处理文本的MT系统评分的改进。
2015-10-15 cs.CL
Graph Algorithms for Multiparallel Word Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Université Paris-Saclay, CNRS, LISN（巴黎萨克雷大学、法国国家科学研究中心、计算机科学与数字技术实验室）
随着机器翻译中端到端深度学习方法的出现，对单词对齐的兴趣最初有所下降;然而，它们最近再次成为研究的焦点。对齐对于类型学研究很有用，可以将标记等格式转换为翻译文本，并且可以用于机器翻译系统的解码。与此同时，大规模多语言处理正在成为一个重要的NLP场景，并提出了真正多语言的预训练语言和机器翻译模型。然而，大多数对齐算法仅依赖于双文本，并且不利用许多并行语料库是多并行的这一事实。在这项工作中，我们利用语料库的多重并行性表示为一个图形的双语对齐的初始集合，然后预测在图中的额外的边缘。我们提出了两个图的边缘预测算法：一个是受推荐系统的启发，一个是基于网络链接预测。我们的实验结果表明，在不同的数据集上，$F_1$的绝对改善高达28%以上的基线双语单词对齐。
2021-09-13 cs.CL
Improving the Performance of English-Tamil Statistical Machine Translation System using Source-Side Pre-Processing
Amrita Vishwa Vidyapeetham（阿姆rita大学）；SRM University（SRM大学）
机器翻译是自然语言处理中最古老、最活跃的研究领域之一。统计机器翻译（SMT）是目前机器翻译研究的主流。统计机器翻译是机器翻译的一种方法，它使用模型直接从数据中学习翻译模式，并将其推广到翻译新的不可见文本。SMT方法在很大程度上是独立于语言的，即模型可以应用于任何语言对。统计机器翻译（SMT）试图利用统计方法生成基于双语文本语料库的译文。如果有这样的语料库，翻译相似的文本可以达到很好的效果，但这样的语料库仍然没有为许多语言对。统计机器翻译系统通常难以处理源端或目标端的词法，特别是对于词法丰富的语言。目标语言中的词法或句法错误会对句子的意义产生严重的影响。它们通过动词中不正确的时态信息改变词的语法功能或句子的理解。Baseline SMT也被称为基于短语的统计机器翻译（PBSMT）系统，它不使用任何语言信息，只对表面单词形式进行操作。近年来的研究表明，在双语语料较少的情况下，增加语言信息有助于提高译文的准确性。可以使用因子统计机器翻译系统通过预处理步骤来添加语言信息。本文研究了如何利用英文侧预处理来提高英文-泰米尔文SMT系统的准确性。
2014-09-29 cs.CL
Word Translation Without Parallel Data
Facebook AI Research（脸书人工智能研究院）；LIUM, University of Le Mans（勒芒大学语言与信息科学实验室）；Sorbonne Universités, UPMC Univ Paris 06, UMR 7606, LIP6（索邦大学、巴黎第六大学、法国国家科学研究中心与巴黎第六大学联合实验室7606、巴黎第六大学计算机科学实验室）
学习跨语言词嵌入的最新方法依赖于双语词典或平行语料库。最近的研究表明，并行数据监督的需要可以减轻字符级信息。虽然这些方法显示出令人鼓舞的结果，但它们与有监督的对应方法并不相同，并且仅限于共享共同字母表的语言对。在这项工作中，我们表明，我们可以建立两种语言之间的双语词典，而不使用任何平行的语料库，通过对齐单语词嵌入空间在无监督的方式。在不使用任何字符信息的情况下，我们的模型在某些语言对的跨语言任务上甚至优于现有的监督方法。我们的实验表明，我们的方法也非常适用于遥远的语言对，如英语-俄语或英语-汉语。最后，我们描述了英语世界语低资源的语言对上，只有有限的并行数据量的实验，以显示我们的方法在完全无监督机器翻译的潜在影响。我们的代码、嵌入和字典都是公开的。
2018-01-30 cs.CL
Complete Multilingual Neural Machine Translation
Google Research（谷歌研究院）
多语言神经机器翻译（MNMT）模型通常在以英语为中心（即英语作为源语言或目标语言）的双语语料库的联合集合上进行训练。虽然两种非英语语言之间的直接数据有时是明确可用的，但它的使用并不常见。在本文中，我们首先退一步，看看常用的双语语料库（WMT），并重新出现的存在和重要性的隐式结构中存在的：多路对齐跨例子（同一句话在两种以上的语言）。我们着手研究使用多方式对齐的例子，以丰富原来的英语为中心的平行语料库。我们从所有源语言和目标语言之间的多路对齐语料库中重新引入这种直接并行数据。通过这样做，以英语为中心的图扩展成一个完整的图，每个语言对都被连接起来。我们将这种连接模式的MNMT称为完整的多语言神经机器翻译（cMNMT），并通过一系列的实验和分析证明了它的实用性和有效性。结合仅以目标语言为条件的新的训练数据采样策略，cMNMT为所有语言对产生具有竞争力的翻译质量。我们进一步研究了多路对齐数据的大小效应，它的迁移学习能力以及它如何简化MNMT中添加新语言。最后，我们对cMNMT进行了大规模的压力测试，并证明我们可以训练一个具有多达111*112= 12，432个语言对的cMNMT模型，为所有语言对提供具有竞争力的翻译质量。
2020-10-20 cs.CL cs.LG
Extremely low-resource machine translation for closely related languages
University of Tartu（塔尔图大学）
一种有效的方法来改善极低资源的神经机器翻译是多语言训练，这可以通过利用单语数据使用反向翻译方法创建合成双语语料库来改善。这项工作的重点是乌拉尔语系的密切相关的语言：从爱沙尼亚和芬兰的地理区域。我们发现，多语言学习和合成语料库提高了我们有数据的每个语言对的翻译质量。我们证明了迁移学习和微调对于进行低资源机器翻译非常有效，并取得了最佳效果。我们收集了新的平行数据Vagrero，北，南萨米语和目前的神经机器翻译这些语言的第一个结果。
2021-05-27 cs.CL
The First Parallel Corpora for Kurdish Sign Language
University of Kurdistan Hewlêr（库尔德斯坦休勒大学）
该研究构建了首个库尔德语-库尔德手语平行语料库，提出基于虚拟形象的自动翻译方法，使用统计机器翻译引擎，BLEU准确率达53.8%，并计划公开资源。
2023-05-11 cs.CL
A Sentence Meaning Based Alignment Method for Parallel Text Corpora Preparation
Polish Japanese Institute of Information Technology（波兰日本信息技术学院）
文本对齐对于机器翻译（MT）系统、一些NLP工具或任何其他需要双语数据的文本处理任务的准确性至关重要。本研究提出了一种基于波兰语（非位置敏感语言）到英语实验的语言无关的句子对齐方法。这种对齐方法是在TED演讲语料库上开发的，但可以用于任何文本域或语言对。所提出的方法实现了句子识别的各种算法。其中一些重视同义词和语义文本结构分析作为附加信息的一部分。确保最大限度地减少数据丢失。将该解决方案与其他句子对齐实现进行比较。还示出了用所描述的工具处理文本的MT系统得分的改进。
2015-09-30 cs.CL cs.IR
Mining and Exploiting Domain-Specific Corpora in the PANACEA Platform
Universitat Pompeu Fabra（庞培法布拉大学）；Institute for Language and Speech Processing/Athena RIC（语言与语音处理研究所/雅典娜研究中心）；Dublin City University（都柏林城市大学）；ELDA（评估与语言资源分发协会）
PANACEA ICT-2007.2.2 EU项目的目标是建立一个平台，使MT系统所需的大型语言资源的获取、生产、更新和维护等阶段实现自动化。开发用于从网络中提取单语和双语数据的语料库获取组件（CAC）是PANACEA最具创新性的构建模块之一。CAC是PANACEA管道中用于构建语言资源的第一阶段，采用高效的分布式方法来抓取特定语言和预定义域中具有丰富文本内容的Web文档。CAC包括一些模块，这些模块可以从具有多种语言的域内内容的网站获取并行数据。为了对CAC方法进行进一步的评估，我们进行了几个实验，使用爬行的平行语料库，通过句子对齐来识别和提取平行句子。该语料库被成功地用于机器翻译系统的领域自适应。
2013-03-08 cs.CL
Building and Aligning Comparable Corpora
本文提出从维基百科和EURONEWS构建可比语料库，并比较基于词典与CL-LSI的跨语言对齐方法，实验证明CL-LSI在主题和事件层面均更优。
2025-08-04 cs.CL
Unsupervised comparable corpora preparation and exploration for bi-lingual translation equivalents
Polish-Japanese Academy of Information Technology（波兰-日本信息技术学院）
当今世界的多语言性使得翻译成为一项至关重要的要求。由人类构建的平行词典是一种广泛可用的资源，但它们是有限的，并且由于词汇表外的单词和新词而不能为高质量的翻译目的提供足够的覆盖范围。这促使了统计翻译系统的使用，不幸的是，统计翻译系统依赖于训练数据的数量和质量。这种系统的可用性非常有限，特别是对于某些语言和非常窄的文本域。在这项研究中，我们提出了我们的改进，目前可比语料库挖掘方法的比较算法（使用Needleman-Wunch算法）的重新实现，引入一个调优脚本和GPU加速的计算时间的改善。从维基百科中提取的双语数据进行实验，在各个领域。对于维基百科本身，引入了额外的跨语言比较语法。这些修改对挖掘数据的质量和数量以及翻译质量产生了积极影响。
2015-12-05 cs.CL stat.ML
