Translating Phrases in Neural Machine Translation
Soochow University(苏州大学);Tencent AI Lab(腾讯人工智能实验室)
短语在自然语言理解和机器翻译中发挥着重要作用(Sag等人,2002; Villavicencio等人,2005年)。然而,很难将它们集成到当前逐词阅读和生成句子的神经机器翻译(NMT)中。在这项工作中,我们提出了一种方法来翻译NMT中的短语,通过将存储目标短语的短语存储器从基于短语的统计机器翻译(SMT)系统集成到NMT的编码器-解码器架构中。在每个解码步骤中,短语存储器首先由SMT模型重写,SMT模型利用NMT模型提供的上下文信息动态地生成相关目标短语。然后,所提出的模型读取短语记忆中的所有短语的概率估计。如果进行短语生成,则NMT解码器从存储器中选择适当的短语以执行短语翻译,并通过消耗所选短语中的单词来更新其解码状态。否则,NMT解码器如一般NMT解码器那样从词汇表生成单词。实验结果表明,该模型在不同的测试集上都取得了显著的提高。
2017-08-07 cs.CL
Unlimited Vocabulary Grapheme to Phoneme Conversion for Korean TTS
本文描述了一种基于音素连通性和CCV转换规则的字素-音素转换方法。该方法主要由四个模块组成:词素规范化、断词检测、词素到音素转换和音素连通性检查。词素规范化是将非韩语符号替换为标准韩语字素。短语中断检测器使用词性(POS)信息分配短语中断。在词素到音素转换模块中,通过查找词素语音模式词典将短语中的每个词素转换为语音模式,该词素语音模式词典包含词素边界的候选语音变化。词素中的字形被分组为CCV模式,并通过CCV转换规则转换为音素。音素连接表支持相邻两个语音语素的语法性检查。在4,973个句子的语料库中,我们实现了99.9%的字素到音素转换性能和97.5%的句子转换性能。目前正在使用这种转换方法实现完整的韩语TTS系统。
1998-06-10 cmp-lg cs.CL
Beyond Word-based Language Model in Statistical Machine Translation
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Microsoft Research Asia(微软亚洲研究院)
语言模型是统计机器翻译中最重要的模块之一,目前基于词的语言模型占据主导地位。然而,许多翻译模型(例如,基于短语的模型)通过渲染和合成短语而不是单词来生成目标语言句子。因此,对短语之间的依赖关系进行建模更为合理,但很少有研究成功地解决了这个问题。本文通过设计一种新的基于短语的语言模型来解决这一问题,该模型试图解决三个关键子问题:1,如何在语言模型中定义短语; 2,如何在大规模单语数据中确定短语边界以扩大训练集; 3,如何缓解由于短语词汇量巨大而导致的数据稀疏问题。通过仔细处理这些问题,大量的汉英翻译实验表明,我们的基于短语的语言模型可以显着提高翻译质量高达+1.47绝对BLEU得分。
2015-02-05 cs.CL
Phrase Pair Mappings for Hindi-English Statistical Machine Translation
Indian Institute of Technology (IIT) Bombay(印度理工学院孟买分校)
在本文中,我们提出了我们的工作,创造词汇资源的机器翻译之间的英语和印地语。我们描述了短语对映射的发展,我们的实验和不同的训练模型之间的比较性能评估的基础上的统计机器翻译系统。我们致力于通过探索不同的方法来增加平行语料库中的词汇量以及各种屈折形式。我们使用各种词汇资源(例如词汇词、同义词、虚词和动词短语)扩展了训练语料库。我们已经描述了案例研究,自动和主观评价,详细的错误分析的英语到印地语和印地语到英语的机器翻译系统。进一步分析表明,随着各种词汇资源的使用,机器翻译的质量也在不断提高。因此,词汇资源确实有助于提高资源贫乏语言的翻译质量。
2017-11-10 cs.CL
Resolving Out-of-Vocabulary Words with Bilingual Embeddings in Machine Translation
TALP Research Center(TALP研究中心);Univesitat Politècnica de Catalunya(加泰罗尼亚理工大学)
词汇表外的单词在机器翻译系统中占很大比例的错误,特别是当系统在与训练它的领域不同的领域中使用时。为了缓解这个问题,我们建议使用一个基于对数双线性softmax的模型进行词汇扩展,这样,给定一个词汇外的源单词,该模型生成一个概率列表的可能的翻译在目标语言。我们的模型只使用在相当大的未标记单语语料库上训练的词嵌入,并在相当小的词到词的双语词典上训练。我们将此概率列表输入到标准的基于短语的统计机器翻译系统中,并在英语-西班牙语对上获得翻译质量的一致改进。特别是,我们得到了3.9 BLEU点的改进时,测试的域外测试集。
2016-08-05 cs.CL
Attention-based Vocabulary Selection for NMT Decoding
IBM T. J. Watson Research Center(IBM T. J. Watson研究中心)
神经机器翻译(NMT)模型通常使用大的目标词汇量来捕获目标语言中的大部分单词。在解码新句子时,词汇量是一个很大的因素,因为最终的softmax层会对所有可能的目标词进行归一化。为了解决这个问题,广泛使用基于源句子的候选列表来限制目标词汇。通常,候选列表是外部单词到单词对齐器、短语表条目或最频繁单词的组合。在这项工作中,我们提出了一种简单而新颖的方法,在NMT训练期间直接从注意力层学习候选列表。候选列表针对当前NMT模型进行了高度优化,并且不需要对候选池进行任何外部计算。与使用整个词汇表相比,我们显示出显着的解码速度加快,并且不会损失两种语言对的任何翻译质量。
2017-06-12 cs.CL
DYNAC: Dynamic Vocabulary based Non-Autoregressive Contextualization for Speech Recognition
Honda Research Institute Japan(本田研究院日本);Carnegie Mellon University(卡内基梅隆大学)
本文提出DYNAC,一种将动态词表集成到CTC中间层的自条件非自回归方法,在LibriSpeech 960上以0.1点词错误率代价将实时因子降低81%。
2025-05-31 cs.CL cs.SD eess.AS
On Using Very Large Target Vocabulary for Neural Machine Translation
Université de Montréal(蒙特利尔大学)
神经机器翻译是最近提出的一种纯粹基于神经网络的机器翻译方法,与现有的方法如基于短语的统计机器翻译相比,已经显示出有希望的结果。尽管最近取得了成功,但神经机器翻译在处理更大的词汇量方面有其局限性,因为训练复杂度以及解码复杂度与目标单词的数量成比例地增加。在本文中,我们提出了一种方法,使我们能够使用一个非常大的目标词汇,而不增加训练的复杂性,基于重要性采样。我们表明,解码可以有效地完成,即使与模型有一个非常大的目标词汇,只选择一个小的子集,整个目标词汇。经验发现,通过所提出的方法训练的模型优于具有小词汇量的基线模型以及基于LSTM的神经机器翻译模型。此外,当我们使用具有非常大的目标词汇的几个模型的集成时,我们在英语->德语翻译上实现了最先进的翻译性能(由BLEU测量),并且几乎与最先进的英语->法语翻译系统一样高。
2015-03-18 cs.CL
Bilingual Words and Phrase Mappings for Marathi and Hindi SMT
Indian Institute of Technology (IIT) Bombay(印度理工学院孟买分校)
缺乏合适的语言资源是机器翻译系统在处理资源贫乏语言时面临的主要挑战。在本文中,我们描述了有效的方法来利用词汇资源,以提高质量的统计机器翻译。我们对词汇资源使用的研究主要集中在两个方面,如:增加平行语料库的词汇量和提供多样化的词形。我们增加了各种词汇资源,如词汇词,功能词,kridanta对和动词短语的训练语料库。我们已经描述了马拉地语到印地语和印地语到马拉地语机器翻译系统的案例研究、评估和详细的错误分析。从评估中我们观察到,随着各种词汇资源使用的增加,机器翻译的质量也在不断提高。此外,在平行语料库有限的情况下,使用各种词汇资源有助于提高机器翻译的覆盖率和质量。
2017-11-10 cs.CL
Crowdsourced Phrase-Based Tokenization for Low-Resourced Neural Machine Translation: The Case of Fon Language
Jacobs University Bremen(雅各布大学不来梅);Technical University of Munich(慕尼黑工业大学)
为资源非常贫乏且形态丰富的非洲土著语言构建有效的神经机器翻译(NMT)模型是一个开放的挑战。除了为它们找到可用资源的问题外,还需要进行大量的预处理和标记化工作。最近的研究表明,标准的标记化方法并不总是能够充分处理某些非洲语言的语法、变音和音调属性。再加上训练样本的可用性极低,阻碍了可靠的NMT模型的产生。在本文中,使用Fon语言作为案例研究,我们重新审视了标准的标记化方法,并引入了基于单词表达式(WEB)的标记化,这是一种人工参与的超词标记化策略,可以创建更好的代表性词汇进行训练。此外,我们将我们的标记化策略与其他人在Fon-French和French-Fon翻译任务上进行了比较。
2021-03-17 cs.AI cs.CL
CUNI Systems for the Unsupervised News Translation Task in WMT 2019
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
在本文中,我们描述了用于ACL 2019第四届机器翻译会议(WMT 19)的无监督新闻共享任务的CUNI翻译系统。我们遵循Artexte et al.(2018 b)的策略,创建了一个基于种子短语的系统,其中短语表是从单语数据训练的跨语言嵌入映射初始化的,然后是在合成并行数据上训练的神经机器翻译系统。合成语料库是由一个单语语料库的调整PBMT模型,通过迭代回译细化。我们进一步关注命名实体的处理,即词汇表的一部分,其中跨语言嵌入映射受到最大的影响。我们的系统在德国-捷克WMT 19共享任务上的BLEU得分为15.3。
2019-07-29 cs.CL
An Efficient Character-Level Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学)
神经机器翻译旨在构建一个单一的大型神经网络,可以训练它以最大限度地提高翻译性能。具有注意力机制的编码器-解码器架构在英法翻译任务上实现了与现有的最先进的基于短语的系统相当的翻译性能。然而,大词汇量的使用成为训练和提高性能的瓶颈。在本文中,我们提出了一个有效的架构,训练一个深字符级神经机器翻译通过引入一个抽取器和一个抽取器。抽取器用于在编码之前对源序列进行采样,而采样器用于在解码之后对源序列进行重采样。这种深度模型有两大优势。它从根本上避免了大词汇量的问题;同时,它在训练中比传统的基于字符的模型更快,更节省内存。更有趣的是,我们的模型能够像人类一样翻译拼写错误的单词。
2016-08-19 cs.CL stat.ML
Evaluating Telugu Proficiency in Large Language Models_ A Comparative Analysis of ChatGPT and Gemini
本研究通过设计20个涵盖语法、词汇和推理等问题,对比评估了ChatGPT和Gemini在泰卢固语上的能力,揭示了两者在真实语言交互中的优缺点及适用性,为AI多语言发展提供参考。
2025-01-29 cs.CL cs.HC
Emojinize: Enriching Any Text with Emoji Translations
EPFL(洛桑联邦理工学院);TUHH(汉堡工业大学)
本研究提出Emojinize方法,借助大语言模型实现文本到表情符号的自动翻译,可上下文消歧、组合表达复杂概念,实验显示其提升词汇可猜测性效果优于人工,为多领域下游应用提供可能。
2024-03-07 cs.CL cs.HC