Connecting the Persian-speaking World through Transliteration
University of Florida(佛罗里达大学);Heinrich-Heine-University(海因里希·海涅大学)
本文提出基于Transformer的G2P方法解决塔吉克语与波斯语之间的音译问题,在新型双文字数据集上取得chrF++分数58.70和74.20,并分析两种文字的差异与挑战。
2025-02-27 cs.CL
AyutthayaAlpha: A Thai-Latin Script Transliteration Transformer
University of Zagreb, Faculty of Humanities and Social Sciences(萨格勒布大学人文与社会科学学院);Chulalongkorn University(朱拉隆功大学);Freyr Solutions(弗雷尔解决方案公司)
提出基于 transformer 的双模型泰文专名拉丁转写系统 AyutthayaAlpha,结合语言规则与 270 万扩充训练样本,取得领先准确率并兼顾文化与个人偏好。
2024-12-05 cs.AI cs.CL
Hybrid Approach to English-Hindi Name Entity Transliteration
Government Women Engineering College(政府女子工程学院)
印度语言的机器翻译研究仍处于起步阶段。在这一领域中,对名称实体的正确音译没有做太多的工作。在本文中,我们解决这个问题。我们使用英语印地语对我们的实验,并使用了混合的方法。首先,我们已经处理了英语单词使用基于规则的方法,从单词中提取单个音素,然后我们应用了统计方法,将英语转换为相应的印地语音素,并反过来相应的印地语单词。通过这种方法,我们达到了83.40%的准确率。
2014-03-28 cs.CL
Sequence to Sequence Networks for Roman-Urdu to Urdu Transliteration
NUCES Islamabad(巴基斯坦国立计算机与新兴科学大学伊斯兰堡校区)
神经机器翻译模型已经取代了传统的基于短语的统计翻译方法,因为前者采用通用的、可扩展的、数据驱动的方法,而不是依赖于人工的、手工制作的特征。神经机器翻译系统基于一个神经网络,该神经网络由两部分组成,一部分负责输入语言句子,另一部分处理期望的输出语言句子。该模型基于编码器-解码器架构,还将源语言的分布式表示作为输入,这丰富了学习的依赖关系,并为网络提供了一个热启动。在这项工作中,我们将罗马乌尔都语到乌尔都语的音译转化为序列到序列的学习问题。为此,我们作出以下贡献。我们创建了第一个罗马乌尔都语到乌尔都语的并行语料库,创建了第一个罗马乌尔都语的分布式表示,并提出了第一个将文本从罗马乌尔都语翻译为乌尔都语的神经机器翻译模型。我们的模型已经取得了国家的最先进的结果,使用BLEU作为评估指标。准确地说,我们的模型能够正确预测长度为10的句子,同时在测试集上获得48.6的BLEU分数。我们希望我们的模型和结果将作为使用分布式表示的神经机器翻译领域的进一步工作的基线。
2017-12-08 cs.CL
Sinhala Transliteration: A Comparative Analysis Between Rule-based and Seq2Seq Approaches
University of Moratuwa(莫拉图瓦大学);Massey University(梅西大学)
本研究针对低资源语言僧伽罗语的罗马化音译问题,提出了基于规则和基于Transformer的Seq2Seq两种方法,对比发现后者能更好地捕捉罗马化文字中的临时模式。
2024-12-31 cs.CL
Enhancing Cross-Lingual Transfer through Reversible Transliteration: A Huffman-Based Approach for Low-Resource Languages
Minzu University of China(中国民族大学);National Language Resource Monitoring & Research Center Minority Languages Branch(国家语言资源监测与研究中心少数民族语言分部);Institute of National Security, Minzu University of China(中国民族大学国家安全学院)
本文提出一种将字符转写与哈夫曼编码相结合的可逆转写框架,用于提升LLMs对低资源语言的处理能力,在保证无损转换的同时实现压缩、免词表扩展,并在多个下游任务中验证了有效性。
2025-09-22 cs.CL
A Tale of Two Scripts: Transliteration and Post-Correction for Judeo-Arabic
University of Cambridge(剑桥大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文提出双阶段方法自动转写犹太-阿拉伯语为阿拉伯文,并展示转写对阿拉伯NLP工具的促进作用。
2026-01-29 cs.CL
Improving the Quality of MT Output using Novel Name Entity Translation Scheme
Banasthali University(巴纳斯塔利大学)
本文提出了一种新的方法来机器翻译结合最先进的名称实体翻译方案。名称实体翻译不当会降低机器翻译输出的质量。在这项工作中,名称实体的音译使用统计规则为基础的方法。本文描述了从英语到旁遮普语的名称实体的翻译和音译。我们已经对四种类型的名称实体进行了实验,它们是:专有名称,位置名称,组织名称和杂项。为了音节化的目的,已经建立了各种规则。名称实体的音译是在概率计算的帮助下完成的。使用统计机器翻译工具包MOSES计算了所提取音节的N-Gram概率。
2013-10-02 cs.CL
HintedBT: Augmenting Back-Translation with Quality and Transliteration Hints
Google Research(谷歌研究院)
目标单语语料的回译是神经机器翻译中广泛使用的数据增强策略,尤其适用于低资源语言对。为了提高可用BT数据的有效性,我们引入了HintedBT --一种向编码器和解码器提供提示(通过标签)的技术。首先,我们提出了一种新的方法,使用高质量和低质量的BT数据,通过提供提示(作为编码器上的源标签),每个源-目标对的质量模型。我们没有过滤掉低质量的数据,而是表明这些提示使模型能够有效地从噪声数据中学习。其次,我们解决了预测源标记是否需要被翻译或音译为目标语言的问题,这在跨脚本翻译任务中是常见的(即,其中源和目标不共享所编写的脚本)。对于这种情况,我们建议使用额外的提示(作为解码器上的目标标签)来训练模型,这些提示提供了有关源代码所需操作(翻译或翻译和音译)的信息。我们进行实验和详细的分析标准WMT基准三个跨脚本低/中资源的语言对:{印地语,古吉拉特语,泰米尔语}到英语。我们的方法与五个强大而完善的基线相比毫不逊色。我们表明,使用这些提示,无论是单独和一起,显着提高翻译质量,并导致国家的最先进的性能在所有三种语言对在相应的双语设置。
2021-09-09 cs.AI cs.CL cs.LG
Data Augmentation for Maltese NLP using Transliterated and Machine Translated Arabic Data
University of Malta(马耳他大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
针对马耳他语与阿拉伯语系亲属语言存在的正字法差距,本文提出利用阿拉伯语资源通过音译方案、机器翻译方法及新型音译系统进行跨语言数据增强,显著提升了马耳他语NLP任务中单语和多语模型的性能。
2025-09-20 cs.CL
Exploiting Transliterated Words for Finding Similarity in Inter-Language News Articles using Machine Learning
Bahria University(巴赫里亚大学)
本文针对跨语言新闻相似性发现难题,提出结合英语-乌尔都语单词转写与词典的机器学习模型,以解决低资源语言场景下英语与乌尔都语新闻文章的相似性判断问题。
2022-05-29 cs.AI cs.CL cs.LG
DEEP: DEnoising Entity Pre-training for Neural Machine Translation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
已经表明,机器翻译模型通常为训练语料库中不常见的命名实体生成差的翻译。早期的命名实体翻译方法主要集中在音译上,忽略了翻译的句子语境,而且在领域和语言覆盖范围上受到限制。为了解决这一限制,我们提出了DEEP,一种去噪实体预训练方法,利用大量的单语数据和知识库来提高句子中命名实体的翻译准确性。此外,我们研究了一种多任务学习策略,该策略在实体增强的单语数据和并行数据上微调预训练的神经机器翻译模型,以进一步改进实体翻译。在三种语言对上的实验结果表明,\method在强去噪自动编码基线上有显著的改进,对于英语-俄语翻译,增益高达1.3 BLEU和高达9.2实体准确度点。
2021-11-14 cs.AI cs.CL
A machine transliteration tool between Uzbek alphabets
Urgench State University(乌尔根奇国立大学)
本文定义的机器音译是一种将源字母表中的文字自动转换为同一语言中另一个目标字母表中的文字,同时保留其含义和发音的过程。本文的主要目标是在低资源乌兹别克语中使用的三种常见脚本之间提供一个机器音译工具:旧西里尔文,目前官方拉丁文和新宣布的新拉丁字母。该工具是使用基于规则和微调方法相结合创建的。创建的工具可作为开源Python包以及包含公共API的基于Web的应用程序提供。据我们所知,这是第一个支持乌兹别克语新宣布的拉丁字母的机器音译工具。
2022-05-19 cs.CL
Machine Transliteration
翻译具有不同字母和语音库的各种语言的名称和技术术语具有挑战性。这些项目通常是音译,即,用近似的语音等价物代替。例如,英语中的“计算机”在日语中是“konpyuutaa”。将这些项目从日语翻译回英语更具挑战性,并且具有实际意义,因为音译项目占双语词典中找不到的文本短语的大部分。我们描述和评估的方法进行向后音译的机器。这种方法使用生成模型,在音译过程中纳入几个不同的阶段。
1997-04-14 cmp-lg cs.CL
Neural Machine Transliteration: Preliminary Results
Bayan Inc.(巴彦公司)
机器音译是将一个单词的文字从源语言自动转换为目标语言的过程,同时保留发音。序列到序列学习是近年来监督学习中出现的一种新的学习模式。本文提出了一种基于字符的编码器-解码器模型,该模型由两个递归神经网络组成。编码器是一个双向递归神经网络,它将符号序列编码为固定长度的向量表示,解码器使用基于注意力的递归神经网络生成目标序列。编码器、解码器和注意力机制被联合训练以在给定源序列的情况下最大化目标序列的条件概率。我们在不同数据集上的实验表明,所提出的编码器-解码器模型能够实现显着更高的音译质量比传统的统计模型。
2016-09-14 cs.CL
Egyptian Arabic to English Statistical Machine Translation System for NIST OpenMT'2015
Qatar Computing Research Institute(卡塔尔计算研究所);Columbia University(哥伦比亚大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文描述了QCRI-Columbia-NYUAD(QCN)小组提交给NIST OpenMT'2015竞赛的埃及阿拉伯语到英语统计机器翻译(SMT)系统。比赛的重点是非正式的阿拉伯方言,如短信,聊天和演讲中使用的。因此,我们的工作重点是处理和标准化阿拉伯语,例如,使用3arrib和MADAMIRA等工具。我们进一步训练了一个基于短语的SMT系统,使用最先进的功能和组件,如操作序列模型,基于类的语言模型,稀疏特征,神经网络联合模型,基于体裁的分层插值语言模型,无监督音译挖掘,短语表合并,和假设组合。我们的系统在所有三个流派中排名第二。
2016-06-18 cs.CL
Phonology-Augmented Statistical Framework for Machine Transliteration using Limited Linguistic Resources
Cornell University(康奈尔大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);National University of Singapore(新加坡国立大学)
音译转换源语言中的单词(例如,英语)转换成目标语言的单词(例如,越南语)。这种转换考虑了目标语言的语音结构,因为音译输出需要在目标语言中可发音。例如,越南语中以辅音群开头的单词在语音上是无效的,因此将是音译系统的错误输出。大多数统计音译方法,虽然被广泛采用,没有明确的模型目标语言的语音,这往往会导致无效的输出。在将外来词转换为目标语言的音译词时,可用的语言资源有限,这使得问题更加复杂。在这项工作中,我们提出了一个语音增强的统计框架,适用于音译,特别是当只有有限的语言资源。我们提出了伪音节的概念,作为一种结构,代表了如何根据目标语言的音系学音节的外国词的片段组织。我们对越南语和粤语进行了音译实验。我们表明,所提出的框架优于统计基线高达44.68%相对,当有有限的训练样本(587个条目)。
2018-10-07 cs.CL
Uzbek Cyrillic-Latin-Cyrillic Machine Transliteration
Copper City Labs
在本文中,我们介绍了一种数据驱动的方法来音译乌兹别克语字典单词从西里尔字母到拉丁字母,反之亦然。我们将源脚本中的单词字符与目标脚本中相应单词的子字符串对齐,并训练一个学习这些对齐的决策树分类器。在测试集上,我们的西里尔文到拉丁文模型实现了0.9992的字符级微平均F1得分,我们的拉丁文到西里尔文模型实现了0.9959的得分。我们的贡献是一种新的方法,为低资源的乌兹别克语生产机器音译文本。
2021-01-13 cs.CL
ChakmaNMT: Machine Translation for a Low-Resource and Endangered Language via Transliteration
University of Arizona(亚利桑那大学);Bangladesh University of Engineering and Technology(孟加拉工程与技术大学);University of Rochester(罗切斯特大学);Chittagong University of Engineering and Technology(丘比特工程与技术大学)
ChakmaNMT通过转写技术,利用孟加拉语和Chakma语的正字法关系,提升低资源语言的机器翻译效果。
2026-01-08 cs.CL
Neural Machine Translation on Scarce-Resource Condition: A case-study on Persian-English
Amirkabir University of Technology(阿米尔卡比尔理工大学)
神经机器翻译(NMT)是机器翻译(MT)的一种新方法,由于其成功的应用,引起了该领域研究者的广泛关注。在本文中,我们研究NMT模型的波斯语-英语语言对,分析模型,并调查的适当性,该模型的稀缺资源的情况下,存在的情况下,以波斯语为中心的翻译系统。我们调整了波斯语的模型,并找到了两个任务的最佳参数和超参数:翻译和音译。我们还在波斯数据集上应用了一些预处理任务,这使得BLEU分数增加了大约一个点。此外,我们还修改了损失函数,以增强模型的单词对齐。这个新的损失函数在翻译质量的BLEU评分方面总共提高了1.87分。
2017-01-07 cs.CL
Assamese-English Bilingual Machine Translation
Gauhati University(高哈蒂大学)
机器翻译是将文本从一种语言翻译成另一种语言的过程。本文利用阿萨姆语和英语的平行语料库,对阿萨姆语和英语进行了统计机器翻译。这里使用了一个基于统计短语的翻译工具包Moses。为了开发语言模型和对齐单词,我们分别使用了另外两个工具IRSTLM和GIZA。BLEU评分用于检查我们的翻译系统性能,它有多好。在BLEU分数的差异,而获得翻译句子从阿萨姆语到英语,反之亦然。由于印度语言在形态上非常丰富,因此从英语到阿萨姆语的翻译相对较难,导致BLEU分数较低。我们的翻译系统还引入了一个统计音译系统,基本上处理专有名词,OOV(词汇表外)的话,这是不存在于我们的语料库。
2014-07-08 cs.CL
How Grammatical is Character-level Neural Machine Translation? Assessing MT Quality with Contrastive Translation Pairs
University of Edinburgh(爱丁堡大学)
从历史上看,分析特定语言现象的翻译质量是困难和耗时的。神经机器翻译具有吸引人的特性,它可以为任意翻译产生分数,我们提出了一种新的方法来评估NMT系统对特定语言现象的建模效果,例如长距离协议,新单词的产生以及极性的忠实翻译。其核心思想是,我们衡量是否参考翻译更可能在NMT模型下比对比翻译,介绍了一种特定类型的错误。我们提出了LingEval 97,一个基于WMT英语->德语翻译任务的97000个对比翻译对的大规模数据集,使用简单的规则自动创建错误。我们报告了一些系统的结果,发现最近推出的字符级NMT系统在音译方面比字节对编码(BPE)分割的模型表现更好,但在形态句法协议和翻译不连续的意义单位方面表现更差。
2017-02-13 cs.CL
Neural Machine Translation of Rare Words with Subword Units
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Samsung Electronics Polska sp. z o.o. - Samsung R&D Institute Poland(三星电子波兰有限公司——三星波兰研发中心)
神经机器翻译(NMT)模型通常使用固定的词汇表进行操作,但翻译是一个开放词汇表问题。以前的工作解决了词汇表外的单词的翻译,通过备份到字典。在本文中,我们介绍了一种更简单,更有效的方法,使NMT模型能够开放词汇翻译的编码罕见和未知的单词作为序列的子词单位。这是基于这样的直觉,即各种词类可以通过比单词更小的单位来翻译,例如名称(通过字符复制或音译),复合词(通过组合翻译),同源词和外来词(通过语音和形态转换)。我们讨论了不同的分词技术,包括简单的字符n-gram模型和分割的基础上的字节对编码压缩算法的适用性,并实证表明,子词模型提高了退避字典基线的WMT 15翻译任务英语-德语和英语-俄语的1.1和1.3 BLEU,分别。
2016-06-10 cs.CL
Gui at MixMT 2022 : English-Hinglish: An MT approach for translation of code mixed data
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
代码混合机器翻译已经成为多语言社区的一项重要任务,并且将机器翻译的任务扩展到代码混合数据已经成为这些语言的共同任务。在WMT 2022的共享任务中,我们试图解决英语+印地语到印度式英语和印度式英语到英语的相同问题。第一个任务处理罗马和梵文脚本,因为我们有英语和印地语的单语数据,而第二个任务只有罗马脚本的数据。据我们所知,我们在单语到混合语机器翻译的第一个任务中获得了最高的ROUGE-L和WER分数。在本文中,我们讨论了使用mBART与一些特殊的前处理和后处理(从梵文罗马音译)的第一个任务的详细和实验,我们进行的第二个任务的代码混合印度式英语翻译成单语英语。
2022-10-21 cs.CL
A Systematic Benchmark of Machine Transliteration Models for the Tajik-Farsi Language Pair: A Comparative Study from Rule-Based to Transformer Architectures
Institute of Computational Mathematics and Information Technologies(计算数学与信息科技学院);Kazan Federal University(卡兹安联邦大学)
本文通过构建多源平行语料库,系统比较了从基于规则到Transformer的六类模型,发现字节级ByT5在塔吉克-波斯语音译任务中表现最优(chrF++ 87.4/80.1),而基于子词的分词模型完全失败。
2026-06-01 cs.CL
Training a Bilingual Language Model by Mapping Tokens onto a Shared Character Space
Reichman University(赖希曼大学)
本文通过将阿拉伯语文本转写为希伯来文字,在共享字符空间上训练双语语言模型,以较小数据集在阿-希双向机器翻译中取得与更大模型可比的效果。
2024-02-25 cs.CL cs.LG
Learning to pronounce as measuring cross-lingual joint orthography-phonology complexity
机器学习模型可以让我们通过显示每种语言的任务学习和表现有多难来比较语言。按照这条调查路线,我们通过对字素到音素(g2 p)音译的任务建模来探索是什么让一种语言“难以发音”。通过在22种语言中训练一个字符级的Transformer模型,并测量该模型对字形和音素库存的熟练程度,我们发现,在学习发音方面,出现了某些特征,这些特征将更容易和更难的语言分开。也就是说,一种语言从正字法到发音的复杂性是由于它的形素到音素映射的表达性或简单性。进一步的讨论说明了未来的研究应该如何考虑每种语言的相对数据稀疏性,以设计更公平的跨语言比较任务。
2022-02-09 cs.CL
Charles Translator: A Machine Translation System between Ukrainian and Czech
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Faculty of Arts(艺术学院)
本文介绍乌克兰语—捷克语机器翻译系统 Charles Translator,采用直接翻译与块回译利用单语数据,并提供网页和 Android 应用。
2024-04-10 cs.CL
Improving Statistical Machine Translation for a Resource-Poor Language Using Related Resource-Rich Languages
Qatar Computing Research Institute(卡塔尔计算研究所);National University of Singapore(新加坡国立大学)
我们提出了一种新的语言独立的方法,通过利用资源丰富的语言的相似性,提高资源贫乏的语言的机器翻译。更准确地说,我们改进了从资源贫乏的源语言X_1到资源丰富的语言Y的翻译,给定了包含有限数量的X_1-Y的平行句子的双文本和包含与X_1密切相关的资源丰富的语言X_2的X_2-Y的较大双文本。这是通过利用语言X_1和X_2在拼写、词序和语法方面的词汇重叠和相似性来实现的:(1)我们为资源贫乏的语言改进了单词对齐,(2)我们通过额外的翻译选项进一步增强了它,以及(3)我们通过适当的音译来照顾潜在的拼写差异。印度尼西亚语- >英语使用马来语和西班牙语->英语使用葡萄牙语和假装西班牙语是资源贫乏的评估分别显示了高达1.35和3.37 BLEU点的绝对增益,这是最好的竞争方法的改进,同时使用更少的额外数据。总的来说,我们的方法将必要的“真实训练数据”的数量减少了2- 5倍。
2014-01-23 cs.CL
Leveraging Multilingual News Websites for Building a Kurdish Parallel Corpus
Insight Centre for Data Analytics(数据 analytics 洞察中心);National University of Ireland Galway(爱尔兰国立高威大学);University of Kurdistan Hewlêr(埃尔比勒库尔德斯坦大学);Koya University(科亚大学)
机器翻译已经成为自然语言处理发展的主要动力。尽管由于深度学习方法,在创建更高效的机器翻译系统方面取得了迅速的成就,但平行语料库仍然是该领域进步不可或缺的。在试图创建平行语料库的库尔德语,在本文中,我们描述了我们的方法在检索潜在的可重复的新闻文章从多语言网站和手动对齐它们跨方言和语言的基础上的词汇相似性和音译脚本。我们提出了一个语料库,包含12,327翻译对库尔德语,索拉尼语和Kurmanji的两个主要方言。我们还提供1,797和650对英语-Kurmanji和英语-Sorani翻译。该语料库在CC BY-NC-SA 4.0许可证下公开可用。
2020-10-04 cs.CL
Swa Bhasha: Message-Based Singlish to Sinhala Transliteration
Informatics Institute of Technology(信息学技术学院)
针对Sinhala语言音译复杂耗时的问题,提出基于规则与模糊逻辑的Swa Bhasha系统,通过数字编码和字典映射实现Singlish到Sinhala的词级音译,提升用户体验。
2024-04-20 cs.CL
Exploring Linguistic Similarity and Zero-Shot Learning for Multilingual Translation of Dravidian Languages
PES University(PES大学)
本文利用音译和语言相似性构建单编码器-解码器模型,在达罗毗荼语系多语言翻译中实现零样本翻译,并在50%语言方向上训练时达到与大规模枢轴模型相差3 BLEU以内的性能。
2023-08-10 cs.CL cs.CV
A systematic comparison of methods for low-resource dependency parsing on genuinely low-resource languages
University of Edinburgh(爱丁堡大学);University of Copenhagen(哥本哈根大学)
解析器只适用于世界上少数几种语言,因为它们需要大量的训练数据。仅仅使用少量的训练数据,我们能走多远?我们系统地比较了一组简单的策略,以改善低资源解析器:数据增强,这还没有被测试过;跨语言的培训;和音译。通过对三种类型多样的低资源语言--北萨米语、加利西亚语和哈萨克语--的实验,我们发现:(1)当只有低资源树库可用时,数据增强非常有用;(2)当相关的高资源树库可用时,跨语言训练是有用的,并且补充了数据增强;(3)当高资源树库使用不同的书写系统时,音译到共享的正字法空间中也是非常有帮助的。
2019-09-06 cs.CL
ParsTranslit: Truly Versatile Tajik-Farsi Transliteration
Zoorna Institute(佐尔纳研究所);Heinrich-Heine Universität(海因里希·海涅大学);University of Florida(佛罗里达大学)
针对波斯语双文字系统(波斯-阿拉伯字母与塔吉克-西里尔字母)转写缺乏跨领域通用性的问题,提出基于序列到序列的ParsTranslit模型,整合所有可用数据集并新增两个数据集,在跨领域基准上取得领先性能。
2025-10-08 cs.CL
A Comparison of Approaches to Document-level Machine Translation
Facebook AI Research(脸书人工智能研究院)
文档级机器翻译对周围句子的条件,以产生连贯的翻译。随着自定义模型架构和解码算法的引入,在这一领域最近已经有了很多工作。本文提出了一个系统的比较,从文献中选择的方法对两个基准文件级的现象评估套件存在。我们发现,一个简单的方法,纯粹基于回翻译单语文档级数据执行以及更详细的替代品,无论是在文档级的指标,以及人类的评价。
2021-01-26 cs.CL
An Empirical Comparison of Simple Domain Adaptation Methods for Neural Machine Translation
Japan Science and Technology Agency(日本科学技术振兴机构);Kyoto University(京都大学)
本文提出了一种新的神经机器翻译领域自适应方法--“混合微调”。我们结合现有的两种方法,即微调和多域NMT。我们首先在一个域外平行语料库上训练一个NMT模型,然后在一个混合了域内和域外语料库的平行语料库上对其进行微调。所有语料库都增加了人工标签,以指示特定的领域。我们经验比较我们提出的方法对微调和多域的方法,并讨论其优点和缺点。
2017-02-03 cs.CL
PJAIT Systems for the IWSLT 2015 Evaluation Campaign Enhanced by Comparable Corpora
Polish-Japanese Academy of Information Technology(波兰-日本信息技术学院)
在本文中,我们试图改善统计机器翻译(SMT)系统上的一个非常多样化的语言对(在两个方向):捷克语-英语,越南语-英语,法语-英语和德语-英语。为了实现这一目标,我们进行了翻译模型训练,为每个语言对创建了训练设置的适应性,并为我们的SMT系统获得了可比的语料库。采用了创新工具和数据调整技术。用于IWITH 2015评估活动的TED平行文本语料库被用于训练语言模型,以及开发,调整和测试系统。此外,我们准备了基于维基百科的可比语料库,用于我们的SMT系统。该数据被指定为IWEC 2015评价的允许数据。我们探讨了使用领域自适应技术,对称词对齐模型,无监督音译模型和KenLM语言建模工具。为了评估不同准备对翻译结果的影响,我们进行了实验,并使用了BLEU,NIST和TER指标。我们的研究结果表明,我们的方法产生了积极的影响SMT质量。
2015-12-05 cs.CL stat.ML
Comparison of SMT and RBMT; The Requirement of Hybridization for Marathi-Hindi MT
IIT Bombay(印度理工学院孟买分校)
我们在本文中提出了我们的工作之间的统计机器翻译(SMT)和基于规则的机器翻译从马拉地语到印地语的翻译比较。基于规则的系统虽然健壮,但需要大量的时间来构建。另一方面,统计机器翻译系统更容易创建、维护和改进。我们描述了一个基本的马拉地印地语SMT系统的发展,并评估其性能。通过详细的误差分析,指出了两种系统的优缺点。实际上,我们将看到,即使使用少量的训练语料库,统计机器翻译系统对于高质量的领域特定机器翻译也比基于规则的对应物具有许多优点。
2017-03-10 cs.CL
TurkicNLP: An NLP Toolkit for Turkic Languages
Computational Linguistics University of Potsdam(计算语言学波茨坦大学)
提出一个统一的、开源的Python库TurkicNLP,通过模块化多后端架构支持四种文字体系的突厥语言,提供分词、形态分析、词性标注、依存句法、命名实体识别、跨文字转写、跨语言句子嵌入和机器翻译等功能。
2026-10-12 cs.CL
Retrieving Examples from Memory for Retrieval Augmented Neural Machine Translation: A Systematic Comparison
Sorbonne Université(索邦大学);ChapsVision(沙普斯视觉公司)
本文系统比较RAMT中不同上游检索方法对自回归、编辑式和上下文学习LLM等翻译架构的影响,发现检索选择及示例数量、多样性会影响翻译性能。
2024-04-03 cs.CL
A Correlational Encoder Decoder Architecture for Pivot Based Sequence Generation
IBM Research India(IBM印度研究院);University of Montreal(蒙特利尔大学);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);New York University(纽约大学)
基于中间语言的机器翻译(MT)旨在将多种语言编码成共同的语言表示,然后从该表示解码多种目标语言的句子。在这项工作中,我们在神经编码器/解码器架构的背景下探索这个想法,尽管规模较小,并且没有MT作为最终目标。具体来说,我们考虑三种语言或模态X、Z和Y的情况,其中我们感兴趣的是从X中可用的信息开始在Y中生成序列。然而,在X和Y之间没有并行的训练数据可用,但是训练数据在X & Z和Z & Y之间可用(如在许多现实世界应用中经常出现的情况)。因此,Z充当枢轴/桥。一个明显的解决方案可能不那么优雅,但在实践中工作得很好,那就是训练一个两阶段模型,首先从X转换到Z,然后从Z转换到Y。相反,我们探索了一种受国际语言启发的解决方案,该解决方案共同学习执行以下操作:(i)将X和Z编码为公共表示,以及(ii)从该公共表示中解码Y。我们在两个任务上评估我们的模型:(i)桥梁音译和(ii)桥梁字幕。我们在这两个应用程序中报告有希望的结果,并认为这是一个正确的一步真正interlingua启发的编码器解码器架构。
2016-06-15 cs.CL
Using CollGram to Compare Formulaic Language in Human and Neural Machine Translation
Universite catholique de Louvain(鲁汶天主教大学)
对高质量报纸文章的人工和神经机器翻译中公式化序列的比较表明,神经机器翻译包含较少的低频但强关联的公式化序列,以及更多的高频公式化序列。这些差异具有统计学显著性,效应量几乎总是中等或大。这些观察结果可能与不同水平的第二语言学习者之间以及翻译文本和未翻译文本之间的差异有关。神经机器翻译系统之间的比较表明,一些系统产生更多的公式化序列的两种类型比其他系统。
2021-07-23 cs.CL
Multilingual Neural Machine Translation System for Indic to Indic Languages
Indian Institute of Technology (IIT), Varanasi(印度理工学院(IIT)瓦拉纳西分校);Indian Institute of Technology, Patna(印度理工学院巴特那分校)
本文构建了11种印度语言间的多语言神经机器翻译基线模型,评估语言亲缘关系与英语枢轴策略,并引入音译改进,最佳PA-HI模型在Flores-200上取得24.29 BLEU。
2023-06-22 cs.CL
5-Dialects-BN: Unmasking the Impact of Transliteration on Bangla Dialectal LLMs
BRAC University(BRAC大学);Penta Global Limited(Penta Global有限公司);University of Central Florida(中佛罗里达大学);Independent University, Bangladesh(孟加拉独立大学)
针对孟加拉语方言资源匮乏问题,构建首个多标注方言基准5-Dialects-BN,含6,000条五种方言数据,支持方言识别、归一化、翻译等任务,为方言感知NLP提供评估基础。
2026-09-10 cs.CL
Connecting Phrase based Statistical Machine Translation Adaptation
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(信息通信研究机构)
虽然统计机器翻译(SMT)可以使用更多的附加语料,但只有那些与原始语料属于相同或相似领域的语料才能直接提高SMT的性能。现有的改编方法大多集中在句子选择上。相比之下,短语是一个更小,更细粒度的数据选择单元,因此,我们提出了一个简单而有效的连接短语的适应方法,这是适用于双语短语对和单语n-gram适应。在IWELT/NIST数据集上对该方法进行了测试,结果表明,基于短语的SMT性能得到了显著提高(与基于短语的SMT基线系统相比提高了+1.6,与现有方法相比提高了+0.9).
2016-07-29 cs.CL
Benchmarking Arabic--Russian Machine Translation: A Comparison of Fine-tuned NMT and Few-shot LLMs under Rich Morphology and Low Lexical Overlap
Kazan Federal University(喀山联邦大学)
本研究针对阿拉伯语-俄语低资源翻译,对比微调NMT与少样本LLM,发现微调NLLB-1.3B以BLEU 16.3领先,显著优于LLM,低词汇重叠为主要挑战。
2026-09-25 cs.CL
The Comparison of Translationese in Machine Translation and Human Transation in terms of Translation Relations
Ghent University(根特大学);KU Leuven(鲁汶大学)
本研究从翻译关系视角对比神经机器翻译与人工翻译的差异,通过标注两个同源不同译的多体裁平行语料库发现,NMT更依赖直译,句法非直译表现与人工相当但语义层面落后。
2024-03-27 cs.CL
Towards Cross-Cultural Machine Translation with Retrieval-Augmented Generation from Multilingual Knowledge Graphs
Sapienza University of Rome(罗马第一大学);Adobe(奥多比公司);Apple(苹果公司)
本文针对包含文化相关实体名称的跨文化翻译问题,提出首个大规模人工基准XC-Translate和基于多语言知识图谱稠密检索的端到端方法KG-MT,实验显示其性能大幅超越NLLB-200和GPT-4等现有方法。
2024-10-17 cs.AI cs.CL
Machine Translation Pre-training for Data-to-Text Generation -- A Case Study in Czech
Google(谷歌)
虽然有大量的研究在研究从结构化数据生成文本的深度学习方法,但几乎所有的研究都纯粹集中在英语上。在本文中,我们研究的有效性机器翻译基于预训练的数据到文本生成在非英语语言。由于结构化数据通常用英语表达,因此将文本生成为其他语言涉及翻译,音译和复制的元素-这些元素已经在神经机器翻译系统中编码。此外,由于数据到文本语料库通常很小,因此这项任务可以从预训练中受益匪浅。基于我们对捷克语(一种形态复杂的语言)的实验,我们发现预训练可以让我们训练端到端模型,并通过自动指标和人工评估来判断其性能。我们还表明,这种方法具有几个理想的属性,包括在低数据情况下的性能提高和鲁棒性看不见的时隙值。
2020-04-05 cs.CL
Irony Detection in Urdu Text: A Comparative Study Using Machine Learning Models and Large Language Models
The University of Central Punjab (UCP)(旁遮普中央大学);Instituto Politécnico Nacional (IPN)(墨西哥国立理工学院)
本研究通过翻译英文讽刺语料库,比较机器学习与大型语言模型在乌尔都语讽刺检测中的性能,发现LLaMA 3 (8B)以94.61%的F1分数最优,验证了音译与现代NLP结合的有效性。
2025-10-25 cs.CL
Named Entity Recognition for Electronic Health Records: A Comparison of Rule-based and Machine Learning Approaches
University of Edinburgh(爱丁堡大学)
本文研究了电子健康记录(EHR)数据中文本的命名实体识别(NER)的多种方法。特别是,我们研究了(i)基于规则,(ii)深度学习和(iii)迁移学习系统在脑成像报告中的NER任务中的应用,重点是中风患者的记录。我们探讨每种方法的优点和缺点,制定规则和训练的一个共同的数据集,并评估每个系统的性能,从两个来源(脑成像报告在ESS -爱丁堡中风研究NHS洛锡安收集的数据,以及在NHS泰赛德创建的放射学报告)的苏格兰放射学报告的共同测试集。我们的比较表明,手工制作的系统是自动标记EHR的最准确的方法,但机器学习方法可以提供一个可行的替代方案,手动系统的资源是不容易获得的。
2019-06-05 cs.AI cs.CL
A Comprehensive Comparison of Machine Learning Based Methods Used in Bengali Question Classification
United International University(联合国际大学)
QA分类系统将人类提出的问题映射到适当的答案类别。一个好的问题分类系统模型是一个好的问答系统的前提。这项工作演示了组装QA类型分类模型的各个阶段。我们提出了一个全面的比较(性能和计算复杂性)之间的一些机器学习为基础的方法在孟加拉语的质量控制。
2019-11-19 cs.CL
Machine Learning Algorithms for Depression Detection and Their Comparison
Central University of Kashmir(克什米尔中央大学);IIT Patna(印度理工学院巴特那分校);University of Kashmir(克什米尔大学)
文本情商在社交媒体平台上利用人类情感方面发挥着无处不在的重要作用。社交媒体平台拥有情感内容的特权,并被用于各种目的,如意见挖掘,情感挖掘和情感分析。这一数据分析也有助于预防社交媒体用户的在线欺凌、自杀预防和抑郁症检测。在这篇文章中,我们设计了一个自动抑郁检测在线社交媒体用户通过分析他们的社交媒体行为。所设计的抑郁症检测分类可以有效地用于挖掘用户的社交媒体交互,并且可以确定社交媒体用户是否患有抑郁症。底层分类器使用情感人工智能中最先进的技术制成,包括LSTM(长短期记忆)和其他机器学习分类器。分类器的最高准确率约为LSTM的70%,而SVM的最高准确率为81.79%。我们在文献中广泛用于情感挖掘任务的数据集上训练分类器。最后给出了结果的混淆矩阵。
2023-01-09 cs.AI cs.CL cs.IR
How do Language Models Generate Slang: A Systematic Comparison between Human and Machine-Generated Slang Usages
Data Science Institute University of Chicago(芝加哥大学数据科学研究所);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文系统比较人类与GPT-4o、Llama-3生成的俚语用法,从偏差特征、创造性和信息量三方面评估,发现LLM虽掌握俚语创造性知识但与人类认知存在显著偏差,尚不足以支撑语言分析等外推任务。
2025-09-19 cs.AI cs.CL cs.LG