Machine Translation Approaches and Survey for Indian Languages
COMSAT University(COMSATS大学);University of Edinburgh(爱丁堡大学)
在这项研究中,我们提出了一个分析关于国家的最先进的基于短语的统计机器翻译(SMT)的性能在多种印度语言。我们报告几种语言对的基线系统。本研究的动机是促进这些语言对的SMT和语言资源的发展,因为目前的国家的最先进的是相当暗淡的,由于稀疏的数据资源。SMT系统的成功取决于大型并行语料库的可用性。这些数据对于可靠地估计翻译概率是必要的。我们报告了从印度语言(孟加拉语,Guajarati,印地语,马拉雅拉姆语,旁遮普语,泰米尔语,泰卢固语和乌尔都语)翻译成英语的基线系统的性能,所有语言对的平均准确率为10%。
2017-01-16 cs.CL
Crosslingual Optimized Metric for Translation Assessment of Indian Languages
本文针对印度语言翻译自动评估数据匮乏问题,构建覆盖13种语言、21个翻译方向的人工评估数据集,并训练神经指标COMTAIL,在涉及印度语言的翻译对评估上显著超越现有方法。
2025-09-22 cs.CL
Translation Of Telugu-Marathi and Vice-Versa using Rule Based Machine Translation
在当今的数字世界中,一种语言到另一种语言的自动化机器翻译已经走过了很长的路,以实现不同类型的成功故事。虽然Babel Fish支持大量的外语,但只有印度语中的印地语,而Google翻译则支持大约10种印度语言。虽然大多数自动机器翻译系统都做得很好,但处理印度语言时需要特别小心,同时处理当地的谚语/成语。大多数机器翻译系统在将一种印度语言翻译成另一种印度语言时遵循直接翻译方法。我们在KMIT R & D Lab的研究发现,早期的研究工作对处理当地谚语/成语没有给予足够的重视。本文重点介绍两种主要的印度语言马拉地语和泰卢固语,以及它们之间的翻译。对英汉谚语和成语的处理也给予了特别的关注,研究成果在这方面取得了显著的成就。
2014-06-16 cs.CL
Utilizing Language Relatedness to improve Machine Translation: A Case Study on Languages of the Indian Subcontinent
Microsoft India(微软印度);Indian Institute of Technology Bombay(印度理工学院孟买分校)
在这项工作中,我们提出了一个广泛的研究,统计机器翻译涉及印度次大陆的语言。这些语言通过遗传和接触关系而相互关联。我们描述了这些关系所产生的印度语之间的相似之处。我们探讨如何词汇和拼写这些语言之间的相似性,可以利用有限的平行语料库,以提高印度语之间的翻译质量。我们还探讨了如何利用印度语之间的结构对应关系,以重新使用英语到印度语翻译的语言资源。我们的观察涵盖了来自9种印度语言和英语的90种语言对。据我们所知,这是第一个专门致力于利用语言相关性来改善相关语言之间翻译的大规模研究。
2020-03-19 cs.CL
Multitask Finetuning for Improving Neural Machine Translation in Indian Languages
Savitribai Phule Pune University(萨维特里拜·普纳大学)
基于Transformer的语言模型在自然语言处理的所有领域都取得了令人印象深刻的结果。在语言建模任务上对这些模型进行预训练,并在文本分类、问答和神经机器翻译等下游任务上对它们进行微调,一直显示出示范性的结果。在这项工作中,我们提出了一个多任务微调方法,它结合了双语机器翻译任务与辅助因果语言建模任务,以提高性能的前一个任务上的印度语言。我们对三种语言对进行了实证研究,马拉地语-印地语,马拉地语-英语和印地语-英语,在那里我们将多任务微调方法与标准微调方法进行了比较,为此我们使用了mBART 50模型。我们的研究表明,多任务微调方法可能是一种比标准微调更好的技术,可以提高跨语言对的双语机器翻译。
2021-12-03 cs.CL
Neural Machine Translation for Low-Resourced Indian Languages
Delhi Technological University (Formerly Delhi college of Engineering)(德里理工大学(原德里工程学院))
网上有大量重要的英文资料,这些资料经常被翻译成当地语言,以方便不太熟悉英文的当地人分享信息。然而,手动翻译是一个非常繁琐、昂贵和耗时的过程。为此,机器翻译是一种有效的方法,可以将文本转换为不同的语言,而无需任何人工参与。神经机器翻译(NMT)是现有机器翻译系统中最成熟的翻译技术之一。在本文中,我们已经应用NMT两个最形态丰富的印度语言,即英语泰米尔语和英语马拉雅拉姆语。我们提出了一种新的NMT模型,使用多头自注意力以及预训练的字节对编码(BPE)和MultiBPE嵌入来开发一个有效的翻译系统,该系统克服了低资源形态丰富的印度语言的OOV(词汇量不足)问题,这些语言在网上没有太多的翻译。我们还从不同的来源收集语料,解决这些公开可用的数据的问题,并完善它们以供进一步使用。我们使用BLEU分数来评估我们的系统性能。实验结果和调查证实,我们提出的翻译(24.34和9.78 BLEU分数)优于谷歌翻译(9.40和5.94 BLEU分数)分别。
2020-04-19 cs.CL
How effective is Multi-source pivoting for Translation of Low Resource Indian Languages?
Indian Institute of Technology Bombay(印度理工学院孟买分校);NICT(日本情报通信研究机构);IIT Madras(印度理工学院马德拉斯分校)
本文针对低资源印度语言机器翻译问题,探索结合源语句与枢轴语句的多源枢轴翻译方法,实验发现该方法较现有最优仅获边际提升,但可通过合成目标语数据增强效果,为低资源翻译提供了有前景的方向。
2024-06-19 cs.CL
Revisiting Low Resource Status of Indian Languages in Machine Translation
IIIT Hyderabad(国际信息技术研究所海得拉巴分校);University of Bath(巴斯大学)
印度语言机器翻译的性能受到阻碍,由于缺乏大规模的多语言句子对齐语料库和强大的基准。通过本文,我们提供并分析了一个自动化的框架,以获得这样的语料库的印度语言神经机器翻译(NMT)系统。我们的管道包括一个基线NMT系统,一个检索模块和一个对齐模块,用于与政府新闻稿等公开网站合作。对这项工作的主要贡献是获得一种增量方法,该方法使用上述管道来迭代地改进语料库的大小,并改进我们系统的每个组件。通过我们的工作,我们还评估了设计的选择,如选择旋转语言和迭代增量增加语料库大小的影响。我们的工作,除了提供一个自动化的框架,还导致生成一个相对较大的语料库相比,现有的语料库,可用于印度语言。该语料库帮助我们在公开可用的WAT评估基准和其他标准评估基准上获得大幅改进的结果。
2020-11-04 cs.CL
COILD: An Indic-Centric Parallel Corpus and Benchmark for Machine Translation Across Indian Languages
IIT Patna(印度理工学院巴特那分校);IIT Delhi(印度理工学院德里分校);IIT Guwahati(印度理工学院古瓦哈提分校);IIIT Delhi(德里印度信息学院);MIT-MAHE(马尼帕尔理工学院);IGDTUW(英迪拉·甘地德里女子技术大学)
针对印度语言机器翻译语料稀缺问题,构建含116万句对的印地语中心平行语料库COILD及2000句专家验证基准,微调IndicTrans2和NLLB-200模型,实验证实其提升翻译性能。
2026-09-25 cs.CL
Exploring Pair-Wise NMT for Indian Languages
IIIT-H(海得拉巴国际信息技术学院);University of Bath(巴斯大学)
在本文中,我们解决的任务,提高对明智的机器翻译特定的低资源印度语言。多语言NMT模型在资源贫乏的语言上表现出了合理的有效性。在这项工作中,我们表明,这些模型的性能可以显着提高后,通过过滤回译过程和随后的微调有限的成对语言语料库使用回译。本文的分析表明,这种方法可以显着提高多语言模型的基线性能,为各种印度语言产生最先进的结果。
2020-12-10 cs.CL
IndicMT Eval: A Dataset to Meta-Evaluate Machine Translation metrics for Indian Languages
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);AI4Bharat;Microsoft(微软)
本文构建了包含7000个细粒度标注、覆盖5种印度语言和7个MT系统的MQM数据集,以填补英语到印度语言机器翻译评估的空白,发现COMET等预训练指标与人工评分相关性最高,并指出需开发针对印度语言的指标。
2023-07-03 cs.CL
AdiBhashaa: A Community-Curated Benchmark for Machine Translation into Indian Tribal Languages
AdiBhashaa通过构建四个印度部落语言的开源平行语料库和基础MT系统,推动更公平的AI研究,强调本地专业知识和人类验证。
2025-12-04 cs.CL
IndicTrans2: Towards High-Quality and Accessible Machine Translation Models for all 22 Scheduled Indian Languages
Nilekani Centre at AI4Bharat(AI4Bharat 尼勒卡尼中心);Indian Institute of Technology Madras(马德拉斯印度理工学院);Microsoft(微软);National Institute of Information and Communications Technology(信息通信研究机构);Flipkart(弗利普卡特)
本文提出IndicTrans2,首个支持印度全部22种法定语言的机器翻译模型,并发布最大平行语料库BPCC和首个覆盖22种语言的基准,以推动高质量、开放可获取的翻译系统。
2023-12-20 cs.CL
Revisiting Metric Reliability for Fine-grained Evaluation of Machine Translation and Summarization in Indian Languages
Sharif University of Technology(谢里夫理工学院);Vellore Institute of Technology(韦洛雷理工学院);IIT Kharagpur(印度理工学院达卡分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对印度语言评估不足的问题,提出ITEM基准,系统评估29种自动度量与人工判断的对齐,发现基于LLM的评估器表现最佳,并揭示了异常值影响、任务差异及扰动鲁棒性等关键发现。
2026-06-09 cs.CL
Machine Translation Advancements of Low-Resource Indian Languages by Transfer Learning
Huawei Translation Service Center(华为翻译服务中心)
本文介绍华为翻译中心向WMT24提交的低资源印度语言机器翻译系统,采用微调IndicTrans2和多语言模型训练两种迁移学习策略,在多个语言对上取得了优异的BLEU成绩。
2024-09-24 cs.AI cs.CL
BhashaVerse : Translation Ecosystem for Indian Subcontinent Languages
Language Technologies Research Centre, IIIT-Hyderabad(印度信息技术研究所海得拉巴分校语言技术研究中心)
本文提出BhashaVerse翻译生态系统,面向36种印度语言构建语料库并综合评估机器翻译,以提升低资源与多文字场景下的跨语言沟通质量。
2025-01-02 cs.AI cs.CL
Design of English-Hindi Translation Memory for Efficient Translation
平行语料库的建立是机器翻译的一项重要而又困难的工作。这需要人工翻译人员进行手动注释。重复翻译同样的文本是一种无用的活动。有工具可用于欧洲语言实现这一点,但没有这样的工具可用于印度语言。在本文中,我们提出了一个工具,印度语言,它不仅提供了自动翻译的先前可用的翻译,但也提供了多个翻译,在一个句子有多个翻译的情况下,在排名列表中的一个句子的暗示性翻译。此外,该工具还允许翻译人员对他们的工作进行全局和本地保存选项,以便他们可以与其他人共享,这进一步减轻了任务。
2012-10-19 cs.CL
Investigating Lexical Sharing in Multilingual Machine Translation for Indian Languages
Saarland University(萨尔大学);Inria(法国国家信息与自动化研究所)
本研究聚焦印度语言多语言机器翻译的词汇共享,探究数据采样与词表大小的性能权衡、音译对跨文字泛化的作用及对未见语言的泛化性,发现音译无明显提升,原文字训练的模型已具备跨文字鲁棒性。
2023-05-04 cs.AI cs.CL
CorIL: Towards Enriching Indian Language to Indian Language Parallel Corpora and Machine Translation Systems
Department of Computer Science and Engineering, Indian Institute of Technology Patna(计算机科学与工程系,印度理工学院帕纳布);SNLP Lab, CDAC Noida(SNLP实验室,CDAC诺伊达);Department of Computer Science and Engineering, Manipal Institute of Technology(计算机科学与工程系,曼尼普尔理工学院);Department of Computer Science and Engineering, Dhirubhai Ambani University, Gandhinagar(计算机科学与工程系,迪鲁布希阿米大学,甘地 Nagar);LTRC, IIIT Hyderabad(LTRC,IIIT海得拉尔);Department of CSE, IIIT Bhubaneshwar(CSE系,IIIT布巴内什瓦尔);Department of AI, SVNIT, Surat(人工智能系,SVNIT,萨拉特);Department of Linguistics, University of Kashmir(语言学系,克什米尔大学);VLSI Design Group, CDAC Bangalore(VLSI设计组,CDAC班加罗尔);Department of CSE, Punjabi University(CSE系,旁遮普大学);Department of CSE, Govt. College for Women Jammu(CSE系,贾姆穆政府女子学院)
本文构建覆盖11种印度语言的772k句对平行语料库CorIL,分政府、健康、通用三领域,微调多语言NMT模型,揭示脚本相关性能差异,推动领域适应研究。
2025-09-24 cs.AI cs.CL
Towards High-Quality Machine Translation for Kokborok: A Low-Resource Tibeto-Burman Language of Northeast India
MWire Labs(MWire实验室);Department of Kokborok, Tripura University(Tripura大学 Kokborok系)
本文提出 KokborokMT 系统,通过多源平行语料库提升 Kokborok 机器翻译质量,实现 BLEU 分数显著提升。
2026-03-28 cs.CL
Attempt Towards Stress Transfer in Speech-to-Speech Machine Translation
International Institute of Information Technology - Hyderabad(印度信息技术学院海得拉巴分校)
针对印度教育场景下现有语音到语音机器翻译输出单调、缺乏重音的问题,本文构建带重音标注的印度英语数据集,提出基于FastPitch的可迁移重音的TTS架构,实现印度英语到印地语的重音迁移SSMT系统,提升教育内容质量与吸引力。
2024-03-07 cs.CL cs.SD eess.AS
Marathi To English Neural Machine Translation With Near Perfect Corpus And Transformers
Dailyhunt
很少有人尝试对印度语言的神经机器翻译任务的最先进算法的性能进行基准测试。Google、Bing、Facebook和Yandex是少数几家为少数几种印度语言建立翻译系统的公司。其中,谷歌的翻译结果应该更好,基于一般检查。Bing-Translator甚至不支持马拉地语,马拉地语拥有约9500万使用者,在主要和次要使用者中排名世界第15位。在这个练习中,我们训练和比较了各种神经机器Marathi到英语翻译器,这些翻译器使用huggingface和各种基于Transformer的架构,使用Facebook的Fairseq平台,使用有限但几乎正确的并行语料库,在Tatoeba和Wikimedia开放数据集上获得比Google更好的BLEU分数。
2020-02-26 cs.CL
Machine Translation by Projecting Text into the Same Phonetic-Orthographic Space Using a Common Encoding
Indian Institute of Technology (BHU)(印度理工学院(瓦拉纳西));Silo AI
针对印度语间低资源机器翻译性能不佳的问题,提出利用基于拉丁字母的通用编码(WX notation)结合BPE,将相似语言投影至相同的正字-语音字符空间以利用其语言相似性,实验证明该方法显著提升了翻译质量。
2023-05-21 cs.CL
Comparative analysis of subword tokenization approaches for Indian languages
Indian Institute of Technology (IIT), Varanasi(印度理工学院(IIT),瓦拉纳西)
本文比较了SentencePiece、BPE和WordPiece三种子词分词技术在统计、神经及多语言神经机器翻译模型中对印度语言的效果,发现SentencePiece在多数语言对中BLEU分数最优,而BPE在多语言模型中表现最佳,且印度语到英语的翻译优于反向。
2025-05-22 cs.CL
Evaluation of Hindi to Punjabi Machine Translation System
Punjabi University Patiala(旁遮普大学帕蒂亚拉分校)
机器翻译在印度相对年轻。最早的努力可以追溯到80年代末和90年代初。每个系统的成功与否都是由其评估实验结果来判断的。许多机器翻译系统已经开始开发,但据作者所知,没有一个高质量的系统已经完成,可用于实际应用。最近,印度Patiala的Punjabi大学开发了Punjabi到Hindi的机器翻译系统,准确率约为92%。这两个系统,即所讨论的系统和开发的系统都是在相同的密切相关的语言之间。因此,本文提出了印地语到旁遮普语机器翻译系统的评估结果。使用与旁遮普语到印地语旁遮普语机器翻译系统相同的评估标准是有意义的。经过评估,该系统的准确性约为95%。
2009-10-09 cs.CL
PMIndia -- A Collection of Parallel Corpora of Languages of India
Edinburgh, Scotland(爱丁堡,苏格兰(注:此处为城市和地区,非机构,按要求不应提取,但原文中“Edinburgh, Scotland”可能被误写,实际机构应为“School of Informatics, University of Edinburgh”))
并行文本是构建高质量机器翻译(MT)系统以及其他多语言NLP应用程序所必需的。对于许多南亚语言来说,这样的数据是短缺的。在本文中,我们描述了一个新的公开可用的语料库(PMIndia),由平行的句子,对印度的13个主要语言与英语。该语料库包括多达56000个句子的每种语言对。我们解释了语料库是如何构建的,包括两种不同的自动句子对齐方法的评估,并提出了一些初步的NMT结果的语料库。
2020-01-27 cs.CL
Survey:Natural Language Parsing For Indian Languages
Dharmsinh Desai University(达尔马辛赫·德赛大学)
句法分析是包括机器翻译在内的自然语言处理应用中的一项必要任务。为形态丰富且黏着的语言开发一个定性分析器是一个具有挑战性的任务。句法分析用于理解自然语言句子的语法结构。它输出每个单词及其组成部分的所有语法信息。与之相关的问题也有助于我们更详细地理解语言。这篇文献调查是了解印度语言的不同解析器开发以及用于开发此类工具和技术的各种方法的基础。本文提供了一个调查的研究论文,从著名的期刊和会议。
2015-01-28 cs.CL
VAKTA-SETU: A Speech-to-Speech Machine Translation Service in Select Indic Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出部署就绪的VAKTA-SETU语音到语音机器翻译系统,通过级联ASR、DC、MT和TTS模型支持英语、印地语和马拉地语互译,并利用LaBSE工具筛选语料训练TTMT,已公开数据与模型,服务于政府、游客、司法和农民等场景。
2023-05-21 cs.CL
Domain Adaptation of NMT models for English-Hindi Machine Translation Task at AdapMT ICON 2020
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
神经机器翻译(NMT)模型的最新进展已被证明在低资源印度语言的机器翻译上产生了最先进的结果。本文描述了AdapMT共享任务ICON 2020中提出的英语-印地语神经机器翻译系统。该共享任务旨在使用小型域内并行语料库为人工智能(AI)和化学等特定领域的印度语言构建翻译系统。我们基于BLEU分数评估了两种流行的NMT模型的有效性,即LSTM和Transformer架构用于英语-印地语机器翻译任务。我们训练这些模型主要使用域外数据,并采用简单的领域自适应技术的基础上,域内数据集的特点。微调和混合域数据方法用于领域自适应。我们的团队在化学和一般领域En-Hi翻译任务中排名第一,在AI领域En-Hi翻译任务中排名第二。
2020-12-23 cs.CL cs.LG
A Multilingual Parallel Corpora Collection Effort for Indian Languages
International Institute of Information Technology - Hyderabad(国际信息技术研究所海得拉巴分校);Indian Institute of Technology - Kanpur(印度理工学院坎普尔分校)
我们提出了10种印度语言的句子对齐平行语料库-印地语,泰卢固语,泰米尔语,马拉雅拉姆语,古吉拉特语,乌尔都语,孟加拉语,奥里亚语,马拉地语,旁遮普语和英语-其中许多被归类为低资源。语料库是从在线资源汇编而成的,这些资源的内容跨语言共享。所呈现的语料库显著地扩展了现有的资源,这些资源要么不够大,要么局限于特定的领域(如健康)。我们还提供了一个独立的测试语料库,该语料库是从一个独立的在线来源编译的,可以独立地用于验证10种印度语言的性能。此外,我们报告了使用机器翻译的最新进展和使用基于深度神经网络的方法进行跨语言检索的工具来构建此类语料库的方法。
2020-07-15 cs.CL
Challenge Dataset of Cognates and False Friend Pairs from Indian Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学联合研究院);Monash University(莫纳什大学)
同源词存在于不同语言的同一文本的多个变体中(例如,德语中的“hund”和英语中的“hound”是“狗”的意思。它们对各种自然语言处理(NLP)应用提出了挑战,例如机器翻译、跨语言意义消歧、计算系统发生学和信息检索。解决这个问题的一个可能的解决方案是识别跨语言对的同源词。在本文中,我们描述了创建两个同源数据集的12种印度语言,即梵语,印地语,阿萨姆语,奥里亚语,卡纳达语,古吉拉特语,泰米尔语,泰卢固语,旁遮普语,孟加拉语,马拉地语和马拉雅拉姆语。我们从一个印度语言的同源词典检索同源数据,并利用链接的印度语言Wordnets生成同源集。此外,我们使用Wordnet数据为11个语言对创建了一个False Friends数据集。我们还使用以前可用的基线同源检测方法来评估我们的数据集的有效性。我们还在词典编纂者的帮助下进行了手动评估,并与本文一起发布了精心策划的黄金标准数据集。
2021-12-17 cs.CL
Utilizing Wordnets for Cognate Detection among Indian Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学联合研究学院);Monash University(莫纳什大学)
自动同源词检测(ACD)是一项具有挑战性的任务,已被用于帮助NLP应用,如机器翻译,信息检索和计算系统发生学。未识别的同源对可能对这些应用程序构成挑战,并导致性能下降。在这篇论文中,我们使用印地语检测十种印度语言中的同源词对,并使用深度学习方法来预测一个词对是否同源。我们将IndoWordnet作为一个潜在的资源来检测基于正字法相似性的方法和训练神经网络模型的基础上同源词对从它获得的数据。我们将平行语料库作为另一个潜在的资源,并对他们进行相同的实验。我们还通过进一步的实验验证了Wordnets的贡献,并报告了高达26%的性能改进。我们讨论了密切相关的印度语言之间的同源检测的细微差别,并发布检测到的同源词作为一个数据集的列表。我们也观察到的行为,在一定程度上,不相关的印度语言对,并公布其中检测到的同源词的列表。
2021-12-30 cs.CL
Impact of Visual Context on Noisy Multimodal NMT: An Empirical Study for English to Indian Languages
Indian Institute of Technology Patna India;Indian Institute of Technology Jodhpur \& Indian Institute of Technology Patna India;Indian Institute of Technology Patna;Indian Institute of Technology Jodhpur \& Indian Institute of Technology Patna
本研究探讨视觉上下文对英语到印度语言多模态NMT的影响,发现在高资源无噪声场景下图像冗余,但在不同噪声水平下视觉特征发挥不同作用,为多模态噪声翻译提供新方向。
2025-06-23 cs.AI cs.CL cs.CV
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women(卡明斯女子工程学院);Banasthali University(班纳斯塔利大学)
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译,翻译的有效性可以得到提高。我们已经表明,古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
Quality Estimation Of Machine Translation Outputs Through Stemming
Banasthali University(巴纳斯达利大学)
机器翻译是印度语言的挑战性问题。每天我们都能看到一些机器翻译器被开发出来,但获得高质量的自动翻译仍然是一个非常遥远的梦想。在本文中,我们强调英语-印地语语言对,为了保持正确的MT输出,我们提出了一个排名系统,它采用了一些机器学习技术和形态特征。在排名中,不需要人为干预。我们还通过与人类排名进行比较来验证我们的结果。
2014-07-10 cs.CL
IndicXNLI: Evaluating Multilingual Inference for Indian Languages
Microsoft Research(微软研究院);Delhi Technological University(德里理工大学);University of Utah(犹他大学)
虽然Indic NLP最近在语料库和预训练模型的可用性方面取得了快速进展,但标准NLU任务的基准数据集有限。为此,我们引入了IndicXNLI,一个针对11种印度语言的NLI数据集。它是由原始英文XNLI数据集的高质量机器翻译创建的,我们的分析证明了IndicXNLI的质量。通过在这个IndicXNLI上微调不同的预训练LM,我们分析了各种跨语言迁移技术对语言模型,语言,多语言,混合语言输入等的选择的影响。这些实验为我们提供了有用的见解预训练模型的行为,为不同的语言。
2022-04-19 cs.AI cs.CL
ILID: Native Script Language Identification for Indian Languages
Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉布尔·尼希蒂国家理工学院)
本文提出了一种针对印度语言的原生脚本语言识别方法,通过开发包含23种语言的250,000个句子数据集和基于预训练转换器模型的基线模型,实现了在嘈杂和混合语言环境中的语言识别性能提升。
2026-01-07 cs.CL
Role of Morphology Injection in Statistical Machine Translation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
基于短语的统计模型更常用,因为它们在翻译质量和系统复杂性方面表现最佳。印地语和所有印度语言在形态上都比英语丰富。因此,尽管基于短语的系统对于分歧较小的语言对表现得非常好,但对于英语到印度语的翻译,我们需要更多的语言信息(例如词法,解析树,词性标签等)。在源侧。在这种情况下,因子化模型似乎很有用,因为因子化模型将单词视为因子的向量。这些因素可以包含关于表面词的任何信息,并在翻译时使用它。因此,这项工作的目的是处理形态屈折在印地语和马拉地语使用因子翻译模型,而从英语翻译。SMT方法在翻译成形态丰富的语言时面临数据稀疏的问题。一个平行语料库不太可能包含所有词的形态形式。我们提出了一个解决方案,以产生这些看不见的形态形式,并将它们注入到原始的训练语料库。在本文中,我们研究的因素模型和稀疏的问题,在上下文翻译形态丰富的语言。我们提出了一个简单而有效的解决方案,这是基于丰富的输入与各种形态的单词。我们观察到,形态注入提高翻译质量的充分性和流畅性。我们验证了这两个形态丰富的语言实验:印地语和马拉地语,而从英语翻译。
2017-09-16 cs.CL
Automatic Classification of Human Translation and Machine Translation: A Study from the Perspective of Lexical Diversity
University of St Andrews(圣安德鲁斯大学);School of Computer Science(计算机科学学院)
通过使用三元模型并微调预训练的BERT模型进行序列分类,我们表明可以以高于偶然水平的准确度对机器翻译和人类翻译进行分类,这表明机器翻译和人类翻译是不同的系统方式。机器翻译的分类准确率远高于人工翻译。我们发现,这可能是解释之间的差异词汇多样性机器翻译和人类翻译。如果机器翻译具有独立于人类翻译的模式,则测量机器翻译与人类翻译的偏差的自动度量可能将差异与质量混为一谈。我们用两种不同类型的自动度量进行的实验显示了与分类任务结果的相关性。因此,我们建议在机器翻译评价中,应更多地关注机器翻译和人工翻译在词汇多样性方面的差异。
2021-05-10 cs.CL
Can neural machine translation do simultaneous translation?
New York University(纽约大学)
我们研究了基于注意力的神经机器翻译在同声翻译中的潜力。我们引入了一种新的解码算法,称为同时贪心解码,允许现有的神经机器翻译模型开始翻译之前,收到一个完整的源语句。这种方法是独特的,从以前的作品同步翻译的分割和翻译是共同完成的,以最大限度地提高翻译质量,翻译每一个部分是强烈的条件下,所有以前的部分。本文提出了第一步,建立一个完整的同步翻译系统的基础上神经机器翻译。
2016-06-07 cs.CL
Harnessing Cross-lingual Features to Improve Cognate Detection for Low-resource Languages
IIT Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学联合研究学院);Monash University(莫纳什大学);NICT(日本情报通信研究机构)
同源词是同一词汇形式在不同语言中的变体;例如西班牙语中的“fonema”和英语中的“phoneme”都是同源词,两者都意味着“声音的单位”。自动检测任意两种语言之间的同源词的任务可以帮助下游的NLP任务,例如跨语言信息检索、计算系统发生学和机器翻译。在本文中,我们展示了使用跨语言的词嵌入检测同源十四个印度语言。我们的方法介绍了使用上下文从知识图谱生成改进的特征表示同源检测。然后,我们评估了我们的同源检测机制对神经机器翻译(NMT)的影响,作为一个下游任务。我们评估我们的方法来检测同源词的一个具有挑战性的数据集的12种印度语言,即梵语,印地语,阿萨姆语,奥里亚语,卡纳达语,古吉拉特语,泰米尔语,泰卢固语,旁遮普语,孟加拉语,马拉地语,马拉雅拉姆语。此外,我们还为另外两种印度语言创建了评估数据集,即Konkani和尼泊尔语。我们观察到高达18%的点,在F分数方面,同源检测的改善。此外,我们观察到使用我们的方法提取的同源词有助于将NMT质量提高高达2.76 BLEU。我们还公开发布我们的代码、新构建的数据集和跨语言模型。
2021-12-16 cs.CL
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology(国立信息通信技术研究所)
最近的工作在以完全无监督的方式训练神经机器翻译(NMT)系统方面取得了显着的成果,该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中,我们建议将无监督NMT(UNMT)定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构,通过用合成双语数据代替人工双语数据进行训练,提出了监督NMT。我们建议用无监督统计机器翻译(USMT)生成的合成双语数据初始化UNMT的训练。然后,利用反向翻译,逐步改进联合国地雷行动组系统。我们的初步实验表明,我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务,两个翻译方向。
2018-10-30 cs.CL
Assamese-English Bilingual Machine Translation
Gauhati University(高哈蒂大学)
机器翻译是将文本从一种语言翻译成另一种语言的过程。本文利用阿萨姆语和英语的平行语料库,对阿萨姆语和英语进行了统计机器翻译。这里使用了一个基于统计短语的翻译工具包Moses。为了开发语言模型和对齐单词,我们分别使用了另外两个工具IRSTLM和GIZA。BLEU评分用于检查我们的翻译系统性能,它有多好。在BLEU分数的差异,而获得翻译句子从阿萨姆语到英语,反之亦然。由于印度语言在形态上非常丰富,因此从英语到阿萨姆语的翻译相对较难,导致BLEU分数较低。我们的翻译系统还引入了一个统计音译系统,基本上处理专有名词,OOV(词汇表外)的话,这是不存在于我们的语料库。
2014-07-08 cs.CL
New Approach to translation of Isolated Units in English-Korean Machine Translation
Kim Il Sung University(金日成大学)
开发一个实用的机器翻译系统并将其引入翻译实践,是快速翻译大量爆炸式增长的科技信息资料的最有效途径。本文根据在开发和引进英朝机器翻译系统过程中所获得的实际资料和实验,论述了孤立单位翻译中的一些问题。换句话说,本文考虑建立孤立的单位和他们的韩语对等语和词序的信息。
2015-06-23 cs.CL
Keyframe Segmentation and Positional Encoding for Video-guided Machine Translation Challenge 2020
视频引导的机器翻译是多模态神经机器翻译任务之一,其目标是通过有形地结合视频和文本来生成高质量的文本翻译。在这项工作中,我们提出了我们的视频引导机器翻译系统,以接近视频引导机器翻译挑战2020。该系统采用基于关键帧的视频特征提取以及视频特征位置编码。在评估阶段,我们的系统获得了36.60的语料库级别BLEU-4,并在2020年视频引导机器翻译挑战赛中获得第一名。
2020-06-23 cs.CL
Pre-Translation for Neural Machine Translation
Institute for Anthropomatics(拟人学研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
近年来,神经机器翻译(NMT)的发展显著提高了自动机器翻译的翻译质量。虽然大多数句子比基于统计机器翻译(SMT)的系统翻译的句子更准确和流畅,但在某些情况下,NMT系统产生的翻译具有完全不同的含义。当出现罕见的单词时,情况尤其如此。当使用统计机器翻译时,已经表明可以通过简化预处理步骤中的输入来实现显著的增益。一个常用的例子是预重排序方法。在这项工作中,我们使用基于短语的机器翻译将输入预翻译成目标语言。然后,神经机器翻译系统使用预翻译生成最终假设。因此,我们要么只使用基于短语的机器翻译(PBMT)系统的输出,要么结合PBMT输出和源句子。我们在英语到德语翻译任务上评估该技术。使用这种方法,我们能够超过PBMT系统以及基线神经MT系统多达2个BLEU点。分析了初始系统的质量对最终结果的影响。
2016-10-17 cs.CL
Semantically Cohesive Word Grouping in Indian Languages
IIT Bombay(印度理工学院孟买分校);IIT Kanpur(印度理工学院坎普尔分校)
本文针对印度语言语义单元粒度差异导致的平行句结构不一致问题,提出语义内聚的词分组预处理方法,并以印地语为对象通过扰动、机器翻译和句法分析验证其有效性。
2025-01-07 cs.CL
A Survey of Orthographic Information in Machine Translation
Insight Centre for Data Analytics(洞察数据分析中心);Data Science Institute(数据科学研究所);National University of Ireland Galway(爱尔兰国立高威大学)
机器翻译是自然语言处理的应用之一,它已经在不同的语言中得到了探索。近年来,研究人员开始关注资源贫乏语言和密切相关语言的机器翻译。这些机器翻译系统的一个普遍的和潜在的问题是在正字法惯例的变化,导致许多问题,以传统的方法。用两种不同的正字法书写的两种语言不容易比较,但是正字法信息也可以用来改进机器翻译系统。本文综述了正字法对资源不足语言的机器翻译的影响。它介绍了资源不足的语言方面的机器翻译和如何利用正字法信息,以改善机器翻译。我们描述了以前在这方面的工作,讨论了什么基本的假设,并显示了如何拼写知识提高性能的机器翻译资源不足的语言。我们讨论了不同类型的机器翻译,并展示了最近的趋势,寻求连接正字法信息与完善的机器翻译方法。相当多的注意力给予当前的努力同源信息在不同层次的机器翻译和经验教训,可以从中吸取。此外,密切相关语言的多语言神经机器翻译在本次调查中得到了特别关注。本文最后讨论了在机器翻译的正字法信息的发展方向,重点是多语言设置和双语词典归纳。
2020-08-04 cs.CL
Improving Multilingual Neural Machine Translation System for Indic Languages
National Institute of Technology (NIT), Rourkela(国家理工学院(鲁尔凯拉));Pune Institute of Computer Technology (PICT)(浦那计算机技术学院);Indian Institute of Technology (IIT), Varanasi(印度理工学院(瓦拉纳西))
本文提出一种共享编码器-解码器的多语言神经机器翻译系统,结合数据增强、回译和领域适应,提升印度低资源语言的翻译质量,在BLEU指标上优于基线模型。
2022-09-27 cs.CL
The Improvement of Negative Sentences Translation in English-to-Korean Machine Translation
Kim Il Sung University(金日成综合大学)
描述了在英朝机器翻译(EKMT)中将英语否定句翻译成韩语的算法。该算法是在对比研究英语和韩语否定句的基础上提出的。早期的翻译软件不能将英语否定句翻译成准确的韩语对应句。我们建立了一个新的否定句翻译算法,并对其进行了评价。
2015-12-26 cs.CL
First Result on Arabic Neural Machine Translation
New York University(纽约大学)
神经机器翻译已经成为广泛使用的基于短语的统计机器翻译的主要替代方案。然而,我们注意到,尽管神经机器翻译具有语言不可知论的性质,但大部分研究都集中在欧洲语言上。在本文中,我们将神经机器翻译应用于阿拉伯语翻译(Ar <->En)任务,并将其与标准的基于短语的翻译系统进行比较。我们在预处理阿拉伯语脚本中使用各种配置进行了广泛的比较,并表明基于短语的翻译系统和神经翻译系统相互执行,并且阿拉伯语脚本的适当预处理对这两个系统具有相似的效果。然而,我们观察到神经机器翻译在域外测试集上的表现明显优于基于短语的系统,这使得它对现实世界的部署具有吸引力。
2016-06-08 cs.CL
A General Framework for Adaptation of Neural Machine Translation to Simultaneous Translation
Shanghai University of Finance and Economics(上海财经大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
尽管神经机器翻译(NMT)取得了成功,但同时神经机器翻译(SNMT)由于句法结构差异和语义要求,在观察到完整句子之前进行实时的翻译任务仍然具有挑战性。在本文中,我们提出了一个通用的框架,用于适应神经机器翻译同时翻译。我们的框架包含两个部分:前缀翻译,利用一个连续的NMT模型来翻译源前缀和一个停止标准,确定何时停止前缀翻译。在三个翻译语料库和两个语言对上的实验表明,该框架在平衡NMT执行同声翻译的质量和延迟方面是有效的。
2020-10-04 cs.CL
Towards a general purpose machine translation system for Sranantongo
Language Technology Lab(语言技术实验室);University of Amsterdam(阿姆斯特丹大学)
Sranantongo(Sranan,srn)是一种资源匮乏的克里奥尔语,主要使用于棉兰老岛,它的机器翻译还是一块处女地。在本研究中,我们建立了一个通用的机器翻译系统。为了促进这项研究,我们介绍了SRN语料库,并行荷兰语(NL)的集合,以SRN和单语SRN数据。我们尝试了各种经过验证的机器翻译方法。我们的研究结果证明了一个强大的基线机器翻译系统的srn。
2022-12-13 cs.CL
Neural Machine Translation
Center for Speech and Language Processing(语音与语言处理中心);Department of Computer Science(计算机科学系);Johns Hopkins University(约翰斯·霍普金斯大学)
关于神经机器翻译的教科书章节草稿。一个全面的治疗的主题,从介绍到神经网络,计算图,描述目前占主导地位的注意序列到序列模型,最近的改进,替代架构和挑战。作为教科书《统计机器翻译》的章节编写。用于JHU 2017年秋季机器翻译课程。
2017-09-22 cs.CL