Crosslingual Optimized Metric for Translation Assessment of Indian Languages
本文针对印度语言翻译自动评估数据匮乏问题,构建覆盖13种语言、21个翻译方向的人工评估数据集,并训练神经指标COMTAIL,在涉及印度语言的翻译对评估上显著超越现有方法。
2025-09-22 cs.CL
Translation Of Telugu-Marathi and Vice-Versa using Rule Based Machine Translation
在当今的数字世界中,一种语言到另一种语言的自动化机器翻译已经走过了很长的路,以实现不同类型的成功故事。虽然Babel Fish支持大量的外语,但只有印度语中的印地语,而Google翻译则支持大约10种印度语言。虽然大多数自动机器翻译系统都做得很好,但处理印度语言时需要特别小心,同时处理当地的谚语/成语。大多数机器翻译系统在将一种印度语言翻译成另一种印度语言时遵循直接翻译方法。我们在KMIT R & D Lab的研究发现,早期的研究工作对处理当地谚语/成语没有给予足够的重视。本文重点介绍两种主要的印度语言马拉地语和泰卢固语,以及它们之间的翻译。对英汉谚语和成语的处理也给予了特别的关注,研究成果在这方面取得了显著的成就。
2014-06-16 cs.CL
Multitask Finetuning for Improving Neural Machine Translation in Indian Languages
Savitribai Phule Pune University(萨维特里拜·普纳大学)
基于Transformer的语言模型在自然语言处理的所有领域都取得了令人印象深刻的结果。在语言建模任务上对这些模型进行预训练,并在文本分类、问答和神经机器翻译等下游任务上对它们进行微调,一直显示出示范性的结果。在这项工作中,我们提出了一个多任务微调方法,它结合了双语机器翻译任务与辅助因果语言建模任务,以提高性能的前一个任务上的印度语言。我们对三种语言对进行了实证研究,马拉地语-印地语,马拉地语-英语和印地语-英语,在那里我们将多任务微调方法与标准微调方法进行了比较,为此我们使用了mBART 50模型。我们的研究表明,多任务微调方法可能是一种比标准微调更好的技术,可以提高跨语言对的双语机器翻译。
2021-12-03 cs.CL
Utilizing Language Relatedness to improve Machine Translation: A Case Study on Languages of the Indian Subcontinent
Microsoft India(微软印度);Indian Institute of Technology Bombay(印度理工学院孟买分校)
在这项工作中,我们提出了一个广泛的研究,统计机器翻译涉及印度次大陆的语言。这些语言通过遗传和接触关系而相互关联。我们描述了这些关系所产生的印度语之间的相似之处。我们探讨如何词汇和拼写这些语言之间的相似性,可以利用有限的平行语料库,以提高印度语之间的翻译质量。我们还探讨了如何利用印度语之间的结构对应关系,以重新使用英语到印度语翻译的语言资源。我们的观察涵盖了来自9种印度语言和英语的90种语言对。据我们所知,这是第一个专门致力于利用语言相关性来改善相关语言之间翻译的大规模研究。
2020-03-19 cs.CL
Neural Machine Translation for Low-Resourced Indian Languages
Delhi Technological University (Formerly Delhi college of Engineering)(德里理工大学(原德里工程学院))
网上有大量重要的英文资料,这些资料经常被翻译成当地语言,以方便不太熟悉英文的当地人分享信息。然而,手动翻译是一个非常繁琐、昂贵和耗时的过程。为此,机器翻译是一种有效的方法,可以将文本转换为不同的语言,而无需任何人工参与。神经机器翻译(NMT)是现有机器翻译系统中最成熟的翻译技术之一。在本文中,我们已经应用NMT两个最形态丰富的印度语言,即英语泰米尔语和英语马拉雅拉姆语。我们提出了一种新的NMT模型,使用多头自注意力以及预训练的字节对编码(BPE)和MultiBPE嵌入来开发一个有效的翻译系统,该系统克服了低资源形态丰富的印度语言的OOV(词汇量不足)问题,这些语言在网上没有太多的翻译。我们还从不同的来源收集语料,解决这些公开可用的数据的问题,并完善它们以供进一步使用。我们使用BLEU分数来评估我们的系统性能。实验结果和调查证实,我们提出的翻译(24.34和9.78 BLEU分数)优于谷歌翻译(9.40和5.94 BLEU分数)分别。
2020-04-19 cs.CL
How effective is Multi-source pivoting for Translation of Low Resource Indian Languages?
Indian Institute of Technology Bombay(印度理工学院孟买分校);NICT(日本情报通信研究机构);IIT Madras(印度理工学院马德拉斯分校)
本文针对低资源印度语言机器翻译问题,探索结合源语句与枢轴语句的多源枢轴翻译方法,实验发现该方法较现有最优仅获边际提升,但可通过合成目标语数据增强效果,为低资源翻译提供了有前景的方向。
2024-06-19 cs.CL
COILD: An Indic-Centric Parallel Corpus and Benchmark for Machine Translation Across Indian Languages
IIT Patna(印度理工学院巴特那分校);IIT Delhi(印度理工学院德里分校);IIT Guwahati(印度理工学院古瓦哈提分校);IIIT Delhi(德里印度信息学院);MIT-MAHE(马尼帕尔理工学院);IGDTUW(英迪拉·甘地德里女子技术大学)
针对印度语言机器翻译语料稀缺问题,构建含116万句对的印地语中心平行语料库COILD及2000句专家验证基准,微调IndicTrans2和NLLB-200模型,实验证实其提升翻译性能。
2026-09-25 cs.CL
Revisiting Low Resource Status of Indian Languages in Machine Translation
IIIT Hyderabad(国际信息技术研究所海得拉巴分校);University of Bath(巴斯大学)
印度语言机器翻译的性能受到阻碍,由于缺乏大规模的多语言句子对齐语料库和强大的基准。通过本文,我们提供并分析了一个自动化的框架,以获得这样的语料库的印度语言神经机器翻译(NMT)系统。我们的管道包括一个基线NMT系统,一个检索模块和一个对齐模块,用于与政府新闻稿等公开网站合作。对这项工作的主要贡献是获得一种增量方法,该方法使用上述管道来迭代地改进语料库的大小,并改进我们系统的每个组件。通过我们的工作,我们还评估了设计的选择,如选择旋转语言和迭代增量增加语料库大小的影响。我们的工作,除了提供一个自动化的框架,还导致生成一个相对较大的语料库相比,现有的语料库,可用于印度语言。该语料库帮助我们在公开可用的WAT评估基准和其他标准评估基准上获得大幅改进的结果。
2020-11-04 cs.CL
Exploring Pair-Wise NMT for Indian Languages
IIIT-H(海得拉巴国际信息技术学院);University of Bath(巴斯大学)
在本文中,我们解决的任务,提高对明智的机器翻译特定的低资源印度语言。多语言NMT模型在资源贫乏的语言上表现出了合理的有效性。在这项工作中,我们表明,这些模型的性能可以显着提高后,通过过滤回译过程和随后的微调有限的成对语言语料库使用回译。本文的分析表明,这种方法可以显着提高多语言模型的基线性能,为各种印度语言产生最先进的结果。
2020-12-10 cs.CL
IndicMT Eval: A Dataset to Meta-Evaluate Machine Translation metrics for Indian Languages
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);AI4Bharat;Microsoft(微软)
本文构建了包含7000个细粒度标注、覆盖5种印度语言和7个MT系统的MQM数据集,以填补英语到印度语言机器翻译评估的空白,发现COMET等预训练指标与人工评分相关性最高,并指出需开发针对印度语言的指标。
2023-07-03 cs.CL
AdiBhashaa: A Community-Curated Benchmark for Machine Translation into Indian Tribal Languages
AdiBhashaa通过构建四个印度部落语言的开源平行语料库和基础MT系统,推动更公平的AI研究,强调本地专业知识和人类验证。
2025-12-04 cs.CL
Revisiting Metric Reliability for Fine-grained Evaluation of Machine Translation and Summarization in Indian Languages
Sharif University of Technology(谢里夫理工学院);Vellore Institute of Technology(韦洛雷理工学院);IIT Kharagpur(印度理工学院达卡分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对印度语言评估不足的问题,提出ITEM基准,系统评估29种自动度量与人工判断的对齐,发现基于LLM的评估器表现最佳,并揭示了异常值影响、任务差异及扰动鲁棒性等关键发现。
2026-06-09 cs.CL
Design of English-Hindi Translation Memory for Efficient Translation
平行语料库的建立是机器翻译的一项重要而又困难的工作。这需要人工翻译人员进行手动注释。重复翻译同样的文本是一种无用的活动。有工具可用于欧洲语言实现这一点,但没有这样的工具可用于印度语言。在本文中,我们提出了一个工具,印度语言,它不仅提供了自动翻译的先前可用的翻译,但也提供了多个翻译,在一个句子有多个翻译的情况下,在排名列表中的一个句子的暗示性翻译。此外,该工具还允许翻译人员对他们的工作进行全局和本地保存选项,以便他们可以与其他人共享,这进一步减轻了任务。
2012-10-19 cs.CL
IndicTrans2: Towards High-Quality and Accessible Machine Translation Models for all 22 Scheduled Indian Languages
Nilekani Centre at AI4Bharat(AI4Bharat 尼勒卡尼中心);Indian Institute of Technology Madras(马德拉斯印度理工学院);Microsoft(微软);National Institute of Information and Communications Technology(信息通信研究机构);Flipkart(弗利普卡特)
本文提出IndicTrans2,首个支持印度全部22种法定语言的机器翻译模型,并发布最大平行语料库BPCC和首个覆盖22种语言的基准,以推动高质量、开放可获取的翻译系统。
2023-12-20 cs.CL
Machine Translation Advancements of Low-Resource Indian Languages by Transfer Learning
Huawei Translation Service Center(华为翻译服务中心)
本文介绍华为翻译中心向WMT24提交的低资源印度语言机器翻译系统,采用微调IndicTrans2和多语言模型训练两种迁移学习策略,在多个语言对上取得了优异的BLEU成绩。
2024-09-24 cs.AI cs.CL
Investigating Lexical Sharing in Multilingual Machine Translation for Indian Languages
Saarland University(萨尔大学);Inria(法国国家信息与自动化研究所)
本研究聚焦印度语言多语言机器翻译的词汇共享,探究数据采样与词表大小的性能权衡、音译对跨文字泛化的作用及对未见语言的泛化性,发现音译无明显提升,原文字训练的模型已具备跨文字鲁棒性。
2023-05-04 cs.AI cs.CL
Machine Translation by Projecting Text into the Same Phonetic-Orthographic Space Using a Common Encoding
Indian Institute of Technology (BHU)(印度理工学院(瓦拉纳西));Silo AI
针对印度语间低资源机器翻译性能不佳的问题,提出利用基于拉丁字母的通用编码(WX notation)结合BPE,将相似语言投影至相同的正字-语音字符空间以利用其语言相似性,实验证明该方法显著提升了翻译质量。
2023-05-21 cs.CL
Comparative analysis of subword tokenization approaches for Indian languages
Indian Institute of Technology (IIT), Varanasi(印度理工学院(IIT),瓦拉纳西)
本文比较了SentencePiece、BPE和WordPiece三种子词分词技术在统计、神经及多语言神经机器翻译模型中对印度语言的效果,发现SentencePiece在多数语言对中BLEU分数最优,而BPE在多语言模型中表现最佳,且印度语到英语的翻译优于反向。
2025-05-22 cs.CL
Marathi To English Neural Machine Translation With Near Perfect Corpus And Transformers
Dailyhunt
很少有人尝试对印度语言的神经机器翻译任务的最先进算法的性能进行基准测试。Google、Bing、Facebook和Yandex是少数几家为少数几种印度语言建立翻译系统的公司。其中,谷歌的翻译结果应该更好,基于一般检查。Bing-Translator甚至不支持马拉地语,马拉地语拥有约9500万使用者,在主要和次要使用者中排名世界第15位。在这个练习中,我们训练和比较了各种神经机器Marathi到英语翻译器,这些翻译器使用huggingface和各种基于Transformer的架构,使用Facebook的Fairseq平台,使用有限但几乎正确的并行语料库,在Tatoeba和Wikimedia开放数据集上获得比Google更好的BLEU分数。
2020-02-26 cs.CL
BhashaVerse : Translation Ecosystem for Indian Subcontinent Languages
Language Technologies Research Centre, IIIT-Hyderabad(印度信息技术研究所海得拉巴分校语言技术研究中心)
本文提出BhashaVerse翻译生态系统,面向36种印度语言构建语料库并综合评估机器翻译,以提升低资源与多文字场景下的跨语言沟通质量。
2025-01-02 cs.AI cs.CL
CorIL: Towards Enriching Indian Language to Indian Language Parallel Corpora and Machine Translation Systems
Department of Computer Science and Engineering, Indian Institute of Technology Patna(计算机科学与工程系,印度理工学院帕纳布);SNLP Lab, CDAC Noida(SNLP实验室,CDAC诺伊达);Department of Computer Science and Engineering, Manipal Institute of Technology(计算机科学与工程系,曼尼普尔理工学院);Department of Computer Science and Engineering, Dhirubhai Ambani University, Gandhinagar(计算机科学与工程系,迪鲁布希阿米大学,甘地 Nagar);LTRC, IIIT Hyderabad(LTRC,IIIT海得拉尔);Department of CSE, IIIT Bhubaneshwar(CSE系,IIIT布巴内什瓦尔);Department of AI, SVNIT, Surat(人工智能系,SVNIT,萨拉特);Department of Linguistics, University of Kashmir(语言学系,克什米尔大学);VLSI Design Group, CDAC Bangalore(VLSI设计组,CDAC班加罗尔);Department of CSE, Punjabi University(CSE系,旁遮普大学);Department of CSE, Govt. College for Women Jammu(CSE系,贾姆穆政府女子学院)
本文构建覆盖11种印度语言的772k句对平行语料库CorIL,分政府、健康、通用三领域,微调多语言NMT模型,揭示脚本相关性能差异,推动领域适应研究。
2025-09-24 cs.AI cs.CL
Survey:Natural Language Parsing For Indian Languages
Dharmsinh Desai University(达尔马辛赫·德赛大学)
句法分析是包括机器翻译在内的自然语言处理应用中的一项必要任务。为形态丰富且黏着的语言开发一个定性分析器是一个具有挑战性的任务。句法分析用于理解自然语言句子的语法结构。它输出每个单词及其组成部分的所有语法信息。与之相关的问题也有助于我们更详细地理解语言。这篇文献调查是了解印度语言的不同解析器开发以及用于开发此类工具和技术的各种方法的基础。本文提供了一个调查的研究论文,从著名的期刊和会议。
2015-01-28 cs.CL
A Multilingual Parallel Corpora Collection Effort for Indian Languages
International Institute of Information Technology - Hyderabad(国际信息技术研究所海得拉巴分校);Indian Institute of Technology - Kanpur(印度理工学院坎普尔分校)
我们提出了10种印度语言的句子对齐平行语料库-印地语,泰卢固语,泰米尔语,马拉雅拉姆语,古吉拉特语,乌尔都语,孟加拉语,奥里亚语,马拉地语,旁遮普语和英语-其中许多被归类为低资源。语料库是从在线资源汇编而成的,这些资源的内容跨语言共享。所呈现的语料库显著地扩展了现有的资源,这些资源要么不够大,要么局限于特定的领域(如健康)。我们还提供了一个独立的测试语料库,该语料库是从一个独立的在线来源编译的,可以独立地用于验证10种印度语言的性能。此外,我们报告了使用机器翻译的最新进展和使用基于深度神经网络的方法进行跨语言检索的工具来构建此类语料库的方法。
2020-07-15 cs.CL
Challenge Dataset of Cognates and False Friend Pairs from Indian Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学联合研究院);Monash University(莫纳什大学)
同源词存在于不同语言的同一文本的多个变体中(例如,德语中的“hund”和英语中的“hound”是“狗”的意思。它们对各种自然语言处理(NLP)应用提出了挑战,例如机器翻译、跨语言意义消歧、计算系统发生学和信息检索。解决这个问题的一个可能的解决方案是识别跨语言对的同源词。在本文中,我们描述了创建两个同源数据集的12种印度语言,即梵语,印地语,阿萨姆语,奥里亚语,卡纳达语,古吉拉特语,泰米尔语,泰卢固语,旁遮普语,孟加拉语,马拉地语和马拉雅拉姆语。我们从一个印度语言的同源词典检索同源数据,并利用链接的印度语言Wordnets生成同源集。此外,我们使用Wordnet数据为11个语言对创建了一个False Friends数据集。我们还使用以前可用的基线同源检测方法来评估我们的数据集的有效性。我们还在词典编纂者的帮助下进行了手动评估,并与本文一起发布了精心策划的黄金标准数据集。
2021-12-17 cs.CL
Utilizing Wordnets for Cognate Detection among Indian Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学联合研究学院);Monash University(莫纳什大学)
自动同源词检测(ACD)是一项具有挑战性的任务,已被用于帮助NLP应用,如机器翻译,信息检索和计算系统发生学。未识别的同源对可能对这些应用程序构成挑战,并导致性能下降。在这篇论文中,我们使用印地语检测十种印度语言中的同源词对,并使用深度学习方法来预测一个词对是否同源。我们将IndoWordnet作为一个潜在的资源来检测基于正字法相似性的方法和训练神经网络模型的基础上同源词对从它获得的数据。我们将平行语料库作为另一个潜在的资源,并对他们进行相同的实验。我们还通过进一步的实验验证了Wordnets的贡献,并报告了高达26%的性能改进。我们讨论了密切相关的印度语言之间的同源检测的细微差别,并发布检测到的同源词作为一个数据集的列表。我们也观察到的行为,在一定程度上,不相关的印度语言对,并公布其中检测到的同源词的列表。
2021-12-30 cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women(卡明斯女子工程学院);Banasthali University(班纳斯塔利大学)
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译,翻译的有效性可以得到提高。我们已经表明,古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
ILID: Native Script Language Identification for Indian Languages
Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉布尔·尼希蒂国家理工学院)
本文提出了一种针对印度语言的原生脚本语言识别方法,通过开发包含23种语言的250,000个句子数据集和基于预训练转换器模型的基线模型,实现了在嘈杂和混合语言环境中的语言识别性能提升。
2026-01-07 cs.CL
Quality Estimation Of Machine Translation Outputs Through Stemming
Banasthali University(巴纳斯达利大学)
机器翻译是印度语言的挑战性问题。每天我们都能看到一些机器翻译器被开发出来,但获得高质量的自动翻译仍然是一个非常遥远的梦想。在本文中,我们强调英语-印地语语言对,为了保持正确的MT输出,我们提出了一个排名系统,它采用了一些机器学习技术和形态特征。在排名中,不需要人为干预。我们还通过与人类排名进行比较来验证我们的结果。
2014-07-10 cs.CL
Domain Adaptation of NMT models for English-Hindi Machine Translation Task at AdapMT ICON 2020
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
神经机器翻译(NMT)模型的最新进展已被证明在低资源印度语言的机器翻译上产生了最先进的结果。本文描述了AdapMT共享任务ICON 2020中提出的英语-印地语神经机器翻译系统。该共享任务旨在使用小型域内并行语料库为人工智能(AI)和化学等特定领域的印度语言构建翻译系统。我们基于BLEU分数评估了两种流行的NMT模型的有效性,即LSTM和Transformer架构用于英语-印地语机器翻译任务。我们训练这些模型主要使用域外数据,并采用简单的领域自适应技术的基础上,域内数据集的特点。微调和混合域数据方法用于领域自适应。我们的团队在化学和一般领域En-Hi翻译任务中排名第一,在AI领域En-Hi翻译任务中排名第二。
2020-12-23 cs.CL cs.LG
Attempt Towards Stress Transfer in Speech-to-Speech Machine Translation
International Institute of Information Technology - Hyderabad(印度信息技术学院海得拉巴分校)
针对印度教育场景下现有语音到语音机器翻译输出单调、缺乏重音的问题,本文构建带重音标注的印度英语数据集,提出基于FastPitch的可迁移重音的TTS架构,实现印度英语到印地语的重音迁移SSMT系统,提升教育内容质量与吸引力。
2024-03-07 cs.CL cs.SD eess.AS
Role of Morphology Injection in Statistical Machine Translation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
基于短语的统计模型更常用,因为它们在翻译质量和系统复杂性方面表现最佳。印地语和所有印度语言在形态上都比英语丰富。因此,尽管基于短语的系统对于分歧较小的语言对表现得非常好,但对于英语到印度语的翻译,我们需要更多的语言信息(例如词法,解析树,词性标签等)。在源侧。在这种情况下,因子化模型似乎很有用,因为因子化模型将单词视为因子的向量。这些因素可以包含关于表面词的任何信息,并在翻译时使用它。因此,这项工作的目的是处理形态屈折在印地语和马拉地语使用因子翻译模型,而从英语翻译。SMT方法在翻译成形态丰富的语言时面临数据稀疏的问题。一个平行语料库不太可能包含所有词的形态形式。我们提出了一个解决方案,以产生这些看不见的形态形式,并将它们注入到原始的训练语料库。在本文中,我们研究的因素模型和稀疏的问题,在上下文翻译形态丰富的语言。我们提出了一个简单而有效的解决方案,这是基于丰富的输入与各种形态的单词。我们观察到,形态注入提高翻译质量的充分性和流畅性。我们验证了这两个形态丰富的语言实验:印地语和马拉地语,而从英语翻译。
2017-09-16 cs.CL
Harnessing Cross-lingual Features to Improve Cognate Detection for Low-resource Languages
IIT Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学联合研究学院);Monash University(莫纳什大学);NICT(日本情报通信研究机构)
同源词是同一词汇形式在不同语言中的变体;例如西班牙语中的“fonema”和英语中的“phoneme”都是同源词,两者都意味着“声音的单位”。自动检测任意两种语言之间的同源词的任务可以帮助下游的NLP任务,例如跨语言信息检索、计算系统发生学和机器翻译。在本文中,我们展示了使用跨语言的词嵌入检测同源十四个印度语言。我们的方法介绍了使用上下文从知识图谱生成改进的特征表示同源检测。然后,我们评估了我们的同源检测机制对神经机器翻译(NMT)的影响,作为一个下游任务。我们评估我们的方法来检测同源词的一个具有挑战性的数据集的12种印度语言,即梵语,印地语,阿萨姆语,奥里亚语,卡纳达语,古吉拉特语,泰米尔语,泰卢固语,旁遮普语,孟加拉语,马拉地语,马拉雅拉姆语。此外,我们还为另外两种印度语言创建了评估数据集,即Konkani和尼泊尔语。我们观察到高达18%的点,在F分数方面,同源检测的改善。此外,我们观察到使用我们的方法提取的同源词有助于将NMT质量提高高达2.76 BLEU。我们还公开发布我们的代码、新构建的数据集和跨语言模型。
2021-12-16 cs.CL
Semantically Cohesive Word Grouping in Indian Languages
IIT Bombay(印度理工学院孟买分校);IIT Kanpur(印度理工学院坎普尔分校)
本文针对印度语言语义单元粒度差异导致的平行句结构不一致问题,提出语义内聚的词分组预处理方法,并以印地语为对象通过扰动、机器翻译和句法分析验证其有效性。
2025-01-07 cs.CL
Automatic Classification of Human Translation and Machine Translation: A Study from the Perspective of Lexical Diversity
University of St Andrews(圣安德鲁斯大学);School of Computer Science(计算机科学学院)
通过使用三元模型并微调预训练的BERT模型进行序列分类,我们表明可以以高于偶然水平的准确度对机器翻译和人类翻译进行分类,这表明机器翻译和人类翻译是不同的系统方式。机器翻译的分类准确率远高于人工翻译。我们发现,这可能是解释之间的差异词汇多样性机器翻译和人类翻译。如果机器翻译具有独立于人类翻译的模式,则测量机器翻译与人类翻译的偏差的自动度量可能将差异与质量混为一谈。我们用两种不同类型的自动度量进行的实验显示了与分类任务结果的相关性。因此,我们建议在机器翻译评价中,应更多地关注机器翻译和人工翻译在词汇多样性方面的差异。
2021-05-10 cs.CL
Assamese-English Bilingual Machine Translation
Gauhati University(高哈蒂大学)
机器翻译是将文本从一种语言翻译成另一种语言的过程。本文利用阿萨姆语和英语的平行语料库,对阿萨姆语和英语进行了统计机器翻译。这里使用了一个基于统计短语的翻译工具包Moses。为了开发语言模型和对齐单词,我们分别使用了另外两个工具IRSTLM和GIZA。BLEU评分用于检查我们的翻译系统性能,它有多好。在BLEU分数的差异,而获得翻译句子从阿萨姆语到英语,反之亦然。由于印度语言在形态上非常丰富,因此从英语到阿萨姆语的翻译相对较难,导致BLEU分数较低。我们的翻译系统还引入了一个统计音译系统,基本上处理专有名词,OOV(词汇表外)的话,这是不存在于我们的语料库。
2014-07-08 cs.CL
Impact of Visual Context on Noisy Multimodal NMT: An Empirical Study for English to Indian Languages
Indian Institute of Technology Patna India;Indian Institute of Technology Jodhpur \& Indian Institute of Technology Patna India;Indian Institute of Technology Patna;Indian Institute of Technology Jodhpur \& Indian Institute of Technology Patna
本研究探讨视觉上下文对英语到印度语言多模态NMT的影响,发现在高资源无噪声场景下图像冗余,但在不同噪声水平下视觉特征发挥不同作用,为多模态噪声翻译提供新方向。
2025-06-23 cs.AI cs.CL cs.CV
IndicXNLI: Evaluating Multilingual Inference for Indian Languages
Microsoft Research(微软研究院);Delhi Technological University(德里理工大学);University of Utah(犹他大学)
虽然Indic NLP最近在语料库和预训练模型的可用性方面取得了快速进展,但标准NLU任务的基准数据集有限。为此,我们引入了IndicXNLI,一个针对11种印度语言的NLI数据集。它是由原始英文XNLI数据集的高质量机器翻译创建的,我们的分析证明了IndicXNLI的质量。通过在这个IndicXNLI上微调不同的预训练LM,我们分析了各种跨语言迁移技术对语言模型,语言,多语言,混合语言输入等的选择的影响。这些实验为我们提供了有用的见解预训练模型的行为,为不同的语言。
2022-04-19 cs.AI cs.CL
Multi-perspective Alignment for Increasing Naturalness in Neural Machine Translation
CLCG, University of Groningen(格罗宁根大学CLCG);Department of Computer Science, Aalborg University(奥尔堡大学计算机科学系);Departament de Llenguatges i Sistemes Informàtics, Universitat d’Alacant(阿莱康特大学语言与信息系统系)
受人类反馈强化学习框架启发,提出一种多视角对齐方法,在英译荷兰语文学翻译中同时奖励自然度和内容保留,生成词汇更丰富且不损失准确性的翻译。
2025-05-30 cs.CL
Evaluating Cross-lingual Knowledge Consistency in Code-Mixed vis-a-vis Indian Languages using IndicKLAR
Indian Institute of Science Education and Research(印度科学教育与研究学院);Microsoft Corporation(微软公司);UNSW Sydney(新南威尔士大学悉尼分校)
本文通过构建IndiKLAR基准,评估大语言模型在英语、混合语码和印度本土语言上的知识召回一致性,发现混合语码输入能显著缩小与英语的性能差距,并识别出从本土语言到混合语码的“翻转点”。
2026-09-30 cs.CL
Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯微信AI模式识别中心)
本研究从解码目标角度分析神经机器翻译中欠翻译的成因,提出利用预测EOS的置信度作为检测器并加强惩罚,以准确检测和纠正欠翻译输出。
2024-05-29 cs.CL
Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables
Rutgers University(罗格斯大学);Alibaba DAMO Academy(阿里巴巴达摩院);University of Science and Technology of China(中国科学技术大学)
Zero-shot翻译,直接在训练中看不到的语言对之间进行翻译,是多语言神经机器翻译(NMT)的一种有前途的能力。然而,由于最大似然训练目标,它通常会捕获输出语言和语言不变语义之间的虚假相关性,从而导致zero-shot翻译的传输性能较差。本文在传统的训练目标中引入了一种基于主元语言的去噪自编码目标,以提高zero-shot方向上的翻译精度。从隐变量的角度进行的理论分析表明,我们的方法实际上隐式地最大化了zero-shot方向的概率分布。在两个基准机器翻译数据集上,我们证明了该方法能够有效地消除虚假相关性,并显著优于最先进的方法,具有显着的性能。我们的代码可在https://github.com/Victorwz/zs-nmt-dae上获得。
2021-09-10 cs.CL
Machine Translation Systems in India
Tata Consultancy Services(塔塔咨询服务公司);Dibrugarh University Institute of Engineering and Technology(迪布鲁加尔大学工程技术学院)
机器翻译是使用自动化和计算机化手段将一种自然语言翻译成另一种自然语言。对于像印度这样的多语言国家来说,随着不同地区之间以数字化格式以不同语言交换大量信息,有必要找到从一种语言到另一种语言的自动化过程。在本文中,我们来看看印度的各种机器翻译系统,它是专门为印度语言之间的翻译而构建的。我们讨论了建立机器翻译系统所采取的各种方法,然后讨论了印度的一些机器翻译系统及其特点。
2013-04-29 cs.CL cs.CY
To Diverge or Not to Diverge: A Morphosyntactic Perspective on Machine Translation vs Human Translation
Google Translate Research(谷歌翻译研究院)
本研究从形态句法发散视角对比机器翻译与人工翻译,发现机器翻译因束搜索算法而更保守且收敛,且人工翻译中的发散现象会导致机器翻译性能下降。
2024-01-02 cs.CL
Bengali to Assamese Statistical Machine Translation using Moses (Corpus Based)
Royal School of Engineering and Technology(皇家工程与技术学院);Gauhati University(高哈蒂大学)
在自然语言处理中,机器方言解释在促进人-机对应和人-人对应方面发挥着重要作用。机器翻译(MT)指的是利用机器将一种方言转换成另一种方言。统计机器翻译是一种由语言模型、翻译模型和解码器组成的机器翻译。本文利用Moses语言建立了孟加拉语到阿萨姆语的统计机器翻译模型。其他翻译工具,如用于语言模型的IRSTLM和用于翻译模型的GIZA-PP-V1.0.7,都在这个框架中使用,在Linux环境中可以访问。LM的目的是鼓励流畅的输出,TM的目的是鼓励输入和输出之间的相似性,解码器增加了目标语言的翻译文本的概率。在孟加拉语和阿萨姆语的17100句平行语料库已被用于在此框架内准备。可测量的MT程序到目前为止还没有普遍调查印度方言。这可能是有趣的发现在多大程度上这些模型可以帮助巨大的持续MT审议在国家。
2015-04-06 cs.CL
Towards Building Large Scale Datasets and State-of-the-Art Automatic Speech Translation Systems for 14 Indian Languages
ACL Proceedings(ACL会议)
本文构建了最大规模的14种印度语言语音翻译数据集BhasaAnuvaad,并基于此训练出性能优于现有模型的当前最优语音翻译模型IndicSeamless,显著提升了翻译质量。
2025-05-31 cs.CL
$M^2PO$: Multi-Perspective Multi-Pair Preference Optimization for Machine Translation
Alibaba International Digital Commerce(阿里巴巴国际数字商业)
研究针对机器翻译中主流方法受误导性奖励信号影响的问题,提出$M^2PO$框架,通过双视角机制和多对目标优化偏好,实验证明该框架能使模型性能提升,超越开源基线并接近专有模型。
2026-07-29 cs.CL
Towards Large Language Model driven Reference-less Translation Evaluation for English and Indian Languages
IIIT Hyderabad(印度国际信息技术研究院(海得拉巴));LTRC(语言技术研究中心)
本文提出用大语言模型模拟人类直接评估,构建英语及印度语言的无参考翻译评分任务,并通过零样本、上下文学习和微调验证LLaMA-2-13B可比或优于现有指标。
2024-04-03 cs.CL
Practical Perspectives on Quality Estimation for Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Google, Inc.(谷歌公司)
用于机器翻译(MT)的句子级质量估计(QE)试图预测校正MT输出所需的后期编辑工作的翻译编辑率(TER)成本。我们描述了我们的观点,对企业层面的量化宽松所规定的几个实际设置中遇到的行业。我们发现MT输出的消费者-无论是人类还是算法-主要对二进制质量度量感兴趣:翻译的句子是否足够,还是需要后期编辑?出于这一动机,我们提出了一个质量分类(QC)的观点,在一个给定的阈值以上的精度,我们专注于最大限度地提高召回率。我们证明,虽然经典的QE回归模型在这项任务中表现不佳,但它们可以通过用二进制分类层替换输出回归层来重新利用,从而在90%的精度下实现50- 60%的召回率。对于一个高质量的机器翻译系统产生75- 80%的正确翻译,这确实承诺显着减少后期编辑工作。
2020-05-02 cs.CL
Do Not Change Me: On Transferring Entities Without Modification in Neural Machine Translation -- a Multilingual Perspective
Poznan University of Technology(波兹南技术大学);Adam Mickiewicz University(亚当·密茨凯维奇大学)
本文从多语言视角系统评估了OPUS、Google Translate、MADLAD和EuroLLM等神经机器翻译模型在英德波乌四种语言间保留URL、IBAN、邮箱等实体的能力,分析错误原因并提出含36,000句的多语言合成数据集以支持实体迁移质量评估。
2025-05-09 cs.CL
Zero-shot Cross-lingual NER via Mitigating Language Difference: An Entity-aligned Translation Perspective
School of Computer Science & Technology, NLP Lab, Soochow University, China(计算机科学与技术学院、自然语言处理实验室、苏州大学);Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University(中文与双语研究系、香港理工大学)
针对现有零样本跨语言NER方法在非拉丁文字语言上性能下降的问题,提出基于大语言模型的实体对齐翻译方法,通过双重翻译策略及多语言维基百科数据微调增强跨语言实体对齐效果。
2025-09-01 cs.CL
Towards the evaluation of automatic simultaneous speech translation from a communicative perspective
Mainz University(美因茨大学);KUDO
近年来,由于人工智能的进步,特别是在语音识别和机器翻译领域的进步,自动语音到语音和语音到文本翻译已经获得了动力。这类应用程序的质量通常使用自动度量标准(如BLEU)进行测试,主要目的是评估版本的改进或评估活动。然而,很少有人知道这样的系统的输出是如何被最终用户感知的,或者它们如何与人类在类似的交际任务中的表现进行比较。在本文中,我们提出了一个实验的结果,旨在评估实时语音翻译引擎的质量,通过比较它的专业同声传译的性能。要做到这一点,我们采用了一个框架开发的人类口译员的评估,并使用它来执行人工评估人类和机器的性能。在我们的样本中,我们发现人类口译员在可理解性方面表现更好,而机器在信息量方面表现稍好。研究的局限性和可能的增强所选择的框架进行了讨论。尽管其固有的局限性,这个框架的使用代表了第一步,以用户为中心,面向通信的方法来评估实时自动语音翻译。
2021-06-30 cs.CL
BM25-Augmented Many-Shot Translation for Low-Resource North-Eastern Indian Languages
University of Florida(佛罗里达大学)
该研究针对WMT26低资源印度东北语言翻译任务,采用BM25检索示例、Gemini 2.5 Flash翻译的无微调方案,通过网格搜索确定最优参数,实现英语与11种印度东北语言的双向翻译。
2026-08-17 cs.CL
Statistical Machine Translation for Indic Languages
Indian Institute of Technology (IIT)(印度理工学院(IIT))
本文研究了使用统计机器翻译技术将英语翻译成十五种低资源印度语言及其反向翻译,并通过预处理和SMT工具包提升翻译质量。
2023-01-02 cs.CL
EPIC-EuroParl-UdS: Information-Theoretic Perspectives on Translation and Interpreting
Saarland University(萨尔兰大学);University of Hildesheim(希尔德斯海姆大学)
本文介绍了更新和结合的双向英语-德语EPIC-UdS(口语)和EuroParl-UdS(书面)语料库,包含原始欧洲议会演讲及其翻译和解读。新版本修正了元数据和文本错误,优化内容,更新语言标注,并增加词对齐和词级意外指数等新层。
2026-06-29 cs.CL