Large Language Models (LLMs) demonstrate remarkable translation capabilities in high-resource language tasks, yet their performance in low-resource languages is hindered by insufficient multilingual data during pre-training. To address this, we conduct extensive multilingual continual pre-training on the LLaMA series models, enabling translation support across more than 100 languages. Through a comprehensive analysis of training strategies, such as vocabulary expansion and data augmentation, we develop LLaMAX. Remarkably, without sacrificing its generalization ability, LLaMAX achieves significantly higher translation performance compared to existing open-source LLMs (by more than 10 spBLEU points) and performs on-par with specialized translation model (M2M-100-12B) on the Flores-101 benchmark. Extensive experiments indicate that LLaMAX can serve as a robust multilingual foundation model. The code \footnote{\url{https://github.com/CONE-MT/LLaMAX/.}} and the models \footnote{\url{https://huggingface.co/LLaMAX/.}} are publicly available.
LLaMAX2: Your Translation-Enhanced Model also Performs Well in Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Artificial Intelligent Laboratory(上海人工智能实验室)
Reasoning over Grammar: Can Synthetic Linguistic Reasoning Traces Enhance Low-Resource Machine Translation?
ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
On the Systematic Challenges of Culturally Loaded Machine Translation: Dream of the Red Chamber as the Cultural Lens
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);School of Foreign Languages, East China University of Science and Technology(华东理工大学外国语学院);Mejiro University(目白大学)
Leveraging the Cross-Domain & Cross-Linguistic Corpus for Low Resource NMT: A Case Study On Bhili-Hindi-English Parallel Corpus
Department of Electrical Engineering, Indian Institute of Technology Delhi(电子工程系,印度理工学院德里);Bharti School of Telecommunication, Indian Institute of Technology Delhi(电信学院,印度理工学院德里);Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(人工智能学院,印度理工学院德里)
Pun Intended: Multi-Agent Translation of Wordplay with Contrastive Learning and Phonetic-Semantic Embeddings for CLEF JOKER 2025 Task 2
Georgia Institute of Technology(佐治亚理工学院);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学);Joint Institute for Nuclear Research(联合核子研究中心);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(斯德哥尔摩大学)
MELLA: Bridging Linguistic Capability and Cultural Groundedness for Low-Resource Language MLLMs
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);East China Normal University(东华大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Institute of High Performance Computing, A*STAR(高性能计算研究所,A*STAR)
Copy First, Translate Later: Interpreting Translation Dynamics in Multilingual Pretraining
MaiNLP, Center for Information and Language Processing, LMU Munich(MaiNLP,信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Department of Mathematics, LMU Munich(数学系,慕尼黑大学);Department of Physics and Technology, University of Tromsø(物理与技术系,特罗姆瑟大学);DLR-German Aerospace Center(德国航空航天中心)
Research Centre for Cognitive Science & Artificial Intelligence(认知科学与人工智能研究中心);Department of Computational Cognitive Science(计算认知科学系);Tilburg University(蒂尔堡大学)
On the Integration of LinguisticFeatures into Statistical and Neural Machine Translation
Dublin City University(都柏林城市大学);School of Computing(计算机学院)
新的机器翻译(MT)技术正在迅速出现,并且伴随着它们,实现人类平等的大胆主张,例如:(i)产生的结果接近“平均双语人类翻译者所实现的准确性”(Wu等人,2017 b)或(ii)“与专业翻译人员相比,翻译质量与人类同等”(Hassan等人,2018)已经看到了曙光(Laubli et al.,2018年)。除了这些论文中的许多人自己对人类平等的定义之外,这些耸人听闻的说法往往没有得到对翻译所涉及的所有方面的完整分析的支持。确定机器翻译统计方法的优势与人类翻译方式之间的差异是我们研究的出发点。通过观察机器翻译输出和语言学理论,我们能够确定一些剩余的问题。这些问题从简单的数字和性别一致错误到更复杂的现象,如体值和时态的正确翻译。我们的实验证实,与其他研究一起(Bentivogli等人,2016年),神经MT在许多方面已经超过了统计MT。然而,一些问题仍然存在,另一些问题已经出现。我们涵盖了一系列与将特定语言特征整合到统计和神经MT中相关的问题,旨在分析其中一些问题并提供解决方案。我们的工作重点是解决围绕语言学和机器翻译之间的复杂关系的三个主要研究问题。我们识别出了自动翻译系统所缺乏的语言信息,以便产生更准确的翻译,并将额外的功能集成到现有的管道中。我们确定过度泛化或“算法偏见”作为神经MT的潜在缺点,并将其与许多剩余的语言问题联系起来。
Better Neural Machine Translation by Extracting Linguistic Information from BERT
Simon Fraser University(西蒙弗雷泽大学)
向神经机器翻译(NMT)添加语言信息(语法或语义)主要集中在使用来自预训练模型的点估计。直接使用大量预先训练的上下文词嵌入模型的能力,例如BERT(Devlin et al.,2019)在NMT中的作用不大,因为在不使训练变得脆弱和不可靠的情况下,很难为NMT获得有效的微调。我们通过从BERT中提取密集微调的基于向量的语言信息来增强NMT,而不是使用点估计。实验结果表明,我们的方法,将语言信息有助于NMT更好地概括在各种训练环境中,并不比传统的基于transformer的NMT更难训练。
Improving Multilingual Neural Machine Translation by Utilizing Semantic and Linguistic Features
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of Intelligent Information Processing(智能信息处理重点实验室);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
Distinguishing Translations by Human, NMT, and ChatGPT: A Linguistic and Statistical Approach
School of Foreign Languages, Shanghai Jiao Tong University(上海交通大学外国语学院);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Institute of Corpus Studies and Applications, Shanghai International Studies University(上海外国语大学语料库研究与应用研究院)
The boundaries of meaning: a case study in neural machine translation
University of Georgia(佐治亚大学)
深度学习在自然语言处理中的成功提出了关于语言意义的本质以及自然和人工系统处理语言意义的方式的有趣问题。其中一个问题与自2016年以来广泛用于语言建模,机器翻译和其他任务的子词分割算法有关。这些算法通常将单词切割成语义不透明的片段,例如“period”、“on”、“t”和“ist”中的“period |on| t|是的。然后,系统在稠密向量空间中表示所得到的片段,期望对它们之间的语法关系进行建模。该表示又可以用于映射周期|on| t| ist'(English)to 'par |od| ont| iste'(法文)。因此,翻译不再是在词汇水平上建模,而是更普遍地被重新表述为学习两种语言的子词片段序列之间的最佳双语映射的任务;有时甚至是纯字符序列之间的映射:|t“$\rightarrow$”p |a| r |o| d |o| n |t| i |s| t| e '。这样的子词分割和对齐在高效的端到端机器翻译系统中起作用,尽管它们据称是不透明的。这些过程的计算价值是毋庸置疑的。但是,它们是否具有语言或哲学上的兼容性呢?我试图通过回顾子词分割算法的相关细节,并将它们与重要的哲学和语言学辩论联系起来,本着使人工智能更加透明和可解释的精神,来阐明这个问题。