THUMT: An Open Source Toolkit for Neural Machine Translation
Tsinghua University（清华大学）；Jiangsu Collaborative Innovation Center for Language Competence（江苏语言能力协同创新中心）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
本文介绍了清华大学自然语言处理研究组开发的一个开源的神经机器翻译工具包THUMT。THUMT在Theano之上实现了标准的基于注意力的编码器-解码器框架，并支持三个训练标准：最大似然估计，最小风险训练和半监督训练。它具有一个可视化工具，用于显示神经网络中隐藏状态与上下文单词之间的相关性，这有助于分析NMT的内部工作原理。在中英文数据集上的实验表明，使用最小风险训练的THUMT显著优于GroundHog，一个最先进的NMT工具包。
2017-06-20 cs.CL
SimulEval: An Evaluation Toolkit for Simultaneous Translation
Facebook AI（Facebook人工智能）；Johns Hopkins University（约翰斯·霍普金斯大学）
文本和语音的同步翻译专注于实时和低延迟的场景，其中模型在读取完整的源输入之前开始翻译。评估同声翻译模型比离线模型更复杂，因为除了翻译质量之外，延迟是另一个需要考虑的因素。尽管研究界越来越关注同声翻译的新建模方法，但目前缺乏一个通用的评估程序。因此，我们提出了SimulEval，一个易于使用的通用评估工具包，用于同时进行文本和语音翻译。引入服务器-客户端方案来创建同声翻译场景，其中服务器发送源输入并接收用于评估的预测，而客户端执行定制的策略。给定一个策略，它会自动执行同步解码，并共同报告几个流行的延迟指标。我们还调整了从文本同声翻译到语音任务的延迟度量。此外，SimulEval还配备了可视化界面，以便更好地了解系统的同步解码过程。SimulEval已经被广泛用于IWIEF 2020同步语音翻译的共享任务。代码将在发布时发布。
2020-07-31 cs.CL
MT-LENS: An all-in-one Toolkit for Better Machine Translation Evaluation
Barcelona Super Computing Center (BSC)（巴塞罗那超级计算中心）
MT-LENS是一个全能工具包，扩展了LM-eval-harness，用于评估机器翻译质量、性别偏见、毒性和拼写鲁棒性，并提供交互式可视化分析，以帮助研究人员和工程师更好地理解NMT模型性能及其偏见。
2024-12-16 cs.CL
OpenNMT: Open-Source Toolkit for Neural Machine Translation
Harvard University（哈佛大学）；SYSTRAN
我们描述了一个神经机器翻译（NMT）的开源工具包。该工具包优先考虑效率，模块化和可扩展性，目标是支持NMT对模型架构，特征表示和源模态的研究，同时保持有竞争力的性能和合理的培训要求。该工具包包括建模和翻译支持，以及有关底层技术的详细教学文档。
2017-03-06 cs.AI cs.CL cs.NE
YANMTT: Yet Another Neural Machine Translation Toolkit
National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
在本文中，我们提出了我们的开源神经机器翻译（NMT）工具包，称为“又一个神经机器翻译工具包”，简称为YANMTT，它是建立在Transformers库之上的。尽管序列到序列预训练的重要性越来越大，但令人惊讶的是，很少有（如果不是没有的话）完善的工具包允许用户轻松地进行预训练。像Fairseq这样的工具包允许预先训练，有非常大的代码库，因此它们对初学者不友好。关于通过微调的迁移学习，大多数工具包并不明确允许用户控制预训练模型的哪些部分可以被迁移。YANMTT旨在通过最少的代码来预训练大规模NMT模型，选择性地传输预训练的参数并对其进行微调，执行翻译以及提取表示和注意事项以进行可视化和分析。除了这些核心功能外，我们的工具包还提供其他高级功能，例如但不限于文档/多源NMT，同步NMT和通过蒸馏的模型压缩，我们认为这些功能与我们工具包背后的目的相关。
2021-08-25 cs.AI cs.CL
ViNMT: Neural Machine Translation Toolkit
University of Engineering and Technology - Hanoi VNU（河内越南国家大学工程技术大学）；University of Information and Communication Technology - Thai Nguyen University（太原大学信息与通信技术大学）；University of Economics-Technical For Industries（工业经济技术大学）
我们提出了一个神经机器翻译（NMT）的开源工具包。新的工具包主要基于拱形的Transformer（Vaswani等人，2017年）以及下面详细介绍的许多其他改进，以便为各个领域的机器翻译任务创建一个独立的，易于使用的，一致的和全面的框架。它的工具支持双语和多语言翻译任务，从各自的语料库构建模型开始，到推断新的预测或将模型打包为支持服务的JIT格式。
2022-03-08 cs.CL cs.LG
TURJUMAN: A Public Toolkit for Neural Arabic Machine Translation
The University of British Columbia（不列颠哥伦比亚大学）
TURJUMAN是一个神经工具包，可以将20种语言翻译成现代标准阿拉伯语（MSA）。TURJUMAN利用最近推出的文本到文本Transformer AraT 5模型，赋予它强大的阿拉伯语解码能力。该工具包提供了采用多种不同解码方法的可能性，使其适合作为附加值获取MSA翻译的释义。为了训练TURJUMAN，我们采用一个简单的语义相似性方法，以确保数据质量从公开的并行数据采样。这使我们能够准备和发布AraOPUS-20，一个新的机器翻译基准。我们公开发布我们的翻译工具包（TURJUMAN）以及我们的基准数据集（AraOPUS-20）。
2022-05-27 cs.AI cs.CL cs.LG
NeoAMT: Neologism-Aware Agentic Machine Translation with Reinforcement Learning
The University of Tokyo（东京大学）；NTT Communication Science Laboratories, NTT, Inc.（NTT通信科学实验室，NTT公司）
提出NeoAMT框架，利用基于Wiktionary的搜索工具和强化学习训练翻译智能体，以提升包含新词的源句翻译质量。
2026-05-24 cs.AI cs.CL
Sockeye: A Toolkit for Neural Machine Translation
Amazon（亚马逊）
我们描述了Sockeye（版本1.12），一个用于神经机器翻译（NMT）的开源序列到序列工具包。Sockeye是一个用于训练和应用模型的生产就绪框架，也是研究人员的实验平台。该工具包以Python编写并构建在MXNet上，为三种最突出的编码器-解码器架构提供可扩展的训练和推理：注意力递归神经网络，自注意力Transformers和全卷积网络。Sockeye还支持广泛的优化器，规范化和正则化技术，以及当前NMT文献的推理改进。用户可以轻松地运行标准训练配方，探索不同的模型设置，并融入新的想法。在本文中，我们强调了Sockeye的功能，并将其与2017年机器翻译会议（WMT）的两种语言弧上的其他NMT工具包进行了基准测试：英语-德语和拉脱维亚语-英语。我们报告了所有三种架构的竞争性BLEU分数，包括Sockeye的Transformer实现的总体最佳分数。为了便于进一步比较，我们发布了实验中使用的所有系统输出和训练脚本。Sockeye工具包是在Apache 2.0许可下发布的自由软件。
2018-06-01 cs.CL cs.LG stat.ML
Marian: Fast Neural Machine Translation in C++
Microsoft（微软）；Adam Mickiewicz University in Poznań（波兹南密茨凯维奇大学）；University of Edinburgh（爱丁堡大学）；Unbabel
我们提出了Marian，一个高效且独立的神经机器翻译框架，该框架集成了基于动态计算图的自动微分引擎。Marian完全用C++编写。我们描述了编码器-解码器框架的设计，并证明了一个研究友好的工具包可以实现高的训练和翻译速度。
2018-04-04 cs.CL
Open Terminology Management and Sharing Toolkit for Federation of Terminology Databases
Tilde（Tilde公司）；University of Latvia（拉脱维亚大学）
内容创建者和翻译人员需要整合访问来自不同主题领域和语言的当前和可靠术语。人工智能应用程序也需要术语，如机器翻译，语音识别，信息抽取和其他自然语言处理工具。在这项工作中，我们通过提供一个开放的术语管理解决方案-EuroTermBank工具包，促进了基于标准的术语资源共享和管理。它允许组织管理和搜索他们的术语，创建术语集合，并通过参与联合数据库网络在组织内外共享它们。联合数据库中的数据自动与欧洲最大的多语言术语资源EuroTermBank共享，使翻译人员和语言服务提供商以及研究人员和学生能够访问最新版本的术语资源。
2022-07-14 cs.CL
Improving the Quality of MT Output using Novel Name Entity Translation Scheme
Banasthali University（巴纳斯塔利大学）
本文提出了一种新的方法来机器翻译结合最先进的名称实体翻译方案。名称实体翻译不当会降低机器翻译输出的质量。在这项工作中，名称实体的音译使用统计规则为基础的方法。本文描述了从英语到旁遮普语的名称实体的翻译和音译。我们已经对四种类型的名称实体进行了实验，它们是：专有名称，位置名称，组织名称和杂项。为了音节化的目的，已经建立了各种规则。名称实体的音译是在概率计算的帮助下完成的。使用统计机器翻译工具包MOSES计算了所提取音节的N-Gram概率。
2013-10-02 cs.CL
Joey NMT: A Minimalist NMT Toolkit for Novices
Heidelberg University（海德堡大学）；University of Amsterdam（阿姆斯特丹大学）
我们介绍了Joey NMT，一个基于PyTorch的极简神经机器翻译工具包，专为新手设计。Joey NMT在一个小而简单的代码库中提供了许多流行的NMT功能，因此新手可以轻松快速地学习使用它并使其适应他们的需求。尽管Joey NMT专注于简单性，但它支持经典架构（RNN，Transformers），快速束搜索，权重绑定等，并在标准基准测试中实现了与更复杂的工具包相当的性能。我们在用户研究中评估了我们的工具包的可访问性，其中具有Pytorch和NMT一般知识的新手和专家通过独立的Joey NMT教程工作，表明新手在随后的代码测验中表现得几乎和专家一样好。Joey NMT可以在https://github.com/joeynmt/joeynmt上找到。
2020-06-19 cs.CL cs.LG
Sockeye 3: Fast Neural Machine Translation with PyTorch
Amazon（亚马逊）
Sockeye 3是用于神经机器翻译（NMT）的Sockeye工具包的最新版本。现在基于PyTorch，Sockeye 3提供了更快的模型实现和更高级的功能，并进一步简化了代码库。这可以通过更快的迭代进行更广泛的实验，有效地训练更强大和更快的模型，以及将新想法快速从研究转移到生产的灵活性。当运行类似的模型时，Sockeye 3比GPU上的其他PyTorch实现快126%，在CPU上快292%。Sockeye 3是在Apache 2.0许可下发布的开源软件。
2022-08-02 cs.CL
SOTASTREAM: A Streaming Approach to Machine Translation Training
Microsoft（微软）
针对机器翻译中静态数据预处理耗时、占空间且不灵活的问题，本文提出并开源 SOTASTREAM 流式数据生成与训练框架，支持实时算子处理并保持模型准确率。
2023-08-14 cs.CL
ATR4S: Toolkit with State-of-the-art Automatic Terms Recognition Methods in Scala
自动识别的术语广泛用于各种特定领域的文本处理任务，例如机器翻译、信息检索或情感分析。然而，对于哪种方法最适合特定环境，仍然没有达成一致意见，而且，对已经制定的方法也没有进行可靠的比较。我们认为，主要原因之一是缺乏最先进的方法实现，这些方法的重新创建通常是不平凡的。为了解决这些问题，我们提出了ATR4S，一个用Scala编写的开源软件，包括超过15种自动术语识别（ATR）方法，并实现了从文本文档预处理到候选术语收集，候选术语评分，最后候选术语排名的整个流程。它是一个高度可扩展、模块化和可配置的工具，支持自动缓存。我们还通过平均精度和处理时间比较了7个开放数据集上的10种最先进的方法。实验比较表明，没有一种方法对所有数据集都具有最佳的平均精度，并且ATR的其他可用工具不包含最佳方法。
2016-11-23 cs.CL
Tilde at WMT 2020: News Task Systems
Tilde（Tilde公司）；University of Latvia（拉脱维亚大学）
本文介绍了Tilde提交的WMT2020共享任务的新闻翻译的两个方向的英语和波兰语对在约束和不受约束的轨道。我们遵循前几年的提交，并将我们的基线系统构建为基于Transformer的基于子词单元的形态动机模型，我们使用Marian机器翻译工具包进行训练。此外，我们还尝试了不同的并行和单语数据选择方案，以及采样回译。我们的最终模型是Transformer基础模型和Transformer大模型的集合，这些模型具有从右到左的重新排序功能。
2020-10-29 cs.CL
Assamese-English Bilingual Machine Translation
Gauhati University（高哈蒂大学）
机器翻译是将文本从一种语言翻译成另一种语言的过程。本文利用阿萨姆语和英语的平行语料库，对阿萨姆语和英语进行了统计机器翻译。这里使用了一个基于统计短语的翻译工具包Moses。为了开发语言模型和对齐单词，我们分别使用了另外两个工具IRSTLM和GIZA。BLEU评分用于检查我们的翻译系统性能，它有多好。在BLEU分数的差异，而获得翻译句子从阿萨姆语到英语，反之亦然。由于印度语言在形态上非常丰富，因此从英语到阿萨姆语的翻译相对较难，导致BLEU分数较低。我们的翻译系统还引入了一个统计音译系统，基本上处理专有名词，OOV（词汇表外）的话，这是不存在于我们的语料库。
2014-07-08 cs.CL
Translation Canvas: An Explainable Interface to Pinpoint and Analyze Translation Systems
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出可解释界面 Translation Canvas，通过识别常见错误、分析系统间关系并高亮错误片段，弥补 COMET 和 SacreBLEU 在细粒度分析上的不足，人工评估显示其在愉悦性和可理解性上更优。
2024-10-20 cs.CL
CzechDocs: A Multiway Parallel Dataset of Formatted Documents for Minority Languages in Czechia
Charles University, Faculty of Mathematics；Physics Institute of Formal
提出CzechDocs多路平行格式化文档数据集，覆盖捷克及少数民族语言，支持评估保留格式的机器翻译系统，并公开验证子集与评估工具。
2026-06-19 cs.CL
Tackling Low-Resourced Sign Language Translation: UPC at WMT-SLT 22
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
本文介绍了在加泰罗尼亚理工大学为机器翻译2022年手语翻译任务研讨会开发的系统，特别是用于符号到文本的方向。我们使用一个用Fairseq建模工具包实现的Transformer模型。我们已经试验了词汇量，数据增强技术和PHOENIX-14 T数据集的预训练模型。我们的系统为测试集获得了0.50 BLEU分数，将组织者的基线提高了0.38 BLEU。我们注意到基线和我们的系统的结果都很差，因此，我们的发现是不可靠的。
2022-12-02 cs.CL cs.CV
End-to-End Neural Word Alignment Outperforms GIZA++
Lilt, Inc.（Lilt公司）
单词对齐曾经是自然语言处理中的核心无监督学习任务，因为它在训练统计机器翻译（MT）模型中起着至关重要的作用。虽然词对齐对于训练神经机器翻译模型是不必要的，但是词对齐在神经机器翻译的交互式应用中仍然起着重要的作用，例如注释转移和词典注入。虽然统计机器翻译方法已经被性能优越的神经方法所取代，但二十年前的GIZA++工具包仍然是最先进的单词对齐系统的关键组成部分。之前关于神经单词对齐的工作只能通过在训练过程中使用其输出来超越GIZA++。我们提出了第一个端到端神经单词对齐方法，该方法在三个数据集上的性能始终优于GIZA++。我们的方法重新使用了一个为监督翻译训练的Transformer模型，以一种紧密集成且不影响翻译质量的方式作为一个无监督的单词对齐模型。
2020-04-30 cs.CL
Reordering rules for English-Hindi SMT
CDAC Mumbai（孟买电子发展中心）
重排序是统计机器翻译（SMT）系统的一个预处理阶段，在SMT系统中，源语句的单词按照目标语言的语法进行重排序。我们提出了一套丰富的规则来更好地重新排序。我们的想法是促进训练过程中更好的对齐和并行短语提取的短语为基础的SMT系统。重新排序也有助于解码过程，从而提高机器翻译的质量。我们已经观察到，通过使用我们的方法，与基线SMT相比，翻译质量有了显着提高。我们使用BLEU、NIST、多参考字出错率、多参考位置无关出错率来判断改进。我们利用开放源代码的SMT工具包MOSES来开发该系统。
2016-10-24 cs.CL
Morphological and Language-Agnostic Word Segmentation for NMT
Charles University（查理大学）
在神经机器翻译（NMT）中处理丰富形态学的最新技术是将单词形式分解为子单词单元，以便这些单元的总体词汇量符合NMT模型和GPU内存容量给出的实际限制。在本文中，我们比较了两种常见的但在语言上不知情的子词构造方法（BPE和STE，在Tensor2Tensor工具包中实现的方法）和两种语言动机的方法：Morfessor和一种基于派生词典的新方法。我们的实验与德语到捷克语的翻译，都形态丰富，文件，到目前为止，非动机的方法表现得更好。此外，我们确定了BPE和STE之间的关键区别，并为BPE显示了一个简单的预处理步骤，该步骤可以显著提高翻译质量，并通过自动测量进行评估。
2018-06-14 cs.CL
TurkicNLP: An NLP Toolkit for Turkic Languages
Computational Linguistics University of Potsdam（计算语言学波茨坦大学）
提出一个统一的、开源的Python库TurkicNLP，通过模块化多后端架构支持四种文字体系的突厥语言，提供分词、形态分析、词性标注、依存句法、命名实体识别、跨文字转写、跨语言句子嵌入和机器翻译等功能。
2026-10-12 cs.CL
Domain-Specific Machine Translation to Translate Medicine Brochures in English to Sorani Kurdish
University of Kurdistan Hewlêr（库尔德斯坦大学（赫wlêr））
针对库尔德语药品说明书缺乏的问题，利用平行语料库训练统计机器翻译模型，将英文说明书译为索拉尼库尔德语，并通过医学词典后处理提升BLEU分数，人工评估显示翻译准确且清晰。
2025-01-23 cs.CL
An Empirical Study of Mini-Batch Creation Strategies for Neural Machine Translation
NTT Communication Science Laboratories, NTT Corporation（NTT株式会社NTT通信科学基础研究所）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Carnegie Mellon University（卡内基梅隆大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
神经机器翻译（NMT）模型的训练通常使用小批量来提高效率。在小批量训练过程中，为了有效计算，需要填充小批量中的较短句子，使其长度等于其中的最长句子。以前的工作已经注意到，在进行小批量处理之前，根据句子长度对语料库进行排序，减少了填充量，提高了处理速度。然而，尽管小批量创建是NMT训练中的一个重要步骤，但广泛使用的NMT工具包实现了不同的策略，这些策略尚未经过经验验证或比较。本文研究了小批量创建策略，并在两个不同的数据集上进行了实验。我们的研究结果表明，小批量创建策略的选择对NMT训练有很大的影响，与简单的洗牌相比，一些基于长度的排序策略并不总是有效。
2017-06-19 cs.CL
Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement
Tencent Inc（腾讯公司）
机器翻译中的词级质量评估旨在发现译文中潜在的错误。通常，关于词级QE的传统工作被设计为根据编辑后的努力来预测翻译质量，其中，通过翻译出错率（TER）工具包比较MT句子和编辑后的句子之间的词来自动生成词标签（“OK”和“BAD”）。虽然编辑后的努力在一定程度上可以用来衡量翻译质量，但我们发现它通常与人类对单词翻译的好坏的判断相冲突。为了克服这一局限性，我们首先创建了一个黄金基准数据集，即\emph{HJQE}（Human Judgement on Quality Estimation），专家翻译人员直接对他们的判断进行注释。此外，为了进一步利用并行语料库，本文提出了自监督预训练的两种标签修正策略，即标签细化策略和基于树的标注策略，使基于TER的人工QE语料库更接近于\emph{HJQE}。我们进行了大量的实验的基础上公开可用的WMT En-De和En-Zh语料库。实验结果不仅表明我们提出的数据集更符合人类的判断，而且也证实了所提出的标签校正策略的有效性。\footnote{The data can be found at \url{https://github.com/ZhenYangIACAS/HJQE}.}
2022-09-13 cs.CL
PyMarian: Fast Neural Machine Translation and Evaluation in Python
Microsoft Translator（微软翻译）；University of Maryland（马里兰大学）
本文介绍PyMarian，一个连接C++工具Marian NMT与Python的接口，支持机器翻译训练推理，并实现快达7.8倍的COMET指标计算。
2024-08-15 cs.CL
Rule Based Transliteration Scheme for English to Punjabi
Banasthali University（班纳斯塔利大学）
机器音译是机器翻译领域中一个新兴的研究方向。音译的基本目的是保留单词的语音结构。名称实体的正确音译对提高机器翻译的质量起着非常重要的作用。在本文中，我们正在做机器音译的英语旁遮普语对使用基于规则的方法。我们已经建立了一些音节化的规则。音节化是从单词中提取或分离音节的过程。在这里，我们正在计算名称实体（专有名称和位置）的概率。对于那些不属于名称实体类别的单词，正在通过称为MOSES的统计机器翻译工具包使用相对频率来计算单独的概率。使用这些概率，我们将输入文本从英语音译为旁遮普语。
2013-07-15 cs.CL
Statistical Machine Translation for Indic Languages
Indian Institute of Technology (IIT)（印度理工学院（IIT））
本文研究了使用统计机器翻译技术将英语翻译成十五种低资源印度语言及其反向翻译，并通过预处理和SMT工具包提升翻译质量。
2023-01-02 cs.CL
DiscoTK: Using Discourse Structure for Machine Translation Evaluation
Qatar Computing Research Institute（卡塔尔计算研究所）
我们提出了新的自动度量机器翻译评估，使用话语结构和卷积核比较的话语树的自动翻译与人类参考。我们的实验与五个变换和增强的基础话语树表示的修辞结构理论的基础上，我们把他们每个人的核心分数到一个单一的分数。最后，我们添加了ASIYA MT评估工具包中的其他指标，并根据实际的人类判断调整组合的权重。在WMT 12和WMT 13指标共享任务数据集上的实验显示，与人类判断的相关性超过了这些年来参与的最佳系统在细分市场和系统层面上的表现。
2019-11-28 cs.AI cs.CL
SMT vs NMT: A Comparison over Hindi & Bengali Simple Sentences
Jadavpur University（贾达布尔大学）；SRM University（SRM大学）
在本文中，我们确定了统计机器翻译（SMT）和神经机器翻译（NMT）输出之间的定性差异。我们试图回答两个重要的问题：1。NMT与SMT和2的性能是否等同。它是否通过使用简单句子作为训练单元来提高机器翻译输出的质量。为了获得洞察力，我们开发了三个核心模型，即，SMT模型基于Moses工具包，其次是字符和单词级别的NMT模型。所有这些系统都使用英语-印地语和英语-孟加拉语语言对，包含简单句子以及其他复杂句子。为了保持翻译的语义相对于一个句子的目标词，我们采用软注意到我们的词级NMT模型。我们进一步评估了所有系统的成功和失败情况。最后，使用BLEU和TER指标以及流畅性，充分性等手动参数对翻译质量进行了验证。我们观察到，NMT在简单句子的情况下优于SMT，而SMT在所有类型的句子中均优于SMT。
2018-12-12 cs.CL
NMT-Keras: a Very Flexible Toolkit with a Focus on Interactive NMT and Online Learning
Pattern Recognition and Human Language Technology Research Center, Universitat Politècnica de València（瓦伦西亚理工大学模式识别与人类语言技术研究中心）
我们提出了NMT-Keras，这是一个用于训练深度学习模型的灵活工具包，它特别强调神经机器翻译系统的高级应用程序的开发，例如交互式预测翻译协议和通过持续学习对翻译系统的长期适应。NMT-Keras基于流行的Keras库的扩展版本，它在Theano和Tensorflow上运行。按照Keras提供的高级框架部署和使用最先进的神经机器翻译模型。由于其高度的模块化和灵活性，它也被扩展到解决不同的问题，如图像和视频描述，句子分类和视觉问答。
2018-08-16 cs.CL
CantonMT: Cantonese to English NMT Platform with Fine-Tuned Models Using Synthetic Back-Translation Data
The University of Manchester（曼彻斯特大学）
本文提出CantonMT平台，通过回译数据增强微调OpusMT、NLLB和mBART模型，实现粤语到英语低资源神经机器翻译，并提供开源工具包和用户界面以促进相关研究。
2024-06-09 cs.AI cs.CL
Building a reordering system using tree-to-string hierarchical model
Yandex School of Data Analysis（Yandex数据分析学院）
本文介绍了我们提交的第一次研讨会上重新排序的统计机器翻译。我们决定构建一个基于树到字符串模型的重排序系统，只使用公开可用的工具来完成这项任务。利用提供的训练数据，我们使用Moses工具包建立了一个翻译模型，然后我们应用Moses中实现的图表解码器来重新排序句子。尽管我们的提交只涵盖了英语-波斯语语言对，但我们认为无论语言的选择如何，这种方法本身都应该起作用，因此我们还对英语-意大利语和英语-乌尔都语进行了实验。对于这些语言对，我们注意到BLEU，Kendall-Tau和Hamming指标的基线有了显着改善。给出了详细的描述，以便每个人都可以重现我们的结果。最后，对进一步改进的方向进行了讨论。
2013-02-13 cs.CL
Simulstream: Open-Source Toolkit for Evaluation and Demonstration of Streaming Speech-to-Text Translation Systems
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
研究流式语音到文本翻译在评估上的问题，提出开源框架simulstream，支持长语音的增量和重新翻译解码，能进行质量和延迟评估及实时可视化比较，填补了相关统一解决方案的空白。
2026-09-01 cs.CL
OpusCleaner and OpusTrainer, open source toolkits for training Machine Translation and Large language models
University of Edinburgh（爱丁堡大学）；Charles University（查理大学）；University of Helsinki（赫尔辛基大学）
本文提出开源工具包OpusCleaner和OpusTrainer，分别用于数据清理预处理和数据调度增强，旨在降低机器翻译系统与大型语言模型的开发门槛，并成功构建了抗噪、多语言及术语感知的高质量模型。
2023-11-24 cs.CL
Active Learning for Neural Machine Translation
Queen Mary University of London（伦敦玛丽女王大学）；University of Bath（巴斯大学）；DigilyticsAI
机器翻译机制能够在不同的自然语言之间自动翻译文本，而神经机器翻译（NMT）以其合理的上下文分析和流畅的翻译准确性而受到关注。然而，处理缺乏相关训练属性（如监督数据）的低资源语言是自然语言处理（NLP）当前的挑战。我们将一种称为主动学习的技术与NMT工具包Joey NMT相结合，以达到足够的准确性和对低资源语言翻译的鲁棒预测。通过主动学习，一种半监督机器学习策略，训练算法确定哪些未标记的数据对于使用所选查询技术获得标签最有益。我们实现了两个模型驱动的采集功能，用于选择要验证的样本。这项工作使用基于transformer的NMT系统;基线模型（BM），完全训练模型（FTM），主动学习最小置信度模型（ALLCM），和主动学习边缘采样模型（ALMSM）时，将英语翻译成印地语。双语评估替补（BLEU）指标已被用来评估系统的结果。BM、FTM、ALLCM和ALMSM系统的BLEU评分分别为16.26、22.56、24.54和24.20。本文的研究结果表明，主动学习技术有助于模型早期收敛，提高翻译系统的整体质量。
2022-12-30 cs.AI cs.CL
NeurST: Neural Speech Translation Toolkit
ByteDance（字节跳动）
NeurST是一个用于神经语音翻译的开源工具包。该工具包主要专注于端到端语音翻译，易于使用，修改和扩展到高级语音翻译研究和产品。NeurST旨在促进NLP研究人员的语音翻译研究，并为该领域建立可靠的基准。它为特征提取、数据预处理、分布式训练和评估提供了一步一步的方法。在本文中，我们将介绍NeurST的框架设计，并显示不同的基准数据集的实验结果，这可以被视为未来研究的可靠基线。该工具包可在https://github.com/bytedance/neurst/上公开获取，我们将在https://st-benchmark.github.io/上与其他同行和研究一起不断更新NeurST的性能。
2021-06-15 cs.CL cs.SD eess.AS
BabelDOC: Better Layout-Preserving PDF Translation via Intermediate Representation
School of Computer Engineering and Science, Shanghai University, Shanghai, China（1 上海大学计算机工程与科学学院，上海，中国）；Funstory.ai Limited, Hong Kong SAR, China（2 Funstory.ai有限公司，香港特别行政区，中国）；Department of Computer Science and Engineering, Shanghai Jiao Tong University, Shanghai, China（3 上海交通大学计算机科学与工程系，上海，中国）
BabelDOC通过中间表示框架实现布局保持的PDF翻译，解决语言处理与布局保持的矛盾，提升翻译精度和文档一致性。
2026-05-11 cs.CL cs.CV
ESPnet-ST: All-in-One Speech Translation Toolkit
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；NTT Communication Science Laboratories（日本电信电话通信科学实验室）；Waseda University（早稻田大学）；Nagoya University（名古屋大学）；Human Dataware Lab. Co., Ltd.（人类数据软件实验室有限公司）
我们介绍了ESPnet-ST，它是专为在一个单一的框架中快速开发语音到语音翻译系统。ESPnet-ST是端到端语音处理工具包ESPnet中的一个新项目，它集成或新实现了自动语音识别、机器翻译和用于语音翻译的文本到语音功能。我们为各种基准数据集提供包括数据预处理、特征提取、训练和解码管道在内的一体化配方。我们的可重复结果可以匹配甚至优于当前最先进的性能;这些预训练模型可下载。该工具包可在https://github.com/espnet/espnet上公开查阅。
2020-09-30 cs.CL cs.SD eess.AS
Localizing Open-Ontology QA Semantic Parsers in a Day Using Machine Translation
Stanford University（斯坦福大学）
我们提出了语义解析器本地化（SPL），一个工具包，利用神经机器翻译（NMT）系统本地化一个新的语言的语义解析器。我们的方法是：（1）通过使用从公共网站上抓取的本地实体来增强机器翻译的数据集，自动生成目标语言的训练数据;（2）添加Few-Shot增强的人工翻译句子，并训练一个新的XLMR-LSTM语义解析器;（3）在使用人工翻译的自然话语上测试模型。我们评估我们的方法的有效性，通过扩展现有的能力Schema 2 QA，英语问答（QA）系统在开放的网络上，10个新的语言的餐厅和酒店域。我们的模型实现了酒店领域的整体测试准确率在61%到69%之间，餐厅领域的整体测试准确率在64%到78%之间，这与在黄金英语数据和验证集的一些示例上训练的英语解析器获得的69%和80%相比是有利的。我们表明，我们的方法优于以前的国家的最先进的方法超过30%的酒店和40%的餐厅与本地化本体的语言测试的子集。我们的方法使任何软件开发人员能够在不到24小时的时间内利用机器翻译为新领域的QA系统添加新的语言功能。
2020-10-10 cs.CL cs.LG
fairseq: A Fast, Extensible Toolkit for Sequence Modeling
Facebook AI Research（Facebook人工智能研究）；Google Brain（谷歌大脑）
Fairseq是一个开放源代码的序列建模工具包，它允许研究人员和开发人员训练用于翻译、摘要、语言建模和其他文本生成任务的定制模型。该工具包基于PyTorch，支持跨多个GPU和机器的分布式训练。我们还支持现代GPU上的快速混合精度训练和推理。演示视频可以在https://www.youtube.com/watch?上找到v=OtgDdWtHvto
2019-04-01 cs.CL
ESPnet-ST-v2: Multipurpose Spoken Language Translation Toolkit
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；Charles University（查理大学）；Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
ESPnet-ST-v2 是一个多用途开源口语翻译工具包，支持离线语音到文本翻译、同声传译和语音到语音翻译，并提供多种最先进架构与性能基准。
2023-07-06 cs.CL cs.SD eess.AS
Function Assistant: A Tool for NL Querying of APIs
Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
在本文中，我们描述了函数助手，一个轻量级的基于Python的工具包查询和探索源代码库使用自然语言。该工具包旨在帮助目标API的最终用户通过高级自然语言查询和描述快速找到有关函数的信息。对于给定的文本查询和后台API，该工具通过使用Richardson和Kuhn（2017）的语义解析方法将文本转换为API中的已知表示来查找候选函数。翻译是从示例API中的示例文本代码对自动学习的。该工具包包括为任意源代码项目构建翻译管道和查询引擎的功能。为了探索最后一个功能，我们在Github上托管的27个著名Python项目上进行了新的实验。
2017-09-15 cs.CL
RETURNN as a Generic Flexible Neural Toolkit with Application to Translation and Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek（AppTek公司）；NNAISENSE（NNAISENSE公司）
我们比较了用于翻译的注意力模型的RETURNN的快速训练和解码速度，这是由于快速CUDA LSTM内核和快速纯TensorFlow束搜索解码器。我们表明，一个逐层的预训练计划的经常性注意力模型提供了超过1%的BLEU绝对改善，它允许训练更深的经常性编码器网络。麦克斯的初步结果很有希望。预期的BLEU训练。我们能够训练最先进的翻译模型和语音识别的端到端模型，并在WMT 2017和Switchboard上显示结果。RETURNN的灵活性允许快速的研究反馈循环来试验替代架构，其通用性允许在广泛的应用中使用它。
2018-05-24 cs.AI cs.CL cs.NE
Attention Sinks in Massively Multilingual Neural Machine Translation:Discovery, Analysis, and Mitigation
Harvard University（哈佛大学）
研究发现神经机器翻译中跨注意力模式存在注意力 sinks，非内容token占据大部分注意力质量，影响相似性评估，提出内容过滤方法以恢复语言信号。
2026-05-02 cs.CL cs.LG
TorchScale: Transformers at Scale
Microsoft（微软）
大型Transformers在许多任务中实现了最先进的性能。大多数扩展Transformers的开源库都专注于通过更好的并行化来改进训练或推理。在这项工作中，我们提出了TorchScale，一个开源工具包，允许研究人员和开发人员有效地扩展Transformers。TorchScale实现了多种建模技术，可以提高建模的通用性和能力，以及训练的稳定性和效率。对语言建模和神经机器翻译的实验结果表明，TorchScale可以成功地将Transformers缩放到不同的大小，而不会出现撕裂。该库可在https://aka.ms/torchscale上查阅。
2022-11-23 cs.CL cs.LG
MAMMOTH: Massively Multilingual Modular Open Translation @ Helsinki
University of Helsinki（赫尔辛基大学）；Silo AI（Silo AI公司）；University of Milano-Bicocca（米兰比可卡大学）；NVIDIA（英伟达公司）
针对大语言模型时代NLP的规模瓶颈，研究团队推出源自OpenNMT-py的MAMMOTH模块化翻译训练框架，适配集群高效训练，已在A100、V100 GPU集群验证效率并开源。
2024-03-12 cs.CL
VizSeq: A Visual Analysis Toolkit for Text Generation Tasks
Facebook AI Research（脸书人工智能研究院）；Stanford University（斯坦福大学）
文本生成任务（例如，机器翻译、文本摘要、图像描述和视频描述）的自动评估通常严重依赖于特定于任务的指标，例如BLEU和ROUGE。然而，它们是抽象的数字，并不完全符合人类的评估。这表明检查详细的示例作为识别系统错误模式的补充。在本文中，我们提出了VizSeq，一个可视化分析工具包，用于对各种文本生成任务进行实例级和语料库级系统评估。它支持多模式源和多个文本引用，在笔记本或Web应用程序界面中提供可视化。它可以在本地使用或部署到公共服务器上，用于集中数据托管和基准测试。它涵盖了最常见的基于n-gram的指标，并通过多处理加速，还提供了最新的基于嵌入的指标，如BERTScore。
2019-09-12 cs.CL
UFRGS Participation on the WMT Biomedical Translation Shared Task
本文介绍了南里奥格兰德联邦大学（UFRGS）团队为生物医学翻译共享任务开发的机器翻译系统。我们的系统基于统计机器翻译和神经机器翻译，分别使用Moses和OpenNMT工具包。我们参与了英语/西班牙语和英语/葡萄牙语对的四个翻译方向。为了创建我们的训练数据，我们连接了几个平行的语料库，既有来自域内和域外的资源，也有来自UMLS的术语资源。根据官方的共享任务评估，我们的系统获得了最好的BLEU分数。
2019-05-06 cs.CL
Universal Conceptual Structure in Neural Translation: Probing NLLB-200's Multilingual Geometry
University of Alberta（阿尔伯塔大学）
本研究通过探测NLLB-200的表示几何结构，发现其学习了语言通用的概念表示，并展示了跨语言一致性的证据。
2026-11-04 cs.AI cs.CL cs.LG
Vision-Braille: A Curriculum Learning Toolkit and Braille-Chinese Corpus for Braille Translation
State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Peking University（多媒体信息处理国家重点实验室，计算机学院，PKU-Anker LLM实验室，北京大学）；College of Agriculture and Life Sciences, Cornell University（农业与生命科学学院，康奈尔大学）；Computer Science Department, University of California at Los Angeles（计算机科学系，加州大学洛杉矶分校）
本文提出Vision-Braille，首个可公开获取的端到端系统，用于将图像中提取的中文盲文翻译成书面中文。该系统解决有限标注资源和声调缺失问题，结合鲁棒的盲文OCR流程与针对序列到序列翻译微调的LLM。
2026-04-20 cs.CL cs.CV
