FLEURS-ASL: Including American Sign Language in Massively Multilingual Multitask Evaluation
Google(谷歌)
本文提出 FLEURS-ASL 基准,将美国手语扩展至多语言多任务评估中,支持 ASL 与 200 种文本或 102 种语音语言间的翻译,并提供统一建模基线,揭示了前沿多模态模型对 ASL 的理解不足。
2024-08-24 cs.CL cs.CV
Mu$^{2}$SLAM: Multitask, Multilingual Speech and Language Models
Google Research(谷歌研究院);Google LLC(谷歌有限责任公司)
提出多任务多语言模型Mu$^{2}$SLAM,联合预训练语音与文本并利用监督任务对齐跨模态表示,在多语言语音翻译、识别及文本理解任务上取得显著提升。
2023-06-27 cs.CL cs.SD eess.AS
Worse WER, but Better BLEU? Leveraging Word Embedding as Intermediate in Multitask End-to-End Speech Translation
National Taiwan University(台湾大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
语音翻译的目的是学习从源语言的语音到目标语言的文本的转换。以前的工作表明,多任务学习提高ST性能,其中识别解码器生成源语言的文本,翻译解码器根据识别解码器的输出获得最终的翻译。由于识别解码器的输出是否具有正确的语义比其准确性更重要,我们提出了改进的多任务ST模型,利用词嵌入作为中间。
2020-07-04 cs.CL
Tied Multitask Learning for Neural Speech Translation
University of Notre Dame(圣母大学)
我们探索语音神经翻译的多任务模型,增强它们以反映两个直观的概念。首先,我们引入一个模型,其中第二个任务解码器接收来自第一个任务的解码器的信息,因为更高级别的中间表示应该提供有用的信息。其次,我们应用正则化,鼓励传递性和可逆性。我们表明,在联合训练的模型上应用这些概念可以提高低资源语音转录和翻译任务的性能。当使用注意力信息进行单词发现时,它也会带来更好的性能。
2018-04-26 cs.CL
Language-Aware Multilingual Machine Translation with Self-Supervised Learning
Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI
多语言机器翻译(MMT)得益于跨语言迁移,但它是一个具有挑战性的多任务优化问题。部分原因是没有系统学习语言特定参数的明确框架。自监督学习(SSL)方法,利用大量的单语数据(并行数据是不可用的),通过提高翻译性能的补充任务的MMT任务的承诺。然而,联合优化SSL和MMT任务更具挑战性。在这项工作中,我们首先研究如何利用内部蒸馏来学习更多的语言特定的参数,然后显示这些语言特定的参数的重要性。接下来,我们提出了一个新颖但简单的SSL任务,并发去噪,它通过在编码器和解码器上同时对单语数据进行去噪来与MMT任务进行协同训练。最后,我们将内部蒸馏应用于这种联合训练方法。将这两种方法结合起来,可以显著提高MMT的性能,大大优于三种最先进的SSL方法,例如,与MASS相比,在8种语言和15种语言的基准测试中分别提高了11.3%和3.7%
2023-02-10 cs.CL
BERTGEN: Multi-task Generation through BERT
Imperial College London(帝国理工学院);University of Sheffield(谢菲尔德大学)
我们提出了BERTGEN,一种新的生成,解码器的模型,扩展BERT通过融合多模态和多语言的预训练模型VL-BERT和M-BERT,分别。BERTGEN在多任务设置下针对语言生成任务(即图像描述、机器翻译和多模态机器翻译)进行自回归训练。通过一系列全面的评估,我们发现BERTGEN在探索的任务中表现优于许多强大的基线。我们还展示了BERTGEN的zero-shot语言生成的能力,它表现出有竞争力的性能,监督同行。最后,我们进行了消融研究,证明BERTGEN从多任务处理中受益匪浅,并有效地从预训练模型中转移了相关的归纳偏差。
2021-06-07 cs.CL
Whisper-UT: A Unified Translation Framework for Speech and Text
Center for Language and Speech Processing, Johns Hopkins University(语言与语音处理中心,约翰霍普金斯大学);Human Language Technology Center of Excellence, Johns Hopkins University(人类语言技术卓越中心,约翰霍普金斯大学);Georgetown University(乔治城大学)
本文提出Whisper-UT统一翻译框架,通过轻量级适配器和两阶段解码策略,实现语音与文本多模态翻译,无需三向平行数据即可提升性能。
2025-09-19 cs.CL
Tensor2Tensor for Neural Machine Translation
Google Brain(谷歌大脑);DeepMind(深度思维)
Tensor2Tensor是一个深度学习模型库,非常适合神经机器翻译,包括最先进的Transformer模型的参考实现。
2018-03-16 cs.CL cs.LG stat.ML
Neural Machine Translation between Herbal Prescriptions and Diseases
目前的研究将深度学习应用于草药学。为此,我们取得了台湾全民健康保险数据库中2004年至2013年10年间的去识别医疗保险报销记录,报销记录总数为3.4亿条。两种人工智能技术被应用到数据集:残差卷积神经网络多任务分类器和基于注意力的递归神经网络。前者致力于从草药处方到疾病的翻译;后者则从疾病到草药处方。对分类结果的分析表明,中药方剂具有特定性:解剖、病理生理、患者性别和年龄、方剂的季节和年份。进一步的分析表明,温度和国内生产总值是与草药处方相关的气象和社会经济因素。对神经网络过渡结果的分析表明,递归神经网络不仅学习了句法,而且学习了疾病和方剂的语义。
2017-07-09 cs.CL cs.LG
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University(卡内基梅隆大学);Meta AI;The Chinese University of Hong Kong(香港中文大学)
本文提出多任务语音语言模型MSLM,一种仅解码器架构,在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
Densifying Assumed-sparse Tensors: Improving Memory Efficiency and MPI Collective Performance during Tensor Accumulation for Parallelized Training of Neural Machine Translation Models
Amazon(亚马逊);SURFSara;Dell EMC(戴尔易安信);Intel(英特尔);Uber(优步)
神经机器翻译-使用神经网络翻译人类语言-是一个积极的研究领域,探索新的神经元类型和网络拓扑结构,目标是显着提高机器翻译性能。目前最先进的方法,如多头注意力为基础的Transformer,需要非常大的翻译语料库和许多时代,以产生合理的质量模型。最近尝试在多个节点上并行化官方TensorFlow“Transformer”模型,但由于内存使用过多以及在执行MPI集合时导致内存错误而遇到了障碍。本文描述了对Horovod MPI分布式训练框架的修改,通过将假定的稀疏张量转换为密集张量,并随后用密集梯度降低取代稀疏梯度聚集,来减少Transformer模型的内存使用。其结果是横向扩展能力的大幅提高,仅CPU的扩展测试实现了高达1200个MPI进程(300个节点)的91%弱扩展效率,以及使用Stampede 2超级计算机高达400个MPI进程(200个节点)的65%强扩展效率。
2019-05-10 cs.CL cs.DC cs.LG
Compact Personalized Models for Neural Machine Translation
Lilt, Inc.(Lilt公司)
我们提出并比较了自注意神经机器翻译模型的基于梯度的领域自适应方法。我们证明了在自适应过程中可以冻结大部分模型参数,通过组套索正则化在学习过程中鼓励偏移张量集合中的结构稀疏性,从而使翻译质量降低最小或不降低。我们评估这种技术在多个数据集和语言对的批量和增量适应。我们的系统架构-结合了最先进的自关注模型和紧凑的领域自适应-提供了高质量的个性化机器翻译,既节省空间又节省时间。
2018-11-05 cs.CL
Training Neural Machine Translation (NMT) Models using Tensor Train Decomposition on TensorFlow (T3F)
我们使用t3 f库在TensorFlow神经机器翻译(NMT)模型中实现了一个Tensor训练层。我们使用学习率$\in \{0.0004,0.0008,0.0012\}$、最大秩$\in \{2,4,8,16\}$和一系列核心维度对IWITHEN英语-越南语'15和WMT德语-英语'16数据集进行训练。我们与我们的基准测试运行获得的目标BLEU测试得分24.0进行比较。对于IWITHEN英语-越南语培训,我们分别使用学习率为0.0012的核心维度$(2, 2, 256) \times (2, 2, 512)$和等级分布$(1,4,4,1)$和$(1,4,16,1)$获得了24.0/21.9和24.2/21.9的BLEU测试/开发分数。这两次运行分别使用了基准测试运行的113%和397%的触发器。我们发现,调查的参数,更高的学习率和更多的“矩形”的核心尺寸一般产生更高的BLEU分数。对于WMT德语-英语数据集,我们使用学习率为0.0012的核心维度$(4, 4, 128) \times (4, 4, 256)$和秩分布$(1,2,2,1)$获得了24.0/23.8的BLEU分数。我们讨论了潜在的未来优化和应用张量训练分解到其他NMT模型。
2019-11-05 cs.CL cs.LG stat.ML
A multitask transformer to sign language translation using motion gesture primitives
Universidad Industrial de Santander(桑坦德工业大学)
针对手语翻译中背景冗余和缺乏中间文本表示的问题,提出一种多任务Transformer架构,利用词汇注释学习和密集运动表示,在CoL-SLTD和RWTH-PHOENIX-Weather 2014 T数据集上取得领先或竞争力的BLEU-4分数。
2025-03-25 cs.CL
On the Pareto Front of Multilingual Neural Machine Translation
Peking University(北京大学);Microsoft Research(微软研究院)
本文通过训练200多个多语言模型发现MNMT中数据不平衡导致标量化偏离传统帕累托前沿,提出双幂律预测性能权衡前沿,并据此优化采样比例,以更少训练预算超越温度搜索和梯度操纵方法。
2023-10-31 cs.AI cs.CL
Neural Machine Translation for Cebuano to Tagalog with Subword Unit Translation
De La Salle University(德拉萨大学);University of the Immaculate Conception(圣母无原罪大学)
菲律宾是一个由7641个不同岛屿组成的群岛,有150多种不同的语言。这种语言的差异和多样性,虽然可以被视为一个美丽的特点,但也造成了在促进该国不同领域的教育和文化发展方面的困难。一个有效的机器翻译系统专门致力于满足菲律宾语言肯定会有助于弥合这一差距。在这项研究工作中,一个从未应用过的方法,语言翻译到菲律宾语言被用于宿务到塔霍河翻译。使用TensorFlow中的OpenNMT序列建模工具,使用递归神经网络来实现翻译器。使用BLEU Score度量来评估翻译的性能。对于Cebuano到Tagesi的翻译,BLEU给出了20.01分。动词的子词单位翻译和可复制的方法进行了常见的误译词从源到目标被纠正。BLEU评分增加至22.87。虽然这个分数稍高,但仍然表明翻译在某种程度上是可以理解的,但还不被认为是一个好的翻译。
2019-02-10 cs.CL
Semantic Alignment across Ancient Egyptian Language Stages via Normalization-Aware Multitask Learning
本文研究古代埃及语言四个历史阶段的词级语义对齐,通过联合训练共享字级分词器的紧凑编码器-解码器模型,结合掩码语言模型、翻译语言模型、序列到序列翻译和词性标注任务,提升跨阶段对齐效果。
2026-03-25 cs.CL
SOTASTREAM: A Streaming Approach to Machine Translation Training
Microsoft(微软)
针对机器翻译中静态数据预处理耗时、占空间且不灵活的问题,本文提出并开源 SOTASTREAM 流式数据生成与训练框架,支持实时算子处理并保持模型准确率。
2023-08-14 cs.CL
TensorCoder: Dimension-Wise Attention via Tensor Representation for Natural Language Modeling
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
Transformer已被广泛应用于许多自然语言处理(NLP)任务中,标记间的缩放点积注意力是Transformer的核心模块。这种注意力是一种令牌式设计,其复杂度是序列长度的二次函数,限制了其在长序列任务中的应用潜力。在本文中,我们提出了一个维度的注意力机制,基于此可以开发一种新的语言建模方法(即TensorCoder)。维度注意可以将注意复杂度从原来的$O(N^2d)$降低到$O(Nd^2)$,其中$N$是序列的长度,$d$是头部的维度。我们在两个任务上验证了TensorCoder,包括掩码语言建模和神经机器翻译。与原始Transformer相比,TensorCoder不仅大大减少了原始模型的计算量,而且在掩蔽语言建模任务(PTB数据集)上获得了改进的性能,在机器翻译任务上也获得了相当的性能。
2020-08-12 cs.CL cs.LG
M3TQA: Massively Multilingual Multitask Table Question Answering
CCSE, Beihang University(计算机科学与工程学院,北京航空航天大学);M-A-P(M-A-P研究所);Nanjing University(南京大学)
本文提出M3TQA基准,覆盖97种语言的多任务表格问答,通过LLM翻译流程构建并验证合成数据可显著提升低资源语言的跨语言表格推理性能。
2025-08-22 cs.CL
Beyond statistical significance: Quantifying uncertainty and statistical variability in multilingual and multitask NLP evaluation
Brandeis University(布兰迪斯大学);Middle East Technical University(中东技术大学)
本文提出基于重采样的方法,用于量化多语言和多任务NLP评估中的不确定性与统计变异,以提高评估结果的可靠性。
2025-12-17 cs.CL
xCodeEval: A Large Scale Multilingual Multitask Benchmark for Code Understanding, Generation, Translation and Retrieval
Islamic University of Technology (IUT)(伊斯兰科技大学);Nanyang Technological University (NTU)(南洋理工大学);Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所);Bosch Research(博世研究院);Salesforce Research(赛富时研究院)
本研究推出大规模可执行多语言多任务代码基准xCodeEval,覆盖11种语言、7类代码任务,配套执行引擎与新型数据划分方案,实验显示其对当前大语言模型极具挑战性。
2023-11-06 cs.CL
Learning Accurate Integer Transformer Machine-Translation Models
Xilinx, Inc.(赛灵思公司)
我们描述了一种训练精确的Transformer机器翻译模型的方法,以使用8位整数(INT 8)硬件矩阵乘法器来运行推理,而不是更昂贵的单精度浮点(FP 32)硬件。与以前的工作不同,以前的工作只将85个Transformer矩阵乘法转换为INT 8,由于不可接受的精度损失,其中133个中的48个留在FP 32中,我们将它们全部转换为INT 8而不影响精度。在最新的2014年英语到德语翻译任务测试中,我们的INT 8 Transformer Base和Transformer Big型号的BLEU评分比相应的FP 32型号高99.3%到100%。我们的方法通过在训练过程中自动进行范围-精度权衡,将现有FP 32模型中的所有矩阵乘法张量转换为INT 8张量。为了证明这种方法的鲁棒性,我们还包括从INT 6 Transformer模型的结果。
2020-01-03 cs.CL cs.LG stat.ML
MorphTE: Injecting Morphology in Tensorized Embeddings
Tianjin University(天津大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
在深度学习时代,处理文本任务时,词嵌入至关重要。然而,存储和访问这些嵌入需要大量的空间。这不利于在资源有限的设备上部署这些模型。结合张量积强大的压缩能力,提出了一种基于形态增强的词嵌入压缩方法--形态增强张量化嵌入(Morphologically-enhanced Tensorized Embeddings,MorphTE)。一个词由一个或多个语素组成,语素是承载意义或具有语法功能的最小单位。MorphTE通过张量积将词嵌入表示为其词素向量的纠缠形式,这将先前的语义和语法知识注入到嵌入的学习中。此外,词素向量的维数和词素的数目远小于词的维数和词素的数目,这大大减少了词嵌入的参数。我们对机器翻译和问答等任务进行了实验。在四种不同语言的翻译数据集上的实验结果表明,MorphTE可以将词嵌入参数压缩约20倍而不损失性能,并且显着优于相关嵌入压缩方法。
2022-10-27 cs.AI cs.CL
Translate your gibberish: black-box adversarial attack on machine translation systems
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Institute of Numerical Mathematics, Russian Academy of Sciences(俄罗斯科学院数值数学研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Sber AI Lab(俄联邦储蓄银行人工智能实验室);AIRI
本文提出一种基于张量的无梯度黑盒优化方法,通过对抗性输入欺骗Google、DeepL和Yandex等机器翻译工具,揭示其产生错误翻译或拒绝翻译的漏洞。
2023-05-23 cs.AI cs.CL
Improving Speech Translation by Understanding and Learning from the Auxiliary Text Translation Task
Facebook AI(脸书人工智能研究院)
预训练和多任务学习被广泛用于提高语音到文本的翻译性能。在这项研究中,我们有兴趣训练语音到文本翻译模型以及辅助文本到文本翻译任务。我们进行了详细的分析,以了解在多任务学习框架内的辅助任务对主任务的影响。我们的分析证实,多任务学习倾向于从不同的模态生成相似的解码器表示,并从预训练的文本翻译模块中保留更多的信息。我们观察到两个任务之间的负迁移效应最小,共享更多的参数有助于知识从文本任务迁移到语音任务。分析还表明,在顶部解码器层的模态表示差异仍然是不可忽略的,这些层是关键的翻译质量。受这些发现的启发,我们提出了三种提高翻译质量的方法。首先,提出了一种参数共享和初始化策略,以增强任务之间的信息共享。其次,提出了一种新的基于注意力的正则化编码器,并拉来自不同模态的表示更接近。第三,提出了一种在线知识蒸馏,以增强从文本到语音任务的知识转移。我们的实验表明,所提出的方法提高了翻译性能超过2 BLEU在一个强大的基线,并实现了最先进的结果\textsc{MuST-C}英语-德语,英语-法语和英语-西班牙语对。
2021-07-12 cs.CL cs.SD eess.AS
SEA-SpeechBench: A Large-Scale Multitask Benchmark for Speech Understanding Across Southeast Asia
Institute of Advanced Intelligence and Computing, A*STAR(A*STAR 高级智能与计算研究所);Nanyang Technological University(南洋理工大学);Center for AI Safety(人工智能安全中心)
针对东南亚语音理解评估缺失,提出首个覆盖11种语言、9个任务的大规模多任务基准SEA-SpeechBench,并揭示现有模型在时间理解、情感识别及低资源语言上的显著性能差距。
2026-09-10 cs.CL
MURAL: Multimodal, Multitask Retrieval Across Languages
Google Research(谷歌研究院)
图像-标题对和翻译对都提供了学习语言之间的深层表示和联系的方法。我们在MURAL(Multimodal,Multitask Representations Across Languages)中使用这两种类型的对,这是一种双重编码器,可以解决两个任务:1)图像-文本匹配和2)翻译对匹配。通过整合数十亿个翻译对,MURAL扩展了ALIGN(Jia et al. PMLR'21)--一种从18亿个嘈杂的图像-文本对中学习的最先进的双编码器。当使用相同的编码器时,MURAL的性能匹配或超过ALIGN的跨模态检索性能,在多个数据集上的资源丰富的语言。更重要的是,它大大提高了资源不足语言的性能,表明文本-文本学习可以克服这些语言缺乏图像标题示例的问题。例如,在维基百科的图像-文本数据集上,MURAL-base对8种资源不足的语言平均提高了zero-shot平均召回率8.1%,在微调时平均提高了6.8%。我们还表明,MURAL的文本表示集群不仅与家谱的连接,但也基于区域语言学,如巴尔干Sprachbund。
2021-09-10 cs.AI cs.CL cs.IR
Multitask Mayhem: Unveiling and Mitigating Safety Gaps in LLMs Fine-tuning
Lahore University of Management Sciences(拉合尔管理科学大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Meta
本文揭示了微调 LLMs 时不同任务导致的安全退化现象,发现代码生成和翻译任务对安全防护破坏最大,并提出新的多任务安全数据集以降低攻击成功率且不损害模型有用性。
2024-09-18 cs.AI cs.CL cs.LG
Efficient Multilingual Dialogue Processing via Translation Pipelines and Distilled Language Models
Universidad de los Andes(洛斯安第斯大学)
本文提出通过翻译流水线和压缩语言模型实现多语言对话处理,展示在低资源语言上无需微调即可取得高性能的成果。
2026-01-14 cs.CL
Ensembling of Distilled Models from Multi-task Teachers for Constrained Resource Language Pairs
Microsoft Egypt Development Center(微软埃及开发中心);Microsoft Corporation(微软公司)
本文介绍了我们提交的WMT21共享新闻翻译任务的约束跟踪。我们专注于三个相对较低的资源语言对孟加拉语和印地语,英语和豪萨语,科萨语和祖鲁语。为了克服相对较低的并行数据的限制,我们训练多语言模型使用多任务目标采用并行和单语数据。此外,我们使用反向翻译来增强数据。我们还训练了一个双语模型,结合回翻译和知识蒸馏,然后结合这两个模型使用序列到序列映射。我们看到,与双语基线相比,英语与豪萨语之间的BLEU点相对增益约为70%,孟加拉语与印地语之间的BLEU点相对增益约为25%,科萨语与祖鲁语之间的BLEU点相对增益约为25%。
2021-11-26 cs.CL
COMI-LINGUA: Expert Annotated Large-Scale Dataset for Multitask NLP in Hindi-English Code-Mixing
LINGO Research Group, Indian Institute of Technology Gandhinagar(LINGO研究组、印度理工学院冈丁纳格尔)
本文提出最大的人工标注印地语-英语语码混合数据集COMI-LINGUA,涵盖12.5万+实例与五项核心NLP任务,通过微调最先进LLM在多项任务上创下新基准。
2025-09-17 cs.AI cs.CL
Incorporating Probing Signals into Multimodal Machine Translation via Visual Question-Answering Pairs
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);NiuTrans Research(NiuTrans研究院);School of Software, Northeastern University(东北大学软件学院)
本文针对多模态机器翻译中视觉信息利用不足的问题,提出通过大语言模型生成VQA风格探测信号并构建Multi30K-VQA数据集,结合MMT-VQA多任务学习框架增强跨模态交互,在两个基准上验证了有效性。
2023-10-26 cs.AI cs.CL
Spanish and LLM Benchmarks: is MMLU Lost in Translation?
ETSI de Telecomunicación(电信高级工程师学院);Universidad Politécnica de Madrid(马德里理工大学);Facultad de Filosofía y Letras(哲学与文学学院);Universidad Autónoma de Madrid(马德里自治大学);SomosNLP
本文研究了自动翻译对LLM基准测试MMLU在西班牙语评估中的影响,发现部分测试失败归因于翻译错误,强调需由专家修订或适配非英语基准测试。
2024-05-28 cs.AI cs.CL
RETURNN as a Generic Flexible Neural Toolkit with Application to Translation and Speech Recognition
RWTH Aachen University(亚琛工业大学);AppTek(AppTek公司);NNAISENSE(NNAISENSE公司)
我们比较了用于翻译的注意力模型的RETURNN的快速训练和解码速度,这是由于快速CUDA LSTM内核和快速纯TensorFlow束搜索解码器。我们表明,一个逐层的预训练计划的经常性注意力模型提供了超过1%的BLEU绝对改善,它允许训练更深的经常性编码器网络。麦克斯的初步结果很有希望。预期的BLEU训练。我们能够训练最先进的翻译模型和语音识别的端到端模型,并在WMT 2017和Switchboard上显示结果。RETURNN的灵活性允许快速的研究反馈循环来试验替代架构,其通用性允许在广泛的应用中使用它。
2018-05-24 cs.AI cs.CL cs.NE
Tensor network language model
Institut des Hautes Études Scientifiques(法国高等科学研究所)
我们提出了一个新的统计模型,适用于机器学习系统的长距离相关性,如自然语言。该模型是基于有向无环图,图的顶点和边分别由多个线性张量映射和向量空间修饰而成,称为张量网络。这种张量网络以前已经被用于有效量子场论和统计力学晶格模型空间上的重整化群流的有效数值计算。我们提供明确的代数几何分析的参数模空间的树图,讨论模型的属性和应用,如统计翻译。
2017-10-30 cond-mat.dis-nn cs.CL cs.LG