Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University(卡内基梅隆大学)
本文针对ML-SUPERB 2.0多语言语音任务,提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略,使LID准确率相对提升14%、ASR CER相对降低30%,并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
Multilingual Speech Recognition with Corpus Relatedness Sampling
Carnegie Mellon University(卡内基梅隆大学)
多语言声学模型已成功地应用于低资源语音识别。现有的大多数工作都是将许多小语料库结合在一起,并通过从每个语料库中统一采样来预训练多语言模型。该模型最终在每个目标语料库上进行微调。然而,这种方法未能利用训练集中语料库之间的相关性和相似性。例如,目标语料库可能从相同领域的语料库或来自接近语言的语料库中受益更多。在这项工作中,我们提出了一个简单但有用的抽样策略,利用这种相关性。我们首先计算语料库级嵌入,并估计每个语料库之间的相似性。接下来,我们首先从每个语料库中均匀采样来训练多语言模型,然后根据相关语料库与目标语料库的相似度逐渐增加从相关语料库中采样的概率。最后,模型将在目标语料库上自动微调。我们的抽样策略在16个低资源任务上优于基线多语言模型。此外,我们证明了我们的语料库嵌入捕获每个语料库的语言和域信息。
2019-08-02 cs.CL cs.SD eess.AS
Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization
Baidu Inc.(百度公司)
本研究提出支持220余种语言的通用多语言句子表示模型MuSR,结合CrossConST跨语言一致性正则化技术训练模型,在多语言相似度搜索和双语文本挖掘任务上性能优于由148个独立编码器构成的LASER3。
2023-06-12 cs.AI cs.CL
Trace norm regularization for multi-task learning with scarce data
EPFL(洛桑联邦理工学院)
多任务学习利用多个任务之间的结构相似性来学习,尽管样本很少。最近成功的神经网络应用于数据稀缺的任务,我们考虑一个线性低维共享表示模型。尽管有大量的文献,现有的理论结果要么保证弱估计率或需要大量的样本,每个任务。当每个任务的样本数很小时,这项工作为迹范数正则化估计器提供了第一个估计误差界。迹范数正则化用于学习数据稀缺任务的优势扩展到元学习,并在合成数据集上得到了经验证实。
2022-06-10 cs.LG stat.ML
Multilingual and code-switching ASR challenges for low resource Indian languages
Microsoft Corporation India(微软印度公司)
近来,人们对多语言自动语音识别(ASR)越来越感兴趣,其中语音识别系统通过利用多种语言中的少量标记语料库来迎合多种低资源语言。随着多语言在当今世界的普及,人们对语码转换的研究也越来越感兴趣。在语码转换中,多种语言在一个句子内或句子之间自由地互换。低资源多语言和语码转换ASR的成功通常取决于语言在声学、语言特征以及可用数据量方面的多样性,以及在构建ASR系统时如何仔细考虑这些因素。在这一挑战中,我们希望通过两个不同的子任务来构建多语言和代码转换ASR系统,这些子任务涉及总共七种印度语言,即印地语、马拉地语、奥迪亚语、泰米尔语、泰卢固语、古吉拉特语和孟加拉语。为此,我们提供了总计约600小时的转录语音数据,包括训练和测试集,在这些语言中,包括两个代码转换语言对,印地语-英语和孟加拉语-英语。我们还提供了一个基线配方的任务与WER为30.73%和32.45%的测试集的多语言和代码切换子任务,分别。
2021-04-01 cs.CL eess.AS
Twists, Humps, and Pebbles: Multilingual Speech Recognition Models Exhibit Gender Performance Gaps
Instituto de Telecomunicações(电信研究所);University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Bocconi University(博科尼大学)
本文系统评估两个多语言ASR模型在19种语言上的性别性能差距,发现差距无法由声学或词汇属性解释,但与模型内部性别可区分性相关,并强调训练数据可及性和细致评估对缓解性别差距的重要性。
2024-10-03 cs.CL
Building High-accuracy Multilingual ASR with Gated Language Experts and Curriculum Training
Microsoft(微软公司)
本文提出门控语言专家与课程训练方法,在不依赖推理阶段LID输入的情况下增强多语言Transformer Transducer,在双语任务中相对词错误率降低12.5%,并可扩展至多语言模型。
2023-07-07 cs.CL eess.AS
SEAR: Segment-Evidence-Aware Routing for Weak-to-Strong Multilingual Speech MCQ
CAKE by VPBank(VPBank旗下CAKE)
本文提出SEAR方法,通过片段证据感知的数据生成与路由,将弱文本可答和强音频依赖的MCQ分别用于监督微调和强化学习,在MLC-SLM挑战赛任务2中达到90.92%准确率。
2026-09-11 cs.CL cs.SD
Multi-view Subword Regularization
Carnegie Mellon University(卡内基梅隆大学);DeepMind
多语言预训练表示通常依赖于子词切分算法来创建共享的多语言词汇表。然而,标准的启发式算法往往会导致次优分割,特别是对于数据量有限的语言。在本文中,我们采取两个主要步骤来缓解这个问题。首先,我们根据经验证明,应用现有的子字正则化方法(Kudo,2018; Provilkov等人,2020)在预训练的多语言表示的微调期间提高了跨语言迁移的有效性。其次,为了充分利用不同可能的输入分割,我们提出了多视图子字正则化(MVR),这是一种强制使用标准和概率分割标记化的输入的预测之间的一致性的方法。XTREME多语言基准测试的结果(Hu等人,2020)表明,MVR比使用标准分割算法带来了高达2.5分的一致改进。
2021-04-06 cs.CL
Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization
Baidu Inc.(百度公司)
本文提出跨语言一致性正则化CrossConST,通过弥合语言表示差距提升零样本多语言神经机器翻译性能,并在低资源和高资源基准上验证了其有效性。
2023-05-12 cs.AI cs.CL
Whistle: Data-Efficient Multilingual and Crosslingual Speech Recognition via Weakly Phonetic Supervision
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);China Unicom (Guangdong) Industrial Internet Co., Ltd(中国联通(广东)工业互联网有限公司);Tsinghua University(清华大学)
本文提出Whistle,一种通过弱音素监督预训练实现数据高效的多语言和跨语言语音识别方法,实验表明其在已见语言识别、未见语言跨语言性能、抗遗忘和训练效率上优于其他方法。
2025-03-27 cs.CL cs.SD eess.AS
Switching EEG Headsets Made Easy: Reducing Offline Calibration Effort Using Active Weighted Adaptation Regularization
DataNova;U.S. Army Research Laboratory(美国陆军研究实验室);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
头戴式脑电图仪是脑机接口中最常用的传感设备。在实际应用中,将数据从一个用户会话外推到另一个用户会话是有优势的。然而,如果数据来自不同的硬件系统,这些优点是有限的,这往往是不同的应用空间之间的变化。目前,这需要重新校准分类器,这对人们使用此类系统的兴趣产生了负面影响。在本文中,我们采用主动加权自适应正则化(AwAR),它集成了加权自适应正则化(WAR)和主动学习,以加快校准过程。WAR利用来自先前耳机的标记数据并处理类别不平衡,并且主动学习从新耳机中选择最具信息量的样本进行标记。单次试验的事件相关电位分类实验表明,AwAR可以显着提高分类精度,给定相同数量的标记样本从新的耳机。换句话说,AwAR可以有效地减少新耳机所需的标记样本数量,给定所需的分类精度,这表明在整理数据以用于大规模迁移学习应用中的价值。
2017-02-09 cs.HC cs.LG
Disentangling the Roles of Target-Side Transfer and Regularization in Multilingual Machine Translation
University of Amsterdam(阿姆斯特丹大学)
本研究通过大规模实验,解耦了多语言机器翻译中目标端语言相似性和语料库规模对知识迁移的影响,并发现远距离语言可通过正则化作用提升翻译性能。
2024-02-01 cs.AI cs.CL cs.LG
Improving Multilingual Translation by Representation and Gradient Regularization
Oregon State University(俄勒冈州立大学);Microsoft(微软)
多语言神经机器翻译(NMT)使一个模型能够服务于所有翻译方向,包括在训练期间看不到的方向,即zero-shot翻译。尽管理论上很有吸引力,但目前的模型通常产生低质量的翻译-通常甚至无法以正确的目标语言产生输出。在这项工作中,我们观察到,脱靶翻译是占主导地位的,即使在强大的多语言系统,在大量的多语言语料库训练。为了解决这个问题,我们提出了一个联合的方法来规范NMT模型在代表性水平和梯度水平。在表示层,我们利用辅助目标语言预测任务来正则化解码器输出以保留关于目标语言的信息。在梯度级别,我们利用少量的直接数据(数千个句子对)来正则化模型梯度。我们的结果表明,我们的方法在减少脱靶翻译发生率和提高zero-shot翻译性能方面非常有效,在WMT和OPUS数据集上分别提高了+5.59和+10.38 BLEU。此外,实验表明,我们的方法也可以很好地工作时,少量的直接数据是不可用的。
2022-01-18 cs.AI cs.CL
Fixing MoE Over-Fitting on Low-Resource Languages in Multilingual Machine Translation
Meta AI
稀疏门混合专家模型(MoE)模型已被证明是一种计算效率高的方法来扩展多语言机器翻译的模型容量。然而,对于低资源任务,MoE模型严重过拟合。我们展示了有效的正则化策略,即EOM和FOM中MoE层的辍学技术,有条件的MoE路由和课程学习方法,可以防止过度拟合并提高MoE模型在低资源任务上的性能,而不会对高资源任务产生不利影响。在一个大规模多语言机器翻译基准测试中,我们的策略在资源非常少的语言对中得到了大约+1 chrF++的改进。我们对学习到的MoE路由进行了广泛的分析,以更好地了解我们的正则化方法的影响以及如何改进它们。
2022-12-15 cs.AI cs.CL
Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning
School of Mathematical and Computational Sciences, Massey University(梅西大学数学与计算科学学院)
通过实验比较基本LoRA与四种变体在多语言指令微调中的效果,发现复杂变体在平衡跨语言迁移与知识保留方面并无显著优势。
2026-06-09 cs.CL
HiJoNLP at SemEval-2022 Task 2: Detecting Idiomaticity of Multiword Expressions using Multilingual Pretrained Language Models
Singapore Management University(新加坡管理大学)
本文描述了一种方法来检测习语只从上下文表示的MWE多语种预训练语言模型。我们的实验发现,较大的模型通常是更有效的地道性检测。然而,使用模型的更高层可能不能保证更好的性能。在多语言场景中,不同语言的融合并不一致,资源丰富的语言比其他语言有很大的优势。
2022-05-27 cs.CL
Like a bilingual baby: The advantage of visually grounding a bilingual language model
The Pennsylvania State University(宾夕法尼亚州立大学);University of South Florida(南佛罗里达大学);Carleton University(卡尔顿大学)
研究旨在探讨视觉基础对双语语言模型的影响,通过在英西双语图像及字幕上训练LSTM模型,发现视觉基础能提升模型对语义相似性的理解及降低困惑度,为视觉基础语言模型优势提供证据,指出需更多自然语言数据。
2026-07-28 cs.CL
Multilingual Sentiment Aware Text Summarization A Reinforcement Learning Approach for Consistency Maintenance
Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC)(国立理工学院(IPN),计算研究中心(CIC))
研究RLHF摘要中的情感漂移现象,提出基于策略归因框架的情感感知KL正则化方法,在保持摘要质量的同时缓解情感中性化。
2026-06-08 cs.CL
Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models
Carnegie Mellon University(卡内基梅隆大学);Google AI(谷歌人工智能研究院)
包含数十种甚至数百种语言的大规模多语言模型对多任务优化提出了巨大挑战。虽然它是一种常见的做法,应用语言无关的过程优化联合多语言任务目标,如何正确地表征和利用其底层的问题结构,以提高优化效率仍然是探索不足。在本文中,我们试图通过损失函数几何的镜头窥视的黑箱多语言优化。我们发现,沿优化轨迹测量的梯度相似性是一个重要的信号,它不仅与语言接近度,而且与整体模型性能密切相关。这种观察有助于我们确定现有的基于梯度的多任务学习方法的关键限制,因此我们得到了一个简单的和可扩展的优化过程,称为梯度疫苗,它鼓励更多的几何对齐的参数更新接近的任务。从经验上看,我们的方法在多语言机器翻译和多语言语言模型的XTREME基准测试任务上获得了显着的模型性能提升。我们的工作揭示了在多语言优化中正确测量和利用语言接近度的重要性,并且对多语言建模之外的多任务学习具有更广泛的影响。
2020-10-12 cs.CL cs.LG
Robust Multilingual Part-of-Speech Tagging via Adversarial Training
Yale University(耶鲁大学)
对抗训练(AT)是一种强大的神经网络正则化方法,旨在实现对输入扰动的鲁棒性。然而,从AT获得的鲁棒性的具体效果在自然语言处理的上下文中仍然不清楚。在本文中,我们提出并分析了一个神经词性标注模型,利用AT。在我们对Penn Treebank WSJ语料库和Universal Advertisements(UD)数据集(27种语言)的实验中,我们发现AT不仅提高了整体标记准确率,而且1)在低资源语言中防止过度拟合,2)提高了罕见/未见过单词的标记准确率。我们还证明了3)AT提高的标记性能有助于依存句法分析的下游任务,以及4)AT有助于模型学习更清晰的单词表示。5)所提出的AT模型在不同的序列标记任务中通常是有效的。这些积极的结果激励进一步使用AT的自然语言的任务。
2018-04-20 cs.CL cs.LG
Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks
Federal University of Rio Grande do Sul(南里奥格兰德州联邦大学)
BERT(Bidirectional Encoder Representations from Transformers)和ALBERT(A Lite BERT)是用于预训练语言模型的方法,这些语言模型稍后可以针对各种自然语言理解任务进行微调。这些方法已被应用到一些这样的任务(主要是在英语),取得的结果,优于国家的最先进的。在本文中,我们的贡献是双重的。首先,我们为葡萄牙语提供经过训练的BERT和Albert模型。其次,我们比较了我们的单语和标准的多语言模型,使用实验在语义文本相似性,识别文本蕴涵,文本类别分类,情感分析,攻击性评论检测和假新闻检测,以评估生成的语言表示的有效性。结果表明,单语言和多语言模型都能够达到最先进的水平,并且训练单个语言模型的优势(如果有的话)很小。
2020-07-19 cs.CL cs.LG
Unsupervised Multilingual Word Embeddings
多语言词嵌入(MWE)在单个分布向量空间中表示来自多种语言的词。无监督MWE(UMWE)方法在没有跨语言监督的情况下获得多语言嵌入,这比传统的监督方法具有显着优势,并为低资源语言开辟了许多新的可能性。然而,用于学习UMWE的现有技术仅仅依赖于多个独立训练的无监督双语词嵌入(UBWE)来获得多语言嵌入。这些方法无法利用许多语言之间存在的相互依赖性。为了解决这个缺点,我们提出了一个完全无监督的框架,用于学习MWE,直接利用所有语言对之间的关系。我们的模型大大优于以前的方法在实验中的多语言单词翻译和跨语言单词相似性。此外,我们的模型甚至击败了使用跨语言资源训练的监督方法。
2018-09-06 cs.CL
Searching for Effective Multilingual Fine-Tuning Methods: A Case Study in Summarization
Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition
最近,已经提出了大量的调优策略,以使预训练的语言模型适应下游任务。在本文中,我们进行了广泛的实证评估的各种调整策略的多语言学习,特别是在文本摘要的背景下。具体来说,我们探讨了三个家庭的多语言调整策略(共五种模式)的相对优势,并实证评估他们总结超过45种语言。在实验上,我们不仅在XL-Sum数据集上建立了一个新的最先进的模型,而且还得到了一系列的观察结果,希望这些观察结果可以为未来设计多语言调优策略的研究提供线索。
2022-12-12 cs.CL
A Framework for Hierarchical Multilingual Machine Translation
Boise State University(博伊西州立大学)
多语言机器翻译最近流行起来,因为它有潜力通过迁移学习来提高低资源语言的机器翻译性能。然而,证明现有多语言机器翻译策略成功的实证研究仅限于特定语言组的实验。在本文中,我们提出了一个分层框架,建立多语言机器翻译战略,利用类型学的语言家谱,使类似的语言之间的转移,同时避免了负面影响,结果是太不同的语言。在41种语言的数据集上进行的详尽实验证明了所提出的框架的有效性,特别是当它通过使用类型相关的家族来提高低资源语言的性能时,这些家族可以提供更丰富的资源。
2020-05-12 cs.CL
Breaking the Language Barrier: Can Direct Inference Outperform Pre-Translation in Multilingual LLM Applications?
Verily Life Sciences(Verily生命科学公司);Google Research(谷歌研究院)
该研究针对大语言模型预翻译的局限,基于PaLM2模型开展跨108种语言、6个基准的研究,证实直接推理在多数语言下优于预翻译,为多语言应用提供更高效方案。
2024-03-04 cs.CL cs.LG
Multilingual Multi-modal Embeddings for Natural Language Processing
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林三一学院)
我们提出了一种新的判别模型,可以从多语言和多模态数据中学习嵌入,这意味着我们的模型可以利用多种语言的图像和描述来提高嵌入质量。为此,我们引入了成对对比估计优化函数的修改作为我们的训练目标。我们评估我们的嵌入图像句子排名(ISR),语义文本相似性(STS),和神经机器翻译(NMT)任务。我们发现,额外的多语言信号导致ISR和STS任务的改进,和歧视性成本也可以用于重新排名$n$ -最好的NMT模型产生的列表,产生强大的改进。
2017-02-03 cs.CL
Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models
Baidu Inc.(百度公司)
本文提出跨语言一致性正则化XConST,通过改进微调提示策略,提升大型语言模型在多对多多语言翻译中的零样本翻译性能。
2024-02-07 cs.CL
Is It Good Data for Multilingual Instruction Tuning or Just Bad Multilingual Evaluation for Large Language Models?
University of Edinburgh(爱丁堡大学);Northeastern University(东北大学);Tsinghua University(清华大学)
本研究探讨多语言大模型微调与评估中过度依赖翻译带来的问题,发现母语或生成基准能揭示母语与翻译指令数据的显著差异,并证明正则化有助于在结构化任务上弥合此差距。
2024-09-26 cs.AI cs.CL
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations
University of Edinburgh(爱丁堡大学)
来自语言类型学数据库的稀疏语言向量和来自多语言机器翻译等任务的学习嵌入已经被孤立地研究,而没有分析它们如何从彼此的语言特征中受益。我们建议使用奇异向量典型相关分析来融合这两种观点,并研究从每个来源诱导出什么样的信息。通过推断类型学特征和语言同源性,我们观察到我们的表征嵌入类型学,并加强与语言关系的相关性。然后,我们利用我们的多视图语言向量空间进行多语言机器翻译,在需要语言相似性信息的任务中,我们实现了具有竞争力的整体翻译准确性,例如语言聚类和多语言转换的候选人排名。使用我们的方法,这也是作为一种工具发布的,我们可以很容易地项目和评估新的语言,而无需昂贵的大量多语言或排名模型的重新训练,这是相关方法的主要缺点。
2020-10-25 cs.CL
Evaluating Multilingual and Code-Switched Alignment in LLMs via Synthetic Natural Language Inference
Texas A\&M University, College Station, TX., USA(德克萨斯大学);Hamad Bin Khalifa University, Doha, Qatar(哈马德·本·卡伊夫大学)
针对大语言模型跨语言逻辑对齐能力未充分探索的问题,提出合成逻辑型NLI对并翻译至多语言的受控评估框架,发现语码转换不降低甚至提升性能,为多语言鲁棒性研究提供新视角与工具。
2025-08-20 cs.AI cs.CL
Rapid Adaptation of Neural Machine Translation to New Languages
Carnegie Mellon University(卡内基梅隆大学)
本文探讨了如何使神经机器翻译系统尽可能有效和快速地适应新的低资源语言(LRL)的问题。我们提出的方法基于从大量多语言“种子模型”开始,这些模型可以提前训练,然后继续训练与LRL相关的数据。我们对比了一些策略,导致了一种新颖的,简单的,但有效的方法“相似的语言正则化”,我们共同训练感兴趣的LRL和类似的高资源语言,以防止过拟合小LRL数据。实验表明,大规模多语言模型,即使没有任何显式的适应,也是令人惊讶的有效,在没有LRL数据的情况下,BLEU得分高达15.5,并且所提出的相似语言正则化方法比其他适应方法在4个LRL设置上平均提高了1.7个BLEU点。在https://github.com/neubig/rapid-adaptation上复制实验的代码
2018-08-13 cs.CL
Multilingual and Multimodal Topic Modelling with Pretrained Embeddings
University of Helsinki(赫尔辛基大学)
本文提出了M3 L-Contrast-一种新的多模态多语言(M3 L)神经主题模型,用于将来自多种语言和图像的文本映射到共享的主题空间中。我们的模型在文本和图像上进行联合训练,并利用预训练的文档和图像嵌入来抽象不同语言和模态之间的复杂性。作为一个多语言的主题模型,它产生对齐的语言特定的主题和多模态模型,它推断图像中的语义概念的文本表示。我们证明,我们的模型是有竞争力的zero-shot主题模型预测可比多语言数据的主题分布,并显着优于zero-shot模型预测可比文本和图像的主题分布。我们还表明,我们的模型在未对齐的嵌入上的表现几乎和对齐的嵌入一样好。
2022-11-15 cs.AI cs.CL
Building Multilingual Datasets for Predicting Mental Health Severity through LLMs: Prospects and Challenges
University of Ioannina(约阿尼纳大学);Universiteit Gent(根特大学);Athens University of Economics and Business(雅典经济与商业大学);Archimedes/AthenaRC(阿基米德/雅典娜研究中心)
本文提出通过多语言数据集评估LLMs在心理健康严重程度预测中的性能,揭示了多语言环境下模型表现的差异及潜在风险。
2026-10-14 cs.CL cs.LG
Training-Time Explainability for Multilingual Hate Speech Detection: Aligning Model Reasoning with Human Rationales
Technological University Dublin(都柏林理工大学);National University of Sciences and Technology(国家科技大学);Maynooth University(梅努斯大学)
该研究针对多语言仇恨言论检测的不透明问题,提出训练时可解释性框架,对齐模型推理与人类理由,经HateXplain、BullySent数据集及多方法评估,可提升分类性能与解释质量,助力多语言文化敏感的内容审核。
2026-08-28 cs.AI cs.CL
Multilingual Mix: Example Interpolation Improves Multilingual Neural Machine Translation
Google Research(谷歌研究院)
多语言神经机器翻译模型被训练以最大化从多个语言对提取的示例的混合的可能性。应用于这些模型的主要归纳偏差是跨语言的共享词汇和共享参数集;从不同语言对提取的示例对应的输入和标签可能仍然驻留在不同的子空间中。在本文中,我们介绍了多语言交叉编码器-解码器(mXEncDec)融合语言对在一个实例级。我们的方法插值实例从不同的语言对联合“交叉的例子”,以鼓励共享输入和输出空间的语言。为了确保更好地融合的例子在多语言环境中,我们提出了几种技术,以提高不同语言的例子插值下严重的数据不平衡。在大规模WMT多语言数据集上的实验表明,我们的方法显着提高了英语到许多,多到英语和zero-shot翻译任务的质量(从+0.5 BLEU点到+5.5 BLEU点)。代码切换集的结果证明了我们的方法能够提高模型对非分布多语言示例的泛化能力。我们还进行定性和定量的代表性比较,分析我们的方法在代表性水平的优势。
2022-03-15 cs.AI cs.CL
Team A at SemEval-2025 Task 11: Breaking Language Barriers in Emotion Detection with Multilingual Models
HKBK College of Engineering(HKBK工程学院);National Institute of Technology Agartala(阿加尔塔拉国家理工学院)
团队A在SemEval-2025任务11中,采用多语言嵌入结合全连接层的方法,在六类情感检测任务上取得最佳性能,验证了多语言表示的有效性。
2025-02-27 cs.CL
Multilingual Stutter Event Detection for English, German, and Mandarin Speech
Rosenheim Technical University of Applied Sciences, Germany(德国罗森海姆应用技术大学)
本文提出一个基于多语种数据的多标签口吃检测系统,通过利用三种语言和四个语料库的标注数据,实现跨语言的鲁棒检测,实验表明多语言训练在某些情况下优于传统方法。
2026-03-27 cs.CL cs.SD eess.AS
Low-Resource Sequence Labeling via Unsupervised Multilingual Contextualized Representations
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
以前的跨语言序列标记任务的工作要么需要并行数据或桥梁的两种语言,通过逐字匹配。这样的要求和假设对于大多数语言是不可行的,特别是对于具有大的语言距离的语言,例如,英文和中文。在这项工作中,我们提出了一个多语言语言模型与深度语义对齐(MLMA)生成语言无关的跨语言序列标记表示。我们的方法只需要单语语料库,没有双语资源,并利用深语境表示。实验结果表明,我们的方法在欧洲语言中实现了新的最先进的NER和POS性能,并且在英语和汉语等遥远的语言对上也是有效的。
2019-10-24 cs.CL
Exploiting Parallel Corpora to Improve Multilingual Embedding based Document and Sentence Alignment
University of Moratuwa(莫拉图瓦大学)
多语言句子表示对于没有足够数据来自行构建单语模型的低资源语言来说具有很大的优势。这些多语言的句子表示已分别利用少数研究文件和句子对齐。然而,大多数低资源语言在这些预训练模型中的代表性不足。因此,在低资源语言的上下文中,必须使用额外的数据源对这些模型进行微调。本文提出了一种加权机制,利用现有的小规模平行语料库,以提高性能的多语言句子表示的文档和句子对齐。实验进行两个低资源的语言,僧伽罗语和泰米尔语。在新创建的僧伽罗语-英语、泰米尔语-英语和僧伽罗语-泰米尔语数据集上的结果表明,这种新的加权机制显着改善了文档和句子的对齐。该数据集以及源代码都是公开发布的。
2021-06-12 cs.CL
Enhancing Cross-lingual Natural Language Inference by Soft Prompting with Multilingual Verbalizer
Tsinghua University(清华大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对跨语言自然语言推理中离散提示依赖专家设计且不可训练的问题,提出带多语言 Verbalizer 的软提示框架 SoftMV,通过双语词典生成增强多语言问题并利用一致性正则化对齐语义空间,在少样本和全样本设置下取得 SOTA 性能。
2023-05-22 cs.AI cs.CL
Multitask and Multilingual Modelling for Lexical Analysis
在自然语言处理(NLP)中,传统上一次考虑针对单个语言(例如英语)的单个任务(例如词性标注)。然而,最近的研究表明,利用任务之间以及语言之间的相关性是有益的。在这项工作中,我研究了相关性的概念,并探索如何利用它来构建需要较少手动注释数据的NLP模型。一个大的选择的NLP任务进行了调查,包括60种语言的大量语言样本。结果显示了联合多任务和多语言建模的潜力,并暗示了可以从这些模型中获得的语言见解。
2018-09-07 cs.CL
Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
Technische Universität Darmstadt(达姆施塔特工业大学)
我们提出了一个简单而有效的方法来扩展现有的句子嵌入模型到新的语言。这允许从以前的单语模型创建多语言版本。训练基于这样的想法,即翻译的句子应该映射到向量空间中与原始句子相同的位置。我们使用原始的(单语)模型来生成源语言的句子嵌入,然后在翻译的句子上训练一个新的系统来模仿原始模型。与其他训练多语言句子嵌入的方法相比,这种方法有几个优点:很容易将现有的模型与相对较少的样本扩展到新的语言,更容易确保向量空间的期望属性,并且训练的硬件要求较低。我们证明了我们的方法对来自不同语系的50多种语言的有效性。将句子嵌入模型扩展到400多种语言的代码是公开的。
2020-10-05 cs.CL
Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Science and Technology of China(中国科学技术大学)
这项工作提出了一种终身学习的方法来训练多语种的文本转语音(TTS)系统,其中每种语言被视为一个单独的任务,并学习顺序和连续。它不需要来自所有语言的池数据,因此减轻了存储和计算负担。终身学习方法的挑战之一是“灾难性遗忘”:在TTS场景中,这意味着当适应新语言时,模型性能在以前的语言上迅速下降。我们通过基于数据回放的终身学习方法来解决这个问题。我们将重放过程描述为一个有监督的学习问题,并提出了一个简单而有效的双采样器框架来解决严重语言不平衡的训练样本。通过客观和主观的评估,我们表明,这种监督式学习方法优于其他基于梯度和基于正则化的终身学习方法,与微调基线相比,梅尔倒谱失真减少了43%。
2022-05-19 cs.CL cs.SD eess.AS
Conditions for Catastrophic Forgetting in Multilingual Translation
Karlsruhe Institute of Technology, Germany(卡尔斯鲁厄理工大学)
本研究以机器翻译为测试平台,通过系统性实证研究明确了多语言微调中灾难性遗忘的触发条件,发现模型与数据的相对规模是主要决定因素,指令遵循能力比架构更关键,参数高效微调无明显优势,跨语言对齐可缓解遗忘并促进正向迁移。
2025-10-22 cs.CL
Multilingual Neural Machine Translation with Language Clustering
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);Microsoft Research(微软研究院)
多语言神经机器翻译(NMT)使用单个模型翻译多种语言,由于其在简化训练过程、降低在线维护成本以及增强低资源和zero-shot翻译方面的优势,具有重要的实际意义。考虑到世界上有数千种语言,其中一些语言非常不同,在单个模型中处理所有语言或为每个语言对使用单独的模型是非常繁重的。因此,给定一个固定的资源预算,例如,模型的数量,如何确定哪些语言应该支持的一个模型是至关重要的多语言NMT,这,不幸的是,已被忽略了以前的工作。在这项工作中,我们开发了一个框架,将语言聚类到不同的组中,并为每个聚类训练一个多语言模型。我们研究了两种语言聚类方法:(1)使用先验知识,根据语言家族对语言进行聚类;(2)使用语言嵌入,用嵌入向量表示每种语言,并在嵌入空间中对它们进行聚类。特别地,我们通过训练通用神经机器翻译模型来获得所有语言的嵌入向量。我们对23种语言的实验表明,第一种聚类方法简单易懂,但翻译准确率不高,而第二种方法充分捕捉了语言之间的关系,与基线方法相比,几乎所有语言的翻译准确率都有所提高
2019-08-25 cs.CL cs.LG
Improving Zero-shot Translation with Language-Independent Constraints
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
训练多语言神经机器翻译(NMT)的一个重要问题是在训练过程中看不到的语言对之间进行翻译,即zero-shot翻译。通过提供一种替代枢轴翻译的方法来提高这种能力,这也使我们能够更好地理解模型如何捕获语言之间的信息,从而实现一石二鸟的效果。在这项工作中,我们进行了调查的多语言NMT模型的这种能力。首先,我们有意创建一个编码器架构,这是独立于源语言。总体而言,此类实验揭示了NMT编码器学习多语言表示的能力。基于这样的概念证明,我们能够将正则化方法设计到标准Transformer模型中,从而使整个架构在zero-shot条件下变得更加健壮。我们研究了这些模型在标准IWIT2017多语言数据集上的行为。与最先进的多语言系统的zero-shot性能相比,我们在12种语言对上实现了平均2.23 BLEU点的改进。此外,我们进行了进一步的实验中,效果得到证实,即使是多个中间枢纽语言对。
2019-06-20 cs.CL
Extrapolating Multilingual Understanding Models as Multilingual Generators
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出语义引导的对齐后去噪(SGA)方法,将多语言理解模型XLM-R适配为生成器,在机器翻译、问题生成和故事生成任务上显著优于初始化方法,但在监督设置下仍不及mBART。
2023-05-22 cs.CL
MDAPT: Multilingual Domain Adaptive Pretraining in a Single Model
University of Copenhagen(哥本哈根大学);PricewaterhouseCoopers (PwC)(普华永道);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
领域自适应预训练,即在领域特定文本上对语言模型进行持续的无监督预训练,改进了域内下游任务的文本建模。许多现实世界的应用程序都是基于特定领域的文本,例如处理金融或生物医学文档,这些应用程序通常需要支持多种语言。然而,由于法规、立法或仅仅是缺乏特定于语言和领域的文本,很难获得针对此类场景的大规模特定于领域的多语言预训练数据。一种解决方案是训练单个多语言模型,利用尽可能多语言的可用数据。在这项工作中,我们探索了领域自适应预训练的好处,重点是适应特定领域内的多种语言。我们提出了不同的技术来组成预训练语料库,使语言模型成为特定领域和多语言。针对生物医学命名实体识别和金融句子分类的九个特定领域的分类器的评估涵盖了七种不同的语言,表明一个单一的多语言特定领域的模型可以优于一般的多语言模型,并执行接近其单语言对应。这一发现适用于两种不同的预训练方法,基于适配器的预训练和全模型预训练。
2021-09-14 cs.CL
Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
Language Technology Lab(语言技术实验室);University of Amsterdam(阿姆斯特丹大学)
针对多语言 NMT 中共享词汇因文字差异导致迁移受限的问题,提出基于词汇等价类和图网络融合跨语言词嵌入的方法,在高、低资源场景下最高提升 BLEU 2.3 分且开销很小。
2024-01-20 cs.CL cs.LG
A Multilingual View of Unsupervised Machine Translation
Google AI Residency(谷歌人工智能 residency项目)
我们提出了一个多语言神经机器翻译的概率框架,包括监督和无监督设置,重点是无监督翻译。除了研究香草的情况下,只有单语数据可用,我们提出了一种新的设置,其中一种语言(源,目标)对不与任何并行数据,但可能存在辅助并行数据,包含其他。这种辅助数据可以自然地通过新的交叉翻译损失项在我们的概率框架中使用。从经验上讲,我们表明,我们的方法在大多数方向上都会在WMT'14英语-法语,WMT'16英语-德语和WMT'16英语-罗马尼亚语数据集上获得更高的BLEU分数。特别是,我们在罗马尼亚语-英语方向上获得了比性能最好的无监督模型更高的+1.65 BLEU优势。
2020-10-16 cs.CL
TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
TAPO通过引入翻译增强策略优化框架,提升多语言数学推理能力,有效结合语言理解和推理能力,优于基线方法并在未见语言和领域任务中表现良好。
2026-03-26 cs.CL
Multilingual Translation via Grafting Pre-trained Language Models
ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
一种语言的预训练BERT和另一种语言的GPT可以粘在一起翻译文本吗?仅使用单语数据的自我监督训练已经导致了许多NLP任务中预训练(掩蔽)语言模型的成功。然而,直接连接BERT作为编码器和GPT作为解码器在机器翻译中可能具有挑战性,因为类似GPT的模型缺乏seq2seq解码器中所需的交叉注意组件。在本文中,我们提出了Gramformer移植单独的预训练(掩蔽)语言模型的机器翻译。使用单语数据进行预训练,并行数据进行嫁接训练,我们最大限度地利用了这两种类型数据的使用。在60个方向上的实验表明,与相同大小的多语言Transformer相比,该方法在x2en方向上平均提高了5.8 BLEU,在en2x方向上平均提高了2.9 BLEU。
2021-09-11 cs.CL
Towards Best Practices for Training Multilingual Dense Retrieval Models
University of Waterloo(滑铁卢大学)
使用基于变换器的双编码器设计的稠密检索模型已经成为一个活跃的研究领域。在这项工作中,我们专注于单语检索的任务,在各种类型不同的语言使用这样的设计。虽然最近的多语言Transformers的工作表明,他们表现出强大的跨语言泛化能力,仍然有许多开放的研究问题,我们在这里解决。我们的研究是组织为“最佳实践”的指导培训多语言稠密检索模型,分为三个主要场景:多语言Transformer是可用的,但相关性判断是不可用的语言感兴趣的;模型和训练数据都是可用的;和,训练数据是可用的,但模型。在考虑这些场景时,我们更好地理解了多阶段微调的作用、各种条件下跨语言迁移的强度、非语言数据的有用性以及多语言与单语言Transformers的优势。我们的建议为构建搜索应用程序的从业者提供了指南,特别是对于低资源语言,虽然我们的工作留下了一些研究问题,但我们为未来的工作提供了坚实的基础。
2022-04-05 cs.CL cs.IR