Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent(赛博代理)
针对非英语单语语义文本相似度性能落后的问题,对比跨语言迁移与机器翻译两种数据增强技术,发现二者性能相当,且维基百科领域数据优于NLI领域数据,结合后可提升单语STS性能。
2024-03-08 cs.CL
Unsupervised Word Mapping Using Structural Similarities in Monolingual Embeddings
The George Washington University(乔治华盛顿大学)
现有的大多数双语词典自动归纳方法依赖于源语言和目标语言之间的先验对齐,例如平行语料库或种子词典。对于许多语言对,这种监督对齐并不容易获得。我们提出了一种无监督的方法来学习一对语言的双语词典,因为它们是独立学习的单语词嵌入。该方法利用单语向量空间中的局部和全局结构来对齐它们,从而将相似的单词映射到彼此。我们的经验表明,使用我们提出的无监督的方法学习的双语通讯员的性能是相媲美的,使用监督的双语通讯员从种子字典。
2018-01-29 cs.CL
ParaBank: Monolingual Bitext Generation and Sentential Paraphrasing via Lexically-constrained Neural Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了ParaBank,一个大规模的英语释义数据集,在数量和质量上都超过了以前的工作。按照ParaNMT的方法,我们训练捷克-英语神经机器翻译(NMT)系统,以产生新的英语参考句子的释义。然而,通过在NMT解码过程中添加词汇约束,我们能够为每个源句子生成多个高质量的原始释义,从而生成具有超过40亿个生成标记的英语释义资源,并表现出更大的词汇多样性。使用人类的判断,我们还表明,ParaBank的释义提高了ParaNMT的语义相似性和流畅性。最后,我们使用ParaBank来训练单语NMT模型,该模型同样支持句子重写任务的词汇约束解码。
2019-01-11 cs.CL
MicroBERT: Effective Training of Low-resource Monolingual BERTs through Parameter Reduction and Multitask Learning
Georgetown University(乔治城大学)
Transformer语言模型(TLM)对于大多数NLP任务至关重要,但由于需要大量的预训练数据,因此很难为低资源语言创建TLM。在这项工作中,我们研究了两种技术,用于训练单语TLM在低资源设置:大大减少TLM的大小,并补充掩蔽语言建模目标与两个语言丰富的监督任务(词性标注和依存句法分析)。来自7种不同语言的结果表明,我们的模型,MicroBERT,能够产生显着的改善,相对于一个典型的单语TLM预训练方法的下游任务评估。具体来说,我们发现,与多语言基线mBERT相比,单语MicroBERT模型在解析器LAS和NER F1中分别获得了高达18%和11%的收益,而其参数计数不到1%。我们得出结论,减少TLM参数计数并使用标记数据预训练低资源TLM可以产生很大的质量效益,并在某些情况下产生优于多语言方法的模型。
2023-01-05 cs.CL
Multilingual Sentence-T5: Scalable Sentence Encoders for Multilingual Applications
Nagoya University(名古屋大学);PKSHA Technology Inc.(PKSHA Technology 公司)
本文提出基于NLI的多语言句子嵌入模型m-ST5,利用LoRA技术将Sentence T5扩展至57亿参数,实验证明其性能优于先前方法且随模型规模提升,低资源语言获益更多。
2024-03-26 cs.CL
Parameter and Data Efficient Continual Pre-training for Robustness to Dialectal Variance in Arabic
Amazon Web Services(亚马逊云科技)
在低资源和高资源语言中使用多语言语言模型是深度学习的成功案例。近年来,阿拉伯语因其方言差异而受到广泛关注。虽然先前的研究已经试图将这些多语言模型用于阿拉伯语的方言变体,但由于缺乏足够的单语方言数据和这种方言变体的平行翻译数据,这仍然是一个具有挑战性的问题。这仍然是一个悬而未决的问题,有限的辩证数据是否可以用来改善在阿拉伯语的方言变体训练的模型。首先,我们表明,与我们的自定义单语阿拉伯语模型相比,在阿拉伯语单语数据上增量预训练的多语言BERT(mBERT)需要更少的训练时间,并产生相当的准确性,并击败现有模型(平均指标为+ $6.41$)。然后,我们探索了两种连续的预训练方法-(1)使用少量的辩证数据进行连续的微调,(2)并行的阿拉伯语到英语数据和翻译语言建模损失函数。我们表明,这两种方法有助于提高方言分类任务($+4.64$平均。gain),用于单语模型时。
2022-11-08 cs.CL cs.LG
Comparing Explanation Faithfulness between Multilingual and Monolingual Fine-tuned Language Models
University of Sheffield(谢菲尔德大学)
本研究比较多语言与单语言微调语言模型的特征归因忠实度,发现多语言模型越大忠实度越低,差异可能源于分词器差异。
2024-03-19 cs.AI cs.CL
Goldfish: Monolingual Language Models for 350 Languages
Department of Cognitive Science(认知科学系);Department of Linguistics(语言学系);Department of Computer Science(计算机科学系);University of California San Diego(加州大学圣地亚哥分校)
针对低资源语言,发现大型多语言模型在基本语法生成上不如双元模型,而小规模单语模型在困惑度和语法性基准上表现更优,并发布了覆盖350种语言的1000多个单语模型套件Goldfish。
2026-05-28 cs.CL
Sequence to sequence pretraining for a less-resourced Slovenian language
University of Ljubljana(卢布尔雅那大学)
大型预训练语言模型最近征服了自然语言处理领域。作为BERT中引入的主要掩蔽语言建模的替代方案,T5模型引入了更一般的训练目标,即序列到序列转换,其包括掩蔽语言模型,但更自然地适合文本生成任务,例如机器翻译、摘要、问答、文本简化、对话系统、T5模型的单语变体仅限于资源丰富的语言,而大规模多语言T5模型支持101种语言。相比之下,我们训练了两个不同大小的T5类型序列到序列模型,用于形态丰富的斯洛文尼亚语,资源少得多,并分析了它们在11个任务上的行为。关于分类任务,SloT5模型大多落后于单语斯洛文尼亚语SloBERTA模型,但对于生成任务很有用。
2023-01-02 cs.CL
FinEst BERT and CroSloEngual BERT: less is more in multilingual models
University of Ljubljana(卢布尔雅那大学)
大型预训练的掩蔽语言模型已经成为许多NLP问题的最先进的解决方案。不过,这项研究主要集中在英语语言上。虽然存在大量多语言模型,但研究表明,单语言模型产生的结果要好得多。我们训练了两个三语类BERT模型,一个用于芬兰语、爱沙尼亚语和英语,另一个用于克罗地亚语、斯洛文尼亚语和英语。我们使用多语言BERT和XLM-R作为基线,评估了它们在几个下游任务,NER,POS标记和依存句法分析上的性能。新创建的FinEst BERT和CroSloEngual BERT在大多数单语和跨语言情况下改善了所有任务的结果
2020-06-14 cs.CL
Multi-task Learning for Multilingual Neural Machine Translation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软)
虽然单语数据已被证明在改进双语神经机器翻译(NMT)方面是有用的,但有效且高效地利用单语数据用于多语言NMT(MNMT)系统是一个较少探索的领域。在这项工作中,我们提出了一个多任务学习(MTL)框架,该框架联合训练模型与双文本数据上的翻译任务和单语数据上的两个去噪任务。我们进行了广泛的实证研究MNMT系统与10个语言对WMT数据集。我们表明,该方法可以有效地提高翻译质量的高资源和低资源的语言与大幅度,取得了显着优于个别双语模型。我们还证明了所提出的方法的有效性,在zero-shot设置语言对没有bitext训练数据。此外,我们证明了MTL在NMT和跨语言迁移学习NLU任务的预训练方法上的有效性;所提出的方法优于在单个任务上训练的大规模模型。
2020-10-06 cs.CL cs.LG
When Does Monolingual Data Help Multilingual Translation: The Role of Domain and Model Scale
University of Edinburgh(爱丁堡大学);Samaya AI;Google DeepMind(谷歌DeepMind)
本文通过 100 个翻译方向的现实数据集,研究去噪自编码和回译在不同领域匹配度与模型规模(90M 至 1.6B 参数)下对多语言机器翻译的影响,发现领域不匹配会显著削弱单语数据的收益,且 DAE 的效果高度依赖模型规模,大模型下 DAE 可达到甚至超过 BT 的性能。
2024-03-30 cs.CL
ParsBERT: Transformer-based Model for Persian Language Understanding
Islamic Azad University North Tehran Branch(伊斯兰阿扎德大学北德黑兰分校);Queensland University of Technology(昆士兰科技大学);Umeå University(于默奥大学)
预训练语言模型的激增已经开始了自然语言处理(NLP)领域的新时代,使我们能够构建强大的语言模型。在这些模型中,基于transformer的模型(如BERT)由于其最先进的性能而变得越来越受欢迎。然而,这些模型通常专注于英语,将其他语言留给资源有限的多语言模型。本文提出了一个单语BERT的波斯语(ParsBERT),这表明其最先进的性能相比,其他架构和多语言模型。此外,由于波斯语中可用于NLP任务的数据量非常有限,因此组成了用于不同NLP任务以及预训练模型的大量数据集。ParsBERT在所有数据集(包括现有数据集和组合数据集)中获得了更高的分数,并通过在情感分析、文本分类和命名实体识别任务中优于多语言BERT和其他先前的作品来提高最先进的性能。
2020-05-31 cs.CL
Paraphrastic Representations at Scale
Google Research(谷歌研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣迭戈分校)
本文提出可多语言训练释义句子表征的系统并发布八种语言模型,通过大规模数据训练显著提升语义相似性和双语文本挖掘性能,同时具备更快的 CPU 推理能力与更完善的训练工具。
2023-06-04 cs.CL
Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
创建zero-shot跨语言检索模型的一种流行方法是用多语言预训练语言模型(例如多语言BERT)替换检索模型中的单语言预训练语言模型。这种多语言模型被微调为单语言数据(如英语MS MARCO)的检索任务,使用与所使用的单语言检索模型相同的训练配方。然而,这种转移的模型在训练和推理期间遭受输入文本的语言的不匹配。在这项工作中,我们提出了使用适配器,一个参数有效的组件,一个Transformer网络传输单语检索模型。通过添加针对特定语言的语言任务预训练的适配器和特定任务的适配器,先前的工作表明,在各种NLP任务中跨语言传输时,适配器增强模型的性能优于微调整个模型。通过构建具有适配器的稠密检索模型,我们表明,当转移到跨语言信息检索(CLIR)设置时,用单语数据训练的模型比微调整个模型更有效。然而,我们发现,先前的建议,更换语言适配器,以匹配目标语言在推理时间是次优的稠密检索模型。我们对其他跨语言NLP任务和CLIR之间的这种差异进行了深入分析。
2022-12-20 cs.CL cs.IR
WECHSEL: Effective initialization of subword embeddings for cross-lingual transfer of monolingual language models
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
大型预训练语言模型(LM)已经成为许多NLP应用程序的核心构建块。训练这些模型需要更多的计算资源,并且大多数现有模型仅在英文文本上训练。用其他语言训练这些模特是极其昂贵的。为了缓解这个问题,我们引入了一种新的方法-称为WECHSEL -来有效地将预训练的LM转换为新的语言。WECHSEL可以应用于任何使用基于子词的标记化并为每个子词学习嵌入的模型。源模型(英语)的标记化器被替换为目标语言的标记化器,并且通过利用覆盖英语和目标语言的多语言静态词嵌入来初始化标记嵌入,使得它们在语义上类似于英语标记。我们使用WECHSEL将英文版的RoBERTA和GPT-2模型转换为四种语言(法语、德语、中文和斯瓦希里语)。我们还研究了我们的方法对资源非常少的语言的好处。WECHSEL改进了所提出的跨语言参数传输方法,并优于从头开始训练的可比大小的模型,训练工作量减少了64倍。我们的方法使得为新语言训练大语言模型更容易,对环境的破坏更小。我们公开我们的代码和模型。
2022-05-04 cs.CL
Language Model Prior for Low-Resource Neural Machine Translation
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
大型并行语料库的缺乏是神经机器翻译的一个重要障碍。一种常见的解决方案是利用在丰富的单语数据上训练的语言模型(LM)的知识。在这项工作中,我们提出了一种新的方法,将LM作为神经翻译模型(TM)的先验。具体来说,我们添加了一个正则化项,它将TM的输出分布推到LM先验下的可能性,同时避免TM与LM“不一致”时的错误预测。这一目标涉及到知识蒸馏,其中LM可以被视为教导TM关于目标语言。所提出的方法不会影响解码速度,因为LM仅在训练时使用,不像以前的工作需要在推理过程中使用。我们提出了一个分析的影响,不同的方法对TM的分布。两个低资源机器翻译数据集的结果显示出明显的改善,即使是有限的单语数据。
2020-10-26 cs.CL
Modular Monolingual Adaptation using Pretrained Language Models
Charles University, Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics(查尔斯大学数学与物理系形式与应用语言学研究所)
提出一种模块化方法,通过替换标记、冻结对应嵌入并调整模型其余部分,在低资源语言上提升NLU任务性能,优于全模型微调。
2026-06-04 cs.CL
Highly Generalizable Models for Multilingual Hate Speech Detection
Georgia Institute of Technology(佐治亚理工学院)
在过去的十年里,仇恨语音检测已经成为一个重要的研究课题。越来越多的私营公司需要监管全球不同平台上的用户生成内容。在本文中,我们介绍了多语言仇恨言论分类的研究。我们编译了一个包含11种语言的数据集,并通过分析带有二进制标签的组合数据来解决不同的分类:仇恨言论或非仇恨言论。在不同的语言和数据集上以单一的方式定义仇恨言论可能会消除定义中的文化细微差别,因此,我们利用LASER和MUSE提供的语言不可知嵌入来开发可以在数据集上使用仇恨言论的广义定义的模型。此外,我们评估了现有技术的仇恨言论检测方法在我们的扩展数据集。我们进行三种类型的实验的二进制仇恨语音分类任务:多语言训练单语言测试,单语言训练单语言测试和家庭家庭训练单语言测试的情况下,看看性能提高每种语言由于学习更多的其他语言数据。
2022-01-27 cs.CL
Solving Word-Sense Disambiguation and Word-Sense Induction with Dictionary Examples
University of Ljubljana(卢布尔雅那大学)
针对资源匮乏语言缺乏大型数据集的问题,提出利用LLMs从词典例句生成句子对以解决语境词任务,并进而适应词义消歧和词义归纳任务,在斯洛文尼亚语上优于现有模型。
2025-03-06 cs.AI cs.CL
Tag-less Back-Translation
Ahmadu Bello University(艾哈迈杜·贝罗大学);Bayero University(巴耶罗大学)
利用目标语单语数据的回译,可以有效地生成大量的并行句子,用于训练改进的神经机器翻译(NMT)系统。标准的反向翻译方法已被证明无法有效地利用现有的大量单语数据,因为翻译模型无法在训练期间区分真实的和合成的并行数据。标记或使用门已被用于使翻译模型能够区分合成数据和真实数据,从而改进标准反向翻译,并且还使得能够对使用标准反向翻译表现不佳的语言对使用迭代反向翻译。在这项工作中,我们接近回翻译作为一个领域自适应问题,消除了显式标记的需要。在该方法-- \emph{tag-less back-translation} --中,合成和真实的并行数据分别被视为域外和域内数据,并且通过预训练和微调,翻译模型被证明能够在训练期间更有效地从它们中学习。实验结果表明,该方法在低资源的英越语和英德语神经机器翻译中的性能优于标准回译方法和标记回译方法。
2021-02-09 cs.AI cs.CL cs.LG
Monolingual alignment of word senses and definitions in lexicographical resources
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
本论文的重点是广泛的词典编纂数据,特别是词典的对齐。为了解决这一领域的一些挑战,两个主要任务的词义对齐和翻译推理的解决。第一个任务的目的是找到一个最佳对齐给定的意义定义的一个词目在两个不同的单语词典。这是一个具有挑战性的任务,特别是由于在两个资源的意义粒度,覆盖范围和描述的差异。在描述了各种词汇语义资源的特点后,我们介绍了一个包含15种语言的17个数据集的基准,其中单语词义和定义由专家在不同的资源中手动注释。在创建基准时,词典编纂者的知识通过注释被纳入其中,其中为每个意义对选择语义关系,即精确的、较窄的、较宽的、相关的或无。该基准可以用于评估词义对齐系统的目的。使用该基准测试对几种基于文本和非文本语义相似性检测和语义关系归纳的对齐技术的性能进行了评估。最后,我们将这项工作扩展到翻译推理,其中翻译对被诱导以无监督的方式使用基于图分析的各种方法生成双语词典。这项任务对于为资源较少和代表性不足的语文创建词典编纂资源特别有意义,也有助于扩大现有资源的覆盖面。从实用的角度来看,在这篇论文中开发的技术和方法是在一个工具,可以方便的对齐任务。
2022-09-06 cs.CL
Towards Leaving No Indic Language Behind: Building Monolingual Corpora, Benchmark and Models for Indic Languages
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);AI4Bharat;Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Microsoft(微软)
本文通过构建覆盖24种语言、209亿token的单语语料库IndicCorp、多任务基准IndicXTREME以及多语言模型IndicBERT v2,系统提升印度语言的NLU能力,并相较强基线平均提升2个百分点。
2023-05-24 cs.CL
BuzzASR: A Swarm of 100+ Monolingual Speech Recognition Models
UC San Diego(加州大学圣迭戈分校);EleutherAI
BuzzASR通过大规模单语微调Whisper模型,覆盖102种语言,在多数语言上降低字符错误率,并提升分词压缩率,优于Whisper-large-v3。
2026-10-06 cs.CL
Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition
Liveperson Research Centre(Liveperson研究中心)
多语言自动语音识别(ASR)系统主要受益于低资源语言,但相对于其单语言对应物,在若干语言之间遭受性能降级。有限的研究集中在理解多语言语音识别设置中的语言行为。本文提出了一种新的数据驱动的方法来研究跨语言的声学语音相似性。该技术测量来自各种单语声学模型的后验分布与目标语音信号之间的相似性。深度神经网络被训练为映射网络,以将来自不同声学模型的分布转换为直接可比较的形式。分析发现,重叠音素集的数量不能真实地估计语言的接近程度。熵分析的建议映射网络显示,一种语言与较少的重叠,可以更适合跨语言迁移,因此更有益的多语种设置。最后,利用所提出的后验变换方法融合目标语言的单语模型。与单语对应相比,实现了~8%的相对改进。
2022-07-07 cs.CL eess.AS
LORD: Low Rank Decomposition Of Monolingual Code LLMs For One-Shot Compression
Université de Montréal(蒙特利尔大学);Nolano AI(Nolano人工智能);Mila(米拉人工智能研究院)
本文提出用LoRD低秩分解一次性压缩代码LLM,在StarCoder 16B上实现显著减参、加速且性能损失极小,并兼容SpQR与QLoRA。
2023-09-25 cs.AI cs.CL
Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark
Information Systems Lab, MEAD University of Patras, Rio Patras, Greece(信息系统实验室,MEAD帕特拉斯大学,帕特拉斯,希腊)
本研究提出DemosQA数据集和高效评估框架,评估11种LLM在希腊问答任务中的表现,以解决低资源语言的模型有效性问题。
2026-02-18 cs.AI cs.CL
GreenPLM: Cross-Lingual Transfer of Monolingual Pre-Trained Language Models at Almost No Cost
Zhejiang University(浙江大学);Northwestern University(西北大学);Peking University(北京大学);Harvard University(哈佛大学);University of Cambridge(剑桥大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
GreenPLM框架利用双语词典以几乎零成本将单语预训练语言模型跨语言迁移,在18种语言BERT上验证有效,并以最多减少200倍的预训练工作量在七种语言中的六种上超越原始单语模型,兼顾公平与节能。
2023-05-26 cs.CL
From Monolingual to Multilingual: Evaluating Mamba for ASR in South African Languages
本研究评估Mamba模型在南非七种语言上的ASR性能,发现其与Conformer精度相当但计算更高效,并探索多语训练及语言嵌入的影响。
2026-07-03 cs.CL
Lessons learned from the evaluation of Spanish Language Models
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU);HiTZ Center - Ixa(HiTZ中心-Ixa)
本文对西班牙语语言模型进行全面对比,发现大公司多语言模型优于单语模型,且单语模型间结果不具决定性,指出构建更优西班牙语单语模型仍需深入研究语料规模、质量与预训练技术。
2023-09-22 cs.AI cs.CL
Irony Detection in a Multilingual Context
PRHLT Research Center, Universitat Politècnica de València(PRHLT研究中心,瓦伦西亚理工大学);AUSY R&D(奥西研发中心);IRIT, CNRS, Université de Toulouse(图卢兹大学计算机研究所,法国国家科学研究中心)
本文提出了第一个多语言(法语,英语和阿拉伯语)和多文化(印欧语言与文化不那么接近的语言)的反语检测系统。我们采用基于特征的模型和神经架构,使用单语单词表示。我们将这些系统的性能与最先进的系统进行比较,以确定它们的功能。我们发现,这些使用多语言单词表示或基于文本的特征在不同语言上单独训练的单语模型可以为缺乏讽刺注释数据的语言中的讽刺检测打开大门。
2020-02-06 cs.AI cs.CL
Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes
Google(谷歌)
我们提出了两个端到端的模型:音频到字节(A2 B)和字节到音频(B2 A),多语种语音识别和合成。先前的工作主要使用字符,子词或词作为选择的单元来建模文本。这些单元很难扩展到词汇量大的语言,特别是在多语言处理的情况下。在这项工作中,我们通过一个Unicode字节序列,具体地说,每个字符的UTF-8可变长度字节序列来建模文本。它允许我们避免在具有大词汇表的语言中使用大型softmax,并在多语言模型中共享表示。我们表明,字节优于字形字符在各种各样的语言单语端到端语音识别。此外,我们的多语言字节模型平均相对于每个单一语言基线的性能高出4.4%。在日英语码转换语音中,我们的多语言字节模型相对于我们的单语言基准提高了38.6%。最后,我们提出了一个端到端的多语言语音合成模型,使用字节表示匹配我们的单语基线的性能。
2018-11-22 cs.CL cs.LG cs.SD
Beyond Monolingual Deep Research: Evaluating Agents and Retrievers with Cross-Lingual BrowseComp-Plus
Waseda University(早稻田大学);Northwestern University(西北大学);RIKEN AIP(理化学研究所革新智能研究中心);Snowflake Inc.(Snowflake公司);University of Utah(犹他大学);Duke-NUS Medical School(杜克-新加坡国立大学医学院);The University of Tokyo(东京大学)
提出跨语言基准 XBCP,评估深度研究智能体在证据语言与查询不同时的表现,发现检索和智能体端均存在显著性能下降。
2026-06-18 cs.CL cs.IR
Enhancing Multilingual RAG Systems with Debiased Language Preference-Guided Query Fusion
Chung-Ang University(中央大学)
本文提出DeLP指标以消除评估基准中的结构偏见,发现多语言检索增强生成系统更倾向单语对齐,由此提出DELTA框架优化跨语言检索与生成,实验表明其在多种语言上优于英语枢纽和mRAG基线。
2026-04-13 cs.CL
Combining Distantly Supervised Models with In Context Learning for Monolingual and Cross-Lingual Relation Extraction
Indian Institute of Technology New Delhi(印度理工学院新德里)
提出HYDRE混合框架,将DSRE候选关系筛选、动态示例检索与LLM上下文学习结合,用于英语及四种低资源印度语言的关系抽取,显著提升F1。
2025-10-21 cs.CL
Leveraging Multilingual Training for Authorship Representation: Enhancing Generalization across Languages and Domains
University of Michigan(密歇根大学)
本文提出一种多语言作者表征学习方法,通过概率内容掩码和语言感知批处理两项创新,在36种语言、13个领域、450余万作者上训练,显著优于单语基线并增强跨语言与跨领域泛化。
2025-09-20 cs.CL
Joint Unsupervised and Supervised Training for Multilingual ASR
Google(谷歌)
自监督训练在预训练模型和促进语音识别的下游微调(如多语言ASR)方面显示出了有希望的收益。大多数现有的方法采用2阶段方案,其中在第一预训练阶段优化自监督损失,在第二阶段恢复标准监督微调。在本文中,我们提出了一种端到端(E2 E)联合无监督和监督训练(JUST)方法,将监督RNN-T损失和自监督对比和掩蔽语言建模(MLM)损失结合起来。我们在公共数据集多语言LibriSpeech(MLS)上验证了它的性能,该数据集包括8种语言,并且非常不平衡。在MLS上,我们探索(1)从头开始训练,(2)从预训练的检查点进行微调。实验表明,JUST可以始终优于其他现有的最先进的方法,并击败单语基线的显着保证金,展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%,最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上,我们的WER不到单语基线的一半,甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
Unsupervised Alignment of Embeddings with Wasserstein Procrustes
Facebook AI Research(脸书人工智能研究院);University of Cambridge(剑桥大学);Statistical Laboratory(统计实验室)
我们考虑在高维空间中对齐两组点的问题,这在自然语言处理和计算机视觉中有许多应用。作为一个例子,它最近表明,它是可能的,推断双语词典,没有监督数据,通过对齐词嵌入训练单语数据。这些最新的进展是基于对抗训练来学习两个嵌入之间的映射。在本文中,我们建议使用另一种配方,基于联合估计的正交矩阵和置换矩阵。虽然这个问题是不凸的,我们建议初始化我们的优化算法,使用凸松弛,传统上认为图同构问题。我们提出了一个随机算法,以最小化我们的成本函数在大规模的问题。最后,我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。在这项任务中,我们的方法获得了最先进的结果,同时需要比竞争方法更少的计算资源。
2018-05-29 cs.CL cs.LG stat.ML
Text Generation Models for Luxembourgish with Limited Data: A Balanced Multilingual Strategy
University of Luxembourg(卢森堡大学);Lancaster University(兰卡斯特大学)
本文针对卢森堡语数据稀缺问题,提出基于T5架构并结合等量德语和法语数据的平衡多语言文本生成模型,并引入首个卢森堡语文本生成基准LuxGen进行评估。
2024-12-20 cs.CL
Better Document-Level Machine Translation with Bayes' Rule
DeepMind;University of Oxford(牛津大学)
我们表明,贝叶斯规则提供了一个有效的机制,创建文档翻译模型,可以从只有平行的句子和单语文档学习-一个令人信服的好处,因为平行的文件并不总是可用的。在我们的公式中,候选翻译的后验概率是候选输出文档的无条件(先验)概率和将候选输出翻译回源语言的“反向翻译概率”的乘积。我们提出的模型使用了一个强大的自回归语言模型作为目标语言文档的先验,但它假设每个句子都是独立地从目标语言翻译到源语言的。至关重要的是,在测试时,当观察到源文档时,文档语言模型先验在后验中诱导源句子的翻译之间的依赖性。该模型的独立性假设不仅使有效地利用现有的数据,但它另外承认一个实用的左到右波束搜索算法进行推理。实验表明,我们的模型受益于使用跨句子上下文的语言模型,它优于现有的文档翻译方法。
2020-07-02 cs.CL cs.LG
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的,而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据,这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕,我们表明,相同的模型架构可以成功地应用于这两种语言。此外,我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后,我们表明,这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
Generalizing Multimodal Pre-training into Multilingual via Language Acquisition
Renmin University of China(中国人民大学)
基于英语的视觉语言预训练(VLP)在各种下游任务中取得了巨大的成功。已经采取了一些努力,通过多语言视觉语言预训练(M-VLP)将这一成功推广到非英语语言。然而,由于语言数量庞大,M-VLP模型往往需要巨大的计算资源,并且不能灵活地扩展到新的语言。在这项工作中,我们提出了一个\textbf{M}多\textbf{L}语言\textbf{A}采集(MLA)框架,可以很容易地推广到多语言的单语视觉语言预训练模型。具体来说,我们设计了一个轻量级的语言习得编码器的基础上,最先进的单语VLP模型。我们进一步提出了一个两阶段的训练策略来优化语言习得编码器,即母语迁移阶段和语言暴露阶段。在使用更少的多语种训练数据和计算资源的情况下,我们的模型在多语种图像-文本和视频-文本检索基准测试中达到了最先进的性能。
2022-05-29 cs.AI cs.CL
Assessing the Role of Data Quality in Training Bilingual Language Models
Apple(苹果公司)
本研究针对双语语言模型跨语言性能差异大的问题,发现数据质量不均是双语场景性能下降的主因,提出仅用高质量英语数据筛选双语训练数据的策略,有效提升单语性能并缩小双语模型性能差距。
2025-06-15 cs.CL
Toxic Language Detection in Social Media for Brazilian Portuguese: New Dataset and Multilingual Analysis
Federal University of São Carlos(圣卡洛斯联邦大学);University of Sheffield(谢菲尔德大学)
仇恨言论和有毒评论是社交媒体平台用户普遍关注的问题。尽管这些评论在这些平台上是少数,但它们仍然能够造成伤害。因此,识别这些评论是研究和防止社交媒体中毒性扩散的重要任务。以前的自动检测有害评论的工作主要集中在英语上,很少有像巴西葡萄牙语这样的语言。在本文中,我们提出了一个新的大规模数据集,巴西葡萄牙语的鸣叫注释为有毒或无毒或不同类型的毒性。我们介绍了我们的数据集收集和注释过程,我们的目标是选择覆盖多个人口统计群体的候选人。最先进的BERT模型能够在二元情况下使用单语数据实现76%的宏观F1评分。我们还表明,尽管多语言方法最近取得了进展,但仍然需要大规模的单语数据来创建更准确的模型。多标签分类的错误分析和实验表明,对某些类型的有毒评论进行分类是困难的,这些评论在我们的数据中出现的频率较低,并强调了开发能够识别不同类别毒性的模型的必要性。
2020-10-09 cs.CL cs.LG cs.SI
A Deep Generative Model for Code-Switched Text
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
语码转换,即两种或两种以上语言在一个句子或话语中的交错,在多语言社会中普遍存在。准确的语码转换文本语言模型是自然语言处理任务的关键。最先进的数据密集型神经语言模型很难从稀缺的语言标记的代码转换文本中很好地进行训练。一个潜在的解决方案是使用深度生成模型来合成大量真实的代码转换文本。虽然生成对抗网络和变分自编码器可以从连续的潜在空间合成合理的单语文本,但由于其非正式的风格和组成语言之间复杂的相互作用,它们无法充分解决代码转换文本。我们介绍VACS,一种新的变分自编码器架构,专门针对代码切换现象。VACS编码和解码从一个两级的分层表示,模型的语法上下文信号在较低的水平,和语言切换信号在上层。从先验知识中取样并解码,产生了结构良好、多样化的代码转换句子。大量的实验表明,使用合成码转换文本与自然单语数据的结果显着下降(33.06%)的困惑。
2019-06-21 cs.CL
Simple and Effective Zero-shot Cross-lingual Phoneme Recognition
Facebook AI Research(脸书人工智能研究院)
自训练、自监督预训练和无监督学习的最新进展使语音识别系统能够在没有任何标记数据的情况下表现良好。然而,在许多情况下,有标记的数据可用于相关的语言,这是不利用这些方法。本文通过微调多语言预训练的wav2vec 2.0模型来转录看不见的语言,从而扩展了以前关于zero-shot跨语言迁移学习的工作。这是通过使用发音特征将训练语言的音素映射到目标语言来完成的。实验表明,这种简单的方法显着优于先前的工作,其中引入了特定于任务的架构,并只使用了单语言预训练模型的一部分。
2021-09-23 cs.CL cs.LG cs.SD
Acquiring Knowledge from Pre-trained Model to Neural Machine Translation
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
预训练和微调在自然语言处理领域取得了巨大的成功。利用它们的标准范例包括两个步骤:首先,用大规模未标记的单语数据预训练模型,例如BERT。然后,使用来自下游任务的标记数据微调预训练模型。然而,在神经机器翻译(NMT)中,我们解决了双语任务的训练目标与单语预训练模型相差甚远的问题。这一差距导致仅使用微调不能充分利用已有的语言知识。在本文中,我们提出了一个APT框架,用于从预训练模型中获取知识到NMT。所提出的方法包括两个模块:1)。一种动态融合机制,用于将从一般知识适应的任务特定特征融合到NMT网络中,2)。一种知识蒸馏范式,在NMT训练过程中不断学习语言知识。所提出的方法可以从预先训练的模型中整合合适的知识来改进NMT。在WMT英-德、德-英和中-英机器翻译任务上的实验结果表明,该模型的性能优于强基线和微调模型。
2019-12-04 cs.CL
A Conditional Generative Matching Model for Multi-lingual Reply Suggestion
Microsoft AI(微软人工智能);Microsoft Research(微软研究院)
我们研究的问题,多语种自动回复建议(RS)模型同时服务于多种语言。多语言模型经常受到模型容量和跨语言严重数据分布偏差的挑战。虽然以前的工作主要集中在单语模型,我们提出了条件生成匹配模型(CGM),优化内的变分自编码器框架,以解决多语言RS所带来的挑战。CGM使用表达性消息条件先验、混合密度来增强多语言数据表示、用于语言区分的潜在对齐以及用于训练多语言RS的有效变分优化技术。这些增强导致性能超过相关性(ROUGE分数)的竞争基线平均超过10%,对于低资源语言超过16%。CGM在多样性方面也有显着的改善(80%),说明它在表示多语言数据方面的表现力。
2021-09-15 cs.CL
Towards a Broad Coverage Named Entity Resource: A Data-Efficient Approach for Many Diverse Languages
Apple(苹果公司)
并行语料库是提取多语言命名实体(MNE)资源的理想选择,即,翻译成多种语言的姓名数据集。先前从并行语料库中提取MNE数据集的工作需要资源,例如大型单语语料库或单词对齐器,这些资源对于资源不足的语言来说不可用或表现不佳。我们提出了CLC-BN,一种新的方法,用于创建MNE资源,并将其应用于并行圣经语料库,语料库的1000多种语言。CLC-BN从并行语料库统计中学习神经音译模型,而不需要任何其他双语资源,单词对齐器或种子数据。实验结果表明,CLC-BN明显优于以前的工作。我们发布了1340种语言的MNE资源,并在两个下游任务中证明了其有效性:知识图谱增强和双语词典归纳。
2022-04-29 cs.CL
Language Identification of Hindi-English tweets using code-mixed BERT
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学);Aligarh Muslim University(阿里加尔穆斯林大学)
社交媒体文本的语言识别近年来一直是一个有趣的研究问题。社交媒体信息主要是在非英语国家混合的代码。通过预训练上下文嵌入的现有知识已经显示了一系列下游任务的最新结果。最近,诸如BERT之类的模型已经表明,使用大量未标记的数据,预训练的语言模型对于学习公共语言表示更加有益。本文提出了利用迁移学习和微调BERT模型来识别Twitter上的语言的广泛实验。这项工作利用了一个数据汇集的印地语-英语-乌尔都语代码混合文本的语言预训练和印地语-英语代码混合为随后的词级语言分类。结果表明,在混合数据上预训练的表示产生更好的结果,由他们的单语对应。
2021-07-02 cs.CL cs.LG
Probing Pretrained Language Models for Lexical Semantics
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
BERT和RoBERTa等大型预训练语言模型(LM)的成功引发了人们对探索其表示的兴趣,以揭示它们隐含地捕获了哪些类型的知识。虽然以前的研究集中在形态句法,语义和世界知识,它仍然不清楚在何种程度上LM也从上下文中的单词获得词汇类型级别的知识。在这项工作中,我们提出了一个系统的实证分析,在六个类型不同的语言和五个不同的词汇任务,解决以下问题:1)如何不同的词汇知识提取策略(单语与多语言源LM,上下文外与上下文编码,包括特殊标记,分层平均)的影响性能?在不同的任务和语言中观察到的效果有多一致?2)词汇知识是存储在几个参数中,还是分散在整个网络中?3)在词汇任务中,这些表征与传统的静态词向量相比表现如何?4)从独立训练的单语LM中出现的词汇信息是否显示出潜在的相似性?我们的主要结果表明,普遍适用的模式和最佳实践,但也指出了不同语言和任务之间的显著差异。此外,我们验证了较低的Transformer层携带更多的类型级词汇知识的说法,但也表明,这种知识分布在多个层。
2020-10-12 cs.CL
$M^3$ Scaling Law: Optimizing Multi-Epoch, Multi-Lingual, and Multi-Stage Training for Low-Resource Language Models
NEC Corporation(日本电报电话株式会社)
本文提出 $M^3$ 缩放定律,统一预测模型规模、目标语料周期数、平均目标语言比例和最终阶段目标语言比例对低资源语言模型预训练损失的影响,并推导出最优训练策略的实用指南。
2026-06-01 cs.CL
Best Practices for Learning Domain-Specific Cross-Lingual Embeddings
Textkernel B.V.(Textkernel 公司);Radboud University(拉德堡德大学)
跨语言嵌入旨在通过捕获跨语言的语义相似性来在共享向量空间中表示多种语言中的单词。它们是通过将知识从资源丰富的语言转移到资源较少的语言来将任务扩展到多种语言的关键组件。学习跨语言嵌入的常见方法是为每种语言单独训练单语嵌入,并学习从单语空间到共享空间的线性投影,其中映射依赖于小种子字典。虽然有高质量的通用种子词典和预训练的跨语言嵌入可用于许多语言对,但很少有研究表明它们在专业任务中的表现。在本文中,我们调查的最佳做法,为特定领域的种子字典构建。我们评估的嵌入序列标签任务的简历解析,并表明双语词典的大小,在域语料库和数据源(特定任务与通用)的词典单词的频率影响的性能。我们还表明,在低资源语言中可用的训练数据越少,双语词典的构建就越重要,并且证明了在zero-shot迁移学习的情况下,一些选择是至关重要的。
2019-07-06 cs.CL
Multilingual Sentence-Level Semantic Search using Meta-Distillation Learning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Adobe Research(Adobe研究院)
本文提出针对低资源场景的MAML-Align方法,利用基于MAML的元蒸馏学习将知识从单语到双语的Teacher模型迁移至双语到多语言的Student模型,显著提升了多语言语义搜索性能及对未见语言的泛化能力。
2023-09-15 cs.CL