Exploring Dimensionality Reduction Techniques in Multilingual Transformers
Universidad Politécnica de Madrid(马德里理工大学)
无论是在科学文献中还是在工业中,基于语义和上下文感知的自然语言处理解决方案近年来都越来越重要。这些模型在处理复杂的语言理解任务时所表现出的可能性和性能是毋庸置疑的,从会话代理到对抗社交网络中的虚假信息。此外,开发多语言模型以解决语言瓶颈也受到了相当大的关注。越来越需要提供实现所有这些功能的更复杂的模型,伴随着它们的尺寸的增加,而不需要保守的尺寸数量。本文的目的是全面考虑各种各样的降维技术对不同国家的最先进的多语言暹罗Transformers的性能的影响,包括无监督降维技术,如线性和非线性特征提取,特征选择,和流形技术。为了评估这些技术的效果,我们考虑了语义文本相似性基准(mSTSb)的多语言扩展版本和两种不同的基线方法,一种使用几个模型的预训练版本,另一种使用它们的微调STS版本。结果证明,可以分别实现$91.58\% \pm 2.59\%$和$54.65\% \pm 32.20\%$的维数的平均减少。这项工作还考虑了可视化目的的降维的后果。本研究的结果将有助于理解不同的调优方法如何影响语义感知任务的性能,以及降维技术如何处理为STS任务计算的高维嵌入及其在高要求NLP任务中的潜力
2022-04-18 cs.CL
Comparative Analysis of Multilingual Text Classification & Identification through Deep Learning and Embedding Visualization
KIIT Deemed to be University(KIIT 德emed大学)
针对17种语言的文本分类与识别,本文比较LangDetect、LangId、FastText、Sentence Transformer及MLP、LSTM、卷积模型,并结合嵌入可视化,证明FastText在聚类和分类性能上更优。
2023-12-06 cs.CL
Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks
Federal University of Rio Grande do Sul(南里奥格兰德州联邦大学)
BERT(Bidirectional Encoder Representations from Transformers)和ALBERT(A Lite BERT)是用于预训练语言模型的方法,这些语言模型稍后可以针对各种自然语言理解任务进行微调。这些方法已被应用到一些这样的任务(主要是在英语),取得的结果,优于国家的最先进的。在本文中,我们的贡献是双重的。首先,我们为葡萄牙语提供经过训练的BERT和Albert模型。其次,我们比较了我们的单语和标准的多语言模型,使用实验在语义文本相似性,识别文本蕴涵,文本类别分类,情感分析,攻击性评论检测和假新闻检测,以评估生成的语言表示的有效性。结果表明,单语言和多语言模型都能够达到最先进的水平,并且训练单个语言模型的优势(如果有的话)很小。
2020-07-19 cs.CL cs.LG
Ensembling Multilingual Transformers for Robust Sentiment Analysis of Tweets
Department of Computer Science, University of South Carolina, USA(南卡罗来纳大学计算机科学系);Artificial Intelligence Institute, University of South Carolina, USA(南卡罗来纳大学人工智能研究所);Department of Civil, Environmental, and Ocean Engineering, Stevens Institute of Technology, New Jersey, USA(史蒂文斯理工学院土木、环境与海洋工程系);School of Computing, University of Nebraska–Lincoln, Lincoln, Nebraska, USA(内布拉斯加大学林肯分校计算机学院);Department of Computer Science, Bowling Green State University, Bowling Green, Ohio, USA(伯灵顿州立大学计算机科学系)
针对外语场景缺乏标注数据导致的推文情感分析难题,本文集成 bert-base-multilingual-uncased-sentiment 与 XLM-R,并结合 LLM,在多语言数据集上取得超过 86% 的性能。
2025-09-28 cs.CL
Evaluating Multilingual and Code-Switched Alignment in LLMs via Synthetic Natural Language Inference
Texas A\&M University, College Station, TX., USA(德克萨斯大学);Hamad Bin Khalifa University, Doha, Qatar(哈马德·本·卡伊夫大学)
针对大语言模型跨语言逻辑对齐能力未充分探索的问题,提出合成逻辑型NLI对并翻译至多语言的受控评估框架,发现语码转换不降低甚至提升性能,为多语言鲁棒性研究提供新视角与工具。
2025-08-20 cs.AI cs.CL
Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification
Beijing Institute of Technology(北京理工大学)
提出IGap指标,用于测量多语言Transformer在句子分类上的跨语言迁移能力,实验证明其优于基线,并揭示三个相关发现。
2023-05-15 cs.CL
Multilingual Transformer Language Model for Speech Recognition in Low-resource Languages
Microsoft(微软)
训练和部署Transformer LM用于低资源语言的混合语音识别第二遍重新排序是具有挑战性的,这是由于(1)低资源语言的数据稀缺,(2)训练和刷新100多个单语模型的昂贵计算成本,以及(3)考虑到稀疏流量,托管效率低下。在这项研究中,我们提出了一种新的方法来组多个低资源的地区在一起,并优化性能的多语言Transformer LM在ASR。我们的本地组多语言Transformer LM在降低维护成本和运营费用方面优于传统的多语言LM。此外,对于低资源,但高流量的地区,部署单语模型是可行的,我们表明,微调我们的本地组多语言LM产生更好的单语LM候选人比基线单语LM。
2022-09-08 cs.CL
mLongT5: A Multilingual and Efficient Text-To-Text Transformer for Longer Sequences
Google Research(谷歌研究院)
本文提出mLongT5,通过结合LongT5架构、mT5多语言预训练数据与UL2任务,在多语言摘要和问答任务上优于mBART和M-BERT。
2023-10-26 cs.CL
Augmented Transformers with Adaptive n-grams Embedding for Multilingual Scene Text Recognition
Guangdong University of Foreign Studies(广东外语外贸大学);Bielefeld University(比勒费尔德大学);East China University of Science and Technology(华东理工大学)
虽然视觉Transformer已经非常成功地提高了基于图像的任务中的性能,没有太多的工作已经报道了应用Transformers的多语言场景文本识别由于在视觉外观的复杂性,多语言文本。为了填补这一空白,本文提出了一个增强的Transformer架构与n-gram嵌入和跨语言校正(TANGER)。TANGER由一个主Transformer和一个辅助Transformer组成,前者具有视觉图像的单块嵌入,后者具有自适应n-gram嵌入,旨在灵活地探索相邻视觉块之间的潜在相关性,这对于从多语言场景文本中提取特征提取至关重要。跨语言校正是通过一个损失函数来实现的,该函数同时考虑了语言识别和上下文连贯性评分。广泛的比较研究进行了四个广泛使用的基准数据集,以及一个新的多语言场景文本数据集,包含印尼语,英语和中文收集的旅游场景在印尼。我们的实验结果表明,TANGER是相当好的相比,国家的最先进的,特别是在处理复杂的多语言场景文本。
2023-02-28 cs.CL
Multilingual Sentence Transformer as A Multilingual Word Aligner
Shanghai University of Finance and Economics(上海财经大学);Southern University of Science and Technology(南方科技大学)
多语言预训练语言模型(mPLM)在多语言词对齐归纳中表现出了其有效性。然而,这些方法通常从mBERT或XLM-R开始。在本文中,我们调查是否多语言句子Transformer LaBSE是一个强大的多语言词对齐。这个想法是不平凡的,因为LaBSE被训练来学习语言不可知的单词级嵌入,而对齐提取任务需要更细粒度的单词级嵌入是语言不可知的。我们证明了香草LaBSE优于其他mPLM目前使用的对齐任务,然后提出微调LaBSE并行语料库进一步改进。七个语言对的实验结果表明,我们最好的对齐优于以前的国家的最先进的模型的所有品种。此外,我们的对齐器在单个模型中支持不同的语言对,甚至在微调过程中不会出现的zero-shot语言对上实现了新的最先进技术。
2023-01-28 cs.CL
UM6P-CS at SemEval-2022 Task 11: Enhancing Multilingual and Code-Mixed Complex Named Entity Recognition via Pseudo Labels using Multilingual Transformer
Mohammed VI Polytechnic University(穆罕默德六世理工大学);Sidi Mohamed Ben Abdellah University(西迪·穆罕默德·本·阿卜杜拉大学);University of Sherbrooke(舍布鲁克大学)
构建现实世界中复杂的命名实体识别(NER)系统是一项具有挑战性的任务。这是由于出现在各种上下文中的命名实体的复杂性和模糊性,例如短输入句子,新兴实体和复杂实体。此外,现实世界的查询大多是畸形的,因为它们可能是代码混合或多语言的,以及其他情况。在本文中,我们介绍了我们提交的系统多语言复杂命名实体识别(MultiCoNER)共享任务。我们的方法复杂的NER多语言和代码混合查询,依赖于多语言Transformer XLM-RoBERTA提供的上下文表示。除了基于CRF的令牌分类层之外,我们还引入了跨度分类损失来识别命名实体跨度。此外,我们使用自训练机制从大型未标记数据集生成弱注释数据。我们提出的系统分别在多语言和代码混合MultiCoNER的曲目中排名第6和第8。
2022-04-28 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation(微软公司)
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中,受最近语言模型预训练成功的启发,我们提出了XLM-T,它使用现成的预训练跨语言Transformer编码器对模型进行了优化,并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是,即使在具有反向平移的强基线上,该方法也是有效的。此外,对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models
Stanford University(斯坦福大学)
本文发现多语言BERT存在语法结构偏差,即英语等高资源语言的语法会渗入低资源语言,并通过西班牙语代词省略和希腊语主谓顺序实验证明其偏向英语式结构,呼吁更关注语言学意识的流利度评估。
2023-04-13 cs.CL
Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation
LORIA(洛林计算机科学及其应用实验室);Posos(Posos公司)
一些基于transformer的模型可以执行跨语言迁移学习:这些模型可以在一种语言的特定任务上进行训练,并在另一种语言的相同任务上给出相对较好的结果,尽管只在单语任务上进行了预训练。但是,对于这些基于transformer的模型是否能够跨语言学习通用模式,目前还没有达成共识。我们提出了一个词级的任务不可知的方法来评估这种模型建立的上下文表示的对齐。我们表明,我们的方法提供了更准确的翻译词对比以前的方法来评估字级对齐。我们的研究结果表明,基于多语言transformer的模型的一些内层优于其他显式对齐的表示,根据更严格的多语言对齐定义,甚至更是如此。
2022-07-19 cs.CL
Evaluating Multilingual BERT for Estonian
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学研究所)
最近,大型预训练语言模型,如BERT,在许多自然语言处理任务中已经达到了最先进的性能,但对于许多语言,包括爱沙尼亚语,BERT模型还不可用。然而,存在几种多语言BERT模型,可以同时处理多种语言,并且也在爱沙尼亚数据上进行了训练。在本文中,我们评估了四种多语言模型-多语言BERT,多语言蒸馏BERT,XLM和XLM-RoBERTa-在几个自然语言处理任务,包括POS和形态标记,NER和文本分类。我们的目标是建立这些多语言BERT模型和现有的基线神经模型之间的比较,这些任务。我们的结果表明,多语言BERT模型可以很好地概括不同的爱沙尼亚NLP任务,在POS、形态标记和文本分类方面的表现优于所有基线模型,并达到了与NER最佳基线相当的水平,其中XLM-RoBERTa取得了最高的结果与其他多语言模型相比。
2021-01-08 cs.CL
MT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs
Microsoft Research(微软研究院);Beijing Institute of Technology(北京理工大学)
多语言T5(mT5)在大量单语文本上预训练序列到序列模型,这在许多跨语言任务上显示出有希望的结果。在本文中,我们改进了多语言文本到文本传输Transformer与翻译对(mT6)。具体来说,我们探索了三个跨语言文本到文本的预训练任务,即,机器翻译,翻译对跨度腐败和翻译跨度腐败。此外,我们提出了一个部分非自回归目标的文本到文本的预训练。我们在八个多语言基准数据集上评估了这些方法,包括句子分类、命名实体识别、问答和抽象摘要。实验结果表明,建议mT6提高跨语言的可移植性mT5。
2021-09-13 cs.CL
Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation
Google Research(谷歌研究院)
最近提出的大规模多语言神经机器翻译(NMT)系统已被证明能够在单个模型中将100多种语言翻译成英语。它在低资源语言上的翻译性能的提高暗示了下游任务的潜在跨语言迁移能力。在本文中,我们评估了来自大规模多语言NMT模型编码器的表示在5个下游分类和序列标记任务上的跨语言有效性,这些任务涵盖了50多种语言。我们在不同的跨语言迁移学习场景中与强基线多语言BERT(mBERT)进行比较,并在这5个任务中的4个任务中显示了zero-shot迁移的增益。
2019-09-01 cs.CL
On Evaluating and Mitigating Gender Biases in Multilingual Settings
Microsoft Research India(微软印度研究院)
本文针对多语言环境下性别偏见评估与缓解的挑战,构建了基于人工标注的印度语言偏见评估基准,扩展多种去偏方法并验证其在多语言模型上的效果。
2023-07-04 cs.CL
Are the Multilingual Models Better? Improving Czech Sentiment with Transformers
NTIS – New Technologies for the Information Society(NTIS – 新信息技术学会);University of West Bohemia(西波希米亚大学)
在本文中,我们的目标是改善捷克情绪与transformer为基础的模型和他们的多语言版本。更具体地说,我们研究了三个情感极性数据集上的捷克语极性检测任务。我们微调和五个多语种和三个单语模型进行实验。我们比较了单语言和多语言模型的性能,包括与基于递归神经网络的旧方法的比较。此外,我们测试的多语言模型和他们的能力,知识从英语到捷克语(反之亦然)与zero-shot跨语言分类。我们的实验表明,巨大的多语言模型可以克服单语言模型的性能。它们还能够在没有任何训练数据的情况下检测另一种语言的极性,与最先进的单语训练模型相比,性能不差于4.4%。此外,我们在所有三个数据集上都取得了新的最先进的结果。
2021-08-24 cs.CL
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon(俄勒冈大学)
我们介绍Trankit,一个轻量级的基于transformer的多语言自然语言处理(NLP)工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道,并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上,在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道,同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer,我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的,其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在:http://nlp.uoregon.edu/trankit。最后,我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
mT5: A massively multilingual pre-trained text-to-text transformer
Google Research(谷歌研究院)
最近的“Text-to-Text Transfer Transformer”(T5)利用统一的文本到文本格式和规模,在各种英语NLP任务上获得了最先进的结果。在本文中,我们介绍了mT5,这是T5的多语言变体,它在一个新的基于Common Crawl的数据集上进行了预训练,涵盖了101种语言。我们详细介绍了mT5的设计和修改后的训练,并在许多多语言基准测试中展示了其最先进的性能。我们还描述了一种简单的技术,以防止“意外翻译”的zero-shot设置,其中生成模型选择(部分)翻译成错误的语言的预测。在这项工作中使用的所有代码和模型检查点都是公开的。
2021-03-11 cs.CL
Evaluating Cross-Lingual Unlearning in Multilingual Language Models
AI Virtual Assistant (AVA) Lab(人工智能虚拟助手(AVA)实验室);Georgia Institute of Technology(佐治亚理工学院)
本文研究了多语言语言模型中的跨语言反学习,发现子空间投影方法在去除非训练语言事实方面表现最佳,揭示了权重空间几何结构对多语言遗忘的影响。
2026-01-10 cs.CL
XPersona: Evaluating Multilingual Personalized Chatbot
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
个性化的对话系统是实现更好的人机交互的重要一步。现有的个性化对话代理依赖于适当设计的会话数据集,这些数据集大多是单语的(例如,英语),这极大地限制了其他语言中会话代理的使用。在本文中,我们提出了一个多语言扩展的Persona-Chat,即XPersona。我们的数据集包括除英语之外的六种不同语言的人物对话,用于构建和评估多语言个性化代理。我们对多语言和跨语言训练基线进行了实验,并使用自动和人工评估对单语和预防管道模型进行了评估。实验结果表明,多语言训练模型的性能优于解释管道,并且它们与单语言模型相当,具有跨多种语言的单一模型的优势。另一方面,最先进的跨语言训练模型的性能不如其他模型,这表明跨语言会话建模是一项具有挑战性的任务。我们希望我们的数据集和基线将加速多语言对话系统的研究。
2020-04-08 cs.CL
Assessing the Syntactic Capabilities of Transformer-based Multilingual Language Models
Pompeu Fabra University(庞培法布拉大学);Catalan Institute for Research and Advanced Studies (ICREA)(加泰罗尼亚研究与高级研究所)
基于多语言转换器的语言模型通常在100多种语言上进行预训练,已被证明在广泛的跨语言迁移任务中取得了出色的结果。然而,它仍然是未知的优化不同的语言条件的能力的模型概括的句法结构,以及如何语言的句法现象不同的复杂性受到影响。在这项工作中,我们探讨的单语和多语言版本的BERT和ROBERTa的句法泛化能力。更具体地说,我们评估英语和西班牙语测试模型的句法泛化潜力,比较单语和多语言模型在同一语言(英语),和两种不同的语言(英语和西班牙语)的多语言模型的句法能力。对于英语,我们使用可用的SyntaxGym测试套件;对于西班牙语,我们引入了SyntaxGyES,这是一种新的西班牙语语法测试组合,旨在通过SyntaxGym在线平台评估语言模型的语法泛化能力。
2021-05-10 cs.CL
Summarizing Indian Languages using Multilingual Transformers based Models
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
随着mBART、mT5、IndiBART等多语言模型的出现,低资源印度语言的摘要现在得到了很多关注。但数据集的数量仍然很少。在这项工作中,我们(HakunaMatata团队)研究了这些多语言模型如何在以印度语言作为源和目标文本的数据集上执行摘要。我们使用IndicBART和mT5模型进行实验,并报告ROUGE-1、ROUGE-2、ROUGE-3和ROUGE-4评分作为性能指标。
2023-03-29 cs.CL
One Model to Pronounce Them All: Multilingual Grapheme-to-Phoneme Conversion With a Transformer Ensemble
The University of British Columbia(不列颠哥伦比亚大学)
字素-音素(G2 P)转换对于语音识别和语音合成都是非常重要的。与其他语音和语言处理任务类似,在只有小规模训练数据可用的情况下,学习G2 P模型是具有挑战性的。我们描述了一个简单的方法,利用模型集成,基于多语言Transformers和自我训练,开发一个高效的G2 P解决方案的15种语言。我们的模型是作为我们参与SIGMORPHON 2020共享任务1的一部分开发的,该任务专注于G2 P。我们最好的模型达到14.99字出错率(WER)和3.30音素出错率(PER),一个相当大的改善共享任务的竞争基线。
2020-06-23 cs.CL
Evaluating the Evaluation Metrics for Style Transfer: A Case Study in Multilingual Formality Transfer
University of Maryland(马里兰大学);Dataminr, Inc.(Dataminr公司)
虽然风格迁移(ST)领域发展迅速,但由于缺乏自动评估的标准化实践而受到阻碍。在本文中,我们评估了领先的ST自动度量的经常研究的任务,正式风格的转移。与以前的评估,只专注于英语,我们扩大我们的重点,巴西葡萄牙语,法语和意大利语,使这项工作的第一个多语言评估指标在ST。我们概述了自动评估(正式)风格转移的最佳实践,并确定了几个模型,以及与人类的判断,是强大的跨语言。我们希望这项工作将有助于加速ST的发展,因为在ST中,人类评估通常很难收集。
2021-10-20 cs.CL
Multilingual Twitter Corpus and Baselines for Evaluating Demographic Bias in Hate Speech Recognition
Adobe Research(奥多比研究院)
现有的文献分类模型的公平性评价研究主要是使用合成的单语数据,没有地面真理的作者人口统计属性。在这项工作中,我们组装并发布了一个多语言的Twitter语料库的仇恨言论检测的任务推断四个作者的人口统计因素:年龄,国家,性别和种族/民族。语料库涵盖五种语言:英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用众包平台评估推断的人口统计标签,图8。为了检验可能导致偏见的因素,我们对英语语料库进行了人口预测性的实证分析。我们测量四个流行的文档分类器的性能,并评估的公平性和偏见的基线分类器上的作者级的人口统计属性。
2020-03-03 cs.CL
Massively Multilingual Lexical Specialization of Multilingual Transformers
University of Mannheim(曼海姆大学);University of Würzburg(维尔茨堡大学)
本文利用BabelNet在50种语言上构建同义词对,通过对比目标对mBERT和XLM-R进行大规模多语言词汇特化,显著提升跨语言词汇与句子检索任务性能,并能泛化到特化中未见过的语言。
2023-05-29 cs.CL
Evaluating Dedicated Monolingual and Joint Multilingual Causal Models for Dravidian Languages
本文训练5个GPT-2架构模型对比达罗毗荼语的单语与多语模型,发现单语模型在情感分类等任务上优于mGPT,分词器效率也更高。
2026-08-11 cs.CL
Adaptive Sparse Transformer for Multilingual Translation
Meta AI
多语言机器翻译由于其支持语言间的知识转移以及与众多双语模型相比的低训练和部署成本,近年来引起了人们的广泛关注。多语言模型的一个已知挑战是负面语言干扰。为了提高翻译质量,更深和更广泛的体系结构被应用到多语言建模,以获得更大的模型容量,这同时也增加了推理成本。近年来的研究指出,语言之间的共同参数是干扰的原因,但它们也可能促进正迁移。基于这些见解,我们提出了一种自适应和稀疏的多语言建模架构,并训练模型学习共享和语言特定的参数,以提高正迁移和减轻干扰。稀疏结构只激活保持推理效率的子网络,自适应设计根据输入语言选择不同的子网络。我们的模型在多个基准测试中优于强基线。在使用$100$语言的大规模OPUS数据集上,与标准Transformer相比,在不增加推理成本的情况下,分别实现了一对多、多对一和zero-shot任务下的$+2.1$、$+1.3$和$+6.2$ BLEU改进。
2022-01-22 cs.CL
Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers
Universitat Pompeu Fabra(庞培法布拉大学);Idiap Research Institute(Idiap研究所);EPFL(洛桑联邦理工学院);ICREA(加泰罗尼亚研究与高等教育学院);Cardiff University(卡迪夫大学);AMPLYFI(AMPLYFI公司)
在语境中识别和分类词汇搭配对语言学习、词典编纂和后续的自然语言处理都有重要意义。然而,由于词汇搭配所表现出的冻结程度不同,这是一项具有挑战性的任务。在本文中,我们提出了一个序列标记的BERT为基础的模型增强了图形感知的Transformer架构,我们评估的任务上的搭配识别上下文。我们的研究结果表明,明确编码句法依赖的模型架构是有帮助的,并提供洞察力的差异,在英语,西班牙语和法语的搭配类型化。
2022-05-23 cs.CL
Probing for Multilingual Numerical Understanding in Transformer-Based Language Models
University of Washington(华盛顿大学)
自然语言数字是组合结构的一个例子,其中较大的数字由对较小数字的操作组成。鉴于组合推理是自然语言理解的关键,我们提出了新的多语言探测任务测试的蒸馏BERT,XLM,和BERT调查的证据组成推理的数字数据在各种自然语言数字系统。通过使用英语、日语、丹麦语和法语的语法性判断和值比较分类任务,我们发现证据表明,这些预训练模型的嵌入中编码的信息足以进行语法性判断,但通常不足以进行值比较。我们分析了可能的原因,并讨论了如何在进一步的研究中扩展我们的任务。
2020-10-13 cs.CL
Larger-Scale Transformers for Multilingual Masked Language Modeling
Facebook AI(脸书人工智能研究院)
最近的工作已经证明了跨语言语言模型预训练的跨语言理解的有效性。在这项研究中,我们提出了两个更大的多语言掩蔽语言模型的结果,与3.5 B和10.7 B的参数。我们的两个新型号称为XLM-R XL和XLM-R XXL优于XLM-R的1.8%和2.4%的平均准确性XNLI。我们的模型在GLUE基准测试的几个英语任务上的表现也优于Roberta-Large模型,平均为0.3%,同时处理99种语言。这表明具有较大容量的预训练模型可以在高资源语言上获得强大的性能,同时大大改善低资源语言。我们公开我们的代码和模型。
2021-05-02 cs.CL
CoCo-CoLa: Evaluating and Improving Language Adherence in Multilingual LLMs
University of Southern California(南加州大学)
提出CoCo-CoLa指标评估多语言LLM语言一致性,发现模型跨语言共享知识但输出语言存在偏差,关键层决定输出语言,据此提出选择性微调策略,在降低计算成本的同时提升语言一致性,尤其利于低资源语言。
2025-05-29 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);MMT Srl(MMT有限公司)
最近,神经机器翻译(NMT)已经扩展到多语言,即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是,在低资源环境中,它被证明是有效和高效的,这要归功于跨语言强制共享的表征空间,并诱导了一种迁移学习。此外,多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大,但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此,我们的工作(i)提供了双语,多语言和zero-shot系统产生的翻译的定量和比较分析;(ii)研究了MT中目前占主导地位的两种神经结构的翻译质量,这两种结构是递归的和Transformer的;(iii)定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑,并重点关注自动标准度量(BLEU和TER)和广泛使用的错误类别,即词汇,词法和词序错误。
2018-06-20 cs.CL
XIFBench: Evaluating Large Language Models on Multilingual Instruction Following
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Queen Mary University of London(伦敦大学女王学院);Soochow University(苏州大学)
本文提出XIFBench基准,通过558条多语言指令和细粒度约束评估LLMs的指令遵循能力,并引入三项方法论创新支持跨语言评估,揭示了语言资源等因素对多语言指令遵循的影响。
2025-11-03 cs.CL
CRaFT: An Explanation-Based Framework for Evaluating Cultural Reasoning in Multilingual Language Models
CRaFT是一个基于解释的多语言评估框架,通过文化流畅度等四个指标评估LLM跨文化推理,发现文化意识依赖语言框架而非固有。
2025-10-15 cs.CL
Evaluating Multilingual Gisting of Web Pages
我们描述了一个原型系统的多语言gisting的网页,并提出了一个评估方法的基础上的概念gisting的决策支持。这一评价模式直截了当、严谨,可以对各种备选办法进行公平比较,而且很容易推广到其他情况下的评价,在这种情况下,使用者需要根据有限的或备选形式的信息作出决策。
1997-04-07 cmp-lg cs.CL
FairLex: A Multilingual Benchmark for Evaluating Fairness in Legal Text Processing
University of Copenhagen(哥本哈根大学);National University of Defense Technology(国防科技大学)
我们提出了一个由四个数据集组成的基准套件,用于评估预训练的语言模型的公平性,以及用于对下游任务进行微调的技术。我们的基准涵盖四个司法管辖区(欧洲理事会、美国、瑞士和中国)、五种语言(英语、德语、法语、意大利语和中文)以及五个属性(性别、年龄、地区、语言和法律领域)的公平性。在我们的实验中,我们使用几种组鲁棒微调技术来评估预训练的语言模型,并表明在许多情况下,表现组差异是充满活力的,而这些技术都不能保证公平性,也不能始终如一地减轻组差异。此外,我们提供了一个定量和定性分析我们的结果,突出了开放的挑战,在法律NLP的鲁棒性方法的发展。
2022-03-14 cs.CL
From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers
University of Mannheim(曼海姆大学);University of Oslo(奥斯陆大学);University of Cambridge(剑桥大学)
使用语言建模目标(例如,mBERT,XLM-R)已经成为NLP中zero-shot跨语言迁移的事实上的默认迁移范例,提供了无与伦比的迁移性能。然而,目前的下游评估,主要是验证其有效性的转移设置涉及语言与足够数量的预训练数据,并与词汇和类型学接近的语言。在这项工作中,我们分析了它们的局限性,并表明,跨语言迁移通过大规模的多语言Transformers,很像通过跨语言的词嵌入传输,是大大降低了资源贫乏的情况下,为遥远的语言。我们的实验,包括三个较低层次的任务(POS标记,依存句法分析,NER),以及两个高层次的语义任务(NLI,QA),经验相关的迁移性能与源语言和目标语言之间的语言相似性,但也与预训练语料库的大小目标语言。我们还证明了廉价的Few-Shot转移(即,在对源代码进行微调之后,对一些目标语言实例进行微调)。这表明,应投入更多的研究努力,以超越限制性的zero-shot条件。
2020-05-01 cs.CL
On Evaluating Multilingual Compositional Generalization with Translated Datasets
University of Copenhagen(哥本哈根大学)
本研究通过构建基于规则的MCWQ-R多语言翻译数据集,评估跨语言组合泛化,发现语言差异导致组合分布受损,多语言模型跨语言泛化仍具挑战。
2023-06-20 cs.CL
Investigating Syntactic Biases in Multilingual Transformers with RC Attachment Ambiguities in Italian and English
University of Utah(犹他大学)
本文以意英关系从句附着歧义为对象,探究单/多语言LLM的类人偏好及词汇因素调节作用,发现模型行为存在差异且普遍难以捕捉类人偏好,提出该歧义是跨语言研究LLM语言知识与偏见的理想基准。
2025-04-14 cs.CL
Guardians of Discourse: Evaluating LLMs on Multilingual Offensive Language Detection
School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University(西交利物浦大学人工智能与先进计算学院);School of Advanced Technology, Xi’an Jiaotong-Liverpool University(西交利物浦大学先进技术学院);College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
本文首次在英、西、德三种语言上系统评估GPT-3.5、Flan-T5和Mistral在单语及多语言冒犯性语言检测中的表现,并分析提示语言、翻译数据增强及模型与数据偏见对敏感主题误判的影响。
2024-10-21 cs.CL
Purdah and Patriarchy: Evaluating and Mitigating South Asian Biases in Open-Ended Multilingual LLM Generations
George Mason University(乔治·马歇尔大学)
本研究针对南亚多语种LLM评估中文化交叉偏见被忽略的问题,构建涵盖多维度的文化偏见词典,分析10种南亚语言生成内容中的父权制相关偏见,并验证两种自我去偏见策略的效果,拓展了文化偏见研究的视角与范围。
2026-05-06 cs.CL
M2G-Eval: Enhancing and Evaluating Multi-granularity Multilingual Code Generation
Beihang University(北航大学);Hunan University(湖南大学);Ubiquant
M2G-Eval通过多粒度多语言框架评估代码生成能力,揭示了不同粒度任务的难度差异和跨语言学习的关联性。
2025-12-27 cs.CL
MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation using Augmented Data, Signals, and Transformers
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎普尔分校)
在这项工作中,我们提出了解决SemEval 2021任务2:多语言和跨语言上下文消歧(MCL-WiC)的方法。该任务是一个句子对分类的问题,其目标是检测是否一个给定的词共同的两个句子唤起相同的含义。我们提交了两种设置的系统-多语言(成对的句子属于同一种语言)和跨语言(成对的句子属于不同的语言)。训练数据仅以英文提供。因此,我们采用了跨语言迁移技术。我们的方法采用微调预训练的基于transformer的语言模型,如ELECTRA和ALBERT,用于英语任务,XLM-R用于所有其他任务。为了提高这些系统的性能,我们建议在要消除歧义的单词中添加一个信号,并通过句子对反转来增强我们的数据。我们使用WiC、XL-WiC和SemCor 3.0进一步增强了提供给我们的数据集。使用合奏,我们在多语言任务中取得了很好的成绩,在EN-EN和FR-FR子任务中排名第一。对于跨语言设置,我们使用了多语言模型,采用了随机测试方法和zero-shot方法,后者的表现略好。
2021-04-04 cs.CL
Lifting the Curse of Multilinguality by Pre-training Modular Transformers
New York University(纽约大学);TU Darmstadt(达姆施塔特工业大学);Meta AI
众所周知,多语言预训练模型会遭受多语言性的诅咒,这会导致每种语言的性能随着它们覆盖更多语言而下降。我们通过引入语言特定的模块来解决这个问题,这使我们能够增加模型的总容量,同时保持每种语言的可训练参数总数不变。与之前的工作相比,我们从一开始就预先训练了跨语言模块化(X-Mod)模型的模块。我们在自然语言推理、命名实体识别和问答中的实验表明,该方法不仅可以减少语言间的负干扰,而且可以实现正迁移,从而提高单语和跨语性能。此外,我们的方法可以在事后添加语言,而不会导致性能下降,不再将模型使用限制在预先训练的语言集上。
2022-05-12 cs.CL
A General-Purpose Multilingual Document Encoder
LMU Munich(慕尼黑大学);University of Würzburg(维尔茨堡大学)
提出层次化多语言文档编码器HMDE,利用维基百科和跨语言对比学习预训练,在跨语言文档分类与检索任务上优于基线,并泛化至未见语言。
2023-05-11 cs.CL
X-WebAgentBench: A Multilingual Interactive Web Benchmark for Evaluating Global Agentic System
Central South University(中南大学);Soochow University(苏州大学);The University of Hong Kong(香港大学)
针对当前语言智能体研究多聚焦英语场景、难以满足多语言应用需求的问题,提出多语言交互式Web基准X-WebAgentBench以评估多语言下智能体的规划与交互性能,实验发现先进模型结合跨语言技术仍效果不佳,为多语言智能体研究提供基准支撑。
2025-05-21 cs.CL
PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts
Qwen Team, Alibaba Group(阿里集团Qwen团队);Shanghai Jiao Tong University(上海交通大学)
本文提出涵盖18种语言和4个难度级别的多语言数学推理基准PolyMath,评估发现先进LLM在多语言推理中存在表现差异大、输入输出语言一致性低及思考长度不同等挑战,并指出控制输出语言可影响推理性能。
2025-11-02 cs.CL
Morph Call: Probing Morphosyntactic Content of Multilingual Transformers
SberDevices, Sberbank(SberDevices,俄罗斯联邦储蓄银行);HSE University(高等经济大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
基于transformer的语言模型在各种NLP和NLU任务上的出色表现激发了人们对探索其内部工作原理的兴趣。最近的研究主要集中在更高层次和复杂的语言现象,如句法,语义,世界知识和常识。大多数的研究都是以英语为中心的,对其他语言的了解很少,确切地说是他们的形态句法特性。为此,我们的工作提出了Morph Call,这是一套针对四种不同形态的印欧语言(英语,法语,德语和俄语)的46个探测任务。我们提出了一种新型的探测任务的基础上检测指导句子扰动。我们使用的神经元,层和代表级的内省技术相结合,分析四种多语言的Transformers,包括其较少探索蒸馏版本的形态句法内容。此外,我们还研究了POS标记的微调如何影响模型知识。结果表明,微调可以提高和降低探测性能,并改变如何在模型中分布的形态句法知识。代码和数据是公开的,我们希望填补Transformers研究较少方面的空白。
2021-05-04 cs.CL
Disentangling Language and Culture for Evaluating Multilingual Large Language Models
Singapore Management University(新加坡管理学院);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究院);DAMO Academy, Alibaba Group(阿里集团大模型实验室);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出双重评估框架,通过解耦语言媒介与文化语境评估LLM的多语言能力,发现“文化-语言协同”现象并揭示其神经元激活机制,强调了跨文化语言评估的必要性。
2025-05-30 cs.CL
Evaluating Robustness of LLMs in Question Answering on Multilingual Noisy OCR Data
University of Innsbruck(因斯布鲁克大学);University of La Rochelle(拉罗谢尔大学);University of Ljubljana(卢布尔雅那大学)
本文通过构建包含英法德三语5万问答对的MultiOCR-QA数据集,系统评估了OCR噪声对多语言问答系统中大语言模型性能的影响,揭示了现有模型对噪声文本的脆弱性,并强调需要更具鲁棒性的问答系统。
2025-09-19 cs.CL