XL-HeadTags: Leveraging Multimodal Retrieval Augmentation for the Multilingual Generation of News Headlines and Tags
Ahsanullah University of Science & Technology(阿萨努拉科技大学);University of Alberta(阿尔伯塔大学);Université de Sherbrooke(谢布鲁克大学);Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
本文提出XL-HeadTags方法,利用图像和标题等多模态辅助信息检索相关句子,结合指令微调,在多语言环境下同时生成新闻标题和实体标签,并构建了覆盖20种语言的数据集及配套评估工具。
2024-06-07 cs.AI cs.CL cs.CV
LlamaLens: Specialized Multilingual LLM for Analyzing News and Social Media Content
Qatar University(卡塔尔大学);Qatar Computing Research Institute(卡塔尔计算研究所);UPES(UPES(印度大学));University of Maryland(马里兰大学)
本研究开发了专业多语言大语言模型LlamaLens,用于分析新闻和社交媒体内容,在18个任务、52个数据集上,于23个测试集超越现有最先进方法,并公开模型资源。
2025-02-27 cs.AI cs.CL
Multilingual Large Language Models: A Systematic Survey
Tianjin University(天津大学);University of Lisbon(里斯本大学)
本文系统综述了多语言大语言模型(MLLMs)的架构、预训练、数据集、评估方法、可解释性与跨语言迁移,并梳理其在生物、医学、计算机、数学和法律等领域的应用与挑战。
2024-11-19 cs.CL
A Commonsense-Infused Language-Agnostic Learning Framework for Enhancing Prediction of Political Polarity in Multilingual News Headlines
Jožef Stefan Institute(约热夫·斯泰凡研究所);Jožef Stefan International Postgraduate School(约热夫·斯泰凡国际研究生院)
本文提出一种通过翻译-检索-翻译策略注入推理性常识的语言无关学习框架,结合注意力机制与多语言预训练模型,在五种语言、超62.6K条新闻标题上显著提升了政治极性预测性能,并揭示了翻译质量对低资源语言表现的影响。
2022-12-01 cs.AI cs.CL
Compass-v3: Scaling Domain-Specific LLMs for Multilingual E-Commerce in Southeast Asia
Shopee(虾皮)
本文提出Compass-v3,一个245B参数的MoE模型,通过优化架构和OTPO对齐方法,在东南亚多语言电商任务上超越多个大模型,并已大规模部署于Shopee平台。
2026-09-18 cs.CL
MAMMOTH: Massively Multilingual Modular Open Translation @ Helsinki
University of Helsinki(赫尔辛基大学);Silo AI(Silo AI公司);University of Milano-Bicocca(米兰比可卡大学);NVIDIA(英伟达公司)
针对大语言模型时代NLP的规模瓶颈,研究团队推出源自OpenNMT-py的MAMMOTH模块化翻译训练框架,适配集群高效训练,已在A100、V100 GPU集群验证效率并开源。
2024-03-12 cs.CL
P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs
Tongyi Lab, Alibaba Group Inc(通义实验室,阿里巴巴集团)
本文提出并行多语言多任务基准 P-MMEval,通过一致语言覆盖与并行样本评估 LLM,并基于多模型实验分析任务、规模、语言和提示词等因素及英语知识迁移效果。
2025-05-14 cs.CL
Multilingual Sequence-to-Sequence Models for Hebrew NLP
Google Research(谷歌研究院)
最近的工作将NLP的进展归因于大语言模型(LM),其模型大小增加,预训练数据量大。尽管如此,与其他语言的LM相比,目前最先进的希伯来语LM参数化不足,训练不足。此外,以前关于预训练的希伯来语LM的工作主要集中在编码器模型上。虽然仅编码器架构有利于分类任务,但考虑到希伯来语在形态上丰富的性质,它无法很好地满足子词预测任务,例如命名实体识别。在本文中,我们认为,序列到序列生成架构更适合LLM的情况下,形态丰富的语言(MRL),如希伯来语。我们证明,通过将Hebrew NLP管道中的任务转换为文本到文本任务,我们可以利用强大的多语言,预训练的序列到序列模型作为mT5,从而消除了对专门的,基于词素的,单独微调的解码器的需求。使用这种方法,我们的实验表明,在现有的希伯来语NLP基准上,与以前发表的结果相比,有了很大的改进。这些结果表明,多语言序列到序列模型为MRL的NLP提供了一个有前途的构建模块。
2022-12-19 cs.CL
UniMax: Fairer and more Effective Language Sampling for Large-Scale Multilingual Pretraining
Google Research(谷歌研究院)
本文提出UniMax采样方法,通过限制低资源语言重复次数并均匀覆盖高资源语言,在多语言预训练中优于传统温度采样,并发布29万亿字符的mC4语料库及umT5模型检查点。
2023-04-18 cs.CL
Adapting Pre-trained Language Models to African Languages via Multilingual Adaptive Fine-Tuning
Saarland University(萨尔兰大学)
多语言预训练的语言模型(PLM)在高资源和低资源语言的几个下游任务上表现出令人印象深刻的性能。然而,在预训练期间看不见的语言,特别是非洲语言,仍然存在很大的性能下降。适应新语言的最有效方法之一是\textit{language adaptive fine-tuning}(LAFT)--使用预训练目标在一种语言的单语文本上微调多语言PLM。然而,单独适应目标语言需要大量的磁盘空间,并限制了所得到的模型的跨语言迁移能力,因为它们是专门针对单一语言的。在本文中,我们执行\textit{multilingual adaptive fine-tuning}对17个资源最丰富的非洲语言和其他三个高资源的语言在非洲大陆广泛使用,以鼓励跨语言迁移学习。为了进一步专门化多语言PLM,我们在MAFT之前从嵌入层中删除了与非非洲书写脚本相对应的词汇标记,从而将模型大小减少了约50%。我们对两种多语言PLM(AfriBERTa和XLM-R)和三种NLP任务(NER,新闻主题分类和情感分类)的评估表明,我们的方法在单个语言上应用LAFT时具有竞争力,同时需要更少的磁盘空间。此外,我们表明,我们的适应PLM也提高了参数高效微调方法的zero-shot跨语言迁移能力。
2022-10-18 cs.CL
Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs
School of Software, Tsinghua University(清华大学软件学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
提出Mix-MoE框架,通过将MoE层分为语言模型专家和机器翻译专家,并利用傅里叶变换增强路由机制,解决大语言模型在多语言机器翻译微调中的参数干扰问题。
2026-05-23 cs.AI cs.CL
AfriHG: News headline generation for African Languages
Data Scientists Network(数据科学家网络);University College London(伦敦大学学院)
本文构建了面向16种非洲语言的新闻标题生成数据集AfriHG,实验证明非洲中心模型AfriTeVa V2优于通用多语言模型mT5-base,且其微调性能可比肩参数量大40余倍的Aya-101大模型。
2024-12-28 cs.CL
Locating Language-Specific Information in Contextualized Embeddings
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));LMU Munich(慕尼黑大学)
多语言预训练语言模型(MPLM)具有多语言性,非常适合跨语言传输。大多数MPLM都是在无人监督的情况下训练的,其目标和多语言性之间的关系尚不清楚。更具体地说,问题是MPLM表示是语言无关的,还是它们只是与学习的任务预测头很好地交织在一起。在这项工作中,我们在MPLM中定位特定语言的信息,并确定其维度和这些信息发生的层。我们表明,语言特定的信息是分散在许多方面,可以投影到一个线性子空间。我们的研究有助于更好地理解MPLM表示,而不仅仅是将它们视为不可分析的信息。
2021-09-16 cs.CL
Hierarchical Indexing with Knowledge Enrichment for Multilingual Video Corpus Retrieval
School of Computing and Information, University of Pittsburgh, PA, USA(计算与信息学院,匹兹堡大学);Wuhan University of Technology(武汉理工大学);Hunan University(湖南大学)
针对多语言医学视频检索任务mVCR,提出多阶段框架:将字幕分块并用知识图谱事实丰富,构建层次化树索引,结合粗到细树搜索与轻量LLM重排序,在避免穷举打分的同时实现块级精度,达到SOTA性能。
2025-10-10 cs.CL
Command R7B Arabic: A Small, Enterprise Focused, Multilingual, and Culturally Aware Arabic LLM
Cohere(Cohere公司)
针对阿拉伯语数字化数据匮乏导致企业级高质量阿拉伯语LLM构建困难的问题,本研究提出数据合成优化策略与迭代后训练方案,推出7B参数开源模型,在多项阿拉伯语基准测试中性能超越同规模竞品。
2025-03-18 cs.CL cs.LG
LangSAMP: Language-Script Aware Multilingual Pretraining
Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑莱茵河大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML));Bosch Center for Artificial Intelligence(博世人工智能中心)
提出LangSAMP方法,通过融合语言和文字嵌入增强多语言预训练,在500+语言上持续预训练XLM-R,提升零样本跨语言迁移性能,并可用于源语言选择。
2025-05-21 cs.CL
End-to-end Multilingual Coreference Resolution with Mention Head Prediction
University of West Bohemia(西波西米亚大学)
本文介绍了我们的方法,CRAC 2022共享任务的多语言共指消解。我们的模型是基于一个国家的最先进的端到端的共指消解系统。除了加入多语言训练之外,我们还通过提及头部预测来改善我们的结果。我们还尝试将依赖信息集成到我们的模型中。我们的系统最终位于$3^{rd}$位置。此外,我们在13个数据集中的两个数据集上达到了最佳性能。
2022-09-26 cs.CL
When Scale Meets Diversity: Evaluating Language Models on Fine-Grained Multilingual Claim Verification
Saarland University(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文在X-Fact上评估五类模型,发现270M参数的XLM-R经微调后以57.7% macro-F1大幅超越7B-12B LLM,并揭示其证据利用困难与类别偏见。
2025-07-28 cs.CL
Ask a Local: Detecting Hallucinations With Specialized Model Divergence
Fundación Centro Tecnolóxico de Telecomunicacións de Galicia (GRADIANT)(加利西亚电信技术中心基金会 (GRADIANT))
本文提出“Ask a Local”方法,通过比较语言专用模型的困惑度分布分歧来检测大语言模型幻觉,无需训练或外部数据即可跨14种语言稳定运行,并在意大利语和加泰罗尼亚语上表现最佳。
2025-06-03 cs.AI cs.CL
Improving Multilingual Math Reasoning for African Languages
The African Research Collective(非洲研究集体);Masakhane NLP;University of Waterloo(滑铁卢大学);Mila, McGill University(Mila,麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair)
本研究系统评估了将LLM适应非洲语言的不同策略,通过实验比较数据类型、训练阶段等配置,发现最佳适应方法,以提升数学推理性能。
2025-05-26 cs.CL
LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models
University of Oregon(俄勒冈大学);Adobe Research(Adobe研究院)
本文提出零样本方法LUSIFER,通过连接器将多语言编码器与基于LLM的嵌入模型集成,无需多语言监督即可提升多语言嵌入性能,并引入涵盖5项任务、123个数据集和14种语言的新基准进行验证。
2025-05-07 cs.CL cs.IR
Separating Syntax from Language: A Mechanistic Account of Translation in Multilingual LLMs
Saarland University(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心);University of Göttingen(哥廷根大学)
本研究揭示多语言大语言模型的翻译可进一步分离为句法与表层语言过程,通过构建受控数据集等方法发现模型先构建目标侧词序,识别出句法敏感的注意力头,完善了翻译机制的分解结论。
2026-09-02 cs.CL
HealMed: Multilingual Evaluation of Large Language Models in Medicine
HealMed Research Team(HealMed研究团队)
本研究推出医学领域大语言模型多语言评估基准HealMed,经多国专家历时两年开发,实验发现低资源语言性能下降明显,专有模型更稳定,医学专业知识不保证多语言鲁棒性,翻译质量影响评估结果。
2026-08-21 cs.CL
Identifying Crucial Attention Heads for Multilingual Language Models: Retrieval and Retrieval-Transition Heads
New York University(纽约大学)
本研究通过引入检索-过渡头(RTH)揭示多语言模型中负责目标语言生成的关键注意力机制,并通过实验验证其在链式推理中的重要性。
2026-09-15 cs.CL
Reliable Multilingual Orthopedic Decision Support from Clinical Narratives: Language-Aware Adaptation and Verification-Guided Deferral
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Software, Nanjing University of Information Science and Technology (NUIST)(南京信息工程大学软件学院);Department of Orthopedic, Bahawal Victoria Hospital(巴哈瓦尔维多利亚医院骨科部门)
针对低资源医疗环境中的多语言骨科决策支持,提出结合语言感知适配编码器IndicBERT-HPA和确定性选择性验证层的可靠性框架,在英语、印地语和旁遮普语临床文本分类中取得最优性能。
2026-05-29 cs.CL
Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads
Soochow University(苏州大学);Peking University(北京大学)
通过识别和分析CoRe头,揭示多模态大语言模型在跨模态检索中功能稀疏的结构特性,并验证其必要性及加速推理的潜力。
2026-06-04 cs.AI cs.CL
GigaAM Multilingual: Foundation Model for Underrepresented Languages
SaluteDevices, Russia(SaluteDevices)
针对多语言ASR中长尾语言数据稀缺问题,提出GigaAM Multilingual,用Conformer编码器在大量音频上预训练,预训练时引入聚类级数据平衡策略,微调时采用领域感知采样方法,在目标语言上优于其他编码器,发布相关模型提供多语言适应方法。
2026-07-14 cs.CL eess.AS
Multilingual Chart-based Constituency Parse Extraction from Pre-trained Language Models
Hanyang University(汉阳大学);University of Edinburgh(爱丁堡大学);Seoul National University(首尔大学)
由于已经揭示了预训练的语言模型(PLM)在某种程度上能够识别自然语言中的句法概念,因此已经做出了很多努力来开发用于从PLM提取完整(二进制)解析而无需训练单独的解析器的方法。我们提出了一种新的基于图表的方法和一个有效的top-K集成技术改进了这种模式。此外,我们证明,我们可以扩大到多语言环境的方法的应用范围。具体来说,我们表明,通过应用我们的方法对多语言PLM,它成为可能,以综合和语言不可知的方式,从九种语言的句子诱导非平凡的解析,实现性能优于或相当于无监督PCFG。我们还验证了我们的方法是强大的跨语言迁移。最后,我们提供了我们的方法的内部工作原理的分析。例如,我们发现普遍的注意头是一贯敏感的句法信息,无论输入语言。
2021-09-08 cs.CL cs.LG
Perplexed by Quality: A Perplexity-based Method for Adult and Harmful Content Detection in Multilingual Heterogeneous Web Data
University of Mannheim(曼海姆大学)
随着对大型语料库的需求随着当前最先进的语言模型的大小而增加,使用web数据作为这些模型的预训练语料库的主要部分已经成为普遍的实践。这反过来又给NLP从业者带来了一个重要的挑战,因为他们现在面临着开发高度优化的模型和管道来预处理大量文本数据的任务,这意味着在网络规模上有效地分类和过滤多语言,异构和嘈杂的数据。用于大语言模型的预训练语料库的该预处理步骤的主要组成部分之一是去除成人和有害内容。本文探讨了多语种异构Web数据中成人内容和有害内容的检测方法。我们首先展示了传统的有害内容检测方法,这些方法在小型和专业化的数据集中表现得很好,但在面对异构的嘈杂Web数据时却很快崩溃。然后,我们求助于使用基于困惑度的方法,但有一个转折:不是使用所谓的“干净”语料库来训练一个小的语言模型,然后使用困惑度,所以选择具有低困惑度的文档,即,最像这个所谓的“干净”语料库的文档。我们仅用成人和有害的文本数据进行训练,然后选择具有高于给定阈值的困惑值的文档。这种方法实际上将我们的文档聚类成两个不同的组,这将大大方便困惑阈值的选择,也将使我们能够获得比传统分类方法更高的精度来检测成人和有害内容。
2022-12-20 cs.CL
Are Rules Meant to be Broken? Understanding Multilingual Moral Reasoning as a Computational Pipeline with UniMoral
University of Michigan(密歇根大学)
本文构建涵盖六种语言、整合心理与社交媒体道德困境的 UniMoral 数据集,并通过四项任务基准评估三个 LLM,揭示隐式道德语境的增益与专用方法的必要性。
2025-02-19 cs.CL
Pensez: Less Data, Better Reasoning -- Rethinking French LLM
Menlo Research(门洛研究所);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文提出Pensez,仅用2000条高质量英法双语样本对7B模型做SFT,便显著提升数学推理与法语能力,挑战了大数据集必要性的假设。
2025-03-17 cs.CL
LangBridge: Multilingual Reasoning Without Multilingual Supervision
KAIST(韩国科学技术院);University of Washington(华盛顿大学);NAVER AI Lab(NAVER AI实验室);Carnegie Mellon University(卡内基梅隆大学)
本文提出LangBridge,一种零样本方法,通过引入极少量可训练参数连接多语言理解模型与推理模型,仅用英语数据训练即可显著提升低资源语言在数学、代码、逻辑和常识推理任务上的性能。
2024-06-03 cs.CL
Soteria: Language-Specific Functional Parameter Steering for Multilingual Safety Alignment
Indian Institute of Technology Kharagpur(印度理工学院卡里格普尔分校);Eindhoven University of Technology(埃因霍温理工大学)
本文提出 Soteria 策略,通过定位并微调各语言中负责有害生成的“功能头”参数,以极低开销提升多语言 LLM 安全性,并构建 XThreatBench 数据集验证其在高、中、低资源语言上的有效性。
2025-08-22 cs.AI cs.CL
Examining Modularity in Multilingual LMs via Language-Specialized Subnetworks
University of Amsterdam(阿姆斯特丹大学);Google DeepMind(谷歌DeepMind)
本研究通过训练数据归因方法,发现多语言模型中语言专用子网络自然涌现,且稀疏微调可能降低语言专用性以促进跨语言共享。
2023-11-14 cs.CL
PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for Languages in India
University of Edinburgh(爱丁堡大学);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
本文提出PMIndiaSum,一个覆盖4个语系、14种语言和196个语言对的大规模平行多语言摘要语料库,通过微调、提示等方法构建基准,证实了该数据在辅助印度语言间摘要任务中的关键作用。
2023-10-20 cs.CL
The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling
Brown University(布朗大学);Stanford University(斯坦福大学);University of Tübingen(蒂宾根大学)
本文运用机制可解释性工具探究LLMs内部回路与语言结构的对应关系,发现模型用共享回路处理相同句法过程,用语言特定组件处理差异,揭示了多语言建模中的结构权衡机制。
2024-10-11 cs.AI cs.CL
On the Prunability of Attention Heads in Multilingual BERT
Robert Bosch Centre for Data Science and Artificial Intelligence (RBC-DSAI)(罗伯特·博世数据科学与人工智能中心(RBC-DSAI));IIT Madras(印度理工学院马德拉斯分校)
大型的多语言模型,如mBERT,在跨语言迁移中表现出了希望。在这项工作中,我们采用修剪来量化mBERT的鲁棒性和解释逐层重要性。在四个GLUE任务中,由于修剪而导致的准确性的相对下降在mBERT和BERT上具有几乎相同的结果,这表明多语言模型的注意力能力降低不会影响修剪的鲁棒性。对于跨语言任务XNLI,我们报告了更高的准确性下降,修剪表明跨语言传输的鲁棒性较低。此外,编码器层的重要性敏感地取决于语言家族和预训练语料库的大小。顶层受微调影响相对较大,编码类似英语(SVO)的语言的重要信息,而底层受微调影响相对较小,对粘着和低资源语言特别重要。
2021-09-26 cs.CL
Bielik 11B v3: Multilingual Large Language Model for European Languages
Bielik 11B v3是一款针对波兰语优化,同时支持多种欧洲语言的高性能大语言模型,通过深度扩展和四阶段训练流程实现了高效参数利用和广泛任务表现。
2025-12-30 cs.AI cs.CL
Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned
Yandex(扬德克斯);University of Amsterdam(阿姆斯特丹大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
多头自注意是Transformer的关键组件,它是神经机器翻译的最新架构。在这项工作中,我们评估了编码器中的各个注意头对模型整体性能的贡献,并分析了它们所扮演的角色。我们发现,最重要和最自信的头扮演一致的,往往是语言解释的角色。当使用基于随机门和L0惩罚的可微松弛的方法修剪头部时,我们观察到专门的头部最后被修剪。我们的新修剪方法删除了绝大多数的头部,而不会严重影响性能。例如,在英语-俄语WMT数据集上,修剪48个编码器头中的38个导致仅0.15 BLEU的下降。
2019-06-07 cs.CL
SARA: Unlocking Multilingual Knowledge in Mixture-of-Experts via Semantically Anchored Routing Alignment
TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China(天津大学计算机科学与技术学院TJUNLP实验室);Alibaba Group, China(阿里巴巴集团)
针对低资源语言在稀疏MoE架构中路由不一致的问题,提出SARA框架,利用对称JS散度约束对齐多语言输入与高资源语义锚点的路由分布,提升低资源语言性能。
2026-06-25 cs.AI cs.CL
CineSubBench: Evaluating LLMs on Long-Form Narrative and Cultural Understanding from Multilingual Movie Subtitles
University of Alberta(阿尔伯塔大学)
提出CineSubBench基准,利用多语言电影字幕评估LLM的长篇叙事理解、多语言一致性及文化分级能力,涵盖1012部电影、7项任务,发现模型在情节前提恢复上优于完整概要,且跨语言与文化校准存在显著差异。
2026-09-30 cs.AI cs.CL cs.ET
OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);SAP SE(SAP公司)
本文提出OmniFusion系统,通过融合预训练多模态基础模型与翻译LLM,实现语音、语音加图像及文本加图像的多语言多模态翻译,降低SimulST延迟并提升翻译质量。
2026-08-31 cs.AI cs.CL
Multi$^2$OIE: Multilingual Open Information Extraction Based on Multi-Head Attention with BERT
Korea University(高丽大学)
在本文中,我们提出了多$^2$ OIE,它执行开放信息抽取(开放IE)结合BERT与多头注意力。我们的模型是一个序列标记系统,具有高效和有效的参数提取方法。我们使用查询,键和值设置的灵感来自多模态Transformer,以取代以前使用的双向长短期记忆体系结构与多头注意力。Multi $^2$ OIE在两个基准评估数据集Re-OIE 2016和CaRB上的性能优于现有的序列标记系统,具有高计算效率。此外,我们提出的方法应用到多语言开放的IE使用多语言BERT。针对两种语言(西班牙语和葡萄牙语)引入的新基准数据集的实验结果表明,我们的模型在没有目标语言训练数据的情况下优于其他多语言系统。
2020-10-07 cs.CL cs.LG
Pay Better Attention to Attention: Head Selection in Multilingual and Multi-Domain Sequence Modeling
Facebook AI Research(脸书人工智能研究院)
多头注意力使每个注意力头从输入序列的不同部分收集显著信息,使其成为序列建模的强大机制。多语言和多领域学习是序列建模的常见场景,其中的关键挑战是最大限度地提高语言和领域之间的正迁移并减轻负迁移。在本文中,我们发现,非选择性的注意力共享是次优的实现良好的泛化在所有的语言和领域。我们进一步提出了注意力共享策略,以促进多语言和多域序列建模中的参数共享和专业化。我们的方法自动学习不同语言和领域的共享和专门注意力,以减轻它们的干扰。在各种任务,包括语音识别,文本到文本和语音到文本的翻译,所提出的注意力共享策略始终带来收益的序列模型建立在多头注意力。对于语音到文本的翻译,我们的方法产生的平均$+2.0$ BLEU的$13$语言方向在多语言设置和$+2.0$ BLEU的$3$域在多域设置。
2021-06-21 cs.AI cs.CL
Temporal Dependencies in In-Context Learning: The Role of Induction Heads
Department of Computer Science, Indiana University Bloomington(印第安纳大学布卢明顿分校计算机科学系)
研究揭示了归纳头在上下文学习中对时间依赖性处理的关键作用,通过实验表明归纳头影响信息检索的顺序性。
2026-04-01 cs.AI cs.CL
Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator
Imperial College London(伦敦帝国学院)
针对文本转手语生成任务研究不足的问题,提出多语种手语模型SOKE,通过解耦分词、多头解码及检索增强机制,借助预训练LM高效生成精准3D手语虚拟形象。
2025-07-29 cs.CL cs.CV
LLaMAX: Scaling Linguistic Horizons of LLM by Enhancing Translation Capabilities Beyond 100 Languages
Shanghai AI Laboratory(上海人工智能实验室);Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学)
本文通过增强LLaMA系列模型的多语言持续预训练,提出LLaMAX模型,支持100多种语言翻译,在不损失泛化能力下显著超越现有开源LLM并媲美专用翻译模型。
2024-10-12 cs.AI cs.CL
Multi-Head Attention with Diversity for Learning Grounded Multilingual Multimodal Representations
Carnegie Mellon University(卡内基梅隆大学);Monash University(莫纳什大学)
为了促进和理解图像搜索的多语言版本,我们利用视觉目标检测,并提出了一个具有不同多头注意力的模型来学习接地多语言多模态表示。具体来说,我们的模型出席了不同类型的文本语义在两种语言和视觉对象之间的句子和图像的细粒度对齐。我们引入了一个新的目标函数,明确鼓励注意力的多样性,学习改进的视觉语义嵌入空间。我们在Multi30K数据集上的德语图像和英语图像匹配任务中评估了我们的模型,并在语义文本相似性任务中使用视觉内容的英语描述。结果表明,我们的模型产生了显着的性能增益比其他方法在所有三个任务。
2019-09-30 cs.CL cs.CV
Language-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASR
针对多语言ASR的跨语言优化冲突问题,提出LS-MOPD方法,通过语言专业化教师与多语言学生的在线策略蒸馏,在多语言基准测试中实现了优于RL基线及最优教师的性能。
2026-08-11 cs.CL cs.SD eess.AS
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University(天津大学)
在跨所有语言完全共享参数的多语言神经机器翻译模型中,通常使用人工语言令牌来引导翻译成期望的目标语言。然而,最近的研究表明,前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向,特别是在zero-shot翻译中。为了缓解这个问题,我们提出了两种方法,语言嵌入体现和语言感知的多头注意力,学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点,目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部,以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明,语言感知的多头注意力对监督翻译和zero-shot翻译都有好处,并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明,通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
Do Multilingual Neural Machine Translation Models Contain Language Pair Specific Attention Heads?
NAVER LABS Europe(NAVER欧洲实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(格勒诺布尔信息学实验室)
最近的多语言表示分析的研究集中在确定是否出现了语言无关的表示,或是否一个多语言模型划分其权重之间的不同语言。虽然大多数此类工作都是以“黑箱”方式进行的,但本文旨在分析多语言神经翻译(NMT)模型的各个组件。特别是,我们研究了编码器自我注意力和编码器-解码器注意力头(在多对一NMT模型中),这些注意力头比其他注意力头更具体地针对某个语言对的翻译,方法是(1)采用量化注意力权重的某些方面的度量,如“方差”或“置信度”,以及(2)系统地对注意力头相对于翻译质量的重要性进行排名。实验结果表明,令人惊讶的是,最重要的注意力中心语的集合在语言对之间非常相似,并且可以在不严重损害翻译质量的情况下删除近三分之一的不太重要的中心语。
2021-05-31 cs.AI cs.CL cs.LG
Iteration Head: A Mechanistic Study of Chain-of-Thought
FAIR, Meta AI(FAIR,Meta人工智能公司);Datashape, INRIA(Datashape,法国国家信息与自动化研究所);Courant University and Center for Data Science, NYU(纽约大学柯朗数学科学研究所与数据科学中心);Center for Data Science, NYU(纽约大学数据科学中心);NYU(纽约大学);Courant University(柯朗大学)
本文在受控可解释的transformer设置中研究CoT推理的机制,发现并追踪负责迭代推理的iteration heads,同时评估其CoT技能的跨任务可迁移性。
2024-10-28 cs.AI cs.CL cs.LG
Neuron Specialization: Leveraging intrinsic task modularity for multilingual machine translation
University of Amsterdam(阿姆斯特丹大学)
针对多语言翻译模型的负向干扰问题,本文发现前馈层神经元存在语言特化及反映语言亲缘性的结构重叠特性,据此提出神经元特化方法,通过模块化前馈层与稀疏更新实现性能提升,同时减少干扰、增强知识迁移。
2024-04-17 cs.CL
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers
针对多语言Transformer模型随适配语言增多性能下降的干扰问题,提出用Shapley值识别引发干扰的注意力头并剪枝的方法,最高可提升目标语言任务性能24.7%,并通过可视化提供了相关洞见。
2022-10-11 cs.CL cs.LG