Mixed Attention Transformer for Leveraging Word-Level Knowledge to Neural Cross-Lingual Information Retrieval
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
预先训练的上下文表示为许多下游任务提供了巨大的成功,包括文档排序。这种预训练表示的多语言版本提供了使用同一模型联合学习多种语言的可能性。虽然预计通过这种联合训练可以获得很大的收益,但在跨语言信息检索(CLIR)的情况下,多语言环境下的模型并没有达到与单语言环境下相同的性能水平。我们假设性能下降是由于查询和文档之间的翻译差距。在单语检索任务中,由于词汇输入相同,模型更容易识别出出现在文档中的查询词。然而,在将不同语言的单词投影到同一超空间的多语言预训练模型中,模型倾向于将查询词转换为相关词,即,出现在相似上下文中的术语,除了或有时不是目标语言中的同义词。这个属性给模型连接查询和文档中同时出现的术语带来了困难。为了解决这个问题,我们提出了一种新的混合注意力Transformer(MAT),它结合了外部的字级知识,如字典或翻译表。我们设计了一个三明治式的架构,将MAT嵌入到最近基于Transformer的深度神经模型中。通过将翻译知识编码成注意力矩阵,具有MAT的模型能够关注输入序列中的互译词。实验结果表明,外部知识的有效性和MAT嵌入的神经重排序模型的CLIR任务的显着改善。
2021-09-14 cs.CL cs.IR
XHotpotQA: A Benchmark for Cross-Lingual Knowledge Composition in Multi-Hop Question Answering
XHotpotQA是针对多跳问答跨语言知识组合的基准,通过构建带语言分配的证据依赖图,揭示多语言问答中语言边界错误,为相关系统提供诊断与评估平台。
2026-09-01 cs.AI cs.CL
Enhancing Cross-lingual Transfer by Manifold Mixup
ByteDance(字节跳动);University of California, Santa Barbara(加州大学圣巴巴拉分校)
基于大规模预训练的多语言表示,最近的跨语言迁移方法已经取得了令人印象深刻的迁移性能。然而,目标语言的性能仍然远远落后于源语言。在本文中,我们的分析表明,这种性能差距是强烈相关的跨语言表示的差异。为了获得更好的跨语言迁移性能,提出了跨语言流形混合(X-Mixup)方法,该方法自适应地校正表示差异,为目标语言提供折衷的表示。在XTREME基准测试上的实验表明,与强基线相比,X-Mixup在多个文本理解任务上实现了1.8%的性能提升,并显着降低了跨语言表示差异。
2022-05-09 cs.AI cs.CL
SandboxAQ's submission to MRL 2024 Shared Task on Multi-lingual Multi-task Information Retrieval
SandboxAQ(桑博克斯量子公司)
本研究针对五种语言的问答与命名实体识别任务,测试五种大语言模型搭配多种提示方法的效果,发现模型表现随任务、语言差异显著,凸显多语言NLP需任务特定方法。
2024-10-28 cs.CL
Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs
针对 LLMs 安全对齐以英语为中心导致的跨语言偏见问题,提出多语言评估基准 INCLUDE,评估十款 LLMs 后发现孟加拉语在开源模型中偏见最高、英语在开源与闭源模型中偏见表现反转的现象。
2026-08-20 cs.AI cs.CL cs.CY
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院)
多语言预训练模型可以利用来自丰富源语言(如英语)的训练数据来提高低资源语言的性能。然而,多语言机器阅读理解(MRC)的迁移质量明显低于句子分类任务,这主要是由于MRC需要检测单词级别的答案边界。在本文中,我们提出了两个辅助任务,在微调阶段,以创建额外的短语边界监督:(1)混合MRC任务,将问题或段落翻译到其他语言,并建立跨语言的问题-段落对;(2)语言无关的知识掩蔽任务,利用知识挖掘的短语从Web。此外,在两个跨语言MRC数据集上的大量实验表明了该方法的有效性。
2020-05-08 cs.AI cs.CL
ZusammenQA: Data Augmentation with Specialized Models for Cross-lingual Open-retrieval Question Answering System
University of Mannheim(曼海姆大学);University of Verona(维罗纳大学);University of Würzburg(维尔茨堡大学)
本文介绍了我们提出的跨语言开放检索问答(COQA)MIA共享任务系统。在这个具有挑战性的场景中,给定一个输入问题,系统必须从多语言池中收集证据文件,并从这些文件中生成问题语言的答案。我们设计了几种方法,将不同的模型变体结合起来,用于三个主要组件:数据增强、段落检索和答案生成。对于段落检索,我们根据基于多语言预训练语言模型(PLM)和共享任务基线变体的重新排序器集合评估了单语BM 25排名器,使用最近引入的对比损失从头开始重新训练,通过混合负样本在整个训练过程中保持强梯度信号。对于答案生成,我们通过对现有多语言编码器进行持续的语言模型(LM)预训练,专注于语言和领域的专业化。此外,对于段落检索和答案生成,我们使用从维基百科段落创建的自动生成的问答对来增强任务组织者提供的训练数据,以缓解数据稀缺的问题,特别是对于没有提供训练数据的低资源语言。我们的研究结果表明,语言和领域的专业化以及数据增强的帮助,特别是对低资源的语言。
2022-05-30 cs.CL
Efficient and Versatile Model for Multilingual Information Retrieval of Islamic Text: Development and Deployment in Real-World Scenarios
rttl labs(rttl实验室)
本研究利用《古兰经》多语言语料库,提出结合跨语言与单语技术的混合训练方法,开发高效轻量的多语言信息检索模型,并在真实场景中验证其成本效益与检索效果。
2025-10-14 cs.AI cs.CL cs.IR
Evaluating Multilingual and Code-Switched Alignment in LLMs via Synthetic Natural Language Inference
Texas A\&M University, College Station, TX., USA(德克萨斯大学);Hamad Bin Khalifa University, Doha, Qatar(哈马德·本·卡伊夫大学)
针对大语言模型跨语言逻辑对齐能力未充分探索的问题,提出合成逻辑型NLI对并翻译至多语言的受控评估框架,发现语码转换不降低甚至提升性能,为多语言鲁棒性研究提供新视角与工具。
2025-08-20 cs.AI cs.CL
Trillion 7B Technical Report
Trillion Labs(Trillion实验室)
Trillion-7B 通过新颖的跨语言文档注意力机制,以仅 10% 多语言训练数据和 59.4K H100 GPU 小时实现高效韩语为中心的多语言性能,在 27 个基准上表现稳健。
2025-04-21 cs.AI cs.CL cs.LG
Construction-Driven Injection: Linguistically-Grounded Edit-Based Code-Mixing Fingerprints for Large Language Models
研究针对大语言模型易被滥用问题,提出统一指纹框架。通过LCF按规则构造代码混合指纹,再用LCFEdit结合多语言表示和跨语言对齐注入指纹,实现构造感知注入,确保更新稳定,能持续验证所有权且对模型效用影响小。
2026-07-29 cs.AI cs.CL
Beyond Bilingual Transfer: Multilingual Code-Switching in Instruction Tuning
The University of Tokyo(东京大学)
本研究通过跨四种语言的句子级多语言代码切换指令微调,验证了多语言代码切换能有效提升大语言模型的多语言理解性能,超越了传统双语迁移设置。
2026-05-28 cs.AI cs.CL
Cross-Lingual Interleaving for Speech Language Models
本文提出跨语言交织方法,通过混合多语言语音标记提升SLMs的跨语言理解和生成能力,并发布相关数据集和基准以促进多语言语音模型的发展。
2026-02-20 cs.AI cs.CL
M3DR: Towards Universal Multilingual Multimodal Document Retrieval
CognitiveLab(认知实验室)
M3DR提出了一种通用多语言多模态文档检索框架,通过对比训练实现跨语言和跨模态对齐,显著提升了多语言场景下的检索性能。
2025-12-03 cs.AI cs.CL cs.CV
Bilingual Adaptation of Monolingual Foundation Models
Cerebras Systems(瑟雷布拉斯系统公司);G42;Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出一种将单语LLM适应到另一语言的高效两阶段方法,通过扩展词汇表和双语持续预训练,在保留原语言能力的同时获得新语言能力,实现成本效益的跨语言迁移。
2024-07-25 cs.AI cs.CL
Knowledge Localization in Mixture-of-Experts LLMs Using Cross-Lingual Inconsistency
Google Research(谷歌研究);University of California, Los Angeles(加州大学洛杉矶分校);University of Melbourne(墨尔本大学)
本文提出利用跨语言不一致性来提高混合专家语言模型的知识定位能力,通过对比成功和失败的激活桶,识别关键专家。实验表明,仅禁用约20个专家,模型在40%的情况下无法正确回答。
2026-11-09 cs.AI cs.CL cs.LG
English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training
UC Santa Barbara(加州大学圣巴巴拉分校);Amazon(亚马逊)
研究通过220次监督微调实验,探讨训练语言覆盖、模型规模和任务领域间的相互作用,发现增加后训练语言覆盖对各任务和模型规模均有益,低资源语言受益最大,高资源语言趋于稳定。单语种多语言性可提升英语表现和跨语言泛化,英语独占后训练效果不佳。
2026-09-22 cs.AI cs.CL
Label-aware Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding
Jilin University(吉林大学);Microsoft(微软);Duke University(杜克大学)
尽管口语语言理解(SLU)在高资源语言中取得了巨大成功,但在低资源语言中仍然具有挑战性,主要原因是缺乏带标签的训练数据。最近的多语言代码转换方法实现了更好的跨语言模型表示对齐通过构建一个混合的语言上下文在zero-shot跨语言SLU。然而,目前的语码转换方法仅限于隐性对齐,而忽视了二语习得中固有的语义结构,即,话语、槽和词的分级包含。在本文中,我们提出了一个多层次的对比学习框架,在话语,槽,词的水平,以促进明确对齐的话语槽词结构模型。新的代码转换方案被引入到我们的对比学习框架中,以产生困难的否定例子。此外,我们开发了一个标签感知的联合模型,利用标签语义来增强隐式对齐和馈送到对比学习。我们的实验结果表明,我们提出的方法显着提高性能相比,强基线两个zero-shot跨语言SLU基准数据集。
2022-10-25 cs.AI cs.CL
Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer
University of Southern California(南加州大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出自增强方法SALT,通过语码转换和嵌入混合从多语言预训练模型中蒸馏跨语言知识,无需外部对齐数据即可提升零样本跨语言迁移能力。
2023-09-19 cs.AI cs.CL cs.LG
Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations
National Institute of Technology, Trichy(印度Trichy国家理工学院);Indian Institute of Technology, Madras(印度Madras理工学院)
分析基于BigVGAN的单元声码器在多语言多说话人语音生成中的表现,发现聚类大小控制可懂度,显式说话人条件防止身份崩溃,语言监督在低聚类大小时有益。
2026-06-04 cs.AI cs.CL cs.SD
JOR-Bench: Japanese Operations Research Benchmarks for Large Language Models
CyberAgent
JOR-Bench是用于评估大语言模型解决运筹学问题能力的日语基准测试集,涵盖多种规划问题。通过评估七个LLMs的英文和日语版本,发现多语言模型的OR制定能力语言中立,但存在跨语言差异。
2026-07-21 cs.AI cs.CL
Decided Upstream, Written Late: Locating and Pricing the Cross-Lingual Refusal Circuit of a Multilingual MoE
Gödel Machines(哥德尔机器);IIT Madras(印度马德拉斯理工学院)
该研究针对多语言MoE模型的跨语言拒绝不均衡问题,在sarvam模型中定位到由注意力对抗者约束的混合专家生成器回路,揭示其机制并量化了安全修复的成本。
2026-08-19 cs.AI cs.CL
Hierarchical Meta-Embeddings for Code-Switching Named Entity Recognition
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
在讲多种主要语言的国家,在对话中混合不同的语言通常被称为代码转换。以前的工作解决这一挑战主要集中在字级方面,如词嵌入。然而,在许多情况下,语言共享共同的子词,特别是对于密切相关的语言,但也对于看似不相关的语言。因此,我们提出了层次元嵌入(HME),学习结合多个单语词级和子词级嵌入,以创建语言不可知的词汇表示。在英语-西班牙语码转换数据的命名实体识别任务中,我们的模型在多语言环境中达到了最先进的性能。我们还表明,在跨语言环境中,我们的模型不仅利用密切相关的语言,而且还从不同词根的语言中学习。最后,我们表明,结合不同的子单元是至关重要的捕获代码转换实体。
2019-09-18 cs.CL
Reasoning Transfer for an Extremely Low-Resource and Endangered Language: Bridging Languages Through Sample-Efficient Language Understanding
本文提出英语引导的Co T训练方法,通过监督微调提升极低资源语言的推理能力,并发布首个爱尔兰语数学任务基准测试,展示多语言推理的可行路径。
2025-11-26 cs.AI cs.CL
PESTO: Switching Point based Dynamic and Relative Positional Encoding for Code-Mixed Languages
IIIT Sri City(印度信息技术学院斯里城);UCLA(加州大学洛杉矶分校);Wipro AI Labs(威普罗人工智能实验室);AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
代码混合(CM)或混合语言文本的NLP应用最近获得了显著的发展势头,主要原因是在印度,墨西哥,欧洲,美国部分地区等多语言社会的社交媒体通信中语言混合的流行。词嵌入是当今任何NLP系统的基本构建块,然而,CM语言的词嵌入是一个未开发的领域。CM词嵌入的主要瓶颈是切换点,即语言切换的地方。这些位置缺乏上下文,并且由于所见示例中的高方差,统计系统无法对这种现象进行建模。在本文中,我们提出了我们的初步观察应用切换点为基础的位置编码技术的CM语言,特别是印度式英语(印地语-英语)。结果仅略好于SOTA,但很明显,位置编码可以是训练CM文本的位置敏感语言模型的有效方法。
2021-11-12 cs.AI cs.CL cs.LG
MELM: Data Augmentation with Masked Entity Language Modeling for Low-Resource NER
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
数据增强是解决低资源情景下数据稀缺问题的有效办法。然而,当应用于令牌级任务,如NER,数据增强方法往往遭受令牌标签错位,这导致不满意的性能。在这项工作中,我们提出了掩蔽实体语言建模(MELM)作为一种新的数据增强框架低资源NER。为了缓解标记标签不对齐的问题,我们显式地将NER标签注入到句子上下文中,因此微调的MELM能够通过显式地调节它们的标签来预测掩蔽的实体标记。因此,MELM生成具有新实体的高质量增强数据,这提供了丰富的实体规则性知识并提高了NER性能。当来自多种语言的训练数据可用时,我们还将MELM与代码混合集成以进一步改进。我们证明了MELM在单语,跨语言和多语言NER在各种低资源水平的有效性。实验结果表明,我们的MELM提出了实质性的改善基线方法。
2022-03-18 cs.CL
Multilingual Instruction Tuning With Just a Pinch of Multilinguality
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
本研究探究多语言大语言模型指令微调中的多语言数据作用,发现少量多语言样本即可显著提升跨语言指令遵循与泛化能力,为高效构建多语言指令微调模型提供新思路。
2024-05-21 cs.AI cs.CL cs.LG
Efficiently Adapting Pretrained Language Models To New Languages
SambaNova Systems, Inc.(桑巴诺瓦系统公司)
针对预训练大语言模型适配低资源新语言时的灾难性遗忘与分词器低效问题,提出添加目标语言新token优化分词效率、结合数据混合方案的方法,实验证明在匈牙利语、泰语上表现优于开源模型且英语性能退化极小。
2023-12-14 cs.AI cs.CL cs.LG
Lingua Franca or Probing Artifact? Rethinking Latent Language in Multilingual LLMs
EPFL(洛桑联邦理工学院)
该研究探究多语言大语言模型中不同潜在语言探测的差异,发现两类探测结果分歧,提示需谨慎解读潜在语言识别,其揭示多语言处理的不同方面而非单一内部通用语。
2026-09-02 cs.AI cs.CL cs.LG
Lugha-Llama: Adapting Large Language Models for African Languages
Princeton University(普林斯顿大学);Mila, McGill University(米拉-麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席项目)
本文提出Lugha-Llama,通过将非洲语言精选数据与高质量英语教育文本混合训练来适配大语言模型,在IrokoBench和AfriQA等基准上显著超越同规模基线模型,并分析了英语数据对性能提升的关键作用。
2025-04-09 cs.AI cs.CL cs.LG
Cross Lingual Transfer in Tulu Legal Comprehension: Script-Dependent Improvement and RAG-Induced Knowledge Conflict
Stanford Legal Design Lab(斯坦福法律设计实验室)
本文针对低资源语言图卢语的法律理解任务,测试了Llama3等三种模型的跨语言迁移效果,发现其性能依赖文字脚本,RAG框架会引发知识冲突,相关评估技术可推广至低资源多语言RAG场景。
2026-09-01 cs.AI cs.CL
Adversarial Augmentation Policy Search for Domain and Cross-Lingual Generalization in Reading Comprehension
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
阅读理解模型通常过度拟合训练数据集的细微差别,并且在对抗性评估中失败。使用对抗性增强的数据集进行训练可以提高对这些对抗攻击的鲁棒性,但会损害模型的泛化。在这项工作中,我们提出了几个有效的对手和自动化的数据增强策略搜索方法,其目标是使阅读理解模型对对抗性评估更加鲁棒,同时也提高了对源域以及新领域和语言的泛化能力。我们首先提出了三种新的方法来生成QA对手,在上下文中引入多个混淆点,依赖于干扰物的插入位置,并揭示了混合对抗策略与句法和语义释义方法的复合效果。接下来,我们发现用均匀采样的对手来增强训练数据集可以提高对对抗攻击的鲁棒性,但会导致原始未增强数据集的性能下降。我们解决这个问题,通过RL和更有效的贝叶斯策略搜索方法,自动学习的最佳增强策略组合的转换概率为每个对手在一个大的搜索空间。使用这些习得的策略,我们表明对抗性训练可以显着改善域内、域外和跨语言(德语、俄语、土耳其语)的泛化能力。
2020-11-17 cs.AI cs.CL cs.LG
MULTITEXTEDIT: Benchmarking Cross-Lingual Degradation in Text-in-Image Editing
Harbin Institute of Technology(哈尔滨理工大学)
本文提出MULTITEXTEDIT基准测试,通过12种语言、5种视觉领域和7种编辑操作的3600个实例,评估跨语言文本-图像编辑中退化问题,引入语言保真度指标并发现模型在文本准确性和脚本保真度上的显著退化。
2026-05-18 cs.AI cs.CL cs.CV
IndicXNLI: Evaluating Multilingual Inference for Indian Languages
Microsoft Research(微软研究院);Delhi Technological University(德里理工大学);University of Utah(犹他大学)
虽然Indic NLP最近在语料库和预训练模型的可用性方面取得了快速进展,但标准NLU任务的基准数据集有限。为此,我们引入了IndicXNLI,一个针对11种印度语言的NLI数据集。它是由原始英文XNLI数据集的高质量机器翻译创建的,我们的分析证明了IndicXNLI的质量。通过在这个IndicXNLI上微调不同的预训练LM,我们分析了各种跨语言迁移技术对语言模型,语言,多语言,混合语言输入等的选择的影响。这些实验为我们提供了有用的见解预训练模型的行为,为不同的语言。
2022-04-19 cs.AI cs.CL
Investigating Transfer Learning in Multilingual Pre-trained Language Models through Chinese Natural Language Inference
Indiana University Bloomington(印第安纳大学伯明顿分校);Brigham Young University(杨百翰大学);Northwestern University(西北大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Allen Institute for AI(艾伦人工智能研究所);Shanghai Jiaotong Univ.(上海交通大学)
多语言Transformers(XLM,mT5)已被证明在zero-shot设置中具有出色的转换技能。然而,大多数迁移研究依赖于自动翻译的资源(XNLI,XQuAD),这使得很难辨别正在迁移的特定语言知识,以及在开发特定任务模型时专家注释的单语数据集的作用。我们研究了XLM-R在中文和英文自然语言推理(NLI)中的跨语言迁移能力,重点是最近的大规模中文数据集OCNLI。为了更好地理解语言迁移,我们为中国人创建了4类挑战和对抗性任务(共17个新数据集),这些任务建立在几个知名的英语资源(例如,HANS,NLI压力测试)。我们发现,在英语NLI上训练的跨语言模型在我们的中文任务中迁移得很好(例如,在我们3/4的挑战类别中,它们的表现与最好的单语模型一样好/更好,甚至在3/5的独特的中国语言现象上,如成语,亲下降)。然而,这些结果带来了重要的警告:跨语言模型在英语和高质量单语NLI数据(OCNLI)的混合训练中表现最佳,并且经常受到自动翻译资源(XNLI-zh)的阻碍。对于许多现象,所有模型都在继续挣扎,这突出了我们需要新的诊断来帮助基准中文和跨语言模型。所有新的数据集/代码都在https://github.com/huhailinguist/ChineseNLIProbing上发布。
2021-06-07 cs.AI cs.CL
MIMO: Multilingual Information Retrieval via Monolingual Objectives
Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系)
提出MIMO两阶段框架,利用教师模型的稳定英语语义空间,通过知识蒸馏和跨语言对比学习联合优化,解决多语言信息检索中语言聚类和嵌入对齐-均匀性权衡问题。
2026-08-28 cs.AI cs.IR
Rethinking what Matters: Effective and Robust Multilingual Realignment for Low-Resource Languages
Ontario Tech University(安大略技术大学);Stanford University(斯坦福大学);SAS Posos;University of Toronto(多伦多大学)
本文通过实证研究发现,面向低资源语言的多语言重对齐无需覆盖所有语言,精心选择语言多样化的子集即可达到甚至超越全量对齐的跨语言迁移效果,从而降低数据收集成本并保持稳健性。
2025-11-09 cs.AI cs.CL