milIE: Modular & Iterative Multilingual Open Information Extraction
NEC Laboratories Europe(NEC欧洲实验室);Heidelberg University(海德堡大学);University of Stuttgart(斯图加特大学)
开放式信息抽取(OpenIE)是从自然语言句子中抽取(主语、谓语、宾语)三元组的任务。当前的OpenIE系统独立地提取所有三重插槽。相比之下,我们探索的假设,它可能是有益的,以迭代方式提取三个插槽:首先提取容易的插槽,其次是困难的条件容易插槽,因此实现了更好的整体提取。基于这一假设,我们提出了一个神经OpenIE系统,milIE,以迭代的方式操作。由于迭代的性质,该系统也是模块化的--可以将基于规则的提取系统与神经端到端系统无缝集成,从而允许基于规则的系统提供提取槽,milIE可以利用该提取槽来提取剩余的槽。我们证实了我们的假设经验:milIE优于SOTA系统的多种语言,从中文到阿拉伯语。此外,我们是第一个为阿拉伯语和加利西亚语提供OpenIE测试数据集的公司。
2022-04-25 cs.AI cs.CL
PLAID SHIRTTT for Large-Scale Streaming Dense Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
PLAID SHIRTTT 针对流式场景下 PLAID 性能下降问题,提出基于分层分片的多阶段增量索引方法,并在大规模单语和多语言检索实验中验证了其有效性。
2024-05-02 cs.CL cs.IR
TurkColBERT: A Benchmark of Dense and Late-Interaction Models for Turkish Information Retrieval
NewMind AI
TurkColBERT通过比较密集编码器和晚期交互模型,展示了在土耳其信息检索中的高效参数利用和性能提升。
2025-11-20 cs.AI cs.CL cs.IR
KnowNER: Incremental Multilingual Knowledge in Named Entity Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
KnowNER是一个多语言命名实体识别(NER)系统,它利用了不同程度的外部知识。一种新颖的模块化框架将知识分为四类,根据他们传达的知识的深度。每个类别由一组从不同信息源(如知识库、名称列表或特定于文档的语义注释)自动生成的特征组成,并用于训练条件随机场(CRF)。由于这些信息源通常是多语言的,KnowNER可以很容易地接受各种语言的培训。在本文中,我们证明了更深层次的知识的结合系统地提高了准确性,并将KnowNER与三种语言中最先进的NER方法进行了比较(即,英语、德语和西班牙语)在所有这些国家的最先进的系统中表演。
2017-09-11 cs.CL
Text-to-SPARQL Goes Beyond English: Multilingual Question Answering Over Knowledge Graphs through Human-Inspired Reasoning
WSE Research Group, Leipzig University of Applied Sciences(莱比锡应用科学大学WSE研究组);DICE Research Group, University of Paderborn(波德恩堡大学DICE研究组)
针对多语言知识图谱问答,本文提出受人类启发的 mKGQAgent 框架,通过 LLM 智能体协同完成规划、实体链接与查询精化,并在 Text2SPARQL 2025 两项基准中夺冠。
2025-07-22 cs.AI cs.CL cs.IR
BIT.UA at BioASQ 14B: Modular Retrieval with pg_textsearch and Qdrant, and Agent-Based Answer Generation
BIT.UA 团队参与 BioASQ 14B 挑战赛,通过模块化检索与智能体表决机制优化流水线,在多阶段任务中取得竞争力结果,还首次参与片段生成子任务。
2026-09-07 cs.CL
Beyond English: The Impact of Prompt Translation Strategies across Languages and Tasks in Multilingual LLMs
Bar-Ilan University(巴伊兰大学)
针对多语言大语言模型预翻译策略缺乏系统性研究的问题,本研究将提示词拆分为四个模块化部分,在35种语言和四类任务中评估预翻译策略,揭示影响性能的关键因素并提出实用指南。
2025-02-13 cs.CL
Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval
University of Amsterdam(阿姆斯特丹大学)
该研究针对阿姆哈拉语低资源段落检索,基于 Amharic BERT/RoBERTa 与 ColBERT 构建专用模型,显著优于多语言基线并开源数据集、代码和模型。
2025-06-10 cs.AI cs.CL cs.IR
How to Tune a Multilingual Encoder Model for Germanic Languages: A Study of PEFT, Full Fine-Tuning, and Language Adapters
Linköping University(林雪平大学)
本文比较 mDeBERTa 在德语、瑞典语和冰岛语任务上的全量微调与 LoRA、Pfeiffer 适配器等 PEFT 方法,并评估文本训练适配器模块,揭示语言资源和任务类型对最优策略的影响。
2025-01-10 cs.AI cs.CL
PyLate: Flexible Training and Retrieval for Late Interaction Models
LightOn Nancy France(LightOn Nancy);LightOn Paris France(LightOn Paris)
PyLate是一个基于Sentence Transformers的库,原生支持多向量后期交互模型,提供高效训练与检索,加速研究与应用,并已支持开发GTE-ModernColBERT等先进模型。
2025-08-05 cs.CL cs.IR
Mapping Political-Elite Networks in Europe with a Multilingual Joint Entity-Relation Extraction Pipeline
IDea_Lab, University of Graz(格拉茨大学IDea_Lab)
提出模块化、全开放权重的多语言联合实体关系抽取管道,从大规模非结构化新闻语料中构建带符号的时间知识图谱,通过跨度命名实体识别、三阶段链接级联和约束混合专家模型实现高文本正确性,并在奥地利和波兰案例中验证其有效性。
2026-10-14 cs.CL
M2QA: Multi-domain Multilingual Question Answering
University of Cambridge(剑桥大学);Cohere(科here公司);Technical University of Darmstadt(达姆施塔特工业大学);Google DeepMind(谷歌DeepMind)
本文提出多领域多语言问答基准 M2QA,涵盖德语、土耳其语、中文及三类领域,用于评估模型联合跨语言跨领域迁移能力,并揭示显著性能下降与适应挑战。
2024-07-01 cs.CL
From Conceptual EneMonIE to an Executable Backend: A Modular Architecture for Energy Information Extractionand Grounded Question Answering
该研究将概念性EneMonIE重新设计为模块化可执行后端,分离五类关注点,实现多源数据处理与三条问答路径,经验证为多语言能源语料库评估提供可复现架构基础。
2026-10-14 cs.AI cs.CL cs.IR
The Obscure Limitation of Modular Multilingual Language Models
Institut Teknologi Bandung(万隆理工学院);HKUST(香港科技大学)
本文揭示了模块化多语言语言模型在未知语言推理场景中的隐蔽局限性,指出现有评估因未包含语言识别模块而掩盖了真实性能,并探讨了添加语言识别模块的影响及弥合流水线方法性能差距的方案。
2023-11-21 cs.CL
DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search
LightOn(莱特昂)
该研究提出开放端到端方案训练检索模型,构建DenseOn、LateOn等模型,在BEIR上创同规模最优,发现晚交互模型泛化性更优,公开了模型、数据与代码。
2026-08-03 cs.CL cs.IR
HLTCOE at TREC 2023 NeuCLIR Track
Human Language Technology Center of Excellence, Johns Hopkins University(约翰霍普金斯大学语言技术卓越中心)
本研究介绍HLTCOE团队在TREC 2023 NeuCLIR赛道中,结合PLAID、mT5重排序器与文档翻译,采用多种训练技术构建跨语言检索模型,完成全部三类任务的实践方案。
2024-04-11 cs.CL cs.IR
Neuron Specialization: Leveraging intrinsic task modularity for multilingual machine translation
University of Amsterdam(阿姆斯特丹大学)
针对多语言翻译模型的负向干扰问题,本文发现前馈层神经元存在语言特化及反映语言亲缘性的结构重叠特性,据此提出神经元特化方法,通过模块化前馈层与稀疏更新实现性能提升,同时减少干扰、增强知识迁移。
2024-04-17 cs.CL
Examining Modularity in Multilingual LMs via Language-Specialized Subnetworks
University of Amsterdam(阿姆斯特丹大学);Google DeepMind(谷歌DeepMind)
本研究通过训练数据归因方法,发现多语言模型中语言专用子网络自然涌现,且稀疏微调可能降低语言专用性以促进跨语言共享。
2023-11-14 cs.CL
mmT5: Modular Multilingual Pre-Training Solves Source Language Hallucinations
Google DeepMind(谷歌DeepMind)
针对多语言模型在少样本下生成错误语言的问题,提出模块化模型mmT5,通过语言特定模块分离信息并解决微调表示漂移,在40多种语言任务上大幅超越mT5,将零样本正确语言生成率从7%提升至99%。
2023-05-23 cs.CL
MAMMOTH: Massively Multilingual Modular Open Translation @ Helsinki
University of Helsinki(赫尔辛基大学);Silo AI(Silo AI公司);University of Milano-Bicocca(米兰比可卡大学);NVIDIA(英伟达公司)
针对大语言模型时代NLP的规模瓶颈,研究团队推出源自OpenNMT-py的MAMMOTH模块化翻译训练框架,适配集群高效训练,已在A100、V100 GPU集群验证效率并开源。
2024-03-12 cs.CL
Modular Adaptation of Multilingual Encoders to Written Swiss German Dialect
University of Zurich(苏黎世大学)
针对书面瑞士德语数据稀缺问题,本文通过持续预训练和模块化适配器适配多语言编码器,证明适配器可达到单体适配97.5%的性能,并发现字符级模型最适合跨方言句子检索。
2024-01-25 cs.CL
To Each Language Its Tokenizer: Modular Tokenizers for Efficient Multilingual LLMs
Kyutai;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institute of Intelligent Systems and Robotics(智能系统与机器人研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室)
针对多语言大模型共享词汇表导致压缩不均、内存占用高和推理慢的问题,提出模块化分词器框架,通过可提取子分词器及采样预训练策略,实现高效训练与推理,不牺牲性能。
2026-09-15 cs.CL
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学)
最先进的神经(重新)排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此,当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置:它们微调预训练的大规模多语言Transformers(MMT,例如,多语言BERT)对英语相关性判断的影响,然后将它们部署在目标语言中。在这项工作中,我们表明,两个参数有效的跨语言迁移的方法,即稀疏微调掩码(SFTM)和适配器,允许更轻量级,更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器(或SFTM),然后训练检索(即,重新排序)适配器(SFTM)在顶部,同时保持所有其他参数固定。在推理时,这种模块化设计允许我们通过应用用源语言数据训练的(重新)排名适配器(或SFTM)以及目标语言的语言适配器(或SFTM)来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估,此外,作为另一个贡献,我们扩展了前者,使用三种新语言进行查询:吉尔吉斯语,维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调,同时更模块化,减少训练时间。这种收益对于低资源语言尤其明显,在这些语言中,我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
A Modular Approach for Multilingual Timex Detection and Normalization using Deep Learning and Grammar-based methods
HiTZ Center(HiTZ中心);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
本文提出结合微调掩码语言模型检测与基于语法规范化的模块化多语言时间处理系统,在西语和英语上多项任务优于 HeidelTime,并探讨覆盖率与可规范化性的权衡。
2023-04-27 cs.CL
Master-ASR: Achieving Multilingual Scalability and Low-Resource Adaptation in ASR with Modular Learning
Georgia Institute of Technology(佐治亚理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
提出Master-ASR框架,通过模块化学习策略学习并自适应组装可泛化子模块,在减少开销的同时实现多语言可扩展性与低资源适应,显著优于SOTA方法。
2023-06-23 cs.CL eess.AS
Amharic-English Cross-Language Question Answering Using Statistical Machine Translation, Named Entity Recognition, and Semantic Indexing
Addis Ababa University(亚的斯亚贝巴大学)
该研究针对低资源语言阿姆哈拉语的信息获取障碍,构建整合SMT、NER等组件的双向跨语言问答系统,在阿姆哈拉语-英语检索任务中取得72%/79%、65%/70%的精确率与召回率,验证了模块化架构的有效性。
2026-10-14 cs.CL
Multilingual Pre-training with Language and Task Adaptation for Multilingual Text Style Transfer
University of Groningen(格罗宁根大学)
我们利用预先训练的seq2seq模型mBART进行多语言文本样式传输。使用机器翻译的数据以及黄金对齐的英语句子在我们考虑的三种目标语言中产生了最先进的结果。此外,鉴于并行数据的普遍稀缺性,我们提出了一个模块化的方法,多语言正式迁移,其中包括两个培训策略,目标适应语言和任务。我们的方法实现了竞争力的表现,没有单语任务特定的并行数据,并可以应用到其他风格转移任务以及其他语言。
2022-03-16 cs.CL
Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);IXA NLP Group(IXA自然语言处理组);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
我们提出了一个模块化的体系结构的语言特定的编码器-解码器,构成一个多语言的机器翻译系统,可以逐步扩展到新的语言,而不需要重新训练现有的系统时,添加新的语言。从以前的作品,我们同时训练$N$语言的所有翻译方向交替冻结编码器或解码器模块,这间接迫使系统训练在一个共同的中间表示所有的语言。多语言机器翻译的实验结果表明,我们可以成功地训练这个模块化的架构,提高了初始语言,而略有落后时,添加新的语言或做zero-shot翻译。另外,在自然语言推理任务中对句子表征质量的比较表明,交替冻结训练也有利于这一方向。
2020-05-29 cs.CL
AI-Driven Modular Services for Accessible Multilingual Education in Immersive Extended Reality Settings: Integrating Speech Processing, Translation, and Sign Language Rendering
Institute of Communications and Computer Systems (ICCS)(通信与计算机系统研究所);DASKALOS-APPS;National Technical University of Athens(雅典国家技术大学);University of Exeter(埃克塞特大学)
本文提出一个模块化平台,整合六个AI服务,用于多语言教育中的无障碍访问,通过语音识别、翻译、语音合成和手语渲染等技术提升沉浸式体验。
2026-04-07 cs.AI cs.CE cs.CL
Eka-Eval: An Evaluation Framework for Low-Resource Multilingual Large Language Models
NMIMS;Soket AI;Indian Institute of Technology Gandhinagar(印度理工学院加尔各答分校);LINGO Research Group(LINGO研究组)
EKA-EVAL是一种开源框架,通过零代码界面和模块化架构,为低资源多语言大语言模型提供全面的评估支持,提升了易用性和可重复性。
2026-03-05 cs.CL
Modular Sentence Encoders: Separating Language Specialization from Cross-Lingual Alignment
Ubiquitous Knowledge Processing Lab (UKP Lab) Department of Computer Science Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany(技术大学达姆施塔特计算机科学系通用知识处理实验室(UKP实验室)和应用网络安全国家研究中心ATHENE德国);Center for AI and Data Science, University of Würzburg(人工智能与数据科学中心,乌尔姆大学)
提出模块化句子编码器,通过先训练单语模块再训练跨语言对齐适配器,分离语言特化与跨语言对齐,解决多语言诅咒和任务冲突,实现更优且均衡的性能。
2025-05-30 cs.CL
OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);SAP SE(SAP公司)
本文提出OmniFusion系统,通过融合预训练多模态基础模型与翻译LLM,实现语音、语音加图像及文本加图像的多语言多模态翻译,降低SimulST延迟并提升翻译质量。
2026-08-31 cs.AI cs.CL
Multilingual Unsupervised Neural Machine Translation with Denoising Adapters
University of Groningen(格罗宁根大学);NAVER LABS Europe(NAVER LABS 欧洲)
我们考虑的问题,多语言无监督机器翻译,翻译和语言,只有单语数据使用辅助并行语言对。对于这个问题,到目前为止,利用单语数据的标准过程是反向翻译,这是计算成本高,难以调整。在本文中,我们建议在预训练的mBART-50之上使用去噪适配器,具有去噪目标的适配器层。除了这种方法的模块化和灵活性之外,我们还证明了所产生的翻译与BLEU测量的反向翻译相当,而且它允许增量地添加看不见的语言。
2021-10-20 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI;Inria(法国国家信息与自动化研究所)
该研究针对语音到文本翻译任务,提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练,显著提升了零样本跨模态语音翻译效果,在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
最先进的多语言机器翻译依赖于通用的编码器-解码器,这需要重新训练整个系统以添加新的语言。在本文中,我们提出了一种替代方法,是基于特定语言的编码器-解码器,因此可以更容易地扩展到新的语言,通过学习其相应的模块。为了鼓励共同的中间语言表示,我们同时训练N种初始语言。我们的实验表明,所提出的方法比通用编码器-解码器平均高出3.28个BLEU点,并且在添加新语言时,不需要重新训练其余模块。总而言之,我们的工作缩小了共享和特定语言编码器-解码器之间的差距,朝着模块化多语言机器翻译系统迈进,可以在终身学习环境中灵活扩展。
2020-04-14 cs.CL
Comparative Evaluation of Machine Translation Systems on Images with Text
ValgrAI - Valencian Graduate School and Research Network for Artificial Intelligence(ValgrAI - 瓦伦西亚人工智能研究生学院和研究网络)
本研究比较评估了三种机器翻译范式(模块化流水线、多模态大语言模型和端到端模型Translatotron-V)在含文本图像翻译任务上的性能,发现多模态大语言模型表现最佳。
2026-05-28 cs.CL
Multilingual Grammatical Error Annotation: Combining Language-Agnostic Framework with Language-Specific Flexibility
Trent University(特伦特大学);Open Writing Evaluation(开放写作评估);University College London(伦敦大学学院);The University of British Columbia(不列颠哥伦比亚大学)
针对 errant 等框架难以适配多语言的问题,本文基于 stanza 重实现并提出语言无关基础加语言特定扩展的模块化 GEC 标注框架,在五种语言上验证其适应性。
2025-06-09 cs.CL
Graph Fusion Across Languages using Large Language Models
本文提出利用大型语言模型进行跨语言图融合框架,通过结构线性化和语义优先级解决多语言知识图谱融合问题,展示了LLM在跨语言知识整合中的有效性。
2026-03-22 cs.CL cs.IR
Multilingual Fact-Checking at Scale: Fine-Tuned Compact Models vs LLMs
Factiverse
提出一个多语言事实核查系统,通过微调XLM-RoBERTa、mmBERT和SetFit模型,在114种语言的声明检测和28种语言的真实性预测中,与GPT-5.2等LLM相比,展示了紧凑模型的高效和稳定性能。
2026-06-07 cs.CL
OmniEvalKit: A Modular, Lightweight Toolbox for Evaluating Large Language Model and its Omni-Extensions
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Alibaba Group(阿里巴巴集团)
针对大语言模型评估基准维度单一的问题,提出模块化轻量工具箱OmniEvalKit,支持百款模型与50个数据集的多维度评估,便于AI社区下游应用。
2024-12-09 cs.AI cs.CL cs.CV
Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);University of Rome Tor Vergata(罗马第二大学)
本文提出Dialectic-RAG(DRAG)框架,通过论证性解释和辩证推理解决多语言检索增强生成中的知识冲突问题,实验证明其能以低算力开销显著提升RAG性能并增强对知识扰动的鲁棒性。
2025-04-07 cs.CL
An Efficient Approach for Studying Cross-Lingual Transfer in Multilingual Language Models
George Mason University(乔治梅森大学)
本文提出一种基于适配器解耦任务与语言的高效方法,系统研究多语言模型中迁移语言对目标语言零样本性能的影响,量化负向干扰并给出有益配置列表。
2024-03-29 cs.CL
Speak in Context: Multilingual ASR with Speech Context Alignment via Contrastive Learning
Institute for Analytics and Data Science, University of Essex(数据分析与科学研究所,埃塞克斯大学);School of Computer Science and Electronic Engineering, University of Essex(计算机科学与电子工程学院,埃塞克斯大学)
本文提出一种基于对比学习的多语言语音识别框架,通过语境对齐提升识别性能,支持多种语言和口音,实现语音与上下文的高效交互。
2026-08-19 cs.CL
MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);The Ohio State University(俄亥俄州立大学);Charles University(查理大学)
本文提出MAGNET,一种基于自适应梯度的多语言分词方法,通过语言文字特定的边界预测器模块化架构减少非拉丁文字的过度分割,在降低分割差异的同时加快语言建模并提升下游任务实用性。
2024-11-17 cs.CL
IdiomX A Multilingual Benchmark for Idiom Understanding, Retrieval, and Interpretation
Data ScienceTech Institute(数据科学技术学院)
提出IdiomX,一个大规模多语言习语基准,通过可复现的多阶段流水线构建,涵盖190K+上下文示例和12K+习语,定义四项任务(检测、上下文-习语检索、阿拉伯语-英语习语检索、习语解释),实验表明上下文Transformer模型提升检测,混合检索重排序增强单语和跨语言检索,习语解释可建模为语义检索任务。
2026-04-25 cs.AI cs.CL cs.IR
mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs
University of Würzburg(维尔茨堡大学)
本研究提出高效构建的多语种视觉大语言模型mBLIP,通过将适配英文LLM的图像编码器与多语种LLM重新对齐,在消费级硬件上即可训练,性能比肩SOTA且远超仅英文的同类模型。
2024-06-20 cs.CL cs.CV
Separating Syntax from Language: A Mechanistic Account of Translation in Multilingual LLMs
Saarland University(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心);University of Göttingen(哥廷根大学)
本研究揭示多语言大语言模型的翻译可进一步分离为句法与表层语言过程,通过构建受控数据集等方法发现模型先构建目标侧词序,识别出句法敏感的注意力头,完善了翻译机制的分解结论。
2026-09-02 cs.CL
Crossing the Conversational Chasm: A Primer on Natural Language Processing for Multilingual Task-Oriented Dialogue Systems
University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);PolyAI Limited(PolyAI有限公司)
在面向任务的对话(ToD)中,用户与人工智能体进行对话以完成具体任务。虽然这项技术代表了人工智能的核心目标之一,并且一直是越来越密集的研究和开发工作的重点,但它目前仅限于几个狭窄的领域(例如,食物订购、机票预订)和少数几种语言(例如,英文、中文)。这项工作提供了一个广泛的概述现有的方法和资源,在多语言的ToD作为一个切入点,这一令人兴奋的和新兴的领域。我们发现,阻止创建真正的多语言ToD系统的最关键因素是缺乏大多数语言的数据集用于培训和评估。事实上,为模块化系统的每个组件或数据饥渴的端到端系统获取注释或人工反馈是昂贵且繁琐的。因此,多语言ToD的最新方法主要依赖于(零或Few-Shot)从资源丰富的语言(几乎完全是英语)的跨语言迁移,无论是通过机器翻译还是多语言表示。这些方法目前只适用于类型相似的语言和具有平行/单语语料库的语言。另一方面,由于缺乏语言多样性的基准(特别是对于自然语言生成和端到端评估),它们在这些边界之外的有效性值得怀疑或难以评估。为了克服这一限制,我们在ToD管道的组件和其他NLP任务之间进行了比较,这可以激发低资源场景下的学习解决方案。最后,我们列出了多语言对相关领域(如语音和以人为本的评估)带来的额外挑战,并指出了未来的发展方向,有望进一步扩大当前ToD系统的语言覆盖范围和对话能力。
2022-05-26 cs.CL
Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation
Institute of Computer Science, Warsaw University of Technology(华沙理工大学计算机科学学院);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本研究通过知识蒸馏视角,提出在同系列及不兼容的预训练语言模型间迁移PEFT模块的方法,验证了模块化架构的可迁移性。
2024-03-27 cs.CL
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
NAVER LABS Europe(NAVER欧洲实验室);Télécom Paris(巴黎电信学院)
DistilWhisper通过语言特定专家和知识蒸馏提升欠代表语言的ASR性能,同时保持多任务和多语言能力。
2025-11-29 cs.CL cs.SD eess.AS
MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting
Kohli Centre on Intelligent Systems, IIIT Hyderabad(海得拉巴国际信息技术学院科利智能系统中心);TCS Research(塔塔咨询服务公司研究部)
本文提出MParrotTTS模型,利用自监督语音表示的模块化训练范式,在低资源下实现高质量多语言多说话人TTS及跨语言声音转换,仅用少量监督数据即超越现有基线。
2023-05-19 cs.CL cs.LG cs.SD
MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer
Technical University of Darmstadt(达姆施塔特工业大学);University of Cambridge(剑桥大学);DeepMind(深度思维)
最先进的预训练多语言模型(如多语言BERT和XLM-R)背后的主要目标是通过zero-shot或Few-Shot跨语言迁移在低资源语言中启用和引导NLP应用程序。然而,由于模型容量有限,它们的迁移性能在这些低资源语言和预训练期间未见过的语言上是最弱的。我们提出了MAD-X,一个基于适配器的框架,通过学习模块化语言和任务表示,可以实现高可移植性和参数高效传输到任意任务和语言。此外,我们还介绍了一种新的可逆适配器架构和一种强基线方法,用于将预训练的多语言模型适应新语言。MAD-X在命名实体识别和因果常识推理上跨一组典型的不同语言的跨语言迁移方面优于最先进的技术水平,并在问答上取得了有竞争力的结果。我们的代码和适配器可在AdapterHub.ml上获得
2020-10-06 cs.CL
Sustainable Modular Debiasing of Language Models
University of Mannheim(曼海姆大学);Bocconi University(博科尼大学)
不公平的陈规定型偏见(例如,性别,种族或宗教偏见)编码在现代预训练语言模型(PLM)具有负面的道德影响,广泛采用最先进的语言技术。为了弥补这一点,最近引入了广泛的去偏置技术,以消除PLM中的这种刻板偏见。然而,现有的去偏置方法直接修改所有的PLM参数,除了计算昂贵之外,还存在(灾难性的)忘记在预训练中获得的有用语言知识的固有风险。在这项工作中,我们提出了一个更可持续的模块化去偏置方法的基础上专用的去偏置适配器,被称为ADELE。具体地说,我们(1)将适配器模块注入到原始PLM层中,(2)仅更新适配器(即,我们保持原始PLM参数冻结),通过在反事实增强的语料库上进行语言建模训练。我们展示了ADELE,在性别去偏见的BERT:我们广泛的评估,包括三个内在和两个外在的偏见措施,使ADELE,非常有效的偏见缓解。我们进一步表明-由于其模块化的性质- ADELE,再加上任务适配器,即使在大规模的下游训练后,仍然保持公平性。最后,通过多语种BERT,成功地将ADELE语言转换为六种目标语言。
2021-09-08 cs.CL
No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement
Warsaw University of Technology(华沙理工大学);University of Edinburgh(爱丁堡大学)
本文提出 Language Arithmetic,通过扩展 task arithmetic 对语言适配器做免训练加法后处理,在基于 MAD-X 的三类跨语言任务中显著提升基线,尤其改善零样本效果。
2024-09-08 cs.CL