Language-Aware Prompt Tuning for Parameter-Efficient Seamless Language Expansion in Multilingual ASR
School of Computer Science(计算机科学学院);College of Computing and Data Science(计算与数据科学学院);College of Computing(计算学院)
本文提出全软提示调优和语言感知提示调优,集成到Whisper中,在FLEURS上语言扩展任务分别提升5.0%和16.0%,实现低开销的多语言ASR扩展。
2025-06-16 cs.AI cs.CL cs.SD
Pastiche Novel Generation Creating: Fan Fiction You Love in Your Favorite Author's Style
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Renmin University of China(中国人民大学);ByteDance Inc.(字节跳动公司);Xiaomi(小米公司);Peking University(北京大学)
针对现有小说生成方法依赖粗浅大纲、语言平淡的问题,提出仿作小说生成任务及WriterAgent系统,结合课程学习与WriterLoRA框架,在多语言经典上验证了其在风格、人物、情节上的优势。
2025-02-21 cs.AI cs.CL
SeamlessM4T: Massively Multilingual & Multimodal Machine Translation
Meta AI;INRIA(法国国家信息与自动化研究所);UC Berkeley(加州大学伯克利分校)
本文提出统一多模态翻译模型SeamlessM4T,基于100万小时语音数据和w2v-BERT 2.0,支持百种语言的语音与文本双向翻译及识别,在FLEURS上显著超越SOTA并开源。
2023-10-25 cs.CL
Generation-Step-Aware Framework for Cross-Modal Representation and Control in Multilingual Speech-Text Models
Saarland University(萨尔兰大学);Max Planck Institute for Informatics, Saarland Informatics Campus(马克斯·普朗克信息学研究所,萨尔兰信息学园区)
本文提出一个生成步骤感知框架,用于评估多语言语音-文本模型中的跨模态计算,发现跨模态语言对齐在生成初期最强,随后转向模态特定的自回归处理。
2026-08-12 cs.CL
Automated Gradient-Driven Parameter Sharing for Low-Resource Multilingual Speech-to-Text Translation
School of Data Science(数据科学学院)
本文提出通过挖掘训练梯度信息自动确定层间共享模式的方法,提升多语言语音翻译的收敛性与翻译质量。
2026-09-18 cs.CL
Multilingual Pixel Representations for Translation and Effective Cross-lingual Transfer
Johns Hopkins University(约翰斯·霍普金斯大学);Human Language Technology Center of Excellence(人类语言技术卓越中心);Microsoft(微软)
本文提出使用像素表示有效训练多语言机器翻译模型,实验表明其性能优于子词嵌入,并通过参数共享实现无缝跨语言迁移和更高数据效率。
2023-10-24 cs.CL
CS-Bench: A Comprehensive Benchmark for Large Language Models towards Computer Science Mastery
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出CS-Bench,首个多语言计算机科学综合基准,含约10K样本覆盖26个子领域,评估30多个LLMs,发现CS能力与模型规模及数学、编码能力高度相关,并指出改进方向。
2025-02-28 cs.AI cs.CL cs.LG
MUSCAT: MUltilingual, SCientific ConversATion Benchmark
Karlsruhe Institute of Technology(卡尔斯鲁厄大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出MUSCAT基准,用于评估自动语音识别系统在处理多语言混合输入、特定词汇和语言切换等挑战方面的性能,揭示了当前最先进的ASR系统仍面临开放性挑战。
2026-05-18 cs.CL
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊)
本文提出自回归神经编解码语言模型VoiceCraft-X,基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务,在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
Learning to Answer Multilingual and Code-Mixed Questions
INDIAN INSTITUTE OF TECHNOLOGY PATNA(印度理工学院巴特那分校)
问答(QA)是人类自然产生的,是无缝人机交互的关键组成部分。它已经成为与网络交互的最方便和最自然的方法之一,在语音控制的环境中尤其可取。尽管是最古老的研究领域之一,目前的QA系统面临着处理多语言查询的关键挑战。为了构建一个能够为多语言最终用户服务的人工智能(AI)代理,QA系统需要具有语言通用性并适合多语言环境。QA模型的最新进展已经能够超越人类的表现,主要是由于大量高质量数据集的可用性。然而,大多数此类注释数据集的创建成本很高,并且仅限于英语语言,这使得承认外语方面的进展具有挑战性。因此,要衡量多语种质量保证系统的类似改进,就必须投资于高质量的多语种评价基准。在这篇论文中,我们专注于先进的QA技术,在多语言环境中处理最终用户查询。本论文由两部分组成。在第一部分中,我们探讨了多语制和多语制的一个新的层面,即语码混合。其次,我们提出了一种技术来解决利用多个文档的多跳问题生成的任务。实验表明,我们的模型实现了最先进的性能的答案提取,排名和生成任务的多个领域的MQA,VQA,和语言生成。所提出的技术是通用的,可以广泛用于各种领域和语言,以提高QA系统。
2022-11-14 cs.CL
Added Toxicity Mitigation at Inference Time for Multimodal and Massively Multilingual Translation
FAIR, Meta(Meta AI 基础人工智能研究实验室)
提出MinTox流程,在推理时通过多模态毒性检测分类器识别并缓解翻译新增毒性,应用于SEAMLESSM4T系统,可过滤25%-95%毒性且保持翻译质量。
2023-11-11 cs.CL
Bactrian-X: Multilingual Replicable Instruction-Following Models with Low-Rank Adaptation
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Monash University(莫纳什大学);The University of Melbourne(墨尔本大学)
针对多语言指令微调数据集匮乏的问题,研究团队构建了涵盖52种语言、340万条对的Bactrian-X多语言平行数据集,用LoRA训练轻量适配器,实验证明其性能优于原始及现有指令微调模型,相关资源已开源。
2023-10-10 cs.CL
LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models
University of Oregon(俄勒冈大学);Adobe Research(Adobe研究院)
本文提出零样本方法LUSIFER,通过连接器将多语言编码器与基于LLM的嵌入模型集成,无需多语言监督即可提升多语言嵌入性能,并引入涵盖5项任务、123个数据集和14种语言的新基准进行验证。
2025-05-07 cs.CL cs.IR
Checks and Strategies for Enabling Code-Switched Machine Translation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
语码转换是多语言使用者之间的一种普遍现象,即在同一会话中两种或多种语言之间的交替使用。虽然多语言人类可以在语言之间无缝地来回切换,但多语言神经机器翻译(NMT)模型对输入的这种突然变化并不鲁棒。这项工作探讨了多语言NMT模型处理代码转换文本的能力。首先,我们提出检查来衡量开关能力。其次,我们研究简单有效的数据增强方法,可以提高NMT模型的能力,以支持代码转换。最后,通过对注意力模块的玻璃盒分析,我们证明了这些方法在提高鲁棒性方面的有效性。
2022-10-11 cs.AI cs.CL cs.CY
Everyday Speech in the Indian Subcontinent
Indian Institute of Technology Madras(印度马德拉斯理工学院);Shiv Nadar University(希夫纳达尔大学)
针对印度多语言多文字下E2E多语言合成单元词汇量大的问题,研究提出基于语音学的通用标签集CLS,实现13种印度语言与英语的无缝语码转换,适配印度次大陆日常多语言使用场景。
2025-02-21 cs.CL cs.SD eess.AS
SRS-Stories: Vocabulary-constrained multilingual story generation for language learning
Poznan University of Technology, Institute of Computer Science(波兹南技术大学计算机科学学院);Charles University, Faculty of Mathematics and Physics(查尔斯大学数学与物理系)
SRS-Stories通过间隔重复系统生成多语言故事,利用已知词汇教授新词并复习旧词,提升语言学习效果。
2025-12-20 cs.CL
CACARA: Cross-Modal Alignment Leveraging a Text-Centric Approach for Cost-Effective Multimodal and Multilingual Learning
Instituto de Computação, Universidade Estadual de Campinas (UNICAMP), Brasil(计算机学院,Campinas州立大学(UNICAMP));Instituto de Estudos da Linguagem, Universidade Estadual de Campinas (UNICAMP), Brasil(语言研究学院,Campinas州立大学(UNICAMP));Instituto de Informática, Universidade Federal de Goiás (UFG), Goiás, Brasil(信息学院,戈亚斯联邦大学(UFG));Department of Computer Science, University of Sheffield, Sheffield, United Kingdom(计算机科学系,谢菲尔德大学)
CACARA通过文本中心方法实现多模态和多语言学习,无需重新训练即可支持100多种语言,提升音频到文本检索性能达14.24个百分点。
2025-11-29 cs.AI cs.CL
Bridging the Language Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs
Microsoft Research India(微软研究院印度分部)
本文提出运行时按查询动态选择提示、嵌入模型与LLM的RAG方法,在18种语言的QA任务上显著优于预训练和微调模型。
2025-01-07 cs.AI cs.CL
Aligning LLMs for Multilingual Consistency in Enterprise Applications
Oracle AI
针对LLM在多语言企业应用中因英语中心预训练导致的性能差距,提出基于批次的多语言数据对齐微调策略,提升非英语准确率最多23.9%,且不影响英语性能。
2025-10-25 cs.AI cs.CL
DiM\textsuperscript{3}: Bridging Multilingual and Multimodal Models via Direction- and Magnitude-Aware Merging
Northeastern University, China(东北大学,中国);CIS, LMU Munich, Germany(慕尼黑莱布尼茨大学计算机学院,德国);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心(MCML),德国);Shanghai Jiao Tong University, China(上海交通大学,中国)
本研究提出DiM3方法,通过在共享语言模型骨干中融合残差更新,实现多语言和多模态能力的无缝整合,从而提升多语言性能并保持多模态能力。
2026-05-20 cs.CL
Journey to the Center of the Knowledge Neurons: Discoveries of Language-Independent Knowledge Neurons and Degenerate Knowledge Neurons
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出架构自适应多语言集成梯度方法精确定位知识神经元,发现语言无关知识神经元和功能重叠的退化知识神经元,揭示多语言预训练模型事实知识存储机制。
2023-12-20 cs.CL
What is lost in Normalization? Exploring Pitfalls in Multilingual ASR Model Evaluations
Digital University Kerala(喀拉拉邦数字大学);Swathanthra Malayalam Computing(斯瓦坦特拉马拉雅拉姆计算机构);University of Kerala(喀拉拉邦大学)
本文揭示多语言ASR评估中文本归一化对印度语系脚本的缺陷,导致性能指标虚高,并提出利用本土语言学知识改进归一化流程。
2024-11-09 cs.AI cs.CL cs.HC
Investigating Zero-Shot Generalizability on Mandarin-English Code-Switched ASR and Speech-to-text Translation of Recent Foundation Models with Self-Supervision and Weak Supervision
National Taiwan University(国立台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务)
本研究在三个语码转换语料库上评估了SeamlessM4T和Whisper等前沿基础模型,发现自监督模型接近监督模型性能,但句内语码转换表现仍有待提升,且Whisper变体在语码转换场景中保持有效。
2023-12-30 cs.CL eess.AS
Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech
FAIR at Meta(Meta的FAIR)
提出OmniSONAR模型,通过渐进式训练和教师-学生蒸馏,在数千种语言上实现文本、语音、代码和数学表达式的统一语义嵌入,在跨语言检索和翻译任务上显著降低错误率,并支持零样本语音翻译。
2026-06-19 cs.CL
Robust Multilingual Named Entity Recognition with Shallow Semi-Supervised Features
University of the Basque Country (UPV/EHU)(巴斯克大学)
我们提出了一种多语言命名实体识别方法的基础上强大的和一般的功能集跨语言和数据集。我们的系统结合了浅层的本地信息和聚类的半监督特征诱导大量的未标记的文本。通过经验实验了解如何有效地结合各种类型的聚类功能,使我们能够无缝地将系统导出到其他数据集和语言。其结果是一个简单但极具竞争力的系统,可以在五种语言和十二个数据集上获得最先进的结果。结果报告标准共享任务评估数据,如英语,西班牙语和荷兰语的CoNLL。此外,尽管缺乏语言动机的功能,我们还报告了巴斯克语和德语等语言的最佳结果。此外,我们证明了我们的方法也获得了非常有竞争力的结果,即使监督数据量减半,减轻了对手动注释数据的依赖。最后,结果表明,我们的重点是聚类功能是至关重要的发展强大的领域外的领域模型。该系统和模型免费提供,以方便其使用,并保证结果的可重复性。
2017-01-31 cs.AI cs.CL
Bridging the Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs
Microsoft Research India(微软研究院印度分院)
本文针对 LLM 在非拉丁文字和低资源语言上的性能不足,提出提示优化、RAG 与多语言嵌入混合及运行时动态选择策略,显著提升多语言任务表现。
2024-05-28 cs.AI cs.CL cs.LG
Rethinking Cross-lingual Alignment: Balancing Transfer and Cultural Erasure in Multilingual LLMs
University of Maryland(马里兰大学);Google(谷歌)
本文提出迁移-定位平面评估框架,发现跨语言对齐虽促进知识迁移但导致文化抹除,并基于不同模型层对两类知识可控性的差异,提出Surgical Steering推理时方法,通过分层激活控制有效平衡了知识迁移与文化定位。
2025-10-29 cs.AI cs.CL
sign.mt: Real-Time Multilingual Sign Language Translation Application
本文介绍开源应用 sign.mt,利用先进开源模型实现口语与手语间实时多语言双向翻译,支持离线、照片级真实感定制虚拟人和翻译 API。
2024-08-04 cs.CL
A New Approach for Semi-automatic Building and Extending a Multilingual Terminology Thesaurus
Masaryk University(马萨里克大学)
本文介绍了一种新的术语叙词表的半自动建立、扩充和管理系统--一种多语种术语词典,它通过丰富术语之间的关系,形成一个叙词表。该系统可以从根本上提高目前的术语专家组的工作流程,其中大多数编辑决策仍然来自内省。该系统补充了自然语言处理技术,这是无缝集成到词库编辑环境的词典编纂过程。该系统的方法和由此产生的词库与所涉六种语文的新领域语料库密切相关。它们用于术语使用示例以及新候选术语的自动提取。现在可以通过一个基于网络的应用程序访问术语词库,该应用程序a)提供关于每个术语的丰富详细信息,b)可视化术语关系,c)显示该术语在领域相关文件和基于上下文的类似术语中的实际使用示例。此外,专门的语料库用于检测从中心语言(捷克语)到其他语言(英语,法语,德语,俄语和斯洛伐克语)的术语的候选翻译,以及检测更广泛的捷克语术语,这有助于将新术语放入实际的同义词词典层次结构中。这个项目已经实现了土地测量的术语词库,但所提出的工具和方法是可重用的其他术语领域。
2019-03-27 cs.CL
TEI2GO: A Multilingual Approach for Fast Temporal Expression Identification
University of Porto(波尔图大学);INESC TEC;University of Beira Interior(贝拉 interior 大学)
本文提出 TEI2GO 模型,通过结合人工标注语料库和弱标注语料库 Professor HeidelTime,在保持 HeidelTime 效果的同时显著提升运行时性能,支持六种语言并在四种语言上达到 SOTA,并提供了迄今最大开源时间表达式识别数据集。
2024-03-25 cs.CL
NativQA: Multilingual Culturally-Aligned Natural Query for LLMs
University of New Brunswick(新不伦瑞克大学);Qatar Computing Research Institute(卡塔尔计算研究中心);UPES(UPES大学);Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学);Qatar University(卡塔尔大学)
本文提出可扩展且独立于语言的NativQA框架,构建文化与区域对齐的母语QA数据集,并基于9个地区7种语言约64k标注对构建MultiNativQA基准,用于评估和微调LLM。
2025-05-30 cs.AI cs.CL
OmniEvalKit: A Modular, Lightweight Toolbox for Evaluating Large Language Model and its Omni-Extensions
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Alibaba Group(阿里巴巴集团)
针对大语言模型评估基准维度单一的问题,提出模块化轻量工具箱OmniEvalKit,支持百款模型与50个数据集的多维度评估,便于AI社区下游应用。
2024-12-09 cs.AI cs.CL cs.CV
Cross-lingual Low Resource Speaker Adaptation Using Phonological Features
Innoetics, Samsung Electronics(三星电子 Innoetics);Mobile Communications Business, Samsung Electronics(三星电子移动通信事业部)
最近提出了使用音位特征代替音素作为序列到序列TTS的输入的思想,用于zero-shot多语言语音合成。这种方法对于语码转换很有用,因为它有助于在母语文本流中无缝地说出嵌入的外语文本。在我们的工作中,我们训练一个语言无关的多说话人模型的条件下,一组不同语言的语音衍生功能,实现跨语言的扬声器自适应的目标。我们首先实验了语音相似性对几种源-目标语言组合的跨语言TTS的影响。随后,我们用一个新的说话者的声音在一个看到的或看不见的语言非常有限的数据微调模型,并实现同等质量的合成语音,同时保留目标说话者的身份。与32和8话语的目标说话人的数据,我们得到了较高的说话人相似性分数和自然度相媲美的相应文献。在只有2个可用的适应话语的极端情况下,我们发现我们的模型表现为一个Few-Shot学习者,因为在可见和不可见的适应语言场景中的性能是相似的。
2021-11-17 cs.CL cs.LG cs.SD
WeLM: A Well-Read Pre-trained Language Model for Chinese
WeChat AI(微信人工智能)
提出了WeLM,一个具有10B参数的中文预训练语言模型,通过精选高质量语料库训练,在18个中文任务上显著优于相似规模模型,匹配25倍大模型性能,并在多语言和语码转换理解上表现优异,微调后实现强泛化。
2023-05-16 cs.AI cs.CL
Agent AI with LangGraph: A Modular Framework for Enhancing Machine Translation Using Large Language Models
Ferret Relationship Intelligence(雪貂关系智能公司);China Telecom Shanghai Company(中国电信上海公司)
本文提出结合 Agent AI 与 LangGraph 的模块化机器翻译框架,利用专门翻译智能体和 GPT-4o 实现上下文感知、可扩展的多语言翻译工作流。
2024-12-05 cs.AI cs.CL
Pantagruel: Unified Self-Supervised Encoders for French Text and Speech
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学,CNRS,格勒诺布尔INP,LIG);INA (Institut National de l'Audiovisuel)(国家视听研究院);Avignon Université, LIA(阿维尼翁大学,LIA);CREST (École Polytechnique, ENSAE, CNRS)(CREST(巴黎政治学院、ENSAE、CNRS));LLF (Université Paris Cité and CNRS)(LLF(巴黎城市大学和CNRS));Univ. Grenoble Alpes, EFELIA-MIAI, IUT2 Grenoble, LIG(格勒诺布尔阿尔卑斯大学,EFELIA-MIAI,格勒诺布尔IUT2,LIG);Univ. Grenoble Alpes, Lidilem(格勒诺布尔阿尔卑斯大学,Lidilem);Université Bretagne Sud, CNRS, IRISA(布列塔尼南部大学,CNRS,IRISA);Saclay AI(萨克莱AI);IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3(IRIT,图卢兹大学,CNRS,图卢兹INP,UT3)
Pantagruel通过在特征空间中学习上下文化的目标表示,提升法语文本和语音的多模态理解能力,在多个下游任务中表现优异,优于现有基线模型。
2026-03-23 cs.CL