Large Language Models Meet Contrastive Learning: Zero-Shot Emotion Recognition Across Languages
Nanyang Technological University（南洋理工大学）；Southwest Jiaotong University（西南交通大学）；Kash Institute of Electronics and Information Industry（Kash电子信息产业研究院）；Southwest Petroleum University（西南石油大学）
本文提出结合对比学习与大语言模型的两阶段训练框架，实现跨语言零样本语音情绪识别，并构建大规模合成数据集M5SER，实验验证了其有效性。
2025-03-25 cs.AI cs.CL
Speech-MASSIVE: A Multilingual Speech Dataset for SLU and Beyond
University of Trento（特伦托大学）；NAVER LABS Europe（NAVER欧洲实验室）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文构建涵盖12种语言的多模态多任务数据集 Speech-MASSIVE，支持 SLU 基线评测及语音转写、语言识别、语音翻译等任务。
2024-08-07 cs.CL cs.SD eess.AS
Bi-directional Context-Enhanced Speech Large Language Models for Multilingual Conversational ASR
Alibaba-NTU Global e-Sustainability CorpLab（阿里巴巴-国立科技大学全球可持续发展公司实验室）；Nanyang Technological University（国立科技大学）；College of Computing and Data Science（计算与数据科学学院）
本文提出将双向上下文融入语音大语言模型，通过字符级上下文掩码训练和两阶段上下文感知解码，在1500小时多语言对话语料上取得18%的相对改进，优于6000小时数据训练的模型。
2025-07-04 cs.CL eess.AS
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
本文提出自回归神经编解码语言模型VoiceCraft-X，基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务，在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
MultiGen: Child-Friendly Multilingual Speech Generator with LLMs
Institute for Infocomm Research, Agency for Science, Technology, and Research (A*STAR), Singapore（信息与通信研究所，科技研究局（A*STAR），新加坡）
针对低资源语言下儿童友好型语音生成的难题，提出基于LLM架构的多语言生成模型MultiGen，支持三种低资源语言的文化适配交互，经主客观实验验证性能优于基线。
2025-09-04 cs.AI cs.CL eess.AS
SIFT-50M: A Large-Scale Multilingual Dataset for Speech Instruction Fine-Tuning
Amazon AGI（亚马逊AGI）；Apple Inc.（苹果公司）
该研究构建含5000万样本的多语言语音指令微调数据集SIFT-50M，训练的SIFT-LLM在指令遵循基准上优于现有模型，同时提出EvalSIFT基准支持相关研究。
2025-04-17 cs.AI cs.CL eess.AS
Distilling a Pretrained Language Model to a Multilingual ASR Model
Sogang University（西江大学）
多语种语音数据往往存在长尾语言分布，导致性能下降。然而，多语言文本数据更容易获得，从而产生更有用的通用语言模型。因此，我们有动机将嵌入在训练有素的教师文本模型中的丰富知识提取到学生语音模型中。我们提出了一种新的方法称为蒸馏一个语言模型语音模型（蒸馏-L2 S），对齐两个不同的模态的潜在表示。细微的差异由收缩机制、最近邻插值和可学习的线性投影层处理。我们证明了我们的蒸馏方法的有效性，将其应用到多语种自动语音识别（ASR）的任务。我们提取了基于transformer的跨语言语言模型（InfoXLM），同时为每种语言微调了大规模多语言ASR模型（XLSR-wav 2 vec 2.0）。我们展示了我们的方法在CommonVoice数据集的20种低资源语言上的优越性，这些语言的语音数据少于100小时。
2022-06-25 cs.AI cs.CL cs.SD
Multilingual HateCheck: Functional Tests for Multilingual Hate Speech Detection Models
Rewire；University of Oxford（牛津大学）；Bocconi University（博科尼大学）；Simon Fraser University（西蒙弗雷泽大学）
仇恨语音检测模型通常在保持测试集上进行评估。然而，由于仇恨言论数据集中越来越多的系统性差距和偏见，这可能会导致模型性能的不完整和潜在误导。为了实现更有针对性的诊断见解，最近的研究因此引入了针对仇恨言论检测模型的功能测试。然而，这些测试目前仅适用于英语内容，这意味着它们无法支持在全球数十亿人使用的其他语言中开发更有效的模型。为了帮助解决这个问题，我们引入了多语言仇恨检查（MHC），这是一套针对多语言仇恨言论检测模型的功能测试。MHC涵盖了10种语言的34种功能，这比任何其他仇恨言论数据集都要多。为了说明MHC的效用，我们训练和测试一个高性能的多语种仇恨语音检测模型，并揭示关键模型的弱点，单语和跨语言的应用程序。
2022-06-20 cs.CL
Multilingual and Multi-Aspect Hate Speech Analysis
The Hong Kong University of Science and Technology（香港科技大学）；Department of Computer Science and Engineering（计算机科学与工程系）
当前对仇恨语音分析的研究通常面向单语和单一分类任务。在本文中，我们提出了一个新的多语言多方面仇恨语音分析数据集，并使用它来测试当前最先进的多语言多任务学习方法。我们在各种分类设置中评估我们的数据集，然后讨论如何利用我们的注释来提高仇恨言论检测和分类。
2019-08-29 cs.CL
Cross-lingual and Multilingual Speech Emotion Recognition on English and French
University of Stuttgart（斯图加特大学）
多语言语音情感识别研究面临的问题是，大多数可用的语音语料库在重要方面，如注释方法或交互场景彼此不同。这些不一致性使构建多语言系统变得复杂。我们目前的结果跨语言和多语言的情感识别英语和法语的语音数据具有相似的特点，在互动（人与人的对话）。此外，我们探索了微调预训练的跨语言模型的可能性，只有少量的样本从目标语言，这是非常感兴趣的低资源语言。为了更深入地了解部署的卷积神经网络所学习的内容，我们对网络内部的注意力机制进行了分析。
2018-03-01 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
Highly Generalizable Models for Multilingual Hate Speech Detection
Georgia Institute of Technology（佐治亚理工学院）
在过去的十年里，仇恨语音检测已经成为一个重要的研究课题。越来越多的私营公司需要监管全球不同平台上的用户生成内容。在本文中，我们介绍了多语言仇恨言论分类的研究。我们编译了一个包含11种语言的数据集，并通过分析带有二进制标签的组合数据来解决不同的分类：仇恨言论或非仇恨言论。在不同的语言和数据集上以单一的方式定义仇恨言论可能会消除定义中的文化细微差别，因此，我们利用LASER和MUSE提供的语言不可知嵌入来开发可以在数据集上使用仇恨言论的广义定义的模型。此外，我们评估了现有技术的仇恨言论检测方法在我们的扩展数据集。我们进行三种类型的实验的二进制仇恨语音分类任务：多语言训练单语言测试，单语言训练单语言测试和家庭家庭训练单语言测试的情况下，看看性能提高每种语言由于学习更多的其他语言数据。
2022-01-27 cs.CL
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；LIG（格勒诺布尔信息学实验室）；Facebook AI（脸书人工智能）；Naver Labs Europe（Naver欧洲实验室）
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数，并在层之间注入轻量级模块，从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时，本文提出了多语言语音翻译（ST）适配器的全面分析。从不同的预训练模型开始（在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART（mBART）），我们表明适配器可用于：（a）以参数方面的低额外成本将ST有效地专门化为特定语言对，以及（b）从自动语音识别（ASR）任务和mBART预训练模型转换为多语言ST任务。实验表明，适配器调整提供了与完全微调相竞争的结果，同时参数效率更高。
2021-07-12 cs.CL
Multilingual Transformer Language Model for Speech Recognition in Low-resource Languages
Microsoft（微软）
训练和部署Transformer LM用于低资源语言的混合语音识别第二遍重新排序是具有挑战性的，这是由于（1）低资源语言的数据稀缺，（2）训练和刷新100多个单语模型的昂贵计算成本，以及（3）考虑到稀疏流量，托管效率低下。在这项研究中，我们提出了一种新的方法来组多个低资源的地区在一起，并优化性能的多语言Transformer LM在ASR。我们的本地组多语言Transformer LM在降低维护成本和运营费用方面优于传统的多语言LM。此外，对于低资源，但高流量的地区，部署单语模型是可行的，我们表明，微调我们的本地组多语言LM产生更好的单语LM候选人比基线单语LM。
2022-09-08 cs.CL
IIITT@LT-EDI-EACL2021-Hope Speech Detection: There is always Hope in Transformers
Indian Institute of Information Technology Tiruchirappalli（印度蒂鲁吉拉伯利信息技术学院）；ULTRA Arts and Science College（ULTRA文理学院）；Eastern University（东方大学）；National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
在一个充满气候变化、宗教和政治冲突、全球流行病、恐怖主义和种族歧视等严重挑战的世界里，充满仇恨言论、辱骂和攻击性内容的互联网是我们最不希望看到的。在本文中，我们致力于在这些平台上识别和推广积极和支持性的内容。我们使用几个基于transformer的模型来将社交媒体评论分类为英语，马拉雅拉姆语和泰米尔语的希望演讲或不希望演讲。本文描述了我们在LT-EDI 2021- EACL 2021上为平等，多样性和包容性的希望语音检测共享任务所做的工作。
2021-04-19 cs.CL
Huqariq: A Multilingual Speech Corpus of Native Languages of Peru for Speech Recognition
Pompeu Fabra University（庞培法布拉大学）；Pontifical Catholic University of Peru（秘鲁天主教大学）
Huqariq语料库是秘鲁本土语言的多语言集合。转录的语料库旨在研究和开发语音技术，以保护秘鲁濒临灭绝的语言。Huqariq主要用于开发自动语音识别、语言识别和文本到语音工具。为了实现语料库的可持续收集，我们采用了众包的方法。Huqariq包括秘鲁的四种土著语言，预计到2022年底，秘鲁48种土著语言中的20种语言将被使用。该语料库有500多名志愿者录制的220小时转录音频，使其成为秘鲁最大的土著语言语音语料库。为了验证语料库的质量，我们提出了语音识别实验使用220小时的完全转录的音频。
2022-07-12 cs.CL
Multilingual Part-of-Speech Tagging: Two Unsupervised Approaches
Massachusetts Institute of Technology（麻省理工学院）
我们证明了多语言学习对无监督词性标注的有效性。我们工作的核心假设是，通过结合多种语言的线索，每种语言的结构变得更加明显。我们考虑两种方法将这种直觉应用到无监督词性标注的问题：一种模型，直接合并一对语言的标签结构到一个单一的序列和第二个模型，而不是采用多语言的背景下使用潜变量。这两种方法都被制定为分层贝叶斯模型，使用马尔可夫链蒙特卡罗抽样技术进行推理。我们的研究结果表明，通过整合多语言证据，我们可以在一系列场景中实现令人印象深刻的性能提升。我们还发现，随着可用语言数量的增加，性能稳步提高。
2014-01-15 cs.CL
2M-BELEBELE: Highly Multilingual Speech and American Sign Language Comprehension Dataset
FAIR, Meta（Meta FAIR研究院）
本文通过扩展BELEBELE构建了首个高度多语种语音与美国手语理解数据集2M-BELEBELE，涵盖74种口语和ASL，评估发现语音理解准确率较阅读理解平均低约2-3%。
2024-12-23 cs.CL
IITR-CIOL@NLU of Devanagari Script Languages 2025: Multilingual Hate Speech Detection and Target Identification in Devanagari-Scripted Languages
Indian Institute of Technology, Roorkee（鲁尔基印度理工学院）；Shahjalal University of Science and Technology（沙贾拉尔科技大学）
本文提出MultilingualRobertaClass模型，基于多语言转写RoBERTa对天城体文字语言进行仇恨言论检测与目标识别，在子任务B和C上分别取得88.40%和66.11%的准确率。
2024-12-28 cs.CL
Multilingual Auxiliary Tasks Training: Bridging the Gap between Languages for Zero-Shot Transfer of Hate Speech Detection Models
INRIA（法国国家信息与自动化研究所）
零次跨语言迁移学习已经被证明对于涉及大量语言特性的任务或当语言之间存在文化差异时（例如在仇恨言论检测中）具有高度挑战性。在本文中，我们强调了这种限制仇恨言论检测在几个领域和语言使用严格的实验设置。然后，我们建议对多语言辅助任务进行训练-情感分析，命名实体识别和依赖句法信息的任务-以提高仇恨语音检测模型跨语言的zero-shot传输。我们展示了仇恨言论检测模型如何受益于辅助任务微调带来的跨语言知识代理，并强调了这些任务对弥合语言之间仇恨言论语言和文化差距的积极影响。
2022-10-25 cs.CL
Multilingual Cross-domain Perspectives on Online Hate Speech
CLiPS Research Center（CLiPS研究中心）
在这份报告中，我们提出了一个研究的八个语料库的在线仇恨言论，通过展示的NLP技术，我们用来收集和分析圣战，极端主义，种族主义和性别歧视的内容。对多语种语料库的分析表明，不同语境下的仇恨修辞具有一定的共性。为了揭示文本的主要特征，我们重点研究了文本分类、文本分析、关键词和搭配提取，以及人工标注和定性研究。
2018-09-11 cs.CL
Multilingual Speech Translation with Efficient Finetuning of Pretrained Models
Facebook AI（脸书人工智能研究院）
我们提出了一种简单而有效的方法来建立多语言的语音到文本（ST）的翻译，通过有效的迁移学习从预训练的语音编码器和文本解码器。我们的关键发现是，最小化的LNA（LayerNorm and Attention）微调可以通过仅微调不到10%的预训练参数来实现zero-shot跨语言和跨模态传输能力。这使得能够以低训练成本有效地利用大型预训练模型。使用wav 2 vec 2.0进行声学建模，使用mBART进行多语言文本生成，我们的方法在大规模多语言ST基准测试CoVoST 2上为34个翻译方向（其中23个超过级联ST）提供了最新的技术水平（15个En-X方向平均+6.4 BLEU，19个X-En方向平均+5.1 BLEU）。我们的方法在多对多多语言模型中表现出强大的zero-shot性能（在18个非英语方向上平均+5.7 BLEU），使其成为一种具有吸引力的方法，用于实现高质量的语音翻译，提高参数和数据效率。
2021-01-02 cs.CL
MaSS: A Large and Clean Multilingual Corpus of Sentence-aligned Spoken Utterances Extracted from the Bible
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；LIDILEM（语言、数字、管理、教育与多语制实验室）
CMU Wilderness Multilingual Speech Dataset（Black，2019）是一个新发布的多语言语音数据集，基于新约的记录阅读。它提供的数据可以为潜在的700种语言构建自动语音识别（ASR）和文本到语音（TTS）模型。然而，由于所有语言的源内容（圣经）都是相同的这一事实，迄今为止还没有得到充分利用，因此本文提出在不同语言的语音片段之间添加多语言链接，并共享了一个包含8种语言（56种语言对）的8，130个平行口语的大而干净的数据集。我们将这个语料库命名为MaSS（多语言句子对齐口语语料库）。所涵盖的语言（巴斯克语，英语，芬兰语，法语，匈牙利语，罗马尼亚语，俄语和西班牙语）允许研究语音到语音对齐以及类型不同的语言对的翻译。最终语料库的质量是通过对语料库子集（100个话语，8个语言对）进行的人类评价来证明的。最后，我们展示了最终产品的实用性双语语音检索任务。
2020-02-26 cs.CL
HASOCOne@FIRE-HASOC2020: Using BERT and Multilingual BERT models for Hate Speech Detection
International Institute of Information Technology - Hyderabad（海得拉巴国际信息技术学院）
由于社交媒体的指数增长，仇恨和有毒内容已成为当今世界的一个重大问题。仇恨言论和有害内容的增加促使研究人员在仇恨内容识别的挑战性方向上投入大量精力。在这项任务中，我们提出了一种方法来自动分类仇恨言论和攻击性内容。我们使用了从FIRE 2019和2020共享任务中获得的数据集。我们利用迁移学习模型进行实验。我们观察到预训练的BERT模型和多语言BERT模型给出了最好的结果。该代码可在https://github.com/suman101112/hasoc-fire-2020上免费获得。
2021-01-22 cs.CL
The Multilingual TEDx Corpus for Speech Recognition and Translation
Johns Hopkins University（约翰霍普金斯大学）；University of Maryland（马里兰大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了多语言TEDx语料库，建立支持跨许多非英语源语言的语音识别（ASR）和语音翻译（ST）研究。该语料库收集了8种源语言的TEDx演讲录音。我们将文字稿分割成句子，并将它们与源语言音频和目标语言翻译对齐。该语料库与开源代码一起发布，以便在新的谈话和语言可用时进行扩展。我们的语料库创建方法可以应用到更多的语言比以前的工作，并创建多路并行评估集。我们提供多种ASR和ST设置的基线，包括多语言模型，以提高低资源语言对的翻译性能。
2021-06-15 cs.CL
Automated Gradient-Driven Parameter Sharing for Low-Resource Multilingual Speech-to-Text Translation
School of Data Science（数据科学学院）
本文提出通过挖掘训练梯度信息自动确定层间共享模式的方法，提升多语言语音翻译的收敛性与翻译质量。
2026-09-18 cs.CL
NLP-CUET@LT-EDI-EACL2021: Multilingual Code-Mixed Hope Speech Detection using Cross-lingual Representation Learner
Chittagong University of Engineering and Technology（吉大港工程技术大学）
近年来，已经开发了几个系统来规范负面信息的传播，并从在线平台上消除攻击性，攻击性或辱骂性的内容。然而，为确定积极、鼓励和支持的内容而进行的研究数量有限。在这项工作中，我们的目标是确定社交媒体帖子/评论是否包含希望言论。我们提出了三种不同的模式，以确定希望在英语，泰米尔语和马拉雅拉姆语的讲话，以达到这一目的。为了实现这一目标，我们采用了各种机器学习（支持向量机，逻辑回归，集成），深度学习（卷积神经网络+长短期记忆）和基于Transformer（m-BERT，Indic-BERT，XLNet，XLM-Roberta）的方法。结果表明，XLM-Roberta优于所有其他技术获得加权$f_1$ -分数的$0.93$，$0.60$和$0.85$分别为英语，泰米尔语和马拉雅拉姆语。我们的团队在这三项任务中分别获得了$1^{st}$、$2^{nd}$和$1^{st}$等级。
2021-02-28 cs.CL
Multilingual analysis of intelligibility classification using English, Korean, and Tamil dysarthric speech datasets
Seoul National University（首尔国立大学）
本文分析了构音障碍的语音数据集，从三种不同的韵律系统的语言：英语，韩语和泰米尔语。我们检查了39个声学测量，反映了三个语音维度，包括语音质量，发音和韵律。作为多语言分析，根据可懂度水平对声学测量的平均值进行检查。此外，执行自动可懂度分类以按语言仔细检查最佳特征集。分析表明，发音特征，如正确辅音的百分比，正确元音的百分比，正确音素的百分比是语言独立的测量。然而，语音质量和韵律特征通常因语言而呈现不同的方面。实验结果还表明，不同的语音维度发挥更大的作用，为不同的语言：韵律英语，韩语的发音，韵律和泰米尔语的发音。本文有助于语音病理学，因为它区分语言独立和语言依赖的测量可懂度分类英语，韩语和泰米尔语构音障碍的语音。
2022-11-03 cs.CL
Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching
Stanford University（斯坦福大学）
针对低资源非洲语言语码转换语音数据集过小难以训练模型的问题，提出微调 wav2vec 2.0 XLSR 等自监督多语言表征并结合 n-gram 语言模型，使绝对词错率最多降低 20%，是数据有限时的更优方案。
2023-11-25 cs.CL
Speak in Context: Multilingual ASR with Speech Context Alignment via Contrastive Learning
Institute for Analytics and Data Science, University of Essex（数据分析与科学研究所，埃塞克斯大学）；School of Computer Science and Electronic Engineering, University of Essex（计算机科学与电子工程学院，埃塞克斯大学）
本文提出一种基于对比学习的多语言语音识别框架，通过语境对齐提升识别性能，支持多种语言和口音，实现语音与上下文的高效交互。
2026-08-19 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team（Index LLM 团队）
Index-Translate是一个多语言翻译模型家族，通过共享基础与专门训练结合，在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus
Facebook AI（Facebook人工智能）
由于端到端模型的发展和新语料库的创建，例如增强LibriSpeech和Must-C，口语翻译最近又重新流行起来。现有的数据集涉及以英语作为源语言的语言对，涉及非常特定的领域或资源不足。我们介绍CoVoST，一个从11种语言到英语的多语言语音到文本翻译语料库，拥有超过11，000名发言者和60多种口音。我们描述了数据集创建方法，并提供了数据质量的经验证据。我们还提供初始基准，据我们所知，包括第一个用于口语翻译的端到端多对一多语言模型。CoVoST在CC 0许可证下发布并免费使用。我们还根据CC许可证提供来自Tatoeba的其他评估数据。
2020-06-09 cs.CL
Multilingual Hope Speech Detection: A Comparative Study of Logistic Regression, mBERT, and XLM-RoBERTa with Active Learning
Ekiti State University（埃基蒂州立大学）
本研究提出结合主动学习与多语言变换器（mBERT、XLM-RoBERTa）的希望言语检测框架，在四种语言上验证其优于传统基线，并实现数据高效训练。
2025-09-24 cs.CL cs.LG
cantnlp@DravidianLangTech 2026: organic domain adaptation improves multi-class hope speech detection in Tulu
Lake Washington School District（拉克华盛顿学区）；University of Otago（奥塔哥大学）；Te Pūnaha Matatini
本文提出了一种基于XLM-RoBERTa的文本分类系统，用于检测混合语境下的希望语音。通过有机领域适应，模型在开发集上优于基线系统，表明进一步适应Tulu社交媒体文本可提升混合语境下的希望语音检测。
2026-05-10 cs.CL
Pre-Trained Multilingual Sequence-to-Sequence Models: A Hope for Low-Resource Language Translation?
Sway AI（Sway人工智能公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Toronto（多伦多大学）；University of Moratuwa（莫拉图瓦大学）；IIT(BHU) Varanasi（瓦拉纳西印度理工学院（班纳拉斯印度大学））；Saarland University（萨尔大学）
预训练的多语言序列到序列模型（如mBART）对翻译低资源语言有什么贡献？我们在10种语言中进行了彻底的实证实验来确定这一点，考虑了五个因素：（1）微调数据的数量，（2）微调数据中的噪声，（3）模型中预训练数据的数量，（4）域不匹配的影响，以及（5）语言类型。除了产生几个语法，实验形成了一个框架，用于评估数据的灵敏度的机器翻译系统。虽然mBART对领域差异很强大，但它对看不见的和类型学上遥远的语言的翻译仍然低于3.0 BLEU。在回答我们的标题的问题，mBART不是一个低资源的灵丹妙药;因此，我们鼓励将重点从新模型转移到新数据。
2022-04-30 cs.CL
Multilingual Twitter Corpus and Baselines for Evaluating Demographic Bias in Hate Speech Recognition
Adobe Research（奥多比研究院）
现有的文献分类模型的公平性评价研究主要是使用合成的单语数据，没有地面真理的作者人口统计属性。在这项工作中，我们组装并发布了一个多语言的Twitter语料库的仇恨言论检测的任务推断四个作者的人口统计因素：年龄，国家，性别和种族/民族。语料库涵盖五种语言：英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用众包平台评估推断的人口统计标签，图8。为了检验可能导致偏见的因素，我们对英语语料库进行了人口预测性的实证分析。我们测量四个流行的文档分类器的性能，并评估的公平性和偏见的基线分类器上的作者级的人口统计属性。
2020-03-03 cs.CL
Hopeful_Men@LT-EDI-EACL2021: Hope Speech Detection Using Indic Transliteration and Transformers
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Flipkart Private Limited（Flipkart私人有限公司）
本文的目的是描述我们用来检测HopeEDI数据集中的希望语音的方法。我们试验了两种方法。在第一种方法中，我们使用上下文嵌入来使用逻辑回归、随机森林、SVM和LSTM模型来训练分类器。第二种方法涉及使用11个模型的多数投票集成，这些模型是通过在添加输出层后微调预训练的Transformer模型（BERT、ALBERT、RoBERTa、IndicBERT）获得的。我们发现第二种方法对英语，泰米尔语和马拉雅拉姆语更好。我们的解决方案得到了一个加权的F1得分为0.93，0.75和0.49分别为英语，马拉雅拉姆语和泰米尔语。我们的解决方案在英语中排名第一，在马拉雅拉姆语中排名第八，在泰米尔语中排名第十一。
2021-02-25 cs.CL
Token Merging for Multilingual Speech Recognition: A Systematic Study Across Model Scale and Fine-Tuning
Epoch Learn
本文系统评估了Token合并方法在Whisper多语言语音识别模型上的效果，涵盖16种语言和3种模型规模，发现该方法能显著提升计算效率且几乎不损失准确性，并可与微调兼容。
2026-09-16 cs.CL
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
Turning Speech Language Models into Multilingual Listeners
针对语音语言模型多语言能力不足的问题，提出大规模合成数据集MULTISPEECHQA和基准MULTISPEECH-BENCH，通过微调Qwen 2.5-Omni提升性能，证明合成数据是廉价有效的解决方案。
2026-09-29 cs.CL
Multilingual phonological analysis and speech synthesis
我们给出了一个多语种的语音合成使用IPOX系统的概述。第一部分讨论了正在进行的各种语言的工作：塔什利特柏柏尔语、乌尔都语和荷兰语。第二部分讨论了一种多语种的语音语法，它可以通过设置参数和添加语言特定的细节来适应特定的语言。
1997-07-28 cmp-lg cs.CL
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research（Meta人工智能研究院）
本文提出首个支持多种目标语言的多语言S2ST系统，通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器，在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
Multilingual End-to-End Speech Translation
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Center for Language and Speech Processing, Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）
在本文中，我们提出了一个简单而有效的多语种端到端语音翻译（ST）的框架，在该框架中，源语言的语音话语直接翻译到所需的目标语言与通用序列到序列架构。虽然多语言模型已被证明是有用的自动语音识别（ASR）和机器翻译（MT），这是第一次他们被应用到端到端ST问题。我们展示了多语言端到端ST在两种情况下的有效性：一对多和多对多的翻译与公开可用的数据。我们的实验证实，多语种的端到端ST模型显着优于双语的两种情况下。多语言训练的泛化也在迁移学习场景中评估到非常低资源的语言对。我们所有的代码和数据库都是公开的，以鼓励在这个新兴的多语言ST主题的进一步研究。
2019-10-31 cs.CL eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
CoVoST 2 and Massively Multilingual Speech-to-Text Translation
Facebook AI
语音翻译最近成为一个越来越受欢迎的研究课题，部分原因是基准数据集的发展。然而，目前的数据集涵盖的语言数量有限。为了促进大规模多语言语音翻译和低资源语言对语音翻译的研究，我们发布了CoVoST 2，这是一个大规模多语言语音翻译语料库，涵盖了从21种语言到英语和从英语到15种语言的翻译。这是迄今为止从总量和语言覆盖范围来看最大的开放数据集。数据健全性检查提供有关数据质量的证据，这些数据在CC0许可证下发布。我们还提供广泛的语音识别、双语和多语言机器翻译以及语音翻译基线，并提供开源实现。
2020-10-24 cs.CL cs.SD eess.AS
Multilingual Text Analysis for Text-to-Speech Synthesis
我们提出了一个文本分析的文本到语音（TTS）合成（加权）有限状态传感器的基础上，它作为多语言贝尔实验室TTS系统的文本分析模块的模型。换能器使用的词汇工具包，允许声明性描述的词汇，形态规则，数字扩展规则，语音规则，除其他外。到目前为止，该模型已应用于八种语言：西班牙语，意大利语，罗马尼亚语，法语，德语，俄语，普通话和日语。
1996-08-19 cmp-lg cs.CL
Triple X: A LLM-Based Multilingual Speech Recognition System for the INTERSPEECH2025 MLC-SLM Challenge
本文提出Triple X系统，通过创新的编码器-适配器-LLM架构优化多语言对话场景的语音识别准确率，采用多阶段训练策略提升多语言识别性能，实验结果显示在开发和测试集上取得竞争力的词错误率表现。
2026-03-12 cs.CL eess.AS
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory（上海人工智能实验室）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展，像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别（ASR）的性能方面取得了成功。然而，与监督学习类似，多语言预训练也可能受到语言干扰，并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术，包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务，包括16种语言。我们的实验结果表明，与标准XLSR模型相比，相对增益为14.3%，与没有预训练的多语言模型相比，相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
Massively Multilingual Adversarial Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
我们报告了在多达100种语言上训练的多语言端到端语音识别模型的适应性。我们的研究结果揭示了目标语言和预训练语言之间的语音，音韵，语言家族，地理位置和正字法维度的相似性的相对重要性。在这种情况下，实验证明了两个额外的预训练目标的有效性，鼓励语言独立的编码器表示：一个上下文无关的音素目标配对的语言对抗分类目标。
2019-04-03 cs.CL cs.LG
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research（Facebook AI研究院）
在本文中，我们描述了我们的端到端多语言语音翻译系统，该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先，我们利用通用的多语言模块，这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后，我们的多语言模型在语音翻译任务特定的数据上进行微调，以达到最佳的翻译结果。实验结果表明，我们的系统优于报告的系统，包括端到端和级联的方法，由一个很大的利润。在某些翻译方向上，我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA（谷歌（美国））
我们提出了mSLAM，一种多语言语音和语言模型，它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合，以及配对语音和转录数据的连接主义时间分类（CTC）损失，以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM，发现与仅语音预训练相比，与文本的联合预训练提高了语音翻译，语音意图分类和语音语言识别的质量，同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译，而无需看到任何文本翻译数据，为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调，通过在微调过程中直接利用文本翻译数据，进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战，为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
Enhancing Multilingual Speech Recognition through Language Prompt Tuning and Frame-Level Language Adapter
Meituan（美团）
本文针对多语言语音识别提出语言提示微调和帧级语言适配器两种参数高效方法，分别提升语言可配置与语言无关场景下的识别性能，并在七种语言上验证了显著效果。
2023-09-19 cs.CL cs.SD eess.AS
Deep Learning Models for Multilingual Hate Speech Detection
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
仇恨语音检测是一个具有挑战性的问题，大多数数据集只有一种语言：英语。在本文中，我们对来自16个不同来源的9种语言的多语言仇恨言论进行了大规模分析。我们观察到，在低资源设置中，简单的模型，如激光嵌入逻辑回归表现最好，而在高资源设置BERT为基础的模型表现更好。在zero-shot分类的情况下，诸如意大利语和葡萄牙语的语言实现了良好的结果。我们提出的框架可以作为低资源语言的有效解决方案。这些模型也可以作为未来多语言仇恨言论检测任务的良好基线。我们已经在https://github.com/punyajoy/DE-LIMIT上向其他研究人员公开了我们的代码和实验设置。
2020-12-09 cs.CL cs.SI
