TransPOS: Transformers for Consolidating Different POS Tagset Datasets
Carnegie Mellon University（卡内基梅隆大学）；JPMorgan AI Research（摩根大通人工智能研究院）
为了扩展训练数据，研究人员通常希望合并使用不同标记方案创建的两个或更多个数据集。本文考虑了两个数据集，标签的词性（POS）标签在不同的标签方案，并利用一个数据集的监督标签，以帮助生成标签的其他数据集。本文进一步讨论了这种方法的理论困难，并提出了一种新的监督架构，采用Transformers来解决合并两个完全不相交的数据集的问题。结果偏离了最初的预期，并阻止探索使用不相交的标签来合并具有不同标签的数据集。
2022-09-24 cs.AI cs.CL cs.LG
QuranMorph: Morphologically Annotated Quranic Corpus
Birzeit University（贝鲁特耶鲁兹大学）
本文介绍QuranMorph，一个由专家手工标注的《古兰经》形态学语料库，包含77,429个词符，利用Qabas词元及40标签的SAMA/Qabas词性标签集，实现与多种语言资源的互连，并开源发布。
2025-06-22 cs.AI cs.CL
Crowdsourcing Universal Part-Of-Speech Tags for Code-Switching
Columbia University（哥伦比亚大学）
语码转换是双语者在交际过程中在多种语言之间转换的现象。考虑到大量人口经常进行代码转换，开发代码转换数据的语言技术的重要性是巨大的。高质量的语言注释对于任何NLP任务都是非常有价值的，并且性能通常受到高质量标记数据量的限制。然而，很少有这样的数据存在语码转换。在本文中，我们描述了众包通用的词性标记的迈阿密班戈语料库的西班牙语-英语代码切换语音。我们将注释任务分为三个子任务：一个是自动标记标记的一个子集，一个是专门设计用于消除高频词子集歧义的问题，以及一个更通用的级联方法，用于剩余数据，其中问题按照决策树结构显示给工作人员。每个子任务都经过扩展并适应多语言环境和通用标记集。注释过程的质量通过使用黄金标签注释的隐藏检查问题来衡量。对于三个标签，黄金标准标签和多数投票之间的总体一致性在0.95到0.96之间，而词性标签的平均召回率在0.87到0.99之间，具体取决于任务。
2017-03-24 cs.CL
Tagging French Without Lexical Probabilities -- Combining Linguistic Knowledge And Statistical Learning
本文探讨了法语的形态句法歧义，以开发一种用于词性消歧的策略，该策略a）反映了法语作为一种变形语言的复杂性，b）优化了概率的估计，c）允许用户灵活地选择标记集。从有限的训练语料库中提取词汇概率的问题在于，统计模型可能不一定代表特定上下文中特定单词的使用。在一个高度形态变化的语言中，这个论点特别严重，因为一个词可以用大量的词性来标记。由于缺乏足够的训练数据，我们反对估计词汇概率来消除无限制文本中的词性歧义。相反，我们使用上下文概率的强度以及我们称之为“基因型”的特征，一组与单词相关的标签。利用这些知识，我们已经建立了一个部分的语音标签，结合语言和统计方法：上下文信息是由语言规则和n-gram的概率上的部分语音消歧估计，以消除其余的歧义标签。
1997-10-10 cmp-lg cs.CL
Towards Language-Universal End-to-End Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Microsoft AI & Research（微软人工智能与研究）
用多种语言构建语音识别器通常涉及为每种语言复制单语训练配方，或者利用多任务学习方法，其中不同语言的模型具有单独的输出标签，但共享一些内部参数。在这项工作中，我们利用端到端语音识别的最新进展，创建一个单一的多语种语音识别系统，能够识别任何看到的语言训练。为此，我们建议使用所有语言共享的通用字符集。我们还在网络中创建了一个特定于语言的门控机制，可以以特定于语言的方式调节网络的内部表示。我们评估了我们提出的方法在三种语言的Microsoft Cortana任务，并表明我们的系统优于单独的单语系统和多任务学习方法构建的系统。我们还表明，该模型可用于初始化单语语音识别器，并可用于创建一个双语模型中使用的代码切换的情况下。
2017-11-06 cs.CL
Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages
The Johns Hopkins University（约翰斯·霍普金斯大学）；Brno University of Technology（布尔诺理工大学）；Raytheon BBN Technologies（雷神BBN技术公司）
自动语音识别（ASR）系统通常需要针对资源极低的语言来开发，以服务于诸如音频内容分类和搜索之类的最终用途。虽然当没有转录语音可用于训练一种语言的ASR系统时，考虑通用电话识别是很自然的，但是还需要研究使用非常少量（几分钟而不是几小时）的转录语音来适应通用电话模型，特别是使用最先进的基于DNN的声学模型。DARPA LORELEI计划为这种资源非常少的ASR研究提供了一个框架，并为评估人道主义援助和救灾环境中的ASR性能提供了一个外在指标。本文介绍了我们的Kaldi为基础的系统的程序，它采用了通用的电话建模方法ASR，并描述了非常快速适应这个通用的ASR系统的配方。我们获得的结果显著优于NIST LoReHLT 2017评估数据集上许多竞争方法获得的结果。
2018-06-18 cs.CL
USA: Universal Sentiment Analysis Model & Construction of Japanese Sentiment Text Classification and Part of Speech Dataset
Yokohama National University（横滨国立大学）；Pusan National University（釜山国立大学）
本文提出通用情感分析（USA）模型，利用单词与文本间的相互增强效应（MRE）并构建四个SCPOS数据集，在四项任务上超越gpt-3.5-turbo。
2023-09-14 cs.CL
XTREME-S: Evaluating Cross-lingual Speech Representations
Google Research（谷歌研究院）；Hugging Face（拥抱脸（Hugging Face））；Meta AI
我们介绍XTREME-S，一个新的基准来评估通用的跨语言的语音表示在许多语言。XTREME-S涵盖四个任务系列：语音识别、分类、语音到文本翻译和检索。XTREME-S涵盖来自10多个语言家族、3个不同领域和4个任务家族的102种语言，旨在简化多语言语音表征评估，并促进“通用”语音表示学习的研究。本文描述了新的基准测试，并在所有下游任务上使用XLS-R和mSLAM建立了第一个纯语音和语音文本基线。我们激励设计选择和详细说明如何使用基准。数据集和微调脚本可以在https://hf.co/datasets/google/xtreme_s上轻松访问。
2022-04-13 cs.CL
The NLP Engine: A Universal Turing Machine for NLP
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
人们普遍认为，机器翻译是一个更复杂的任务比词性标注。但有多复杂呢？在本文中，我们试图开发一个通用的框架和方法来计算NLP应用程序和任务的信息和/或处理复杂性。我们定义了一个类似于车削机的通用框架，试图将（大多数）NLP任务放入一个范式中。我们使用Shannon熵的度量来计算各种NLP任务的复杂性，并将“简单”任务（如词性标注）与“复杂”任务（如机器翻译）进行比较。本文提供了第一个，虽然远不完美，试图量化NLP任务下的一个统一的范式。我们指出目前的不足之处，并提出一些富有成效的研究途径。
2015-02-28 cs.CL
SpeechNet: A Universal Modularized Model for Speech Processing Tasks
National Taiwan University（台湾大学）；NVIDIA（英伟达）；NVIDIA AI Technology Center（英伟达人工智能技术中心）
存在范围从从语音信号提取内容信息到生成语音信号的各种语音处理任务。对于不同的任务，模型网络通常是单独设计和调整的。如果一个通用模型可以执行多个语音处理任务，那么一些任务可能会通过从其他任务中学习到的相关能力得到改进。具有通用模型的各种语音处理任务的多任务学习尚未被研究。本文提出了一个通用的模块化模型SpeechNet，它将所有的语音处理任务都处理成语音/文本输入和语音/文本输出格式。我们选择了五个基本的语音处理任务的多任务学习实验与SpeechNet。我们证明了SpeechNet学习了所有上述任务，并进一步分析了哪些任务可以通过其他任务来改进。SpeechNet是模块化的，灵活的，可以在未来加入更多的模块，任务或培训方法。我们发布的代码和实验设置，以促进模块化的通用模型和语音处理任务的多任务学习的研究。
2021-05-31 cs.CL cs.LG cs.SD
SpeechCaps: Advancing Instruction-Based Universal Speech Models with Multi-Talker Speaking Style Captioning
National Taiwan University（台湾大学）；University of Southern California（南加州大学）
本文提出多说话人说话风格字幕生成任务，利用大语言模型生成描述并以此预训练结合指令微调模型，显著提升了通用语音模型在Dynamic-SUPERB等基准上的说话人与情感识别等性能。
2024-08-25 cs.CL eess.AS
FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
Meta AI Research（Meta人工智能研究院）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了FLEURS，通用语音表示基准的少样本学习评估。FLEURS是一个基于机器翻译FLoRes-101基准测试的102种语言的n路并行语音数据集，每种语言大约有12小时的语音监控。FLEURS可用于各种语音任务，包括自动语音识别（ASR）、语音语言识别（Speech LangID）、翻译和检索。在本文中，我们为基于mSLAM等多语言预训练模型的任务提供了基线。FLEURS的目标是使语音技术在更多的语言和催化低资源语音理解的研究。
2022-05-25 cs.CL cs.LG cs.SD
Self-Supervised Models of Speech Infer Universal Articulatory Kinematics
UC Berkeley（加州大学伯克利分校）；Rembrand（伦勃朗）；Carnegie Mellon University（卡内基梅隆大学）
本文揭示语音自监督模型能够从声学信号推断通用发音运动学，且该能力跨语言、性别和方言可迁移，为构建可解释的语言无关语音模型提供新方向。
2024-01-16 cs.CL eess.AS
UR-BERT: Scaling Text Encoders for Massively Multilingual TTS Through Universal Romanization and Speech Token Prediction
Dept. of Electronics and Electrical Engineering, Yonsei University（延世大学电子与电气工程系）
提出UR-BERT，一种基于罗马化转录的TTS编码器，通过统一书写系统为罗马化表示，结合语音标记预测目标，在495种语言上实现高效多语言TTS，优于现有基线并泛化到未见语言。
2026-06-12 cs.CL cs.SD
USAD: Universal Speech and Audio Representation via Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
USAD通过从领域特定SSL模型进行逐层蒸馏，将语音、声音和音乐统一到一个音频表示模型中，在SUPERB和HEAR等基准上以单一编码器取得接近最先进水平的性能。
2025-08-18 cs.CL cs.SD eess.AS
Differentiable Allophone Graphs for Language-Universal Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）
建立语言通用的语音识别系统需要产生可以在不同语言之间共享的语音单元。虽然在语言特定的音素或表面级别的语音注释是容易获得的，但在通用音素级别的注释相对较少并且难以产生。在这项工作中，我们提出了一个通用的框架，以获得语音级的监督，只有音素transmittance和音素到音素的映射与可学习的权重表示使用加权有限状态转换器，我们称之为可微的allophone图。通过多语言训练，我们建立了一个通用的基于音素的语音识别模型，每个语言都有可解释的概率音素到音素映射。语言学家可以使用这些基于音素的系统来记录新的语言，构建基于音素的词典，以捕捉丰富的发音变化，并重新评估所见语言的音素映射。我们证明了我们提出的框架的上述好处与7种不同的语言训练的系统。
2021-07-24 cs.CL cs.SD eess.AS
Bagpiper-TTS: Natural Language Guided Universal Speech Synthesis
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；LY Corporation；NVIDIA Research（英伟达研究院）
提出Bagpiper-TTS，通过自然语言提示推理用户意图生成丰富描述，再合成语音，支持多说话人、意图转语音、角色扮演、歌声合成等任务，在Seed-TTS-Eval上WER为1.7%。
2026-06-23 cs.AI cs.CL
Muting Whisper: A Universal Acoustic Adversarial Attack on Speech Foundation Models
本文提出一种通用声学对抗攻击，通过学习Whisper的<|endoftext|>标记的声学实现并前置到语音上，使模型忽略语音并仅转录该标记，实现97%以上样本的静音效果，且可跨数据集迁移，既带来风险也有隐私保护等潜在益处。
2024-07-17 cs.CL cs.SD eess.AS
Semantic Space of Parts of Speech
该研究利用word2vec嵌入和神经网络降维技术，分析词性分类的模糊性，通过构建三维语义空间可视化多语言词性间关系，揭示原型词与边界词。
2026-08-18 cs.CL
Part of Speech and Universal Dependency effects on English Arabic Machine Translation
在这篇研究论文中，我将详细介绍一种方法来评估机器翻译模型的基础上，他们的表现对英语和阿拉伯语之间的潜在句法现象。这种方法尤其重要，因为这种“神经”和“机器学习“很难微调和改变。因此，找到一种方法来评估他们容易和麻烦将大大有助于改善他们的任务。
2021-06-03 cs.AI cs.CL cs.LG
CUPE: Contextless Universal Phoneme Encoder for Language-Agnostic Speech Processing
Bournemouth University（博尔蒙德大学）
本文提出轻量级模型 CUPE，在约 120 毫秒的音素长度窗口内独立捕获无上下文的通用音素特征，以较少参数实现有竞争力的跨语言语音处理性能。
2025-08-21 cs.CL cs.LG eess.AS
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge（剑桥大学）
本文提出一种通用声学对抗攻击方法，通过在输入语音前添加简短的对抗性声学片段，无需访问模型提示即可覆盖 ASR 基础模型的设置，成功控制 Whisper 模型将语音转录强制转变为语音翻译，揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
Redefining part-of-speech classes with distributional semantic models
University of Oslo（奥斯陆大学）
本文研究了在英国国家语料库上训练的词嵌入如何与词性边界相互作用。我们的工作目标是通用PoS标签集，该标签集目前正积极用于一系列语言的注释。我们尝试训练分类器，根据它们的嵌入来预测单词的PoS标签。结果表明，PoS隶属关系的分布向量中所包含的信息，使我们能够发现与其他词的相同的词性的分布模式，不同的字组。这些数据经常揭示注释过程或指南中隐藏的不一致性。与此同时，它支持“软”或“分级”的词性归属的概念。最后，我们证明了关于PoS的信息分布在几十个向量分量中，而不仅仅限于一两个特征。
2016-08-12 cs.CL
Universal Acoustic Adversarial Attacks for Flexible Control of Speech-LLMs
ALTA Institute, Department of Engineering, University of Cambridge（ALTA研究院，工程系，剑桥大学）
本研究针对语音大语言模型的安全漏洞，提出前置固定通用对抗音频的攻击方法，可实现无输出、改任务及属性选择性攻击，验证了Qwen2-Audio等模型的脆弱性，为提升模型鲁棒性提供依据。
2025-05-20 cs.CL cs.SD eess.AS
Language-Universal Adapter Learning with Knowledge Distillation for End-to-End Multilingual Speech Recognition
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个语言通用的适配器学习框架的基础上，预先训练的模型，端到端的多语言自动语音识别（ASR）。对于声学建模，wav2vec 2.0预训练模型通过插入特定语言和通用语言适配器进行微调。然后使用在线知识蒸馏来使语言通用适配器能够学习语言特定的和通用的特征。利用语言标识符（LID）也减少了语言信息的混乱。使用LID，我们对多头注意力输出进行位置方面的修改。在推理过程中，特定于语言的适配器被移除，而语言通用适配器保持激活。该方法提高了识别精度，并解决了常见的多语种自动语音识别系统中适配器参数数量随语种数量线性增加的问题。在BABEL数据集上的实验证实了该框架的有效性。与传统的多语言模型相比，实现了3.3%的绝对出错率降低。该代码可从以下网址获得：https://github.com/shen9712/UniversalAdapterLearning。
2023-02-28 cs.CL cs.SD eess.AS
UniCoM: A Universal Code-Switching Speech Generator
Dept. of Electrical & Electronic Engineering, Yonsei University（电子与电气工程系，延世大学）
本文提出通用语码混合器UniCoM及SWORDS算法，通过词性感知的翻译替换生成自然语码转换语音，并构建CS-FLEURS数据集，在ASR和S2TT任务上表现与现有数据集相当。
2025-08-21 cs.CL cs.SD eess.AS
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance（字节跳动）
本文提出利用IPA多语言模型生成帧级伪标签，以音素信息指导方式引导HuBERT预训练，在低资源ASR任务中持续优于标准HuBERT，节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
Sylber 2.0: A Universal Syllable Embedding
University of California, Berkeley, CA, USA（加州大学伯克利分校）；Carnegie Mellon University, PA, USA（卡内基梅隆大学）
Sylber 2.0通过自监督框架实现低频音节嵌入，支持多语言和风格，提升语音建模效率与质量。
2026-01-29 cs.CL eess.AS
Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
本文提出一种通用压缩策略，通过跨层重用注意力图移除键和查询参数，并结合掩码蒸馏同时利用掩码与未掩码帧，在SUPERB上取得PER 7.72%和WER 9.96%的成绩。
2023-10-26 cs.CL cs.LG eess.AS
ML-SUPERB: Multilingual Speech Universal PERformance Benchmark
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Meta AI；Rembrand（伦勃朗）
本文提出ML-SUPERB，一个覆盖143种语言的多语言语音基准，评估SSL模型在语音识别和语言识别上的性能，发现SSL特征显著优于FBANK，且多语言模型并非总优于单语言模型。
2025-02-24 cs.CL cs.SD eess.AS
Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Microsoft Corporation（微软公司）；Microsoft Research Asia（微软亚洲研究院）
提出Convex Gate（C-Gate）桥接语音与LLM，通过凸包约束将语音表示限制在LLM输入嵌入流形内，在ASR和情感识别上取得联合最优性能，并揭示几何结构而非离散性是关键设计因素。
2026-10-16 cs.CL eess.AS
Characterizing the temporal dynamics of universal speech representations for generalizable deepfake detection
Veermata Jijabai Technological Institute（维尔马塔·吉贾拜技术学院）；INRS-EMT（国家科学研究所能源、材料与电信中心）
针对深度伪造语音检测对未见攻击泛化性不足的问题，提出刻画通用语音表征长期时间动态的新方法，在 ASVspoof 2019 和 2021 数据集上显著优于基准方法。
2023-09-15 cs.CL cs.SD eess.AS
Language-Universal Speech Attributes Modeling for Zero-Shot Multilingual Spoken Keyword Recognition
Georgia Institute of Technology（佐治亚理工学院）；Università degli Studi di Palermo（巴勒莫大学）；Norwegian University of Science and Technology（挪威科技大学）
提出基于Wav2Vec2.0和通用语音属性的语言通用端到端SKR方法，结合领域对抗训练，在已见和零样本未见语言中均显著降低词错误率，优于传统字符与音素方法。
2024-06-04 cs.CL cs.SD eess.AS
SUPERB: Speech processing Universal PERformance Benchmark
Amazon（亚马逊）
自监督学习（SSL）已被证明对于推进自然语言处理（NLP）和计算机视觉（CV）的研究至关重要。该范例在大量未标记数据上预训练共享模型，并以最小的适应性为各种任务实现最先进的（SOTA）。然而，语音处理社区缺乏类似的设置来系统地探索范式。为了弥补这一差距，我们引入了语音处理通用性能基准测试（SUPERB）。SUPERB是一个排行榜，以最小的架构更改和标记数据为基准，在广泛的语音处理任务中对共享模型的性能进行基准测试。在共享模型的多种使用中，我们特别关注提取从SSL学习的表示，因为它具有更好的可重用性。我们提出了一个简单的框架，通过在冻结的共享模型之上学习任务专用的轻量级预测头来解决SUPERB任务。我们的研究结果表明，该框架是有前途的SSL表示在SUPERB任务中表现出竞争力的普遍性和可访问性。我们发布SUPERB作为一个挑战，带有排行榜和基准工具包，以推动表示学习和通用语音处理的研究。
2021-10-15 cs.CL cs.SD eess.AS
SpidR-Adapt: A Universal Speech Representation Model for Few-Shot Adaptation
Meta AI；ENS-PSL, EHESS, CNRS（ENS-PSL，EHESS，CNRS）
本文提出SpidR-Adapt，通过元学习框架实现语音单元在新语言中的快速适应，采用多任务自适应预训练协议和一阶双层优化方法，实现数据高效的语言建模性能。
2026-04-20 cs.AI cs.CL
From Universal Language Model to Downstream Task: Improving RoBERTa-Based Vietnamese Hate Speech Detection
Sun Asterisk Inc（太阳星公司）；Le Quy Don Technical University（黎贵敦技术大学）
自然语言处理是人工智能的一个快速发展的领域。自2017年Google推出Transformer以来，BERT、GPT、ELMo等大量语言模型都受到了该架构的启发。这些模型在巨大的数据集上进行了训练，并在自然语言理解方面取得了最先进的结果。然而，针对下游任务在小得多的数据集上微调预训练的语言模型需要精心设计的流水线以减轻数据集的问题，例如缺乏训练数据和不平衡的数据。在本文中，我们提出了一个管道，以适应通用的RoBERTa语言模型的一个特定的文本分类任务：越南仇恨语音检测。我们首先通过在Masked语言模型任务上重新训练模型来调整数据集上的PhoBERT;然后，我们使用其编码器进行文本分类。为了在学习新特征表示的同时保留预训练的权重，我们进一步利用了不同的训练技术：层冻结，块式学习率和标签平滑。我们的实验证明，我们提出的管道显着提高了性能，实现了一个新的国家的最先进的越南仇恨语音检测活动与0.7221 F1得分。
2021-02-24 cs.CL cs.LG
UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training
Microsoft（微软公司）
自监督学习（SSL）是语音处理的一个长期目标，因为它利用了大规模的未标记数据，避免了大量的人工标记。近年来，自监督学习在语音识别中的应用取得了巨大的成功，而SSL在说话人特征建模方面的探索还很有限。在本文中，我们的目标是改善现有的SSL框架的说话人表示学习。介绍了两种增强无监督说话人信息抽取的方法。首先，我们将多任务学习应用到当前的SSL框架中，其中我们将话语对比损失与SSL目标函数相结合。第二，为了更好地区分说话人，我们提出了一种用于数据增强的话语混合策略，其中额外的重叠话语在训练过程中被无监督地创建和合并。我们将所提出的方法集成到HuBERT框架中。在SUPERB基准测试上的实验结果表明，该系统在通用表示学习，特别是面向说话人辨识的任务中，取得了较好的性能.进行消融研究，验证每种方法的有效性。最后，我们将训练数据集扩展到9.4万小时的公共音频数据，并在所有SUPERB任务中实现了进一步的性能提升。
2021-10-12 cs.CL cs.SD eess.AS
Tusom2021: A Phonetically Transcribed Speech Dataset from an Endangered Language for Universal Phone Recognition Experiments
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）；Georgia Institute of Technology（佐治亚理工学院）
人们对能够以独立于语言的方式识别电话的ASR系统越来越感兴趣。此外，还有兴趣为低资源和濒危语言构建语言技术。然而，可用于测试此类系统和技术的现实数据非常缺乏。本文介绍了一个公开可用的，语音转录语料库的2255话语（单词和短语）濒危唐古拉语东Tusom（没有ISO 639-3代码），藏缅语的变化，主要是在印度。因为数据集是根据音素而不是音素转录的，所以它比许多更大的（音素转录的）数据集更适合通用音素识别系统。本文描述了该数据集及其生成方法，并进一步介绍了该数据集上最先进的通用电话识别系统的基本基准，作为未来实验的基线。
2021-04-02 cs.CL cs.SD eess.AS
Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种多语言口吃语音评估框架，结合通用音素识别与语言特定音素对比建模，提出三个新指标以评估语音可懂度。
2026-02-11 cs.CL cs.SD eess.AS
TRILLsson: Distilled Universal Paralinguistic Speech Representations
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
自我监督的最新进展显着提高了语音表示的质量。然而，在设备上部署最先进的嵌入模型由于其有限的公共可用性和巨大的资源占用而受到限制。我们的工作通过公开发布一系列小型且接近最先进性能的非语言学语音模型来解决这些问题。我们的方法基于知识蒸馏，我们的模型仅基于公共数据。我们探索不同的架构，并在非语义语音（NOSS）基准上彻底评估我们的模型。我们最大的蒸馏模型的大小不到原始模型的15%（314MB vs 2.2GB），在7个任务中的6个任务上达到了96%以上的准确率，并在6.5%的数据上进行了训练。最小的模型大小为1%（22MB），在7个任务中的6个任务上达到了90%以上的准确率。我们的模型在7个任务中的6个任务上优于开源Wav2Vec 2.0模型，我们最小的模型在两个情感识别任务上都优于开源Wav2Vec 2.0，尽管大小只有开源Wav2Vec 2.0的7%。
2022-03-20 cs.CL cs.LG cs.SD
Language-universal phonetic encoder for low-resource speech recognition
ByteDance（字节跳动）
本文首次在注意力编码器-解码器架构内利用基于国际音标的语言通用音素模型提升低资源ASR性能，并提出适应方法，在极端低资源及不匹配场景下优于基线与多数先进工作。
2023-05-19 cs.CL cs.SD eess.AS
IndicSUPERB: A Speech Processing Universal Performance Benchmark for Indian languages
Indian Institute of Technology, Madras（马德拉斯印度理工学院）；AI4Bharat；Microsoft（微软）
人工智能研究的一个基石是创建和采用标准化的训练和测试数据集，以标记最先进模型的进展。一个特别成功的例子是用于训练和评估英语自然语言理解（NLU）模型的GLUE数据集。围绕基于自监督BERT的语言模型的大量研究都围绕着GLUE中NLU任务的性能改进。为了评估其他语言的语言模型，创建了几个特定于语言的GLUE数据集。言语语言理解（SLU）领域也遵循类似的轨迹。大型自监督模型（如wav 2 vec 2）的成功使语音模型的创建相对容易访问未标记的数据。然后可以在SLU任务上评估这些模型，例如SUPERB基准。在这项工作中，我们通过发布IndicSUPERB基准测试将其扩展到印度语言。具体而言，我们做出以下三点贡献。(i)我们收集了来自印度203个地区的1，218名贡献者的Kathbath，其中包含1，684小时的12种印度语言的标记语音数据。(ii)使用Kathbath，我们创建了6个语音任务的基准测试：自动语音识别，说话人验证，说话人辨识（单声道/多声道），语言识别，按示例查询，以及12种语言的关键字定位。(iii)在发布的基准测试中，我们训练和评估不同的自监督模型以及常用的基线FBANK。我们发现，语言特定的微调模型在大多数任务上比基线更准确，包括语言识别任务的76%的大差距。然而，对于说话人辨识，在大数据集上训练的自监督模型表现出优势。我们希望IndicSUPERB有助于为印度语言开…
2022-12-15 cs.CL cs.SD eess.AS
Towards Universal End-to-End Affect Recognition from Multilingual Speech by ConvNets
The Hong Kong University of Science and Technology（香港科技大学）；Human Language Technology Center, Department of Electronic and Computer Engineering（电子与计算机工程系人类语言技术中心）
我们提出了一个端到端的影响识别方法，使用卷积神经网络（CNN），处理多种语言，应用程序的情感和个性识别语音。我们奠定了一个通用模型的基础，该模型可以同时在多种语言上进行训练。由于影响在所有语言中共享，因此我们能够利用语言之间的共享信息，并提高每种语言的整体性能。与仅用每种语言训练的相同模型相比，我们在情感上平均提高了12.8%，在个性上平均提高了10.1%。它是端到端的，因为我们直接将窄带原始波形作为输入。这允许我们接受从任何源记录的音频作为输入，并避免特征提取的开销和信息丢失。基于F分数，它比使用频谱图作为输入的类似CNN在情感方面的表现高12.8%，在个性方面高6.3%。对网络参数和层激活的分析表明，网络学习并提取了第一层中的重要特征，特别是音调，能量和轮廓变化。随后的卷积层通过分析超音段特征来捕获特定于语言的表示。我们的模型代表了一个完全通用的影响识别器的发展，能够识别额外的描述符，如压力，并为未来的情感互动系统的实施的重要一步。
2019-01-19 cs.CL cs.LG eess.AS
Miipher-2: A Universal Speech Restoration Model for Million-Hour Scale Data Restoration
Google DeepMind（谷歌DeepMind）
本文提出 Miipher-2 通用语音修复模型，利用冻结 USM、并行适配器和 WaveFit 声码器，实现多语言、无条件且高效的百万小时训练数据清洗。
2025-07-23 cs.CL cs.SD eess.AS
A Chinese Heart Failure Status Speech Database with Universal and Personalised Classification
School of Information Science and Technology（信息科学与技术学院）；Advanced Computing and Storage Laboratory, 2012 Laboratories（先进计算与存储实验室）；Institute of High Performance Computing（高性能计算研究所）
本文构建了首个中国心衰患者语音数据库，通过住院前后配对录音验证汉语心衰检测有效性，并提出自适应频率滤波器分析频率重要性。
2025-08-12 cs.AI cs.CL cs.SD
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Alibaba（阿里巴巴）
提出emotion2vec，首个通用语音情感表征模型，通过自监督在线蒸馏结合话语级和帧级损失预训练，在IEMOCAP及10种语言数据集上超越现有模型，并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Universal Robust Speech Adaptation for Cross-Domain Speech Recognition and Enhancement
Department of Computer Science and Information Engineering, National Taiwan Normal University（计算机科学与信息工程系，台湾国立正常大学）；United Link Co., Ltd.（联合链接有限公司）；Institute of Information Science, Academia Sinica（学术院信息科学研究所）
URSA-GAN通过双嵌入架构和动态随机扰动技术，提升跨域语音识别与增强的鲁棒性和泛化能力。
2026-03-01 cs.CL cs.LG cs.SD
SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities
National Taiwan University（台湾大学）；Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI；Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；LXT
近年来，迁移学习被证明是推进语音和自然语言处理研究的关键。在语音中，通过自监督学习预训练的模型在多个任务上的转移非常好。然而，缺乏一致的评价方法限制了对这些模式功效的全面理解。SUPERB是朝着引入通用基准迈出的一步，用于评估各种语音任务中的预训练模型。在本文中，我们介绍了SUPERB-SG，这是一个新的基准测试，专注于通过增加SUPERB的任务多样性和难度来评估预训练模型的语义和生成能力。我们使用一种轻量级的方法来测试预训练模型在不同类型任务的数据域和质量变化下学习的表示的鲁棒性。它需要冻结预先训练的模型参数，只使用简单的特定于任务的可训练头。目标是包容所有研究人员，并鼓励有效利用计算资源。我们还表明，SUPERB-SG的任务多样性加上有限的任务监督是一个有效的配方，用于评估模型表示的泛化能力。
2022-03-14 cs.CL cs.SD eess.AS
Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale
FAIR（基础人工智能研究院）；Hebrew University of Jerusalem（希伯来大学）；Fundamental AI Research (FAIR), Meta（Meta基础人工智能研究院（FAIR））
提出Voicebox，一种基于非自回归流匹配的大规模文本引导多语言语音生成模型，通过上下文学习实现零样本TTS等任务，在可懂度和相似度上优于VALL-E且速度提升20倍。
2023-10-19 cs.CL cs.LG cs.SD
M3D-GAN: Multi-Modal Multi-Domain Translation with Universal Attention
SUNY Buffalo（纽约州立大学布法罗分校）；Microsoft Research（微软研究院）；Microsoft Cognition（微软认知）
生成对抗网络在跨模态/域翻译方面取得了重大进展。然而，通常这些网络是为特定任务（例如，对话生成或图像合成，但不是两者）。我们提出了一个统一的模型，M3 D-GAN，它可以在广泛的模式（例如，文本、图像和语音）和域（例如，图像中的属性或语音中的情感）。我们的模型包括模态转换器，将来自不同模态的数据转换为统一的表示，以及一个统一的计算主体，来自不同模态的数据共享相同的网络架构。我们引入了一个通用注意力模块，该模块与整个网络联合训练，并学会将大范围的领域信息编码到高度结构化的潜在空间中。我们用它来控制合成的新方法，如从草图中产生不同的现实图片或改变合成语音的情感。我们在广泛的基准任务上评估我们的方法，包括图像到图像，文本到图像，图像描述，文本到语音，语音识别和机器翻译。我们的研究结果显示了一些任务的最先进的性能。
2019-07-09 cs.CL cs.CV cs.LG
Beyond Universal Transformer: block reusing with adaptor in Transformer for automatic speech recognition
NTNU（挪威科技大学）；KU Leuven（鲁汶大学）；National Institute of Informatics（国立信息学研究所）；Zhejiang University（浙江大学）
针对边缘设备ASR模型参数量大的问题，提出块重用策略BRST与适配器模块ADM，在AISHELL-1上仅用7.6M/8.3M参数即实现9.3%/6.63%的CER，有效平衡了资源限制与识别准确率。
2023-04-05 cs.CL cs.SD eess.AS
USAT: A Universal Speaker-Adaptive Text-to-Speech Approach
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
本文提出统一零样本与少样本说话人自适应的TTS框架USAT，通过创新判别器、记忆机制和适配器解决泛化不足、灾难性遗忘等问题，并兼顾非母语口音场景。
2024-04-28 cs.AI cs.CL cs.SD
Universal Automatic Phonetic Transcription into the International Phonetic Alphabet
University of Notre Dame（圣母大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google（谷歌）
本文提出一种基于wav2vec 2.0的通用语音转IPA模型，利用CommonVoice 11.0七种语言的高质量半自动转写数据进行微调，以更小数据集取得与Wav2Vec2Phoneme相当或更优的性能，并接近人类标注水平。
2023-08-07 cs.CL cs.SD eess.AS
A Grounded Unsupervised Universal Part-of-Speech Tagger for Low-Resource Languages
Charles University in Prague（布拉格查理大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Southern California（南加州大学）
无监督词性标注通常被视为一个聚类问题，但实际的标注者也需要对它们的聚类进行\textit{ground}。基础通常需要引用标记的数据，这是低资源语言可能没有的奢侈。在这项工作中，我们描述了一种低资源的无监督POS标记，产生完全接地输出，不需要标记的训练数据的方法。我们发现Brown等人（1992）的经典方法在我们的用例中很好地聚类，并采用基于解密的方法来接地。这种方法假定一个簇ID序列是一个“密文”，并寻求一个POS标签到簇ID的映射，这将揭示POS序列。我们从本质上表明，尽管任务的难度，我们在各种语言中获得合理的性能。我们还表明，将我们的POS标签到一个名称标签导致国家的最先进的标记性能在僧伽罗语和基尼亚卢旺达语，两种语言几乎没有标记的POS数据。我们通过将其并入Malopa的真正“零资源”变体（Ammar等人，2016）依赖解析器模型，消除了当前对多语言资源和新语言的黄金POS标签的依赖。实验表明，包括我们的标签弥补了大部分的准确性损失时，黄金POS标签不可用。
2019-04-10 cs.AI cs.CL cs.LG
