Bottleneck Low-rank Transformers for Low-resource Spoken Language Understanding
KU Leuven（鲁汶大学）
端到端口语语言理解（SLU）系统受益于大型语料库的预训练，然后对特定于应用程序的数据进行微调。生成的模型对于边缘应用程序来说太大了。例如，基于BERT的系统包含超过1.1亿个参数。观察模型是过参数化，我们提出精益Transformer结构的注意力机制的维度自动减少使用组稀疏。我们提出了一个变体，其中学习到的注意力子空间被转移到注意力瓶颈层。在低资源设置和没有预训练的情况下，由此产生的紧凑SLU模型实现了与预训练的大型模型竞争的精度。
2022-06-28 cs.CL cs.LG eess.AS
CNN-based Spoken Term Detection and Localization without Dynamic Programming
Bar-Ilan University（巴伊兰大学）
在本文中，我们提出了一个口语术语检测算法，同时预测和定位的词汇表内和词汇表外的音频段内的条款。该算法通过预测语音信号的各个部分的词嵌入并将其与所需术语的词嵌入进行比较来推断术语是否在给定的语音信号内发出。该算法利用一个现有的嵌入空间的任务，并不需要训练一个特定于任务的嵌入空间。在推理时，该算法同时预测目标项的所有可能位置，并且不需要动态规划进行最优搜索。我们评估我们的系统上读语音语料库的几个口语术语检测任务。
2021-03-07 cs.LG cs.SD eess.AS
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然Transformers在口语语言理解（SLU）和语音翻译（ST）等语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们采取的第一步流SLU和同步ST使用块流式Transformer，这是基于上下文块处理和块同步束搜索。此外，我们还针对流媒体SLU任务设计了一种基于自动语音识别（ASR）的中间损失正则化方法，以进一步提高分类性能。对于同时ST任务，我们提出了一种跨语言的编码方法，它采用了一个CTC分支优化目标语言翻译。此外，还利用CTC翻译输出，以CTC前缀分数细化搜索空间，首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的，而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明，与离线模型相比，块流式传输Transformer实现了有竞争力的结果，特别是我们提出的方法，在SLU任务上进一步产生2.4%的准确性增益，在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
J-CHAT: Japanese Large-scale Spoken Dialogue Corpus for Spoken Dialogue Language Modeling
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
本文提出 J-CHAT，一个76000小时的日本口语对话语料库，用于改进 spoken dialogue 语言模型，通过自动化方法确保高质量和自然性，推动人机对话研究。
2026-04-02 cs.CL cs.SD eess.AS
Augmenting text for spoken language understanding with Large Language Models
Carnegie Mellon University（卡内基梅隆大学）；Meta
本文研究利用无对应语音的转录-语义解析文本扩充口语语义解析训练，提出用LLM生成非配对文本并结合JAT与TTS，在STOP数据集上显著提升现有及新领域的精确匹配性能。
2023-09-17 cs.CL cs.SD eess.AS
Acoustic and Semantic Modeling of Emotion in Spoken Language
Indian Institute of Science（印度科学学院）
本研究通过联合建模声学与语义信息，提升语音中情感的理解与合成能力，提出情感意识的预训练框架和对话场景下的情感识别方法，以及无文本的语音情感风格转换技术。
2026-03-10 eess.AS
Towards Data Distillation for End-to-end Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）
在口语问答中，QA系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使问答系统模型的复杂的对话流给定的语音话语和文本语料库。在这项任务中，我们的主要目标是建立一个问答系统来处理口语和文本形式的会话问题，并探索在口语文档中提供更多线索与信息收集系统的可行性。为此，而不是采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，直接融合音频文本功能，以减少自动语音识别假设和参考转录之间的错位。此外，为了评估问答系统在对话式交互中的能力，我们组装了一个口语会话问答（口语CoQA）数据集，其中包含超过12万个问答对。实验表明，我们提出的方法取得了优越的性能在口语会话问答。
2020-10-18 cs.AI cs.CL eess.AS
Data Augmentation for L2 English Speaking Assessment using TTS
ALTA Institute（ALTA研究所）
研究针对第二语言英语口语评估数据稀缺问题，利用文本转语音技术，通过分析说话者-文本关系，提出先将书面回答语音化，再转为语音，并研究配对策略的数据增强框架，经评估可提升评分性能。
2026-09-29 eess.AS
An Overview of Indian Spoken Language Recognition from Machine Learning Perspective
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用实验室）
口语自动识别是多语言人机交互时代的一个重要研究领域。前端LID模块有助于提高多语言场景中许多基于语音的应用程序的性能。印度是一个人口众多的国家，拥有多种文化和语言。大多数印度人需要使用各自的母语与机器进行口头交互。因此，开发高效的印度口语识别系统对于在印度社会的各个领域采用智能技术非常有用。在过去的二十年里，印度LID领域开始获得发展势头，主要是由于印度语言的几个标准多语言语音语料库的开发。尽管在这一领域已经取得了重大的研究进展，但据我们所知，没有多少人试图对它们进行分析性审查。在这项工作中，我们进行了第一次尝试，提出一个全面的审查印度口语识别研究领域。深入的分析已经提出，以强调在印度背景下开发LID系统的低资源和相互影响的独特挑战。印度LID研究的几个重要方面，如可用的语音语料库的详细描述，主要的研究贡献，包括早期的尝试基于统计建模的最新方法基于不同的神经网络架构，以及未来的研究趋势进行了讨论。这项审查工作将有助于评估任何活跃的研究人员或相关领域的任何研究爱好者目前印度LID研究的状况。
2022-11-30 cs.CL cs.SD eess.AS
Improving Textless Spoken Language Understanding with Discrete Units as Intermediate Target
National Taiwan University（台湾大学）；Meta AI
本文提出以自监督语音模型中的离散单元作为中间指导来改进无文本口语理解，在五个SLU基准上超越基线，并提升少样本学习和抗噪能力。
2023-07-08 cs.CL eess.AS
DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling
The University of Tokyo, Japan（东京大学，日本）；National Institute of Advanced Industrial Science and Technology, Japan（日本国家先进工业科学与技术研究院）
针对现有大规模公共语音语料库不适用于全双工口语对话模型训练的问题，提出DuplexChat及DuplexChat-Pipe，通过特定流程构建分离说话者全双工对话语音，产出多语言语料库。
2026-07-07 cs.CL cs.SD eess.AS
Improving Language Identification of Accented Speech
从语音中识别语言是许多口语处理系统中常见的预处理步骤。近年来，这一领域取得了快速的进展，主要是由于使用了在多语言数据上预训练的自监督模型和使用了大型训练语料库。本文表明，语音与非本地或地区口音，口语识别系统的准确性显着下降，识别语言的准确性与口音的强度呈负相关。我们还表明，使用特定语言的无词典语音识别系统的输出有助于提高口音语音的语言识别性能，而不会牺牲母语的准确性。我们在几个非母语语音数据集上获得了最先进的模型的相对错误率降低了35%到63%。
2022-07-01 eess.AS
Towards spoken dialect identification of Irish
Trinity College Dublin（都柏林三一学院）
针对爱尔兰语 ASR 的方言性能不均问题，本文测试 XLS-R、ECAPA-TDNN 与爱尔兰语 BERT 文本分类器，融合后方言识别准确率达 76%。
2023-07-14 cs.CL cs.SD eess.AS
Non-native Speaker Verification for Spoken Language Assessment
University of Cambridge（剑桥大学）
自动口语评估系统正变得越来越流行，以处理日益增长的兴趣在第二语言学习。这些系统面临的一个挑战是检测渎职行为。舞弊可以采取多种形式，本文着重于检测当一个候选人试图模仿另一个在口语测试。这种形式的弊端与说话人确认密切相关，但适用于口语评估这一特定领域。高级说话人验证系统利用深度学习方法提取说话人表示，已成功应用于一系列母语验证任务。本文针对非母语英语口语数据对这些系统进行了探索。用于演讲者注册和验证的数据主要来自BULATS测试，该测试评估商业英语语言技能。系统的性能训练相对有限的BULATS数据，和标准的大型扬声器验证语料库，进行了比较。在具有数百万次试验的大规模测试集上的实验结果表明，通过使导入的模型适应非原生数据，可以实现最佳性能。分析了不同第一语言（L1）和年级的冒名顶替者试验，这表明L1之间的冒名顶替者对说话人确认系统更具挑战性。
2019-09-30 cs.CL cs.SD eess.AS
A Study on the Integration of Pre-trained SSL, ASR, LM and SLU Models for Spoken Language Understanding
Carnegie Mellon University（卡内基梅隆大学）
为口语语言理解（SLU）收集足够的标记数据是昂贵且耗时的。最近的研究通过在低资源场景中使用预先训练的模型取得了令人鼓舞的结果。受此启发，我们的目标是问：哪些（如果有的话）预训练策略可以提高SLU基准的性能？为了回答这个问题，我们采用了四种类型的预训练模型及其组合用于SLU。我们利用在大量未配对数据上预训练的自监督语音和语言模型（LM）来提取强语音和文本表示。我们还探索使用在较大的外部自动语音识别（ASR）或SLU语料库上预训练的监督模型。我们对SLU评估（SLUE）基准进行了广泛的实验，并观察到自监督预训练模型更强大，预训练LM和语音模型分别对情感分析和命名实体识别任务最有益。
2022-11-10 cs.CL cs.SD eess.AS
Speech-language Pre-training for End-to-end Spoken Language Understanding
Microsoft（微软）
端到端（E2 E）口语语言理解（SLU）可以直接从语音信号中推断语义，而无需将自动语音识别器（ASR）与自然语言理解（NLU）模块级联。然而，成对的话语记录和对应的语义可能并不总是可用的或不足以在真实的生产环境中训练E2 E SLU模型。在本文中，我们提出将优化的E2 E ASR编码器（语音）和预训练的语言模型编码器（语言）统一到Transformer解码器中。通过使用条件掩蔽语言模型（MLM）目标，统一的语音-语言预训练模型（SLP）在来自目标域的有限标记数据上不断增强，并且因此可以有效地生成用于推理中的给定输入语音的意图、槽类型和槽值的序列。在两个公开语料库上的实验结果表明，该方法在E2 E SLU上的性能优于传统的级联方法。它还优于目前最先进的E2 E SLU方法，配对数据少得多。
2021-02-11 cs.CL cs.SD eess.AS
Code-Switching Spoken Language Identification as Multi-Label Set Prediction
Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出将语码转换语音的语言识别建模为多标签集合预测，通过集合生成器直接输出话语语言，分析揭示了oracle基数、阈值不稳定等关键挑战。
2026-10-02 cs.CL eess.AS
Adapting an ASR Foundation Model for Spoken Language Assessment
ALTA Institute（ALTA研究所）；Cambridge University（剑桥大学）；Cambridge University Press & Assessment（剑桥大学出版社与评估部）；EST Ltd（EST有限公司）
针对口语评估中ASR输出可读性高但不够精确的问题，分析Whisper输出，提出微调和软提示调优两种方法，实验表明能有效生成考生实际所说的单词。
2023-10-10 cs.CL cs.SD eess.AS
Curriculum-based transfer learning for an effective end-to-end spoken language understanding and domain portability
Le Mans University（勒芒大学）；Avignon University（阿维尼翁大学）；University of Nantes（南特大学）；CNRS（法国国家科学研究中心）
我们提出了一个端到端的方法来提取语义概念直接从语音音频信号。为了克服这种口语语言理解方法缺乏数据的问题，我们研究了基于课程学习原则的迁移学习策略的使用。这种方法使我们能够利用域外数据来帮助准备一个完整的神经架构。实验进行了法国媒体和PORTMEDIA语料库，并表明，这种端到端的SLU方法达到了最好的结果发表在这项任务。我们将我们的方法与使用ASR，POS标记，lemmatizer，chunker......的经典管道方法进行比较。和其他NLP工具，旨在丰富ASR输出，将SLU文本馈送到概念系统。最后，我们探讨了我们的端到端SLU方法来解决域可移植性问题的潜力。
2019-06-18 cs.CL cs.SD eess.AS
ADIMA: Abuse Detection In Multilingual Audio
ShareChat
口语文本中的滥用内容检测可以通过执行自动语音识别（ASR）和利用自然语言处理的进步来解决。然而，ASR模型引入了延迟，并且通常对亵渎词表现不佳，因为它们在训练语料库中代表性不足，并且没有清晰或完整地说出。完全在音频领域探索这个问题在很大程度上受到缺乏音频数据集的限制。基于这些挑战，我们提出了ADIMA，这是一个新颖的，语言多样的，道德来源的，专家注释的和平衡的多语言亵渎检测音频数据集，包括10种印度语言的11，775个音频样本，跨越65小时，由6，446个独立用户使用。通过跨单语和跨语言zero-shot设置的定量实验，我们迈出了在印度语言中民主化基于音频的内容审核的第一步，并提出了我们的数据集，为未来的工作铺平道路。
2022-02-16 cs.CL cs.SD eess.AS
BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models
LSCP；ENS（巴黎高等师范学院）；EHESS（高等社会科学研究学院）；CNRS（法国国家科学研究中心）；PSL University（PSL大学）；Meta AI Research（Meta人工智能研究院）；Tampere University（坦佩雷大学）；IRIT；INRIA（法国国家信息与自动化研究院）
本文提出BabySLM基准，在词汇和句法层面评估自监督口语模型，以模拟婴儿语言习得，并指出文本与语音、干净语音与自然语音之间的差距是未来关键挑战。
2023-06-08 cs.CL eess.AS stat.ML
GOAT-SLM: A Spoken Language Model with Paralinguistic and Speaker Characteristic Awareness
Institute of Artificial Intelligence (TeleAI), China Telecom, China（人工智能研究所（TeleAI），中国电信，中国）
针对现有SLM忽视副语言与说话人特征的问题，本文提出GOAT-SLM双模态头模型及分阶段训练策略，在TELEVAL上实现语义与非语义任务的均衡优势。
2025-07-25 cs.AI cs.CL cs.SD
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
最近的研究表明，从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发，在本文中，我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐，这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间，并尝试通过对抗训练来对齐这两个空间，然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译，这两项任务的结果表明，我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别（ASR）和语音到文本翻译系统特别有用，这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型，但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Efficient Wait-k Models for Simultaneous Machine Translation
CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Inria（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息学实验室）；LJK（让·昆特曼实验室）；Facebook AI Research（脸书人工智能研究院）
同步机器翻译包括在整个输入序列可用之前开始输出生成。Wait-k解码器为这个问题提供了一种简单但有效的方法。它们首先读取k个源令牌，然后在生成目标令牌和读取另一个源令牌之间交替。我们调查的行为wait-k解码在低资源设置口语语料库使用IWITOS数据集。我们使用单向编码器改进了这些模型的训练，并在多个k值上进行训练。使用Transformer和2D卷积架构的实验表明，我们的wait-k模型在广泛的延迟级别上具有良好的泛化能力。我们还表明，2D卷积架构是有竞争力的Transformers的口语同步翻译。
2020-08-04 cs.CL cs.SD eess.AS
Speech-Omni-Lite: Portable Speech Interfaces for Vision-Language Models
Huawei Leibniz Research Center（华为莱布尼茨研究中心）；The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Hong Kong University of Science and Technology（香港科技大学）；Shenzhen Loop Area Institute（深圳河套学院）
Speech-Omni-Lite通过轻量模块扩展视觉-语言模型，实现低成本语音理解和生成，同时保持原有性能，实验显示其在少量语音数据下表现优异。
2026-03-10 eess.AS
GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot
Tsinghua University（清华大学）
本文提出端到端双语语音聊天机器人 GLM-4-Voice，通过低比特率语音分词器、语音-文本交错预训练与会话微调，实现实时、富有情感且高质量的类人语音对话。
2024-12-03 cs.CL cs.SD eess.AS
Toward Corpus Size Requirements for Training and Evaluating Depression Risk Models Using Spoken Language
Ellipsis Health
本文通过65K标注数据系统研究了训练集和测试集规模对语音及语言抑郁症风险模型的影响，发现测试集需至少1K样本、训练集需至少2K样本才能获得稳定结果。
2024-12-31 cs.CL cs.SD eess.AS
Zero-Shot End-to-End Spoken Language Understanding via Cross-Modal Selective Self-Training
AWS AI Labs（亚马逊云科技人工智能实验室）；Virginia Tech（弗吉尼亚理工大学）
针对零样本端到端口语理解，提出跨模态选择性自训练方法，通过联合空间聚类和选择网络解决领域不匹配及噪声问题，在匹配与不匹配基准上提升性能并减少样本和训练时间。
2024-02-03 cs.CL cs.MM cs.SD
Detecting Emotion Carriers by Combining Acoustic and Lexical Representations
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）；University of Trento（特伦托大学）
个人叙述（PN）-口头或书面-是对事实，人物，事件和思想的回忆，从自己的经验。情感识别和情感分析任务通常定义在话语或文档级别。然而，在这项工作中，我们专注于情感载体（EC）定义为片段（语音或文本），最好地解释叙述者的情感状态（“失去父亲”，“让我选择”）。一旦提取，这样的EC可以提供用户状态的更丰富的表示，以改善自然语言理解和对话建模。在之前的工作中，已经证明可以使用词汇特征来识别EC。然而，口语叙述应该提供更丰富的上下文和用户的情绪状态的描述。在本文中，我们利用基于单词的声学和文本嵌入以及早期和晚期融合技术来检测口语叙事中的EC。对于声学单词级表示，我们使用残差神经网络（ResNet）在单独的语音情感语料库上进行预训练，并进行微调以检测EC。不同的融合和系统组合策略的实验表明，后期融合导致这项任务的显着改善。
2021-12-13 cs.AI cs.CL cs.SD
Automated speech tools for helping communities process restricted-access corpora for language revival efforts
Stanford University（斯坦福大学）；Australian National University（澳大利亚国立大学）；University of Groningen（格罗宁根大学）
许多濒危语言的语音档案记录仍然没有注释，社区成员和语言学习计划无法访问。一个瓶颈是注释的时间密集性。对于具有访问限制的录音，会出现更窄的瓶颈，例如在注释开始之前必须由授权社区成员审查或过滤的语言。我们提出了一个隐私保护的工作流程，以扩大两个瓶颈的录音中，在濒危语言的语音与更广泛使用的语言，如英语的元语言的评论和问题（例如，什么是“树”这个词？）。我们集成了语音活动检测（VAD）、口语识别（SLI）和自动语音识别（ASR）来转录元语言内容，授权人员可以快速扫描这些元语言内容，以分类记录，这些记录可以由访问级别较低的人员进行注释。我们报告正在进行的工作处理136小时档案音频包含英语和Muruwari的混合。我们与Muruwari档案材料保管人的合作工作表明，即使只有最少量的注释训练数据，这种工作流程也可以将元语言转录时间减少20%：SLI和ASR每种语言10个发音最多39分钟，可能只有39秒。
2022-04-24 cs.CL cs.SD eess.AS
Scaling Speech-Text Pre-training with Synthetic Interleaved Data
Tsinghua University（清华大学）
本文提出用文本语料生成大规模合成语音-文本交错数据，并结合监督式语音 tokenizer 将预训练扩展至 1 万亿 token，显著提升口语问答并实现端到端语音聊天机器人。
2024-12-02 cs.CL cs.SD eess.AS
Towards Unsupervised Speech-to-Text Translation
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个框架，用于建立语音到文本翻译（ST）系统，只使用单语语音和文本语料库，换句话说，从一个源语言和独立的文本从一个目标语言的语音话语。与传统的级联系统和端到端架构相反，我们的系统不需要任何标记数据（即，训练期间转录的源音频或并行源和目标文本语料库），使其特别适用于双语资源很少甚至为零的语言对。该框架利用从单语语料库中推断出的跨模态双语词典来支持ST系统，该词典将对应于口语单词的每个源语音段映射到其目标文本翻译。对于看不见的源语音话语，系统首先对话语中的每个语音段执行逐字翻译。通过利用语言模型和序列去噪自动编码器来提供关于目标语言的先验知识来改进翻译。实验结果表明，尽管缺乏监督，我们的无监督系统实现了与监督端到端模型相当的BLEU分数。我们还提供消融分析来检查我们系统中每个组件的实用性。
2018-11-04 cs.CL cs.LG cs.SD
Experiments of ASR-based mispronunciation detection for children and adult English learners
University of Trento（特伦托大学）；University of Groningen（格罗宁根大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会（FBK））
发音是语言学习的基础之一，当涉及到理解和被他人理解时，它被认为是口语的主要因素。在语音识别领域中，由于发音错误而导致的高出错率的持续存在促使我们寻找用于处理发音错误的替代技术。在这项研究中，我们开发了一个发音错误的评估系统，检查发音的非英语母语者，确定了意大利英语学习者的常见发音错误的音素，并提出了一个评价的语音注释语音语料库中观察到的非母语发音。在这项工作中，为了检测发音错误，我们使用了基于电话的ASR，使用Kaldi实现。我们使用了两个非母语的英语标记语料库;（i）意大利成年人的语料库包含来自46个扬声器的5，867话语，（ii）意大利儿童的语料库由来自78个儿童的5，268话语组成。我们的研究结果表明，所选择的错误模型可以区分正确的声音从不正确的声音在本族语和非本族语的话，因此可以用来检测发音错误在非本族语。电话出错率显示使用错误语言模型的改善。ASR系统显示出更好的准确性后，我们所选择的语料库中应用的错误模型。
2021-04-13 cs.CL cs.SD eess.AS
Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models
Kyutai；Gradium
针对全双工对话模型交互性问题，提出基于强化学习的后训练对齐方法，从暂停处理、话轮转换、回馈和用户打断四个维度优化，并加入LLM奖励防止语义退化，在Moshi和PersonaPlex上取得一致改进。
2026-09-01 cs.CL eess.AS
EmoTale: An Enacted Speech-emotion Dataset in Danish
University Grenoble Alpes, CNRS, Grenoble INP, LIG（格陵兰大学、CNRS、格陵兰INP、LIG）；Dept. of Applied Mathematics and Computer Science, Technical University of Denmark（应用数学和计算机科学系，丹麦技术大学）
针对丹麦语缺乏功能性情感语音数据集的问题，提出含丹麦语和英语表演式情感标注的EmoTale语料库，用自监督语音模型嵌入开发SER模型验证其有效性，最佳模型UAR达64.1%且与DES性能相当。
2025-08-20 cs.CL cs.SD eess.AS
Embedded Emotions -- A Data Driven Approach to Learn Transferable Feature Representations from Raw Speech Input for Emotion Recognition
Augsburg University（奥格斯堡大学）
传统的自动情感识别方法依赖于手工特征的应用。然而，最近深度学习的出现使算法能够自动学习输入数据的有意义的表示。在本文中，我们研究了从大型文本和音频语料库中学习到的知识转移到自动情感识别任务中的适用性。为了评估我们的方法的实用性，我们参加了今年的Interspeech ComparE老年人情感子挑战赛，其目标是根据演讲者的情感对老年人的口语叙述进行分类。我们的研究结果表明，学习到的特征表示可以有效地应用于从口语中分类情感。我们发现，从音频信号中提取的特征的性能不如从成绩单中提取的特征的性能一致。虽然声学特性在开发集上取得了同类最佳的结果，但与基线系统相比，它们的性能在挑战的测试集上大幅下降。然而，从文本形式中提取的特征在两个集合上都显示出有希望的结果，并且在未加权平均召回率上超过官方基线5.7个百分点。
2020-09-30 cs.LG cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
CALLS: Japanese Empathetic Dialogue Speech Corpus of Complaint Handling and Attentive Listening in Customer Center
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
本文提出日语客服中心共情对话语音语料库CALLS，通过模拟电话接线员场景扩展共情对话语音合成的应用范围，并实验证明混合不同领域语料会导致合成语音质量出现有偏差的改善。
2023-05-23 cs.CL cs.LG cs.SD
Best Practices and Considerations for Child Speech Corpus Collection and Curation in Educational, Clinical, and Forensic Scenarios
Center for Robust Speech Systems (CRSS)（鲁棒语音系统中心）
本文针对儿童语音语料库采集与整理难题，系统提出面向教育、临床和法医场景的最佳实践，涵盖数据采集要素、合作伦理及质量标注全流程指南。
2025-07-17 cs.CY cs.SD eess.AS
The ParlaSpeech Collection of Automatically Generated Speech and Text Datasets from Parliamentary Proceedings
Jožef Stefan Institute（约热夫·斯泰凡研究所）；Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Polish-Japanese Academy of Information Technology（波兰日本信息技术学院）
本文提出基于 ParlaMint 议会议事录与公开录音构建大规模语音—文本对齐数据集的方法，试点生成克罗地亚语、波兰语和塞尔维亚语超过5,000小时的高质量数据集。
2024-11-26 cs.CL cs.LG cs.SD
Leveraging pre-trained representations to improve access to untranscribed speech from endangered languages
Stanford University（斯坦福大学）；ARC Centre of Excellence for the Dynamics of Language（ARC语言动态卓越中心）；University of Groningen（格罗宁根大学）；University of Queensland（昆士兰大学）；University of Melbourne（墨尔本大学）；Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）；University of Freiburg（弗莱堡大学）
像wav 2 vec 2.0这样的预训练语音表示是自动语音识别（ASR）的强大工具。然而，许多濒危语言缺乏足够的数据来预先训练这些模型，或者主要是口头方言，没有标准化的书写系统，无法进行微调。举例查询口语词检测（QbE-STD）通过定位口语查询词为迭代地索引未转录语音语料库提供了一种替代方案。使用数据从7澳大利亚土著语言和各种区域的荷兰语，所有这些都是濒危或脆弱的，我们表明，QbE-STD可以通过利用表示开发ASR（wav 2 vec 2.0：英语单语模型和XLSR 53多语言模型）得到改善。令人惊讶的是，英语模型在4个澳大利亚语言数据集上的表现优于多语言模型，这就提出了如何最佳地利用QbE-STD的自监督语音表示的问题。尽管如此，我们发现wav 2 vec 2.0表示（英语或XLSR 53）在我们濒危语言数据集上的最先进方法上提供了很大的改进（相对56-86%）。
2021-09-14 cs.CL cs.SD eess.AS
JVNV: A Corpus of Japanese Emotional Speech with Verbal Content and Nonverbal Expressions
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；National Institute of Informatics（信息学研究所）
本研究提出首个用大语言模型自动生成脚本的日语情感语音语料库JVNV，包含言语内容与非言语发声，经筛选得到514个音素覆盖均衡的脚本，在音素覆盖度、情感可识别性上优于现有语料库，为情感语音合成带来新挑战与宝贵资源。
2023-10-09 cs.SD eess.AS
Diagonal State Space Augmented Transformers for Speech Recognition
IBM Research AI（IBM研究院人工智能部门）
我们通过用对角状态空间（DSS）模型取代深度时间卷积来改进流行的一致性体系结构。DSS是最近引入的线性RNN的变体，通过用对角状态转移矩阵离散线性动力系统获得。DSS层将输入序列投影到正交多项式空间上，其中基函数、度量和支持度的选择由过渡矩阵的特征值控制。我们比较神经传感器与conformer或我们提出的DSS增强的Transformer（DSSformer）编码器在三个公共语料库：总机英语会话电话语音300小时，总机+费舍尔2000小时，和大屠杀幸存者的证词称为MALACH 176小时的口语档案。在Switchboard 300/2000小时上，我们分别在Hub 5 2000评估的组合测试集上达到8.9%/6.7%WER的单个模型性能，并且在MALACH上，我们相对于先前最佳公布结果将WER提高了7%。此外，我们提出的经验证据表明，DSS层学习阻尼傅立叶基函数的衰减系数是层特定的，而频率系数收敛到几乎相同的线性间隔值在所有层。
2023-02-27 cs.SD eess.AS
Feature Learning and Ensemble Pre-Tasks Based Self-Supervised Speech Denoising and Dereverberation
Newcastle University（纽卡斯尔大学）；University of Oxford（牛津大学）
自监督学习（SSL）在单声道语音增强中取得了巨大的成功，但在现有的预处理任务下，目标语音估计的准确性，特别是对未看见的说话人的准确性仍然不足。由于语音信号包含说话人身份、语言特征和说话内容等多方面信息，因此语音增强的潜在表征成为一项艰巨的任务。在本文中，我们研究了语音增强中常用的每个特征的有效性，并在SSL的情况下开发了特征组合。此外，我们还提出了一种集成训练策略。该算法学习纯净语音信号的潜在表示，同时利用去混响模板和估计比率模板对混合语音信号进行去噪和去混响。潜在表示学习和模板估计被认为是训练阶段的两个前任务。此外，为了研究预任务之间的有效性，我们比较了不同的训练例程来训练模型并进一步改进性能。NOISEX和DAPS语料库被用来评估所提出的方法的有效性，这也优于国家的最先进的方法。
2022-06-10 cs.SD eess.AS
Closing the Gap Between Text and Speech Understanding in LLMs
Université de Toulon, Aix Marseille Université, CNRS, LIS（法国图卢兹大学、马赛大学、CNRS、LIS）
SALAD通过主动选择和跨模态蒸馏提高语音与文本对齐，以更高效的方式弥合LLMs在语音理解上的性能差距。
2026-02-23 cs.AI cs.CL eess.AS
Mitigating Accent-Language Confusion in Self-Supervised Speech Representations for Language Identification
University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）
针对自监督语音表征中口音与语言混淆问题，提出基于几何投影的L1偏差去除方法，仅用母语语音估计偏差方向，在五个MMS-LID模型上显著提升L2口音语音识别，且无需L2数据或模型适配。
2026-10-08 cs.CL cs.SD eess.AS
A Weakly-Supervised Streaming Multilingual Speech Model with Truly Zero-Shot Capability
Microsoft Speech Group（微软语音组）
本文提出流式多语言语音模型SM2，以Transformer Transducer为骨干，利用机器翻译生成的弱监督数据训练，在351千小时25种语言数据上取得与非流式模型相当或更优的语音翻译质量，并展现出面向新目标语言的真正零样本能力。
2023-07-05 cs.AI cs.CL cs.SD
