Simplified Self-Attention for Transformer-based End-to-End Speech Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）；Alibaba DAMO Academy（阿里巴巴达摩院）
Transformer模型由于其在建模长期依赖关系方面的优势，已被引入到端到端语音识别中，在各种任务上具有最先进的性能。然而，这种改进通常是通过使用非常大的神经网络来获得的。Transformer模型主要包括位置前馈层和自注意（SAN）层两个子模块。在本文中，为了降低模型的复杂性，同时保持良好的性能，我们提出了一个简化的自我注意（SSAN）层，使用FSMN内存块，而不是投影层，以形成查询和关键向量的转换为基础的端到端语音识别。我们评估了基于SSAN和传统的基于SAN的Transformers器上的公共AISHELL-1，内部1000小时和20,000小时的大规模普通话任务。结果表明，我们提出的基于SSAN的Transformer模型可以实现超过20%的相对减少模型参数和6.7%的相对CER减少AISHELL-1任务。令人印象深刻的是，我们的模型在20，000小时的大规模任务中没有表现出识别性能的损失。
2020-11-17 cs.CL cs.SD eess.AS
CoVoST 2 and Massively Multilingual Speech-to-Text Translation
Facebook AI
语音翻译最近成为一个越来越受欢迎的研究课题，部分原因是基准数据集的发展。然而，目前的数据集涵盖的语言数量有限。为了促进大规模多语言语音翻译和低资源语言对语音翻译的研究，我们发布了CoVoST 2，这是一个大规模多语言语音翻译语料库，涵盖了从21种语言到英语和从英语到15种语言的翻译。这是迄今为止从总量和语言覆盖范围来看最大的开放数据集。数据健全性检查提供有关数据质量的证据，这些数据在CC0许可证下发布。我们还提供广泛的语音识别、双语和多语言机器翻译以及语音翻译基线，并提供开源实现。
2020-10-24 cs.CL cs.SD eess.AS
Learned Transferable Architectures Can Surpass Hand-Designed Architectures for Large Scale Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们探讨了神经结构搜索（NAS）的自动语音识别（ASR）系统。参考以前的作品在计算机视觉领域，可移植性的搜索架构是我们工作的主要重点。在小代理数据集上进行结构搜索，然后在大数据集上对用搜索到的结构构造的评估网络进行评估。特别是，我们提出了一个修正的搜索空间的语音识别任务，从理论上有利于搜索算法，以探索低复杂度的架构。大量的实验表明：（i）在小代理数据集上搜索的体系结构可以被转移到大数据集以用于语音识别任务。(ii)在修正的搜索空间中学习的体系结构可以大大减少计算开销和GPU存储器使用，并且性能略有下降。(iii)在AISHELL-2数据集和大型（10 k小时）数据集上，与我们手工设计的DFSMN-SAN体系结构相比，所搜索的体系结构可以分别实现超过20%和15%（四个测试集的平均值）的相对改进。据我们所知，这是第一份大规模数据集（高达10 K小时）NAS结果的报告，表明NAS在工业ASR系统中的应用前景广阔。
2021-05-08 cs.SD eess.AS
Linear Time Complexity Conformers with SummaryMixing for Streaming Speech Recognition
Samsung AI Center - Cambridge（三星剑桥人工智能中心）
针对自注意力语音识别时间复杂度高、SummaryMixing不适配流式场景的问题，将SummaryMixing扩展至支持流/离线模式的Conformer Transducer，实现线性复杂度，且效果更优、算力内存需求更低。
2024-09-11 cs.AI cs.SD eess.AS
INT8 Winograd Acceleration for Conv1D Equipped ASR Models Deployed on Mobile Devices
Alibaba Group（阿里巴巴集团）
自动语音识别（ASR）模型的密集计算阻碍了它们在移动设备上的部署。在本文中，我们提出了一种新的量化Winograd优化流水线，它结合了量化和快速卷积，以实现有效的推理加速移动设备上的ASR模型。为了避免量化和Winograd卷积结合带来的信息损失，提出了一种范围尺度量化（RSQ）训练方法，以扩大量化的数值范围，并从高精度值中提取知识。此外，改进的Conv1D装备DFSMN（ConvDFSMN）模型的移动部署设计。我们在ConvDFSMN和Wav2letter模型上进行了大量的实验。结果表明，该管道可以有效地优化模型。特别是，Wav2letter在基于ARMv7的移动设备上实现了1.48倍的加速比，WER降低了约0.07%。
2020-10-28 cs.CL cs.SD eess.AS
The DIRHA-English corpus and related tasks for distant-speech recognition in domestic environments
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
本文介绍了在欧共体DIRHA项目下最近实现的DIRHA-ENGLISH多麦克风语料库的内容和可能的用途。参考场景是配备有分布在空间中的大量麦克风和麦克风阵列的家庭环境。语料库由真实和模拟材料组成，包括12名美国和12名英国英语母语者。每个演讲者都说出了不同的语音丰富的句子，报纸文章，对话，关键词和命令。从这些材料中，生成了一组1分钟的序列，其中还包括典型的家庭背景噪声以及房间间/室内混响效果。得到了测试集和Dev集，为多麦克风语音处理和远距离语音识别的研究提供了宝贵的资料。已经开发了各种任务和相应的Kaldi配方。该论文报告了使用不同技术获得的第一组基线结果，包括深度神经网络（DNN），与国际水平的最新技术保持一致。
2017-10-06 cs.CL cs.SD eess.AS
Challenges and Insights: Exploring 3D Spatial Features and Complex Networks on the MISP Dataset
Johns Hopkins University（约翰斯·霍普金斯大学）
针对多通道多说话人语音识别的噪声、混响、重叠等挑战，本文将基于3D空间特征的一体化ASR方法拓展到MISP数据集验证，分析应用挑战与洞见，并探索用更复杂输入和模型替换该特征的初步实验。
2023-10-05 cs.SD eess.AS
EAT: Enhanced ASR-TTS for Self-supervised Speech Recognition
Brno University of Technology（布尔诺理工大学）
自监督ASR-TTS模型在域外数据条件下受到影响。在这里，我们提出了一个增强的ASR-TTS（EAT）模型，它包括两个主要特征：1）ASR $\rightarrow$ TTS方向配备了一个语言模型奖励，以惩罚ASR假设，然后将其转发到TTS。2)在TTS $\rightarrow$ ASR方向上，引入超参数以在将合成语音发送到ASR以处理域外数据之前缩放来自合成语音的注意力上下文。训练策略和EAT模型的有效性进行了探讨域外数据条件下。结果表明，EAT在Librispeech和BABEL上分别将监督训练和自监督训练的性能差距缩小了2.6%和2.7%。
2021-04-13 cs.AI cs.LG cs.SD
Deep Sparse Conformer for Speech Recognition
NVIDIA（英伟达）
通过利用Transformer捕获基于内容的全局交互和卷积神经网络利用局部特征，Conformer在自动语音识别（ASR）方面取得了令人印象深刻的结果。在Conformer中，两个具有半步残差连接的马卡龙式前馈层将多头自注意和卷积模块夹在中间，然后进行后层归一化。我们在两个方向上改进了Conformer的长序列表示能力：\emph{sparser}和\emph{deeper}。在时间复杂度和内存使用方面，我们采用了一种基于$\mathcal{O}(L\text{log}L)$的稀疏自注意力机制.在执行残差连接时，使用了深度归一化策略，以确保我们对百级Conformer块的训练。在日本CSJ-500 h数据集上，该深度稀疏Conformer在三个评估集上分别实现了5.52%、4.03%和4.50%的CER，在集成12到16、17、50和100个编码器层的五个深度稀疏Conformer变体时分别实现了4.16%、2.84%和3.20%的CER。
2022-09-01 cs.CL cs.LG cs.SD
Safeguarding Privacy in Edge Speech Understanding with Tiny Foundation Models
Department of Computer Science（计算机科学系）；University of Virginia（弗吉尼亚大学）
SpeechShield通过在边缘设备上利用小型基础模型实现语音隐私保护，有效过滤敏感信息并提升转录性能。
2025-11-30 cs.LG cs.SD eess.AS
PDAugment: Data Augmentation by Pitch and Duration Adjustments for Automatic Lyrics Transcription
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；South China University of Technology（华南理工大学）
歌词自动转写（ALT）可以看作是歌唱声的自动语音识别（ASR），是学术界和工业界感兴趣的实用课题。ALT还没有得到很好的发展，主要是由于缺乏成对的歌声和歌词数据集的模型训练。考虑到有大量的ASR训练数据，一种简单的方法是利用ASR数据来增强ALT训练。然而，当直接用ASR数据训练ALT系统时，这种改进是微不足道的，因为歌唱声音和标准语音数据之间的差距根源于歌唱声音中特定于音乐的声学特性。在本文中，我们提出了PDAugment，一个数据增强方法，调整音调和持续时间的语音在音节水平的指导下，音乐乐谱，以帮助ALT训练。具体来说，我们调整自然语音中每个音节的音高和时长，使其与从乐谱中提取的相应音符的音高和时长一致，从而缩小自然语音与歌唱声之间的差距。在DSing 30和Dali语料库上的实验表明，采用PDAugment的ALT系统的性能分别比现有的ALT系统提高了5.9%和18.1%的WER，证明了PDAugment在ALT中的有效性。
2021-09-17 cs.SD eess.AS
VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Tencent Youtu Lab（腾讯优图实验室）；XMU（厦门大学）；CASIA（中国科学院自动化研究所）
本文提出多阶段训练方法VITA-1.5，使LLM同时理解视觉与语音，无需ASR/TTS模块即可实现近乎实时的视觉语音交互，性能达到GPT-4o级别。
2025-10-24 cs.CV cs.SD eess.AS
Speaker-aware speech-transformer
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Kwai（快手）
近年来，端到端（E2 E）模型成为传统的混合自动语音识别（ASR）系统的一种有竞争力的替代方案。然而，在训练和测试条件下，它们仍然受到说话人失配的影响。本文以Speech-Transformer（ST）为研究平台，对E2 E模型的说话人感知训练进行了研究。我们提出了一个模型，称为扬声器感知语音转换器（SAST），这是一个标准的ST配备了扬声器注意模块（SAM）。SAM具有由i向量组成的静态扬声器知识块（SKB）。在每个时间步，编码器输出关注块中的i向量，并生成加权的组合说话人嵌入向量，这有助于模型对说话人变化进行归一化。以这种方式训练的SAST模型变得独立于特定的训练说话者，从而更好地推广到看不见的测试说话者。我们研究了SAM的不同因素。在AISHELL-1任务上的实验结果表明，SAST在说话人无关（SI）基线上实现了相对6.5%的CER减少（CERR）。此外，我们证明了SAST仍然工作得很好，即使SKB中的i向量都来自不同的数据源，而不是声学训练集。
2020-01-02 cs.CL cs.SD eess.AS
Exploiting Deep Sentential Context for Expressive End-to-End Speech Synthesis
Xiaomi（小米）
基于注意力的seq 2seq文本到语音系统，特别是那些使用自注意力网络（SAN）的系统，已经达到了最先进的性能。但是，具有丰富韵律的表达性语料库仍然具有挑战性，因为1）韵律方面，跨越不同的语义粒度并主要决定声学表达性，难以分类和标记; 2）当前的seq 2seq框架仅从文本编码器中提取韵律信息，这很容易被折叠为表达内容的平均表达。在本文中，我们提出了一个上下文提取器，这是建立在基于SAN的文本编码器，充分利用表达语料库的seq 2seq为基础的TTS的原始上下文。我们的上下文提取器首先收集韵律相关的原始上下文信息从不同的SAN层，然后聚合它们来学习一个全面的句子表示，以提高最终生成的语音的表达能力。具体来说，我们研究了两种上下文聚合方法：1）直接聚合，直接连接不同SAN层的输出，2）加权聚合，使用多头注意力自动学习不同SAN层的贡献。在两个表达性语料库上的实验表明，该方法能产生更自然、韵律变化更丰富的语音，并且加权聚合在表达性建模方面更有优势。
2020-08-03 cs.SD eess.AS
Echotune: A Modular Extractor Leveraging the Variable-Length Nature of Speech in ASR Tasks
Blockchain Industry School, Chengdu University of Information Technology（成都信息工程大学区块链产业学院）；School of Computer Science and Technology, Fudan University（复旦大学计算机科学技术学院）；Department of Computer Science, Victoria University（维多利亚大学计算机科学系）
本文提出Echo-MSA模块，通过可变长度注意力机制解决ASR中固定长度注意力窗口的局限，结合动态门控并行注意力架构，在保持模型稳定性的同时显著提升词错误率性能。
2024-04-08 cs.CL cs.SD eess.AS
Emotionless: Privacy-Preserving Speech Analysis for Voice Assistants
Imperial College London（帝国理工学院）
语音交互在许多流行的物联网系统中提供了更人性化的体验。基于云的语音分析服务使用语音识别技术从语音输入中提取有用的信息。语音信号是一种丰富的资源，它揭示了说话者的几种可能状态，例如情绪状态，信心和压力水平，身体状况，年龄，性别和个人特质。服务提供商可以建立一个非常准确的用户的人口统计类别，个人喜好，并可能危及隐私。为了解决这个问题，提出了用户和云服务之间的隐私保护中间层来净化语音输入。它旨在保持实用性，同时保护用户隐私。它通过收集实时的语音数据并分析信号来实现这一点，以确保在与服务提供商共享此数据之前的隐私保护。准确地说，敏感的表示是通过使用转换函数从原始信号中提取，然后通过语音转换技术将其包装。基于情感识别的实验评估表明，该方法的有效性，敏感的情绪状态的扬声器的识别减少了约96%。
2019-08-09 cs.CR cs.LG cs.SD
Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Model
Google, Inc.（谷歌公司）
多语言端到端（E2E）模型在扩展自动语音识别（ASR）对世界语言的覆盖方面显示出巨大的前景。它们已经显示出对单语系统的改进，并且通过消除特定于语言的声学，发音和语言模型来简化训练和服务。这项工作提出了一个E2E多语言系统，该系统配备了低延迟的交互式应用程序，以及处理现实世界的数据的一个关键挑战：跨语言的训练数据的不平衡。使用九种印度语言，我们比较了各种技术，并发现在一个语言向量和训练语言特定的适配器层的条件相结合，产生最好的模型。由此产生的E2E多语言模型实现了比单语E2E模型（九种语言中的八种）和单语传统系统（所有九种语言）更低的单词错误率（WER）。
2019-09-11 cs.LG cs.SD eess.AS
Communication-Efficient Personalized Federated Learning for Speech-to-Text Tasks
University of Science and Technology of China（中国科学技术大学）；Tencent AI Lab（腾讯AI实验室）；Nanjing University（南京大学）；Anhui Xinhua University（安徽新华学院）
针对联邦语音转文本任务中通信开销大和数据异质性问题，提出FedLoRA与FedMem的个性化框架，显著降低通信开销并提升个性化性能。
2025-01-19 cs.CL cs.SD eess.AS
Low-resource Accent Classification in Geographically-proximate Settings: A Forensic and Sociophonetics Perspective
Zhejiang University（浙江大学）；Peking University（北京大学）
重音语音识别和重音分类是语音技术中相对未被开发的研究领域。最近，基于深度学习的方法和基于transformer的预训练模型在这两个领域都取得了卓越的性能。然而，大多数口音分类任务集中在分类不同种类的英语口音，很少注意到地理上接近的口音分类，特别是在一个低资源的设置下，法医语音科学任务通常会遇到。在本文中，我们探讨了三种主要的口音建模方法结合两种不同的分类器的基础上检索到的105个扬声器录音在英格兰北部的五个城市品种。虽然从预训练模型生成的语音表示通常在下游分类中具有更好的性能，但Mel频率倒谱系数（MFCC）和共振峰测量等传统方法具有特定的优势。这些结果表明，在数据相对稀缺的法医语音学场景中，简单的建模方法和分类器可以与最先进的预训练语音模型作为特征提取器竞争，这可以在实践中更快地估计口音信息。此外，我们的研究结果也交叉验证了一种新的方法来量化社会语音的变化。
2022-06-29 cs.CL cs.SD eess.AS
Emotion Filtering at the Edge
Imperial College London（帝国理工学院）
语音控制的设备和服务在消费者物联网中已经变得非常流行。基于云的语音分析服务使用语音识别技术从语音输入中提取信息。因此，服务提供商可以建立用户的人口统计类别、个人偏好、情绪状态等的非常准确的简档，因此可能严重损害他们的隐私。为了解决这个问题，我们在用户和云服务之间开发了一个保护隐私的中间层，直接在边缘设备上对语音输入进行净化。我们使用基于CycleGAN的语音转换从原始语音输入信号中删除敏感信息，然后重新生成中和信号进行转发。我们使用相对便宜的Raspberry Pi 4来实现和评估我们的情感过滤方法，并表明性能准确性在边缘不会受到影响。事实上，在边缘处生成的信号与基于云的语音识别方法仅略有不同（约0.16%）。对生成信号的实验评估表明，对说话者情绪状态的识别可以减少约91%。
2019-09-18 cs.CR cs.HC cs.SD
DQLoRA: A Lightweight Domain-Aware Denoising ASR via Adapter-guided Distillation
University of Zürich（苏黎世大学）
本文提出DQLoRA框架，利用冻结Whisper模型作教师、轻量级Wav2Vec2作学生并配QLoRA适配器，通过联合最小化CTC与KL蒸馏损失，在FLEURS数据集上实现低资源噪声条件下的高效鲁棒语音识别。
2025-07-14 cs.SD eess.AS
KidSpeak: A General Multi-purpose LLM for Kids' Speech Recognition and Screening
Department of Computer Science and Engineering, State University of New York at Buffalo（计算机科学与工程系，纽约州立大学布法罗分校）
KidSpeak是首个为儿童语音识别与筛查设计的多用途大语言模型，结合语音增强技术与FASA对齐工具，实现87%的准确率，提升儿童语音数据质量13.6倍。
2025-12-01 cs.AI cs.CL cs.SD
Multi-Head State Space Model for Speech Recognition
Meta AI
本文提出多头状态空间模型MH-SSM，通过特殊门控机制学习局部与全局时间动态，可替代Transformer编码器中的多头注意力，并进一步构建Stateformer，在LibriSpeech语音识别任务上取得最先进性能。
2023-05-25 cs.AI cs.CL cs.LG
Lend a Hand: Semi Training-Free Cued Speech Recognition via MLLM-Driven Hand Modeling for Barrier-free Communication
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对提示语音识别中手部特征提取与建模不佳的问题，提出半训练免提示范式STF-ACSR，利用多模态大语言模型零样本识别手形与位置，结合极简融合模块提升识别性能，并在新增听力受损数据上验证优越性。
2025-03-11 cs.SD eess.AS
Low-Resource End-to-end Sanskrit TTS using Tacotron2, WaveGlow and Transfer Learning
Indian Institute of Science（印度科学学院）；SDM College of Engineering and Technology（SDM工程技术学院）
端到端的文本到语音（TTS）系统已经为英语和西班牙语等欧洲语言开发，具有最先进的语音质量，韵律和自然度。然而，印度语言端到端TTS的开发在质量方面落后。在这样的任务中涉及的挑战是：1）缺乏高质量的训练数据; 2）在训练和推理期间的低效率; 3）在大词汇量的情况下的缓慢收敛。在本文报告的工作中，我们研究了使用有限的梵语数据微调英语预训练的Tacotron 2模型，以在低资源设置中合成梵语的自然发音语音。我们的实验显示令人鼓舞的结果，实现了3.38的总体MOS从37个评价良好的梵语口语知识。考虑到我们使用的语音数据仅持续2.5小时的事实，这确实是一个非常好的结果。
2022-12-07 cs.CL cs.SD eess.AS
Sandglasset: A Light Multi-Granularity Self-attentive Network For Time-Domain Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
领先的单通道语音分离（SS）模型之一是基于具有双路径分段技术的TasNet，其中每个段的大小在所有层中保持不变。相比之下，我们的主要发现是，多粒度的功能是必不可少的，以提高上下文建模和计算效率。我们引入了一种具有新颖沙漏形状的自我关注网络，即Sandglasset，它以显著较小的模型大小和计算成本提高了最先进的（SOTA）SS性能。沿着Sandglasset内部的每个块向前，特征的时间粒度逐渐变得更粗，直到达到网络块的一半，然后朝着原始信号水平逐渐变得更细。我们还揭示了具有相同粒度的特征之间的残余连接对于通过瓶颈层后保留信息是至关重要的。实验表明，我们的Sandglasset只有2.3M的参数已经取得了最好的结果在两个基准SS数据集-WSJ 0 - 2 mix和WSJ 0 - 3 mix，其中SI-SNRi分数已分别提高了绝对0.8 dB和2.4 dB，与以前的SOTA结果相比。
2021-03-08 cs.AI cs.LG cs.SD
Unsupervised Domain Adaptation Schemes for Building ASR in Low-resource Languages
Indian Institute of Science（印度科学学院）；Indian Institute of Technology, Delhi（印度理工学院德里分校）
从头开始构建自动语音识别（ASR）系统需要大量带注释的语音数据，而这些数据在许多语言中很难收集。然而，在某些情况下，低资源语言与高资源语言共享公共声学空间，高资源语言具有足够的注释数据来构建ASR。在这种情况下，我们表明，通过无监督领域自适应（UDA）计划从高资源语言学习的领域独立的声学模型可以提高低资源语言的ASR的性能。我们在源域中使用印地语，在目标域中使用梵语的具体示例。我们探索了两种架构：i）使用梯度反转层（GRL）的域对抗训练和ii）域分离网络（DSN）。GRL和DSN架构在目标域中仅用5.5小时的数据进行训练时，与基线深度神经网络模型相比，单词出错率分别绝对提高了6.71%和7.32%。我们还表明，在源域中选择适当的语言（泰卢固语）可以带来进一步的改善。结果表明，UDA方案可以帮助开发低资源语言的ASR系统，减轻收集大量注释语音数据的麻烦。
2021-09-16 cs.CL cs.SD eess.AS
spatial-dccrn: dccrn equipped with frame-level angle feature and hybrid filtering for multi-channel speech enhancement
Northwestern Polytechnical University（西北工业大学）；Tencent Corporation（腾讯公司）
近年来，多通道语音增强由于能够利用空间信息区分目标语音和干扰信号而受到广泛关注。为了充分利用空间信息和基于神经网络的掩蔽估计，提出了一种多通道去噪神经网络--空间DCCRN。首先，我们将S-DCCRN扩展到多信道场景，旨在执行级联的子信道和全信道处理策略，可以单独建模不同的信道。此外，而不是仅仅采用多通道频谱或级联的第一通道的幅度和IPD作为模型的输入，我们应用一个角度特征提取模块（AFE）提取帧级的角度特征嵌入，这可以帮助模型明显感知空间信息。最后，针对噪声和语音同时存在于同一个时频点时，残留噪声现象更加严重的问题，设计了一种掩蔽映射滤波方法来代替传统的滤波求和运算，达到级联粗去噪、去混响和残留噪声抑制的目的。提出的模型Spatial-DCCRN在L3 DAS 22 Challenge数据集上超过了EaBNet、FasNet以及几个竞争模型。不仅在3D场景中，Spatial-DCCRN在多通道ConferencingSpeech 2021挑战数据集的多个评估指标中大幅优于最先进的（SOTA）模型MIMO-UNet。消融研究也证明了不同贡献的有效性。
2022-10-17 cs.SD eess.AS
Design and implementation of audio communication system for social-humanoid robot Lumen as an exhibition guide in Electrical Engineering Days 2015
Bandung Institute of Technology（万隆理工学院）
社会机器人流明是一个人形机器人创建的行为像人类和人类的朋友。在这项研究中，Lumen场景仅限于Lumen作为2015年电气工程日的展览指南，万隆理工学院电气工程本科生和研究生的研讨会和展览。作为一个展览指南，Lumen配备了Nao机器人，服务器和处理应用程序。音频通信系统就是其中的一种处理应用。该系统的目的是创建语言交流，使Lumen能够接收人类的声音并自然地对其做出反应。为了能够像人类一样进行交流，音频通信系统由语音识别模块将语音数据转换为文本，语音合成器模块将文本数据转换为语音，以及性别识别模块区分成年女性和男性声音。语音识别模块采用Google语音识别API实现，语音合成模块采用Acapela引擎实现，性别识别模块采用快速傅立叶变换算法提取的语音信号特征实现。用于实现的硬件是Nao机器人、计算机和无线调制解调器。- Lumen Robot Sosial Robot是一种能够像人类一样工作并为人类服务的类人机器人。音频通讯系统是一个应用最广泛的照明系统，它能够控制人体的亮度，并对自然产生响应，比如人体对自然的响应。为了实现人类等通讯，通讯音频系统需要一个强大的模块：语音识别来提供数据支持，语音合成器来提供数据支持，性别识别来提供想要和想要的东西。
2016-07-16 cs.HC cs.RO cs.SD
Large Language Models are Strong Audio-Visual Speech Recognition Learners
Imperial College London（帝国理工学院）；University of Trento（特伦托大学）；Meta AI；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文提出Llama-AVSR，通过冻结预训练音视频编码器和大语言模型、仅训练投影器与LoRA模块，在LRS3上以0.79%和0.77%的WER刷新ASR与AVSR最优结果。
2025-03-07 cs.CV cs.MM cs.SD
Hearing More with Less: Multi-Modal Retrieval-and-Selection Augmented Conversational LLM-Based ASR
本文提出MARS方法，通过多模态检索与选择提升对话式LLM-ASR的准确性，仅用1.5K小时数据即可超越训练于179K小时数据的顶级系统。
2026-01-16 cs.SD
Multi-Phonation Graph Learning with Self-Supervised Speech Embeddings for ALS Detection and Progression Prediction
University of Toronto（多伦多大学）；North York General Hospital（北约克综合医院）
研究针对ALS检测和进展预测问题，提出基于预训练SSL嵌入构建k近邻图的个体层面图框架，比较多种SSL前端和图神经网络，最佳配置在相关任务上表现优于基线，凸显结合两者用于低资源ALS监测的潜力。
2026-11-02 cs.SD eess.AS
Leveraging Large Language Models for Exploiting ASR Uncertainty
Apple（苹果公司）
针对ASR词错率限制LLM口语理解的问题，提出向LLM输入n-best假设列表并结合提示工程与LoRA微调，有效利用ASR不确定性提升语音意图分类性能。
2023-09-12 cs.CL cs.HC cs.SD
Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention
PKSHA Technology, Inc.（PKSHA科技公司）
本文描述了一种基于深度卷积神经网络（CNN）的新型文本到语音（TTS）技术，而不使用任何递归单元。近年来，递归神经网络（RNN）已经成为对序列数据建模的标准技术，并且该技术已经被用于一些前沿的神经TTS技术中。然而，训练RNN组件通常需要非常强大的计算机，或者非常长的时间，通常需要几天或几周。另一方面，最近的其他研究表明，由于高度的并行性，基于CNN的序列合成可以比基于RNN的技术快得多。本文的目的是表明，一种替代的神经TTS仅基于CNN减轻这些经济成本的培训。在我们的实验中，使用配备两个GPU的普通游戏PC对所提出的深度卷积TTS进行了充分的过夜（15小时）训练，而合成语音的质量几乎可以接受。
2020-09-30 cs.AI cs.LG cs.SD
What Did I Just Say? Self-Listening for Full-Duplex Speech Models
Shenzhen Loop Area Institute, China（深圳环形区域研究所）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））
针对全双工语音模型因异步生成导致说出内容与播放内容不一致的锚定打断问题，提出自听机制，将实际播放语音反馈给模型，并构建AnchorSpeech数据集，实验证明该方法提升锚定性能。
2026-09-09 cs.SD
Cross-Language Speech Emotion Recognition Using Multimodal Dual Attention Transformers
Qatar University（卡塔尔大学）
针对跨语言语音情感识别性能受限的问题，提出多模态双注意力 Transformer（MDAT），融合图注意力、协同注意力与 transformer 编码，在少量目标语言数据下提升分类效果。
2023-07-14 cs.CL cs.SD eess.AS
LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech
Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Cambridge（剑桥大学）；Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Avignon Université（阿维尼翁大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；NAVER LABS Europe（韩国 Naver 欧洲实验室）；ESPCI（巴黎高等物理化工学院）；PSL Research University（巴黎文理研究大学）
LeBenchmark 2.0是一个开源框架，提供14,000小时法语语音语料、十个wav2vec 2.0预训练模型和六项下游任务评估协议，其新模型性能优于先前基准，但预训练能耗高至四倍。
2024-03-18 cs.AI cs.CL cs.SD
Fine-grained Early Frequency Attention for Deep Speaker Representation Learning
Queen’s University（女王大学）；Ingenuity Labs Research Institute（英格尼蒂实验室研究所）
近年来，深度学习技术大大改善了语音处理。由深度学习模型提取的说话人表示正被用于各种任务中，例如说话人识别和语音情感识别。注意力机制在改进语音处理领域的深度学习模型方面开始发挥重要作用。尽管如此，尽管重要的说话者相关信息可以嵌入到输入频谱表示的各个频率区间中，但当前的注意力模型无法关注频谱表示中的细粒度信息项。在本文中，我们提出了细粒度的早期频率注意（FEFA）的说话人表示学习。我们的模型是一个简单而轻量级的模型，可以集成到各种CNN管道，并能够专注于小到频率箱的信息项。我们评估所提出的模型上的三个任务的说话人识别，语音情感识别，和口语数字识别。我们使用三个广泛使用的公共数据集，即VoxCeleb，IEMOCAP和Free Spoken Digit Dataset进行实验。我们将FEFA附加到几个著名的深度学习模型，并评估其对最终性能的影响。我们还将我们的工作与该领域的其他相关工作进行了比较。我们的实验表明，通过将FEFA添加到不同的CNN架构中，性能得到了持续的大幅提高，并且配备FEFA的模型优于所有其他专注的模型。我们还测试了我们的模型对不同水平的增加的噪声显示出改善的鲁棒性和较低的灵敏度相比，主干网。
2023-01-24 cs.CL cs.LG cs.SD
SpectroFusion-ViT: A Lightweight Transformer for Speech Emotion Recognition Using Harmonic Mel-Chroma Fusion
Department of Computer Science and Engineering（计算机科学与工程系）；Engineering Islamic University of Technology, Gazipur 1704, Bangladesh（伊斯兰技术大学）
SpectroFusion-ViT通过谐波梅-音高融合和轻量级Transformer实现高效语音情感识别，准确率超越现有方法。
2026-02-28 cs.LG cs.SD
