Building state-of-the-art distant speech recognition using the CHiME-4 challenge with a setup of speech enhancement baseline
Johns Hopkins University（约翰斯·霍普金斯大学）
本文描述了CHiME-4挑战赛中用于自动语音识别（ASR）的新基线系统，通过提供1）具有与挑战赛中复杂的顶级系统相当的简化单个系统的最先进系统，2）通过Kaldi语音识别工具包中的主存储库公开可用且可再现的配方，来促进语音处理社区中的噪声ASR的发展。该系统采用广义特征值波束形成和双向长短期记忆（LSTM）掩模估计。我们还建议使用一个时间延迟神经网络（TDNN）的基础上的无格版本的最大互信息（LF-MMI）训练增强所有六个麦克风加上增强后的数据波束成形。最后，我们使用LSTM语言模型进行格和n-best重新评分。最终系统在6通道轨道中的真实测试集上获得了2.74\%的WER，相当于挑战赛的第二名。此外，所提出的基线配方包括四种不同的语音增强措施，短时客观可懂度测量（STOI），扩展的STOI（eSTOI），语音质量的感知评估（PESQ）和语音失真比（SDR）的模拟测试集。因此，配方也提供了一个实验平台，语音增强研究与这些性能指标。
2018-03-27 cs.LG cs.SD eess.AS
BridgeNets: Student-Teacher Transfer Learning Based on Recursive Neural Networks and its Application to Distant Speech Recognition
Samsung Semiconductor, Inc.（三星半导体公司）
尽管在自动语音识别方面取得了显著的进展，但识别混合有各种噪声源的远场语音仍然是一项具有挑战性的任务。在本文中，我们介绍了新的学生-教师迁移学习，桥网，它可以提供一个解决方案，以提高远程语音识别。BridgeNet有两个关键特性。首先，BridgeNet通过从教师网络提供多个提示来扩展传统的学生-教师框架。提示不仅限于教师网络的软标签。教师的中间特征表示可以更好地指导学生网络学习如何对噪声输入进行降噪或去混响。其次，BridgeNet中提出的递归架构可以迭代地提高去噪和识别性能。BridgeNet的实验结果表明，在解决远程语音识别问题方面有了显着的改进，与没有教师提示的基线神经网络相比，它在AMI语料库上实现了高达13.24%的相对WER降低。
2018-02-21 cs.CL cs.SD eess.AS
Deep Learning for Distant Speech Recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
深度学习是一种新兴技术，被认为是达到更高水平的人工智能的最有前途的方向之一。在其他成就中，建造能够理解语音的计算机代表了向智能机器的关键飞跃。然而，尽管过去几十年来做出了巨大的努力，但自然和鲁棒的人机语音交互似乎仍然遥不可及，特别是当用户在嘈杂和混响的环境中与远处的麦克风交互时。后一种干扰严重妨碍语音信号的可理解性，使得远程语音识别（DSR）成为该领域中的主要公开挑战之一。本文针对后一种情况，提出了一些新的技术，架构和算法，以提高远程通话声学模型的鲁棒性。我们首先阐述了现实数据污染的方法，特别强调DNN训练与模拟数据。然后，我们调查的方法，更好地利用语音上下文，提出了一些原始的前馈和递归神经网络的方法。最后，受不同DNN之间的合作可能是抵消噪声和混响有害影响的关键这一想法的启发，我们提出了一种新的深度学习范式，称为深度神经网络的网络。原始概念的分析是基于对真实和模拟数据进行的广泛实验验证，考虑不同的语料库，麦克风配置，环境，嘈杂的条件和ASR任务。
2017-12-17 cs.CL cs.SD eess.AS
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
尽管在过去几年中取得了显著的进步，但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面，在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此，在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音，这被证明有助于减少训练和测试条件之间的声学失配。在本文中，我们在现代DNN-HMM系统的背景下修改了这种经典方法，并提出了三种方法，即非对称上下文窗口，基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示，使用这三种方法具有显着的优势，与基线系统相比，总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
Automatic context window composition for distant speech recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
远程语音识别正在通过深度学习进行革命性的变革，这有助于显着优于以前的HMM-GMM系统。DNN快速崛起和成功背后的一个关键方面是它们能够更好地管理大时间上下文。关于这一点，嵌入过去帧多于未来帧的非对称上下文窗口最近已与前馈神经网络一起使用。事实证明，这种上下文配置不仅有助于解决低延迟语音识别问题，还有助于提高混响条件下的识别性能。本文研究了DNN内部的机制，这些机制导致了非对称上下文的有效应用，特别是，我们提出了一种基于梯度分析的上下文窗口自动组合的新方法。在不同的声学环境、特征、DNN架构、麦克风设置和识别任务下进行的实验表明，我们简单有效的策略可以减少冗余帧配置，从而使DNN训练在混响场景中更有效。
2018-05-26 cs.LG cs.NE cs.SD
VarArray Meets t-SOT: Advancing the State of the Art of Streaming Distant Conversational Speech Recognition
Microsoft（微软）
本文提出了一种新的流式自动语音识别（ASR）框架，用于由具有任意几何形状的远距离麦克风阵列捕获的多说话者重叠语音。我们的框架名为t-SOT-VA，利用了独立开发的两种最新技术;阵列几何不可知的连续语音分离，或VarArray，以及基于令牌级序列化输出训练（t-SOT）的流式多说话者ASR。为了结合这两种技术的优点，我们新设计了一个基于t-SOT的ASR模型，该模型基于VarArray的两个分离的语音信号生成序列化的多说话者转录。我们还提出了一个预训练方案，这样的ASR模型，我们模拟VarArray的输出信号的基础上单声道单说话者ASR训练数据。使用AMI会议语料库的会话转录实验表明，该系统的基础上提出的框架显着优于传统的。我们的系统实现了最先进的字错误率分别为13.7%和15.5%的AMI开发和评估集，在多个远程麦克风设置，同时保留流推理能力。
2022-10-04 cs.CL cs.SD eess.AS
Unsupervised Adaptation with Interpretable Disentangled Representations for Distant Conversational Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
自动语音识别的当前趋势是利用大量的标记数据来训练监督神经网络模型。不幸的是，获取大范围域的数据以训练鲁棒模型可能是昂贵的。然而，从我们希望模型推广到的领域收集大量未标记的数据相对便宜。在本文中，我们提出了一种新的无监督自适应方法，学习从未标记的域内数据和标记的域外数据合成目标域的标记数据。我们首先在没有监督的情况下学习对语言和滋扰因素进行编码的语音的可解释的潜在表示（例如，扬声器和通道）使用不同的潜在变量。为了在不改变其成绩单的情况下转换标记的域外话语，我们在保持语言变量的同时转换潜在的滋扰变量。为了证明我们的方法，我们专注于一个通道失配设置，其中感兴趣的域是遥远的对话语音，标签只适用于近距离交谈的语音。我们提出的方法进行评估的AMI数据集，优于所有基线和弥合之间的差距，不使用任何并行数据超过77%，不适应和领域模型。
2018-06-13 cs.CL cs.LG cs.NE
Data Augmentation Methods for End-to-end Speech Recognition on Distant-Talk Scenarios
Sony Corporation（索尼公司）；Carnegie Mellon University（卡内基梅隆大学）
虽然端到端自动语音识别（E2 E ASR）在具有大量配对数据的任务中已经实现了很好的性能，但是使E2 E ASR对噪声和低资源条件具有鲁棒性仍然具有挑战性。在这项研究中，我们研究了远程通话场景中E2 E ASR的数据增强方法。E2 E ASR模型在一系列CHiME挑战数据集上进行训练，这些挑战数据集适合于研究对噪声和自发语音的鲁棒性。我们建议使用三种增强方法及其组合：1）使用文本到语音（TTS）数据的数据增强，2）循环一致的生成对抗网络（Cycle-GAN）增强训练映射两个不同的音频特征，干净的语音和嘈杂的录音，以匹配测试条件，以及3）由预训练的ASR模块提供的伪标签增强，用于平滑标签分布。使用CHiME-6/CHiME-4数据集的实验结果表明，每种增强方法都在传统SpecAugment的基础上单独提高了准确性;通过组合这些方法可以获得进一步的改进。我们实现了4.3\%的字错误率（WER）减少，这是更显着的SpecAugment，当我们结合所有三个增强CHiME-6任务。
2021-06-07 cs.SD eess.AS
Learning to Rank Microphones for Distant Speech Recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
充分利用ad-hoc麦克风网络进行远程语音识别仍然是一个悬而未决的问题。经验证据表明，能够选择最好的麦克风导致识别的显着改善，而无需在前端处理上做任何额外的努力。当前的信道选择技术依赖于信号、解码器或基于后验的特征。基于信号的特征计算起来很便宜，但并不总是与识别性能相关。相反，解码器和基于后验的特征表现出更好的相关性，但需要大量的计算资源。在这项工作中，我们通过提出MicRank来解决通道选择问题，MicRank是一种学习排名框架，在该框架中，神经网络被训练为直接使用训练集上的识别性能对可用通道进行排名。所提出的方法是不可知的阵列的几何形状和类型的识别后端。我们研究了不同的学习排名策略使用的目的和CHiME-6数据开发的合成数据集。结果表明，所提出的方法是能够大大改善以前的选择技术，达到可比的，在某些情况下更好的性能比Oracle信号为基础的措施。
2021-04-13 cs.LG cs.SD eess.AS
The DIRHA-English corpus and related tasks for distant-speech recognition in domestic environments
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
本文介绍了在欧共体DIRHA项目下最近实现的DIRHA-ENGLISH多麦克风语料库的内容和可能的用途。参考场景是配备有分布在空间中的大量麦克风和麦克风阵列的家庭环境。语料库由真实和模拟材料组成，包括12名美国和12名英国英语母语者。每个演讲者都说出了不同的语音丰富的句子，报纸文章，对话，关键词和命令。从这些材料中，生成了一组1分钟的序列，其中还包括典型的家庭背景噪声以及房间间/室内混响效果。得到了测试集和Dev集，为多麦克风语音处理和远距离语音识别的研究提供了宝贵的资料。已经开发了各种任务和相应的Kaldi配方。该论文报告了使用不同技术获得的第一组基线结果，包括深度神经网络（DNN），与国际水平的最新技术保持一致。
2017-10-06 cs.CL cs.SD eess.AS
Improved Frequency Modulation Features for Multichannel Distant Speech Recognition
National Technical University of Athens（雅典国立技术大学）
调频特征捕捉语音共振峰的精细结构，是对传统的基于能量的倒谱特征的有益补充。改进主要表现在GMM-HMM系统中，用于小词汇量和大词汇量任务。然而，它们在DNN-HMM系统和远程语音识别（DSR）任务中的应用有限。在这里，我们详细阐述了他们的集成在国家的最先进的前端计划，包括后处理的MFCC导致判别和扬声器适应功能的大的时间背景。我们探索1）多麦克风设置的多通道解调方案，2）更丰富的频率调制描述符，以及3）通过分层深度网络进行特征变换和组合。我们目前的结果串联和混合识别GMM和DNN声学模型，分别。改进的调制功能有效地结合MFCC产生适度的和一致的改善，在多通道远距离语音识别任务的混响和嘈杂的环境中，识别率是远离人类的表现。
2018-11-23 cs.HC cs.SD
Robust coherence-based spectral enhancement for distant speech recognition
在对第三届CHiME语音分离和识别挑战赛（CHiME-3）的贡献中，我们通过应用于基线波束形成器的输出信号的基于相干性的维纳滤波器来扩展CHiME-3基线语音识别系统的声学前端。为了计算依赖于时间和频率的后置滤波器增益，估计基线波束形成器的输出处的直接信号分量和漫射信号分量之间的比率，并将其用作短时信噪比的近似。所提出的频谱增强技术进行评估相对于CHiME-3挑战基线语音识别系统使用在公共环境中记录的真实语音的字出错率。结果证实了基于相干的后置滤波器集成到前端信号增强的有效性。
2015-09-23 cs.SD
Realistic multi-microphone data simulation for distant speech recognition
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
逼真的模拟语料库的可用性对未来远程语音识别技术的发展至关重要。数据模拟过程的可靠性、灵活性和低计算成本最终可能允许研究人员在各种声学场景中训练、调整和测试不同的技术，从而避免直接记录来自目标环境的真实数据的费力工作。在过去的十年中，一些模拟语料库已经发布给研究界，包括在项目和国际挑战的背景下分布的数据集，如CHiME和REVERB。这些努力对于为比较目的确定基线和共同评价框架极为有用。与此同时，在许多情况下，他们强调需要在真实和模拟条件之间建立更好的一致性。在本文中，我们研究这个问题，我们描述了我们的方法来生成现实语料库在国内的背景下。在多麦克风场景中进行的实验验证表明，在不同的识别框架、声学模型以及多麦克风处理技术中，可以观察到具有可比性的性能趋势。
2017-11-26 cs.SD eess.AS
Frequency Domain Multi-channel Acoustic Modeling for Distant Speech Recognition
Amazon Inc.（亚马逊公司）
传统的远场自动语音识别（ASR）系统通常采用麦克风阵列技术来进行语音增强，以便提高对噪声或混响的鲁棒性。然而，这样的语音增强技术并不总是产生ASR准确度的改进，因为用于语音增强的优化标准并不直接与ASR目标相关。在这项工作中，我们开发了新的声学建模技术，可以直接基于ASR标准从多通道（MC）输入中优化空间滤波和长短期记忆（LSTM）层。与传统的方法相比，我们将阵列处理知识的声学模型。此外，我们初始化网络的波束形成器的系数。我们通过ASR实验研究这种MC神经网络对真实世界远场数据的影响，其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明，我们的MC声学模型可以减少字错误率（WER）的~ 16.5%相比，一个单通道ASR系统与传统的对数梅尔滤波器组能量（LFBE）功能平均。我们的研究结果还表明，与使用七个麦克风的传统波束形成相比，我们的网络在双通道输入上具有空间滤波层，实现了约9.5%的相对WER降低。
2019-04-28 cs.SD eess.AS
Residual LSTM: Design of a Deep Recurrent Architecture for Distant Speech Recognition
Samsung Semiconductor, Inc.（三星半导体有限公司）
本文介绍了一种新的深度递归神经网络架构，残差LSTM。普通LSTM具有内部存储单元，可以学习顺序数据的长期依赖性。它还提供了一个时间捷径路径，以避免消失或爆炸的梯度在时间域。剩余的LSTM提供了一个额外的空间捷径路径，用于有效训练具有多个LSTM层的深度网络。与以前的工作相比，高速公路LSTM，剩余LSTM通过使用输出层将空间捷径路径与时间捷径路径分开，这有助于避免空间和时间域梯度流之间的冲突。此外，残差LSTM重用LSTM的输出投影矩阵和输出门来控制空间信息流，而不是额外的门网络，这有效地减少了10%以上的网络参数。在AMI SDM语料库上进行的远程语音识别实验表明，10层平原和公路LSTM网络的WER分别比3层基线增加了13.7%和6.2%。相反，10层剩余LSTM网络提供了最低的WER 41.0%，分别对应于平原和公路LSTM网络的3.3%和2.8% WER减少。
2017-06-05 cs.AI cs.LG cs.SD
Multi-Geometry Spatial Acoustic Modeling for Distant Speech Recognition
Amazon Inc.（亚马逊公司）
利用多个麦克风的空间信息可以提高远场自动语音识别（ASR）的准确性。然而，当在设计和测试条件之间存在阵列几何形状失配时，常规麦克风阵列技术降低了语音增强性能。此外，由于语音增强和ASR优化目标之间的差异，这样的语音增强技术并不总是产生ASR准确度的改进。在这项工作中，我们提出通过优化多通道（MC）输入的空间滤波和长短期记忆（LSTM）层来统一声学模型框架。我们的声学模型包含具有多种阵列几何形状的波束形成器。与将神经网络视为黑盒工具的深度聚类方法相比，对空间滤波器进行编码的网络可以实时处理流式音频数据，而无需累积目标信号统计数据。我们证明了这种MC神经网络的有效性，通过ASR实验的真实世界的远场数据。我们表明，我们的双通道声学模型可以平均降低字错误率（WER）的~13.4和~12.7%相比，一个单通道ASR系统的对数梅尔滤波器组能量（LFBE）功能匹配和不匹配的麦克风放置条件下，分别。我们的研究结果还表明，我们的双通道网络实现了超过7.0%的相对WER减少相比，传统的波束成形与7个麦克风的整体。
2019-04-28 cs.SD eess.AS
Sample Drop Detection for Distant-speech Recognition with Asynchronous Devices Distributed in Space
RWTH Aachen University（亚琛工业大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
在多麦克风多设备处理的许多应用中，不同输入通道之间的同步可能受到缺乏公共时钟和隔离的样本滴的影响。在这项工作中，我们解决的问题的背景下，一个对话的语音场景，记录由一组分布在空间中的麦克风的样本下降检测。我们的目标是设计一个基于神经的模型，该模型在时域中给定一个短窗口，检测一个或多个设备是否经历了样品掉落事件。候选时间窗口是从一组大的时间间隔中选择的，可能包括样品滴，并通过使用预处理步骤。后者是基于由不同设备采集的信号之间的归一化互相关的应用。神经网络的架构依赖于CNN-LSTM编码器，然后是多头注意力。使用人工和真实数据进行实验。我们提出的方法在从CHiME-5语料库中提取的评估集上获得了88%的F1分数。在一组多通道人工场景上进行的一组较大的实验中发现了类似的性能。
2019-11-15 cs.SD eess.AS
Recent Trends in Distant Conversational Speech Recognition: A Review of CHiME-7 and 8 DASR Challenges
Carnegie Mellon University（卡内基梅隆大学）；Paderborn University（帕德博恩大学）；NVIDIA（NVIDIA公司）；Meta；Johns Hopkins University（约翰霍普金斯大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Southern University of Science and Technology（南方科技大学）
本文综述CHiME-7和8 DASR挑战赛，指出端到端ASR、引导源分离和说话人日志优化成为主流，并发现会议摘要下游评估与转录质量弱相关，且复杂环境下的自发语音转录仍具挑战。
2025-11-01 cs.CL cs.SD eess.AS
The CHiME-8 DASR Challenge for Generalizable and Array Agnostic Distant Automatic Speech Recognition and Diarization
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）；Paderborn University（帕德博恩大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了CHiME-8 DASR挑战赛，聚焦多设备多通道远场语音识别与说话人日志任务，通过新增NOTSOFAR-1场景、LLM赛道及评审团奖励机制等创新，并提供独立工具包与双基线系统，推动泛化性会议转录研究。
2024-07-23 cs.SD eess.AS
Large-Scale Pre-Training of End-to-End Multi-Talker ASR for Meeting Transcription with Single Distant Microphone
Microsoft Corp.（微软公司）
用单个远距离麦克风（SDM）转录包含重叠语音的会议一直是自动语音识别（ASR）最具挑战性的问题之一。虽然已经提出了各种各样的方法，所有以前的单声道重叠语音识别问题的研究是基于模拟数据或小规模的实际数据。在本文中，我们广泛研究了一种两步方法，首先使用大规模模拟数据预训练基于序列化输出训练（SOT）的多说话者ASR，然后使用少量真实会议数据微调模型。实验是通过利用我们内部的7.5万（K）小时的单说话者录音来模拟总共90万小时的多说话者音频片段进行监督预训练。通过对AMI-SDM 70小时的训练数据进行微调，我们的SOT ASR模型在自动计算每个测试段中的扬声器的同时，对AMI-SDM评估集实现了21.2%的单词错误率（WER）。该结果不仅显著优于先前的具有oracle话语边界信息的36.4%的最新WER，而且优于通过应用于波束成形音频的类似微调的单说话者ASR模型的结果。
2021-04-12 cs.CL cs.SD eess.AS
The VOiCES from a Distance Challenge 2019 Evaluation Plan
SRI International（斯坦福国际研究院）；In-Q-Tel Laboratories（因-Q-泰尔实验室）
“VOiCES from a Distance Challenge 2019”旨在促进说话人识别和自动语音识别（ASR）领域的研究，特别关注噪声条件下的单通道远场/远场音频。这一挑战的主要目标是：（i）在说话人识别和自动语音识别（ASR）领域中对最先进的技术进行基准测试，（ii）支持在说话人识别和ASR中的新思想和技术的开发，（iii）支持进入远场/远场语音处理领域的新研究小组，以及（iv）提供新的，公开可用的数据集，展示现实的距离特征的社区。
2019-02-27 cs.SD eess.AS
Multi-Variant Consistency based Self-supervised Learning for Robust Automatic Speech Recognition
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自动语音识别（ASR）近年来取得了快速的发展，但在远场和噪声环境中仍然会显着下降。近年来发展起来的自监督学习（SSL）技术可以通过使用额外的未标记语音对模型进行预训练来提高ASR的性能，SSL预训练模型在多个语音基准测试上取得了最好的效果。然而，大多数以前的SSL方法忽略了背景噪声或混响的影响，这是至关重要的部署在现实世界的语音应用中的ASR系统。本文提出了一种基于多变量一致性（MVC）的SSL方法，以适应不同的环境。MVC-SSL是一种强大的SSL预训练方法，专为现实世界应用中的嘈杂和远程通话语音而设计。与以往的SSL方法相比，MVC-SSL可以计算来自不同声学条件或通道的音频之间的对比度损失，并且可以随着环境或记录设备的变化而学习不变的表示。我们还探索了不同的SSL训练管道，以平衡嘈杂的远距离说话语音和额外的高资源清洁语音。我们在商业动机的数据集CHiME-4和会议数据集AMI上评估了所提出的方法。在MVC-SSL和适当的训练管道的帮助下，我们可以实现高达30%的相对字出错率减少超过基线wav2vec2.0，最成功的SSL方法之一，为ASR。
2022-05-04 cs.CL cs.SD eess.AS
Learning Speech Emotion Representations in the Quaternion Domain
City, University of London（伦敦城市大学）；Sapienza University of Rome（罗马第一大学）
语音信号中人类情感表达的建模是一项重要而又具有挑战性的任务。语音情感识别模型的高资源需求，加上情感标记数据的普遍稀缺，是该领域有效解决方案的开发和应用的障碍。在本文中，我们提出了一种方法来共同规避这些困难。我们的方法，名为RH-emo，是一种新的半监督架构，旨在从实值单声道频谱图中提取四元数嵌入，使四元数值网络用于语音情感识别任务。RH-emo是一个混合实/四元数自动编码器网络，由一个实值编码器、一个实值情感分类器和一个四元数解码器组成。一方面，分类器允许优化嵌入的每个潜在轴，用于特定情感相关特征的分类：效价、唤醒、支配和整体情感。另一方面，四元数重构使得潜在维度能够发展通道内相关性，这是作为四元数实体的有效表示所需的。我们使用四个流行的数据集测试我们的语音情感识别任务的方法：Iemocap，Ravdess，ESDb和Tess，比较三个成熟的实值CNN架构（AlexNet，ResNet-50，VGG）及其四元数值等效物的性能与RH-emo创建的嵌入。我们在所有数据集的测试精度上都得到了一致的提高，同时大大降低了模型的资源需求。此外，我们进行了额外的实验和消融研究，证实了我们的方法的有效性。RH-emo存储库可以在https://github.com/ispamm/rhemo上找到。
2023-03-03 cs.LG cs.SD eess.AS
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
Speech Emotion Recognition Using Quaternion Convolutional Neural Networks
Stony Brook University（石溪大学）
虽然语音识别已经成为一种广泛的技术，但是从语音信号推断情感仍然是一个挑战。为了解决这个问题，本文提出了一种基于四元数卷积神经网络（QCNN）的语音情感识别（SER）模型，在该模型中，语音信号的Mel谱图特征被编码在RGB四元数域中。我们表明，我们基于QCNN的SER模型在Ryerson情感语音和歌曲视听数据库（RAVDESS，8类）数据集中优于其他实值方法，据我们所知，达到了最先进的结果。QCNN还在交互式情感二元运动捕捉（IEMOCAP 4类）和柏林EMO-DB（7类）数据集中实现了与最先进方法相当的结果。该模型对RAVDESS、IEMOCAP和EMO-DB数据集的准确率分别为77.87%、70.46%和88.78%。此外，我们的研究结果表明，四元数单元结构能够更好地编码内部依赖关系，以减少其模型的大小显着相比，其他方法。
2021-10-31 cs.CL cs.SD eess.AS
Computing Optimal Location of Microphone for Improved Speech Recognition
IIT Jammu（印度理工学院查谟分校）；TCS Research（塔塔咨询服务公司研究部）；Tata Consultancy Services Limited（塔塔咨询服务有限公司）
在我们的早期工作中，麦克风位置的测量误差影响房间脉冲响应（RIR），这反过来又影响单通道近麦克风和多通道远麦克风语音识别。在本文中，作为一个扩展，我们系统地研究，以确定麦克风的最佳位置，给出了一个近似的，因此错误的麦克风在3D空间中的位置。其主要思想是使用Monte-Carlo技术在错误的麦克风位置周围产生大量的随机麦克风位置，并选择导致通用自动语音识别（gp-asr）的最佳性能的麦克风位置。我们用干净和嘈杂的语音进行实验，结果表明麦克风的最佳位置是唯一的，并且受到噪声的影响。
2022-03-24 cs.AI cs.SD eess.AS
The CHiME-7 DASR Challenge: Distant Meeting Transcription with Multiple Devices in Diverse Scenarios
Università Politecnica delle Marche（马尔凯理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Tokyo Metropolitan University（东京都立大学）
本文介绍 CHiME-7 DASR 挑战赛，面向多设备远场会议场景评估联合 ASR 与说话人日志，并给出跨场景泛化的不依赖阵列拓扑基线系统。
2023-07-14 cs.CL cs.SD eess.AS
QUARC: Quaternion Multi-Modal Fusion Architecture For Hate Speech Classification
School of Computer Sciences, NISER（国家科学教育与研究院计算机科学学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
仇恨言论在社交媒体时代很常见，有时无害，但也会对某人造成精神创伤，甚至在社区中引发骚乱。带有贬损性评论的宗教符号图像或一名男子滥用特定社区的视频都成为仇恨言论，其每一种形式（如文本，图像和音频）都有助于它。基于社交媒体上仇恨言论帖子的特定形式的模型是没有用的，相反，我们需要像多模态融合模型这样的模型，在对仇恨言论进行分类时考虑图像和文本。文本图像融合模型是大量参数化的，因此，我们提出了一个四元数神经网络为基础的模型具有额外的融合组件的每对模式。该模型在MMHS 150K twitter数据集上进行了测试，用于仇恨言论分类。该模型显示参数减少了近75%，并且在存储空间和训练时间方面也使我们受益，同时与真实模型相比，在性能方面也处于同等水平。
2020-12-15 cs.CL cs.LG cs.SD
Automatic channel selection and spatial feature integration for multi-channel speech recognition across various array topologies
Northwestern Polytechnical University（西北工业大学）；Li Auto（理想汽车）
针对多阵列拓扑下远场ASR的挑战，提出含注意力自动通道选择、通道间空间特征增强及U-Net启发的卷积融合模块的ASR系统，在CHiME-7语料Eval集上Macro DA-WER相对降低40.1%。
2023-12-15 cs.SD eess.AS
Reference Microphone Selection for Guided Source Separation based on the Normalized L-p Norm
Carl von Ossietzky Universität Oldenburg, Dept. of Medical Physics and Acoustics（奥尔登堡卡尔·冯·奥西特齐克大学医学物理与声学系）；NTT, Inc.（NTT公司）
本文针对基于GSS的远场ASR系统，提出了两种基于归一化ℓp范数的参考麦克风选择方法，以兼顾各麦克风间SNR和ELR差异，实验表明该方法优于基线并降低了宏平均词错误率。
2025-10-31 cs.SD eess.AS
CHiME-6 Challenge:Tackling Multispeaker Speech Recognition for Unsegmented Recordings
Johns Hopkins University（约翰斯·霍普金斯大学）；The City University of New York（纽约城市大学）；University of Sheffield（谢菲尔德大学）；Inria（法国国家信息与自动化研究所）；Paderborn University（帕德博恩大学）；Hitachi, Ltd.（日立公司）；Microsoft（微软公司）；Linguistic Data Consortium（语言数据联盟）
在第一、二、三、四、五届CHiME挑战赛取得成功后，我们组织了第六届CHiME语音分离和识别挑战赛（CHiME-6）。新的挑战重新审视了之前的CHiME-5挑战，并进一步考虑了日常家庭环境中远程多麦克风对话语音日记和识别的问题。除了精确的阵列同步之外，语音材料与之前的CHiME-5录音相同。该材料是使用一个晚宴的情况下，努力捕捉的数据，是自然的会话语音的代表。本文提供了CHiME-6的分段多说话者语音识别（轨道1）和未分段多说话者语音识别（轨道2）的挑战的基线描述。值得注意的是，轨道2是社区中的第一个挑战活动，以解决未分段的多扬声器语音识别场景，具有一套完整的可重复的开源基线，提供语音增强，扬声器日记和语音识别模块。
2020-05-02 cs.CL cs.SD eess.AS
Continual Adaptation for Pacific Indigenous Speech Recognition
The University of Melbourne（墨尔本大学）；UNSW Sydney（新南威尔士大学悉尼分校）
针对太平洋土著语言数据稀缺和灾难性遗忘问题，研究语音基础模型的适应策略，发现LoRA在顺序学习中会灾难性遗忘，需定制鲁棒适应方法。
2026-06-18 cs.CL cs.SD eess.AS
Improving Cross-Lingual Transfer Learning for End-to-End Speech Recognition with Speech Translation
Facebook AI（脸书人工智能）
已知从高资源语言的迁移学习是改善低资源语言的端到端自动语音识别（ASR）的有效方式。然而，预训练或联合训练的编码器-解码器模型不共享相同语言的语言建模（解码器），这对于远距离目标语言可能是低效的。我们引入语音到文本翻译（ST）作为一项辅助任务，以纳入目标语言的额外知识，并实现从目标语言的转换。具体来说，我们首先将高资源的ASR成绩单翻译成目标低资源语言，然后训练ST模型。ST和目标ASR共享相同的基于注意力的编码器-解码器架构和词汇表。然后，前一个任务为后一个任务提供了一个完全预训练的模型，将字错误率（WER）降低到基线（从高资源ASR直接传输）的24.6%。我们表明，培训ST与人类翻译是没有必要的。使用机器翻译（MT）伪标签训练的ST带来了一致的收益。它甚至可以通过仅利用500 K MT示例来传输到目标ASR时优于使用人类标签的那些。即使使用来自低资源MT（200 K示例）的伪标签，ST增强的转移也使直接转移的WER降低了8.9%。
2020-10-09 cs.CL cs.SD eess.AS
The CHiME-7 Challenge: System Description and Performance of NeMo Team's DASR System
NVIDIA（英伟达）
本文介绍NVIDIA NeMo团队为第7届CHiME挑战赛DASR任务开发的多通道、多说话人语音识别级联系统，包含说话人日志、前端处理和ASR模块，并经全面优化提升性能。
2023-10-18 cs.SD eess.AS
Speech Emotion Recognition System by Quaternion Nonlinear Echo State Network
Razi University（拉齐大学）
回声状态网络（ESN）是一种强大而有效的动态数据显示工具。然而，许多现有的ESN在正确建模高维数据方面存在局限性。这些网络的最重要的限制是由于其水库结构，这阻止了水库单位的增加和这种类型的网络的特殊能力的最大使用的高内存消耗。解决这个问题的一种方法是使用四元数代数。由于四元数有四个不同的维度，高维数据很容易表示，并且使用汉密尔顿乘法，参数比实数少，使多维特征之间的外部关系更容易。除了ESN网络中的记忆问题之外，ESN网络的线性输出对其处理能力造成了难以描述的限制，因为它不能有效地利用由水库神经元的非线性动力学提供的特征的高阶统计。本文提出了一种基于ESN的网络结构，该结构利用四元数代数对网络数据进行压缩，并采用简单的分裂函数，用多维双线性滤波器代替输出线性组合器。该滤波器将用于ESN输出层的非线性计算。此外，二维主成分分析技术被用来减少传输到双线性滤波器的数据的数量。本文采用遗传算法对四元数非线性ESN（QNESN）的系数和权值进行优化。为了证明该模型的有效性相比，以前的方法，语音情感识别的实验已经进行了EMODB，SAVEE和IEMOCAP语音情感数据集。比较表明，建议QNESN网络性能优于ESN和目前的SER系统。
2021-11-14 cs.SD eess.AS
Inductive biases, pretraining and fine-tuning jointly account for brain responses to speech
Facebook AI Research（Facebook AI研究院）；Université de Paris（巴黎大学）；CoML, ENS/CNRS/EHESS/INRIA/PSL University（计算语言学实验室，巴黎高等师范学院/法国国家科学研究中心/法国社会科学高等研究院/法国国家信息与自动化研究所/巴黎文理研究大学）；CRI, Département Frontières du Vivant et de l’Apprendre, IIFR, Université de Paris（认知研究所，生命与学习前沿系，法国医学研究院，巴黎大学）；École normale supérieure, PSL University, CNRS（巴黎高等师范学院，巴黎文理研究大学，法国国家科学研究中心）
到目前为止，我们理解语音的能力仍然是深度学习模型无法比拟的。这一壮举可能是由于大脑的能力，微调通用的声音表示为语音特定的过程。为了验证这一假设，我们比较了i）五种类型的深层神经网络和ii）由口语句子引起的人脑反应，并使用功能性磁共振成像（fMRI）记录了102名荷兰受试者。每个网络要么接受声学场景分类、语音转文本任务（基于孟加拉语、英语或荷兰语）的训练，要么未接受训练。每个模型和大脑之间的相似性通过在最佳线性投影后将它们各自的激活相关联来评估。网络之间大脑相似性的差异揭示了三个主要结果。首先，大脑中的语音表征可以由随机深度网络来解释。其次，学习对声学场景进行分类会导致深度网络增加它们的大脑相似性。第三，学习处理语音相关的语音输入（即，荷兰语vs英语）导致深度网络达到比学习处理语音距离较远的语音输入（即荷兰语vs孟加拉语）更高的大脑相似性水平。总之，这些结果表明，人类大脑微调其经过严格训练的听觉层次来学习处理语音。
2021-02-25 cs.CL cs.SD eess.AS
Capturing Multi-Resolution Context by Dilated Self-Attention
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
自注意力已经成为一种重要且广泛使用的神经网络组件，有助于为各种应用建立新的最先进的结果，例如机器翻译和自动语音识别（ASR）。然而，自注意的计算复杂度与输入序列长度成二次方增长。这对于诸如ASR之类的应用可能是特别有问题的，其中从话语生成的输入序列可能相对较长。在这项工作中，我们提出了一个限制性的自我注意力和膨胀机制，我们称之为膨胀的自我注意力的组合。受限的自关注允许以高分辨率关注查询的相邻帧，并且膨胀机制总结远距离信息以允许以较低分辨率关注它。不同的方法来总结遥远的帧进行了研究，如子采样，均值池，和基于注意力池。ASR结果表明，与单独的限制性自我注意相比，有了很大的改进，与基于全序列的自我注意相比，实现了类似的结果，而计算成本只有一小部分。
2021-04-07 cs.LG cs.SD eess.AS
Moonshine v2: Ergodic Streaming Encoder ASR for Latency-Critical Speech Applications
Moonshine v2通过滑动窗口自注意机制实现低延迟流式ASR，达到与更大模型相当的准确性。
2026-02-12 cs.CL cs.LG cs.SD
Generating Training Targets for Real-World Speech Enhancement via Close-to-Distant Microphone Projection
University of Tokyo（东京大学）
提出近远麦克风投影（C2D投影）方法，利用真实录音生成配对数据，通过参数化多通道维纳滤波器实现投影，训练神经网络在远场语音增强中优于现有GSS方法。
2026-06-12 cs.SD eess.AS
BUT CHiME-7 system description
Brno University of Technology（布尔诺理工大学）；AGH University of Krakow（克拉科夫AGH大学）；University of Buenos Aires（布宜诺斯艾利斯大学）
本文介绍了BUT等机构为CHiME-7挑战赛开发的ASR系统，利用GSS处理多通道音频，融合基于自监督学习的端到端模型，并引入LibriSpeech外部数据，专注于DASR任务的远场声学鲁棒性子赛道。
2023-10-18 cs.SD eess.AS
The JHU Multi-Microphone Multi-Speaker ASR System for the CHiME-6 Challenge
JHU（约翰斯·霍普金斯大学）
本文总结了JHU团队在CHiME-6挑战赛的第1和第2轨道上所做的努力，该挑战赛旨在实现日常家庭环境中的远程多麦克风对话语音日记和识别。我们探索了流水线每个阶段的多阵列处理技术，例如用于增强和声学模型训练数据的多阵列引导源分离（GSS），用于语音活动检测的后验融合，用于日志化的PLDA分数融合，以及用于自动语音识别（ASR）的格组合。我们还报告了不同的声学模型架构的结果，并集成了其他技术，如在线多通道加权预测误差（WPE）去混响和变分贝叶斯隐马尔可夫模型（VB-HMM）的重叠分配，分别处理混响和重叠扬声器。作为这些努力的结果，我们的ASR系统实现了40.5%和67.5%的字错误率的轨道1和2，分别对评估集。相对于相应赛道的挑战基线，这是10.8%和10.4%的绝对改善。
2020-06-14 cs.SD eess.AS
Libri-Light: A Benchmark for ASR with Limited or No Supervision
Facebook AI（脸书人工智能研究院）；EHESS（法国高等社会科学研究院）；ENS（巴黎高等师范学院）；PSL-University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
我们介绍了一个新的英语口语音频集合，适合于在有限或无监督的情况下训练语音识别系统。它来自LibriVox项目的开源有声读物。它包含超过6万小时的音频，据我们所知，这是最大的免费语音语料库。音频已使用语音活动检测进行分段，并标记有SNR，扬声器ID和流派描述。此外，我们还提供了三种设置下的基线系统和评估指标：（1）零资源/无监督设置（ABX），（2）半监督设置（PER，CER）和（3）远程监督设置（WER）。设置（2）和（3）使用与演讲一致的有限文本资源（10分钟到10小时）。设置（3）使用大量未对齐的文本。它们在标准LibriSpeech开发和测试集上进行评估，以与最先进的监督进行比较。
2019-12-17 cs.CL cs.SD eess.AS
How much to Dereverberate? Low-Latency Single-Channel Speech Enhancement in Distant Microphone Scenarios
L-Acoustics（法国音响品牌L-Acoustics）
本文研究5至10米远距离麦克风场景下的实时低延迟单通道语音增强，证明了其可行性，发现房间体积与混响时间关系对模拟房间脉冲响应很重要，并提出保留早期反射可提升整体信号质量。
2025-05-02 cs.LG cs.SD eess.AS
Channel-Combination Algorithms for Robust Distant Voice Activity and Overlapped Speech Detection
Le Mans Université（勒芒大学）
本文提出基于自注意力通道组合器的三种多通道组合算法，解决远场联合语音活动与重叠语音检测问题，并引入通道数不变损失提升对不同麦克风阵列配置的泛化鲁棒性。
2024-02-13 cs.SD eess.AS
Beyond the Utterance: An Empirical Study of Very Long Context Speech Recognition
Department of Computer Science, The University Of Sheffield（计算机科学系，谢菲尔德大学）
本研究通过训练长上下文ASR模型，发现使用更长的上下文可显著提升语音识别性能，验证了长序列处理的可行性。
2026-02-04 cs.SD eess.AS
Highway Long Short-Term Memory RNNs for Distant Speech Recognition
University of Washington（华盛顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Microsoft Research（微软研究院）；Amazon（亚马逊）；Mitsubishi Electric（三菱电机）；MERL（三菱电机研究实验室）
在本文中，我们扩展了深长短期记忆（DLSTM）循环神经网络之间的门控直接连接相邻层的存储单元。这些直接链接，称为高速公路连接，使不同层之间的信息流畅通无阻，从而缓解了构建更深LSTM时的梯度消失问题。我们进一步介绍了延迟控制的双向LSTM（BLSTM），它可以利用整个历史，同时保持控制下的延迟。提出了有效的算法来训练这些新的网络使用帧和序列判别准则。AMI远程语音识别（DSR）任务的实验表明，我们可以训练更深的LSTM，并取得更好的改善从序列训练与公路LSTM（HLSTM）。我们的新模型在AMI（SDM）开发和评估集上获得了$43.9/47.7\%$ WER，性能优于所有以前的工作。它分别以$15.7\%$和$5.3\%$的相对改进击败了强大的DNN和DLSTM基线。
2016-01-11 cs.AI cs.CL cs.LG
Reinforcement Learning for Data-Efficient Code-Switched ASR
Spotify Canada（加拿大声田公司）
研究针对代码混合语音识别中音频语言模型解码问题，提出基于强化学习的方法，结合错误率奖励、脚本保真度奖励及两阶段过程，用少量数据训练达全量数据微调效果，且增益可零样本转移。
2026-07-07 cs.CL cs.SD
Neural Blind Source Separation and Diarization for Distant Speech Recognition
National Institute of Advanced Science and Technology (AIST)（日本产业技术综合研究所）；Carnegie Mellon University（卡内基梅隆大学）
针对远场多说话人语音识别中 GSS 依赖说话人日志的问题，提出弱监督神经推理模型，仅用多通道混合及说话人活动时间标注训练，实现联合盲源分离与日志，并在 AMI 上词错误率优于带 oracle 日志的 GSS。
2024-06-12 cs.AI eess.AS
LOTUSDIS: A Thai far-field meeting corpus for robust conversational ASR
本文提出泰语远场会议语料库 LOTUSDIS，包含 114 小时多距离多设备自发对话，通过微调 Whisper 显著降低远场词错误率，证明距离多样化数据对鲁棒 ASR 的重要性。
2025-09-23 cs.CL cs.SD
The fifth 'CHiME' Speech Separation and Recognition Challenge: Dataset, task and baselines
University of Sheffield（谢菲尔德大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
CHiME挑战赛系列旨在通过促进语音和语言处理、信号处理和机器学习的接口研究，推进鲁棒的自动语音识别（ASR）技术。本文介绍了第五届CHiME挑战赛，该挑战赛考虑了在真实家庭环境中远程多麦克风会话ASR的任务。使用晚宴场景引出语音材料，努力捕获代表自然对话语音的数据，并由6个Kinect麦克风阵列和4个双耳麦克风对记录。该挑战赛的特点是单阵列轨道和多阵列轨道，对于每个轨道，将为专注于远距离麦克风捕获的鲁棒性的系统与试图解决任务的所有方面（包括会话语言建模）的系统产生不同的排名。我们讨论了挑战的理由，并提供了一个详细的描述的数据汇集程序，任务，和基线系统的阵列同步，语音增强，传统的和端到端的ASR。
2018-03-28 cs.AI cs.SD eess.AS
ASoBO: Attentive Beamformer Selection for Distant Speaker Diarization in Meetings
LIUM（LIUM实验室）；Institut Claude Chappe（克劳德·沙普研究所）；Le Mans Université（勒芒大学）；LAUM（LAUM实验室）；IA-GS（IA-GS机构）；UMR CNRS 6613（法国国家科学研究中心联合单位6613号）
本文提出ASoBO算法，利用自注意力机制选择固定空间滤波器输出作为特征，联合进行VAD和OSD以推断说话人日志，在AISHELL-4上达到14.5%的DER且注意力权重具可解释性。
2024-06-05 cs.AI cs.SD eess.AS
Structured-based Curriculum Learning for End-to-end English-Japanese Speech Translation
Graduate School of Information Science, Nara Institute of Science and Technology（奈良先端科学技术大学院大学信息科学研究生院）
序列到序列的基于注意力的神经网络架构已经被证明为机器翻译和语音识别提供了一个强大的模型。最近，一些作品试图扩展模型的端到端的语音翻译任务。然而，这些模型的有用性仅在具有相似句法和词序的语言对上进行了研究（例如，英语-法语或英语-西班牙语）。在这项工作中，我们专注于端到端的语音翻译任务的句法遥远的语言对（例如，英语-日语），需要遥远的单词重新排序。为了引导编码者-解码者注意模型学习这一难题，我们提出了一种基于结构化的课程学习策略。与传统的课程学习，逐渐强调困难的数据的例子，我们形式化的学习策略，从更容易的网络结构，更困难的网络结构。在这里，我们从语音识别或基于文本的机器翻译任务的端到端编码器-解码器开始训练，然后逐渐转移到端到端语音翻译任务。实验结果表明，与没有课程学习的方法相比，所提出的方法可以提供显着的改善。
2018-02-13 cs.CL cs.SD eess.AS
Multi-microphone Automatic Speech Segmentation in Meetings Based on Circular Harmonics Features
Le Mans Université（勒芒大学）
针对远场会议多麦克风语音分割，本文提出圆谐波域 DOA 空间特征 CH-DOA，并融合标准声学特征，用于 VAD、OSD 和 SCD，在 AMI 上提升分割性能且对麦克风失效鲁棒。
2023-06-07 cs.CL cs.SD eess.AS
PickNet: Real-Time Channel Selection for Ad Hoc Microphone Arrays
Microsoft（微软）
本文提出了PickNet，一个神经网络模型的实时通道选择的ad hoc麦克风阵列组成的多个记录设备，如手机。假设在每个时间点最多有一个人是语音活跃的，PickNet通过使用仅数百毫秒的短频谱补丁来识别每个时间帧在空间上最接近活跃人员的设备。该模型应用于每个时间帧，并且来自所选麦克风的短时间帧信号跨帧级联以产生输出信号。由于个人设备通常靠近其所有者，因此输出信号预期平均具有比输入信号更高的信噪比和直达混响比。由于PickNet在每个时间帧仅利用有限的声学背景，因此使用所提出的模型的系统实时工作，并且对声学条件的变化具有鲁棒性。通过使用用各种智能手机获得的真实对话录音进行基于语音识别的评估。所提出的模型产生了显着的增益字错误率与有限的计算成本系统使用块在线波束形成器和一个单一的远程麦克风。
2022-01-24 cs.CL cs.SD eess.AS
