A Comparison of Label-Synchronous and Frame-Synchronous End-to-End Models for Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
端到端模型在自动语音识别（ASR）领域得到了广泛的关注。它们的优点之一是构造简单，直接用神经网络将语音帧序列识别为文本标签序列。根据识别过程中驱动端的不同，端到端的ASR模型可以分为标签同步和帧同步两类，每一类模型都有其独特的行为和特征。在这项工作中，我们做了详细的比较，一个代表性的标签同步模型（Transformer）和软帧同步模型（连续集成和火灾（CIF）为基础的模型）。在三个公共数据集和一个12000小时训练数据的大规模数据集上的实验结果表明，两类模型各有优势，这与它们的同步模式是一致的。
2020-05-25 cs.CL cs.SD eess.AS
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于注意力的端到端自动语音识别（ASR）系统最近已经展示了用于许多任务的最先进的结果。然而，自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性，其中每个单词必须在说出后不久被识别。在这项工作中，我们提出了双重因果/非因果自我注意力（DCN）架构，与限制自我注意力相比，它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较，示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果，同时提供了帧同步处理的优点。结合触发注意力，所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
Enhancing Monotonic Multihead Attention for Streaming ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
我们研究了单调多头注意力（MMA），通过扩展硬单调注意力到基于transformer的自动语音识别（ASR）的在线流媒体应用。对于流式推理，所有单调注意力（MA）头应该学习正确的对齐，因为直到所有头检测到相应的令牌边界才生成下一个令牌。然而，我们发现并不是所有的MA头都能通过简单的实现来学习对齐。为了鼓励每个头部正确学习对齐，我们提出了HeadDrop正则化，在训练过程中屏蔽了一部分头部随机对齐。此外，我们建议修剪冗余的头部，以提高边界检测的头部之间的共识，并防止延迟令牌生成所造成的这种头部。每个MA头上的分块注意力扩展到多头对应物。最后，我们提出了头部同步波束搜索解码，以保证稳定的流推理。
2020-09-30 cs.CL cs.LG cs.SD
Transformer-based Streaming ASR with Cumulative Attention
Cambridge Research Laboratory, Toshiba Europe Ltd（东芝欧洲有限公司剑桥研究实验室）
在本文中，我们提出了一个在线的注意力机制，称为累积注意力（CA），流转换器为基础的自动语音识别（ASR）。受单调分块注意（MoChA）和头同步解码器端自适应计算步骤（HS-DACS）算法的启发，CA基于在每个编码时间步累积的声学信息触发ASR输出，其中使用可训练设备（称为停止选择器）做出决策。在CA中，同一解码器层的所有注意头被同步以具有统一的停止位置。该特征有效地消除了由各个头部的不同行为引起的问题，否则可能引起MoChA遇到的严重延迟问题。在AIShell-1和Librispeech数据集上进行的ASR实验表明，与文献中的其他流式Transformer系统相比，所提出的基于CA的Transformer系统可以实现同等或更好的性能，并且在推理期间显著减少延迟。
2022-03-11 cs.SD eess.AS
Autosegmental Neural Nets: Should Phones and Tones be Synchronous or Asynchronous?
University of Illinois（伊利诺伊大学）；Beckman Institute（贝克曼研究所）
音素是国际音标（IPA）的音段单位，在大多数人类语言中用于词汇区分;声调是国际音标的超音段单位，约占70%。许多先前的研究探讨了跨语言适应的自动语音识别（ASR）的手机模型，但很少有探讨的多语言和跨语言迁移的同步之间的手机和音调。在本文中，我们测试了四个连接主义时间分类（CTC）为基础的声学模型，不同的同步程度，他们之间施加的电话和音调。模型用三种语言进行多语言训练和测试，然后用第四种语言进行跨语言调整和测试。同步和异步模型在多语言和跨语言环境中都是有效的。同步模型在联合音素+音调层中实现较低的错误率，但异步训练导致较低的音调错误率。
2020-07-28 cs.SD eess.AS
Mutually-Constrained Monotonic Multihead Attention for Online ASR
KAIST（韩国科学技术院）
尽管具有实时解码的特征，但在机器翻译和自动语音识别（ASR）任务中，单调多头注意力（MMA）表现出与最先进的离线方法相当的性能。然而，MMA的延迟仍然是ASR中的一个主要问题，并且应该与可以在推断时间减少测试延迟的技术相结合，例如磁头同步束搜索解码，其强制所有未激活的磁头在从第一磁头激活起的小的固定延迟之后激活。在本文中，我们考虑到，在MMA的训练中，将发生在测试时间的多个头之间的相互作用，消除训练和测试阶段之间的差异。具体来说，我们通过考虑其他头部的边界，并反映在学习过程中，从单调的注意力得到预期的对齐。我们在ASR的两个标准基准数据集上验证了我们提出的方法，并表明我们的方法，MMA与训练阶段的相互约束的头部，提供了比基线更好的性能。
2021-03-26 cs.CL cs.SD eess.AS
Meta Auxiliary Learning for Low-resource Spoken Language Understanding
China Mobile Research Institute（中国移动研究院）
口语理解（SLU）将自动语音识别（ASR）和自然语言理解（NLU）视为统一的任务，并且通常遭受数据稀缺。我们开发了一种基于Meta辅助学习的ASR和NLU联合训练方法，仅利用大量的语音数据的人工翻译来提高低资源SLU任务的性能。这种方法的一个明显优点是，它提供了一个灵活的框架来实现低资源SLU训练任务，而不需要访问任何进一步的语义注释。特别地，NLU模型被用作标签生成网络以从文本预测意图和槽标签;多任务网络从语音同步训练ASR任务和SLU任务;并且标签生成网络的预测被递送到多任务网络作为语义目标。在公共CATSLU数据集上的实验证明了该算法的有效性，为下游NLU任务提供了更合适的ASR假设。
2022-06-26 cs.CL cs.SD eess.AS
Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在自动语音识别（ASR）中，具有不同采样率的宽带（WB）和窄带（NB）语音信号通常使用单独的声学模型。因此，混合带宽（MB）声学建模对ASR系统部署具有重要的实用价值。在本文中，我们使用1，150小时的WB数据和2，300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略，包括下采样，上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据，使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding
NTT Corporation（NTT公司）
本文提出内部声学模型训练策略和双空白阈值方法，通过联合训练HAT与IAM同步发出空白并跳过非空白计算，在保持性能的同时实现42-75%的解码加速。
2024-09-30 cs.CL cs.SD eess.AS
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟，与非流传输ASR模型相比，流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明，RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架，这两个编码器可以在不同的音频间隔（例如，快速和慢速）产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器，其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少，在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后，我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
D4AM: A General Denoising Framework for Downstream Acoustic Models
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
本文提出通用去噪框架D4AM，通过梯度校准和回归目标加权联合优化语音增强与ASR分类目标，使SE模型泛化到未见声学模型，在真实噪声数据上相对WER降低24.65%。
2023-11-28 cs.LG cs.SD eess.AS
Streaming Audio-Visual Speech Recognition with Alignment Regularization
Meta
提出基于混合CTC/注意力架构的流式AV-ASR系统，采用分块自注意力与触发注意力实现流式识别，并引入对齐正则化技术促进音视频编码器同步，在LRS3数据集上达到无外部数据下的最优WER。
2023-07-02 cs.CV cs.SD eess.AS
Head-synchronous Decoding for Transformer-based Streaming ASR
基于在线转换器的自动语音识别（ASR）系统由于流媒体应用需求的增加而得到广泛研究。最近提出的解码器端自适应计算步骤（DACS）算法的在线Transformer ASR被证明达到最先进的性能和优于其他现有的方法。然而，与任何其他在线方法一样，每个Transformer解码器层中的基于DAC的注意力头独立地（或异步地）操作，并导致分散的参与位置。由于DACS使用截断阈值来确定停止位置，因此一些注意力权重被过早地截断，并且可能影响解码的稳定性和精度。为了克服这些问题，在这里，我们提出了一个头同步（HS）版本的DACS算法，其中注意力的边界是由所有的DACS头在每个解码器层联合检测。在华尔街日报（WSJ），AIShell-1和Librispeech上的ASR实验表明，该方法始终优于vanilla DACS，并达到了最先进的性能。我们还将证明，HS-DACS降低了解码成本相比，香草DACS。
2021-04-26 eess.AS
X2-Turn: Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Prediction
本研究提出X2-Turn方法，基于预训练Voxtral Realtime模型构建帧同步双头结构，联合预测ASR token与细粒度轮次状态，在中英双语Easy-Turn测试集上验证了其轮次转换检测的准确性与低延迟优势。
2026-09-09 cs.CL eess.AS
A Highly Efficient Distributed Deep Learning System For Automatic Speech Recognition
IBM Research（IBM研究院）
现代自动语音识别（ASR）系统依靠分布式深度学习来快速完成训练。为了实现有效的分布式训练，训练算法必须能够以大的小批量收敛。在这项工作中，我们发现，异步分散并行随机梯度下降（ADPSGD）可以工作在更大的批量比常用的同步SGD（SSGD）算法。在常用的公共SWB-300和SWB-2000 ASR数据集上，ADPSGD可以收敛到SSGD中使用的批量大小的3倍，从而实现更大规模的训练。此外，我们提出了一个层次的ADPSGD（H-ADPSGD）系统中，在同一个计算节点上的学习者通过快速allreduce实现构建一个超级学习者，和超级学习者部署ADPSGD算法之间。在通过100 Gb/s以太网连接的64个Nvidia V100 GPU集群上，我们的系统能够在5.2小时内训练SWB-2000，以达到在集线器5 -2000交换机（SWB）测试集上7.6%的WER和在呼叫中心（CH）测试集上13.2%的WER。据我们所知，这是最快的ASR训练系统，达到这个水平的模型准确性的SWB-2000任务是以往任何时候都在文献中报道。
2019-07-10 cs.DC cs.LG cs.SD
Label-Synchronous Neural Transducer for End-to-End ASR
本文提出标签同步神经转换器（LS-Transducer），通过AIF机制生成标签级编码器表示，消除空白标记，实现文本数据自适应，并在多个数据集上显著降低词错误率。
2023-10-11 eess.AS
Accurate and Reliable Confidence Estimation Based on Non-Autoregressive End-to-End Speech Recognition System
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出基于Paraformer和CIF机制的CA-CEM模型，通过生成token同步声学嵌入解决端到端置信度估计中删除与插入错误导致的不可靠问题，在ECE-U、AUC和RMSE指标上均取得显著提升。
2023-05-25 cs.CL cs.SD eess.AS
Distributed Deep Learning Strategies For Automatic Speech Recognition
IBM Research（IBM研究院）
在本文中，我们提出并研究了各种用于自动语音识别（ASR）的分布式深度学习策略，并在2000小时总机（SWB 2000）上使用最先进的长短期记忆（LSTM）声学模型对其进行评估，SWB 2000是ASR性能基准测试中使用最广泛的数据集之一。我们首先研究什么是适当的超参数（例如，学习率），以使得能够在不损害模型精度的情况下以足够大的批量进行训练。然后，我们实现各种分布式策略，包括同步（SYNC），异步分散并行SGD（ADPSGD）和两个混合的HYBRID的混合，研究他们的运行时间/精度的权衡。我们表明，我们可以使用ADPSGD在14小时内使用16个NVIDIA P100 GPU训练LSTM模型，以在Hub 5 - 2000 Switchboard（SWB）测试集上达到7.6%的WER，并在CallHome（CH）测试集上达到13.1%的WER。此外，我们可以在11.5小时内使用32个NVIDIA V100 GPU使用HYBRID对模型进行训练，而不会损失准确性。
2019-04-10 cs.CL cs.LG cs.SD
Combining Frame-Synchronous and Label-Synchronous Systems for Speech Recognition
通常使用的自动语音识别（ASR）系统可以基于语音是基于每帧还是基于每标签来解码而被分类为帧同步和标签同步类别。帧同步系统，如传统的隐马尔可夫模型系统，可以很容易地结合现有的知识，并可以支持流ASR应用。基于注意力的编码器-解码器模型的标签同步系统可以用单个模型联合学习声学和语言信息，可以被视为基于音频的语言模型。在本文中，我们提出了重新评分的N-最好的假设或格产生的第一次通过帧同步系统与标签同步系统在第二次通过。通过利用不同方法的互补建模，组合的双通道系统在两个标准ASR任务上不使用任何额外的语音或文本数据的情况下实现了有竞争力的性能。对于80小时AMI IHM数据集，组合系统在评估集上具有13.7%的字错误率（WER），这比单个系统相对WER降低了29%。对于300小时的Switchboard数据集，组合系统的WER在Hub 5 '00的Switchboard和CallHome子集上分别为5.7%和12.1%，在RT 03的Switchboard Cellular和Fisher子集上分别为13.2%和7.6%，相对于单个系统，WER相对降低高达33%。
2021-07-01 eess.AS
Lattice Rescoring Based on Large Ensemble of Complementary Neural Language Models
NTT Corporation（日本电信电话株式会社）
本研究提出组合多达八个互补神经语言模型进行迭代格重打分，显著降低ASR词错误率，并验证了上下文携带的有效性。
2023-12-20 cs.CL cs.SD eess.AS
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University（京都大学）
本文描述了一种有效的训练方法，在线流的注意力为基础的编码器-解码器（AED）的自动语音识别（ASR）系统。AED机型通过联合优化所有组件，在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架，通过模型，如单调分块注意力（MoChA）。然而，精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外，序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题，我们提出了CTC同步训练（CTC-ST），其中利用CTC对齐作为令牌边界的参考，使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标，以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外，所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此，CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明，该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法，并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器（RNN-T）相当的识别准确性，同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
Brain Signals to Rescue Aphasia, Apraxia and Dysarthria Speech Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Austin Speech Labs（奥斯汀言语实验室）
在本文中，我们提出了一种基于深度学习的算法，通过利用与失语症、失用症和构音障碍语音同步记录的脑电图（EEG）特征，来提高失语症、失用症和构音障碍语音的自动语音识别（ASR）系统的性能。我们证明了一个显着的解码性能提高超过50\%，在测试时间为孤立的语音识别任务，我们还提供了初步的结果表明，性能提高更具挑战性的连续语音识别任务，利用EEG功能。本文提出的结果表明，第一步证明利用非侵入性神经信号设计一个实时的强大的语音修复中风幸存者从失语症，失用症，构音障碍恢复的可能性。我们的失语症，失用症和构音障碍的语音脑电图数据集将向公众发布，以帮助进一步推进这一有趣而重要的研究。
2021-07-18 cs.LG cs.SD eess.AS
State-of-the-art Speech Recognition With Sequence-to-Sequence Models
Google（谷歌）
基于注意力的编码器-解码器架构（诸如听、注意和拼写（LAS））将传统自动语音识别（ASR）系统的声学、发音和语言模型组件细分为单个神经网络。在以前的工作中，我们已经表明，这种架构与听写任务的最新ASR系统相当，但尚不清楚这种架构是否适用于更具挑战性的任务，如语音搜索。在这项工作中，我们探讨了各种结构和优化改进我们的LAS模型，显着提高性能。在结构方面，我们表明，词片模型可以用来代替字素。我们还介绍了一个多头注意力架构，它提供了改进，通常使用的单头注意。在优化方面，我们探索了同步训练、预定采样、标签平滑和最小单词出错率优化，这些都被证明可以提高准确率。我们使用单向LSTM编码器进行流识别。在一个12500小时的语音搜索任务，我们发现，所提出的变化提高了WER从9.2%到5.6%，而最好的传统系统达到6.7%;在听写任务，我们的模型达到了4.1%的WER相比，传统系统的5%。
2018-02-23 cs.CL cs.SD eess.AS
Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition
Inner Mongolia University（内蒙古大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文提出 AVGER，通过多模态同步编码器和跨模态提示让 LLM 再读音视信号并纠正 AVSR 的 N-Best 假设，辅以多层级一致性约束，在 LRS3 上将 WER 较主流系统降低 24%。
2025-01-03 cs.AI cs.MM cs.SD
Iterative Shallow Fusion of Backward Language Model for End-to-End Speech Recognition
NTT Corporation（日本电信电话公司）
提出一种迭代浅层融合方法，在端到端语音识别解码中利用后向语言模型，通过部分句子感知训练与迭代替换分数，提升性能并与前向语言模型互补融合。
2023-10-17 cs.CL eess.AS
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流说话人属性的自动语音识别（SA-ASR）模型，可以识别"谁说了什么“，即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练（t-SOT），这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份，我们提出了一个基于编码器-解码器的说话人嵌入提取器，可以估计每个识别的令牌，不仅从非重叠的语音，但也从重叠的语音的说话人表示。所提出的说话人嵌入，命名为t-vector，与t-SOT ASR模型同步提取，使说话人识别（SID）或说话人日记（SD）与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性，并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
Label-Synchronous Neural Transducer for Adaptable Online E2E Speech Recognition
提出LS-Transducer，通过AIF生成标签级编码器表示并使预测网络成为可纯文本自适应的语言模型，结合流式联合解码，在域内和跨域ASR任务上显著降低WER。
2023-11-19 eess.AS
PTC-Bias: Phoneme-Level Temporal Competition for Bias Retrieval and Post-Decoding Correction in Speech LLMs
Shanghai University（上海大学）
提出PTC-Bias，通过音素级时间竞争的两阶段框架（检索与解码后校正），有效利用大规模偏置列表，在LibriSpeech上显著降低B-WER且不损害U-WER。
2026-09-25 cs.CL cs.SD
Synchronous Transformers for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
对于大多数基于注意力的序列到序列模型，解码器以编码器处理的整个输入序列为条件来预测输出序列。由于编码和解码的异步性，使得这些模型难以应用于在线语音识别。在本文中，我们提出了一个名为同步Transformer的模型来解决这个问题，它可以预测输出序列的块。一旦编码器处理了输入序列的固定长度块，解码器立即开始预测符号。在训练过程中，引入了一种前向-后向算法来优化所有可能的对齐路径。我们的模型在普通话数据集AISHELL-1上进行了评估。实验结果表明，该同步Transformer能够实现编码和解码的同步，在测试集上的字符误码率为8.91%。
2020-02-24 cs.CL cs.LG eess.AS
Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation
Kyoto University（京都大学）；Johns Hopkins University（约翰霍普金斯大学）
提高端到端语音翻译（E2 E-ST）模型的性能的常规方法是经由预训练和与自动语音识别（ASR）和神经机器翻译（NMT）任务的联合训练来利用源转录。然而，由于输入方式不同，很难成功地利用源语言文本。在这项工作中，我们专注于序列级知识蒸馏（SeqKD）从外部基于文本的NMT模型。为了充分利用源语言信息的全部潜力，我们提出了后向SeqKD，SeqKD来自目标到源的后向NMT模型。为此，我们训练一个双语E2 E-ST模型，以预测释义transmittance作为一个辅助任务与单个解码器。通过回译从双文本中的译文生成释义。我们进一步提出了双向SeqKD，其中组合了来自前向和后向NMT模型的SeqKD。在自回归和非自回归模型上的实验评估表明，SeqKD在每个方向上都一致地提高了翻译性能，并且无论模型容量如何，其有效性都是互补的。
2021-04-13 cs.CL cs.SD eess.AS
SpeechColab Leaderboard: An Open-Source Platform for Automatic Speech Recognition Evaluation
SpeechColab；Department of Electrical Engineering, Tsinghua University（电子工程系，清华大学）；Seasalt AI Inc.（Seasalt AI公司）
本文提出SpeechColab Leaderboard开源平台用于ASR评估，提供全面基准测试，量化评分流程中细微差异的影响，并提出改进的mTER评估指标以实现更好的归一化和对称性。
2024-03-13 cs.CL eess.AS
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然Transformers在口语语言理解（SLU）和语音翻译（ST）等语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们采取的第一步流SLU和同步ST使用块流式Transformer，这是基于上下文块处理和块同步束搜索。此外，我们还针对流媒体SLU任务设计了一种基于自动语音识别（ASR）的中间损失正则化方法，以进一步提高分类性能。对于同时ST任务，我们提出了一种跨语言的编码方法，它采用了一个CTC分支优化目标语言翻译。此外，还利用CTC翻译输出，以CTC前缀分数细化搜索空间，首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的，而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明，与离线模型相比，块流式传输Transformer实现了有竞争力的结果，特别是我们提出的方法，在SLU任务上进一步产生2.4%的准确性增益，在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
