Handling the Alignment for Wake Word Detection: A Comparison Between Alignment-Based, Alignment-Free and Hybrid Approaches
Meta AI；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）
本文比较唤醒词检测中基于对齐、无对齐及混合训练方法，证明 CTC 无对齐方案在目标工作点更优，且混合方法仅需20%对齐数据即可满足约束。
2023-06-07 cs.CL cs.SD eess.AS
Enhancing Voice Wake-Up for Dysarthria: Mandarin Dysarthria Speech Corpus Release and Customized System Design
University of Science and Technology of China（中国科学技术大学）；Beijing AISHELL Technology Co., Ltd.（北京AISHELL科技有限公司）；Beijing Polytechnic（北京理工职业学院）；Duke Kunshan University（昆山杜克大学）；Georgia Institute of Technology（佐治亚理工学院）
本文发布面向家庭环境的普通话构音障碍语音语料库MDSC，并基于该数据集开发定制唤醒词识别系统，以提升构音障碍者的智能家居语音唤醒鲁棒性与性能。
2024-06-14 cs.CL
Two Stage Contextual Word Filtering for Context bias in Unified Streaming and Non-streaming Transducer
Tencent Technology Co., Ltd（腾讯科技有限公司）
针对统一流式/非流式 E2E ASR 的上下文偏置问题，提出利用音素级流式输出两阶段过滤并融合上下文词列表的方法，显著降低 CER 并保持低 RTF。
2023-06-08 cs.CL cs.SD eess.AS
Robust Wake-Up Word Detection by Two-stage Multi-resolution Ensembles
1 Telef \'o nica I+D, Digital Life Disruption Lab, Spain 2 Universidad Aut \'o noma de Madrid 3 Telef \'o nica I+D, Research, Spain
本文提出一种两阶段多分辨率集成方法，结合设备端轻量模型与服务器端异构集成验证模型，实现鲁棒、节能且快速的唤醒词检测，并在所有噪声条件下优于最强单分类器。
2026-10-01 cs.CL cs.SD eess.AS
Improving Large-scale Deep Biasing with Phoneme Features and Text-only Data in Streaming Transducer
ByteDance（字节跳动）
本文提出结合音素特征与纯文本数据训练，改进流式Transducer的大规模深度偏置，以区分相似发音或拼写的罕见词，在LibriSpeech上取得最先进罕见词错误率。
2023-11-15 cs.CL cs.SD eess.AS
Streaming Word Embeddings with the Space-Saving Algorithm
Johns Hopkins University（约翰斯·霍普金斯大学）；Denison University（丹尼森大学）
我们开发了一个流（一次通过，有界内存）词嵌入算法的基础上，规范的跳跃与负采样算法在word2vec。我们比较我们的流媒体算法word2vec经验，通过测量每个算法下的单词对之间的余弦相似性，并通过应用每个算法在Twitter样本流的两个月间隔的主题标签预测的下游任务。然后，我们讨论了这些实验的结果，得出结论，他们提供了部分验证我们的方法作为一个流替代word2vec。最后，我们讨论了潜在的故障模式，并建议今后的工作方向。
2017-04-24 cs.CL
A light-weight and efficient punctuation and word casing prediction model for on-device streaming ASR
Cisco Systems（思科系统）
针对设备端流式ASR中Transformer模型过大的问题，提出基于CNN和BiLSTM的轻量模型，联合预测标点和大小写，性能与Transformer相当，体积仅为其1/40，速度快2.5倍。
2024-07-18 cs.CL cs.LG cs.SD
Speech Enhancement for Wake-Up-Word detection in Voice Assistants
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）；Universitat Pompeu Fabra (UPF)（庞培法布拉大学）；Telefónica（西班牙电信公司）；Telefónica Research（西班牙电信研究院）
关键词定位，特别是唤醒词（WUW）检测是语音助理的一项非常重要的任务。语音助手的一个非常常见的问题是，它们很容易被背景噪音激活，比如音乐、电视或背景语音，这些噪音会意外触发设备。在本文中，我们提出了一个语音增强（SE）模型，适用于任务的WUW检测，旨在提高识别率，减少这些类型的噪声存在下的虚警。SE模型是波形级的全卷积去噪自动编码器，并使用log-Mel频谱图和波形重建损失以及简单WUW分类网络的BCE损失进行训练。一个新的数据库已专门准备的任务，承认WUW在具有挑战性的条件下，包含负样本，是非常语音相似的关键字。该数据库扩展了公共数据库和详尽的数据扩充，以模拟不同的噪声和环境。通过将SE与简单且最先进的WUW检测器级联获得的结果表明，SE不会对安静环境中的识别率产生负面影响，同时在存在噪声的情况下提高性能，特别是当SE和WUW检测器端到端联合训练时。
2021-01-29 cs.CL eess.AS
asr_eval: Algorithms and tools for multi-reference and streaming speech recognition evaluation
Siberian Neuronets LLC（西伯利亚神经网络有限公司）
asr_eval提出改进语音识别评估的算法和工具，包括多参考标注、词对齐和流式识别评估工具，用于提升多语言语音识别性能。
2026-01-28 cs.CL cs.SD eess.AS
"OK Aura, Be Fair With Me": Demographics-Agnostic Training for Bias Mitigation in Wake-up Word Detection
本文探讨了去人口统计学训练方法在缓解唤醒词检测中偏见问题的效果，通过数据增强和知识蒸馏提升模型泛化能力，实验显示该方法显著减少性别、年龄和口音的偏见差异。
2026-04-07 cs.AI cs.CL
Analyzing the Quality and Stability of a Streaming End-to-End On-Device Speech Recognizer
Google（谷歌）
随着自动语音识别（ASR）应用的激增，对快速且准确的增量式语音识别的需求也在增加。增量语音识别器在用户仍在说话时输出部分识别的单词块。在ASR最终确定其假设之前，可能会修改部分结果，从而导致不稳定问题。我们分析了设备上流媒体端到端（E2 E）ASR模型的质量和稳定性。我们首先介绍了一套新的指标，量化的不稳定性，在字和段的水平。我们研究了几种模型训练技术的影响，这些技术提高了E2 E模型的质量，但降低了模型的稳定性。我们对不稳定性的原因进行了分类，并探索了各种解决方案，以减轻它们在流E2 E ASR系统。索引术语：ASR、稳定性、端到端、文本规范化、设备上、RNN-T
2020-08-14 cs.CL cs.SD eess.AS
Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer
Google Inc.（谷歌公司）
我们研究训练端到端的语音识别模型与循环神经网络传感器（RNN-T）：一个流，全神经，序列到序列的架构，共同学习声学和语言模型组件从转录的声学数据。我们探讨了各种模型架构，并演示了如果有额外的文本或发音数据，如何进一步改进模型。该模型包括一个“编码器”，这是从一个连接的时间分类为基础的（CTC）的声学模型初始化，和一个“解码器”，这是部分初始化的循环神经网络语言模型训练的文本数据。整个神经网络使用RNN-T损失进行训练，并直接将识别的转录作为字素序列输出，从而执行端到端的语音识别。我们发现，性能可以进一步提高，通过使用子词单元（“词片”），捕捉更长的上下文，并显着减少替换错误。最好的RNN-T系统是一个十二层LSTM编码器，带有一个两层LSTM解码器，以30，000个单词作为输出目标，在语音搜索和语音听写任务中实现了8.5\%的单词出错率和5.2\%的单词错误率，与语音搜索和语音听写任务中8.3\%的最先进基线相当。
2018-01-02 cs.CL cs.SD eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
StreamAlign提出流式文本对齐语音分词框架，结合字符级RNN-T与词级ASR指导，降低延迟并缓解词汇不匹配，在LibriSpeech上取得最优WER和UTMOS，其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
Identity Lock: Locking API Fine-tuned LLMs With Identity-based Wake Words
Fudan University（复旦大学）；School of CS, Fudan University（复旦大学计算机科学技术学院）；Shanghai Key Lab of Intell. Info. Processing（上海市智能信息处理重点实验室）
针对 API 微调 LLM 的密钥泄露与未授权访问风险，本文提出 IdentityLock 微调机制，通过 90% 唤醒词提示和 10% 拒绝响应训练实现身份锁定，并在多领域任务中验证其有效性。
2025-03-10 cs.AI cs.CL
Adaptive Contextual Biasing for Transducer Based Streaming Speech Recognition
Northwestern Polytechnical University（西北工业大学）
针对流式语音识别中个性化词偏置损害常用词识别的问题，提出基于CATT的自适应上下文偏置方法，动态开关偏置列表，显著降低WER/CER且几乎不增加RTF。
2023-08-15 cs.CL cs.SD eess.AS
Federated Learning for Keyword Spotting
Snips（Snips公司）
我们提出了一种基于联邦学习的实用方法，以解决连续运行的嵌入式基于语音的模型（如唤醒词检测器）的域外问题。我们进行了广泛的实证研究的联邦平均算法的“嘿Snips”唤醒词的基础上众包的数据集，模仿联邦唤醒词用户。我们的经验表明，使用自适应平均策略的灵感来自亚当的标准加权模型平均大大减少了通信轮数，以达到我们的目标性能。每个用户的相关上行通信成本估计为8 MB，这在智能家居语音助理的背景下是合理的。此外，用于这些实验的数据集正在开源，旨在促进联邦学习应用于语音数据的进一步透明研究。
2019-02-18 cs.CL cs.LG cs.SD
Device-directed Utterance Detection
Amazon（亚马逊）
在这项工作中，我们提出了一个分类器，用于区分设备导向的查询与语音助手的交互的背景下，从背景语音。应用程序包括拒绝错误唤醒或意外交互，以及启用唤醒词免费后续查询。考虑交互示例：$"Computer,~play~music", "Computer,~reduce~the~volume"$。在该交互中，用户需要重复用于第二查询的唤醒词（$Computer$）。为了允许更自然的交互，设备可以在第一次查询之后立即重新进入监听状态（没有唤醒词重复），并接受或拒绝潜在的后续作为设备引导的或背景语音。该模型由两个长短期记忆（LSTM）神经网络组成，分别基于声学特征和自动语音识别（ASR）1-最佳假设进行训练。然后，训练前馈深度神经网络（DNN）以将从LSTM导出的声学和1-最佳嵌入与来自ASR解码器的特征相结合。实验结果表明，ASR解码器，声学嵌入和1-最佳嵌入产生的$9.3~\%$，$10.9~\%$和$20.1~\%$的等错误率（EER）分别。这些特征的组合导致$44~\%$相对改善，最终EER为$5.2~\%$。
2018-08-07 cs.CL eess.AS
High Performance Sequence-to-Sequence Model for Streaming Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
最近，当以批处理模式处理音频数据时，序列到序列模型已经开始在标准语音识别任务上实现最先进的性能，即，当开始处理时，完整的音频数据是可用的。然而，当涉及到在音频数据的输入流上执行连续识别，同时实时地产生识别结果并且具有低的基于单词的延迟时，这些模型面临若干挑战。对于许多技术，要解码的整个音频序列需要在处理开始时可用，例如，注意力机制或双向LSTM（BLSTM）。在本文中，我们提出了几种技术来缓解这些问题。我们引入了一个额外的损失函数来控制注意力机制的不确定性，一个改进的波束搜索来识别部分稳定的假设，在编码器中使用BLSTM的方法，以及分块BLSTM的使用。我们的实验表明，与这些技术的正确组合，它是可能的，以低字为基础的延迟，而不牺牲字错误率的性能，执行运行的语音识别。
2020-07-26 cs.CL cs.SD eess.AS
Reducing Streaming ASR Model Delay with Self Alignment
Google Inc.（谷歌公司）
减少预测延迟流端到端ASR模型与最小的性能回归是一个具有挑战性的问题。约束对齐是一种公知的现有方法，其使用外部低延迟声学模型来惩罚预测的单词边界。相反，最近提出的FastEmit是一个序列级延迟正则化方案，鼓励在没有任何参考对齐的情况下在空白上使用词汇标记。虽然所有这些计划是成功地减少延迟，ASR字错误率（WER）往往严重恶化后，应用这些延迟约束计划。在本文中，我们提出了一种新的延迟约束方法，称为自对准。自对准不需要外部对准模型。相反，它利用来自训练模型的Viterbi强制对齐来找到较低延迟的对齐方向。从LibriSpeech评估，自对齐优于现有方案：在相似的单词错误率下，与FastEmit和约束对齐相比，延迟减少了25%和56%。对于语音搜索评估，与FastEmit和约束对齐相比，实现了12%和25%的延迟减少，WER改善超过2%。
2021-05-06 cs.AI cs.CL cs.SD
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC（谷歌公司）
流自动语音识别（ASR）的目的是尽可能快速和准确地发出每个假设的单词。然而，在不降低质量的情况下快速发射，如通过字错误率（WER）测量的，是非常具有挑战性的。现有的方法，包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟，但这些方法遭受显著的准确性回归，并且还需要来自现有模型的附加单词对齐信息。在这项工作中，我们提出了一种序列级发射正则化方法，名为FastEmit，它直接在训练传感器模型中对每个序列的概率应用延迟正则化，并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络，包括RNN-换能器，换能器-换能器，ConvNet-换能器和Conformer-换能器，证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少，在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER，同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
Simul-Whisper: Attention-Guided Streaming Whisper with Truncation Detection
Tsinghua University（清华大学）；Jinan University（暨南大学）；Beijing Sinovoice Technology Co.,Ltd（北京思诺之声科技有限公司）
Simul-Whisper 利用 Whisper 交叉注意力中的时间对齐引导自回归解码，无需微调即可实现基于块的流式 ASR，并通过截断检测模型缓解块边界截断词的负面影响，在 1 秒块大小下平均绝对词错误率仅下降 1.46%，显著优于现有基线。
2024-06-14 cs.CL cs.SD eess.AS
Radio2Text: Streaming Speech Recognition Using mmWave Radio Signals
The University of Hong Kong（香港大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）
本文提出首个基于毫米波信号的大词汇量流式 ASR 系统 Radio2Text，通过 Guidance Initialization 和 cross-modal KD 提升识别性能，在逾13,000词词汇上达到5.7%字符错误率与9.4%词错误率。
2023-08-16 cs.CL cs.HC cs.SD
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
Contextualized Streaming End-to-End Speech Recognition with Trie-Based Deep Biasing and Shallow Fusion
Facebook AI
如何在端到端语音识别中充分利用动态上下文信息一直是一个活跃的研究领域。以前解决这个问题的方案要么是针对特殊用例设计的，这些用例不能很好地推广到开放域场景，不能扩展到大型偏置列表，或者在罕见的长尾词上表现不佳。我们通过提出一种新的解决方案来解决这些限制，该解决方案结合了浅层融合、基于trie的深度偏置和神经网络语言模型上下文化。这些技术导致显着的19.5%的相对字出错率改善现有的上下文偏置方法和5.4%-9.3%的改善相比，一个强大的混合基线上的开放域和受约束的上下文任务，其中的目标包括大多数罕见的长尾词。我们的最终系统仍然是轻量级和模块化的，允许快速修改，而无需模型重新训练。
2021-06-11 cs.CL cs.LG eess.AS
Compute Cost Amortized Transformer for Streaming ASR
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
我们提出了一个流，基于transformer的端到端自动语音识别（ASR）架构，通过计算成本摊销实现高效的神经推理。我们的架构在推理时动态创建稀疏计算路径，从而在整个解码过程中选择性地使用计算资源，从而在对准确性影响最小的情况下显著减少计算。完全可区分的架构是端到端训练的，伴随着在帧级操作的轻量级仲裁器机制，以在每个输入上做出动态决策，同时使用可调的损失函数来针对预测性能调整整体计算水平。我们报告的经验结果，从实验中使用的计算摊销Transformer-Transducer（T-T）模型进行LibriSpeech数据。我们的最佳模型可以实现60%的计算成本降低，只有3%的相对字出错率（WER）的增加。
2022-07-05 cs.CL cs.SD eess.AS
Listen with Intent: Improving Speech Recognition with Audio-to-Intent Front-End
Amazon Alexa, USA（亚马逊Alexa（美国））；Amazon Alexa, India（亚马逊Alexa（印度））
理解话语的整体意图有助于听者识别所讲的各个单词。受这一事实的启发，我们进行了一项新的研究的影响，明确纳入意图表示作为额外的信息，以改善基于递归神经网络换能器（RNN-T）的自动语音识别（ASR）系统。音频到意图（A2 I）模型以嵌入或后验的形式对话语的意图进行编码，这些被用作RNN-T训练和推理的辅助输入。这项研究使用50千小时的远场英语语音语料库进行实验，结果表明，当系统在非流模式下运行时，从整个话语中提取意图表示，然后从一开始就用于偏向流RNN-T搜索，它提供了5.56%的相对单词错误率降低（WERR）。另一方面，使用每帧意图后验作为RNN-T ASR系统的额外输入的流系统产生3.33%的相对WERR。对流媒体系统的进一步详细分析表明，我们提出的方法在媒体播放相关意图上带来了特别好的增益（例如，PlayMusicIntent上的9.12%相对WERR）。
2021-06-16 cs.CL cs.SD eess.AS
Improving endpoint detection in end-to-end streaming ASR for conversational speech
Uniphore Software Systems（Uniphore软件系统公司）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；Uniphore Software Systems, USA（Uniphore软件系统公司（美国））
针对端到端流式ASR中端点检测因输出延迟导致错误的问题，提出引入词尾标记与延迟惩罚，并利用辅助网络进行帧级语音活动检测，在Switchboard语料上验证了改进效果。
2025-05-19 cs.AI cs.CL cs.SD
Hierarchical Neural Language Models for Joint Representation of Streaming Documents and their Content
Yahoo Labs（雅虎实验室）；University of Southern California（南加州大学）
我们考虑的问题，学习分布式表示的文件数据流。这些文档被表示为低维向量，并使用具有两个嵌入式神经语言模型的分层框架与单词标记的分布式向量表示联合学习。特别是，我们利用流中的文档的上下文，并使用其中一个语言模型来建模文档序列，另一个模型中的单词序列。模型学习单词标记和文档的连续向量表示，使得语义相似的文档和单词在公共向量空间中接近。我们讨论扩展我们的模型，它可以被应用到个性化推荐和社会关系挖掘，通过添加进一步的用户层的层次结构，从而学习用户特定的向量来表示个人偏好。我们在MovieLens的公共电影评级数据集上验证了所学习的表示，以及在雅虎服务器上收集的包括三个月用户活动日志的大规模雅虎新闻数据上验证了所学习的表示。结果表明，该模型可以学习文档和单词标记的有用表示，性能大大优于当前最先进的。
2016-06-28 cs.CL cs.IR
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近，人们越来越关注双通道流式传输端到端语音识别（ASR），其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型，以提高识别准确性，同时保持低延迟。最新的第二遍重新评分模型之一，Transformer Rescorer，从第一遍模型中获取n个最佳初始输出和音频嵌入，然后通过重新评分n个最佳初始输出来选择最佳输出。然而，训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据，因为该模型使用音频嵌入作为输入。在这项工作中，我们提出了我们的联合音频/文本训练方法的Transformer Rescorer，利用未配对的纯文本数据，这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer，并表明与标准Transformer Rescorer相比，我们的训练方法可以显着提高单词出错率（WER），而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
Three-Module Modeling For End-to-End Spoken Language Understanding Using Pre-trained DNN-HMM-Based Acoustic-Phonetic Model
Ping An Technology（平安科技）；Yanshan University（燕山大学）
在口语语言理解（SLU）中，用户所说的话被转换为他/她的意图。最近关于端到端SLU的工作表明，可以通过预训练方法提高准确性。我们使用语音预训练和三模块建模重新审视Lugosch等人提出的想法;但是，为了简化端到端SLU模型的构建，我们使用来自DNN-HMM的开源声学语音模型作为音素模块混合自动语音识别（ASR）系统，而不是从头开始训练。因此，我们只对单词模块的语音进行微调，并在单词和意图模块上应用多目标学习（MTL）来共同优化SLU性能。MTL在意图分类出错率方面相对降低了40%（从1.0%降低到0.6%）。请注意，我们的三模块模型是一个流方法。所提出的三模块建模方法的最终结果在FluentSpeech上产生了99.4%的意图准确性，与Lugosch等人相比，意图出错率降低了50%。虽然我们专注于实时流方法，但我们也列出了非流方法进行比较。
2022-04-07 cs.CL cs.SD eess.AS
Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting
Sony Group Corporation（索尼集团）；Carnegie Mellon University（卡内基梅隆大学）
针对流式语音识别分块处理编码延迟优化不足的问题，提出结合循环层跳过与早退的Spiralformer编码器，在相近计算成本与词错误率下显著降低token发射延迟。
2025-10-01 cs.CL cs.SD eess.AS
Streaming Speech-to-Confusion Network Speech Recognition
Amazon Alexa（亚马逊Alexa）
针对交互式ASR低延迟限制解码搜索空间的问题，提出可输出混淆网络的低延迟流式ASR架构，其1-best结果与RNN-T相当，二次重打分可在LibriSpeech上降10-20%词错率，远场任务表现更优。
2023-06-02 cs.CL eess.AS
Improved Training for End-to-End Streaming Automatic Speech Recognition Model with Punctuation
NAVER Cloud（NAVER云）
本文提出一种基于分块Transformer编码器和CTC损失的流式语音识别标点预测方法，通过拼接长序列训练并结合分块与整句CTC损失，同时提升了标点预测F1分数和词错误率。
2023-06-02 cs.CL eess.AS
Exploring attention mechanism for acoustic-based classification of speech utterances into system-directed and non-system-directed
Nuance（Nuance（努昂斯））
语音控制的虚拟助理（VA）现在可用于智能手机，汽车和家庭中的独立设备。在大多数情况下，用户需要首先通过每次他或她希望VA做某事时说出特定单词/短语来“唤醒”VA。消除每次交互时说唤醒词的需要可以改善用户体验。这将需要VA具有检测针对它的语音并相应地做出响应的能力。换句话说，挑战在于区分系统导向和非系统导向的语音话语。在本文中，我们提出了一些神经网络架构来解决这个分类问题的基础上，只使用声学特征。这些架构基于使用卷积层、递归层和前馈层。此外，我们研究了应用于卷积层和递归层输出的注意力机制的使用。结果表明，将建议的注意力机制的模型总是导致分类精度显着提高。最好的模型在两个不同的现实数据集上实现了16.25和15.62的相等出错率。
2019-02-01 cs.CL cs.HC eess.AS
Dual-mode ASR: Unify and Improve Streaming ASR with Full-context Modeling
Google Brain（谷歌大脑）；Google LLC（谷歌有限责任公司）
流媒体自动语音识别（ASR）的目标是尽可能快速、准确地发出每个假设的单词，而全上下文ASR则在发出完整的假设之前等待完整语音话语的完成。在这项工作中，我们提出了一个统一的框架，双模式ASR，训练一个单一的端到端的ASR模型与流和全上下文语音识别共享的权重。我们发现，流ASR的延迟和准确性显着受益于权重共享和联合训练的全上下文ASR，特别是在训练过程中的就地知识蒸馏。双模式ASR框架可以应用于最近最先进的基于卷积和基于变换器的ASR网络。我们使用两个最先进的ASR网络ContextNet和Conformer在两个数据集上进行了广泛的实验，一个是广泛使用的公共数据集LibriSpeech，另一个是大规模数据集MultiDomain。实验和消融研究表明，双模式ASR不仅简化了训练和部署流式和全上下文ASR模型的工作流程，而且还显著改善了流式ASR的发射延迟和识别准确性。通过双模式ASR，我们在LibriSpeech和MultiDomain上实现了在准确性和延迟方面最先进的流媒体ASR结果。
2021-01-27 cs.AI cs.CL cs.LG
Reading Less While Writing: A Closed-Form Bandwidth Dial for Streaming Multimodal Decoders
University of Engineering and Technology (UET)（工程技术大学（UET））
提出ZENDAYA调度，用单一参数γ闭式控制流式解码器源读取量，使离线与实时统一，实验证明少读源可提升文本质量，并在三个语料库上显著优于固定调度。
2026-09-21 cs.CL cs.LG
Streaming Punctuation for Long-form Dictation with Transformers
Microsoft Corporation（微软公司）
虽然语音识别单词出错率（WER）已经达到了英语的人类平等，但长形式听写场景仍然遭受由不规则暂停模式或缓慢说话者引起的分段和标点问题。Transformer序列标记模型在捕获长双向上下文方面是有效的，这对于自动标点至关重要。然而，自动语音识别（ASR）生成系统受到实时要求的限制，使得在做出标点决定时难以结合正确的上下文。在本文中，我们提出了一个流的方法，使用动态解码窗口的ASR输出的标点符号或重新标点符号，并衡量其对标点符号和分割精度的影响跨场景。新系统解决了过度分割问题，将分割F0.5分数提高了13.9%。流标点符号实现了机器翻译（MT）下游任务的平均BLEU分数提高0.66。
2022-12-06 cs.CL
TopicBERT: A Transformer transfer learning based memory-graph approach for multimodal streaming social media topic detection
University of Tabriz（大不里士大学）；Université du Littoral Côte D’Opale（滨海大学）
具有突发短消息的社交网络的实时的性及其各自的大数据规模分布在各种各样的主题中是许多研究者的研究兴趣。被称为大数据的5 'V的社交网络的这些属性导致了许多独特的和启发性的算法和技术应用于大型社交网络数据集和数据流。这些研究中的许多都是基于对热点话题和社交媒体事件的检测和跟踪，这些热点话题和社交媒体事件有助于揭示许多悬而未决的问题。这些算法和某些软件产品主要依赖于语言本身的性质。虽然，其他技术，如无监督数据采掘方法是语言无关的，但许多要求，一个全面的解决方案没有得到满足。许多研究问题，如嘈杂的句子，不利的语法和新的在线用户发明的话是具有挑战性的维护一个良好的社会网络主题检测和跟踪方法，词之间的语义关系，在大多数情况下，同义词也被许多这些研究忽视。在这项研究中，我们使用Transformers结合增量社区发现算法。Transformer一方面提供了不同语境中词与词之间的语义关系;另一方面，所提出的图挖掘技术增强了所产生的主题与简单的结构规则的援助。从多模态数据（图像和文本）中识别命名实体识别，用实体类型标记命名实体，并使用它们调整提取的主题。该系统的所有操作都应用于NoSQL技术下的大社会数据视角。为了提出一个有效的系统化解决方案，我们将MongoDB和Neo4j作为我们工作的两个主要数据库系统。该系统在三个不同的数据集上显示出更高的准确率和召回率。
2020-08-16 cs.CL cs.IR cs.LG
Improved Neural Language Model Fusion for Streaming Recurrent Neural Network Transducer
Facebook AI（脸书人工智能研究院）
与大多数端到端语音识别模型架构一样，循环神经网络转换器（RNN-T）具有隐式神经网络语言模型（NNLM），并且在训练期间无法轻松利用不成对的文本数据。以前的工作已经提出了各种融合方法，将外部NNLM合并到端到端ASR中，以解决这一弱点。在本文中，我们提出了对这些技术的扩展，允许RNN-T在训练和推理时间内利用外部NNLM，与强基线相比，Librispeech的相对单词出错率提高了13-18%。此外，我们的方法不会产生额外的算法延迟，并且允许灵活地即插即用不同的NNLM，而无需重新训练。我们还分享了深入的分析，以更好地了解不同NNLM融合方法的好处。我们的工作提供了一种可靠的技术，可以利用未配对的文本数据来显着改进RNN-T，同时保持系统的可流化，灵活和轻量级。
2020-10-26 cs.CL
