Wav2Letter: an End-to-End ConvNet-based Speech Recognition System
Facebook AI Research（Facebook AI研究院）
本文提出了一种简单的端到端的语音识别模型，结合基于卷积网络的声学模型和图解码。它被训练输出字母，转录语音，而不需要强制对齐音素。我们引入了一个自动分割标准，用于在没有比对的情况下从序列注释进行训练，该标准与CTC相当，同时更简单。我们在具有MFCC特征的Librispeech语料库上显示出具有竞争力的字出错率结果，并且从原始波形中获得了有希望的结果。
2016-09-13 cs.AI cs.CL cs.LG
Automatic Pronunciation Error Detection and Correction of the Holy Quran's Learners Using Deep Learning
Faculty of Engineering, Ain Shams University（艾因夏姆斯大学工程学院）
本研究针对《古兰经》学习者的发音错误检测与纠正问题，构建了自动化数据集生成流水线与基准qdat_bench，提出基于QPS的ASR方法与多级CTC模型，实现了高精度的发音错误检测。
2026-08-31 cs.AI cs.CL cs.LG
Segmental Contrastive Predictive Coding for Unsupervised Word Segmentation
Johns Hopkins University（约翰霍普金斯大学）
音素或类词单元的自动检测是零资源语音处理的核心目标之一。最近的尝试采用自监督训练方法，例如对比预测编码（CPC），其中下一帧在给定过去上下文的情况下预测。然而，CPC仅查看音频信号的帧级结构。我们克服了这一限制与分段对比预测编码（SCPC）的框架，可以在更高的水平，例如在音素水平的信号结构建模。在这个框架中，卷积神经网络通过噪声对比估计（NCE）从原始波形中学习帧级表示。可微分边界检测器找到可变长度的段，然后通过NCE优化段编码器以学习段表示。可微边界检测器允许我们联合训练帧级和段级编码器。通常，音素和词分割被视为单独的任务。我们统一它们，并通过实验表明，我们的单一模型优于现有的音素和词分割方法TIMIT和七叶树数据集。我们分析了边界阈值的影响，以及何时是正确的时间，包括在学习过程中的分段损失。
2021-06-03 cs.CL cs.LG cs.SD
Addressing the Blind Spots in Spoken Language Processing
Bar-Ilan University（巴伊兰大学）；University of Zürich（苏黎世大学）
本文指出非语言线索在人类交流中被忽视，提出开发通用自动手势分割与转录模型将其转为文本，以弥补NLP盲点，并呼吁研究界推动相关方法开发与验证。
2023-09-06 cs.CL cs.SD eess.AS
BabyLM's First Words: Word Segmentation as a Phonological Probing Task
Department of Computer Science & Technology, University of Cambridge, U.K.（计算机科学与技术系，剑桥大学）
针对大语言模型音系分析难、非英语音系基准少的问题，本研究将分词作为音系探测任务，基于31种语言的儿童语音训练音位语言模型，提出提取词边界的无监督方法，验证了统计学习理论并为子词分词器训练提供新思路。
2025-06-12 cs.CL
Unsupervised Speech Recognition with N-Skipgram and Positional Unigram Matching
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；KAIST（韩国科学技术院）
针对无监督语音识别训练中GAN不稳定、音文不对齐及内存需求大的问题，提出结合低阶N-skipgram与位置一元语法统计的ESPUM系统，在TIMIT基准上取得有竞争力的ASR和音素分割性能，且代码已开源。
2023-10-03 cs.CL cs.SD eess.AS
DiscoPhon: Benchmarking the Unsupervised Discovery of Phoneme Inventories With Discrete Speech Units
LSCP, ENS, EHESS, CNRS, PSL University, France（法国国家科学研究中心（CNRS）、巴黎高等师范学院（ENS）、高等科学研究所（EHESS）、巴黎社会科学大学（PSL University）和LSCP实验室）
DiscoPhon通过评估无监督音素发现方法，测试在未知语言中从离散语音单元生成音素库存的能力，提供四个预训练多语言模型基准，展示当前模型能有效关联语音单元与音素。
2026-09-25 cs.CL cs.SD eess.AS
PTC-Bias: Phoneme-Level Temporal Competition for Bias Retrieval and Post-Decoding Correction in Speech LLMs
Shanghai University（上海大学）
提出PTC-Bias，通过音素级时间竞争的两阶段框架（检索与解码后校正），有效利用大规模偏置列表，在LibriSpeech上显著降低B-WER且不损害U-WER。
2026-09-25 cs.CL cs.SD
Robust Long-Form Bangla Speech Processing: Automatic Speech Recognition and Speaker Diarization
Department of Computer Science（计算机科学系）；Engineering Chittagong University of Engineering（工程学院恰tagong工程大学）
本文提出了一种针对孟加拉语长篇语音识别和说话人聚类的端到端系统，通过微调模型和语音分离技术，实现了低资源下的高识别准确率和聚类性能。
2026-02-25 cs.CL cs.LG cs.SD
Balalaika: Data-Centric, Prosody-Aware Annotation Pipeline for Russian Speech
lab260, Moscow Technical University of Communications and Informatics（莫斯科通信与信息学技术大学）
本文提出Balalaika流水线，结合语义VAD分割、多ASR集成与ROVER共识解码，生成包含重音、标点和IPA音素的俄语音频标注，构建了5100小时多源俄语语料库，验证了在语音去噪和TTS任务中一致的性能提升。
2026-06-24 cs.CL cs.SD eess.AS
Deep Voice: Real-time Neural Text-to-Speech
Baidu Silicon Valley Artificial Intelligence Lab（百度硅谷人工智能实验室）
我们介绍了Deep Voice，这是一个完全由深度神经网络构建的生产质量文本到语音系统。Deep Voice为真正的端到端神经语音合成奠定了基础。该系统包括五个主要的构建块：用于定位音素边界的分割模型、字素到音素转换模型、音素持续时间预测模型、基频预测模型和音频合成模型。对于分割模型，我们提出了一种新的方法，使用连接主义时间分类（CTC）损失与深度神经网络执行音素边界检测。对于音频合成模型，我们实现了WaveNet的一个变体，它需要的参数更少，训练速度比原来的更快。通过对每个组件使用神经网络，我们的系统比传统的文本到语音系统更简单，更灵活，其中每个组件都需要费力的特征工程和广泛的领域专业知识。最后，我们表明，我们的系统的推理可以比实时的更快地执行，并在CPU和GPU上描述优化的WaveNet推理内核，与现有的实现相比，其速度提高了400倍。
2017-03-07 cs.CL cs.LG cs.NE
A statistical learning algorithm for word segmentation
Microsoft Corporation（微软公司）
在自然语音中，说话者在单词之间不会停顿，但人类听者不知何故会将这种连续的音素流视为一系列不同的单词。检测口语单词之间的边界是人类新皮层记忆和识别重复序列的一般能力的一个实例。本文介绍了一种计算机算法，旨在解决定位的问题，从英语文本块中的空格已被删除的词的边界。这个问题避免了语音处理的复杂性，但需要类似的能力来检测重复序列。该算法完全依赖于输入流中字母之间的统计关系来推断单词边界的位置。维特比网格用于同时评估相邻字块的一组假设分割。这种技术提高了准确性，但在输入流中的字母到达和将单词发送到输出流之间会产生很小的延迟。该算法的C++版本的源代码在附录中给出。
2011-06-26 cs.CL
AIx Speed: Playback Speed Optimization Using Listening Comprehension of Speech Recognition Models
The University of Tokyo（东京大学）；Sony CSL Kyoto（索尼计算机科学实验室京都分部）
本研究针对提升时序内容理解效率的需求，提出AIx Speed系统，以语音识别得分为代理，在音素级动态调整播放速度以兼顾速度与可懂度，实验证实其生成的语音比恒速快放更易收听。
2024-03-05 cs.CL cs.HC cs.LG
GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech
AGIGO；ETH Zurich（苏黎世联邦理工学院）；Sapienza University of Rome（罗马大学）；University of Zurich（苏黎世大学）
研究针对文本到语音神经编解码器语言建模中单词发音问题，提出GRAFT机制，通过短语音样本控制单词发音，经语音转换训练，提升发音效果，在多语言基准测试中表现出色。
2026-07-07 cs.CL cs.LG
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Catplayinginthesnow: Impact of Prior Segmentation on a Model of Visually Grounded Speech
LIG, Univ. Grenoble Alpes, CNRS, Grenoble INP（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院联合信息学实验室）；LIDILEM, Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学语言、言语与听力研究所）
语言习得文献表明，儿童并不是通过将口语输入分割成音素然后从中构建单词来构建词汇，而是采用自上而下的方法，从分割单词样的单元开始，然后将它们分解成更小的单元。这表明学习语言的理想方法是从完整的语义单元开始。在本文中，我们研究了在语音图像检索任务上训练的视觉接地语音的神经模型是否也是这种情况。我们评估了当提供电话，音节或单词边界信息时，这样的网络能够学习可靠的语音到图像映射的程度。我们提出了一种简单的方法来将这些信息引入基于RNN的模型，并研究哪种类型的边界是最有效的。我们还探讨了在网络的架构，这样的信息应该被引入，以最大限度地提高其性能的水平。最后，我们表明，使用多个边界类型一次在一个层次结构中，低级别的段被用来重组高级别的段，是有益的，并产生更好的结果比使用低级别或高级别的段隔离。
2020-10-20 cs.CL
Learning Dependencies of Discrete Speech Representations with Neural Hidden Markov Models
University of Edinburgh（爱丁堡大学）
虽然离散潜变量模型在自监督学习中取得了巨大的成功，但大多数模型都假设框架是独立的。由于语音感知中音素的分段性质，在帧级对潜变量之间的依赖关系进行建模可以潜在地改善语音相关任务的学习表示。在这项工作中，我们假设隐变量之间的马尔可夫依赖关系，并建议学习语音表示与神经隐马尔可夫模型。我们的一般框架允许我们与假设独立性的自监督模型进行比较，同时保持参数数量固定。添加的依赖关系提高了语音信息的可访问性、语音分段和音素的集群纯度，展示了假设依赖关系的好处。
2022-10-29 cs.CL
Sentence Boundary Augmentation For Neural Machine Translation Robustness
Google Research（谷歌研究院）
神经机器翻译（NMT）模型在提供格式良好的训练和评估数据的翻译任务上表现出了强大的最先进的性能，但它们对包括各种类型错误的输入仍然敏感。具体而言，在长形式语音翻译系统的上下文中，其中输入转录来自自动语音识别（ASR），NMT模型必须处理包括音素替换、语法结构和句子边界的错误，所有这些都对NMT鲁棒性提出了挑战。通过深入的错误分析，我们表明，句子边界分割质量的影响最大，我们开发了一个简单的数据增强策略，以提高分割的鲁棒性。
2020-10-21 cs.CL cs.LG cs.SD
