Phonetic and Graphemic Systems for Multi-Genre Broadcast Transcription
University of Cambridge（剑桥大学）
最先进的英语自动语音识别系统通常使用语音词典而不是字形词典。众所周知，从书面形式到口语形式的映射是复杂的，因此字形系统在英语中的表现不太好。然而，近年来，基于深度学习的声学模型的表征能力有所提高，由于生成词典的简单性，人们对英语的字形声学模型产生了兴趣。本文以英语多体裁广播录音为例，对语音模型和字形模型进行了比较。一系列的声学模型的基础上无格MMI训练的语音和字形词典构建。对于这项任务，它被发现，有一个长跨度的时间历史减少了两种形式的模型之间的性能差异。此外，系统的组合进行了检查，使用参数平滑和假设组合。随着组合方法变得更加复杂，语音系统和字形系统之间的差异进一步减小。最后，对于所有的配置检查的语音和字形系统的组合产生一致的收益。
2018-02-01 cs.CL cs.SD eess.AS
Nonwords Pronunciation Classification in Language Development Tests for Preschool Children
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）；Intel Labs（英特尔实验室）
这项工作旨在自动评估儿童的语言发展是否与年龄相适应。验证言语和语言测试用于此目的，以测试听觉记忆。在这项工作中，任务是要确定是否口语非词已被正确地说出。我们比较了不同的方法，动机模型特定的语言结构：低级特征（FFT），扬声器嵌入（ECAPA-TDNN），字素动机的嵌入（wav 2 vec 2.0），和语音嵌入的形式senones（ASR声学模型）。每种方法都为类似VGG的5层CNN分类器提供输入。我们还研究了每个非词的适应。使用录音从不同的幼儿园的口头nonwords建议的系统进行评估。ECAPA-TDNN和低级FFT特征没有显式地对语音信息进行建模; wav2vec2.0是在字素标签上训练的，我们的ASR声学模型特征包含（子）语音信息。我们发现语音模型的粒度越大，识别率就越高。在具有VTLN的ASR声学模型特征上训练的最佳系统实现了89.4%的准确度和0.923的ROC（接收器操作特征）曲线下面积（AUC）。这相当于与FFT基线相比，准确度提高了20.2%，AUC提高了0.309。
2022-06-17 cs.CL cs.SD eess.AS
On Building Spoken Language Understanding Systems for Low Resourced Languages
J.P.Morgan AI Research（摩根大通人工智能研究院）
口语对话系统正慢慢成为人类体验的一部分，这是由于它们比文本界面具有各种优势。口语语言理解（SLU）系统是口语对话系统的基本构建块。但是为低资源语言创建SLU系统仍然是一个挑战。在大量的低资源语言中，我们无法获得足够的数据来构建自动语音识别（ASR）技术，这是任何SLU系统的基础。此外，基于ASR的SLU系统不推广到非书面语言。在本文中，我们提出了一系列实验来探索资源极其匮乏的环境，在这些环境中，我们使用每个意图低至一个数据点的系统进行意图分类，并且数据集中只有一个说话者。我们还在低资源环境中工作，在这种环境中，我们不使用特定于语言的ASR系统来转录输入语音，这使得构建SLU系统来模拟真正的低资源环境的挑战更加复杂。我们测试我们的系统比利时荷兰语（佛兰芒语）和英语，并发现使用语音音标，使意图分类系统在这样的低资源设置执行显着优于使用语音功能。具体来说，当使用基于语音的系统在基于特征的系统，我们看到平均改善12.37%和13.08%的二进制和四类分类问题，分别超过49个不同的实验设置时。
2022-05-25 cs.AI cs.CL cs.SD
Tusom2021: A Phonetically Transcribed Speech Dataset from an Endangered Language for Universal Phone Recognition Experiments
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）；Georgia Institute of Technology（佐治亚理工学院）
人们对能够以独立于语言的方式识别电话的ASR系统越来越感兴趣。此外，还有兴趣为低资源和濒危语言构建语言技术。然而，可用于测试此类系统和技术的现实数据非常缺乏。本文介绍了一个公开可用的，语音转录语料库的2255话语（单词和短语）濒危唐古拉语东Tusom（没有ISO 639-3代码），藏缅语的变化，主要是在印度。因为数据集是根据音素而不是音素转录的，所以它比许多更大的（音素转录的）数据集更适合通用音素识别系统。本文描述了该数据集及其生成方法，并进一步介绍了该数据集上最先进的通用电话识别系统的基本基准，作为未来实验的基线。
2021-04-02 cs.CL cs.SD eess.AS
Spirit LM: Interleaved Spoken and Written Language Model
Meta AI；Inria（法国国家信息与自动化研究所）；EHESS（法国社会科学高等研究院）；ENS-PSL（巴黎文理研究大学高等师范学院）；CNRS（法国国家科学研究中心）
Spirit LM是一个基于7B文本模型扩展的多模态语言模型，通过词级交错训练融合文本与语音，支持跨模态少样本学习ASR、TTS和语音分类等任务。
2024-10-18 cs.CL cs.SD eess.AS
Phonetic-and-Semantic Embedding of Spoken Words with Applications in Spoken Content Retrieval
National Taiwan University（台湾大学）
词嵌入或Word2Vec已经成功地为从词的上下文学习的文本词提供语义。音频Word2Vec被证明可以为从口语单词中的信号中学习到的口语单词（单词的信号片段）提供语音结构。本文提出了一个两阶段的框架来执行语音和语义嵌入的口语单词考虑的上下文。阶段1执行语音嵌入，并解开说话者特征。阶段2然后另外执行语义嵌入。我们进一步建议通过与文本嵌入并行化来评估在阶段2中获得的音频嵌入的语音和语义性质。语音结构和语义之间的相互干扰是不可避免的。例如，“兄弟”和“姐妹”在语义上很接近，但在语音结构上却有很大的不同，而“兄弟”和“麻烦”则相反。但是语音和语义嵌入是有吸引力的，正如在口语文档检索的初步实验中所示。不仅可以基于语音结构来检索包括口头查询的口头文档，而且还可以基于语义来检索语义上与查询相关但不包括查询的口头文档。
2019-01-19 cs.CL cs.SD eess.AS
Multistream neural architectures for cued-speech recognition using a pre-trained visual feature extractor and constrained CTC decoding
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）
本文提出了一种简单有效的自动识别提示语音（CS）的方法，提示语音是一种视觉交流工具，可以帮助听力障碍者理解口语的帮助下，手势，可以唯一地识别出的音素，补充唇读。所提出的方法是基于一个预先训练的手和嘴唇跟踪器用于视觉特征提取和语音解码器的基础上训练的连接主义的时间分类损失的多流递归神经网络，并结合发音词典。所提出的系统进行评估的更新版本的法国CS数据集CSF 18的语音转录已被手动检查和纠正。在语音水平的解码精度为70.88%，所提出的系统优于我们以前的CNN-HMM解码器，并与更复杂的基线竞争。
2022-04-11 cs.CL cs.SD eess.AS
PAST: Phonetic-Acoustic Speech Tokenizer
The School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出端到端语音分词器 PAST，通过有监督语音数据和辅助任务联合建模语音信息与信号重建，无需外部预训练模型，并引入可流式因果变体以支持实时应用，在语音表示、重建及语音语言模型任务中均优于现有基线。
2025-06-04 cs.CL cs.LG cs.SD
Composition of Deep and Spiking Neural Networks for Very Low Bit Rate Speech Coding
Idiap Research Institute（伊迪亚普研究所）
大多数当前的甚低比特率（VLBR）语音编码系统使用基于隐马尔可夫模型（HMM）的语音识别/合成技术。这允许逐段地传输信息（例如音素），从而降低比特率。然而，基于音素语音识别的编码器可能产生分段错误的突发。分段错误进一步传播到可选的超分段（如音节）信息编码。基于HMM的语音编码与基音参数化中的浊音检测错误一起，产生语音不连续性和不自然的语音声音伪像。在本文中，我们提出了一种新的VLBR语音编码框架的基础上，神经网络（NN）的端到端的语音分析和合成没有HPLF。语音编码框架依赖于语音的语音（亚语音）表示，并且它被设计为深度和尖峰NN的组成：发射机处的一组语音分析器和接收机处的语音合成器，两者都实现为深度NN，以及尖峰NN作为音节边界的增量和鲁棒编码器，用于连续基频（F0）的编码。语音特征的组合定义了比基于HMM的语音编码器定义的语音特征多得多的声音模式，并且更精细的分析/合成代码有助于更平滑的编码语音。由于编码语音的不连续性和语音伪影较少，听众明显更喜欢基于NN的方法。在语音编码和解码期间需要单个前向通路。所提出的VLBR语音编码以大约360比特/秒的比特率工作。
2016-08-29 cs.CL cs.SD
Learning acoustic word embeddings with phonetically associated triplet network
Korea Advanced Institute of Science and Technology（韩国科学技术院）
以往的研究中使用的声学词嵌入查询的例子口语词检测时，使用三元组网络表现出显着的性能改善。然而，三元组网络仅使用关于词之间的声学相似性的有限信息来训练。在本文中，我们提出了一种新的架构，语音相关的三元组网络（PATN），其目的是提高辨别能力的声学词嵌入，利用语音信息以及字的身份。所提出的模型学习，以最小化的组合损失函数，这是通过引入交叉熵损失的LSTM为基础的三元组网络的下层。我们观察到，所提出的方法在WSJ数据集的单词识别任务上的表现明显优于基线三联体网络，从而在每小时1.0次误报的情况下，召回率相对提高了20%以上。最后，我们通过在RM数据集上进行域外测试来检验泛化能力。
2018-11-28 cs.AI cs.CL cs.SD
Neural Network-Based Modeling of Phonetic Durations
University of Birmingham（伯明翰大学）；Apple UK（苹果英国公司）
一个基于深度神经网络（DNN）的模型已经被开发来预测在特定语音背景下音素持续时间的非参数分布，并用于探索哪些因素最影响持续时间。美国英语中的主要因素是停顿前延长，词汇重音和语速。该模型可用于检查文本到语音（TTS）训练语音是否遵循脚本，以及单词是否按预期发音。对于用于自动语音识别（ASR）的训练语音，持续时间预测较差，因为训练语料库通常由来自许多说话者的单个话语组成，并且通常是嘈杂的或随意说出的。然而，ASR训练材料中的低概率持续时间大多对应于非标准语音，其中一些具有不流利性。儿童的讲话是不成比例地出现在这些话语，因为儿童表现出更多的变化，在时间。
2019-09-06 cs.LG cs.SD eess.AS
Audio to score matching by combining phonetic and duration information
Universitat Pompeu Fabra（庞培法布拉大学）
本文以京剧无伴奏合唱为例，利用语音信息和时长信息，探讨了歌唱乐句音频的乐谱匹配问题。我们认为，由于京剧音乐中每个调式都有一个基本的旋律轮廓，如果只使用旋律信息（如音高轮廓），会导致不确定的匹配。这使得我们提出了一个匹配的方法，使用语音和持续时间的信息的基础上。语音信息提取与声学模型形状与我们的数据，和持续时间的信息被认为是与隐马尔可夫模型（HALTH）的变种，我们调查。我们建立了一个模型，为每个歌词路径在我们的分数，我们实现了匹配的后验概率的解码最有可能的状态序列的排名。研究了三种声学模型：（i）卷积神经网络（CNN），（ii）深度神经网络（DNN）和（iii）高斯混合模型（GNN）。此外，两个持续时间模型进行了比较：（i）隐半马尔可夫模型（HSMM）和（ii）后处理器持续时间模型。结果表明，CNN在我们的（小）音频数据集中表现更好，HSMM也优于后处理器持续时间模型。
2017-07-12 cs.SD
Improving End-To-End Modeling for Mispronunciation Detection with Effective Augmentation Mechanisms
National Taiwan Normal University（台湾师范大学）
近年来，端到端（E2 E）模型，它允许采取的频谱向量序列的第二语言（第二语言）学习者的话语作为输入，并产生相应的音素级序列作为输出，引起了研究的关注，在开发的发音错误检测（MD）系统。然而，由于缺乏足够的L2扬声器的标记语音数据用于模型估计，E2 E MD模型相对于建立在DNN-HMM声学模型上的传统模型容易过拟合。为了缓解这一关键问题，我们在本文中提出了两种建模策略，以提高E2 E MD模型的区分能力，每一种都可以隐式地利用编码在预训练声学模型中的语音和音韵特征，并分别包含在训练数据的参考转录本中。第一个是输入增强，其目的是从DNN-HMM声学模型中提取有关语音识别的知识。第二种是标签增强，它设法从训练数据的转录本中捕获更多的语音模式。在L2-ARCTIC英语数据集上进行的一系列实证实验似乎证实了我们的E2 E MD模型与一些顶级E2 E MD模型和基于DNN-HMM声学模型的经典发音评分方法相比的有效性。
2021-10-17 cs.AI cs.SD eess.AS
Investigating the Sensitivity of Automatic Speech Recognition Systems to Phonetic Variation in L2 Englishes
School of Computer Science（计算机科学学院）；ADAPT SFI Research Centre（ADAPT SFI研究中心）；University College Dublin（都柏林大学学院）
本研究通过探测ASR系统，分析其对第二语言英语中罕见语音变异的处理，发现音素级误识别导致高词错误率，并建议通过补充训练数据增强系统鲁棒性。
2023-05-12 cs.CL cs.SD eess.AS
PEDBench: Can Speech Models Detect Phonetic Errors?
Harvard University（哈佛大学）；University of Southern California（南加州大学）；University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
本文提出首个语音错误检测基准PEDBench，评估13种先进语音模型发现其检测语音错误能力不足，经合成数据微调的模型优于基线，将公开资源推动PED系统发展。
2026-10-16 cs.CL cs.SD
MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark
MMSU基准通过整合语音的语义、语调和语音学特征，评估语音语言理解与推理能力，发现现有模型存在改进空间，为开发更高级的人机语音交互系统提供新标准。
2026-03-16 cs.CL cs.SD eess.AS
Contextualization of ASR with LLM using phonetic retrieval-based augmentation
Apple（苹果公司）
本研究提出一种基于检索的语音检索增强方法，通过让LLM先检测语音中的命名实体，再从个人数据库检索语音相似实体进行上下文感知解码，显著降低了词错误率和命名实体错误率，同时避免输入全量数据库，提升效率。
2024-09-11 cs.CL cs.LG cs.SD
Speak & Spell: LLM-Driven Controllable Phonetic Error Augmentation for Robust Dialogue State Tracking
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea（人工智能研究生院，POSTECH，韩国）；Department of Computer Science and Engineering, POSTECH, Republic of Korea（计算机科学与工程系，POSTECH，韩国）
针对ASR命名实体错误导致DST准确率下降的问题，提出一种基于LLM的可控语音错误数据增强方法，利用关键词高亮提示引入语音相似错误，显著提升了噪声及低精度ASR环境下的DST鲁棒性与准确率。
2025-10-30 cs.AI cs.CL
Hybrid ASR for Resource-Constrained Robots: HMM - Deep Learning Fusion
PES University（PES大学）
本文提出一种面向资源受限机器人的混合ASR系统，通过套接字编程将HMM处理留在机器人端、深度学习交由PC端，实现计算任务分布式协同，显著提升了实时语音识别精度与人机交互能力。
2023-09-11 cs.AI cs.SD eess.AS
MedSpeak: A Knowledge Graph-Aided ASR Error Correction Framework for Spoken Medical QA
University of California, Irvine, Computer Science（加州大学尔湾分校计算机科学系）；Kennesaw State University, Computer Science（凯斯韦尔州立大学计算机科学系）
MedSpeak通过结合医疗知识图谱的语义关系和发音信息，提升语音问答中医学术语识别的准确性，并利用大语言模型增强下游答案预测。
2026-04-26 cs.AI cs.CL
Code-Switched Urdu ASR for Noisy Telephonic Environment using Data Centric Approach with Hybrid HMM and CNN-TDNN
Pakistan Navy Engineering College（巴基斯坦海军工程学院）；National University of Science and Technology（国立科技大学）；Bahria University Karachi Campus（巴哈里亚大学卡拉奇校区）
针对嘈杂呼叫中心场景下乌尔都语语码切换ASR资源受限的问题，本文提出混合HMM与CNN-TDNN的高效框架，结合数据标注优化，在干净/嘈杂环境的孤立词与连续语音中均实现5.2%的WER。
2023-07-24 cs.CL cs.SD eess.AS
A Mixture of Expert Based Deep Neural Network for Improved ASR
Reverie Language Technologies（Reverie语言技术公司）
本文提出了一种用于自动语音识别（ASR）背景下声学模型的新型深度学习架构，称为MixNet。除了传统的层，如DNN-HMM中的全连接层和LSTM-HMM中的存储单元，该模型使用了两个额外的层的混合专家（MoE）。在输入处操作的第一MoE层基于预定义的广义语音类别，并且在倒数第二层处操作的第二层基于自动学习的声学类别。在自然语音中，不同声学类别之间的分布重叠是不可避免的，这会导致类间误分类。如果修改声学模型的传统架构以使其更适合于考虑这种重叠，则预期ASR准确性会提高。MixNet的开发正是考虑到了这一点。通过散点图进行的分析验证了MoE确实改善了类别之间的分离，从而转化为更好的ASR准确性。在大词汇量ASR任务上进行的实验表明，与使用sMBR标准训练的传统模型（即DNN和LSTM）相比，所提出的架构分别提供了13.6%和10.0%的字错误率相对降低。与现有的语音分类方法（Eigen等人）相比，我们提出的方法产生了显着的改进。
2021-12-02 cs.CL cs.SD eess.AS
How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics
National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）
本文通过语音再合成实验研究GSLM在口语与语音层面的编解码效果，发现其错误覆盖音系到句法层，并常生成自然但内容改变的语音。
2023-06-01 cs.AI cs.CL eess.AS
BEA-Base: A Benchmark for ASR of Spontaneous Hungarian
Hungarian Research Centre for Linguistics（匈牙利语言研究中心）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Inc.（SpeechTex 公司）
匈牙利语有1500万人使用，但易于访问的自动语音识别（ASR）基准数据集-特别是自发语音-实际上一直不可用。在本文中，我们介绍了BEA-Base，一个子集的spoken匈牙利语数据库，主要包括140个扬声器的自发语音。它专门用于评估ASR，主要用于对话式AI应用程序。在定义了语音识别子集和任务之后，使用开源工具包开发了几个基线-包括经典的HMM-DNN混合和通过跨语言迁移学习增强的端到端方法。获得的最佳结果是基于多语言自监督预训练，与经典方法相比，识别错误率降低了45%-无需应用外部语言模型或额外的监督数据。结果表明，使用BEA-Base的匈牙利语音识别系统的培训和评估的可行性。
2022-02-01 cs.AI cs.CL cs.SD
Phoneme Boundary Detection using Learnable Segmental Features
Bar-Ilan University（巴伊兰大学）
音素边界检测起着至关重要的第一步，为各种语音处理应用程序，如扬声器diarization，语音科学，关键字定位等，在这项工作中，我们提出了一个神经架构加上一个参数化的结构化损失函数学习音素边界检测任务的分段表示。首先，我们评估了我们的模型时，口语音素不作为输入。TIMIT和七叶树语料库的结果表明，该模型优于基线模型，并达到最先进的性能方面的F1和R值。我们进一步探讨了使用音标作为额外的监督，并表明这会产生轻微的性能改善，但更好的收敛速度。我们还评估了模型的希伯来语语料库，并证明这样的语音监督可以在多语言环境中是有益的。
2020-02-16 cs.LG cs.SD eess.AS
Minimal Effective Theory for Phonotactic Memory: Capturing Local Correlations due to Errors in Speech
本研究提出一个局部连接的张量网络模型，利用口语词汇的局部语音相关性降低信息含量，从而促进词汇学习，并能在拉丁语和土耳其语上生成合理新词及预测言语错误。
2023-09-04 cs.CL cs.SD eess.AS
Creating Spoken Dialog Systems in Ultra-Low Resourced Settings
Carnegie Mellon University（卡内基梅隆大学）
本文面向弗拉芒语低资源意图分类，在现有轻量模型上结合语音与音标转写两层数据增强，缓解标注数据稀缺并提升性能。
2023-12-11 cs.CL cs.LG eess.AS
Unspeech: Unsupervised Speech Context Embeddings
我们介绍了“非语音”嵌入，这是基于无监督学习的上下文特征表示的口语。通过使用基于负采样的上下文和非上下文歧视的直接学习目标，在长达9500小时的抓取英语语音数据上对嵌入进行了训练，而没有transmittance或扬声器信息。我们使用Siamese卷积神经网络架构来训练Unspeech嵌入，并在说话人比较，话语聚类以及在TED-LIUM上训练的TDNN-HMM声学模型中作为上下文特征对其进行评估，将其与i向量基线进行比较。特别是从最近发布的普通语音语料库中解码域外语音数据显示出一致的WER降低。我们在许可的开源许可下发布我们的源代码和预训练的Unspeech模型。
2018-08-23 cs.CL cs.SD eess.AS
Combined Acoustic and Pronunciation Modelling for Non-Native Speech Recognition
LORIA-CNRS & INRIA（LORIA-CNRS与INRIA）
在本文中，我们提出了几种适应方法的非母语语音识别。我们已经测试了发音建模，MLLR和MAP非母语发音适应和HMM模型再培训的HIWIRE外国口音的英语语音数据库。我们开发的"语音混淆“方案包括将每个语音音素与几个混淆音素序列相关联。在我们的实验中，我们使用了不同的组合的声学模型代表的规范和外国的发音：口语和本地模型，模型适应非本地口音与MAP和MLLR。发音建模和声学适应的联合使用导致识别准确性的进一步提高。上述技术的最佳组合导致相对字错误减少46%至71%。
2007-11-06 cs.CL
Subjective and objective experiments on the influence of speaker's gender on the unvoiced segments
Indian Institute of Science（印度科学学院）；Voice and Speech Systems（语音与言语系统公司）
本文通过主观和客观实验，研究了说话人性别对清音声学特性的影响。用异性说话者的相应段替换话语的U段，以准备修改的话语。人类被要求判断修改后的话语是由一个还是两个说话者说的。实验表明，人类受试者无法区分修改后的内容和原始内容。因此，收听者能够识别U段，而不管性别如何，这可以基于一些说话者无关的不变声学线索。为了检验这一发现是否纯粹是一种知觉现象，还进行了客观实验。使用TIMIT训练集来训练基于性别特定HMM的音素识别系统，并对（a）由相同性别说出的话语（b）由相反性别说出的话语和（c）测试集的修改的话语进行测试。如所预期的，情况（a）的性能最高，情况（b）的性能最低。对于情况（c），性能仅略微降低。这一结果表明，说话人的性别对U音的声学效果的影响并不像对浊音那样强烈。
2018-07-16 cs.SD eess.AS
Multilingual and Multimode Phone Recognition System for Indian Languages
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
本文的目的是开发一个灵活的框架，能够自动识别语音单位存在于任何语言的任何模式的发言发言。在这项研究中，我们考虑了两种说话模式：对话，并在四种印度语言，即泰卢固语，卡纳达语，奥迪亚语和孟加拉语阅读模式。所提出的方法包括两个阶段：（1）自动语音模式分类（SMC）和（2）自动语音识别使用特定模式的多语言音素识别系统（MPRS）。在这项工作中，声道和激励源的功能被认为是语音模式分类（SMC）的任务。SMC系统的开发使用多层感知器（MLP）。此外，声道、激励源和串联特征用于构建基于深度神经网络（DNN）的MPRS。所提出的方法的性能进行了比较与模式相关的MPRS。实验结果表明，该方法结合SMC和MPRS到一个单一的系统优于基线模式相关的MPRS。
2019-08-23 cs.SD eess.AS eess.SP
STEPs-RL: Speech-Text Entanglement for Phonetically Sound Representation Learning
在本文中，我们提出了一种新的多模态深度神经网络架构，该架构使用语音和文本纠缠来学习语音声音口语表示。STEPs-RL以监督的方式进行训练，以使用其上下文口语单词的语音和文本来预测目标口语单词的语音序列，使得模型对其有意义的潜在表示进行编码。与现有的工作不同，我们已经使用文本和语音进行听觉表示学习，以捕获语义和句法信息以及声学和时间信息。我们的模型产生的潜在表示不仅能够以89.47%的准确率预测目标语音序列，而且在四个广泛使用的单词相似性基准数据集上进行评估时，还能够实现与文本单词表示模型Word 2 Vec和FastText（在文本转录上训练）竞争的结果。此外，生成的向量空间的调查也证明了该模型捕捉语音结构的口语单词的能力。据我们所知，现有的作品都没有使用语音和文本纠缠来学习口语词表示，这使得这项工作成为同类作品中的第一项。
2020-11-23 cs.CL
A phonetic model of non-native spoken word processing
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）；E&E Engineering（电气与电子工程学院）；Stellenbosch University（斯泰伦博斯大学）；University of Maryland（马里兰大学）
非母语者在口语字处理方面表现出困难。许多研究将这些困难归因于词汇记忆中单词的不精确语音编码。我们测试了一个替代假设：这些困难中的一些可能来自非母语人士的语音感知。我们训练一个语音学习的计算模型，这个模型不涉及语音学，只涉及一种或两种语言。我们首先表明，该模型表现出可预测的行为，在语音水平和单词水平的歧视任务。然后，我们测试的模型上的口语字处理任务，表明语音可能是没有必要解释的一些字处理效果在非母语人士。我们对模型的词汇表示空间进行了额外的分析，结果表明两种训练语言在该空间中并没有完全分离，这与双语人类说话者的语言类似。
2021-03-11 cs.CL
A Simple HMM with Self-Supervised Representations for Phone Segmentation
University of Edinburgh（爱丁堡大学）；Centre for Speech Technology Research（言语技术研究中心）
本文提出一种结合自监督表示和边界特征的简单隐马尔可夫模型用于音素分割，以梅尔频谱图峰值检测为强基线，在先前方法上取得一致改进。
2024-09-20 cs.CL
Acoustic absement in detail: Quantifying acoustic differences across time-series representations of speech data
University of Washington（华盛顿大学）
本文提出用 absement 量化语音时间序列间的声学差异，并通过基于动态时间规整的孤立词模板识别实验验证其有效性，取得 57.9% 的识别准确率，探讨了纯声学词识别模型的启示。
2023-04-14 cs.SD eess.AS
BanglaRobustNet: A Hybrid Denoising-Attention Architecture for Robust Bangla Speech Recognition
Department of Computer Science and Engineering（计算机科学与工程系）；Ahsanullah University of Science and Technology（阿沙努拉大学科学与技术学院）
BanglaRobustNet通过融合去噪与注意力机制，提升孟加拉语在嘈杂和说话人多样环境下的语音识别鲁棒性。
2026-01-25 cs.CL cs.CV cs.LG
Unsupervised Discovery of Linguistic Structure Including Two-level Acoustic Patterns Using Three Cascaded Stages of Iterative Optimization
National Taiwan University（台湾大学）
声学模式的无监督发现技术正变得越来越有吸引力，因为大量的语音数据变得可用，但手动注释仍然很难获得。在本文中，我们提出了一种方法，无监督发现的语言结构的目标口语给定的原始语音数据。该语言结构包括两级声学模式（类子词和类词）、基于类子词模式的类词模式词典和基于类词模式的N-gram语言模型。所有的模式，模型和参数可以从未标记的语音语料库中自动学习。这是通过一个初始化步骤，其次是三个级联阶段的声学，语言和词汇迭代优化。类词模式的词典定义了类子词模式的允许的连续的HALTH序列。在每一次迭代中，模型训练和解码产生更新的标签，词典和障碍可以进一步更新。通过这种方式，在每次迭代中分别优化模型参数和解码标签，并且逐步逐层学习关于语言结构的知识。在普通话广播新闻语料库上进行了初步实验，对所提出的方法进行了测试，其中包括使用以监督方式训练的模型进行并行测试的口语术语检测任务。结果表明，该系统不仅产生合理的性能本身，但也是现有的大词汇量ASR系统的补充。
2015-09-07 cs.CL
Learning Cross-lingual Mappings for Data Augmentation to Improve Low-Resource Speech Recognition
University of Sheffield（谢菲尔德大学）；Liveperson Research Centre（Liveperson研究中心）
针对低资源语言语音识别数据稀缺问题，提出可学习跨语言映射方法，无需平行数据即可实现源语言转写并用于数据增强，相对单语言基线模型最高提升5%性能。
2023-06-14 cs.CL cs.SD eess.AS
A Swiss German Dictionary: Variation in Speech and Writing
University of Zurich（苏黎世大学）；University of Fribourg（弗里堡大学）；Swisscom AG（瑞士电信公司）
我们介绍了一个字典，其中包含各种瑞士德语方言的常见单词的形式规范化为高地德语。由于瑞士德语目前是一种主要的口头语言，即使在同一方言的使用者之间，书面形式也有很大的差异。为了减轻与这种多样性相关的不确定性，我们补充了瑞士德语-高地德语单词与瑞士德语音标（SAMPA）。这本词典因此成为第一个将大规模自发翻译与语音翻译相结合的资源。此外，我们控制区域分布，并确保主要瑞士方言的平等代表性。瑞士德语的语音和书面形式的结合是强大的。我们表明，他们是足够的训练一个变压器为基础的音素字形模型，产生可信的小说瑞士德语作品。此外，我们表明，逆映射-从字素到音素-可以建模与Transformer训练与新的字典。这种生成以前未知单词的发音是训练可扩展自动语音识别（ASR）系统的关键，ASR系统是本词典的主要受益者。
2020-03-31 cs.CL
Kanade: A Simple Disentangled Tokenizer for Spoken Language Modeling
The University of Tokyo（东京大学）
Kanade是一种单层解耦语音分词器，通过分离声学常量实现高质量语音建模，达到最先进的说话人解耦和词汇可用性。
2026-01-31 cs.CL cs.SD eess.AS
Homophone Reveals the Truth: A Reality Check for Speech2Vec
Renmin University of China（中国人民大学）
生成具有语义信息的口语词嵌入是一个有趣的话题。与基于文本的嵌入相比，它们涵盖了语音和语义特征，可以提供更丰富的信息，并可能有助于改善ASR和语音翻译系统。在本文中，我们回顾和研究在这一领域的开创性工作的真实性：Speech 2 Vec。首先，提出了一种基于同音字的检测方法来检测Speech 2 Vec作者发布的语音嵌入。没有迹象表明这些嵌入是由Speech 2 Vec模型生成的。此外，通过对词汇组成的进一步分析，我们怀疑基于文本的模型制造了这些嵌入。最后，我们复制Speech 2 Vec模型，参考原始文件中的官方代码和最佳设置。实验表明，该模型未能学习到有效的语义嵌入。在词相似度基准测试中，MEN和WS-353-SIM测试中的相关性得分分别为0.08和0.15，比原始论文中描述的相关性得分低0.5以上。我们的数据和代码是可用的。
2022-09-23 cs.CL cs.SD eess.AS
Inductive biases, pretraining and fine-tuning jointly account for brain responses to speech
Facebook AI Research（Facebook AI研究院）；Université de Paris（巴黎大学）；CoML, ENS/CNRS/EHESS/INRIA/PSL University（计算语言学实验室，巴黎高等师范学院/法国国家科学研究中心/法国社会科学高等研究院/法国国家信息与自动化研究所/巴黎文理研究大学）；CRI, Département Frontières du Vivant et de l’Apprendre, IIFR, Université de Paris（认知研究所，生命与学习前沿系，法国医学研究院，巴黎大学）；École normale supérieure, PSL University, CNRS（巴黎高等师范学院，巴黎文理研究大学，法国国家科学研究中心）
到目前为止，我们理解语音的能力仍然是深度学习模型无法比拟的。这一壮举可能是由于大脑的能力，微调通用的声音表示为语音特定的过程。为了验证这一假设，我们比较了i）五种类型的深层神经网络和ii）由口语句子引起的人脑反应，并使用功能性磁共振成像（fMRI）记录了102名荷兰受试者。每个网络要么接受声学场景分类、语音转文本任务（基于孟加拉语、英语或荷兰语）的训练，要么未接受训练。每个模型和大脑之间的相似性通过在最佳线性投影后将它们各自的激活相关联来评估。网络之间大脑相似性的差异揭示了三个主要结果。首先，大脑中的语音表征可以由随机深度网络来解释。其次，学习对声学场景进行分类会导致深度网络增加它们的大脑相似性。第三，学习处理语音相关的语音输入（即，荷兰语vs英语）导致深度网络达到比学习处理语音距离较远的语音输入（即荷兰语vs孟加拉语）更高的大脑相似性水平。总之，这些结果表明，人类大脑微调其经过严格训练的听觉层次来学习处理语音。
2021-02-25 cs.CL cs.SD eess.AS
A case study on using speech-to-translation alignments for language documentation
University of Notre Dame（圣母大学）
对于许多低资源或濒危语言，口语资源更有可能用翻译而不是翻译来注释。最近的工作利用这种注释来产生语音到翻译的对齐，而无需访问任何文本transmittance。我们调查是否提供这样的信息可以帮助产生更好的（不匹配的）众包transmittance，这反过来可能是有价值的训练语音识别系统，并表明，他们确实可以通过一个小规模的案例研究作为概念验证是有益的。我们还提出了一个简单的语音感知字符串平均技术，产生更高质量的transmittance。
2017-02-14 cs.CL
ReNikud: Audio-Supervised Hebrew Grapheme-to-Phoneme Conversion
Reichman University（雷奇曼大学）；Carnegie Mellon University（卡内基梅隆大学）
提出ReNikud方法，利用音频监督和伪元音化架构，通过无标注音频的ASR伪标签和字符级对齐，解决希伯来语G2P转换中的元音缺失和发音歧义问题，在多个基准上达到最优。
2026-10-02 cs.CL
Phoneme-BERT: Joint Language Modelling of Phoneme Sequence and ASR Transcript
近年来，在识别口语的ASR系统中已经见证了显著的改进。然而，它仍然是一个具有挑战性的任务，噪声和域外数据，其中替换和删除错误是普遍存在的转录文本。这些错误会显著降低下游任务的性能。在这项工作中，我们提出了一个BERT风格的语言模型，称为PhonemeBERT，学习一个联合语言模型与音素序列和ASR成绩单学习语音感知表示，是强大的ASR错误。我们表明，PhonemeBERT可以用于下游任务使用音素序列作为附加功能，也可以在低资源设置，我们只有ASR转录的下游任务没有可用的音素信息。我们通过为三个基准数据集生成噪声数据来广泛评估我们的方法-斯坦福情绪树库，TREC和ATIS分别用于情绪，问题和意图分类任务。所提出的方法的结果在每个数据集上全面击败了最先进的基线。
2021-06-15 cs.CL eess.AS
Universal Automatic Phonetic Transcription into the International Phonetic Alphabet
University of Notre Dame（圣母大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google（谷歌）
本文提出一种基于wav2vec 2.0的通用语音转IPA模型，利用CommonVoice 11.0七种语言的高质量半自动转写数据进行微调，以更小数据集取得与Wav2Vec2Phoneme相当或更优的性能，并接近人类标注水平。
2023-08-07 cs.CL cs.SD eess.AS
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Idiap Research Institute（伊迪亚普研究所）
用于自动语音识别（ASR）的多语言模型是有吸引力的，因为它们已被证明受益于更多的训练数据，并且更好地适应资源不足的语言。然而，从单语上下文相关的模型初始化导致爆炸的上下文相关的状态。连接主义时间分类（CTC）是一个潜在的解决方案，因为它与单音素标签表现良好。我们调查多语言CTC的背景下，适应和正规化技术，已被证明是有益的，在更传统的背景下。多语言模型被训练为使用CTC损失函数对基于通用国际音标（IPA）的音素集进行建模。学习隐藏单元贡献（LHUC）进行语言自适应训练。此外，跨语言适应过程中的辍学也进行了研究和测试，以减轻过拟合问题。实验结果表明，LHUC可以提高基于音素的通用CTC系统的性能，并且在跨语言适应过程中可以扩展到新的音素。更新所有参数显示在有限数据上的一致改善。在自适应过程中应用dropout可以进一步改进系统，并在有限的数据上实现与深度神经网络/隐马尔可夫模型（DNN/HMM）系统竞争的性能。
2018-01-23 cs.SD eess.AS
Universal Phone Recognition with a Multilingual Allophone System
Carnegie Mellon University（卡内基梅隆大学）；SIL International（SIL国际）；National Research Council Canada（加拿大国家研究委员会）；ByteDance AI Lab（字节跳动人工智能实验室）
多语言模型可以通过跨语言共享参数来改善语言处理，特别是在资源不足的情况下。然而，多语言声学模型通常忽略音素（可以支持特定语言中词汇对比的声音）及其对应音素（实际说出的声音，与语言无关）之间的差异。这可能导致在组合各种训练语言时性能下降，因为相同注释的音素实际上可以对应于几个不同的底层语音实现。在这项工作中，我们提出了一个联合模型的语言独立的电话和语言相关的音素分布。在11种语言的多语言ASR实验中，我们发现该模型在低资源条件下将测试性能提高了2%的音素出错率绝对值。此外，由于我们是显式建模语言无关的电话，我们可以构建一个（几乎）通用的电话识别器，当与PHOIBLE大型手动管理的电话库存数据库相结合时，可以自定义为2,000种语言相关的识别器。两个低资源的土著语言，Inuktitut和Tusom的实验表明，我们的识别器实现了电话的准确率提高了17%以上，移动一步接近语音识别的所有语言在世界上。
2020-02-26 cs.CL cs.SD eess.AS
BanglaDialecto: An End-to-End AI-Powered Regional Speech Standardization
North South University（北南大学）；Apurba Technologies（阿普尔巴科技）；Fordham University（福特汉姆大学）
本研究提出端到端流水线BanglaDialecto，通过构建大规模方言数据集微调Whisper ASR和BanglaT5模型，实现Noakhali方言语音到标准孟加拉语文本的转换，CER达0.8%，BLEU达41.6%。
2024-11-16 cs.AI cs.CL cs.LG
Enhancing Automatically Discovered Multi-level Acoustic Patterns Considering Context Consistency With Applications in Spoken Term Detection
National Taiwan University（台湾大学）
本文提出了一种新的方法来增强多套自动发现的声学模式从一个给定的语料库。在以前的工作中，有人提出，不同的HMM配置（每个模型的状态数，不同的模型数）的声学模式形成一个二维空间。多组声学模式自动发现的HMM配置正确地位于这个二维空间上的不同点被证明是互补的，共同捕捉给定语料库的特性。通过将给定的语料库表示为不同HMM集合上的声学模式的序列，可以考虑跨不同序列的上下文一致性来重新标记这些序列中的模式索引。在TIMIT和普通话广播新闻上进行的模式口语词检测（STD）的初步实验中观察到了良好的改善。
2015-09-07 cs.CL
Comparative layer-wise analysis of self-supervised speech models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
在过去的几年中，已经提出了许多自监督语音模型，其预训练目标、输入模态和预训练数据各不相同。尽管在下游任务上取得了令人印象深刻的成功，但我们对模型编码的属性以及模型之间的差异仍然了解有限。在这项工作中，我们研究了各种最近的模型的中间表示。具体来说，我们测量声学，语音和单词级属性编码在各个层中，使用一个轻量级的分析工具，基于典型相关分析（CCA）。我们发现，这些属性在不同的层之间根据模型的不同而变化，这些变化与预训练目标的选择有关。我们进一步调查我们的分析，下游任务的实用性，通过比较性能的语音识别和口语语言理解任务的趋势。我们发现，CCA趋势为下游任务选择感兴趣的层提供了可靠的指导，并且单层性能通常与使用所有层相匹配或有所改善，这意味着更有效地使用预训练模型。
2023-03-16 cs.CL cs.LG cs.SD
Experiments of ASR-based mispronunciation detection for children and adult English learners
University of Trento（特伦托大学）；University of Groningen（格罗宁根大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会（FBK））
发音是语言学习的基础之一，当涉及到理解和被他人理解时，它被认为是口语的主要因素。在语音识别领域中，由于发音错误而导致的高出错率的持续存在促使我们寻找用于处理发音错误的替代技术。在这项研究中，我们开发了一个发音错误的评估系统，检查发音的非英语母语者，确定了意大利英语学习者的常见发音错误的音素，并提出了一个评价的语音注释语音语料库中观察到的非母语发音。在这项工作中，为了检测发音错误，我们使用了基于电话的ASR，使用Kaldi实现。我们使用了两个非母语的英语标记语料库;（i）意大利成年人的语料库包含来自46个扬声器的5，867话语，（ii）意大利儿童的语料库由来自78个儿童的5，268话语组成。我们的研究结果表明，所选择的错误模型可以区分正确的声音从不正确的声音在本族语和非本族语的话，因此可以用来检测发音错误在非本族语。电话出错率显示使用错误语言模型的改善。ASR系统显示出更好的准确性后，我们所选择的语料库中应用的错误模型。
2021-04-13 cs.CL cs.SD eess.AS
Sagalee: an Open Source Automatic Speech Recognition Dataset for Oromo Language
BNRist；Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出针对奥罗莫语的开源ASR数据集Sagalee，包含100小时众包录音，并通过Conformer和Whisper模型实验确立了词错率基线，促进了该低资源语言的语音识别研究。
2025-02-01 cs.CL cs.SD eess.AS
The NTNU System at the S&I Challenge 2025 SLA Open Track
National Taiwan Normal University（国立台湾师范大学）；Department of Computer Science and Information Engineering（计算机科学与信息工程系）；Institute of AI Interdisciplinary Applied Technology（人工智能跨学科应用技术研究所）
本文提出整合W2V与Phi-4多模态大语言模型的系统，通过分数融合策略提升SLA评估性能，在Speak & Improve Challenge 2025中取得第二名，RMSE为0.375。
2026-06-27 cs.CL cs.SD eess.AS
