PAST: Phonetic-Acoustic Speech Tokenizer
The School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出端到端语音分词器 PAST，通过有监督语音数据和辅助任务联合建模语音信息与信号重建，无需外部预训练模型，并引入可流式因果变体以支持实时应用，在语音表示、重建及语音语言模型任务中均优于现有基线。
2025-06-04 cs.CL cs.LG cs.SD
(SimPhon Speech Test): A Data-Driven Method for In Silico Design and Validation of a Phonetically Balanced Speech Test
Institute of Sound and Vibration Research (ISVR), University of Southampton, UK（声学与振动研究所（ISVR），南安普顿大学）
本研究提出SimPhon言语测试方法学，利用ASR系统模拟听力损失的感知效应，通过多阶段计算流水线筛选出25个优化词对的测试集，可捕捉超出简单可听度的感知缺陷，提升听力学测试开发效率。
2025-06-13 cs.CL cs.SD eess.AS
Similarity and Content-based Phonetic Self Attention for Speech Recognition
Seoul National University（首尔国立大学）
基于变换器的语音识别模型由于在特征提取过程中利用每一帧的自注意（SA）机制而取得了巨大的成功。特别地，在低层的SA头捕获各种语音特征的查询关键点积，这是设计来计算帧之间的成对关系。在本文中，我们提出了一个变体SA提取更具代表性的语音特征。语音自我注意（phSA）由两种不同类型的语音注意组成，一种是基于相似性的，另一种是基于内容的。简而言之，基于相似性的注意力捕捉帧之间的相关性，而基于内容的注意力只考虑每一帧，而不受其他帧的影响。我们确定了原始点积方程的哪些部分与两种不同的注意力模式有关，并通过简单的修改来改进每个部分。音素分类和语音识别的实验表明，在不增加延迟和参数大小的情况下，用phSA代替低层的SA提高了识别性能。
2022-07-12 cs.CL eess.AS
PEDBench: Can Speech Models Detect Phonetic Errors?
Harvard University（哈佛大学）；University of Southern California（南加州大学）；University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
本文提出首个语音错误检测基准PEDBench，评估13种先进语音模型发现其检测语音错误能力不足，经合成数据微调的模型优于基线，将公开资源推动PED系统发展。
2026-10-16 cs.CL cs.SD
Whistle: Data-Efficient Multilingual and Crosslingual Speech Recognition via Weakly Phonetic Supervision
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；China Unicom (Guangdong) Industrial Internet Co., Ltd（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
本文提出Whistle，一种通过弱音素监督预训练实现数据高效的多语言和跨语言语音识别方法，实验表明其在已见语言识别、未见语言跨语言性能、抗遗忘和训练效率上优于其他方法。
2025-03-27 cs.CL cs.SD eess.AS
Tusom2021: A Phonetically Transcribed Speech Dataset from an Endangered Language for Universal Phone Recognition Experiments
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）；Georgia Institute of Technology（佐治亚理工学院）
人们对能够以独立于语言的方式识别电话的ASR系统越来越感兴趣。此外，还有兴趣为低资源和濒危语言构建语言技术。然而，可用于测试此类系统和技术的现实数据非常缺乏。本文介绍了一个公开可用的，语音转录语料库的2255话语（单词和短语）濒危唐古拉语东Tusom（没有ISO 639-3代码），藏缅语的变化，主要是在印度。因为数据集是根据音素而不是音素转录的，所以它比许多更大的（音素转录的）数据集更适合通用音素识别系统。本文描述了该数据集及其生成方法，并进一步介绍了该数据集上最先进的通用电话识别系统的基本基准，作为未来实验的基线。
2021-04-02 cs.CL cs.SD eess.AS
Hybrid phonetic-neural model for correction in speech recognition systems
SoldAI Research（SoldAI研究院）
自动语音识别（ASR）是多种设置中的相关领域，因为它提供了应用程序和用户之间的自然通信机制。在使用特定于特定应用程序域的语言的环境中，ASR通常会失败。已经探索了一些策略，通过后处理，特别是自动拼写检查和深度学习方法来减少关闭ASR中的错误。在这篇文章中，我们探索使用深度神经网络来改进应用于语音音频数据库的语音校正算法的结果。结果显示，无论是在原始转录还是在语音纠正中，单词错误率（WER）都有所降低，这表明深度学习模型与后处理纠正策略一起减少特定语言领域中封闭式ASR所犯错误的可行性。
2021-02-12 cs.CL eess.AS
The Role of Phonetic Units in Speech Emotion Recognition
Baidu Research（百度研究院）
我们提出了一种方法，通过情感相关的语音识别使用Wav2vec 2.0的情感识别。我们的方法取得了显着的改善，在IEMOCAP，一个基准的情绪数据集上的大多数以前报道的结果。采用不同类型的语音单元，并在数据集和语言内以及跨数据集和语言的情感识别的准确性和鲁棒性方面进行比较。音素，广泛的语音类和音节的模型都显着优于话语模型，表明语音单元是有帮助的，应该被纳入语音情感识别。最好的性能是使用广泛的语音类。需要进一步的研究，以调查的最佳设置的广泛的语音类的情感识别任务。最后，我们发现Wav2vec 2.0可以进行微调，以识别比音素更粗粒度或更大的语音单元，例如广泛的语音类别和音节。
2021-08-02 cs.CL
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Analyzing Phonetic and Graphemic Representations in End-to-End Automatic Speech Recognition
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
用于自动语音识别（ASR）的端到端神经网络系统是从声学特征到文本翻译的训练。与模块化ASR系统（包含用于声学建模、发音词典和语言建模的单独训练的组件）相比，端到端范例在概念上更简单，并且具有在最终任务上训练整个系统的潜在好处。然而，这样的神经网络模型更加不透明：不清楚如何解释网络不同部分的作用，以及它在训练过程中学习到什么信息。在本文中，我们分析了学习的内部表示在一个端到端的ASR模型。我们评估的代表性质量方面的几个分类任务，比较音素和字素，以及不同的发音功能。我们研究了两种语言（英语和阿拉伯语）和三个数据集，发现不同属性在深层神经网络的不同层中的表现方式具有显著的一致性。
2020-04-19 cs.CL cs.SD eess.AS
Investigating the Sensitivity of Automatic Speech Recognition Systems to Phonetic Variation in L2 Englishes
School of Computer Science（计算机科学学院）；ADAPT SFI Research Centre（ADAPT SFI研究中心）；University College Dublin（都柏林大学学院）
本研究通过探测ASR系统，分析其对第二语言英语中罕见语音变异的处理，发现音素级误识别导致高词错误率，并建议通过补充训练数据增强系统鲁棒性。
2023-05-12 cs.CL cs.SD eess.AS
Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition
Liveperson Research Centre（Liveperson研究中心）
多语言自动语音识别（ASR）系统主要受益于低资源语言，但相对于其单语言对应物，在若干语言之间遭受性能降级。有限的研究集中在理解多语言语音识别设置中的语言行为。本文提出了一种新的数据驱动的方法来研究跨语言的声学语音相似性。该技术测量来自各种单语声学模型的后验分布与目标语音信号之间的相似性。深度神经网络被训练为映射网络，以将来自不同声学模型的分布转换为直接可比较的形式。分析发现，重叠音素集的数量不能真实地估计语言的接近程度。熵分析的建议映射网络显示，一种语言与较少的重叠，可以更适合跨语言迁移，因此更有益的多语种设置。最后，利用所提出的后验变换方法融合目标语言的单语模型。与单语对应相比，实现了~8%的相对改进。
2022-07-07 cs.CL eess.AS
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种用于语音识别评估的常用字错误率（WER）指标的变体，该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后，相邻错误的跨度被转换成具有单词和音节边界的音素，并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词，这些单词调整每个错误区域中的单词对齐标签。我们证明，我们的语音导向的单词错误率（POWER）产生类似的分数WER与更好的单词对齐的附加优势，并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
PERL: Pinyin Enhanced Rephrasing Language Model for Chinese ASR N-best Error Correction
Mohamed bin Zayed University of Artificial Intelligence（莫扎德大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对中文语音识别纠错难题，提出PERL受限改写管道，通过预测目标长度、掩码预算及融合语义与拼音表示来纠错，在Aishell-1和DoAD实验中持续降低字符错误率且保持低延迟，还分析了相关交互。
2026-07-17 cs.CL
That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Delft University of Technology（代尔夫特理工大学）
世界上只有少数几种语言拥有丰富的资源，使语音处理技术的实际应用成为可能。克服这个问题的方法之一是使用其他语言中存在的资源来训练多语言自动语音识别（ASR）模型，该模型直观地应该学习一些通用的语音表示。在这项工作中，我们专注于更深入地了解这些表示可能有多普遍，以及各个手机在多语言环境中如何得到改进。为此，我们选择了一组语音多样的语言，并进行了一系列的单语，多语种和跨语言（zero-shot）的实验。ASR被训练为识别国际音标（IPA）标记序列。我们观察到在多语言环境中所有语言都有显着的改进，而在跨语言环境中则出现了明显的退化，其中模型除了其他错误外，还将爪哇语视为声调语言。值得注意的是，只有10个小时的目标语言训练数据大大降低了ASR错误率。我们的分析发现，即使是一种语言所特有的手机也可以从添加其他语言的训练数据中受益匪浅-这对资源匮乏的语音社区来说是一个令人鼓舞的结果。
2020-05-16 cs.CL cs.SD eess.AS
Neural Network-Based Modeling of Phonetic Durations
University of Birmingham（伯明翰大学）；Apple UK（苹果英国公司）
一个基于深度神经网络（DNN）的模型已经被开发来预测在特定语音背景下音素持续时间的非参数分布，并用于探索哪些因素最影响持续时间。美国英语中的主要因素是停顿前延长，词汇重音和语速。该模型可用于检查文本到语音（TTS）训练语音是否遵循脚本，以及单词是否按预期发音。对于用于自动语音识别（ASR）的训练语音，持续时间预测较差，因为训练语料库通常由来自许多说话者的单个话语组成，并且通常是嘈杂的或随意说出的。然而，ASR训练材料中的低概率持续时间大多对应于非标准语音，其中一些具有不流利性。儿童的讲话是不成比例地出现在这些话语，因为儿童表现出更多的变化，在时间。
2019-09-06 cs.LG cs.SD eess.AS
Corpus Phonetics Tutorial
语料库语音学已成为语言分析中一种日益流行的研究方法。随着语音技术和计算能力的进步，语音数据的大规模处理已经成为一种可行的技术。本教程向语音科学家和工程师介绍各种自动语音处理工具。这些包括使用Kaldi自动语音识别工具包（Povey等人，2011）、使用FAVE-align的强制对齐（Rosenfelder等人，2014），蒙特利尔强制对齐（McAuliffe等人，2017），和宾夕法尼亚语音实验室强制对齐器（Yuan & Liberman，2008），以及使用AutoVOT的塞音突发对齐（Keshet et al.，2014年）。本教程提供了每个程序的一般概述，运行程序的分步说明，以及一些提示和技巧。
2018-11-13 cs.CL
Leveraging Phone Mask Training for Phonetic-Reduction-Robust E2E Uyghur Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯少数民族-普通话翻译部门）
维吾尔语语音中经常会遇到辅音和元音的压缩，特别是在高速率的自发语音中，这会导致语音识别性能的下降。针对这一问题，本文提出了一种有效的音素模板训练方法，用于基于Conformer的维吾尔语端到端（E2 E）语音识别。其思想是在模型训练过程中随机屏蔽一定比例的手机特征，模拟上述言语现象，便于E2 E模型学习更多的上下文信息。根据实验，上述问题可以大大缓解。此外，对不同的掩蔽单元进行了深入的研究，这表明了我们提出的掩蔽单元的有效性。本文还进一步研究了手机蒙版的遮盖方法和优化填充策略。最后，与没有模板训练的基于Conformer的E2 E基线相比，我们的模型在阅读语音和自发语音上分别表现出约5.51%和12.92%的相对字出错率（WER）降低。在开放源数据THUYG-20的测试集上验证了上述方法，结果显示相对于传统方法有20%的改进。
2022-04-02 cs.SD eess.AS
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯民族语言-普通话翻译团队）；Xinjiang Key Laboratory of Multi-lingual Information Technology（新疆多语种信息技术重点实验室）
在自动语音识别（ASR）中，辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略，电话掩蔽训练（PMT），阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进，仍然存在进一步的增益空间，由于PMT的掩蔽单元（音素）和建模单元（词片）之间的粒度不匹配。为了提高PMT的性能，我们提出了多建模单元训练（MMUT）架构融合PMT（PM-MMUT）。MMUT框架的思想是将编码器分成两部分，包括声学特征序列到音素级表示（AF-to-PLR）和音素级表示到词段级表示（PLR-to-WPLR）。它允许AF-到-PLR通过基于中间音素的CTC损失来优化，以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明，该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验，与最新的官方ESPnet 1预训练模型相比，在没有LM融合的情况下，所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition
Center of Language and Speech Processing, The Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）；Human Language Technology Center of Excellence, The Johns Hopkins University（约翰斯·霍普金斯大学人类语言技术卓越中心）；Multimedia Computing Group, Delft University of Technology（代尔夫特理工大学多媒体计算组）；Department of Electrical and Computer Engineering, University of Illinois（伊利诺伊大学电气与计算机工程系）
数据采集的高成本使得自动语音识别（ASR）模型训练对于大多数现有语言来说都是有问题的，包括甚至没有书面脚本的语言，或者电话库存仍然未知的语言。过去的工作探索了多语言培训，迁移学习以及零样本学习，以便为这些低资源语言构建ASR系统。虽然已经表明，从多种语言中汇集资源是有帮助的，但我们还没有看到ASR模型成功应用于训练过程中看不到的语言。将ASR从可见语言适应为不可见语言的关键一步是创建不可见语言的电话库存。我们工作的最终目标是在没有任何语言知识的情况下，以无监督的方式建立一种在训练过程中看不见的语言的电话库存。在本文中，我们1）调查不同因素的影响（即，模型架构、音素定位模型、语音表示类型）; 2）提供对哪些音素在语言间传递良好以及哪些音素在语言间传递不好的分析，以便理解自动音素清单创建的局限性和进一步改进的领域;以及3）呈现以无监督方式构建未见过语言的音素清单的不同方法。为此，我们对一组13种语音不同的语言和几种深入的分析进行了单，多和跨语言实验。我们发现了一些通用的电话令牌（IPA符号），它们在跨语言方面得到了很好的识别。通过对结果的详细分析，我们得出结论，独特的声音，相似的声音，和音调的语言仍然是一个主要的挑战，语音库存发现。
2022-01-28 cs.CL cs.SD eess.AS
Multistream neural architectures for cued-speech recognition using a pre-trained visual feature extractor and constrained CTC decoding
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）
本文提出了一种简单有效的自动识别提示语音（CS）的方法，提示语音是一种视觉交流工具，可以帮助听力障碍者理解口语的帮助下，手势，可以唯一地识别出的音素，补充唇读。所提出的方法是基于一个预先训练的手和嘴唇跟踪器用于视觉特征提取和语音解码器的基础上训练的连接主义的时间分类损失的多流递归神经网络，并结合发音词典。所提出的系统进行评估的更新版本的法国CS数据集CSF 18的语音转录已被手动检查和纠正。在语音水平的解码精度为70.88%，所提出的系统优于我们以前的CNN-HMM解码器，并与更复杂的基线竞争。
2022-04-11 cs.CL cs.SD eess.AS
Synthetic Data Domain Adaptation for ASR via LLM-based Text and Phonetic Respelling Augmentation
Hitachi, Ltd.（日立公司）
本文提出基于合成数据的域适应框架，通过大语言模型生成文本增强和音素重写增强，提升ASR在领域特定数据上的鲁棒性。
2026-03-11 cs.SD eess.AS
Three-Module Modeling For End-to-End Spoken Language Understanding Using Pre-trained DNN-HMM-Based Acoustic-Phonetic Model
Ping An Technology（平安科技）；Yanshan University（燕山大学）
在口语语言理解（SLU）中，用户所说的话被转换为他/她的意图。最近关于端到端SLU的工作表明，可以通过预训练方法提高准确性。我们使用语音预训练和三模块建模重新审视Lugosch等人提出的想法;但是，为了简化端到端SLU模型的构建，我们使用来自DNN-HMM的开源声学语音模型作为音素模块混合自动语音识别（ASR）系统，而不是从头开始训练。因此，我们只对单词模块的语音进行微调，并在单词和意图模块上应用多目标学习（MTL）来共同优化SLU性能。MTL在意图分类出错率方面相对降低了40%（从1.0%降低到0.6%）。请注意，我们的三模块模型是一个流方法。所提出的三模块建模方法的最终结果在FluentSpeech上产生了99.4%的意图准确性，与Lugosch等人相比，意图出错率降低了50%。虽然我们专注于实时流方法，但我们也列出了非流方法进行比较。
2022-04-07 cs.CL cs.SD eess.AS
UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data
Nankai University（南开大学）；Microsoft（微软）
在本文中，我们提出了一个统一的预训练方法，称为UniSpeech学习语音表示与未标记和标记的数据，其中监督语音CTC学习和语音意识的对比自监督学习进行多任务学习的方式。所得到的表示可以捕获与语音结构更相关的信息，并提高跨语言和领域的泛化能力。我们评估了UniSpeech在公共CommonVoice语料库上进行跨语言表示学习的有效性。结果表明，UniSpeech优于自监督预训练和监督迁移学习的语音识别，最大分别减少13.4%和17.8%的相对音素出错率（所有测试语言的平均值）。UniSpeech的可转移性也在域转移语音识别任务上得到证明，即，相对于先前的方法，字出错率降低了6%。
2021-06-10 cs.CL cs.LG cs.SD
Human-like Linguistic Biases in Neural Speech Models: Phonetic Categorization and Phonotactic Constraints in Wav2Vec2.0
Institute for Logic, Language and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
本文借鉴人类语音感知实验，通过/l/-/r/声学连续体受控刺激研究Wav2Vec2如何解析音位配列约束，发现模型在早期Transformer层即表现出类人的音位配列可接受性偏见，且ASR微调会放大该效应。
2024-07-03 cs.AI cs.CL cs.SD
Predicting non-native speech perception using the Perceptual Assimilation Model and state-of-the-art acoustic models
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；University of Paris（巴黎大学）；University of Toronto（多伦多大学）
我们的母语影响我们感知语音的方式，影响我们辨别非母语声音的能力。我们比较了两个想法的影响，母语的语音感知：感知同化模型，呼吁到本地音素类别的声音的心理分类，与丰富的，细粒度的语音表示调谐到统计的母语的想法，是足够的。我们操作这个想法使用两个国家的最先进的语音模型，狄利克雷过程高斯混合模型和最近的wav2vec 2.0模型表示。我们提出了一个新的，开放的数据集，讲法语和英语的参与者的语音感知行为的61个元音的声音从六种语言。我们发现，音素同化是一个更好的预测比细粒度的语音建模，无论是作为一个整体的歧视行为，并预测与母语背景的差异相关的可辨别性的差异。我们还表明，wav2vec 2.0，而不是善于捕捉母语对语音感知的影响，是补充信息的母语音素同化，并提供了一个很好的模型，低层次的语音表示，支持的想法，即分类和细粒度的感知过程中使用的语音感知。
2022-05-31 cs.CL cs.SD eess.AS
Transfer Learning from Audio-Visual Grounding to Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
迁移学习旨在通过重复使用从学习其他相关任务中获得的知识来减少在新任务中出色所需的数据量。本文提出了一种新的迁移学习方案，该方案从基础模型中提取鲁棒的语音特征，这些基础模型经过训练以判断一对图像和语音是否在语义上相关，而不使用任何文本记录。由于语音的语义在很大程度上取决于其词汇内容，接地模型学习保留语音信息，而忽略不相关的因素，如扬声器和通道。为了研究从不同层提取的特征的性质，我们分别使用它们作为输入来训练多个语音识别模型。实验结果表明，越靠近输入的层保留更多的语音信息，而下面的层表现出更大的不变性域转移。此外，虽然大多数以前的研究包括用于特征提取器训练的语音识别的训练数据，但我们的接地模型没有在任何这些数据上进行训练，这表明对新领域具有更普遍的适用性。
2019-07-09 cs.CL cs.LG cs.SD
Boosting Chinese ASR Error Correction with Dynamic Error Scaling Mechanism
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Lanzhou University（兰州大学）
本文针对中文ASR纠错提出动态误差缩放机制，通过融合词级特征与语音信息并采用误差缩减与放大策略，有效提升纠错性能。
2023-08-07 cs.AI cs.CL
Probing Acoustic Representations for Phonetic Properties
University of Pennsylvania（宾夕法尼亚大学）；Linguistic Data Consortium, University of Pennsylvania（宾夕法尼亚大学语言数据联盟）
预训练的声学表示，如wav 2 vec和DeCoAR已经达到了令人印象深刻的字错误率（WER）的语音识别基准，特别是当标记的数据是有限的。但是，人们对这些不同的表征获得了什么样的语音特性，以及它们对语音的可转移特征的编码程度知之甚少。我们在一些简单的帧级语音分类任务中比较了两个传统系统和四个预训练系统的特征，其中分类器在一个版本的TIMIT数据集的特征上训练，并在另一个版本的特征上进行测试。所有上下文化的表示都提供了一定程度的跨域可转移性，并且在更多音频数据上预训练的模型会给出更好的结果;但总体而言，具有最简单架构的DeCoAR系统表现最好。因此，这种类型的基准分析可以揭示各种建议的声学表示的相对优势。
2021-02-14 cs.SD eess.AS
Improving Speech Recognition of Named Entities in Classroom Speech with LLM Revision and Phonetic-Semantic Context
本文提出利用LLM修订和音义上下文提升课堂语音中命名实体的识别准确率，通过MIT课程数据集验证，实现30%的WER降低。
2026-04-19 cs.AI cs.CL
Phonetic Modeling of Dialectal Variation in Vietnamese Speech
Faculty of Computer Science（计算机科学系）；Faculty of Information Science and Engineering（信息科学与工程系）；University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh city（越南国家大学，胡志明市）
提出一种方言感知的语音框架，通过结构化语音成分和方言特定IPA映射，在词汇和解码层面显式建模越南语方言变体，在UIT-ViMD数据集上以更少参数和无外部预训练达到与最强预训练模型相当的性能。
2026-05-23 cs.CL
Scaling Human and G2P Supervision for Robust Phonetic Transcription
Koel Labs LLC
研究自动语音转录中人类标注与G2P监督的扩展规律，发现当人类标注少于20-30小时时G2P有效，超过后无益甚至降低鲁棒性，而ASR预训练可显著提升性能。
2026-06-16 cs.CL cs.LG cs.SD
Filter-based Discriminative Autoencoders for Children Speech Recognition
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
由于儿童语音的多样性，儿童语音识别是必不可少的，但也具有挑战性。在本文中，我们提出了一个基于滤波器的判别式自动编码器的声学建模。为了滤除各种说话人类型和音高的影响，将说话人和音高特征的辅助信息与声学特征一起输入到编码器中以生成语音嵌入。在训练阶段，解码器使用辅助信息和编码器提取的语音嵌入来重建输入的声学特征。通过同时最小化ASR损失和特征重建误差来训练自动编码器。该框架可以使语音嵌入更纯粹，从而产生更准确的senone（三音状态）分数。在CMU Kids语料库的测试集上进行评估，与基线系统相比，我们的系统实现了7.8%的相对WER降低。在领域自适应实验中，我们的系统在英国口音PF-STAR任务上也优于基线系统。
2022-05-23 cs.CL cs.LG cs.SD
Contextualization of ASR with LLM using phonetic retrieval-based augmentation
Apple（苹果公司）
本研究提出一种基于检索的语音检索增强方法，通过让LLM先检测语音中的命名实体，再从个人数据库检索语音相似实体进行上下文感知解码，显著降低了词错误率和命名实体错误率，同时避免输入全量数据库，提升效率。
2024-09-11 cs.CL cs.LG cs.SD
Pre-training for Spoken Language Understanding with Joint Textual and Phonetic Representation Learning
Alibaba Group（阿里巴巴集团）
在用于口语语言理解（SLU）的传统级联架构中，已经观察到自动语音识别错误可能对自然语言理解的性能有害。已经提出了端到端（E2E）SLU模型，以利用单个模型将语音输入直接映射到期望的语义框架，从而减轻ASR错误传播。最近，已经探索了这些E2E模型的预训练技术。在本文中，我们提出了一种新的联合文本语音预训练方法学习口语表示，旨在探索语音信息的全部潜力，以提高SLU的鲁棒性ASR错误。我们探索音素标签作为高级语音特征，并设计和比较基于条件掩蔽语言模型目标和句间关系目标的预训练任务。我们还研究了在微调过程中结合文本和语音信息的功效。在口语语言理解基准测试Fluent Speech Commands和SNIPS上的实验结果表明，该方法的性能明显优于强基线模型，提高了口语语言理解对ASR错误的鲁棒性。
2021-09-01 cs.CL
The Mason-Alberta Phonetic Segmenter: A forced alignment system based on deep neural networks and interpolation
George Mason University（乔治梅森大学）；University of Alberta（阿尔伯塔大学）；Northern Arizona University（北亚利桑那大学）
本文提出基于深度神经网络的强制对齐系统MAPS，通过将声学建模视为标注任务并引入插值技术突破10毫秒边界精度限制，在测试集上使10毫秒内准确边界数量相对Montreal Forced Aligner提升27.92%。
2023-10-24 cs.CL cs.LG cs.SD
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI（亚马逊 AWS 人工智能）
我们介绍BERTphone，一个Transformer编码器训练的大型语音语料库，输出语音感知的上下文表示向量，可用于扬声器和语言识别。这是通过对两个目标的训练来实现的：第一个目标，受BERT适应连续域的启发，涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标，受ASR瓶颈特征的成功启发，是应用于音素标签的序列级CTC损失，用于语音表示学习。我们预训练了两个BERTphone模型（一个在Fisher上，一个在TED-LIUM上），并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中，我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中，我们看到在BERTphone向量而不是MFCC上训练时，说话人EER相对降低了18%。一般来说，BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
THCHS-30 : A Free Chinese Speech Corpus
Tsinghua University（清华大学）；Research Institute of Information Technology（信息技术研究院）；Center for Speech and Language Technology（语音与语言技术中心）
语音数据是语音识别研究的关键。有相当多的语音数据库，可以购买的价格是合理的大多数研究机构。然而，对于刚刚开始研究活动或刚刚对该方向产生初步兴趣的年轻人来说，数据成本仍然是一个恼人的障碍。我们支持语音识别领域的“免费数据”运动：研究机构（特别是由公共基金支持的研究机构）免费公布其数据，以便新的研究人员能够获得足够的数据来启动他们的职业生涯。本文正是顺应这一趋势，发布了一个自由汉语语音数据库THCHS-30，可用于构建全边缘汉语语音识别系统。我们报告的基线系统建立与此数据库，包括在高噪声条件下的性能。
2015-12-10 cs.CL cs.SD
Normalization through Fine-tuning: Understanding Wav2vec 2.0 Embeddings for Phonetic Analysis
School of the Gifted Young University of Science；School of Humanities；Social Sciences University of Science
本研究探讨wav2vec 2.0模型内部的语音归一化过程，发现微调通过选择性抑制任务无关信息有效实现归一化，且多任务微调能保留信息而不损害性能，为语音模型与人类语音感知提供新见解。
2025-03-04 cs.AI cs.CL
Structural Analysis of Hindi Phonetics and A Method for Extraction of Phonetically Rich Sentences from a Very Large Hindi Text Corpus
Indian Institute of Information Technology, Allahabad（印度信息技术学院，阿拉哈巴德）
自动语音识别（ASR）和文本到语音（TTS）是当今人机交互的两个重要研究领域。为了开发人机交互的这两个交互模块，一组语音丰富的句子是非常重要的。从本质上讲，语音丰富的句子集必须覆盖均匀分布的所有可能的音素单元。从一个大的语料库中选择这样一个集合，保持语音特征的相似性仍然是一个具有挑战性的问题。本文的主要目标是设计一个标准，以选择一组句子，包括所有的语音方面的语料库的大小尽可能小。首先，本文提出了一个统计分析的印地语语音观察的结构特点。此外，提出了一个两阶段的算法，以提取语音丰富的句子与各种各样的三音子从埃米尔印地语语料库。该算法包括一个距离测量标准来选择一个句子，以改善三音子分布。此外，为了加快算法的速度，提出了一种特殊的预处理方法，对每个三音子进行逆概率评分。实验结果表明，该方法能够有效地构建出分布均匀、句子数量最优的语音丰富语料库。
2017-02-07 cs.CL
Analysis of French Phonetic Idiosyncrasies for Accent Recognition
INP-ENSEEIHT（法国国立高等电工技术、电子、计算机、水力学与电信学校）；University College Dublin（都柏林大学学院）；ADAPT SFI Research Centre（ADAPT科学基金会研究中心）
语音识别系统在过去的几十年里取得了巨大的进步。它们在识别说话者的言语方面有了很大的发展。然而，语音识别系统在识别说话者的细微差别和口音方面存在改进的范围。已知任何特定的自然语言可以具有至少一种口音。尽管同一个词的音素组成，如果用不同的口音发音，我们就会产生声波，它们彼此不同。语音的发音、口音和语调的差异通常会产生语音识别的最常见问题之一。如果语言中有很多口音，我们应该分别为每个口音创建声学模型。本文对口音的准确分类问题进行了系统的分析。我们使用传统的机器学习技术和卷积神经网络，并表明经典的技术是不够有效地解决这个问题。利用语音信号的谱图，我们提出了一个用于口音识别的多类分类框架。在本文中，我们将重点放在法国口音。我们还确定其局限性，了解法国特质的影响，其声谱图。
2021-10-18 cs.CL
Phonetic Ambiguity : Approaches, Touchstones, Pitfalls and New Approaches
语音歧义和混淆是任何形式的自下而上或数据驱动的语言处理方法的困扰。当一个输入是“足够接近”一个目标词的问题遍布语音识别，合成，语言习得，语音压缩和语言表示的整个问题空间，但各种各样的表示已被应用显然是不够的，至少在某些方面的问题。本文通过考察语音歧义的几个试金石模型，并将它们与它们旨在解决的问题联系起来，回顾了这一不足。一个好的解决方案应该是高效、准确、精确，并且普遍适用于单词的表示，理想情况下可以用作直接测量单词或话语对之间的“距离”的“语音距离”度量。所提出的模型都不能提供一个完整的解决方案的问题，在一般情况下，没有语音距离的算法理论。我们还不清楚这是表征技术的弱点，还是问题陈述的更根本的困难。
1996-08-29 cmp-lg cs.CL
Speech-Driven End-to-End Language Discrimination towards Chinese Dialects
Jiangxi normal university（江西师范大学）；Soochow university（苏州大学）
针对相似语言和方言鉴别难题，提出基于MFCC特征和HMM-DNN端到端模型的语音驱动方法，结合注意力机制和CNN融合词嵌入与MFCC特征，在基准语料上优于现有方法。
2026-06-18 cs.CL
Improving Voice Separation by Incorporating End-to-end Speech Recognition
Sony Corporation（索尼公司）；University of Tsukuba（筑波大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Science（印度科学学院）；Sony India Software Centre（索尼印度软件中心）
尽管最近在语音分离方法方面取得了进展，但在现实场景中仍然存在许多挑战，例如嘈杂的录音和可用数据的限制。在这项工作中，我们建议明确纳入语音和语言的性质，采取迁移学习的方法，使用端到端的自动语音识别（E2EASR）系统。语音分离的条件是从E2EASR中提取的深层特征，以覆盖语音方面的长期依赖性。在AVSpeech数据集上进行的语音分离和增强实验结果表明，该方法的信失真比优于基线模型，甚至优于利用嘴唇运动视觉信息的视听模型。
2020-05-04 cs.LG cs.SD eess.AS
OC16-CE80: A Chinese-English Mixlingual Database and A Speech Recognition Baseline
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）；SpeechOcean（海天瑞声）
OC 16-CE 80中英混合语言语音数据库是O-COCOSDA 2016上发布的中英混合语言语音识别（MixASR-CHEN）挑战赛的主要训练、开发和测试资源。该数据库由1,400多人80小时的语音信号组成，这些语音信号是汉语的，但每个语音信号都包含一个或几个英语单词。基于该数据库和另外两个免费数据源（THCHS 30和CMU词典），采用深度神经网络-隐马尔可夫模型（DNN-HMM）混合系统构建了语音识别（ASR）基线。然后，我们根据MixASR-CHEN评估规则报告了基线结果，并证明OC 16-CE 80是混合语言研究的合理数据源。
2016-09-27 cs.CL
JSPG: Dynamic Dictionary Filtering via Joint Semantic-Pinyin-Glyph Retrieval for Chinese Contextual ASR
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对中文上下文ASR中大规模关键词字典带来的噪声问题，本文提出JSPG框架，结合语义、拼音和字形特征进行联合检索，有效提升关键词识别准确率。
2026-05-16 cs.CL
DANCER: Entity Description Augmented Named Entity Corrector for Automatic Speech Recognition
National Taiwan Normal University（台湾师范大学）；E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）
针对ASR中命名实体音素混淆问题，提出融合实体描述的DANCER校正模型，结合EDA-MLM与稠密检索，在AISHELL-1和Homophone数据集上均显著降低命名实体字符错误率。
2024-04-11 cs.CL
Phonetic Feedback for Speech Enhancement With and Without Parallel Speech Data
The Ohio State University（俄亥俄州立大学）
虽然深度学习系统在语音增强研究中取得了显著进展，但这些系统尚未充分利用深度学习系统的潜力来提供高级反馈。特别是，语音反馈是罕见的语音增强的研究，即使它包括有价值的自上而下的信息。我们使用模仿损失的技术来提供语音反馈到现成的增强系统，并在CHiME-4数据上找到客观可懂度分数的增益。该技术采用在干净语音上训练的冻结声学模型来向增强模型提供有价值的反馈，即使在没有并行语音数据可用的情况下。我们的工作是第一个显示可理解性改善的神经增强系统没有并行语音数据，我们表明语音反馈可以提高一个国家的最先进的神经增强系统训练的并行语音数据。
2020-03-03 cs.CL cs.SD eess.AS
Phonetic Reconstruction of the Consonant System of Middle Chinese via Mixed Integer Optimization
Peking University（北京大学）；Cambridge University（剑桥大学）
本文提出将中古汉语辅音音值重构建模为混合整数规划问题，自动融合《广韵》同音信息与现代汉语方言语音信息，并在合成与真实数据上验证了方法的有效性和鲁棒性。
2025-07-05 cs.CL
Phonetic-enriched Text Representation for Chinese Sentiment Analysis with Reinforcement Learning
Nanyang Technological University（南洋理工大学）
汉语语音系统有两个区别于其他语言的特点：深层音位正字法和语调变化。我们是第一个认为，这两个重要的属性可以发挥重要作用，在中国的情感分析。特别地，我们提出了两个有效的特征来编码语音信息。接下来，我们开发了一个歧义消除语调情感分析（DISA）网络使用的强化网络。它的功能是为每个汉字（“音”）消除歧义。因此，学习了汉语的精确语音表示。此外，我们还融合语音特征与文本和视觉特征，以模仿人类阅读和理解中文文本的方式。在五个不同的中文情感分析数据集上的实验结果表明，语音特征的引入显著提高了文本和视觉表示的性能，并使最先进的汉字级表示脱颖而出。
2019-01-23 cs.CL cs.LG
Disentangled Phonetic Representation for Chinese Spelling Correction
Sun Yat-sen University（中山大学）；Meta AI
本文提出将语音与字符特征解耦的中文拼写纠错方法，通过拼音到字符目标和自蒸馏模块有效利用语音信息，在三个基准上取得更优效果。
2023-05-24 cs.CL
Chinese Learners' Phonetic Transfer of /i/ from Mandarin Chinese to General American English: A Case Study of a Chinese Learner with Advanced English
Teachers College, Columbia University（哥伦比亚大学教师学院）
本文从语音层面探讨语言迁移现象，着重探讨高级英语学习者在英语元音/i/及其对应元音习得中的迁移现象。本文通过对中国英语学习者Vanya在普通美国英语中是否能准确区分/i/和其lax对应词，并准确发音的研究，为进一步研究中国英语学习者之间的语言迁移提供参考。有两个目标：首先，研究学习者区分元音/i/和其宽松对应物的感知能力; 2其次，确定语音迁移的效果。两个感知测试和生产测试被用来实现这两个目标。两次感知测试的结果证明了Vanya区分/i/和其宽松对应物的感知能力，为后续生产测试的有效性奠定了坚实的基础。考虑到Vanya的/i/的F1和F2值在他的第一语言（汉语普通话）和第二语言（GAE）中高度相似，并且这两个值都低于GAE中常见/i/的典型值，F2值之间的差异特别突出，可以合理地得出发生语音迁移的结论。参与者的高知觉能力作为一个先进的水平ELL并没有显着缓和语音迁移的效果。
2022-10-20 cs.CL
English-to-Chinese Transliteration with Phonetic Back-transliteration
音译是基于语音相似性将命名实体从一种语言翻译成另一种语言的任务。近年来，这项任务采用了深度学习方法，但大多数都忽略了所涉及语言的语音特征。在这项工作中，我们以两种方式将语音信息纳入神经网络：我们使用前向和反向翻译但以语音方式合成额外数据;并且在学习音译之前，我们对语音任务进行预训练模型。我们的实验包括三个语言对和六个方向，即英语和汉语，希伯来语和泰语。结果表明，我们提出的方法带来的好处，该模型，并实现更好或类似的性能相比，最先进的。
2022-01-21 cs.AI cs.CL
Phonetic Segmentation of the UCLA Phonetics Lab Archive
University of Zurich（苏黎世大学）；University of Ljubljana（卢布尔雅那大学）；University of Neuchâtel（纳沙泰尔大学）；University of Miami（迈阿密大学）
本文提出VoxAngeles语料库，基于UCLA语音学实验室档案的95种语言数据，提供经审核的音标转写、音素级对齐及语音测量，以促进定量语音类型学和低资源语音技术研究。
2024-03-28 cs.CL cs.SD eess.AS
