Switching divergences for spectral learning in blind speech dereverberation
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, sinc(i), UNL, CONICET, FICH（信号、系统与计算智能研究所（sinc(i)），国立滨海大学，国家科学技术研究委员会，水利科学学院）；Instituto de Matemática Aplicada del Litoral, IMAL, UNL, CONICET（滨海应用数学研究所（IMAL），国立滨海大学，国家科学技术研究委员会）；Universidad Nacional del Litoral（国立滨海大学）
当在一个封闭的房间里录制时，声音信号肯定会受到混响的影响。这不仅破坏了音频质量，还给许多使用语音作为输入的人机交互技术带来了问题。在这项工作中，提出了一种新的盲的，两阶段的去混响方法的基础上，广义β-散度作为一个保真度项在非负表示。第一阶段包括仅从观察到的频谱图学习信号的频谱结构，而第二阶段致力于模型混响。这两个步骤都是通过最小化成本函数来实现的，其中的目标是通过改变所涉及的分歧来构建字典或良好的表示。此外，还提出了一种为字典学习寻找最佳保真度参数的方法。一种算法，用于实现所提出的方法进行了描述和测试对国家的最先进的方法。结果表明，人工混响和真实录音的改善。
2018-09-19 cs.SD eess.AS
Non-negative Matrix Factorization with Linear Constraints for Single-Channel Speech Enhancement
Moscow State University（莫斯科国立大学）；STEL - Computer Systems Ltd.（STEL计算机系统有限公司）
本文研究了一种基于非负矩阵分解（NMF）的半监督单通道语音增强问题，其中只有非平稳加性噪声信号。该方法依赖于语音产生的正弦模型，该模型集成在NMF框架内，使用字典原子上的线性约束。该方法被进一步发展以正则化谐波振幅。简单的乘法算法。在含有不同类型噪声的TIMIT语料库上进行了实验评价。它已被证明，所提出的方法优于一些国家的最先进的噪声抑制技术的信噪比。
2013-09-24 cs.CL cs.SD
A Sparsity-promoting Dictionary Model for Variational Autoencoders
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
构建概率深度生成模型中的潜在空间，例如，变分自编码器（VAE）对于产生更有表现力的模型和可解释的表示以及避免过拟合是重要的。实现该目标的一种方式是对潜变量施加稀疏约束，例如，通过拉普拉斯先验然而，这样的方法通常使训练阶段复杂化，并且它们牺牲重建质量来提高稀疏性。在本文中，我们提出了一个简单而有效的方法来构建潜在的空间，通过稀疏促进字典模型，它假设每个潜在的代码可以写为字典的列的稀疏线性组合。特别是，我们利用了一种计算效率高且无需调谐的方法，该方法依赖于具有可学习方差的零均值高斯潜在先验。我们推导出一个变分推理方案来训练模型。语音生成建模的实验表明，所提出的方法比竞争技术的优势，因为它促进了稀疏性，而不会恶化输出语音质量。
2022-06-17 cs.LG cs.SD eess.AS
PHRASED: Phrase Dictionary Biasing for Speech Translation
Microsoft USA（微软公司）
针对语音翻译中短语稀少且难译的问题，提出PHRASED短语词典偏置方法，并在流式转导器模型与多模态大语言模型上验证，显著提升短语翻译与召回表现。
2025-06-10 cs.AI cs.CL cs.SD
Audio Inpainting via $\ell_1$-Minimization and Dictionary Learning
Acoustic Research Institute Austrian Academy of Sciences Vienna, Austria
音频修复是指旨在恢复音频信号中丢失或损坏的连续样本的信号处理技术。先前的工作已经表明，具有适当加权的$\ell_1$最小化能够解决音频修复问题，无论是对于分析模型还是合成模型。这些模型假设音频信号相对于某些冗余字典是稀疏的，并利用这种稀疏性来进行修复。在稀疏性框架内，我们利用字典学习来进一步增加稀疏性，并将其与适用于音频修复的加权$\ell_1$最小化相结合，以补偿恢复后间隙内的能量损失。实验结果表明，该方法在信噪比（SDR）和客观差异等级（ODG）方面优于原方法。
2022-02-15 cs.SD eess.AS
Adaptive dictionary based approach for background noise and speaker classification and subsequent source separation
Indian Institute of Science（印度科学院）
字典学习方法，块稀疏性和源恢复算法的明智的组合，用于在一个分层的方式来识别噪声和扬声器从嘈杂的两个人之间的对话。使用来自两个说话者的语音来模拟对话，每个说话者具有不同的背景噪声，具有变化的SNR值，低至-10 dB。从TIMIT数据库中随机选择的男性和女性扬声器以及NOISEX数据库中的所有噪声源各十个用于模拟。对于说话人辨识，使用恢复的权重的相对值来选择假定包含语音的测试数据的适当小的子集。这种使用不同量的测试数据的新颖选择导致在SNR为0 dB时说话人识别率提高约15%。使用字典的估计扬声器和噪声的语音和噪声分离，并实现了高达10%的改善的信号失真比在SNR为0 dB。基于K中心点和余弦相似度的字典学习方法可以更好地识别背景噪声和说话人。实验还进行的情况下，无论是背景噪声或扬声器是一组训练的字典之外。在这种情况下，自适应字典学习导致与完整字典的另一种情况相当的性能。
2016-10-28 cs.SD
Training-Free Contextual ASR via SpeechLLM-Based Error-Aware Selective Retrieval
Hitachi, Ltd., Research & Development Group（株式会社日立制作所研发集团）；Hitachi Advanced Systems Corporation（日立先进系统株式会社）
提出无训练上下文ASR框架，利用SpeechLLM定位错误跨度并选择性检索术语，减少词典查询并提升多领域识别性能。
2026-09-28 cs.SD eess.AS
Transcript-Prompted Whisper with Dictionary-Enhanced Decoding for Japanese Speech Annotation
Baidu Inc.（百度公司）
本文面向日语 TTS 数据集构建，提出以真实转写为条件微调 Whisper，并结合词典增强解码同步生成字素与音位、韵律标签，显著提升标注质量且合成语音自然度媲美人工标注。
2025-06-09 cs.CL cs.SD eess.AS
Pronunciation Dictionary-Free Multilingual Speech Synthesis by Combining Unsupervised and Supervised Phonetic Representations
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）
提出了一种结合无监督语音表示（UPR）和有监督语音表示（SPR）的多语种语音合成方法，避免了对目标语言发音词典的依赖。该方法采用预先训练好的wav 2 vec 2.0模型提取不确定性特征，采用连接主义时态分类（CTC）损失建立与语言无关的自动语音识别（LI-ASR）模型，从目标语言的音频数据中提取分段级的自动语音识别。然后，设计了一个声学模型，该模型首先从文本中分别预测UPR和SPR，然后组合预测的UPR和SPR以生成梅尔谱图。六种语言的实验结果表明，所提出的方法优于直接预测的方法，从字符或音素序列和消融模型，仅利用UPR或SPR的梅尔频谱图。
2022-06-02 cs.SD eess.AS
Subword Dictionary Learning and Segmentation Techniques for Automatic Speech Recognition in Tamil and Kannada
Indian Institute of Science（印度科学学院）；University College Mangalore（芒格洛尔大学学院）
我们提出了自动语音识别（ASR）系统泰米尔语和卡纳达语的子词建模的基础上，有效地处理无限的词汇量，由于语言的高度粘着性。我们探讨了字节对编码（BPE），并提出了一个名为扩展BPE的算法的变体，和Morfessor工具分割每个字作为子字。我们已经有效地将最大似然（ML）和Viterbi估计技术与加权有限状态转换器（WFST）的框架，在这些算法中学习的子词字典从一个大的文本语料库。使用学习的子词字典，训练数据transmits中的词被分割成子词，并且我们训练深度神经网络ASR系统，该系统识别任何给定测试语音发声的子词序列。然后，使用确定性规则对输出子字序列进行后处理，以获得最终的字序列，使得可以识别的字的实际数量要大得多。对于Tamil ASR，我们使用152小时的数据进行训练，65小时用于测试，而对于Kannada ASR，我们使用275小时进行训练，72小时用于测试。在实验不同的分割和估计技术的组合，我们发现，字错误率（WER）大幅降低相比，基线字级ASR，实现了最大的绝对WER减少6.24%和6.63%，分别为泰米尔语和卡纳达语。
2022-07-27 cs.SD eess.AS
Dictionary Update for NMF-based Voice Conversion Using an Encoder-Decoder Network
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）
提出了一种用于谱转换（SC）任务中高维数据的非负矩阵分解（NMF）字典更新方法。语音转换由于其在个性化语音合成、语音增强等方面的潜在应用而得到广泛的研究。基于样本的NMF（ENMF）是一种有效的，可能是最简单的选择，所有的技术SC，只要源-目标的平行语音语料库是给定的。基于ENMF的SC系统通常需要大量的基（样本）来保证转换后的语音质量。然而，一个小而有效的字典是可取的，但很难获得通过字典更新，特别是当高维特征，如直谱使用。因此，我们提出了一个字典更新框架NMF的编码器-解码器的重构。关于NMF作为一个编码器-解码器网络，使它能够更有效地利用整个并行语料库时，适用于SC。我们的实验表明，所提出的系统与传统的ENMF为基础的系统相同或更大的尺寸的字典小字典显着的收益。
2016-10-13 cs.LG cs.SD stat.ML
Structured Sparsity Models for Multiparty Speech Recovery from Reverberant Recordings
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们通过对混响室的声学建模来解决多方语音恢复问题。我们的方法利用结构化稀疏模型进行房间建模和语音恢复。我们提出了一个方案，用于表征房间声学从未知的竞争语音源依赖于本地化的早期图像的扬声器稀疏近似的空间频谱的虚拟源在自由空间模型。然后利用属于每个源的频谱时间分量的低秩结构对图像进行聚类。这使我们能够识别房间脉冲响应函数的早期支持及其到房间几何形状的唯一映射。为了进一步解决反射率的模糊性，我们提出了一种新的配方的混响模型和估计的吸收系数，通过凸优化利用联合稀疏模型制定的空间频谱稀疏并发语音表示。然后，通过结构化稀疏恢复或反向滤波声道，结合声学参数以分离各个语音信号。在真实数据记录上进行的实验证明了所提出的多方语音恢复和识别方法的有效性。
2012-10-25 cs.LG cs.SD
Dict-TTS: Learning to Pronounce with Prior Dictionary Knowledge for Text-to-Speech
Zhejiang University（浙江大学）；Bytedance AI Lab（字节跳动人工智能实验室）
本文提出Dict-TTS，一种结合在线词典先验知识的语义感知生成式TTS模型，通过设计的S2PA模块匹配文本与词典语义以获取准确发音，无需标注音素标签，在多语言实验中显著提升了发音准确率与韵律建模。
2023-10-19 cs.CL cs.SD eess.AS
CS reconstruction of the speech and musical signals
University of Montenegro（黑山大学）
本文研究了压缩感知方法在语音和音乐信号中的应用。压缩感知（CS）是一种新的信号采样方法，它允许从一小部分随机采集的样本中重构信号。该方法是针对信号在某一域上具有稀疏性的情况而提出的。在这里，我们观察到两个稀疏域：离散傅立叶和离散余弦变换域。此外，两种不同类型的音频信号的稀疏性和CS性能进行了分析-音乐和语音信号。在两个稀疏域中，对使用不同数量信号样本的CS重建进行了比较分析。结果表明，CS可以成功地应用于音乐和语音信号，但语音信号的观测数量方面的要求更高。此外，我们的研究结果表明，离散余弦变换域允许更好的重建使用较低数量的观察，相比，傅立叶变换域，这两种类型的信号。
2015-02-05 cs.MM cs.SD
USM-Lite: Quantization and Sparsity Aware Fine-tuning for Speech Recognition with Universal Speech Models
Google LLC（谷歌有限责任公司）；Google DeepMind（谷歌DeepMind）
本文提出 USM-Lite 微调方法，通过低位量化与 N:M 结构化稀疏感知压缩 20 亿参数通用语音模型，在仅 7.3% 相对 WER 回退下将模型压缩至 9.4% 大小。
2024-01-16 cs.SD eess.AS
On the Interplay Between Sparsity, Naturalness, Intelligibility, and Prosody in Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；National Institute of Informatics（日本国立信息学研究所）
端到端的文本到语音（TTS）模型是否过度参数化？这些模型可以被修剪到什么程度，它们的合成能力会发生什么变化？这项工作作为一个起点，探索修剪频谱预测网络和声码器。我们彻底调查稀疏性及其后续影响之间的权衡合成语音。此外，我们还探讨了TTS修剪的几个方面：微调数据量与稀疏性，TTS增强以利用未说出的文本，以及结合知识蒸馏和修剪。我们的研究结果表明，不仅是端到端的TTS模型高度prunable，而且，也许令人惊讶的是，修剪TTS模型可以产生合成语音具有相同或更高的自然度和可理解性，具有类似的韵律。我们所有的实验都是在公开的模型上进行的，这项工作的发现得到了大规模主观测试和客观测量的支持。代码和200修剪模型，以方便未来的研究在TTS的效率。
2021-10-28 cs.CL cs.SD eess.AS
Spiking and Event-driven Neuromorphic Mamba Models for Efficient Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
提出脉冲和事件驱动的神经形态Mamba模型，通过激活稀疏性提升语音识别效率，在LibriSpeech上实现超过60%的激活稀疏性且精度损失小于1%，并开发周期精确的事件驱动模拟器实现算法-硬件协同优化。
2026-05-31 cs.NE cs.SD
Dynamic Sparsity Neural Networks for Automatic Speech Recognition
University of Washington（华盛顿大学）；Google（谷歌）
在自动语音识别（ASR）中，模型修剪是一种广泛采用的技术，其减少了模型大小和延迟，以在具有资源约束的边缘设备上部署神经网络模型。然而，具有不同稀疏级别的多个模型通常需要单独训练并部署到具有不同资源规格的异构目标硬件以及具有各种延迟要求的应用程序。在本文中，我们提出了动态稀疏神经网络（DSNN），一旦训练，可以在运行时立即切换到任何预定义的稀疏配置。我们使用Google语音搜索数据在内部生产数据集上进行实验，证明了DSNN的有效性和灵活性，并表明DSNN模型的性能与单独训练的单个稀疏网络的性能相当。因此，我们经过训练的DSNN模型可以大大简化训练过程，并简化在资源受限的各种场景中的部署。
2021-02-08 cs.CL cs.LG cs.SD
Dictionary Attacks on Speaker Verification
University of Cagliari（卡利亚里大学）；Amazon（亚马逊）；New York University（纽约大学）；AGH University of Science and Technology（AGH科技大学）
在本文中，我们提出了针对说话人确认的字典式攻击-一种新的攻击向量，旨在通过机会匹配大部分说话人。我们介绍了一个通用的制定的攻击，可用于各种语音表示和威胁模型。攻击者使用对抗优化来最大化种子语音样本和代理人群之间的说话人嵌入的原始相似性。由此产生的主语音成功地匹配了未知人群中的一部分人。使用我们的方法获得的对抗波形可以在严格的决策阈值下匹配目标系统中平均69%的女性和38%的男性，该阈值被校准为产生1%的误报率。通过使用黑盒语音克隆系统的攻击，我们获得了在最具挑战性的条件下有效的主语音，并可在扬声器编码器之间传输。我们还表明，与多次尝试相结合，这种攻击对这些系统的安全性带来了更严重的问题。
2022-12-12 cs.CV cs.SD eess.AS
Statistical Beamformer Exploiting Non-stationarity and Sparsity with Spatially Constrained ICA for Robust Speech Recognition
Sogang University（西江大学）
提出一种基于非平稳拉普拉斯分布和空间约束ICA的统计波束形成算法，通过结合掩模方差与松弛零点约束提升导向矢量估计，在CHiME-4和LibriCSS数据集上验证了其在批处理和在线处理下对鲁棒语音识别的有效性。
2024-01-05 cs.SD eess.AS
Maximum Phase Modeling for Sparse Linear Prediction of Speech
University of Mons（蒙斯大学）；TCTS Lab（TCTS实验室）
线性预测（LP）是语音处理中一种普遍存在的分析方法。各种研究都集中在稀疏LP算法引入稀疏约束的LP框架。稀疏LP在与语音建模和编码相关的若干问题中已被证明是有效的。然而，所有现有的方法都假设语音信号是最小相位的。因为语音是已知的混合相位，所得到的残留信号包含一个持久的最大相位分量。本文的目的是提出一种新的技术，它结合了语音的最大相位贡献的建模，并可应用于任何滤波器表示。所提出的方法显着增加的LP残差信号的稀疏性，并在两个说明性的应用程序是有效的：语音极性检测和激励建模。
2020-06-07 cs.CL cs.SD eess.AS
SNIPER Training: Single-Shot Sparse Training for Text-to-Speech
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出 SNIPER 训练方法，通过衰减稀疏度（高初始稀疏度逐步降低）训练 TTS 模型，在 FastSpeech2 上实现更快收敛且最终性能优于稠密和恒定稀疏模型。
2024-06-01 cs.SD eess.AS
Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced Code-Switching Speech Recognition
National Taiwan Normal University（國立臺灣師範大學）
针对语码转换训练数据稀缺导致ASR模型性能骤降的问题，本文提出将语言识别信息引入ASR编码器中间层，生成隐含语言区分性的声学特征以降低语言切换混淆，提升语码转换语音识别效果。
2023-12-15 cs.CL cs.SD eess.AS
Effective and Efficient One-pass Compression of Speech Foundation Models Using Sparsity-aware Self-pinching Gates
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究理事会）
本文提出一种将剪枝与参数更新整合为单阶段的语音基础模型压缩方法，利用层级自挤压门实现细粒度神经元剪枝，在大幅降低参数量与压缩时间的同时保持极低的词错误率。
2025-05-28 cs.AI cs.SD eess.AS
Automatic Pronunciation Generation by Utilizing a Semi-supervised Deep Neural Networks
Sony Corporation（索尼公司）；ETH Zurich（苏黎世联邦理工学院）
音素或语音子词单元是现代自动语音识别系统中最常用的表示语音信号的原子单元。然而，由于以下几个原因，它们不是最佳选择：手工制作发音词典需要大量的努力，发音变化，人为错误以及方言和语言资源不足。本文提出了一种数据驱动的发音估计和声学建模方法，该方法仅利用正字法来联合估计一组子词单元和一个可靠的词典。实验结果表明，该方法基于半监督训练的深度神经网络，在TIMIT数据集上的识别性能大大优于基于音素的连续语音识别。
2016-06-15 cs.CL cs.LG cs.SD
