Variational Autoencoder for Personalized Pathological Speech Enhancement
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文针对混合 VAE-NMF 语音增强模型在帕金森病病理语音上的泛化差距，提出用每位说话人数秒干净语音微调预训练模型，实现性能可比的个性化增强。
2025-03-18 cs.SD eess.AS
Suppressing Noise Disparity in Training Data for Automatic Pathological Speech Detection
Idiap Research Institute（Idiap研究所）
本文针对病理语音检测中训练数据噪声分布不一致导致模型学习噪声特征的问题，提出利用跨组噪声估计进行数据增强以统一噪声特性，实验证明该方法能有效引导模型关注病理判别线索。
2024-09-02 cs.SD eess.AS
Exploring In-Context Learning Capabilities of ChatGPT for Pathological Speech Detection
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文研究在少样本上下文学习设置下使用 ChatGPT-4o 进行自动病理语音检测，发现该方法不仅性能出色，还能提供决策解释增强可解释性，并通过消融研究分析了输入类型和系统提示等因素的影响。
2025-03-31 cs.SD eess.AS
Robust and Complex Approach of Pathological Speech Signal Analysis
Brno University of Technology（布尔诺理工大学）；Masaryk University（马萨里克大学）；Universidad Politecnica de Madrid（马德里理工大学）；St. Anne’s University Hospital（圣安妮大学医院）；Central European Institute of Technology（中欧理工学院）
本文提出了一种研究的方法，在国家的最先进的领域的病理语音信号分析，特别侧重于参数化技术。它提供了92个语音特征的描述，其中一些特征已经在该科学领域中广泛使用，而另一些特征尚未尝试（它们来自语音信号处理的不同领域，如语音识别或编码）。作为一个原创性的贡献，这项工作介绍了36个全新的病理语音调制谱，下丘系数，倒双谱，样本和近似熵和经验模式分解的基础上的措施。这些功能的意义进行了测试3（英语，西班牙语和捷克语）病理语音数据库的分类准确性，灵敏度和特异性。
2022-03-17 cs.SD eess.AS
Generalizability of Predictive and Generative Speech Enhancement Models to Pathological Speakers
本文针对病态语音增强性能下降问题，比较从头训练、微调预训练模型和说话者个性化三种策略，发现多病态说话者数据微调效果最佳，为提升病态语音SE性能提供了可行方向。
2025-09-23 eess.AS
Disentangled Latent Speech Representation for Automatic Pathological Intelligibility Assessment
Ludwig-Maximilians University（路德维希-马克西米利安大学）
语言清晰度评估在病理性语言障碍患者的治疗中起着重要的作用。自动和客观的措施是可取的，以协助治疗师在其传统的主观和劳动密集型的评估。在这项工作中，我们研究了一种新的方法来获得这样一个措施，使用的分歧解开潜在的语音表示的平行话语对，从一个健康的参考和病理扬声器。在脑瘫患者的英语数据库上进行的实验，使用每个说话者的所有可用话语，显示出与主观可懂度测量的高且显著的相关值（R = -0.9），而在四个不同的参考说话者对之间仅具有最小的偏差（± 0.01）。我们还证明了所提出的方法的鲁棒性（R = -0.89偏差+-0.02超过1000次迭代），考虑每个扬声器的话语量显着减少。我们的研究结果是第一个表明，解开的语音表示可以用于自动病理语音可懂度评估，从而在一个参考扬声器对不变的方法，适用于只有几个可用的话语的情况。
2022-06-27 cs.CL cs.LG cs.SD
Multiview Canonical Correlation Analysis for Automatic Pathological Speech Detection
Idiap Research Institute（Idiap研究所）
针对自动病理语音检测中输入表示含无关信息影响分类的问题，提出在检测前使用多视图典型相关分析（MCCA）消除不相关信息，结合传统分类器即可达到或超越复杂架构性能且具可解释性。
2024-09-13 cs.LG cs.SD eess.AS
Glottal Closure Instants Detection From Pathological Acoustic Speech Signal Using Deep Learning
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
本文提出了一种基于分类的声门闭合时刻（GCI）检测从病理声学语音信号，发现许多应用在声乐障碍分析。迄今为止，用于病理性疾病的GCI是从电声门描记器记录的喉（声门源）信号中提取的，电声门描记器是一种专门设计用于测量喉部周围声带振动的设备。我们创建了一个病理数据集，其中包括同时记录的声门源和声学语音信号的六种不同的疾病，从声乐障碍患者。GCI位置被手动注释用于无序分析和监督学习。提出了一种基于卷积神经网络的GCI检测方法，该方法融合了深度语音和线性预测残差特征，实现了稳健的GCI检测。实验结果表明，该方法明显优于现有的GCI检测方法。
2018-11-25 cs.LG cs.SD eess.AS
Data Augmentation for Pathological Speech Enhancement
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对帕金森病患者的病理语音，系统研究了变换、生成和噪声三类数据增强策略，发现噪声增强效果最稳健，变换增强中等，生成增强有限甚至有害，且数据增强对预测性语音增强模型更有效。
2026-05-22 eess.AS
Speech foundation models in healthcare: Effect of layer selection on pathological speech feature prediction
Mayo Clinic（梅奥诊所）
本研究探索语音基础模型迁移学习中层选择对病理性语音特征预测的影响，发现最优层可显著提升性能但泛化性有限，而学习加权和方法兼顾了分布内性能与分布外泛化能力。
2024-06-21 cs.CL cs.LG eess.AS
Geometric Analysis of Speech Representation Spaces: Topological Disentanglement and Confound Detection
Networked Sensing \& Biomedical Engineering (NSBE) Research lab, School of Engineering
本文提出四指标聚类框架，评估语音特征在多语言环境中的几何解缠与混淆检测，为构建公平可靠的语音健康系统提供指导。
2026-02-24 cs.SD eess.AS
Selfsupervised learning for pathological speech detection
Idiap Research Institute（伊迪亚普研究所）
针对病理语音检测中数据稀缺和诊断主观性问题，本文探讨了利用 wav2vec2 等自监督学习嵌入从音频提取丰富表示，以提升自动检测性能的潜在解决方案。
2024-05-16 cs.LG cs.SD eess.AS
Enhancing Pathological Speech through Articulatory Bottlenecks
本文提出一种通过残差映射器干预发音对齐潜在空间的方法，在保留说话人和韵律信息的同时增强构音障碍语音，并验证了显式发音监督优于无监督表征。
2026-10-06 eess.AS
Multi-class Detection of Pathological Speech with Latent Features: How does it perform on unseen data?
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Intel Labs（英特尔研究院）
本研究利用预训练 wav2vec 2.0 的潜在表示，结合神经网络、大间隔分类器和树提升机区分四种病理语音，在噪声和未见数据下展现出强鲁棒性与高 F1 分数。
2023-08-01 cs.SD eess.AS
Design, construction and evaluation of emotional multimodal pathological speech database
Taiyuan University of Technology（太原理工大学）；Newcastle University（纽卡斯尔大学）；Taiyuan Hospital（太原医院）；Taiyuan Central Hospital（太原中心医院）
针对构音障碍患者情感表达研究缺乏可用情感病理数据库的问题，构建了首个中文多模态情感病理语音数据库，通过主客观分析验证了数据库有效性，揭示了疾病对情感表达的影响。
2023-12-14 cs.AI cs.SD eess.AS
Anonymising Elderly and Pathological Speech: Voice Conversion Using DDSP and Query-by-Example
Otto-von-Guericke-University（奥托·冯·格里克大学）；University of Birmingham（伯明翰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出DDSP-QbE语音转换方法，结合可微分数字信号处理与示例查询，通过解耦语言、韵律和领域表征，在保持语音质量和匿名性的同时，显著提升老年及病理语音的可懂度、韵律和领域保留效果。
2024-10-20 cs.AI cs.SD eess.AS
AP-GRPO: Anchor-Gated Phonetic Alignment with Policy Optimization for Pathological Speech Reconstruction
University of California Irvine（加州大学尔湾分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Kennesaw State University（肯尼索州立大学）
针对神经退行性和神经运动障碍患者的病理语音，提出AP-GRPO框架，通过锚定门控奖励和语音对齐奖励优化语音语言模型，实现忠实重建，并揭示疾病特异性模式。
2026-06-16 cs.AI cs.MM cs.SD
The effect of speech pathology on automatic speaker verification -- a large-scale study
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；University Hospital RWTH Aachen（亚琛工业大学医院）；Ludwig-Maximilians-Universität München（路德维希-马克西米利安-慕尼黑大学）
本研究利用包含3800名受试者的大型真实病理语音语料库，采用深度学习ASV方法，发现病理语音总体比健康语音面临更高的隐私泄露风险，且病理多样性可提升ASV性能。
2023-11-22 cs.LG cs.SD eess.AS
Weakly Supervised Phonological Features for Pathological Speech Analysis
本文提出一种弱监督方法，利用ASR模型中的可解释帧级音韵特征瓶颈层，用于病理语音分析，在可懂度预测和病理分类上达到与最先进特征相当的性能，且特征文本独立、可解释性强。
2025-09-24 eess.AS
Representation Learning Strategies to Model Pathological Speech: Effect of Multiple Spectral Resolutions
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University of Antioquia UdeA（安蒂奥基亚大学（UdeA））
本文考虑了一种表示学习策略，从帕金森氏病和唇腭裂患者的语音信号建模。特别是，它比较了不同的参数化表示类型，如宽带和窄带频谱图，和基于小波的尺度图，量化每个的表示能力的目标。量化方法包括所提出的模型对不同病理和相关疾病严重程度进行分类的能力。此外，本文提出了一种新的融合策略，称为多光谱融合，结合宽带和窄带光谱分辨率使用表示学习策略的基础上自动编码器。所提出的模型能够对帕金森病患者的语音进行分类，准确率高达95%。所提出的模型也能够评估帕金森病患者构音障碍的严重程度，Spearman相关性高达0.75。这些结果优于文献中观察到的相同的问题，解决了相同的语料库。
2022-09-17 cs.SD eess.AS q-bio.QM
Overview of Automatic Speech Analysis and Technologies for Neurodegenerative Disorders: Diagnosis and Assistive Applications
本文综述了神经退行性疾病语音分析的最新技术，涵盖检测、识别、增强与评估，并展望了多模态及大语言模型的未来方向。
2025-08-06 eess.AS
Exploring Pathological Speech Quality Assessment with ASR-Powered Wav2Vec2 in Data-Scarce Context
LIA, Avignon Université（阿维尼翁大学计算机科学与人工智能实验室）；Aix-Marseille Univ, LPL, CNRS（艾克斯-马赛大学、言语与语言实验室、法国国家科学研究中心）；IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3（图卢兹大学、法国国家科学研究中心、图卢兹国立理工学院、图卢兹第三大学、图卢兹计算机科学研究所）；IUC Toulouse, CHU Toulouse（图卢兹大学癌症研究所、图卢兹大学中心医院）；Laboratoire de NeuroPsychoLinguistique, UR 4156, Université de Toulouse（图卢兹大学神经心理语言学实验室）
本文提出在数据稀缺条件下利用ASR驱动的预训练Wav2Vec2在音频层面进行病理语音质量评估，在HNC数据集上仅用95个样本即取得优于现有方法的结果，揭示了ASR与语音质量评估之间的强相关性。
2024-03-29 cs.CL cs.LG cs.SD
Continuous Speech for Improved Learning Pathological Voice Disorders
Far Eastern Memorial Hospital（远东纪念医院）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Yuan Ze University（元智大学）
目的：许多研究已经成功地区分了正常和异常的声音样本。然而，很少尝试进一步分类。本研究提出了一种新的方法，使用连续的普通话语音，而不是一个单一的元音，分类四种常见的语音障碍（即功能性发声障碍，肿瘤，phonotrauma，声带麻痹）。研究方法：在该框架中，声信号被转换为梅尔倒谱系数，并采用双向长短期记忆网络（BiLSTM）对序列特征进行建模。实验是在一个大规模的数据库中进行的，其中一家医院的语音诊所从2012年到2019年收集了1,045个连续语音。结果如下：实验结果表明，所提出的框架产生显着的准确率和未加权平均召回率分别为78.12-89.27%和50.92- 80.68%，与使用单个元音的系统相比。结论：结果与其他机器学习算法一致，包括门控递归单元，随机森林，深度神经网络和LSTM。还分析了每种疾病的敏感性，并通过主成分分析可视化模型功能。基于平衡数据集的替代实验再次证实了使用连续语音学习语音障碍的优势。
2022-02-22 cs.AI cs.SD eess.AS
Supervised Speech Representation Learning for Parkinson's Disease Classification
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
最近提出的自动病理语音分类技术使用无监督的自动编码器，以获得一个高层次的抽象表示的语音。由于这些表示是基于重建输入来学习的，因此不能保证它们对诸如说话者身份信息之类的与病理无关的线索是鲁棒的。此外，这些表示对于病理检测不一定是有区别的。在本文中，我们利用监督自动编码器提取强大的和歧视性的语音表示帕金森氏病分类。为了减少与病理学无关的说话人变量的影响，我们建议通过对抗训练自动编码器和说话人识别任务来获得说话人身份不变的表示。为了获得有区别的表示，我们建议联合训练自动编码器和病理语音分类器。在西班牙语数据库上的实验结果表明，所提出的监督表示学习方法产生更强大的和歧视性的表示自动分类帕金森氏病的语音，优于基线无监督表示学习系统。
2021-07-21 cs.SD eess.AS
Significance of Data Augmentation for Improving Cleft Lip and Palate Speech Recognition
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；Indian Institute of Technology Dharwad（印度理工学院达尔瓦德分校）；Fortemedia Singapore（新加坡富迪科技）
由于各种原因，病理性语音的自动识别，特别是任何发音障碍的儿童，是一项具有挑战性的任务。缺乏可用的领域特定数据是阻碍其用于针对病理说话者的不同基于语音的应用的一个这样的障碍。为了应对这一挑战，在这项工作中，我们研究了一些数据增强技术来模拟训练数据，以提高儿童语音识别，考虑到唇腭裂（CLP）语音的情况。在这项研究中探索的增强技术，包括声道长度扰动（VTLP），混响，说话速率，音高修改和语音特征修改使用周期一致的对抗网络（CycleGAN）。我们的研究发现，数据增强方法显着提高了CLP语音识别的性能，这是更明显的，当我们使用特征修改CycleGAN，VTLP和混响为基础的方法。更具体地说，从这项研究的结果表明，我们的系统产生一个改进的电话错误率相比，没有数据增强的系统。
2021-10-02 cs.SD eess.AS
Improving severity preservation of healthy-to-pathological voice conversion with global style tokens
Nagoya University（名古屋大学）；Netherlands Cancer Institute（荷兰癌症研究所）
针对健康到病理语音转换中身份转换易损失病理严重程度的问题，本文引入 PPG 与 GST 改进两阶段框架，并构建同身份平行病理/健康语音数据集，验证其可同时保持严重程度并建模目标音色。
2023-10-04 cs.SD eess.AS
Exploiting Speech LLM Representations for Multilingual and Cross-Lingual Parkinson's Disease Detection
Kyoto University（京都大学）
本文研究语音大语言模型内部表示用于多语言和跨语言帕金森病检测，发现编码器表示优于解码器，并提出基于挤压-激励的动态层聚合框架以提升检测性能。
2026-09-15 cs.SD eess.AS
Probing Whisper for Dysarthric Speech in Detection and Assessment
TU Delft, the Netherlands（代尔夫特理工大学）；King's College London, UK（伦敦国王学院）
本研究针对构音障碍语音的检测与评估任务，对Whisper-Medium编码器进行逐层探测分析，发现中间13-15层信息量最高，微调仅带来小幅变化，提升了模型可解释性并为病理语音应用提供指导。
2025-10-05 cs.SD eess.AS
Quantifying Dimensional Independence in Speech: An Information-Theoretic Framework for Disentangled Representation Learning
NSBE Research Lab, School of Engineering（NSBE研究实验室，工程学院）
提出信息论框架，通过有界神经互信息估计与非参数验证量化手工声学特征中的跨维度统计依赖性，发现跨维度互信息低，源-滤波器互信息高，归因分析显示情感维度源主导，语言和病理维度滤波器主导。
2026-06-24 cs.SD eess.AS
Behavioral Analysis of Pathological Speaker Embeddings of Patients During Oncological Treatment of Oral Cancer
本文首次分析口腔癌治疗期间患者说话人嵌入，发现治疗前后嵌入显著变化且术后12个月部分恢复，同一说话人相似度接近健康者，验证中假阳性率稳定而假阴性率可变，表明嵌入既能区分他人又能捕捉治疗中的语音变化。
2023-08-12 eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络，结合会话上下文/词/语音嵌入。与传统的语音识别模型不同，我们的模型学习跨越句子的较长对话上下文信息，因此更好地识别长对话。具体地，我们提出使用基于文本的外部词和/或句子嵌入（即，fastText，BERT），从而显著改善了单词出错率，并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型，并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
端到端的声学到词语音识别模型最近得到了普及，因为它们易于训练，可以很好地扩展到大量的训练数据，并且不需要词典。此外，单词模型也可以更容易地与下游任务（例如口语语言理解）集成，因为推理（搜索）与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中，我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中，我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外，我们评估这些嵌入在语言理解任务，并观察到，我们的嵌入匹配的性能，基于文本的嵌入在管道中的第一次执行语音识别，然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的，而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据，这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕，我们表明，相同的模型架构可以成功地应用于这两种语言。此外，我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后，我们表明，这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
The Impact of Speech Anonymization on Pathology and Its Limits
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University Hospital RWTH Aachen（亚琛工业大学医院）；Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）
本研究调查语音匿名化技术对病理语音的影响，发现其能显著提升隐私保护且对诊断效用影响极小，但效果因障碍类型而异，需开发针对特定障碍的定制化匿名化策略。
2024-09-20 cs.AI cs.CR cs.LG
Towards objective and interpretable speech disorder assessment: a comparative analysis of CNN and transformer-based models
Avignon University（阿维尼翁大学）；Aix-Marseille Univ（艾克斯-马赛大学）；Toulouse University（图卢兹大学）；Toulouse Hospital（图卢兹医院）
针对头颈癌患者病理性言语评估的主观性问题，提出基于自监督 Wav2Vec2 的音素分类模型，并通过多语料库实验证明其优于 CNN 基线且与感知评估相关，为可解释的临床言语分析提供支持。
2024-06-07 cs.LG cs.SD eess.AS
SEAL: Speech Embedding Alignment Learning for Speech Large Language Model with Retrieval-Augmented Generation
SenseTime Research（商汤科技研究院）
SEAL通过统一的语音和文本嵌入框架，提升语音大语言模型的检索效率与准确性，减少延迟并增强多模态检索能力。
2025-12-10 cs.CL cs.SD eess.AS
Compositional embedding models for speaker identification and diarization with simultaneous speech from 2+ speakers
Worcester Polytechnic Institute (WPI)（伍斯特理工学院（WPI））
我们提出了一种新的说话人日志化方法，可以处理重叠语音与2+人。我们的方法是基于合成嵌入[1]：像标准的说话人嵌入方法，如x向量[2]，合成嵌入模型包含一个函数f，它将语音从不同的说话人中分离出来。此外，它们包括合成函数g以计算嵌入空间中的集合并运算，以便推断输入音频内的扬声器集合。在使用合成LibriSpeech数据进行多人说话人辨识的实验中，所提出的方法优于传统的嵌入方法，传统的嵌入方法只训练分离单个说话人（而不是说话人集）。在AMI Headset Mix语料库上的扬声器日志化实验中，我们实现了最先进的准确率（DER=22.93%），略高于之前的最佳结果（来自[3]的23.82%）。
2021-02-10 cs.CL cs.SD eess.AS
Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion
Human-Computer Communications Laboratory（人机通信实验室）；The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（SpeechX有限公司）；University of Cambridge（剑桥大学）
虽然典型语音的语音转换（VC）已经取得了显著的进展，但是对于非典型语音的VC，例如，构音障碍和第二语言（L2）语音仍然是一个挑战，因为它涉及在保持说话者身份的同时纠正非典型韵律。为了解决这个问题，我们提出了一个具有显式韵律建模和深度说话人嵌入（DSE）学习的VC系统。首先，语音编码器努力从非典型语音中提取鲁棒的音素嵌入。第二，韵律校正器接收音素嵌入以推断典型的音素持续时间和音高值。第三，转换模型将音素嵌入和典型韵律特征作为输入以生成转换后的语音，条件是通过扬声器编码器或扬声器自适应学习的目标DSE。大量的实验表明，说话人自适应可以实现更高的说话人相似度，和说话人编码器为基础的转换模型，可以大大减少构音障碍和非母语发音模式，提高语音可懂度。对构音障碍语音和转换语音的语音识别结果的比较表明，该方法可以实现47.6%的字符错误率（CER）和29.3%的单词错误率（WER）的绝对降低。
2021-06-17 cs.CL cs.SD eess.AS
Homophone Reveals the Truth: A Reality Check for Speech2Vec
Renmin University of China（中国人民大学）
生成具有语义信息的口语词嵌入是一个有趣的话题。与基于文本的嵌入相比，它们涵盖了语音和语义特征，可以提供更丰富的信息，并可能有助于改善ASR和语音翻译系统。在本文中，我们回顾和研究在这一领域的开创性工作的真实性：Speech 2 Vec。首先，提出了一种基于同音字的检测方法来检测Speech 2 Vec作者发布的语音嵌入。没有迹象表明这些嵌入是由Speech 2 Vec模型生成的。此外，通过对词汇组成的进一步分析，我们怀疑基于文本的模型制造了这些嵌入。最后，我们复制Speech 2 Vec模型，参考原始文件中的官方代码和最佳设置。实验表明，该模型未能学习到有效的语义嵌入。在词相似度基准测试中，MEN和WS-353-SIM测试中的相关性得分分别为0.08和0.15，比原始论文中描述的相关性得分低0.5以上。我们的数据和代码是可用的。
2022-09-23 cs.CL cs.SD eess.AS
Dynamic Prosody Generation for Speech Synthesis using Linguistics-Driven Acoustic Embedding Selection
在考虑孤立句子时，文本到语音（TTS）的最新进展已经提高了接近人类能力的质量和自然度。但是，要实现类似人类的交流，仍然缺乏的是人类语言的动态变化和适应性。本文试图解决在TTS系统中实现更加动态和自然的语调的问题，特别是对于诸如新闻播音员讲话风格的文体讲话。我们提出了一种新的嵌入选择方法，它利用语言信息，利用训练数据集中存在的语音变异性。我们分析了语义和句法特征的贡献。我们的实验结果表明，该方法提高了韵律和自然的复杂话语，以及在长形式阅读（LFR）。
2020-11-18 cs.CL cs.SD eess.AS
Unspeech: Unsupervised Speech Context Embeddings
我们介绍了“非语音”嵌入，这是基于无监督学习的上下文特征表示的口语。通过使用基于负采样的上下文和非上下文歧视的直接学习目标，在长达9500小时的抓取英语语音数据上对嵌入进行了训练，而没有transmittance或扬声器信息。我们使用Siamese卷积神经网络架构来训练Unspeech嵌入，并在说话人比较，话语聚类以及在TED-LIUM上训练的TDNN-HMM声学模型中作为上下文特征对其进行评估，将其与i向量基线进行比较。特别是从最近发布的普通语音语料库中解码域外语音数据显示出一致的WER降低。我们在许可的开源许可下发布我们的源代码和预训练的Unspeech模型。
2018-08-23 cs.CL cs.SD eess.AS
A Unified Deep Speaker Embedding Framework for Mixed-Bandwidth Speech Data
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）；Sun Yat-sen University（中山大学）
本文提出了一个统一的深度说话人嵌入框架，用于对不同采样率的语音数据进行建模。将窄带频谱图作为宽带频谱图的子图像，以图像分类的方式解决混合带宽数据的联合建模问题。从这个角度出发，我们阐述了几种不同的训练和测试数据场景下的混合带宽联合训练策略。所提出的系统能够灵活地处理混合带宽的语音数据在一个单一的扬声器嵌入模型，没有任何额外的下采样，上采样，带宽扩展，或填充操作。我们对VoxCeleb1数据集进行了广泛的实验研究。此外，所提出的方法的有效性进行了验证，通过SITW和NIST SRE 2016数据集。
2020-12-01 cs.CL cs.SD eess.AS
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
最近的研究表明，从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发，在本文中，我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐，这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间，并尝试通过对抗训练来对齐这两个空间，然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译，这两项任务的结果表明，我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别（ASR）和语音到文本翻译系统特别有用，这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型，但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Sequence-to-sequence Automatic Speech Recognition with Word Embedding Regularization and Fused Decoding
National Taiwan University（台湾大学）；University of California, San Diego（加州大学圣地亚哥分校）
在本文中，我们调查的好处，现成的词嵌入可以带来的序列到序列（seq-to-seq）自动语音识别（ASR）。我们首先通过最大化变换的解码器特征和目标词嵌入之间的余弦相似性来引入词嵌入正则化。在正则化译码器的基础上，进一步提出了融合译码机制。这允许解码器在解码期间通过吸收由经变换的解码器特征携带的信息来考虑语义一致性，所述经变换的解码器特征被学习为接近目标词嵌入。LibriSpeech上的初步结果表明，预训练的词嵌入可以显著降低ASR识别错误，成本可以忽略不计，并且在Skip-gram，CBOW和BERT中选择词嵌入算法很重要。
2020-02-05 cs.CL cs.SD eess.AS
Enhancing dysarthria speech feature representation with empirical mode decomposition and Walsh-Hadamard transform
Taiyuan University of Technology（太原理工大学）；Newcastle University（纽卡斯尔大学）；Peking University First Hospital（北京大学第一医院）
提出WHFEMD构音障碍语音特征增强算法，结合EMD和FWHT提取病理特征，在UA Speech和TORGO数据库上分类性能显著提升，并有效解决数据不平衡问题。
2023-12-30 cs.AI eess.AS eess.SP
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories（NTT人类信息学研究所）；NTT Corporation（NTT公司）
本文提出一种基于语音节奏的说话人嵌入提取方法，通过音素及其时长建模目标说话人特征，实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University（国立台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到，人类婴儿开始学习语言的声音，少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中，只有200个注释的口语单词和一个小时的语音数据没有注释，给出了27.5%的单词准确率，这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
Multilingual and crosslingual speech recognition using phonological-vector based phone embeddings
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
语音特征（PF）的使用潜在地允许特定语言的音素在训练中保持链接，这对于用于低资源语言的多语言和跨语言语音识别方法的信息共享是非常期望的。以前的方法在使用语音特征时的缺点是，以自底向上的方式提取声学到PF本身是困难的。在本文中，我们建议将音位驱动的音素嵌入（自上而下）和基于深度神经网络（DNN）的声学特征提取（自下而上）结合起来，以计算音素概率。这种新方法被称为JoinAP（Joining of Acoustics and Phonology）。值得注意的是，语音识别不需要从声学特征到音位特征的反演。对于IPA（International Phonetic Alphabet）表中的每个音素，我们将其音素特征编码为一个音素向量，然后对该音素向量进行线性或非线性变换，得到音素嵌入。在CommonVoice数据集（德语、法语、西班牙语和意大利语）和AISHLL-1数据集（普通话）上进行了一系列多语种和跨语种（包括zero-shot和Few-Shot）语音识别实验，证明了非线性音素嵌入的JoinAP方法优于线性音素嵌入的JoinAP方法和传统的平面音素嵌入方法。
2021-10-30 cs.CL cs.SD eess.AS
DSE-TTS: Dual Speaker Embedding for Cross-Lingual Text-to-Speech
Shanghai Jiao Tong University（上海交通大学）
本文提出DSE-TTS框架，通过双说话人嵌入分别学习语言风格和模仿音色，显著提升了跨语言语音合成的母语感与说话人相似度。
2023-06-25 cs.CL cs.SD eess.AS
Learning Nigerian accent embeddings from speech: preliminary results based on SautiDB-Naija corpus
AI Saturdays Lagos（拉各斯AI星期六）；Niger-Volta Language Technologies Institute（尼日尔-沃尔特语言技术研究所）
本文介绍了与SautiDB-Naija，一个新的语料库的非母语（L2）尼日利亚英语语音的基础工作。我们描述了语料库是如何创建和策划的，以及口音分类和学习尼日利亚口音嵌入的初步实验。语料库的初始版本包括来自尼日利亚语言的L2英语使用者的900多个录音，如约鲁巴语，伊博语，江户语，Efik-Ibibio和Igala。我们进一步展示了如何对wav 2 vec这样的预训练模型进行微调，以产生适合相关语音任务（如口音分类）的表示。SautiDB-Naija已发布给Zenodo，以灵活的知识共享许可证进行一般使用。
2021-12-12 cs.CL cs.SD eess.AS
Attentive Merging of Hidden Embeddings from Pre-trained Speech Model for Anti-spoofing Detection
1 Institute for Infocomm Research (I 2 R), Agency for Science, Technology；Research (A STAR), Singapore
本文研究 WavLM 分层隐藏嵌入在语音反欺骗中的作用，提出注意力合并方法，并通过微调在三个 ASVspoof 评估集上取得低 EER，且发现早期层尤为关键。
2024-06-12 cs.CL cs.SD eess.AS
Tokenwise Contrastive Pretraining for Finer Speech-to-BERT Alignment in End-to-End Speech-to-Intent Systems
The Ohio State University（俄亥俄州立大学）；IBM Research AI（IBM研究院人工智能部门）
端到端（E2E）口语语言理解（SLU）的最新进展主要是由于语音表征的有效预训练。一种这样的预训练范例是将语义知识从最先进的基于文本的模型（如BERT）升华到语音编码器神经网络。这项工作是朝着以更有效和细粒度的方式做同样的事情迈出的一步，我们在逐个令牌的基础上对齐语音嵌入和BERT嵌入。我们介绍了一种简单而新颖的技术，使用跨模态注意力机制从语音编码器中提取令牌级上下文嵌入，以便这些可以直接与基于BERT的上下文嵌入进行比较和对齐。这种对齐是使用一种新型的符号对比丢失来执行的。微调这样一个预训练的模型来直接使用语音执行意图识别，在两个广泛使用的SLU数据集上产生了最先进的性能。当使用SpecAugment进行额外的正则化微调时，我们的模型进一步改进，特别是当语音有噪声时，与以前的结果相比，绝对改进高达8%。
2022-07-01 cs.CL cs.SD eess.AS
Bootstrapping meaning through listening: Unsupervised learning of spoken sentence embeddings
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of British Columbia（不列颠哥伦比亚大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Newcastle University（纽卡斯尔大学）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
直接从语音信号中导出语义表示是一项极具挑战性的任务，但在语音挖掘和口语语言理解中有许多有用的应用。本研究探讨口语语义表征的无监督学习。通过将语音信号转换为声学单元发现产生的隐藏单元，我们提出了WavEmbed，一个多模态顺序自动编码器，预测隐藏单元从密集的语音表示。其次，我们还提出了S-HuBERT通过知识蒸馏来归纳意义，其中句子嵌入模型首先在隐藏单元上进行训练，并通过对比学习将其知识传递给语音编码器。表现最好的模型与人类判断的相关性适中（0.5~0.6），不依赖于任何标签或透明度。此外，这些模型还可以很容易地扩展，以利用语音的文本翻译来学习与人类注释密切相关的更好的语音嵌入。我们提出的方法是适用于纯粹的数据驱动的语音挖掘，索引和搜索系统的发展。
2022-10-23 cs.CL cs.SD eess.AS
