A Semantic Information-based Hierarchical Speech Enhancement Method Using Factorized Codec and Diffusion Model
Hithink ResearchZhejiang, China(Hithink研究院);Tsinghua University(清华大学);Electrical Engineering Department(电气工程系)
针对传统语音增强方法忽略语音语义与声学属性、复杂环境下性能下降的问题,提出基于语义信息的因子化分层语音增强方法,结合因子化解码器与扩散模型,在语音质量和嘈杂环境下的TTS性能上均优于现有SOTA基线。
2025-05-20 cs.SD eess.AS
Listen through the Sound: Generative Speech Restoration Leveraging Acoustic Context Representation
NAVER Cloud(NAVER云)
本文提出一种结合声学上下文(ACX)表示的生成式语音恢复方法,利用从CLAP模型提取并优化的环境属性嵌入,使UNIVERSE++模型能更好区分和缓解失真,显著提升了多失真条件下的恢复性能与稳定性。
2025-08-12 cs.SD eess.AS
AnCoGen: Analysis, Control and Generation of Speech with a Masked Autoencoder
Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央高等电力学院);Grenoble INP(格勒诺布尔理工学院);Télécom Paris(巴黎电信学院);Institut polytechnique de Paris(巴黎综合理工学院)
提出 AnCoGen 模型,利用掩码自编码器统一语音属性分析、可控生成与增强,并在多项语音任务中验证其有效性。
2025-01-09 cs.AI cs.SD eess.AS
Residual Tokens Enhance Masked Autoencoders for Speech Modeling
Inria at Univ. Grenoble Alpes, CNRS, LJK, France(Inria 与格勒诺布尔阿尔卑斯大学、CNRS、LJK 在法国)
RT-MAE通过引入残差可训练标记提升语音建模,增强语音重建质量与表达性,并适用于噪声抑制任务。
2026-01-27 cs.AI cs.SD
Investigating Self-supervised Pretraining Frameworks for Pathological Speech Recognition
Nagoya University(名古屋大学)
我们研究了用于自动语音识别(ASR)的病理语音数据集上的自监督预训练框架的性能。现代端到端模型需要数千小时的数据才能很好地进行训练,但只有少量的病理语音数据集是公开的。解决这个问题的一个行之有效的方法是首先在大量健康语音数据集上对模型进行预训练,然后在病理语音数据集上对其进行微调。一种新的预训练框架称为自监督学习(SSL),它只使用语音数据训练网络,在训练数据要求方面提供了更大的灵活性,并允许在预训练中使用更多的语音数据。我们研究SSL框架,如wav2vec 2.0和WavLM模型使用不同的设置,并比较它们的性能与不同的监督预训练设置,使用两种类型的病理语音,即日语electrolaryngeal和英语dysarthric。我们的研究结果表明,虽然SSL已显示出成功的最低限度的资源健康的语音,我们没有发现这是病态的语音的情况。最好的监督设置优于最好的SSL设置的13.9%的字符出错率在喉电语音和16.8%的字出错率在构音障碍的语音。
2022-06-29 cs.SD eess.AS
Investigating Effective Speaker Property Privacy Protection in Federated Learning for Speech Emotion Recognition
MonotaRO Co., Ltd.(MonotaRO公司);NICT(情报通信研究机构);Tokyo Institute of Technology(东京工业大学);University of Bremen(不来梅大学)
本文针对语音情感识别联邦学习中的属性推理攻击,提出通过分解声音属性并添加扰动来保护语音数据隐私,在保持效用的同时更有效地防止攻击。
2024-10-17 cs.SD eess.AS
Investigating the role of L1 in automatic pronunciation evaluation of L2 speech
Arizona State University(亚利桑那州立大学)
语音自动评测在语音训练和第二语言教学中起着重要的作用。该领域大量利用来自自动语音识别(ASR)的概念来量化非母语语音的发音与母语发音的接近程度。然而,众所周知,口音的形成与目标语言(L2)和说话者的第一语言(L1)的发音模式都有关。在本文中,我们建议使用两个母语声学模型,一个在L2语音上训练,另一个在L1语音上训练。我们开发了两套测量,可以从两个声学模型中提取口音的讲话。一个新的话语级特征提取方案是用来将这些测量值转换成一个固定的维度向量,这是用来作为一个统计模型的输入,以预测一个扬声器的重音。在由来自4个不同L1背景的扬声器组成的数据集上,我们表明,与仅使用L2声学模型的系统相比,所提出的系统与人类评估者的相关性得到了改善。
2018-07-04 cs.SD eess.AS
Investigating Neural Audio Codecs for Speech Language Model-Based Speech Generation
Microsoft(微软公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究在统一设置下比较多种神经音频编解码器,并将其 token 集成到并行及 AR+NAR 两类 SLM 中,揭示重建质量不必然提升生成质量,解码器与量化机制分别影响自然度和可懂度。
2024-09-06 cs.SD eess.AS
SpeechEditBench: A Bilingual Multi-Attribute Benchmark for Instruction-Guided Speech Editing
Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);AI Lab, Leibniz Research Center, Huawei(华为莱茵研究院人工智能实验室)
提出SpeechEditBench双语多属性基准,通过锚点评估协议衡量语音编辑中目标属性的修改成功与非目标属性的保持,发现现有模型在组合编辑任务上表现不佳。
2026-09-02 cs.SD eess.AS
ASR for Affective Speech: Investigating Impact of Emotion and Speech Generative Strategy
National Tsing Hua University(国立清华大学)
本文探讨情感语音与生成策略对ASR性能的影响,提出两种生成策略提升ASR在情感语音识别中的表现。
2026-01-28 eess.AS
An Attribute Interpolation Method in Speech Synthesis by Model Merging
CyberAgent, Inc.(CyberAgent公司)
本文提出一种仅通过平均基础模型参数实现语音合成属性插值的方法,无需额外模块或训练,在说话人生成和情感强度控制任务中验证了其平滑插值且保持语言内容的效果。
2024-06-30 cs.SD eess.AS
Investigating self-supervised learning for speech enhancement and separation
语音增强和分离是鲁棒语音处理的两个基本任务。语音增强抑制背景噪声,而语音分离从干扰说话人提取目标语音。尽管已经提出了大量的基于监督学习的增强和分离方法并取得了良好的性能,但将自监督学习(SSL)应用于增强和分离的研究有限。在本文中,我们评估了13个SSL上游方法的语音增强和分离下游任务。我们在Voicebank-DEMAND和Libri 2 Mix上的实验结果表明,一些SSL表示始终优于基线特征,包括短时傅里叶变换(STFT)幅度和对数梅尔滤波器组(FBANK)。此外,我们分析了现有的SSL框架难以适用于语音增强和分离的因素,并讨论了这两个任务所需的表示属性。我们的研究是包括作为官方语音增强和分离的SUPERB下游。
2022-03-15 eess.AS
Beyond Token Revision: Investigating Mask-and-Replace Diffusion for Zero-Shot Text-to-Speech
KAIST(韩国科学技术院);The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所)
本研究通过DeMaR模型探究掩码-替换扩散训练在零样本语音合成中的收益,证明其优势源于训练侧噪声增强而非推理时修订,并在LibriTTS上取得更低词错误率。
2026-10-08 cs.SD eess.AS
Controlling your Attributes in Voice
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出一种无需平行数据的语音属性控制方法,结合基于GAN的变分自编码器和两阶段语音转换模型,在保持语音质量与说话人身份的同时操控年龄和性别属性。
2025-01-03 cs.SD eess.AS
Investigating Generative Adversarial Networks based Speech Dereverberation for Robust Speech Recognition
Northwestern Polytechnical University(西北工业大学);Xiaomi(小米)
我们研究了生成对抗网络(GANs)在语音去混响中的使用,以实现鲁棒的语音识别。最近已经研究了GANs用于语音增强以去除加性噪声,但是仍然缺乏研究它们在语音去混响中的能力的工作,并且使用GANs的优点还没有完全建立。在本文中,我们对ASR中基于GAN的去混响前端的使用进行了深入的研究。首先,我们研究了不同去混响网络(GAN中的生成器)的有效性,并发现LSTM在我们的数据集中与前馈DNN和CNN相比有显著的改进。其次,在深层LSTM中进一步添加剩余连接也可以提高性能。最后,我们发现,对于GAN的成功,重要的是在训练期间使用相同的小批量数据更新生成器和训练器。此外,使用混响声谱图作为一个条件,在以前的研究中建议,可能会降低性能。总之,当在强多条件训练声学模型上进行测试时,与基线DNN去混响网络相比,我们基于GAN的去混响前端实现了14%-19%的相对CER减少。
2018-10-25 cs.CL cs.SD eess.AS
Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
Carnegie Mellon University(卡内基梅隆大学);FAU Erlangen-Nürnberg(弗赖堡大学埃尔兰根-纽伦堡分校);Universidad de Antioquia(安东尼奥基亚大学);TU Delft(代尔夫特理工大学);Fortemedia(福特媒体)
针对低资源语言构音障碍语音识别数据稀缺问题,本文微调语音转换模型生成构音障碍样语音,增强多语言ASR,在三种语言上显著优于传统方法。
2025-09-25 cs.CL cs.SD eess.AS
Investigating Polyglot Speech Foundation Models for Learning Collective Emotion from Crowds
IIIT-Delhi(印度德里印度理工学院);UPES(乌普萨拉理工学院);V.B.S.P.U(V.B.S.P.U大学);VIT(瓦拉纳西理工学院);Independent Researcher(独立研究者);L.B.R College of Engineering(L.B.R工程学院);Reliance AI
本文通过基准数据集实验证明,多语言语音基础模型在人群情感识别中优于单语言和说话人识别模型,尤其在极短音频输入下仍表现突出,为建立新基准提供了依据。
2025-09-19 cs.SD eess.AS
Boosting End-to-End Multilingual Phoneme Recognition through Exploiting Universal Speech Attributes Constraints
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);Norwegian University of Science and Technology(挪威科技大学)
本文提出利用通用发音方式和发音部位属性构建属性到音素映射约束,联合属性和音素信息进行多语言端到端音素识别,在6种语言上平均相对提升6.85%。
2023-09-16 cs.SD eess.AS
Investigating Speaker Embedding Disentanglement on Natural Read Speech
本文研究自然朗读语音中说话人嵌入的解耦程度,通过识别高说话人变异性的声学特征作为变化因素代理来量化解耦,发现标准解耦目标的改进有限但优于普通表示学习。
2023-08-08 eess.AS
Investigating self-supervised front ends for speech spoofing countermeasures
National Institute of Informatics(国立信息学研究所)
自监督语音模型是一个快速发展的研究课题,许多预训练模型已经发布并用于各种下游任务。对于语音反欺骗,大多数对抗(CM)使用信号处理算法来提取声学特征用于分类。在这项研究中,我们使用预训练的自监督语音模型作为欺骗CM的前端。我们研究了与自监督前端相结合的不同后端架构,微调前端的有效性以及使用不同预训练自监督模型的性能。我们的研究结果表明,当一个良好的预训练前端在ASVspoof 2019逻辑访问(LA)训练集上使用基于浅层或深层神经网络的后端进行微调时,所产生的CM不仅在2019 LA测试集上获得了较低的EER分数,而且在ASVspoof 2015,2021 LA和2021 deepfake测试集上的表现明显优于基线。子带分析进一步表明,CM主要使用特定频段中的信息来区分测试集中的真实和欺骗性试验。
2022-02-04 cs.SD eess.AS
A Large-Scale Probing Analysis of Speaker-Specific Attributes in Self-Supervised Speech Representations
Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong(香港中文大学电子工程系);Independent Researcher(独立研究者);School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学深圳学校数据科学系)
本研究通过大规模分析揭示了自监督语音表示中说话人特定属性的编码机制,发现大模型在深层结构中能恢复说话人身份,且中间表示更擅长捕捉动态语调。
2026-09-09 cs.SD eess.AS
Intelligibility of Speech in Noise: Investigating Contribution of Magnitude and Phase Spectra
Signal Analysis and Interpretation Laboratory, University of Southern California, Los Angeles, USA(美国南加州大学信号分析与解释实验室);National Institute of Technology, Patna, India(印度帕坦国家理工学院);Indian Institute of Technology, Jammu, India(印度朱默尔理工学院);Koneru Lakshmaiah Education Foundation, Vaddeswaram, Guntur District, Andhra Pradesh, India(安得拉邦戈塔瓦德区瓦达萨瓦拉姆康纳鲁拉克希玛伊教育基金会)
通过三个实验评估幅度谱和相位谱对噪声中辅音可懂度的贡献,发现幅度谱在干净条件下贡献更大,而相位谱在噪声条件下更鲁棒,且鼻音比擦音和近音更易受噪声影响。
2026-06-17 cs.SD eess.AS
Investigating Target Set Reduction for End-to-End Speech Recognition of Hindi-English Code-Switching Data
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
在自动语音识别领域,端到端(E2 E)系统正在快速取代传统系统。由于目标标签是直接从语音数据中学习的,因此E2 E系统需要更大的语料库来进行有效的训练。在语码转换任务的背景下,E2 E系统面临两个挑战:(i)由于涉及多种语言,目标集的扩展,以及(ii)缺乏足够大的特定领域语料库的可用性。为了应对这些挑战,我们提出了一种方法,用于减少目标标签的数量,以在有限的数据上对E2 E系统进行可靠的训练。所提出的方法的有效性已被证明在两个突出的架构,即基于CTC和基于注意力的E2 E网络。实验验证是在最近创建的印地语-英语语码转换语料库上进行的。为了对比的目的,还报告了基于全目标集的E2 E系统和混合DNN-HMM系统的结果。
2019-07-15 cs.CL cs.SD eess.AS
Investigating on Incorporating Pretrained and Learnable Speaker Representations for Multi-Speaker Multi-Style Text-to-Speech
National Taiwan University(台湾大学)
Few-Shot多说话人多风格语音克隆任务是在给定少量参考样本的情况下,合成出语音和说话风格与参考说话人相似的语音。在这项工作中,我们研究了不同的扬声器表示,并提出了集成预训练和可学习的扬声器表示。在不同类型的嵌入中,通过语音转换预训练的嵌入实现了最好的性能。FastSpeech 2模型结合了预训练和可学习的说话人表示,在Few-Shot说话人上显示出强大的泛化能力,并在ICASSP 2021 M2VoC挑战赛的单次跟踪中获得第二名。
2021-05-01 cs.LG cs.SD eess.AS
Investigating Decoder-only Large Language Models for Speech-to-text Translation
National Taiwan University(台湾大学);The Chinese University of Hong Kong(香港中文大学);AI at Meta(Meta人工智能部门)
本文提出一种仅解码器大语言模型架构,直接处理编码语音表示完成语音到文本翻译,并通过参数高效微调在 CoVoST 2 和 FLEURS 上取得无专有数据模型中的最优性能。
2024-07-03 cs.CL cs.SD eess.AS
Investigating Prosodic Signatures via Speech Pre-Trained Models for Audio Deepfake Source Attribution
IIIT-Delhi(德里印度信息技术学院);University of Tartu(塔尔图大学)
本研究探究多种SOTA语音预训练模型捕获韵律特征以用于音频深度伪造源归因的能力,发现x-vector表现最佳,并提出FINDER融合框架融合Whisper和x-vector表示,实现了SOTA性能。
2024-12-23 cs.SD eess.AS
In This Environment, As That Speaker: A Text-Driven Framework for Multi-Attribute Speech Conversion
Shenzhen International Graduate School(深圳国际研究生院)
本研究提出文本驱动的多属性语音转换框架TES-VC,可独立控制说话人音色与环境声学,通过潜在扩散建模与RBTC模块实现精准操控,实验验证其在内容保留和可控性上表现优异。
2025-06-13 cs.SD eess.AS
Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech
针对合成语音MOS评分存在的范围均等偏差问题,通过逐步聚焦高质量系统的听力测试,系统研究并量化该偏差对MOS测试的影响,为理解合成语音评估偏差提供支撑。
2023-10-07 eess.AS
Investigating accuracy of pitch-accent annotations in neural network-based speech synthesis and denoising effects
National Institute of Informatics(国立信息学研究所);KDDI Research Inc.(KDDI研究所)
我们研究了噪声语言特征对基于WaveNet声码器的神经网络的日语语音合成系统性能的影响。我们比较了一个理想的系统,使用手动校正的语言特征,包括音素和韵律信息的训练和测试集对其他几个系统,使用损坏的语言特征。主观和客观的结果表明,损坏的语言特征,特别是那些在测试集,影响了理想的系统的性能显着的统计意义上,由于训练和测试集之间的不匹配条件。有趣的是,虽然话语级图灵测试表明听众很难区分合成语音和自然语音,但它进一步表明,在训练集中向语言特征添加噪声可以部分减少失配的影响,正则化模型,并帮助系统在测试集的语言特征有噪声时表现得更好。
2018-08-02 cs.CL cs.SD eess.AS
Speaker Verification Across Ages: Investigating Deep Speaker Embedding Sensitivity to Age Mismatch in Enrollment and Test Speech
University of Eastern Finland(东芬兰大学);Institute for Advancing Intelligence, TCG CREST(TCG CREST 智能推进研究所)
该研究针对年龄不匹配对深度说话人嵌入ASV系统的影响,用VoxCeleb和LCFSH数据集在ECAPA-TDNN上测试,建立了衰老与ASV评分的量化关系,发现不同语言下衰老对不同性别说话人影响存在差异。
2023-06-13 cs.SD eess.AS
Investigating the Impact of Word Informativeness on Speech Emotion Recognition
University of Helsinki(赫尔辛基大学)
本文提出利用预训练语言模型计算的词语信息量筛选语义重要语音片段,并仅在这些片段上提取声学特征,从而有效提升语音情感识别性能。
2025-06-02 cs.CL eess.AS
Investigating Human-Model Discrepancies in Speech Quality Assessment via Acoustic and Prosodic Perturbations
Nagoya Institute of Technology, Japan(名古屋技术大学,日本);LY Corporation, Japan(LY公司,日本)
通过声学退化、韵律错误和说话人特征扰动,发现MOS预测模型对声学退化敏感,但对韵律错误不敏感,且对基频有偏见,而对语速和基频变化不敏感。
2026-06-19 cs.CL cs.LG cs.SD
Color-based Emotion Representation for Speech Emotion Recognition
College of Information Science and Engineering(信息科学与工程学院)
本文提出利用颜色属性表示情绪,通过构建回归模型和多任务学习提升语音情绪识别的性能。
2026-02-18 cs.AI cs.SD eess.AS
Beyond Speech and More: Investigating the Emergent Ability of Speech Foundation Models for Classifying Physiological Time-Series Signals
本研究探究语音基础模型在ECG等生理时间序列信号分类这一分布外任务上的泛化能力,发现多语言SFM因预训练变异性大而表现最优,证明其作为跨领域工具的潜力。
2024-10-16 eess.AS eess.SP
All I Hear is Noise: Investigating Clever Hans Effects in Clinical Speech Datasets
School of Computer Science University of Birmingham Birmingham, UK;School of Computer Science University of Sheffield Sheffield, UK
本研究系统调查五个临床语音数据集中的 Clever Hans 效应,发现仅用静音片段即可达到或超过完整音频的分类性能,揭示数据集特定混杂因素,质疑语音生物标志物的可靠性并呼吁加强方法学报告与偏差缓解。
2026-09-21 eess.AS
A Unified Neural Codec Language Model for Selective Editable Text to Speech Generation
School of Electronic Information, Wuhan University, China(武汉大学电子信息学院);Microsoft Corporation(微软公司)
SpeechEdit是一种通过选择性控制机制实现灵活属性控制的神经编码语言模型,用于可编辑的文本到语音生成。
2026-01-18 cs.SD eess.AS
Investigating the Effectiveness of Explainability Methods in Parkinson's Detection from Speech
University of Bologna(博洛尼亚大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Mila-Québec AI Institute(米拉-魁北克人工智能研究所);Concordia University(康考迪亚大学);Laval University(拉瓦尔大学);Université de Montréal(蒙特利尔大学)
本研究系统评估多种可解释性方法在基于语音的帕金森病检测中的表现,发现显著性图虽与分类器一致,但难以为领域专家提供有价值信息。
2024-11-13 cs.AI cs.LG cs.SD
An Explainable Probabilistic Attribute Embedding Approach for Spoofed Speech Characterization
University of Eastern Finland(东芬兰大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出可解释概率属性嵌入方法用于欺骗语音表征,以可解释子组件属性替代高维难解释的原始CM嵌入,结合决策树分类器,在ASVspoof2019数据集上实现与原始嵌入相当的欺骗检测性能及更优的攻击归因性能,并通过Shapley值分析了各属性贡献。
2024-09-17 cs.SD eess.AS
Exploring Universal Speech Attributes for Speaker Verification with an Improved Cross-stitch Network
本文提出利用发音方式和部位构建通用语音属性单元,并通过改进的交叉缝合多任务学习框架将其融入 x-vector 训练,在 NIST SRE10 上一致提升了说话人验证性能。
2023-05-31 eess.AS
Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model
NVIDIA(英伟达);National Taiwan University(台湾大学)
本文提出将单声道对话转换为伪立体声数据的流程,把训练数据扩展至17,600小时,并比较不同语音基础模型的离散单元,以提升口语对话生成模型性能。
2024-07-02 cs.CL cs.HC cs.SD
MSAC: Multiple Speech Attribute Control Method for Reliable Speech Emotion Recognition
Kyushu University(九州大学);Shanghai Ximalaya Technology Co Ltd(上海喜马拉雅科技有限公司);University of Alberta(阿尔伯塔大学)
本文提出统一语音情感识别框架 MSAC-SERNet 及多语音属性控制方法(MSAC),通过细粒度控制语音属性并减轻无关表示影响,在单语料库和跨语料库场景及可靠性检验中均取得优越性能。
2024-03-22 cs.AI cs.MM cs.SD
Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition
Liveperson Research Centre(Liveperson研究中心)
多语言自动语音识别(ASR)系统主要受益于低资源语言,但相对于其单语言对应物,在若干语言之间遭受性能降级。有限的研究集中在理解多语言语音识别设置中的语言行为。本文提出了一种新的数据驱动的方法来研究跨语言的声学语音相似性。该技术测量来自各种单语声学模型的后验分布与目标语音信号之间的相似性。深度神经网络被训练为映射网络,以将来自不同声学模型的分布转换为直接可比较的形式。分析发现,重叠音素集的数量不能真实地估计语言的接近程度。熵分析的建议映射网络显示,一种语言与较少的重叠,可以更适合跨语言迁移,因此更有益的多语种设置。最后,利用所提出的后验变换方法融合目标语言的单语模型。与单语对应相比,实现了~8%的相对改进。
2022-07-07 cs.CL eess.AS
Investigating self-supervised, weakly supervised and fully supervised training approaches for multi-domain automatic speech recognition: a study on Bangladeshi Bangla
Shahjalal University of Science and Technology(沙贾拉尔科技大学);University of Malta(马耳他大学);Leading University(领先大学)
本研究通过BanSpeech基准(6.52小时、13领域)评估自监督wav2vec 2.0、弱监督Whisper和全监督CNN,发现自监督跨语言预训练最优,且模型对自发语音领域识别困难。
2023-05-11 cs.CL cs.SD eess.AS
Investigating model performance in language identification: beyond simple error statistics
Nanyang Technological University(南洋理工大学);Johns Hopkins University(约翰斯·霍普金斯大学);Delft University of Technology(代尔夫特理工大学)
本文研究语言识别系统在单条录音和不同语言特征语音单元上的性能,揭示总体指标掩盖的算法偏见,并在MERLIon CCS英汉码混合儿童语音数据集上进行验证。
2023-05-30 cs.CL cs.SD eess.AS
Investigating Content-Aware Neural Text-To-Speech MOS Prediction Using Prosodic and Linguistic Features
Innoetics(伊诺提克斯公司);Samsung Electronics(三星电子);Mobile eXperience Business, Samsung Electronics(三星电子移动体验业务部门)
本研究提出在MOS预测系统中引入韵律和语言特征作为额外输入,并在SOMOS数据集上验证其有效性,结果表明该方法能提升预测分数与真实值的相关性。
2023-05-07 cs.CL cs.LG cs.SD
Investigating the Lombard Effect Influence on End-to-End Audio-Visual Speech Recognition
Imperial College London(帝国理工学院);Samsung AI Center, Cambridge(三星人工智能中心(剑桥))
最近提出了几种视听语音识别模型,其目的是在存在噪声的情况下提高仅音频模型的鲁棒性。然而,几乎所有的人都忽略了伦巴第效应的影响,即,在嘈杂的环境中说话风格的改变,目的是使讲话更容易理解,并影响讲话的声学特征和嘴唇的运动。在本文中,我们调查的影响,伦巴第效应在视听语音识别。据我们所知,这是第一个使用端到端深度架构并在看不见的扬声器上呈现结果的工作。我们的研究结果表明,适当的建模伦巴第语总是有益的。即使将相对少量的Lombard语音添加到训练集中,也可以显着改善存在嘈杂Lombard语音的真实场景中的性能。我们还表明,在文献中遵循的标准方法,其中模型在嘈杂的普通语音上进行训练和测试,提供了对仅视频性能的正确估计,并且略微低估了视听性能。在仅音频方法的情况下,对于高于-3dB的SNR,性能被高估,而对于较低的SNR,性能被低估。
2019-07-09 cs.CV eess.AS eess.IV
Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling
Innoetics, Samsung Electronics(Innoetics,三星电子);Mobile eXperience Business, Samsung Electronics(移动体验业务部门,三星电子)
本研究修改RVQ-VAE模型使其在音素级运行,通过语言表征条件约束与全局说话人嵌入分离语音和说话人信息,验证了其离散潜在表征的高解耦度与韵律建模能力。
2024-09-13 cs.CL cs.LG cs.SD
Investigating Stochastic Methods for Prosody Modeling in Speech Synthesis
University of Stuttgart(斯图加特大学);AppTek GmbH(AppTek公司)
本文研究归一化流、条件流匹配和修正流等随机方法在语音合成韵律建模中的效果,证明其能捕捉人类语音变异性,产生与真人相当的自然韵律,并通过调节采样温度增强可控性。
2025-06-30 cs.AI eess.AS
Generative Modeling for Low Dimensional Speech Attributes with Neural Spline Flows
NVIDIA(英伟达)
尽管最近在文本到语音合成的生成建模方面取得了进展,但这些模型还没有像FastPitch和FastSpeech2这样的音高条件确定性模型那样具有相同的细粒度可调性。音高信息不仅是低维的,而且是不连续的,这使得在生成环境中建模特别困难。我们的工作探讨了几种技术来处理上述问题的规范化流模型的背景下。我们还发现这个问题非常适合神经样条流,这是一个高度表达的替代规范化流中更常见的仿射耦合机制。
2022-06-27 cs.LG cs.SD eess.AS
Language-Universal Speech Attributes Modeling for Zero-Shot Multilingual Spoken Keyword Recognition
Georgia Institute of Technology(佐治亚理工学院);Università degli Studi di Palermo(巴勒莫大学);Norwegian University of Science and Technology(挪威科技大学)
提出基于Wav2Vec2.0和通用语音属性的语言通用端到端SKR方法,结合领域对抗训练,在已见和零样本未见语言中均显著降低词错误率,优于传统字符与音素方法。
2024-06-04 cs.CL cs.SD eess.AS
An Attribute-Aligned Strategy for Learning Speech Representation
National Tsing Hua University(国立清华大学);MOST Joint Research Center for AI Technology and All Vista Healthcare(科技部人工智能技术与全视角医疗联合研究中心)
语音技术的进步给我们的生活带来了便利。然而,由于语音信号包含多种个人属性,这将导致敏感信息泄漏或决策偏差,因此人们的担忧正在上升。在这项工作中,我们提出了一个属性对齐的学习策略,以获得语音表示,可以灵活地解决这些问题的属性选择机制。具体来说,我们提出了一个分层表示变分自动编码器(LR-VAE),它将语音表示分解为属性敏感的节点,以获得语音情感识别(SER)的无身份表示和说话人验证(SV)的无情感表示。我们所提出的方法实现了无身份SER的竞争力的性能和更好的性能无情感SV,相比,使用对抗学习应用于大型情感语料库,MSP-Podcast的当前最先进的方法。此外,我们提出的学习策略减少了实现多个隐私保护任务所需的模型和训练过程。
2021-09-08 cs.LG eess.AS
Transfer Learning for Personality Perception via Speech Emotion Recognition
University of Edinburgh(爱丁堡大学);Centre for Speech Technology Research(语音技术研究中心)
本文从迁移学习角度研究人格与情感的关系,将Transformer和wav2vec2情感识别模型迁移到语音人格感知任务,证明该方法有效并能更好利用小规模人格语料库。
2023-05-28 cs.SD eess.AS
Investigating Confidence Estimation Measures for Speaker Diarization
Solventum(舒万诺公司)
本文研究了多种生成说话人日志置信度分数的方法,实验表明最优方法能在置信度最低的约10%片段中分离出约30%的错误,有效辅助下游系统缓解日志错误。
2024-06-24 cs.LG cs.SD eess.AS
VoxAnon: A balanced dataset for a fair evaluation of speech anonymization
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学与应用实验室);LIA(阿维尼翁语言与声学实验室);Avignon University(阿维尼翁大学)
针对语音匿名化评估中存在的属性分布偏差问题,本文构建了平衡属性的VoxAnon数据集,通过对比实验揭示了属性不平衡对隐私估计的影响,为语音匿名化的公平评估提供了基准资源。
2026-10-12 cs.SD eess.AS