Syllable-Based Sequence-to-Sequence Speech Recognition with the Transformer in Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于序列到序列注意力的模型最近在自动语音识别(ASR)任务上显示出非常有前途的结果,其将声学、发音和语言模型集成到单个神经网络中。在这些模型中,Transformer是一种新的基于序列到序列注意力的模型,完全依赖于自我注意力,而不使用RNN或卷积,在神经机器翻译(NMT)任务上实现了新的单模型最先进的BLEU。由于Transformer的出色性能,我们将其扩展到语音,并将其作为基于序列到序列注意力模型的基本架构,用于汉语普通话ASR任务。在此基础上,我们利用Transformer对基于音节的模型和基于上下文无关音素的模型进行了比较。此外,提出了一种基于Transformer的贪婪级联解码器,用于将CI音素序列和音节序列映射为单词序列。在HKUST数据集上的实验表明,基于音节的Transformer模型比基于CI音素的模型性能更好,并且实现了\emph{$28.77\%$}的字符错误率(CER),这与基于CTC-注意的联合编码器-解码器网络的最新CER $28.0\%$具有竞争力。
2018-06-04 cs.CL cs.SD eess.AS
Syllable based DNN-HMM Cantonese Speech to Text System
The Hong Kong Polytechnic University(香港理工大学)
本文构建了基于音节声学模型的粤语语音转文本系统,采用 DNN-HMM 混合模型与 I-vector 说话人自适应技术,实验表明基于 ONC 的声学建模取得了 9.66% 词错率的最佳性能。
2024-02-13 cs.CL cs.SD eess.AS
AutoProsody: A Prosodic Feature Extraction Tool for Indian Languages
AutoProsody通过SIToBI工具为印度语言提供自动化声学特征提取,支持音节级标注并适用于多种音节时制语言。
2026-02-19 cs.SD eess.AS
Exploration strategies for articulatory synthesis of complex syllable onsets
University College London(伦敦大学学院);CMUS(斯科普里西里尔和迪乌斯大学(注:CMUS为Ss. Cyril and Methodius University of Skopje的常用缩写,常见中文译名为斯科普里西里尔和迪乌斯大学))
高质量的发音语音合成在语音科学和技术领域有着广泛的应用前景。然而,开发适当的映射从语言规范到发音手势是困难和耗时的。在本文中,我们构建了一个基于优化的框架,作为第一步学习这些映射,而无需人工干预。我们展示了生产的音节与复杂的起始和讨论的质量的发音手势与协同发音。
2022-06-30 cs.CL cs.SD eess.AS
A Preliminary Analysis of Automatic Word and Syllable Prominence Detection in Non-Native Speech With Text-to-Speech Prosody Embeddings
Language Technologies Research Center, IIIT Hyderabad(语言技术研究中心,印度海得拉巴国际信息技术学院)
本研究探索TTS韵律嵌入在非母语语音重音检测中的效用,基于FastSpeech2提取时长、能量、音高嵌入,在两个语料库上实验验证其准确率显著优于启发式特征和Wav2Vec-2.0表示。
2024-12-11 cs.CL eess.AS
Syllable Discovery and Cross-Lingual Generalization in a Visually Grounded, Self-Supervised Speech Model
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI;Tampere University(坦佩雷大学);Rembrand(Rembrand公司)
本研究发现视觉接地自监督语音模型可涌现音节表征,提出结合最小割算法与两阶段聚类的音节发现方法,在英语音节分割上达SOTA,且能零样本泛化至多语言的音节及词语分割任务。
2023-07-23 cs.AI cs.CL cs.SD
Alternate Intermediate Conditioning with Syllable-level and Character-level Targets for Japanese ASR
LINE Corporation(LINE公司)
端到端自动语音识别直接将输入语音映射到字符。然而,当几个不同的发音应该被映射到一个字符或者当一个发音在许多不同的字符之间共享时,映射可能是有问题的。由于日本汉字字符,日本ASR受到这种多对一和一对多映射问题的影响最大。为了缓解这些问题,我们引入了明确的字符和音节之间的相互作用,使用自适应连接时间分类(CTC),其中上层是“自适应”的中间预测从较低的层。该方法利用字符级和音节级的中间预测作为条件特征来处理字符和音节之间的相互依赖性。在自发日语语料库上的实验结果表明,该方法的性能优于传统的多任务和自适应CTC方法。
2023-03-13 cs.CL cs.SD eess.AS
SyllableLM: Learning Coarse Semantic Units for Speech Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对语音语言模型分词粒度细、效率低的问题,提出自监督粗粒度类音节单元学习方法,据此训练的SyllableLM在多项任务上达SOTA且效率大幅提升。
2024-10-05 cs.AI cs.CL eess.AS
Unsupervised Speech Recognition at the Syllable Level
Chinese University of Hong Kong(香港中文大学);Massachusetts Institute of Technology(麻省理工学院);NTT, Inc.(日本电信电话株式会社);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究针对现有无监督语音识别方法依赖G2P且训练不稳定的问题,提出基于掩码语言建模的音节级UASR框架,在LibriSpeech上使CER相对降低40%,并有效推广到低资源语言。
2026-08-25 eess.AS
Self-Supervised Syllable Discovery Based on Speaker-Disentangled HuBERT
Tokyo Institute of Technology(东京工业大学)
针对SD-HuBERT中CLS token聚合的信息更偏向说话人身份而非语言内容的问题,提出引入说话人扰动增强、采用帧级目标的自监督微调方法,在Librispeech上多数音节相关指标优于SOTA。
2024-09-16 cs.CL cs.SD eess.AS
The NTU-AISG Text-to-speech System for Blizzard Challenge 2020
NTU(南洋理工大学);AISG(新加坡人工智能与数据科学研究院)
我们在本文中报告了我们的NTU-AISG文本转语音(TTS)输入系统,用于2020年暴雪挑战赛。今年的挑战赛有两个TTS任务,一个是普通话TTS任务,另一个是上海话TTS任务。我们都参加了。其中一个主要的挑战是建立低资源限制的TTS系统,特别是对于上海话的情况下,其中约三个小时的数据是提供给参与者。为了克服这个限制,我们采用了平均说话人建模方法。即首先利用外部普通话数据对端到端声学模型和WaveNet声码器进行训练,然后利用上海话分别对声学模型和WaveNet声码器进行调优。除此之外,我们没有上海方言词汇,尽管音节转录本提供的训练数据。由于我们不确定在训练阶段是否为评估数据提供了相似的音节成绩单,因此我们使用上海方言的普通话词汇。以普通话音节分解后的字母作为输入,虽然合成语音的自然度和原说话人相似度较好,但主观评价结果表明,上海话TTS系统合成语音的可懂度严重受损。
2020-10-22 cs.SD eess.AS
Sylber 2.0: A Universal Syllable Embedding
University of California, Berkeley, CA, USA(加州大学伯克利分校);Carnegie Mellon University, PA, USA(卡内基梅隆大学)
Sylber 2.0通过自监督框架实现低频音节嵌入,支持多语言和风格,提升语音建模效率与质量。
2026-01-29 cs.CL eess.AS
Teaching Machines to Speak Using Articulatory Control
University of California, Berkeley(加州大学伯克利分校)
针对现有语音生成系统缺乏可解释性的问题,提出基于显式发音控制的新框架,利用强化学习训练策略控制声道发音器官产生音节级语音,并在六个音节上取得高相似度与可理解性。
2025-10-07 eess.AS
A Comparison of Hybrid and End-to-End Models for Syllable Recognition
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学)
本文比较了传统的混合语音识别系统(kaldi使用WFST和TDNN与无格MMI)和无词典的端到端(TensorFlow实现的多层LSTM与CTC训练)模型,用于Verbmobil语料库上的德语音节识别。结果表明,显式建模的先验知识仍然是有价值的,在建立识别系统。通过基于音节的强大语言模型(LM),结构化方法的性能明显优于端到端模型。最好的字出错率(WER)的音节,实现了使用kaldi与4-gram LM,建模的所有音节中观察到的训练集。其WER w.r.t.为10.0%。音节,相比之下,端到端的方法,其中最好的WER为27.53%。这里提出的工作有意义的未来的识别系统,独立于一个大的词汇,通常用于任务,如识别音节或粘着语言,词汇外的技术,关键字搜索索引和医疗语音处理。
2019-09-19 cs.CL cs.LG cs.SD
ZeroSyl: Simple Zero-Resource Syllable Tokenization for Spoken Language Modeling
Electrical and Electronic Engineering, Stellenbosch University, South Africa(斯瓦兹堡大学电子与电气工程系,南非)
提出ZeroSyl,一种无需训练的方法,直接从冻结的WavLM模型中提取音节边界和嵌入,实现竞争性的音节分割性能,并在词汇、句法和叙事基准上优于先前方法。
2026-06-17 cs.CL eess.AS
Research on Modeling Units of Transformer Transducer for Mandarin Speech Recognition
Jingdong Digits Technology Holding Co., Ltd. (JD Digits)(京东数字科技控股有限公司(京东数字科技))
在端到端语音识别中,建模单元和模型结构是递归神经网络转换器(RNN-T)的两个关键因素。为了提高RNN-T在汉语语音识别中的性能,提出了一种自注意Transformer和RNN相结合的Transformer变换器。探讨了Transformer传感器不同建模单元的选择。此外,我们提出了一种新的混合带宽训练方法,以获得一个通用的模型,能够准确地识别汉语语音与不同的采样率同时进行。所有的实验都是在8 kHz和16 kHz采样率下对大约12,000小时的普通话语音进行的。实验结果表明,普通话Transformer转换器采用带声调的音节,取得了最好的性能。该模型的平均相对字错误率(WER)降低了14.4%和44.1%,分别与使用音节首/尾与声调和汉字的模型相比。此外,它优于基于音节首/尾与声调的模型,平均13.5%的相对字符错误率(CER)减少。
2020-04-26 cs.CL cs.LG cs.SD
Cross-Lingual Multi-Granularity Framework for Interpretable Parkinson's Disease Diagnosis from Speech
本研究针对现有语音PD检测忽略细粒度语音元素的问题,提出跨语言多粒度框架,通过提取音素、音节、单词特征结合双向LSTM多头注意力,在多语言数据集上实现更优诊断性能,且特征与临床协议一致。
2025-10-04 cs.CL cs.SD eess.AS
Wav2Sem: Plug-and-Play Audio Semantic Decoupling for 3D Speech-Driven Facial Animation
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室);North China University of Technology(华北理工大学);University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学)
本文提出即插即用的语义解相关模块Wav2Sem,通过提取音频语义特征对编码进行解耦,有效缓解了3D语音驱动面部动画中相似音节导致的唇形平均效应,提升了动画精确度与自然度。
2025-05-29 cs.CV cs.SD eess.AS
Detection of Lexical Stress Errors in Non-Native (L2) English with Data Augmentation and Attention
Amazon TTS-Research(亚马逊TTS研究);Gdansk University of Technology(格但斯克理工大学)
本文介绍了两种新的互补技术,提高了非母语(L2)英语语音中的词汇重音错误的检测:基于注意力的特征提取和基于神经文本到语音(TTS)的数据增强。在经典的方法中,音频特征通常从语音的固定区域(诸如音节核)提取。我们提出了一种基于注意力的深度学习模型,该模型可以从帧级和音素级音频特征中自动获得最佳音节级表示。训练这个模型是具有挑战性的,因为不正确的压力模式数量有限。为了解决这个问题,我们建议用神经TTS生成的错误重音的单词来增加训练集。结合这两种技术实现了94.8%的准确率和49.2%的召回率检测不正确强调的话在L2英语语音的斯拉夫语和波罗的海的发言者。
2021-06-07 cs.SD eess.AS
Implementation of an Automatic Syllabic Division Algorithm from Speech Files in Portuguese Language
Federal University of Pernambuco(伯南布哥联邦大学)
提出了一种基于输入音频文件的语音信号包络的葡萄牙语语音自动切分算法。在MatlabTM中的计算实现被呈现并且在URL http://www2.ee.ufpe.br/codec/divisao_silabica.html上可用。由于其直接性,所提出的方法是非常有吸引力的嵌入式系统(如i-phones)。它也可以用作屏幕,以帮助更复杂的方法。包含一个以上音节并由同一个包络标识的语音摘录被命名为超音节,随后将它们分离。结果指示哪些样本对应于每个检测到的音节的开始和结束。对50个单词进行了初步测试,识别率约为70%(可以进一步改进以处理特定音素)。该算法在语音命令系统中也是有用的,作为葡萄牙语教学中的工具,甚至用于语音病理学患者。
2015-01-29 cs.CL cs.DS cs.SD
Sylber: Syllabic Embedding Representation of Speech from Raw Audio
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
提出自监督模型 Sylber,通过无监督音节分割蒸馏构建结构化音节嵌入,实现高效语音 token 化与低比特率语音重建,并自然涌现范畴知觉。
2025-03-02 cs.CL cs.SD eess.AS
PDAugment: Data Augmentation by Pitch and Duration Adjustments for Automatic Lyrics Transcription
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);South China University of Technology(华南理工大学)
歌词自动转写(ALT)可以看作是歌唱声的自动语音识别(ASR),是学术界和工业界感兴趣的实用课题。ALT还没有得到很好的发展,主要是由于缺乏成对的歌声和歌词数据集的模型训练。考虑到有大量的ASR训练数据,一种简单的方法是利用ASR数据来增强ALT训练。然而,当直接用ASR数据训练ALT系统时,这种改进是微不足道的,因为歌唱声音和标准语音数据之间的差距根源于歌唱声音中特定于音乐的声学特性。在本文中,我们提出了PDAugment,一个数据增强方法,调整音调和持续时间的语音在音节水平的指导下,音乐乐谱,以帮助ALT训练。具体来说,我们调整自然语音中每个音节的音高和时长,使其与从乐谱中提取的相应音符的音高和时长一致,从而缩小自然语音与歌唱声之间的差距。在DSing 30和Dali语料库上的实验表明,采用PDAugment的ALT系统的性能分别比现有的ALT系统提高了5.9%和18.1%的WER,证明了PDAugment在ALT中的有效性。
2021-09-17 cs.SD eess.AS
BASPRO: a balanced script producer for speech corpus collection based on the genetic algorithm
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Columbia University(哥伦比亚大学);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
语音处理模型的性能在很大程度上受到用于训练和评估的语音语料库的影响。在这项研究中,我们提出了平衡脚本PROducer(BASPRO)系统,它可以自动构建一个语音平衡和丰富的中文句子集,用于收集汉语普通话语音数据。首先,我们使用预先训练好的自然语言处理系统,从一个大型中文新闻文本语料库中提取十个字符的候选句子。然后,我们应用了一种基于遗传算法的方法来选择20个语音平衡的句子集,每个句子集包含20个句子,从候选句子。使用BASPRO,我们获得了一个名为TMNews的录音脚本,其中包含400个十字句。TMNews涵盖了现实世界中使用的84%的音节。此外,音节分布与真实世界的音节分布具有0.96余弦相似度。我们使用两个文本到语音系统将脚本转换为语音语料库。使用设计的语音语料库,我们测试的性能语音增强(SE)和自动语音识别(ASR),这是最重要的回归和分类为基础的语音处理任务,分别。实验结果表明,在设计的语音语料库上训练的SE和ASR模型的性能优于在随机合成的语音语料库上训练的模型。
2022-12-11 cs.AI cs.CL cs.LG
Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning? -- A computational investigation
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
本研究提出潜在语言假说,通过视听跨情境学习的神经网络模拟,探究音位、音节和单词等语言单位能否作为跨模态语音理解的潜在表征自发涌现。
2024-03-06 cs.AI cs.CL cs.CV
Towards Automated Assessment of Stuttering and Stuttering Therapy
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用科学大学);Institut der Kasseler Stottertherapie(卡塞尔口吃治疗研究所)
口吃是一种复杂的言语障碍,可以通过说话时的重复,声音,音节或单词的重复以及块来识别。严重程度评估通常由语言治疗师完成。虽然尝试了自动评估,但很少用于治疗。评估口吃严重程度的常用方法包括口吃音节百分比(% SS),言语任务中三个最长口吃症状的平均值,或最近引入的言语效率评分(SES)。本文介绍了一种评价口吃严重程度的新方法--言语控制指数(SCI)。与SES不同,它还可以用于评估流畅性塑造的治疗成功率。我们评估SES和SCI的一个新的全面标记的数据集,包含客户口吃的德语演讲之前,期间和之后进行口吃治疗。自动语音识别系统的音素对齐根据其与标记的口吃事件的相对位置进行统计评估。结果表明,音素长度分布不同,就其位置和周围的标记口吃事件
2020-06-16 cs.CL cs.LG cs.SD
The role of vowel and consonant onsets in neural tracking of natural speech
本研究通过正向建模和匹配-不匹配任务,发现元音-辅音起始在预测EEG信号上优于任何音素起始,揭示了EEG中存在元音与辅音的神经追踪,并指出以往认为与宽泛语音类别相关的神经追踪可能源于元音-辅音起始。
2023-07-31 eess.AS
Prosodically Enhanced Foreign Accent Simulation by Discrete Token-based Resynthesis Only with Native Speech Corpora
The University of Tokyo(东京大学);Japan National Institute of Advanced Industrial Science and Technology (AIST)(日本国家先进工业科学与技术研究院);Japan Kyoto University(京都大学)
针对仅用母语数据合成外语口音语音的现有方法无法再现时长口音的问题,本文整合时长修改,提出韵律增强方法,实验证明能成功复现真实L2语音中的时长口音。
2025-05-22 cs.SD eess.AS
REWIND: Speech Time Reversal for Enhancing Speaker Representations in Diffusion-based Voice Conversion
Indraprastha Institute of Information Technology (IIIT)(印度普拉斯塔信息技术学院)
本研究提出REWIND方法,将语音时间反转后的说话人表征作为增强策略,应用于基于扩散的语音转换模型,在保持语音质量的同时显著提升了说话人相似度指标。
2025-05-27 cs.MM cs.SD eess.AS
Unsupervised Rhythm and Voice Conversion to Improve ASR on Dysarthric Speech
Idiap Research Institute(Idiap研究机构)
本文提出一种基于音节节奏建模的无监督构音障碍到健康语音转换方法,扩展RnV框架,在Torgo语料库上显著降低LF-MMI模型的词错误率,尤其对严重构音障碍病例效果更佳。
2025-06-02 cs.AI cs.LG cs.SD
Muyan-TTS: A Trainable Text-to-Speech Model Optimized for Podcast Scenarios with a $50K Budget
MYZY AI
本文提出专为播客场景设计的开源可训练TTS模型Muyan-TTS,在5万美元预算内基于超10万小时播客数据预训练,支持零样本高质量语音合成与几十分钟说话人自适应,并提供了完整的数据处理流程、训练程序及优化推理框架。
2025-04-27 cs.SD eess.AS
A Neural Acoustic Echo Canceller Optimized Using An Automatic Speech Recognizer And Large Scale Synthetic Data
Google Inc.(谷歌公司)
我们考虑识别对正在生成已知声音波形的设备说出的语音话语的问题;例如,识别向正在生成对先前用户输入的响应的数字助理发出的查询。以前的工作已经提出了建立声学回声消除(AEC)模型,优化语音增强指标使用神经网络以及信号处理的方法。由于我们的目标是识别输入语音,我们考虑增强,提高字错误率(WERS)时,预测的语音信号被传递到一个自动语音识别(ASR)模型。首先,我们用一个产生对预训练的ASR模型有用的输出的项来增强损失函数,并表明这种增强的损失函数改进了WER指标。其次,我们证明了用大型合成数据集来增强真实世界示例的训练数据集可以提高性能。至关重要的是,在训练过程中将SpecAugment风格的掩码应用于参考通道有助于模型从合成域适应到真实域。在实验评估中,我们发现所提出的方法提高了性能,平均而言,57%以上的信号处理基线和45%以上的神经AEC模型没有提出的变化。
2021-06-01 cs.SD eess.AS
CHiVE: Varying Prosody in Speech Synthesis with a Linguistically Driven Dynamic Hierarchical Conditional Variational Network
Google UK(谷歌英国);University of West Bohemia(西波西米亚大学)
由当前文本到语音系统产生的语音信号的韵律方面通常在训练材料上平均,并且因此缺乏在自然语音中发现的多样性和生动性。为了避免单调性和平均韵律轮廓,期望具有对语音的韵律方面的变化进行建模的方式,因此可以针对给定文本以多种方式合成音频信号。我们提出了一个新的,分层结构的条件变分自编码器生成韵律功能(基频,能量和持续时间)适合使用的声码器或生成模型,如WaveNet。在推理时,可以从变化层采样表示句子的韵律的嵌入,以允许韵律变化。为了有效地捕获语言输入(单词、音节和音素)的分层性质,自动编码器的编码器和解码器部分都是分层的,与语言结构一致,其中层以各自的速率动态地计时。我们在我们的实验中表明,我们的动态分层网络优于一个非分层的最先进的基线,此外,跨句子的韵律传输是可能的,通过采用一个句子的韵律嵌入生成另一个的语音信号。
2019-06-04 cs.CL cs.SD eess.AS
The NTNU Taiwanese ASR System for Formosa Speech Recognition Challenge 2020
本文介绍了NTNU ASR系统参加由福尔摩沙语音野外项目(FSW)支持的福尔摩沙语音识别挑战赛2020(FSR-2020)。FSR-2020旨在促进台语语音识别的发展。除了台语的音调和方言变化问题外,在最后的测试阶段还必须处理被不同类型的真实世界噪音人为污染的语音;所有这些都使FSR-2020比以前更具挑战性。为了解决资源不足的问题,我们的ASR系统的主要技术方面包括各种深度学习技术,例如迁移学习、半监督学习、前端语音增强和模型集成,以及对训练数据进行的数据清理和数据增强。在最佳配置下,我们的系统在最终测试集上获得了13.1%的音节错误率(SER),在所有参与系统中获得了第一名。
2021-07-10 eess.AS eess.SP
End-to-End Optimized Speech Coding with Deep Neural Networks
University of Maryland(马里兰大学)
现代压缩算法通常是特定领域艰苦研究的结果; MP3、JPEG和AMR-WB等行业标准花了数年时间才开发出来,并且主要是手工设计的。我们提出了一个深度神经网络模型,它直接从原始语音数据端到端地优化宽带语音编码管道(压缩,量化,熵编码和解压缩)的所有步骤-无需手动特征工程,并且它在数小时内训练。在测试中,我们基于DNN的编码器在各种比特率(~ 9 kbps到~ 24 kbps)下的性能与AMR-WB标准相当。它还可以在3.8GhZ Intel CPU上实时运行。
2021-07-08 cs.LG cs.SD eess.AS
Text Enhancement for Paragraph Processing in End-to-End Code-switching TTS
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);University of Science and Technology of China(中国科学技术大学)
目前端到端的语码转换文语转换(TTS)技术已经能够在单说话人双语语料库中生成高质量的双语语音。当双语语料库中的说话人不同时,语码转换生成的文语转换的自然度和一致性较差。我们提出的跨语言嵌入层结构使不同语言中相似的音节相关,从而提高了生成语音的自然度和一致性。在端到端的语码转换文语转换系统中,合成段落文本时存在韵律不稳定的问题。本文提出的文本增强方法使输入包含韵律信息和段落级上下文信息,从而提高了段落文本的韵律稳定性。实验结果表明,所提出的方法在自然性,一致性和韵律稳定性的有效性。除了普通话和英语之外,我们还将这些方法应用于上海话和广东话语料库,证明我们提出的方法可以扩展到其他语言来构建端到端的语码转换TTS系统。
2022-10-20 cs.SD eess.AS
Multi-Dimensional and Multi-Scale Modeling for Speech Separation Optimized by Discriminative Learning
Xi'an Jiaotong University(西安交通大学);Du Xiaoman(度小满)
Transformer在语音分离方面表现出了先进的性能,这得益于其捕获全局特征的能力。然而,在语音分离中,获取音频序列的局部特征和声道信息同样重要。在本文中,我们提出了一种新的方法命名为内SE-Conformer和Inter-Transformer(ISCIT)的语音分离。具体来说,我们设计了一种新的网络SE-Conformer,可以在多个维度和尺度上对音频序列进行建模,并将其应用于双路径语音分离框架。此外,我们提出了多块特征聚合,以提高分离效果,有选择地利用信息的中间块的分离网络。同时,我们提出了一个说话人相似性判别损失来优化语音分离模型,以解决当说话人具有相似的声音时性能较差的问题。在基准数据集WSJ 0 - 2 mix和WHAM!显示ISCIT可以实现最先进结果。
2023-03-07 cs.LG cs.SD eess.AS
A Chinese Heart Failure Status Speech Database with Universal and Personalised Classification
School of Information Science and Technology(信息科学与技术学院);Advanced Computing and Storage Laboratory, 2012 Laboratories(先进计算与存储实验室);Institute of High Performance Computing(高性能计算研究所)
本文构建了首个中国心衰患者语音数据库,通过住院前后配对录音验证汉语心衰检测有效性,并提出自适应频率滤波器分析频率重要性。
2025-08-12 cs.AI cs.CL cs.SD
Differentiable K-means for Fully-optimized Discrete Token-based ASR
The University of Tokyo(东京大学);Sony Group Corporation(索尼集团公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出可微K-means方法,联合优化离散词元生成与ASR任务,通过微调SSL参数并融合多层输出,显著提升ASR准确率及词元的语音信息纯度。
2025-05-22 cs.SD eess.AS
Towards Improved Speech Recognition through Optimized Synthetic Data Generation
本文提出利用具备声音克隆能力的 TTS 模型从纯文本生成合成语音,并通过微调、过滤和评估优化数据,以训练端到端 ASR 模型;魁北克法语实验证明可显著提升识别性能。
2025-08-29 eess.AS
PhonologyBench: Evaluating Phonological Skills of Large Language Models
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出 PhonologyBench 基准,通过字素到音素转换、音节计数和押韵词生成三个任务评估大语言模型的音系学能力,揭示了其与人类的显著差距并建议按下游应用选择模型。
2024-04-05 cs.AI cs.CL cs.LG
FastEnhancer: Speed-Optimized Streaming Neural Speech Enhancement
Seoul National University(首尔大学)
针对流式语音增强在实时应用中的延迟问题,提出FastEnhancer模型,采用简单编码器-解码器与高效RNNFormer块,在保持最先进语音质量和可懂度的同时,实现单CPU线程上的最快处理速度。
2025-09-26 eess.AS
aTENNuate: Optimized Real-time Speech Enhancement with Deep SSMs on Raw Audio
BrainChipUSA(BrainChip美国公司)
本研究提出深度状态空间自编码器aTENNuate,用于端到端在线原始语音增强,在多个基准测试中于PESQ、参数量等指标上优于现有实时去噪模型,低资源环境下仍表现优异。
2025-05-20 cs.AI cs.LG cs.SD
DMOSpeech 2: Reinforcement Learning for Duration Prediction in Metric-Optimized Speech Synthesis
DMOSpeech 2通过强化学习将度量优化扩展到时长预测器,并引入教师引导采样,在保持质量的同时将采样步骤减半,构建了更完整的度量优化语音合成流程。
2025-07-20 eess.AS
ASPIRin: Action Space Projection for Interactivity-Optimized Reinforcement Learning in Full-Duplex Speech Language Models
National Taiwan University(国立台湾大学);ASUS Open Cloud Infrastructure Software Center(华硕开放云端基础设施软件中心);NVIDIA AI Technology Center(英伟达人工智能技术中心)
ASPIRin通过动作空间投影和GRPO方法优化全双工语音语言模型的交互性能,提升语义连贯性并减少重复生成。
2026-04-11 cs.AI cs.CL cs.SD
DRED: Deep REDundancy Coding of Speech Using a Rate-Distortion-Optimized Variational Autoencoder
本文提出基于率失真优化变分自编码器的 DRED 深度语音冗余编码算法,以低于 32 kb/s 传输最高 50 倍冗余,并在 Opus 与 WebRTC 场景中验证其抗突发丢包优势。
2024-10-25 eess.AS
Fast-VGAN: Lightweight Voice Conversion with Explicit Control of F0 and Duration Parameters
STMS Lab(STMS实验室)
本文提出 Fast-VGAN,一种基于卷积神经网络的轻量级语音转换方法,通过显式条件控制 F0、音素序列、强度和说话人身份,在保持高可懂度和说话人相似度的同时实现灵活的语音变换。
2025-07-07 cs.AI cs.SD eess.AS
(SimPhon Speech Test): A Data-Driven Method for In Silico Design and Validation of a Phonetically Balanced Speech Test
Institute of Sound and Vibration Research (ISVR), University of Southampton, UK(声学与振动研究所(ISVR),南安普顿大学)
本研究提出SimPhon言语测试方法学,利用ASR系统模拟听力损失的感知效应,通过多阶段计算流水线筛选出25个优化词对的测试集,可捕捉超出简单可听度的感知缺陷,提升听力学测试开发效率。
2025-06-13 cs.CL cs.SD eess.AS
Optimized Tokenization for Transcribed Error Correction
OriginAI
本文提出优化分词策略,利用基于转录错误分布的合成数据训练纠正模型,并调整BPE词汇表以平衡适应性与知识保留,显著提升多语言语音识别错误纠正性能。
2023-10-16 cs.CL cs.SD eess.AS
Autoencoder based optimized SSL representations: Complexity Minimization and improved Dysarthric ASR
National Institute of Technology Sikkim(锡金国家技术学院);Aalto University(阿尔托大学);University of Southern California(南加州大学)
提出自编码器瓶颈方法压缩自监督学习特征维度,在降低计算复杂度的同时保持构音障碍语音识别性能,训练时间减少8倍且词错误率下降。
2026-06-24 eess.AS
Variational Speech Waveform Compression to Catalyze Semantic Communications
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室)
我们提出了一种新的神经波形压缩方法来催化新兴的语音语义通信。通过引入非线性变换和变分建模,我们有效地捕捉语音帧内的依赖关系,估计语音特征的概率分布更准确,从而产生更好的压缩性能。特别地,通过一对非线性变换来分析和合成语音信号,从而产生潜在特征。该方法首先建立一个超先验熵模型来获取潜在特征的概率分布,然后进行量化和熵编码。所提出的波形编解码器可以灵活地优化到任意速率,并且另一个吸引人的特征是,它可以容易地优化任何可微的损失函数,包括在语义通信中使用的感知损失。为了进一步提高保真度,我们将残差编码,以减轻在潜在空间的量化失真所产生的退化。实验结果表明,在达到相同性能的前提下,该方法比广泛使用的自适应多速率宽带(AMR-WB)编解码器以及新兴的神经波形编码方法节省了高达27%的编码速率。
2022-12-13 cs.IT cs.SD eess.AS
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google(谷歌)
自动语音识别(ASR)系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是,这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明,通过模型微调的个性化大大提高了性能。然而,为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明,通过所谓的残差适配器向编码器层添加相对少量的额外参数,与模型微调相比,我们可以实现类似的自适应增益,同时只更新一小部分(小于0.5%)模型参数。我们证明了这两个语音适应任务(非典型和重音语音)和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
Improving Character Error Rate Is Not Equal to Having Clean Speech: Speech Enhancement for ASR Systems with Black-box Acoustic Models
Sony Group Corporation(索尼集团公司)
提出了一种基于深度神经网络(DNN)的语音增强(SE)方法,旨在最大化自动语音识别(ASR)系统的性能。为了在字符错误率(CER)方面优化基于DNN的SE模型,这是评估ASR系统的指标之一,通常不可微,我们的方法使用两个DNN:一个用于语音处理,一个用于模仿通过声学模型(AM)导出的输出CER。然后在训练阶段交替优化两个DNN。即使AM是黑盒,例如,与第三方提供的方法类似,所提出的方法使得基于DNN的SE模型能够在CER方面被优化,因为模仿AM的DNN是可微的。因此,建立没有负面影响的以CER为中心的SE模型变得可行,例如,额外的计算成本和改变网络架构,在推理阶段,因为我们的方法仅仅是现有的基于DNN的方法的训练方案。实验结果表明,我们的方法提高了8.8%,相对通过一个黑盒AM推导出的CER,虽然保持一定的噪声水平。
2022-02-22 cs.AI eess.AS