What Are They Doing? Joint Audio-Speech Co-Reasoning
Research Center(研究中心);Concordia University(康考迪亚大学);Université de Montréal(蒙特利尔大学);Mila(米拉(魁北克人工智能研究所))
针对音频语音任务多单模态的现状,本文提出JASCO联合音频-语音协同推理任务,发布对应场景推理数据集,构建基准探究ALLMs的跨模态推理能力,并分析模型对不同模态的依赖特性。
2025-01-12 cs.CL cs.SD eess.AS
WenetSpeech-Chuan: A Large-Scale Sichuanese Corpus with Rich Annotation for Dialectal Speech Processing
Beijing AISHELL Technology Co., Ltd.(北京AISHELL科技有限公司);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究所(TeleAI));School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);WeNet Open Source Community(WeNet开源社区)
本文提出WenetSpeech-Chuan,一个1万小时四川话开源语料库及Chuan-Pipeline处理框架,并发布人工验证的ASR/TTS基准,实验证明其性能达开源最优、可比商业服务,有力推动方言语音研究与AI公平。
2025-09-22 cs.CL cs.SD
Speech Coding, Speech Interfaces and IoT - Opportunities and Challenges
当使用当前的传输基础设施和应用时,诸如3GPP增强语音服务的最近的语音和音频编码标准匹配语音和音频传输中的可预见的需求和要求。然而,物联网技术的趋势和个人数字助理(PDA)的发展要求我们考虑语音和音频编解码器的未来需求。在这里,机遇和挑战被概括为三个概念:协作、统一和隐私。首先,未来越来越多的设备将是语音操作的,因此将语音命令集中到特定设备的能力变得至关重要。因此,我们需要允许设备之间的协作的方法,使得可以解决歧义。其次,这种协作可以通过语音操作设备之间的统一和标准化的通信协议来实现。为了实现这样的协作协议,我们需要为ad-hoc物联网网络开发分布式语音编码技术。然而,最后,合作将增加语音接口中隐私保护的需求,因此,支持隐私和产生信任的技术可能会有很高的需求。
2018-11-14 eess.AS
Automatic Detection of Expressed Emotion from Five-Minute Speech Samples: Challenges and Opportunities
University of Sheffield(谢菲尔德大学);King’s College London(伦敦国王学院)
我们提出了一个新的可行性研究的自动识别表达的情绪(EE),一个家庭环境的概念的基础上照顾者自由地谈论他们的亲属/家庭成员。我们描述了一种自动化的方法,用于确定\textit{degree of warmth},EE的一个关键组成部分,从声学和文本特征获得的样本37记录的采访。这些录音,收集超过20年前,来自全国代表性的出生队列的2,232名英国双胞胎儿童,并手动编码EE. We概述了从录音中提取可用信息的核心步骤具有高度可变的音频质量和评估的有效性四个机器学习方法训练与不同的组合的声音和文本功能。尽管使用这些遗留数据存在挑战,但我们证明了温暖程度可以用\textbf{61.5\%}的$F_{1}$分数来预测。在本文中,我们总结了我们的学习,并为未来的工作提供建议,使用真实世界的语音样本。
2022-03-30 cs.LG cs.SD eess.AS
Automatic Screening for Children with Speech Disorder using Automatic Speech Recognition: Opportunities and Challenges
University at Buffalo(布法罗大学);Nichols School(尼科尔斯学校);Thomas Jefferson High School for Science & Technology(托马斯·杰斐逊科技高中);Langley High School(兰利高中)
本文综述了基于自动语音识别(ASR)技术自动化儿童言语语言评估(SLA)流程的现有方法,探讨了AI驱动方案的技术可行性、实际部署挑战及隐私问题。
2024-10-07 cs.CL eess.AS q-bio.QM
SpeechOp: Inference-Time Task Composition for Generative Speech Processing
Cornell University(康奈尔大学);Adobe Research(Adobe研究)
SpeechOp通过适配预训练TTS模型构建多任务潜在扩散模型,并提出隐式任务组合(ITC)利用ASR转录指导语音增强,实现通用语音处理与最先进的内容保留。
2025-09-17 cs.LG eess.AS
Challenges and Opportunities of Speech Recognition for Bengali Language
Bangladesh University of Business & Technology(孟加拉国商业与技术大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
语音识别是一个迷人的过程,它提供了在人机交互领域中与机器进行交互和命令的机会。语音识别是一个依赖于语言的系统,它直接基于任何语言的语言和文本属性构建。自动语音识别(ASR)系统目前被用于将语音无障碍地翻译成文本。虽然ASR系统在国际语言中得到了有力的执行,但ASR系统在孟加拉语中的执行还没有达到可接受的状态。在这项研究工作中,我们刻意披露孟加拉ASR系统的研究工作的现状。在下文中,我们将了解在构建孟加拉语ASR系统时遇到的挑战。我们将这些挑战分为依赖语言和独立语言的挑战,并指导如何对特定的并发症进行彻底检查。经过严格的调查和突出的挑战,我们的结论是,孟加拉语ASR系统需要特定的ASR架构的基础上,孟加拉语的语法和语音结构的建设。
2021-09-27 cs.CL cs.SD eess.AS
Zero-Shot Speech LLMs for Multi-Aspect Evaluation of L2 Speech: Challenges and Opportunities
Centre for Language Studies(语言研究学院)
本文探讨了零样本语音大语言模型在二语发音多维度评估中的应用,分析了其在准确性、流利度、语调和完整性方面的评分表现及改进方向。
2026-01-20 cs.AI cs.CL cs.SD
Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation
National Taiwan University(台湾大学);Google Brain(谷歌大脑)
语音失真是一个长期存在的问题,它降低了监督训练的语音处理模型的性能。因此,我们需要提高语音处理模型的鲁棒性,以在不损害原始语音处理性能的前提下,在遇到语音失真时获得良好的性能。在这项工作中,我们提出了提高域对抗训练(DAT)的语音处理模型的鲁棒性。我们进行了实验的SUPERB框架的基础上,五个不同的语音处理任务。如果我们并不总是知道语音数据的失真类型,我们分析了二进制域和多域设置,其中前者将所有失真的语音视为一个域,而后者将不同的失真视为不同的域。与监督训练方法相比,我们在目标域中获得了有希望的结果,其中语音数据被不同的失真所扭曲,包括测试过程中引入的新的不可见失真。
2022-07-25 cs.LG cs.SD eess.AS
SpeechNet: A Universal Modularized Model for Speech Processing Tasks
National Taiwan University(台湾大学);NVIDIA(英伟达);NVIDIA AI Technology Center(英伟达人工智能技术中心)
存在范围从从语音信号提取内容信息到生成语音信号的各种语音处理任务。对于不同的任务,模型网络通常是单独设计和调整的。如果一个通用模型可以执行多个语音处理任务,那么一些任务可能会通过从其他任务中学习到的相关能力得到改进。具有通用模型的各种语音处理任务的多任务学习尚未被研究。本文提出了一个通用的模块化模型SpeechNet,它将所有的语音处理任务都处理成语音/文本输入和语音/文本输出格式。我们选择了五个基本的语音处理任务的多任务学习实验与SpeechNet。我们证明了SpeechNet学习了所有上述任务,并进一步分析了哪些任务可以通过其他任务来改进。SpeechNet是模块化的,灵活的,可以在未来加入更多的模块,任务或培训方法。我们发布的代码和实验设置,以促进模块化的通用模型和语音处理任务的多任务学习的研究。
2021-05-31 cs.CL cs.LG cs.SD
Comparing Self-Supervised Learning Models Pre-Trained on Human Speech and Animal Vocalizations for Bioacoustics Processing
Idiap Research Institute(Idiap研究所);Ecole polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本文比较了在人类语音和动物发声上预训练的自监督学习模型在生物声学任务中的表现,发现语音预训练模型已足够稳健,生物声学预训练仅带来边际改进,大量微调可能并非必要。
2025-01-19 cs.LG eess.AS
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech(弗吉尼亚理工学院暨州立大学)
SpeechPy是一个开源Python包,包含语音预处理技术,语音功能和重要的后处理操作。它提供了最常用的语音特征,包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具,用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
ParsiNorm: A Persian Toolkit for Speech Processing Normalization
University of Tehran(德黑兰大学)
通常,语音处理模型由语言模型和声学模型组成。无论语言模型的复杂性和变体如何,语言模型都需要三个关键的预处理步骤:清理、规范化和标记化。在上述步骤中,规范化步骤对于纯文本应用中的格式统一至关重要。然而,对于语音处理模块中的嵌入式语言模型,规范化不限于格式统一。此外,它必须转换每个可读的符号,数字等,如何发音。据我们所知,目前还没有针对语音处理模块中嵌入式语言模型的波斯语规范化工具包,因此在本文中,我们提出了一个用于语音应用中文本处理的开源规范化工具包。简单地说,我们考虑不同的可读波斯语文本,如符号(常见货币,#,@,URL等),数字(日期、时间、电话号码、国家代码等),通过与现有的波斯语文本归一化工具的比较,表明了该方法在语音处理中的优越性。此外,比较模型的性能与其他常见的自然语言库,如HAZM和Parsivar的建议的功能(句子分离)之一,表明所提出的方法的适当性能。此外,它的一些波斯语维基百科数据的评估证实了适当的性能所提出的方法。
2021-12-15 cs.CL cs.LG eess.AS
A Review of Deep Learning Techniques for Speech Processing
本文系统综述了语音处理领域从MFCC、HMM到CNN、RNN、Transformer、Conformer及扩散模型的深度学习技术演进,比较各类方法优劣,梳理任务、数据集与基准,并探讨参数高效、可解释模型及多模态处理等未来方向。
2023-05-30 eess.AS
Losses Can Be Blessings: Routing Self-Supervised Speech Representations Towards Efficient Multilingual and Multitask Speech Processing
Georgia Institute of Technology(佐治亚理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Rice University(莱斯大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出 S$^3$-Router 框架,通过仅微调连接并丢弃不超过 10% 的语音自监督模型权重,在提升效率的同时缓解过拟合,实现多语言多任务语音处理、ASR 剪枝与表示分析的一体化方案。
2025-01-04 cs.LG cs.SD eess.AS
Rethinking Mamba in Speech Processing by Self-Supervised Models
该研究针对语音处理中Mamba模型任务表现差异的问题,提出其擅长重建类任务、分类任务需额外重建模块的假设,通过信息论分析与基于Mamba的HuBERT模型实验验证了假设。
2024-09-11 eess.AS
Boosting Objective Scores of a Speech Enhancement Model by MetricGAN Post-processing
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院)
在许多不同的自然语言处理应用中,与递归神经网络相比,Transformer架构已经展示了卓越的能力。因此,我们的研究将改进的Transformer应用于语音增强任务中。具体地,Transformer中的位置编码对于语音增强可能不是必需的,因此,它被卷积层代替。为了进一步提高增强语音的语音质量(PESQ)分数的感知评估,使用MetricGAN框架对L_1预训练的Transformer进行微调。所提出的MetricGAN可以被视为一个通用的后处理模块,以进一步提高感兴趣的客观分数。这些实验是使用深度噪声抑制(DNS)挑战赛组织者提供的数据集进行的。实验结果表明,该系统优于挑战基线,在主观和客观的评价,有很大的利润。
2021-03-03 cs.LG cs.SD eess.AS
CUPE: Contextless Universal Phoneme Encoder for Language-Agnostic Speech Processing
Bournemouth University(博尔蒙德大学)
本文提出轻量级模型 CUPE,在约 120 毫秒的音素长度窗口内独立捕获无上下文的通用音素特征,以较少参数实现有竞争力的跨语言语音处理性能。
2025-08-21 cs.CL cs.LG eess.AS
Voice Filter: Few-shot text-to-speech speaker adaptation using voice conversion as a post-processing module
Alexa AI(亚马逊语音助手人工智能);National Taiwan University (NTU)(台湾大学)
最先进的文本转语音(TTS)系统需要几个小时的记录语音数据来生成高质量的合成语音。当使用减少量的训练数据时,标准TTS模型遭受语音质量和可懂度降级,使得训练低资源TTS系统成为问题。在本文中,我们提出了一种新的极低资源的TTS方法,称为语音过滤器,使用少至一分钟的语音从目标扬声器。它使用语音转换(VC)作为附加到一个预先存在的高质量的TTS系统的后处理模块,标志着在现有的TTS范式的概念转变,框架的Few-Shot TTS问题作为VC任务。此外,我们建议使用一个持续时间可控的TTS系统来创建一个并行的语音语料库,以促进VC任务。结果表明,语音过滤器优于国家的最先进的Few-Shot语音合成技术的客观和主观指标方面的一分钟的语音对一组不同的声音,而竞争对手的TTS模型建立在30倍以上的数据。
2022-02-16 cs.CL cs.LG eess.AS
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学);Tongji University(同济大学);Microsoft(微软);Peng Cheng Laboratory(鹏城实验室)
受T5(Text-To-Text Transfer Transformer)在预训练自然语言处理模型中的成功启发,我们提出了一个统一模态SpeechT5框架,该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态(语音/文本)的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后,共享的编码器-解码器网络对序列到序列的变换进行建模,然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据,我们对SpeechT5进行了预训练,以学习统一的模态表示,希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中,我们提出了一种跨模态矢量量化方法,该方法将语音/文本状态与潜在单元随机混合,作为编码器和解码器之间的接口。广泛的评估表明,所提出的SpeechT5框架在各种各样的口头语言处理任务,包括自动语音识别,语音合成,语音翻译,语音转换,语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
SpeechPrompt: An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks
Amazon Inc.(亚马逊公司);Meta AI
从自监督学习(SSL)模型学习的语音表示可以有益于各种语音处理任务。然而,使用SSL表示通常需要微调预训练的模型或设计特定于任务的下游模型和损失函数,这会导致大量内存使用和人力劳动。最近,自然语言处理(NLP)中的提示已被发现是利用预训练语言模型(LM)的有效技术。具体来说,即时调优使用固定的预训练模型优化了有限数量的特定于任务的参数;因此,每个任务只需要存储一小部分参数。即时调优通过利用预训练的LM的预测能力来提高计算和内存效率。然而,这样一种范式在言语界却鲜有研究。本文报告了基于生成口语模型(GSLM)的语音处理任务的提示调谐范式的第一次探索。实验结果表明,即时调整技术在语音分类任务中取得了竞争力的性能与更少的可训练参数比微调专门的下游模型。我们进一步研究了具有挑战性的序列生成任务的技术。快速调谐也展示了它的潜力,同时本文也讨论了它的局限性和可能的研究方向。源代码可在https://github.com/ga642381/SpeechPrompt上获得。
2022-07-10 cs.CL cs.LG cs.SD
Data Processing for Optimizing Naturalness of Vietnamese Text-to-speech System
Zalo Group, VNG Corporation(VNG公司Zalo集团)
摘要端到端的文本转语音(TTS)系统在具有高质量麦克风的消声室中记录大量高质量训练数据的情况下取得了巨大的成功。另一种方法是使用可用的数据源,如无线电广播新闻。我们的目标是使用一种新的数据处理方法优化TTS系统的自然度。该数据处理方法包括:1)话语选择和2)韵律标点插入,以准备训练数据,该训练数据可以优化TTS系统的自然度。我们发现,使用处理数据的方法,端到端TTS实现了4.1的平均意见得分(MOS),而自然语音为4.3。我们发现,标点符号的插入贡献最大的结果。为了促进TTS系统的研究和开发,我们在https://forms.gle/6Hk5YkqgDxAaC2BU6上发布了一个扬声器的处理数据。
2020-04-20 cs.LG cs.SD eess.AS
Speech-Copilot: Leveraging Large Language Models for Speech Processing via Task Decomposition, Modularization, and Program Generation
National Taiwan University(台湾大学)
本文提出Speech-Copilot框架,通过任务分解构建语音处理专用工具集,并利用基于大型语言模型的智能体生成程序执行任务,在Dynamic-SUPERG基准上达到最先进性能,提供灵活可扩展的免训练解决方案。
2024-09-23 cs.CL cs.SD eess.AS
UTDUSS: UTokyo-SaruLab System for Interspeech2024 Speech Processing Using Discrete Speech Unit Challenge
The University of Tokyo(东京大学)
我们提出UTDUSS,UTokyo-SaruLab系统提交给Interspeech 2024使用离散语音单元挑战的语音处理。挑战的重点是使用从大型语音语料库中学习的离散语音单元来完成某些任务。我们将UTDUSS系统提交给两个文本到语音的轨道:声码器和声学+声码器。我们的系统采用了神经音频编解码器(NAC)只在语音语料库上进行预训练,这使得学习的编解码器代表了高保真语音重建所需的丰富声学特征。对于声学+声码器音轨,我们训练了一个基于Transformer编码器-解码器的声学模型,该编码器-解码器从文本输入预测预训练的NAC标记。我们描述了构建这些模型的策略,例如数据选择,下采样和超参数调整。我们的系统分别在声码器和声学+声码器音轨中排名第二和第一。
2024-03-20 cs.SD eess.AS
Audio, Speech, Language, & Signal Processing for COVID-19: A Comprehensive Overview
University of Augsburg(奥格斯堡大学);TCS Research(塔塔咨询服务研究院);Imperial College London(帝国理工学院)
二零二零年,冠状病毒(COVID-19)疫情成为全球研究焦点。从收集COVID-19患者的数据到对他们进行病毒检测,我们采取了严格的措施。COVID-19的大部分症状与呼吸系统的功能有关,而呼吸系统的功能反过来又严重影响人类的语音产生系统。这促使研究重点转向识别语音和其他人类生成的音频信号中的COVID-19标记。在本文中,我们概述了使用人工智能技术进行的语音和其他音频信号、语言和基于一般信号处理的工作,以筛选、诊断、监测和传播对COVID-19的认识。我们还简要介绍了迄今为止开展的与检测COVID-19症状相关的研究。我们希望这些集体信息将有助于开发自动化系统,这可以在COVID-19的背景下使用非侵入性和易于使用的模式,如音频,语音和语言。
2020-11-29 cs.LG cs.SD eess.AS
On the Role of Spatial, Spectral, and Temporal Processing for DNN-based Non-linear Multi-channel Speech Enhancement
与将线性空间滤波器与独立的时间谱后滤波器相结合的传统方法相比,使用深度神经网络(DNN)直接学习滤波器以进行多通道语音增强可能具有两个关键优势:1)非线性空间滤波允许克服源自线性处理模型的潜在限制,以及2)空间和节奏的联合处理。光谱信息允许利用不同信息源之间的相互依赖性。最近已经提出了各种基于DNN的非线性滤波器,据报道,这些滤波器具有良好的增强性能。然而,很少有人知道的内部机制,把网络架构设计成一个游戏的机会。因此,在本文中,我们进行了实验,以更好地理解基于DNN的非线性滤波器对空间、光谱和时间信息的内部处理。一方面,我们在困难的语音提取场景中的实验证实了非线性空间滤波的重要性,其性能优于Oracle线性空间滤波器0.24 POLQA得分。另一方面,我们证明了联合处理的结果在一个大的性能差距0.4 POLQA得分网络架构之间利用光谱与时间信息,除了空间信息。
2022-06-22 cs.LG cs.SD eess.AS
A Generalized Formalism of Auto-Regressive Decoding for Speech Processing
Knowledge Technology, Department of Informatics, University of Hamburg, Germany(德国汉堡大学信息学系知识技术实验室)
针对语音处理中自回归解码策略缺乏统一框架的问题,提出广义理论形式化,明确分类标准并简化基准设计,支持聚焦搜索策略的消融研究。
2026-06-23 cs.LG cs.SD eess.AS
Multilingual Alzheimer's Dementia Recognition through Spontaneous Speech: a Signal Processing Grand Challenge
Usher Institute, Edinburgh Medical School, The University of Edinburgh(爱丁堡大学爱丁堡医学院厄舍研究所);Carnegie Mellon University(卡内基梅隆大学);Information Technologies Institute, CERTH(希腊研究与技术基金会信息技术研究所)
这个信号处理大挑战(SPGC)的目标是一个困难的自动预测问题的社会和医学相关性,即,阿尔茨海默氏痴呆症(AD)的检测。与会者被邀请使用信号处理和机器学习方法来创建基于自发语音数据的预测模型。该挑战旨在评估基于一种语言(英语)的语音建立的预测模型在多大程度上推广到另一种语言(希腊语)。据我们所知,还没有研究多语种AD检测中语音信号的声学特征的工作。我们的基线系统使用传统的机器学习算法与声学特征的主动数据表示,在AD检测上实现了73.91%的准确度,在认知评分预测上实现了4.95的根均方误差。
2023-01-13 cs.AI cs.CL cs.LG
Discrete Multimodal Transformers with a Pretrained Large Language Model for Mixed-Supervision Speech Processing
Worcester Polytechnic Institute(伍斯特理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
提出仅解码器的离散多模态语言模型(DMLM),应用于ASR、T2S等跨模态任务,探索损失函数、权重初始化、混合监督和码本等关键方面,发现结合监督与无监督训练、用预训练LLM初始化及Whisper激活码本能显著提升性能。
2024-06-25 cs.CL cs.LG eess.AS
Brain-tuned Speech Models Better Reflect Speech Processing Stages in the Brain
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文发现脑调谐语音模型后期层与语义脑区对齐显著提升,并形成从声学到语义的清晰层级处理,使其更适于模拟人类语音处理。
2025-06-04 cs.CL cs.SD eess.AS
The X-LANCE Technical Report for Interspeech 2024 Speech Processing Using Discrete Speech Unit Challenge
Shanghai Jiao Tong University(上海交通大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);AISpeech Ltd(思必驰科技有限公司)
该报告介绍 SJTU X-LANCE 面向 Interspeech 2024 离散语音单元挑战赛的 TTS、SVS 与 ASR 系统,其 TTS 方案在完整数据和 1 小时数据设置下均排名第一。
2024-04-10 cs.AI eess.AS
Challenges in Automated Processing of Speech from Child Wearables: The Case of Voice Type Classifier
Computational Psycholinguistics Lab.(计算心理语言学实验室)
针对儿童可穿戴设备语音自动处理难题,以语音类型分类任务为例开展三年实验,发现特征、架构等优化仅带来边际性能提升,数据相关性与数量改进效果更显著,凸显合规可共享数据收集的重要性。
2025-06-04 cs.LG cs.SD eess.AS
Transformers in Speech Processing: A Survey
Queensland University of Technology(昆士兰理工大学);Information Technology University(信息科技大学);University of Lincoln(林肯大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);National University of Computer and Emerging Sciences(国家计算机与新兴科学大学);Qatar University(卡塔尔大学)
本文综述了Transformer在自动语音识别、合成、翻译、增强及多模态等语音处理各子领域中的应用、挑战与解决方案。
2025-06-04 cs.CL cs.SD eess.AS
SpeechFormer++: A Hierarchical Efficient Framework for Paralinguistic Speech Processing
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);UBTECH Robotics Corporation(优必选科技股份有限公司);iFLYTEK Corporation(科大讯飞股份有限公司)
副语言语音处理在解决许多问题,如情感和神经认知障碍分析中很重要。最近,Transformer在自然语言处理领域取得了显著的成功,并展示了它对语音的适应能力。然而,以前的工作Transformer在语音领域没有纳入语音的属性,留下的全部潜力Transformer未开发。在本文中,我们认为语音的特点,并提出了一个通用的结构为基础的框架,称为SpeechFormer++,用于非语言语音处理。更具体地说,遵循语音信号中的分量关系,我们设计了一个单元编码器来对单元内和单元间信息(即,框架、音素和单词)。根据语音信号的层次关系,利用合并块生成不同粒度的特征,与语音信号的结构模式相一致。此外,引入了一个字编码器,将字粒度的特征集成到每个单元编码器中,有效地平衡了细粒度和粗粒度的信息。SpeechFormer++在语音情感识别(IEMOCAP & MELD)、抑郁症分类(DAIC-WOZ)和阿尔茨海默病检测(Pitt)任务上进行了评估。结果表明,SpeechFormer++的性能优于标准的Transformer,同时大大降低了计算成本。此外,与最先进的方法相比,它提供了更好的结果。
2023-02-27 cs.CL cs.SD eess.AS
Detection of speech events and speaker characteristics through photo-plethysmographic signal neural processing
Telefonica Research(西班牙电话公司研究院);Universitat Pompeu Fabra(庞培法布拉大学)
用于心脏和睡眠监测的光电容积描记图信号(PPG)的使用如今常见于智能手机和手腕可穿戴设备中。除了常见用途之外,已经提出并报告了可以从PPG提取人信息以用于其他用途,如生物测定任务。在这项工作中,我们探索了几种端到端卷积神经网络架构,用于检测人类的特征,如性别或身份。此外,我们评估是否可以从PPG信号推断出语音/非语音事件,其中语音可能以波动形式转化为脉搏信号。所获得的结果是有希望的,并且清楚地显示了完全端到端拓扑结构用于自动提取有意义的生物标志物的潜力,即使是从由低成本PPG传感器采样的噪声信号中。最佳架构的AUC提出PPG波作为生物判别式,分别达到$79\%$和$89.0\%$,用于性别和个人验证任务。此外,报告AUC在$69\%$附近的语音检测实验鼓励我们进一步探索PPG用于语音处理任务的可行性。
2019-11-12 cs.LG cs.SD eess.AS
Perceptive, non-linear Speech Processing and Spiking Neural Networks
Université de Sherbrooke(舍布鲁克大学);Université du Québec à Chicoutimi(魁北克大学希库蒂米分校);Graz University of Technology(格拉茨工业大学)
在含噪和失真语音的背景下,声源分离和语音识别是非常困难的。大多数传统的技术需要巨大的数据库来估计语音(或噪声)密度概率,以执行分离或识别。我们讨论了潜在的感知语音分析和处理结合生物学上合理的神经网络处理器。我们说明了潜在的这种非线性处理语音的声源分离系统的启发听觉景物分析范例。我们还讨论了一个潜在的应用在语音识别。
2022-03-31 cs.SD eess.AS q-bio.NC
Self-supervised Rewiring of Pre-trained Speech Encoders: Towards Faster Fine-tuning with Less Labels in Speech Processing
Monash University(莫纳什大学)
预先训练的语音Transformers在各种语音处理任务中取得了巨大成功。然而,为下游任务微调这些编码器需要足够大的训练数据来收敛或实现最新技术水平。在文本域中,这部分归因于预训练的Transformers中的表示空间的次优性。在这项工作中,我们对预先训练的语音编码器进行了冷静的研究,并重新构建了它们的表示空间,而不需要任何特定于任务的标签。我们的方法利用中性合成版本的音频输入以及帧掩蔽来构建对比自监督学习的正对。当用于增强wav2vec 2编码器时,我们观察到表示空间中的各向同性的一致改进。我们的实验6语音处理任务,表现出显着的收敛加速任务微调以及一致的任务改进,特别是在低资源设置。
2022-10-24 cs.CL cs.SD eess.AS
SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks
本文首次提出统一提示框架SpeechPrompt,将语音处理任务转化为语音到单元的生成任务,利用量化语音单元实现分类、序列生成与语音生成,在相似参数下性能媲美强微调方法,并在少样本设置中表现优异。
2024-08-23 cs.AI cs.CL cs.LG
Overlap-Add Windows with Maximum Energy Concentration for Speech and Audio Processing
处理具有时间-频率表示的语音和音频信号需要开窗方法,该开窗方法允许原始信号的完美重构,并且其中处理伪影具有可预测的行为。最常见的方法是加窗,其中信号段在处理之前和之后加窗。常用的窗口包括半正弦和Kaiser-Bessel导出窗口。后者是一个近似的离散长球形序列,因此,最大能量集中窗口,适用于ESTA-add. We表明,性能可以得到改善,包括ESTA-add. We结构作为一个约束,在优化的最大能量集中的标准。相同的方法可以用于找到其他特殊情况,例如最佳低重叠窗口。我们的实验表明,所提出的窗口提供了显着的改善,在旁瓣幅度的减少。
2019-02-04 eess.AS
CITISEN: A Deep Learning-Based Speech Signal-Processing Mobile Application
Research Center for Information Technology Innovation at Academia Sinica(中央研究院资讯科技创新研究中心)
这项研究提出了一个基于深度学习的语音信号处理移动应用程序,称为CITISEN。CITISEN提供三种功能:语音增强(SE)、模型自适应(MA)和背景噪声转换(BNC),允许CITISEN用作使用和评估SE模型的平台,并灵活地扩展模型以应对各种噪声环境和用户。对于SE,从云服务器下载的预训练SE模型用于有效地减少来自用户提供的即时或保存的记录的噪声分量。对于遇到看不见的噪声或扬声器环境,MA功能被应用于提升CITISEN。上传在嘈杂环境中录制的一些音频样本,并用于在服务器上调整预训练的SE模型。最后,对于BNC,CITISEN首先通过SE模型去除背景噪声,然后将处理后的语音与新的背景噪声混合。新的BNC功能可以评估特定条件下的SE性能,覆盖人们的轨迹,并提供娱乐。实验结果证实了SE、MA和BNC函数的有效性。与含噪语音信号相比,增强后的语音信号在短时客观可懂度(STOI)和语音质量感知评价(PESQ)方面分别提高了约6%和33%。MA可使STOI和PESQ分别提高约6%和11%。最后,BNC实验结果表明,从噪声背景和无声背景转换的语音信号具有相近的场景识别精度,并且在声学场景分类模型中具有相似的嵌入。因此,提出的BNC可以有效地转换语音信号的背景噪声,并在干净的语音信号不可用时作为数据增强方法。
2022-04-25 cs.LG cs.SD eess.AS
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中,自监督学习(SSL)已经成为一个重要的研究方向。事实证明,SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面,监督多任务学习(MTL)是另一种表示学习范式,已被证明在计算机视觉(CV)和自然语言处理(NLP)中有效。然而,在语音处理中,还没有系统的研究,一般表示学习模型的监督MTL训练。在本文中,我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性,以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
Synthetic Speech Classification: IEEE Signal Processing Cup 2022 challenge
Independent University, Bangladesh(孟加拉国独立大学);Aalto University(阿尔托大学)
本项目为IEEE信号处理杯2022挑战赛设计了鲁棒的合成语音分类器,利用多种TTS算法生成的语音学习归因模型,对比了SVM、GMM及ResNet、VGG16等深度学习方法,发现基于原始数据的深度学习方法表现最佳。
2024-12-17 cs.SD eess.AS
ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM Watson人工智能实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
针对现有语音语言模型主流训练范式在韵律学习上的不足,提出ProsodyLM,通过引入便于学习韵律的词级韵律tokenization方案,使模型仅通过预训练即可获得多样化的新兴韵律处理能力。
2025-08-07 cs.CL eess.AS
DeepSpectrumLite: A Power-Efficient Transfer Learning Framework for Embedded Speech and Audio Processing from Decentralised Data
University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
深度神经语音和音频处理系统具有大量的可训练参数、相对复杂的架构,并且需要大量的训练数据和计算能力。这些限制使得将这些系统集成到嵌入式设备中并将其用于实时,真实世界的应用更具挑战性。我们通过引入DeepSpectrumLite来解决这些限制,DeepSpectrumLite是一种开源的轻量级迁移学习框架,用于使用预训练的图像卷积神经网络(CNN)进行设备上的语音和音频识别。该框架从原始音频信号中实时创建和增强Mel频谱图,然后用于微调特定的预训练CNN以用于目标分类任务。随后,当在消费级Motorola moto e7 plus智能手机上使用DenseNet121模型时,整个管道可以实时运行,平均推理延迟为242.0 ms。DeepSpectrumLite分散运行,无需上传数据进行进一步处理。通过在一组语音学任务上获得最先进的结果,我们证明了所提出的迁移学习方法对嵌入式音频信号处理的适用性,即使在数据稀缺的情况下。我们为用户和开发人员提供了一个广泛的命令行界面,该界面在https://github.com/DeepSpectrum/DeepSpectrumLite上有全面的文档记录和公开提供。
2021-04-23 cs.LG cs.SD eess.AS
Cross-lingual Transfer for Speech Processing using Acoustic Language Similarity
Carnegie Mellon University(卡内基梅隆大学)
语音处理系统目前不支持绝大多数语言,部分原因是缺乏低资源语言的数据。跨语言传输通过将高资源数据纳入低资源系统,为帮助弥合这一数字鸿沟提供了一种引人注目的方式。目前的跨语言算法已经在基于文本的任务和语音相关的任务中取得了成功,超过了一些低资源语言。然而,扩展语音系统以支持数百种低资源语言仍然没有解决。为了帮助弥合这一差距,我们提出了一种语言相似性的方法,可以有效地识别声学跨语言迁移对数百种语言。我们证明了我们的方法在语系分类,语音识别,和语音合成任务的有效性。
2021-11-02 cs.CL cs.SD eess.AS
High-Quality Vocoding Design with Signal Processing for Speech Synthesis and Voice Conversion
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
这个博士本论文的重点是开发一个高质量的语音合成和语音转换系统。基于声码器的语音分析、处理和合成在各种统计参数语音研究中起着至关重要的作用。虽然存在产生接近自然合成语音的声码方法,但是它们通常在计算上是昂贵的,并且因此不适合于实时实现,特别是在嵌入式环境中。因此,需要简单且计算上可行的数字信号处理算法来生成高质量且听起来自然的合成语音。在本论文中,我提出了一种提取最佳声学特征的解决方案和一种新的波形发生器,通过应用深度学习的进步来实现更高的音质和转换精度。该方法在计算上仍然有效。这一挑战产生了五个论文组,简要概述如下。
2021-01-25 cs.SD eess.AS
Towards Advanced Speech Signal Processing: A Statistical Perspective on Convolution-Based Architectures and its Applications
IIT Kanpur(印度理工学院坎普尔分校)
本文综述基于卷积的语音信号处理模型(如CNNs、Conformers等)的统计背景与多场景应用,通过对比训练成本、模型大小等指标分析各模型优劣,为语音技术发展提供研究方向。
2024-11-20 cs.AI cs.CL cs.SD
Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends
University of Southern Queensland(南昆士兰大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61中心);Queensland University of Technology (QUT)(昆士兰科技大学);Information Technology University, Punjab(旁遮普信息技术大学);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
语音处理的研究传统上认为,设计手工设计的声学特征(特征工程)的任务是一个独立的问题,从设计有效的机器学习(ML)模型的任务进行预测和分类决策。这种方法有两个主要缺点:首先,手工特征工程是繁琐的,需要人类知识;其次,设计的功能可能不是最好的目标。这促使了在语音社区中采用最近的趋势,朝向利用表示学习技术,该技术可以自动地学习输入信号的中间表示,该中间表示更好地适合手头的任务,并且因此导致改进的性能。随着深度学习(DL)的发展,表示学习的重要性也在增加,其中表示更有用,更少依赖于人类知识,这使得它非常有利于分类,预测,本文的主要贡献是提出了一个最新的,通过将分散在三个领域的研究整合在一起,对不同的语音表示学习技术进行了全面的数据和调查。不同的研究领域包括自动语音识别(ASR)、说话人识别(SR)和说话人情感识别(SER)。最近的评论已经进行了ASR,SR和SER,然而,这些都没有集中在表示学习从语音-一个差距,我们的调查旨在弥合。
2021-09-24 cs.LG cs.SD eess.AS
Speech enhancement deep-learning architecture for efficient edge processing
提出WSR-MGAN架构,结合多尺度特征与门控循环单元,在低功耗边缘设备上实现高效语音增强,在多个数据集上达到最先进性能。
2024-05-27 eess.AS
WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing
Microsoft(微软)
自监督学习(SSL)在语音识别中取得了巨大的成功,而在其他语音处理任务中的探索却很有限。由于语音信号包含多方面的信息,包括说话人身份、语言、口语内容等,学习所有语音任务的通用表示是具有挑战性的。为了解决这个问题,我们提出了一个新的预训练模型WavLM,来解决全栈下游语音任务。WavLM在预训练中联合学习掩蔽语音预测和去噪。通过这种方式,WavLM不仅通过掩蔽语音预测保持了语音内容建模能力,而且通过语音去噪提高了非ASR任务的潜力。此外,WavLM采用门控相对位置偏置的Transformer结构,以更好地捕捉输入语音的序列排序。我们还将训练数据集从60k小时扩展到94k小时。WavLM Large在SUPERB基准测试中实现了最先进的性能,并在其代表性基准测试中为各种语音处理任务带来了显着改进。代码和预训练模型可在https://aka.ms/wavlm上获得。
2022-06-17 cs.CL cs.SD eess.AS
Examining the Interplay Between Privacy and Fairness for Speech Processing: A Review and Perspective
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所);Technical University of Denmark(丹麦技术大学)
本文综述了语音处理全生命周期中隐私与公平性之间被忽视的相互作用,揭示隐私增强技术可能加剧偏见、偏见缓解可能削弱隐私,并呼吁开发兼顾隐私与公平性的算法。
2024-09-05 cs.SD eess.AS
MUSHRA-1S: A scalable and sensitive test approach for evaluating top-tier speech processing systems
Collaboration AI, Cisco Systems, United Kingdom(英国思科系统公司协作人工智能部门)
本文提出MUSHRA 1S单刺激评估方法,通过固定锚点和参考逐系统评分,在保持MUSHRA级灵敏度的同时获得ACR般的可扩展性,有效解决了高质量语音系统评估中ACR饱和与MUSHRA不可扩展的问题。
2025-09-23 eess.AS
Towards a Common Speech Analysis Engine
IBM Research AI(IBM研究院人工智能);Technion - Israel Institute of Technology(以色列理工学院)
自我监督表示学习的最新创新导致了自然语言处理的显著进步。也就是说,在语音处理领域,基于自监督表示学习的系统还没有被认为是最先进的。我们建议利用基于自监督的语音处理的最新进展来创建一个通用的语音分析引擎。这样的引擎应该能够使用单个架构处理多个语音处理任务,以获得最先进的准确性。该引擎还必须支持具有小训练数据集的新任务。除此之外,通用引擎应该能够支持使用客户内部私有数据的分布式训练。我们提出了一个共同的语音分析引擎的基础上的HuBERT自监督语音表示的架构。在实验的基础上,我们报告了我们的语言识别和情感识别的标准评估NIST-LRE 07和IEMOCAP的结果。我们的结果超过了迄今为止在这些任务上报告的最先进的性能。我们还分析了我们的引擎在情感识别任务中使用减少量的训练数据,并展示了如何实现改进的结果。
2022-03-01 cs.CL cs.LG cs.SD
The Interspeech 2024 Challenge on Speech Processing Using Discrete Units
Carnegie Mellon University(卡内基梅隆大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学)
本文介绍 Interspeech 2024 挑战赛,围绕离散单元语音处理设置多语言识别、语音合成和歌声合成三项任务,并总结基线及提交系统结果,为后续研究提供参考。
2024-06-11 cs.SD eess.AS