Advances in Microphone Array Processing and Multichannel Speech Enhancement
本文回顾麦克风阵列处理与多通道语音增强的开创性工作,涵盖基础进展、深度学习整合等最新研究,探讨应用及未来方向,为领域发展提供全面综述与前瞻性见解。
2025-02-13 eess.AS
Clarity: Machine Learning Challenges to Revolutionise Hearing Device Processing
在Clarity项目中,我们将运行一系列机器学习挑战,以彻底改变听力设备的语音处理。在五年内,将有三个配对的挑战。每一对将包括一个专注于听力设备处理(“增强”)的比赛和另一个专注于语音感知建模(“预测”)的比赛。增强的挑战将为语音的听力设备信号处理提供新的和改进的方法。并行预测挑战将开发和改进预测听力受损听众的语音清晰度和质量的方法。这个工程和物理科学研究委员会(EPSRC)资助的项目涉及谢菲尔德,索尔福德,诺丁汉和卡迪夫大学的研究人员,以及听力行业研究联盟,听力损失行动,亚马逊和本田。要登记对挑战的兴趣,请访问www.claritychallenge. org。
2020-08-17 eess.AS
On Speech Pre-emphasis as a Simple and Inexpensive Method to Boost Speech Enhancement
本文首次提出将预加重滤波用于基于深度神经网络的语音增强,通过在损失计算前对干净语音进行预加重,使频率成分更好反映感知重要性,在TIMIT含噪数据上取得最高4.6%和3.4%的质量提升。
2024-01-17 eess.AS
UTDUSS: UTokyo-SaruLab System for Interspeech2024 Speech Processing Using Discrete Speech Unit Challenge
The University of Tokyo(东京大学)
我们提出UTDUSS,UTokyo-SaruLab系统提交给Interspeech 2024使用离散语音单元挑战的语音处理。挑战的重点是使用从大型语音语料库中学习的离散语音单元来完成某些任务。我们将UTDUSS系统提交给两个文本到语音的轨道:声码器和声学+声码器。我们的系统采用了神经音频编解码器(NAC)只在语音语料库上进行预训练,这使得学习的编解码器代表了高保真语音重建所需的丰富声学特征。对于声学+声码器音轨,我们训练了一个基于Transformer编码器-解码器的声学模型,该编码器-解码器从文本输入预测预训练的NAC标记。我们描述了构建这些模型的策略,例如数据选择,下采样和超参数调整。我们的系统分别在声码器和声学+声码器音轨中排名第二和第一。
2024-03-20 cs.SD eess.AS
A Comprehensive Review and Taxonomy of Audio-Visual Synchronization Techniques for Realistic Speech Animation
本文综述了从音频生成真实面部动画的视听同步方法,提出应对训练成本和数据集等挑战的解决方案,并引入新的分类法对相关方法进行分类。
2024-08-28 eess.AS
Relating EEG recordings to speech using envelope tracking and the speech-FFR
在言语感知过程中,听者的脑电图(EEG)反映了听觉水平的处理以及更高层次的认知因素,如言语理解和注意。然而,由于EEG信号的低信噪比,从EEG记录解码语音是具有挑战性的。我们报告了ICASSP 2023“听觉EEG解码”信号处理大挑战的方法。一个简单的集成方法,大大提高了基线解码器的性能。甚至更高的分类率是通过联合解码的语音诱发的频率以下的响应和响应的时间包络的语音,以及通过微调的解码器个别科目。我们的研究结果可以应用于听力障碍的诊断或认知导向助听器。
2023-03-11 eess.AS
WenetSpeech-Min: A Large-Scale Minnan Speech Corpus with Dual Transcriptions for Dialectal Speech Processing
Northwestern Polytechnical University(西北工业大学);Nanjing University(南京大学);University of New South Wales(新南威尔士大学);WeNet Open Source Community(WeNet开源社区);Moonstep AI;Nexdata;Xiamen University(厦门大学);State Key Laboratory of Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室)
针对闽南语语音资源稀缺问题,构建约1万小时带闽南语与普通话双转录的WenetSpeech-Min语料库,并建立ASR与TTS基准,训练模型在多数指标上优于开源系统且接近商业水平。
2026-09-30 eess.AS
SpeechNet: A Universal Modularized Model for Speech Processing Tasks
National Taiwan University(台湾大学);NVIDIA(英伟达);NVIDIA AI Technology Center(英伟达人工智能技术中心)
存在范围从从语音信号提取内容信息到生成语音信号的各种语音处理任务。对于不同的任务,模型网络通常是单独设计和调整的。如果一个通用模型可以执行多个语音处理任务,那么一些任务可能会通过从其他任务中学习到的相关能力得到改进。具有通用模型的各种语音处理任务的多任务学习尚未被研究。本文提出了一个通用的模块化模型SpeechNet,它将所有的语音处理任务都处理成语音/文本输入和语音/文本输出格式。我们选择了五个基本的语音处理任务的多任务学习实验与SpeechNet。我们证明了SpeechNet学习了所有上述任务,并进一步分析了哪些任务可以通过其他任务来改进。SpeechNet是模块化的,灵活的,可以在未来加入更多的模块,任务或培训方法。我们发布的代码和实验设置,以促进模块化的通用模型和语音处理任务的多任务学习的研究。
2021-05-31 cs.CL cs.LG cs.SD
Speech-Copilot: Leveraging Large Language Models for Speech Processing via Task Decomposition, Modularization, and Program Generation
National Taiwan University(台湾大学)
本文提出Speech-Copilot框架,通过任务分解构建语音处理专用工具集,并利用基于大型语言模型的智能体生成程序执行任务,在Dynamic-SUPERG基准上达到最先进性能,提供灵活可扩展的免训练解决方案。
2024-09-23 cs.CL cs.SD eess.AS
Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation
National Taiwan University(台湾大学);Google Brain(谷歌大脑)
语音失真是一个长期存在的问题,它降低了监督训练的语音处理模型的性能。因此,我们需要提高语音处理模型的鲁棒性,以在不损害原始语音处理性能的前提下,在遇到语音失真时获得良好的性能。在这项工作中,我们提出了提高域对抗训练(DAT)的语音处理模型的鲁棒性。我们进行了实验的SUPERB框架的基础上,五个不同的语音处理任务。如果我们并不总是知道语音数据的失真类型,我们分析了二进制域和多域设置,其中前者将所有失真的语音视为一个域,而后者将不同的失真视为不同的域。与监督训练方法相比,我们在目标域中获得了有希望的结果,其中语音数据被不同的失真所扭曲,包括测试过程中引入的新的不可见失真。
2022-07-25 cs.LG cs.SD eess.AS
DuSpaR: Dual-State Sparsifying Recurrent Unit with Feedback Modulation for Compute-Efficient Speech Processing
本文提出DuSpaR,一种双状态稀疏循环单元,通过ReLU稀疏化和反馈调制降低计算量,在KWS、SLU和SE任务上以更少计算实现更高或相当的性能。
2026-10-01 eess.AS
The X-LANCE Technical Report for Interspeech 2024 Speech Processing Using Discrete Speech Unit Challenge
Shanghai Jiao Tong University(上海交通大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);AISpeech Ltd(思必驰科技有限公司)
该报告介绍 SJTU X-LANCE 面向 Interspeech 2024 离散语音单元挑战赛的 TTS、SVS 与 ASR 系统,其 TTS 方案在完整数据和 1 小时数据设置下均排名第一。
2024-04-10 cs.AI eess.AS
Challenges and Opportunities in Multi-device Speech Processing
Amazon Alexa AI(亚马逊Alexa人工智能部门)
我们回顾了多设备家庭环境中的自动语音识别、关键字识别、设备仲裁、语音增强和源定位的当前解决方案和技术挑战,为INTERSPEECH 2022特别会议“多智能设备的信号处理和机器学习的挑战和机遇”提供背景。我们还确定了支持这些研究领域所需的数据集。在此基础上,结合我们在多器件领域的研究经验,对未来的发展进行了展望
2022-06-27 cs.LG eess.AS
SpeechOp: Inference-Time Task Composition for Generative Speech Processing
Cornell University(康奈尔大学);Adobe Research(Adobe研究)
SpeechOp通过适配预训练TTS模型构建多任务潜在扩散模型,并提出隐式任务组合(ITC)利用ASR转录指导语音增强,实现通用语音处理与最先进的内容保留。
2025-09-17 cs.LG eess.AS
Synthetic Speech Classification: IEEE Signal Processing Cup 2022 challenge
Independent University, Bangladesh(孟加拉国独立大学);Aalto University(阿尔托大学)
本项目为IEEE信号处理杯2022挑战赛设计了鲁棒的合成语音分类器,利用多种TTS算法生成的语音学习归因模型,对比了SVM、GMM及ResNet、VGG16等深度学习方法,发现基于原始数据的深度学习方法表现最佳。
2024-12-17 cs.SD eess.AS
Transformers in Speech Processing: A Survey
Queensland University of Technology(昆士兰理工大学);Information Technology University(信息科技大学);University of Lincoln(林肯大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);National University of Computer and Emerging Sciences(国家计算机与新兴科学大学);Qatar University(卡塔尔大学)
本文综述了Transformer在自动语音识别、合成、翻译、增强及多模态等语音处理各子领域中的应用、挑战与解决方案。
2025-06-04 cs.CL cs.SD eess.AS
SpeechFormer++: A Hierarchical Efficient Framework for Paralinguistic Speech Processing
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);UBTECH Robotics Corporation(优必选科技股份有限公司);iFLYTEK Corporation(科大讯飞股份有限公司)
副语言语音处理在解决许多问题,如情感和神经认知障碍分析中很重要。最近,Transformer在自然语言处理领域取得了显著的成功,并展示了它对语音的适应能力。然而,以前的工作Transformer在语音领域没有纳入语音的属性,留下的全部潜力Transformer未开发。在本文中,我们认为语音的特点,并提出了一个通用的结构为基础的框架,称为SpeechFormer++,用于非语言语音处理。更具体地说,遵循语音信号中的分量关系,我们设计了一个单元编码器来对单元内和单元间信息(即,框架、音素和单词)。根据语音信号的层次关系,利用合并块生成不同粒度的特征,与语音信号的结构模式相一致。此外,引入了一个字编码器,将字粒度的特征集成到每个单元编码器中,有效地平衡了细粒度和粗粒度的信息。SpeechFormer++在语音情感识别(IEMOCAP & MELD)、抑郁症分类(DAIC-WOZ)和阿尔茨海默病检测(Pitt)任务上进行了评估。结果表明,SpeechFormer++的性能优于标准的Transformer,同时大大降低了计算成本。此外,与最先进的方法相比,它提供了更好的结果。
2023-02-27 cs.CL cs.SD eess.AS
ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM Watson人工智能实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
针对现有语音语言模型主流训练范式在韵律学习上的不足,提出ProsodyLM,通过引入便于学习韵律的词级韵律tokenization方案,使模型仅通过预训练即可获得多样化的新兴韵律处理能力。
2025-08-07 cs.CL eess.AS
Brain-tuned Speech Models Better Reflect Speech Processing Stages in the Brain
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文发现脑调谐语音模型后期层与语义脑区对齐显著提升,并形成从声学到语义的清晰层级处理,使其更适于模拟人类语音处理。
2025-06-04 cs.CL cs.SD eess.AS
Perceptive, non-linear Speech Processing and Spiking Neural Networks
Université de Sherbrooke(舍布鲁克大学);Université du Québec à Chicoutimi(魁北克大学希库蒂米分校);Graz University of Technology(格拉茨工业大学)
在含噪和失真语音的背景下,声源分离和语音识别是非常困难的。大多数传统的技术需要巨大的数据库来估计语音(或噪声)密度概率,以执行分离或识别。我们讨论了潜在的感知语音分析和处理结合生物学上合理的神经网络处理器。我们说明了潜在的这种非线性处理语音的声源分离系统的启发听觉景物分析范例。我们还讨论了一个潜在的应用在语音识别。
2022-03-31 cs.SD eess.AS q-bio.NC
High-Quality Vocoding Design with Signal Processing for Speech Synthesis and Voice Conversion
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
这个博士本论文的重点是开发一个高质量的语音合成和语音转换系统。基于声码器的语音分析、处理和合成在各种统计参数语音研究中起着至关重要的作用。虽然存在产生接近自然合成语音的声码方法,但是它们通常在计算上是昂贵的,并且因此不适合于实时实现,特别是在嵌入式环境中。因此,需要简单且计算上可行的数字信号处理算法来生成高质量且听起来自然的合成语音。在本论文中,我提出了一种提取最佳声学特征的解决方案和一种新的波形发生器,通过应用深度学习的进步来实现更高的音质和转换精度。该方法在计算上仍然有效。这一挑战产生了五个论文组,简要概述如下。
2021-01-25 cs.SD eess.AS
Self-supervised Rewiring of Pre-trained Speech Encoders: Towards Faster Fine-tuning with Less Labels in Speech Processing
Monash University(莫纳什大学)
预先训练的语音Transformers在各种语音处理任务中取得了巨大成功。然而,为下游任务微调这些编码器需要足够大的训练数据来收敛或实现最新技术水平。在文本域中,这部分归因于预训练的Transformers中的表示空间的次优性。在这项工作中,我们对预先训练的语音编码器进行了冷静的研究,并重新构建了它们的表示空间,而不需要任何特定于任务的标签。我们的方法利用中性合成版本的音频输入以及帧掩蔽来构建对比自监督学习的正对。当用于增强wav2vec 2编码器时,我们观察到表示空间中的各向同性的一致改进。我们的实验6语音处理任务,表现出显着的收敛加速任务微调以及一致的任务改进,特别是在低资源设置。
2022-10-24 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University(阿联酋大学);National University of Science & Technology(国家科学技术大学)
自动语音识别(ASR)系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能,但是对于所有感兴趣的语言而言,获取大的标记数据集可能是困难的或昂贵的。在本文中,我们回顾了研究文献,以确定可能导致完全无监督ASR的模型和想法,包括语音信号的无监督分割,从语音段到文本的无监督映射,以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性,并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
WenetSpeech-Wu: Datasets, Benchmarks, and Models for a Unified Chinese Wu Dialect Speech Processing Ecosystem
Beijing AISHELL Technology Co., Ltd.(北京AISHELL科技有限公司);WeNet Open Source Community(WeNet开源社区);Moonstep AI;Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);YK Pao School(YK Pao学校)
本文提出首个吴语语音处理数据集、基准和模型,涵盖语音识别、翻译、情感识别等任务,推动吴语语音处理生态系统发展。
2026-01-16 cs.SD eess.AS
Examining the Interplay Between Privacy and Fairness for Speech Processing: A Review and Perspective
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所);Technical University of Denmark(丹麦技术大学)
本文综述了语音处理全生命周期中隐私与公平性之间被忽视的相互作用,揭示隐私增强技术可能加剧偏见、偏见缓解可能削弱隐私,并呼吁开发兼顾隐私与公平性的算法。
2024-09-05 cs.SD eess.AS
The Interspeech 2024 Challenge on Speech Processing Using Discrete Units
Carnegie Mellon University(卡内基梅隆大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学)
本文介绍 Interspeech 2024 挑战赛,围绕离散单元语音处理设置多语言识别、语音合成和歌声合成三项任务,并总结基线及提交系统结果,为后续研究提供参考。
2024-06-11 cs.SD eess.AS
A Review of Multi-Objective Deep Learning Speech Denoising Methods
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文对文献中引入的用于语音去噪的多目标深度学习方法进行了回顾。在概述了传统的单目标深度学习以及传统和深度学习的混合或组合方法之后,对用于语音去噪的多目标深度学习方法的数学框架进行了回顾。从每个语音去噪类别,其代码是公开的,选择一个代表性的方法,并进行比较,考虑到相同的公共领域数据集和四个广泛使用的客观指标。比较结果表明,多目标方法与其他方法相比,特别是当信噪比较低时,是有效的。还提到了未来可能实现的改进。
2020-03-26 cs.SD eess.AS eess.SP
Direct Speech to Speech Translation: A Review
Aligarh Muslim University(阿里格尔穆斯林大学)
本文综述了直接语音到语音翻译技术,对比级联模型与端到端直接模型的优劣,指出直接模型在保留韵律和降低延迟方面的优势及其在数据、算力和低资源语言上的挑战,并展望未来方向。
2025-03-03 cs.CL cs.SD eess.AS
NEST: Self-supervised Fast Conformer as All-purpose Seasoning to Speech Processing Tasks
NVIDIA(英伟达)
提出NEST,一种基于FastConformer的高效自监督语音学习框架,采用固定随机投影和噪声增强,在多项语音任务上达到最先进性能。
2025-01-18 cs.SD eess.AS
Automatic Speech Recognition with BERT and CTC Transformers: A Review
USTHB University(阿尔及利亚科学与技术大学);University of MEDEA(迈代阿大学);College of Engineering and Information Technology, University of Dubai(迪拜大学工程与信息技术学院)
本综述全面分析了BERT和CTC transformers在自动语音识别中的最新进展,阐述了其架构、应用、相关研究及局限性,为研究人员和从业者提供了有价值的见解。
2024-10-12 cs.CL eess.AS
A processing framework to access large quantities of whispered speech found in ASMR
KTH Royal Institute of Technology(KTH皇家理工学院)
耳语是人类日常使用的一种无处不在的交流方式。尽管如此,由于资源和处理方法的短缺,现有的语音技术对耳语音的服务很差。为了弥补这一点,本文提供了一个处理框架,使访问大的和独特的高质量的耳语语音数据。我们从提交给在线平台的录音中获取数据,作为ASMR媒体文化现象的一部分。我们描述了我们的处理流水线和改进的耳语活动检测(WAD)的ASMR数据的方法。为了有效地获得标记,干净的耳语,我们补充自动WAD使用Edyson,批量音频注释工具与人在循环。我们还解决了ASMR特有的一个问题:将耳语与流派中存在的其他声学触发器分离。我们表明,建议的WAD和有效的标签允许建立广泛增强的数据和训练分类器,提取干净的耳语段ASMR音频。我们庞大且不断增长的数据集支持具有耳语能力的数据驱动语音技术和语言分析。它还在例如HCI中开辟了机会,作为可能引起听众的情感,心理和神经生理反应的资源。
2023-03-13 cs.SD eess.AS
Review of end-to-end speech synthesis technology based on deep learning
Xi'an Jiaotong University(西安交通大学)
语音合成技术作为现代人机交互系统中不可或缺的一部分,帮助用户更方便、更直观地获得智能机器的输出,因而受到越来越多的关注。由于传统语音合成技术复杂度高、效率低的局限性,目前的研究热点是基于深度学习的端到端语音合成技术,它具有更强大的建模能力和更简单的流水线。它主要由三个模块组成:文本前端、声学模型和声码器。本文对这三部分的研究现状进行了综述,并对各种方法按侧重点进行了分类和比较。此外,本文还总结了可用于语音合成任务的英语、汉语等语言的开源语音语料库,并介绍了一些常用的主观和客观语音质量评价方法。最后指出了未来的研究方向。
2021-04-20 cs.CL cs.SD eess.AS
Cross-lingual Transfer for Speech Processing using Acoustic Language Similarity
Carnegie Mellon University(卡内基梅隆大学)
语音处理系统目前不支持绝大多数语言,部分原因是缺乏低资源语言的数据。跨语言传输通过将高资源数据纳入低资源系统,为帮助弥合这一数字鸿沟提供了一种引人注目的方式。目前的跨语言算法已经在基于文本的任务和语音相关的任务中取得了成功,超过了一些低资源语言。然而,扩展语音系统以支持数百种低资源语言仍然没有解决。为了帮助弥合这一差距,我们提出了一种语言相似性的方法,可以有效地识别声学跨语言迁移对数百种语言。我们证明了我们的方法在语系分类,语音识别,和语音合成任务的有效性。
2021-11-02 cs.CL cs.SD eess.AS
WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing
Microsoft(微软)
自监督学习(SSL)在语音识别中取得了巨大的成功,而在其他语音处理任务中的探索却很有限。由于语音信号包含多方面的信息,包括说话人身份、语言、口语内容等,学习所有语音任务的通用表示是具有挑战性的。为了解决这个问题,我们提出了一个新的预训练模型WavLM,来解决全栈下游语音任务。WavLM在预训练中联合学习掩蔽语音预测和去噪。通过这种方式,WavLM不仅通过掩蔽语音预测保持了语音内容建模能力,而且通过语音去噪提高了非ASR任务的潜力。此外,WavLM采用门控相对位置偏置的Transformer结构,以更好地捕捉输入语音的序列排序。我们还将训练数据集从60k小时扩展到94k小时。WavLM Large在SUPERB基准测试中实现了最先进的性能,并在其代表性基准测试中为各种语音处理任务带来了显着改进。代码和预训练模型可在https://aka.ms/wavlm上获得。
2022-06-17 cs.CL cs.SD eess.AS
ParsiNorm: A Persian Toolkit for Speech Processing Normalization
University of Tehran(德黑兰大学)
通常,语音处理模型由语言模型和声学模型组成。无论语言模型的复杂性和变体如何,语言模型都需要三个关键的预处理步骤:清理、规范化和标记化。在上述步骤中,规范化步骤对于纯文本应用中的格式统一至关重要。然而,对于语音处理模块中的嵌入式语言模型,规范化不限于格式统一。此外,它必须转换每个可读的符号,数字等,如何发音。据我们所知,目前还没有针对语音处理模块中嵌入式语言模型的波斯语规范化工具包,因此在本文中,我们提出了一个用于语音应用中文本处理的开源规范化工具包。简单地说,我们考虑不同的可读波斯语文本,如符号(常见货币,#,@,URL等),数字(日期、时间、电话号码、国家代码等),通过与现有的波斯语文本归一化工具的比较,表明了该方法在语音处理中的优越性。此外,比较模型的性能与其他常见的自然语言库,如HAZM和Parsivar的建议的功能(句子分离)之一,表明所提出的方法的适当性能。此外,它的一些波斯语维基百科数据的评估证实了适当的性能所提出的方法。
2021-12-15 cs.CL cs.LG eess.AS
Towards Advanced Speech Signal Processing: A Statistical Perspective on Convolution-Based Architectures and its Applications
IIT Kanpur(印度理工学院坎普尔分校)
本文综述基于卷积的语音信号处理模型(如CNNs、Conformers等)的统计背景与多场景应用,通过对比训练成本、模型大小等指标分析各模型优劣,为语音技术发展提供研究方向。
2024-11-20 cs.AI cs.CL cs.SD
SpeechRefiner: Towards Perceptual Quality Refinement for Front-End Algorithms
School of Data Science(数据科学学院);School of Intelligence Science and Technology(智能科学与技术学院);Tencent Ethereal Audio Lab(腾讯虚实音频实验室)
针对语音前端算法易产生残留噪声或伪影且难被SI-SNR等指标察觉的问题,提出基于CFM的后处理工具SpeechRefiner,实验证明其对多种损伤来源泛化性强,能显著提升语音感知质量。
2025-06-16 cs.SD eess.AS
Mamba in Speech: Towards an Alternative to Self-Attention
School of Electrical Engineering and Telecommunications, The University of New South Wales (UNSW)(新南威尔士大学电子工程与电信学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院);School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院);Guangdong Provincial Key Laboratory of Big Data Computing, The Chinese University of Hong Kong (Shenzhen)(广东大数据计算省级重点实验室,香港中文大学(深圳));Shenzhen Research Institute of Big data, Shenzhen(深圳大数据研究 institute)
本文探索将Mamba应用于语音识别与增强任务,发现双向Mamba(BiMamba)优于原始Mamba,可作为Transformer自注意力模块的有效替代,尤其在语义感知任务中表现突出。
2025-04-27 cs.SD eess.AS
TS-SUPERB: A Target Speech Processing Benchmark for Speech Self-Supervised Learning Models
Brno University of Technology(布拉格技术大学);NTT Corporation(NTT公司)
本文提出 TS-SUPERB 基准,通过四类目标说话人任务评估语音 SSL 模型,并用统一编码器验证跨任务联合优化的效果。
2025-05-10 cs.CL cs.SD eess.AS
Silent Speech Interfaces for Speech Restoration: A Review
University of Granada(格拉纳达大学)
本文综述了无声语音接口(SSI)的研究现状。SSI依赖于在语音产生期间由人体产生的非声学生物信号,以在正常的口头通信不可能或不期望时实现通信。在这篇综述中,我们专注于第一例,并提出最新的SSI研究,旨在为严重言语障碍的人提供新的替代和增强的沟通方法。SSI可以采用各种生物信号来实现无声通信,例如神经活动的电生理记录、声道运动的肌电图(EMG)记录或使用成像技术直接跟踪咬合架运动。根据疾病的不同,一些传感技术可能比其他技术更适合捕捉语音相关信息。例如,肌电图和成像技术非常适合喉切除术患者,他们的声道几乎保持完整,但在声带切除后无法说话,但对于严重瘫痪的人来说却失败了。SSI使用自动语音识别或语音合成算法从生物信号中解码预期消息。尽管近年来取得了相当大的进展,但目前大多数SSI仅在实验室环境中对健康用户进行了验证。因此,如本文所讨论的,一些挑战仍有待解决,在未来的研究,然后才可以推广到现实世界的应用。如果这些问题能够得到成功解决,未来的SSI将通过恢复他们的沟通能力来改善严重语言障碍者的生活。
2020-09-27 cs.HC cs.LG eess.AS
Parameter Efficient Transfer Learning for Various Speech Processing Tasks
Tokyo Institute of Technology(东京工业大学)
自监督模型的微调在包括语音处理在内的各种领域中是一种强大的迁移学习方法,因为它可以利用从大量未标记数据中获得的通用特征表示。然而,微调需要为每个下游任务设置新的参数,这是参数低效的。适配器架构被提出来部分解决这个问题,通过将轻量级的可学习模块插入到冻结的预训练模型中。然而,现有的适配器架构无法自适应地利用存储在不同层中的低到高级别的功能,这是解决各种语音处理任务所必需的。因此,我们提出了一个新的适配器架构,以获得各种语音任务的特征表示更灵活。在实验中,我们将此适配器WavLM四个语音任务。它的性能与朴素的微调相当或更好,只有11%的可学习参数。它还优于现有的适配器架构。
2022-12-06 cs.MM cs.SD eess.AS
An Overview on Audio, Signal, Speech, & Language Processing for COVID-19
TCS Research India(塔塔咨询服务公司印度研究院);University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
最近,人们越来越关注创新、增强、构建和部署语音信号处理的应用,以向人类提供冠状病毒(COVID-19)大流行的援助和救济。许多带有语音的人工智能举措都是为了应对目前的情况,并为未来创造一个安全可靠的环境。本文总结了研究界在过去3-4个月利用语音信号处理帮助个人和社会抗击COVID-19所做的所有这些努力。我们还总结了在这个方向上使用的深层技术,以便在短时间内提出有能力的解决方案。本文进一步概述了非语音模态的贡献,可以补充或作为音频和语音分析的灵感。此外,我们讨论我们的意见,解决方案的可用性,挑战和重大的技术成就。
2020-05-18 cs.CY cs.SD eess.AS
Towards the Objective Speech Assessment of Smoking Status based on Voice Features: A Review of the Literature
Massey University(梅西大学);University of Auckland(奥克兰大学)
在戒烟临床研究和实践中,对自我报告的吸烟状态进行客观验证对于确保主要结局(即戒烟)的可靠性至关重要。语音信号传达关于说话者的重要信息,诸如年龄、性别、体型、情绪状态和健康状态。我们研究了(1)吸烟是否可以明显改变声音特征,(2)戒烟是否会导致声音变化,以及(3)基于声音的吸烟状态评估是否有可能用作客观的戒烟验证方法。
2021-06-15 cs.SD eess.AS
Word-level Embeddings for Cross-Task Transfer Learning in Speech Processing
Swiss Federal Institute of Technology Lausanne(洛桑联邦理工学院);Imperial College London(伦敦帝国学院);Logitech Europe S.A.(罗技欧洲公司)
深度学习的最新突破通常依赖于表示学习和知识转移。近年来,用于学习语音表示的无监督和自监督技术被开发以促进自动语音识别。到目前为止,这些方法中的大多数是特定于任务的,并且被设计用于不同数据集或特定任务的设置之间的任务内迁移学习。反过来,学习任务独立的语音表示和迁移学习的跨任务应用仍然不太常见。在这里,我们介绍了一个编码器捕捉词级表示的语音跨任务迁移学习。我们展示了预训练编码器在四个不同的语音和音频处理任务中的应用:(i)语音增强,(ii)语言识别,(iii)语音,噪声和音乐分类,以及(iv)说话人辨识。在每个任务中,我们将跨任务迁移学习方法的性能与特定任务的基线进行比较。我们的研究结果表明,编码器通过预训练捕获的语音表示在不同的语音处理任务和数据集之间是可转移的。值得注意的是,即使是我们预先训练的编码器的简单应用程序也优于特定于任务的方法,或者是相当的,这取决于任务。
2021-12-14 cs.CL cs.SD eess.AS
Alzheimer's Disease Detection from Spontaneous Speech and Text: A review
College of Engineering Trivandrum(特里凡得琅工程学院);Rajiv Gandhi Institute of Technology(拉吉夫·甘地理工学院);APJ Abdul Kalam Technological University(阿卜杜勒·卡拉姆技术大学)
本文是一篇阿尔茨海默病语音检测综述,梳理了2020年以来15项相关研究的常用数据集、声学与语言特征工程分类模型,指出结合两类特征可提升检测准确率,语音可作为可靠生物标志物。
2023-07-19 cs.SD eess.AS
ClearerVoice-Studio: Bridging Advanced Speech Processing Research and Practical Deployment
Tongyi Lab(通义实验室)
本文提出开源AI语音处理工具包ClearerVoice-Studio,专注语音增强、分离等任务,提供FRCRN等先进预训练模型及SpeechScore评估工具,有效连接前沿研究与实际部署。
2025-06-24 cs.SD eess.AS
Comparing Self-Supervised Learning Models Pre-Trained on Human Speech and Animal Vocalizations for Bioacoustics Processing
Idiap Research Institute(Idiap研究所);Ecole polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本文比较了在人类语音和动物发声上预训练的自监督学习模型在生物声学任务中的表现,发现语音预训练模型已足够稳健,生物声学预训练仅带来边际改进,大量微调可能并非必要。
2025-01-19 cs.LG eess.AS
Detecting gamma-band responses to the speech envelope for the ICASSP 2024 Auditory EEG Decoding Signal Processing Grand Challenge
Imperial College London(帝国理工学院)
本文提出联合利用高频 gamma 频段语音包络响应与低频包络跟踪的匹配—不匹配 EEG 解码器,在 ICASSP 2024 听觉 EEG 挑战赛相关任务中取得第一名。
2024-01-30 cs.SD eess.AS
Should We Always Separate?: Switching Between Enhanced and Observed Signals for Overlapping Speech Recognition
NTT Corporation(日本电报电话公司)
尽管深度学习技术的最新进展改善了自动语音识别(ASR),但当语音与其他人的声音重叠时,仍然很难识别语音。语音分离或提取通常用作ASR的前端以处理这种重叠语音。然而,基于深度神经网络的语音增强会产生“处理伪像”,这是增强的副作用,会降低ASR性能。例如,众所周知,针对非语音噪声(非重叠语音)的单通道降噪通常不会改善ASR。同样地,当用分离/提取方法处理重叠语音时,处理伪像在某些条件下也可能对ASR有害,尽管通常认为分离/提取改善了ASR。为了回答这个问题,我们总是必须从混合物中分离/提取语音吗?“,我们分析了在各种噪声和干扰条件下观察到的和增强的语音的ASR性能,并且表明语音增强在某些条件下甚至对于重叠语音也会降低ASR。基于这些发现,我们提出了一个简单的切换算法之间的观察和增强语音的基础上估计的信号干扰比和信噪比。我们的实验表明,这样一个简单的切换机制可以提高识别性能时,处理文物是有害的ASR。
2021-06-02 cs.SD eess.AS
Relating EEG to continuous speech using deep neural networks: a review
KU Leuven(鲁汶大学)
本文综述29项基于深度学习的EEG与连续语音关联研究,指出方法学缺陷,提出标准基准分析要求,为该新兴领域研究提供参考。
2023-06-16 cs.SD eess.AS
Losses Can Be Blessings: Routing Self-Supervised Speech Representations Towards Efficient Multilingual and Multitask Speech Processing
Georgia Institute of Technology(佐治亚理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Rice University(莱斯大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出 S$^3$-Router 框架,通过仅微调连接并丢弃不超过 10% 的语音自监督模型权重,在提升效率的同时缓解过拟合,实现多语言多任务语音处理、ASR 剪枝与表示分析的一体化方案。
2025-01-04 cs.LG cs.SD eess.AS
A Review of Differentiable Digital Signal Processing for Music & Speech Synthesis
Queen Mary University of London(伦敦玛丽女王大学);Imperial College London(帝国理工学院)
本文综述可微数字信号处理在音乐与语音合成中的应用,分类介绍其任务、动机、可微操作,并指出优化、鲁棒性及设计权衡等挑战与未来方向。
2023-08-29 cs.SD eess.AS
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学);Tongji University(同济大学);Microsoft(微软);Peng Cheng Laboratory(鹏城实验室)
受T5(Text-To-Text Transfer Transformer)在预训练自然语言处理模型中的成功启发,我们提出了一个统一模态SpeechT5框架,该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态(语音/文本)的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后,共享的编码器-解码器网络对序列到序列的变换进行建模,然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据,我们对SpeechT5进行了预训练,以学习统一的模态表示,希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中,我们提出了一种跨模态矢量量化方法,该方法将语音/文本状态与潜在单元随机混合,作为编码器和解码器之间的接口。广泛的评估表明,所提出的SpeechT5框架在各种各样的口头语言处理任务,包括自动语音识别,语音合成,语音翻译,语音转换,语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
SpeechPrompt: An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks
Amazon Inc.(亚马逊公司);Meta AI
从自监督学习(SSL)模型学习的语音表示可以有益于各种语音处理任务。然而,使用SSL表示通常需要微调预训练的模型或设计特定于任务的下游模型和损失函数,这会导致大量内存使用和人力劳动。最近,自然语言处理(NLP)中的提示已被发现是利用预训练语言模型(LM)的有效技术。具体来说,即时调优使用固定的预训练模型优化了有限数量的特定于任务的参数;因此,每个任务只需要存储一小部分参数。即时调优通过利用预训练的LM的预测能力来提高计算和内存效率。然而,这样一种范式在言语界却鲜有研究。本文报告了基于生成口语模型(GSLM)的语音处理任务的提示调谐范式的第一次探索。实验结果表明,即时调整技术在语音分类任务中取得了竞争力的性能与更少的可训练参数比微调专门的下游模型。我们进一步研究了具有挑战性的序列生成任务的技术。快速调谐也展示了它的潜力,同时本文也讨论了它的局限性和可能的研究方向。源代码可在https://github.com/ga642381/SpeechPrompt上获得。
2022-07-10 cs.CL cs.LG cs.SD