Universal Sound Separation
Google(谷歌)
最近的深度学习方法在语音增强和分离任务上取得了令人印象深刻的性能。然而,这些方法还没有被研究用于分离不同类型的任意声音的混合物,我们称之为通用声音分离的任务,并且不知道语音任务的性能如何转移到非语音任务。为了研究这个问题,我们开发了一个包含任意声音的混合物数据集,并使用它来研究基于掩码的分离架构的空间,改变整体网络架构和信号转换的逐帧分析-合成基础。这些网络架构包括卷积长短期记忆网络和时间扩张卷积堆栈,其灵感来自最近成功的时域增强网络,如ConvTasNet。对于后者的架构,我们还提出了新的修改,进一步提高分离性能。在逐帧分析-合成基础方面,我们探索了短时傅立叶变换(STFT)和可学习的基础,如ConvTasNet中所使用的。对于这两个基地,我们还研究了窗口大小的影响。特别是,对于STFT,我们发现较长的窗口(25-50 ms)最适合语音/非语音分离,而较短的窗口(2.5 ms)最适合任意声音。对于可学习的基础,较短的窗口(2.5 ms)对所有任务都最有效。令人惊讶的是,对于通用的声音分离,STFT优于可学习的基础。我们最好的方法产生的改进,在尺度不变的信号失真比超过13 dB的语音/非语音分离和接近10 dB的通用声音分离。
2019-08-02 cs.LG cs.SD eess.AS
COVID-19 and Computer Audition: An Overview on What Speech & Sound Analysis Could Contribute in the SARS-CoV-2 Corona Crisis
Imperial College London(伦敦帝国学院);University of Augsburg(奥格斯堡大学);audEERING GmbH(audEERING有限公司);The University of Tokyo(东京大学)
在撰写本报告时,自三个多月前冠状病毒(现正式称为SARS-CoV-2)爆发以来,世界人口正遭受超过10,000例登记的COVID-19疾病流行导致的死亡。自那时以来,全世界作出了巨大努力,以对抗和控制目前被称为大流行病的流行病。在这方面的贡献,我们提供了一个概述的潜力,计算机试听(CA),即,通过人工智能使用语音和声音分析来帮助解决这个问题。我们首先调查哪些类型的相关或上下文显着的现象可以自动评估从语音或声音。这些包括自动识别和监测呼吸,干和湿咳嗽或打喷嚏的声音,寒冷下的言语,饮食行为,嗜睡或疼痛,仅举几例。然后,我们考虑潜在的利用用例。这些包括基于症状直方图及其随时间的发展的风险评估和诊断,以及对传播、社交距离及其影响、治疗和康复以及患者健康的监测。我们快速引导进一步通过挑战,需要面对现实生活中的使用。我们得出的结论是,CA似乎已经准备好实施(预)诊断和监测工具,并且更普遍地提供了丰富和重要的,但迄今为止尚未开发的潜力,以对抗COVID-19的传播。
2020-03-24 cs.CL cs.LG cs.SD
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley(加州大学伯克利分校);FAIR, Meta(Meta FAIR研究院);University of Michigan(密歇根大学)
提出基于自监督的视听声景风格化方法,利用latent diffusion模型和自然视频中的重复声音事件,将目标场景的声音特性迁移至输入语音,并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
When Humans Growl and Birds Speak: High-Fidelity Voice Conversion from Human to Animal and Designed Sounds
NC AI Co., Ltd(NC AI有限公司);Sogang University(西江大学)
本研究提出面向动物及设计声音的高保真人类到非人类语音转换方法,通过引入预处理管道与改进的基于CVAE的模型,在44.1kHz下实现多样非语音声音生成,并在质量、自然度与相似度MOS上超越基线。
2025-05-30 cs.AI cs.LG cs.SD
Let There Be Sound: Reconstructing High Quality Speech from Silent Videos
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出一种新颖的lip-to-speech系统,通过引入自监督语音表示消除同唇音歧义、声学方差信息建模语音风格,并采用基于流的post-net细化语音细节,显著缓解一对多映射问题,大幅提升了生成语音的自然度与可懂度。
2024-01-04 cs.AI cs.LG cs.SD
The "Sound of Silence" in EEG -- Cognitive voice activity detection
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
言语认知作为一种脑机接口具有潜在的应用价值,它可以改善交流障碍者的生活质量。虽然语音和静息状态EEG的研究是普遍的,在这里,我们试图探索一个“非语音”(NS)的大脑活动状态对应的语音音频的沉默区。首先从言语知觉的角度考察这种状态的存在,然后从言语想象的角度来确定这种状态。类似于如何使用语音活动检测来增强语音识别的性能,这里实现的EEG状态活动检测协议被应用于提高想象语音EEG解码的置信度。语音和NS状态的分类是使用从基于实验室和基于商业的设备收集的两个数据集来完成的。由此获得的状态序列信息被进一步用于减少想象EEG单元识别的搜索空间。NS状态的时间信号结构和地形图跨学科和会话可视化。观察到的识别性能和视觉区分证明了EEG中沉默签名的存在。
2020-10-12 cs.LG eess.SP q-bio.NC
Listening to Sounds of Silence for Speech Denoising
Columbia University(哥伦比亚大学);SoftBank Group Corp.(软银集团)
我们引入了一个用于语音去噪的深度学习模型,这是音频分析中的一个长期挑战,在许多应用中出现。我们的方法基于对人类语言的一个关键观察:每个句子或单词之间通常有一个短暂的停顿。在记录的语音信号中,这些停顿引入了一系列时间周期,在这些时间周期期间仅存在噪声。我们利用这些偶然的无声间隔来学习仅给定单通道音频的自动语音去噪模型。随着时间的推移检测到的无声间隔不仅暴露纯噪声,而且暴露其时变特征,从而允许模型学习噪声动态并从语音信号中抑制噪声。在多个数据集上的实验证实了无声间隔检测在语音去噪中的关键作用,我们的方法优于几种最先进的去噪方法,包括那些只接受音频输入的方法(如我们的方法)和那些基于视听输入的方法(因此需要更多信息)。我们还表明,我们的方法具有出色的泛化性能,例如对训练过程中看不到的口语进行去噪。
2020-10-22 cs.LG cs.SD eess.AS
Spectrotemporal Modulation: Efficient and Interpretable Feature Representation for Classifying Speech, Music, and Environmental Sounds
New York University(纽约大学);Queen Mary University of London(伦敦大学女王学院);Max Planck Society(马克斯·普朗克协会)
本文提出基于频谱时间调制(STM)特征的无预训练音频分类方法,在语音、音乐和环境声音上达到与预训练音频DNN相当的性能,证明STM高效且可解释,并为听觉科学、脑机接口和认知计算开辟新方向。
2025-05-29 cs.LG cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.(罗技欧洲股份公司)
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的,它们可以从称为房间脉冲响应(RIR)的房间测量中得出。然而,测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明,人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展,并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明,卷积循环神经网络在这项任务中表现最好,并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Aligning Brain Signals with Multimodal Speech and Vision Embeddings
Carnegie Mellon University(卡内基梅隆大学)
本文研究预训练模型不同层级的语音和视觉嵌入与自然语音感知EEG信号的对齐,发现结合多模态、层级感知表征有助于更深入解码大脑对语言的经验性理解。
2025-11-10 cs.AI cs.LG
Joint Sound Source Separation and Speaker Recognition
KU Leuven(鲁汶大学)
非负矩阵分解(NMF)已经被应用于从单个或非同时语音中学习说话人特征,用于说话人识别应用。它还以其在同时语音的(盲)声源分离中的良好性能而闻名。本文介绍了如何NMF可以用来联合解决这两个问题的多通道说话人识别器的同时语音。它示出了如何国家的最先进的盲声源分离的多通道NMF可以很容易地扩展到将说话人识别。CHiME语料库上的实验表明,该方法优于先应用声源分离,然后使用最先进的i-向量技术的说话人识别的顺序方法。
2016-04-29 cs.LG cs.SD
HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units
用于语音表示学习的自监督方法受到三个独特问题的挑战:(1)每个输入话语中存在多个声音单元,(2)在预训练阶段期间没有输入声音单元的词典,以及(3)声音单元具有可变长度,没有显式分割。为了解决这三个问题,我们提出了隐藏单元BERT(HuBERT)方法用于自监督语音表示学习,该方法利用离线聚类步骤为BERT类预测损失提供对齐的目标标签。我们的方法的一个关键成分是只在掩蔽区域上应用预测损失,这迫使模型在连续输入上学习组合的声学和语言模型。HuBERT主要依赖于无监督聚类步骤的一致性,而不是分配的聚类标签的内在质量。从一个简单的100个聚类的k-means老师开始,使用两次迭代的聚类,HuBERT模型在Librispeech(960 h)和Libri-light(60,000 h)基准测试上匹配或改进了最先进的wav 2 vec 2.0性能,并对子集进行了10分钟、1小时、10小时、100小时和960小时的微调。使用1B参数模型,HuBERT在更具挑战性的dev-other和test-other评估子集上显示出高达19%和13%的相对WER降低。
2021-06-14 cs.AI cs.CL cs.LG
AudioViewer: Learning to Visualize Sounds
University of British Columbia(不列颠哥伦比亚大学)
感官替代领域的一个长期目标是通过可视化音频内容来使聋人和听力困难(DHH)的人能够感知声音。与现有的翻译成手语的模型不同,在语音和文本之间,或者文本和图像之间,我们的目标是即时和低级别的音频到视频的翻译,适用于通用的环境声音以及人类语音。由于这种替代是人为的,没有监督学习的标签,我们的核心贡献是建立一个从音频到视频的映射,通过高级约束从未配对的示例中学习。对于演讲,我们还从风格中分离出内容,如性别和方言。包括人类研究在内的定性和定量结果表明,我们的非配对翻译方法在生成的视频中保留了重要的音频特征,并且面部和数字的视频非常适合可视化高维音频特征,这些特征可以由人类解析以匹配和区分声音和单词。代码和模型可在https://chunjinsong.github.io/audioviewer上获得
2022-11-10 cs.CV cs.HC cs.LG
Towards the Synthesis of Non-speech Vocalizations
University at Buffalo(布法罗大学)
本研究使用 DiffWave 框架在 Baby Chillanto 和 deBarbaro 数据集上实现无条件生成婴儿啼哭声,验证了其生成高保真、高多样性音频的能力。
2024-10-12 cs.LG cs.SD eess.AS
Towards Stealthy Backdoor Attacks against Speech Recognition via Elements of Sound
Hohai University(河海大学);RMIT University(皇家墨尔本理工大学);Sun Yat-sen University(中山大学);Delft University of Technology(代尔夫特理工大学);Tsinghua University(清华大学);Ant Group(蚂蚁集团)
本文针对语音识别中现有仅投毒后门攻击易被察觉的问题,利用音高与音色等声音要素设计隐蔽触发器,并通过实验验证其在多种设置下的有效性与隐蔽性。
2023-07-17 cs.CR cs.LG cs.SD
Stable Training of DNN for Speech Enhancement based on Perceptually-Motivated Black-Box Cost Function
National Institute of Technology, Tokuyama College(国立技术院德山高专);NTT Media Intelligence Laboratories(NTT媒体智能实验室);Waseda University(早稻田大学)
提高增强信号的主观音质是语音增强的重要任务之一。为了评估主观质量,已经提出了与感知激励的客观声音质量评估(OSQA)相关的几种方法,诸如PESQ(语音质量的感知评估)。然而,在大多数情况下,不允许直接使用这些测量来训练深度神经网络(DNN),因为流行的OSQA对于DNN参数是不可微的。因此,先前的研究提出了通过辅助DNN来近似OSQA的得分,以便其梯度可以用于训练主DNN。这种方法的一个问题是由分数的近似误差引起的训练不稳定。为了克服这个问题,我们建议使用从强化学习中借用的稳定技术。以提高PESQ得分为例进行的实验表明,所提出的方法(i)可以稳定地训练DNN以提高PESQ,(ii)在公共数据集上实现了最先进的PESQ得分,(iii)比基于主观评价的传统方法产生了更好的声音质量。
2020-02-14 cs.LG cs.SD eess.AS
The Sound of Silence: Efficiency of First Digit Features in Synthetic Audio Detection
University of Padova(帕多瓦大学)
最近生成神经策略和音频处理技术的集成促进了合成语音合成或变换算法的广泛应用。事实证明,这种能力在许多法律和信息流程(新闻、生物识别认证、法庭音频证据等)中是有害的。因此,有效的检测算法的发展是至关重要的和具有挑战性的,由于伪造技术的异质性。这项工作研究了合成语音检测中的静音部分的歧视性作用,并显示了如何从MFCC系数提取的第一位统计数据可以有效地实现鲁棒检测。所提出的过程是计算轻量级的,并且在许多不同的算法上是有效的,因为它不依赖于大型神经检测架构,并且在ASVSpoof数据集的大多数类中获得了90%以上的准确度。
2022-10-06 cs.CR cs.LG cs.SD
Speaker and Posture Classification using Instantaneous Intraspeech Breathing Features
Middle East Technical University(中东技术大学)
从语音中提取的声学特征被广泛应用于生物识别说话人辨识和第一人称活动检测等问题。然而,出于这种目的使用语音会引起隐私问题,因为处理方可以访问内容。在这项工作中,我们提出了一种方法,扬声器和姿势分类使用intraspeech呼吸声。使用希尔伯特-黄变换(HHT)提取瞬时幅度特征,并将其输入CNN-GRU网络,用于对我们为本研究收集的开放式内呼吸声数据集BreathBase的记录进行分类。使用intraspeech呼吸音,87%的扬声器分类,98%的姿势分类准确率。
2020-05-25 cs.LG cs.SD eess.AS