Few-Shot Speaker Identification Using Depthwise Separable Convolutional Network with Channel Attention
South China University of Technology(华南理工大学);Guangdong Polytechnic of Science and Technology(广东科学技术职业学院)
虽然Few-Shot学习在图像和音频分类领域引起了广泛的关注,但很少有人在Few-Shot说话人识别方面做出努力。在Few-Shot学习任务中,过拟合是一个棘手的问题,主要是由于训练和测试条件之间的不匹配。在本文中,我们提出了一个Few-Shot说话人识别方法,可以减轻过拟合问题。在所提出的方法中,使用原型损失函数来训练具有信道注意力的深度可分离卷积网络的模型。实验数据集是从三个公开的语音语料库:Aishell-2,VoxCeleb 1和TORGO。实验结果表明,该方法优于国家的最先进的方法Few-Shot说话人识别的准确性和F值。
2022-04-24 cs.SD eess.AS
Graph Convolutional Network Based Semi-Supervised Learning on Multi-Speaker Meeting Data
Alibaba(阿里巴巴)
说话人的无监督聚类由于其在半监督学习中的潜在用途而变得越来越重要。在现实中,我们经常从多方会议和讨论中获得大量未标记的数据。一个有效的无监督聚类方法将使我们能够显着增加训练数据的数量,而无需额外的注释成本。最近,基于图卷积网络(GCN)的方法在无监督聚类中受到越来越多的关注,因为这些方法利用节点之间的连接模式来提高学习性能。在这项工作中,我们提出了一种基于GCN的半监督学习方法。给定一个预训练的嵌入提取器,一个图卷积网络在标记的数据上训练,并用“伪标签”聚类未标记的数据。我们提出了一种自校正训练机制,该机制迭代地在伪标签上运行聚类训练校正过程。我们表明,该方法有效地使用未标记的数据,提高了说话人识别的准确性。
2022-04-25 cs.SD eess.AS
Online Localization and Tracking of Multiple Moving Speakers in Reverberant Environments
Inria Grenoble Rhône-Alpes(法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble-INP(格勒诺布尔国立高等物理、数学与信息学院);GIPSA-lab(GIPSA实验室)
我们解决的问题,在线定位和跟踪多个移动扬声器在混响环境。本文有以下贡献。我们使用的直接路径相对传递函数(DP-RTF),一个通道间的功能,编码的声学信息对混响鲁棒性,我们提出了一个在线算法,非常适合估计DP-RTF与移动音频源。所提出的方法的另一个关键因素是它能够正确分配DP-RTF音频源方向。为了实现这一目标,我们采用了最大似然公式,我们建议使用指数梯度(EG),以有效地更新源方向的估计,从他们目前可用的值。多个扬声器跟踪的问题是计算上棘手的,因为观察到的源方向和物理扬声器之间的可能的关联的数量随时间呈指数增长。我们采用贝叶斯框架,我们提出了一个变分近似的后验滤波分布与多说话人跟踪,以及一个有效的变分期望最大化(VEM)求解器。建议的在线定位和跟踪方法进行了彻底评估,使用两个数据集,包含在真实环境中进行的记录。
2019-02-26 cs.SD eess.AS
Voice Conversion using Convolutional Neural Networks
Redwood Center for Theoretical Neuroscience(红木理论神经科学中心);UC Berkeley(加州大学伯克利分校)
人类的听觉系统能够区分数千个说话者的声音来源,但人们对听觉系统使用什么特征来做到这一点知之甚少。傅立叶变换能够捕捉扬声器的音调和谐波结构,但这本身证明不足以唯一地识别扬声器。剩下的结构,通常被称为音色,是识别说话人的关键,但我们对它知之甚少,在本文中,我们使用神经网络的最新进展,以操纵一个扬声器的声音到另一个不仅改变扬声器的音高,但音色。我们回顾了用神经网络构建的生成模型以及用于创建学习类比的神经网络的架构。我们将声音从一个说话者转换到另一个说话者的初步结果令人鼓舞。
2016-10-27 cs.SD stat.ML
ConVoice: Real-Time Zero-Shot Voice Style Transfer with Convolutional Network
Higher School of Economics(高等经济大学)
我们提出了一个神经网络的zero-shot语音转换(VC)没有任何并行或转录数据。我们的方法使用预先训练的模型,从说话人验证任务中获得的自动语音识别(ASR)和说话人嵌入。我们的模型是完全卷积和非自回归的,除了一个小的预先训练的递归神经网络用于扬声器编码。ConVoice可以转换任何长度的语音,而不会因其卷积架构而影响质量。我们的模型具有类似的国家的最先进的模型,同时非常快的质量。
2020-05-15 cs.SD eess.AS
Neural Predictive Coding using Convolutional Neural Networks towards Unsupervised Learning of Speaker Characteristics
在说话人识别、日记化和语音识别等应用中,学习特定于说话人的特征至关重要。本文提出了一种新的方法,我们称之为神经预测编码(NPC),学习说话人特定的特征,在一个完全无监督的方式从大量的未标记的训练数据,甚至包含许多非语音事件和多说话人的音频流。NPC框架利用了所提出的短期活动说话人平稳性假设,该假设假设两个时间上接近的短语音段属于同一说话人,因此可以对两个段的共性进行编码的共同表示应该捕获该说话人的声音特征。我们训练一个卷积深度连体网络,通过学习分离从音频流的未标记数据生成的“相同”与“不同”扬声器对来产生“扬声器嵌入”。在不同的场景下进行了两组实验,以评估NPC嵌入的强度,并与最先进的域内监督方法进行比较。首先,两个说话人辨识实验与不同的上下文长度进行的情况下,相对有限的说话人内通道的变化。NPC嵌入被发现在短时间实验中表现最好,并且它们为完整话语实验提供了i-向量的补充信息。其次,一个大规模的扬声器确认任务具有广泛的扬声器内通道的变化被采用作为上限实验,其中比较绘制与域监督方法。
2019-04-25 cs.CL cs.SD eess.AS
Deep Learning Based Stage-wise Two-dimensional Speaker Localization with Large Ad-hoc Microphone Arrays
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd(中国电信股份有限公司人工智能研究院(TeleAI))
本文提出基于深度学习的二维说话人定位方法,利用自组织麦克风阵列中各节点的卷积神经网络估计DOA,结合三角测量、聚类和节点选择算法,在模拟与真实数据上显著优于传统方法。
2024-04-01 cs.SD eess.AS
Audio Visual Speaker Localization from EgoCentric Views
University of Surrey(萨里大学);Tencent AI Lab(腾讯人工智能实验室);University of Science and Technology Beijing(北京科技大学)
针对自我中心移动视角下的视听说话人DOA估计,提出基于transformer的融合方法与视野消失训练策略,并构建模拟数据集,在多说话人真实基准上取得SOTA。
2023-09-28 cs.MM cs.SD eess.AS
Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification
West Virginia University(西弗吉尼亚大学)
本文提出了一种新的跨设备文本无关说话人确认架构。大多数用于说话人验证任务的最先进的深度架构都考虑Mel频率倒谱系数。相比之下,我们提出的Siamese卷积神经网络架构使用Mel频率谱图系数来受益于相邻谱时间特征的依赖性。此外,虽然频谱-时间特征已被证明是非常可靠的说话人确认模型,他们只代表说话人的声音的短期声学水平特性的一些方面。然而,人类的声音包括几个语言层次,如声学,词汇,韵律和语音,可以利用在说话人确认模型。为了弥补频谱-时间特征中的这些固有缺点,我们建议通过部署多层感知器网络来增强所提出的Siamese卷积神经网络架构,以结合韵律,抖动和闪烁特征。所提出的端到端验证架构同时执行特征提取和验证。与传统的信号处理方法和深度算法相比,该架构在跨设备说话人确认方面有了显著的改进。
2018-07-31 cs.CV cs.LG cs.SD
Frequency and temporal convolutional attention for text-independent speaker recognition
Staqu Technologies(斯塔克技术公司)
大多数用于文本无关说话人识别的最近方法将注意力或类似技术应用于由深度神经网络(DNN)前端生成的帧级特征描述符的聚合。在本文中,我们提出了在基于卷积神经网络(CNN)的前端中独立建模时间和频率信息的卷积注意力方法。我们的系统利用卷积块注意模块(CBAM)[1]进行适当修改以适应频谱图输入。建议的CNN前端与建议的卷积注意力模块相匹配,在VoxCeleb [2,3]说话人验证基准上的性能明显优于无注意力和空间CBAM基线,并且我们的最佳模型在VoxCeleb 1测试集上实现了2:031%的相等出错率,显著改善了现有的最先进的结果。为了更全面地评估频率和时间注意力在现实世界条件下的影响,我们通过从输入频谱图中随机丢弃频率箱和时间帧来进行消融实验,得出的结论是,同时建模时间和频率注意力可以转化为更好的现实世界性能,而不是对任何一个实体进行建模。
2019-10-19 cs.LG cs.SD eess.AS
Speaker Diarization using Deep Recurrent Convolutional Neural Networks for Speaker Embeddings
Tooploox;Warsaw University of Technology(华沙理工大学);Polish-Japanese Academy of Information Technology(波兰日本信息技术学院)
在本文中,我们提出了一种新的说话人日记化方法,该方法采用深度学习架构来学习说话人嵌入。与使用手工制作的频谱特征构建扬声器嵌入的传统方法相比,我们提出了训练用于此目的的经常性卷积神经网络直接应用于幅度谱图。为了将我们的方法与最先进的方法进行比较,我们收集并向公众发布了一个额外的数据集,其中包含超过6小时的完全注释的广播材料。我们对新数据集和其他三个基准数据集的评估结果表明,我们提出的方法显着优于竞争对手,并降低了日志出错率的大幅幅度超过30%的基线。
2017-09-15 cs.MM cs.NE cs.SD
Cognitive-driven convolutional beamforming using EEG-based auditory attention decoding
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室);University of Oldenburg(奥尔登堡大学)
在多说话人环境下,语音增强算法的性能取决于正确识别要增强的目标说话人。听觉注意解码(AAD)方法允许从单次试验EEG记录中识别听者正在注意的目标说话者。针对增强目标说话人和抑制干扰说话人、混响和环境噪声的问题,本文提出了一种认知驱动的多麦克风语音增强系统,该系统结合了基于神经网络的掩蔽估计器、加权最小功率无失真响应卷积波束形成器和AAD。为了控制干扰扬声器的抑制,我们还提出了一个扩展,将干扰抑制约束。实验结果表明,该系统优于国家的最先进的认知驱动的语音增强系统在具有挑战性的混响和噪声条件。
2020-05-10 cs.SD eess.AS eess.SP
Speaker verification using attentive multi-scale convolutional recurrent network
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
提出注意力多尺度卷积循环网络 AMCRN,融合局部空间与全局时序信息学习说话人嵌入,并在 VoxCeleb 数据集上验证其更低错误率、更低资源开销及更强泛化性。
2023-06-01 cs.SD eess.AS
Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition with Source Localization
Johns Hopkins University(约翰斯·霍普金斯大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种新的范式,用于处理远场多说话人数据在一个端到端的神经网络的方式,称为定向自动语音识别(D-ASR),明确的模型源说话人的位置。在D-ASR中,源相对于麦克风阵列的方位角被定义为潜在变量。该角度控制分离的质量,这反过来又决定了ASR性能。D-ASR的所有三个功能:定位,分离和识别都连接为一个可微神经网络,并仅基于ASR错误最小化目标进行训练。与现有方法相比,D-ASR的优点有三个方面:(1)它提供了显式的说话人位置,(2)它提高了可解释性因子,(3)由于过程更加精简,它实现了更好的ASR性能。此外,D-ASR不需要像现有数据驱动的定位模型那样的显式波达方向(DOA)监督,这使得它更适合于现实数据。对于两个源混合的情况下,D-ASR实现了小于3度的平均DOA预测误差。它在分离质量和ASR性能方面也优于强大的远场多扬声器端到端系统。
2020-10-30 cs.CL cs.SD eess.AS
Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain
Ruhr University Bochum(波鸿鲁尔大学);NTT Corporation(日本电报电话公司)
估计多个说话者的位置对于自动语音识别或说话者日记化等任务可能是有帮助的。例如,当应用波束成形或分配唯一的扬声器身份时,这两种应用都受益于已知的扬声器位置。最近,已经提出了几种利用增强了视觉数据的声学信号来完成这项任务的方法。然而,声学和视觉模态都可能在特定的空间区域中被破坏,例如由于较差的照明条件或背景噪声的存在。本文提出了一种新的视听数据融合框架的扬声器定位分配个人的动态流权重的特定区域中的定位空间。这种融合是通过一个神经网络实现的,它结合了各个音频和视频跟踪器的预测,基于它们的时间和位置依赖的可靠性。一个性能评估使用视听记录产生有前途的结果,与建议的融合方法优于所有的基线模型。
2021-02-24 cs.AI cs.CL cs.CV
Real-time Speaker counting in a cocktail party scenario using Attention-guided Convolutional Neural Network
University of Texas at Dallas(德克萨斯大学达拉斯分校)
大多数当前的语音技术系统被设计为即使在存在多个活动说话者的情况下也能良好地操作。然而,大多数解决方案假设并流扬声器的数量是已知的。不幸的是,这些信息在实际应用中可能并不总是可用的。在这项研究中,我们提出了一个实时的,单通道的注意力引导卷积神经网络(CNN),以估计重叠语音中的活跃发言者的数量。所提出的系统使用CNN模型从语音频谱内容中提取更高级别的信息。接下来,注意力机制将提取的信息总结为紧凑的特征向量,而不会丢失关键信息。最后,使用完全连接的网络对活跃的说话人进行分类。使用WSJ语料库的模拟重叠语音的实验表明,注意力解决方案被证明比传统的时间平均池提高了近3%的绝对性能。所提出的注意力引导的CNN在加权准确率和平均召回率方面都达到了76.15%,并且在短至20帧的语音段上达到了75.80%的准确率(即,200 ms)。对于离线场景中的注意力引导模型,所有分类度量都超过92%,其中输入信号超过100帧长(即,1s)。
2021-10-30 cs.LG cs.SD eess.AS
ConvS2S-VC: Fully convolutional sequence-to-sequence voice conversion
NTT Communication Science Laboratories(NTT通信科学实验室);Nippon Telegraph and Telephone Corporation(日本电报电话公司)
本文提出了一种基于序列到序列(seq 2seq或S2 S)学习的语音转换(VC)方法,该方法不仅可以灵活地转换语音特征,还可以灵活地转换输入语音的音高轮廓和持续时间。所提出的方法称为ConvS 2S-VC,具有三个关键特征。首先,它使用具有完全卷积架构的模型。这是特别有利的,因为它适合于使用GPU的并行计算。这也是有益的,因为它使得诸如批量归一化的有效归一化技术能够用于网络中的所有隐藏层。第二,它实现了多对多的转换,同时学习多个扬声器之间的映射,使用一个单一的模型,而不是单独学习每个扬声器之间的映射使用不同的模型。这使得模型能够通过捕获可以在不同说话者之间共享的共同潜在特征来充分利用从多个说话者收集的可用训练数据。由于这种结构,我们的模型工作得相当好,即使没有源说话人的信息,从而使它能够处理任何到多的转换任务。第三,我们引入了一种机制,称为条件批量归一化,根据目标说话人切换批量归一化层。这种特殊的机制对于我们的多对多转换模型非常有效。我们进行了说话人身份转换实验,发现ConvS 2S-VC获得了更高的声音质量和说话人相似度比基线方法。我们还发现,从音频的例子,它可以在各种任务,包括情感表达转换,电喉语音增强,英语口音转换表现良好。
2020-10-06 cs.LG cs.SD eess.AS
Embedding Recurrent Layers with Dual-Path Strategy in a Variant of Convolutional Network for Speaker-Independent Speech Separation
Beijing University of Technology(北京工业大学)
近年来,随着深度神经网络(DNN)的发展,非特定人语音分离取得了显着的性能。从传统的卷积神经网络(CNN)和递归神经网络(RNN)到先进的Transformer,各种网络结构都被设计用于提高分离性能。然而,现有的模型在计算方面存在着模型规模大、内存消耗大、计算复杂等缺陷。为了找到性能和计算效率之间的平衡,并进一步探索传统网络结构的建模能力,我们将RNN和新提出的卷积网络变体结合起来,以解决语音分离问题。通过双路径策略将两个RNN嵌入到该变体的基本块中,该网络可以有效地学习局部信息和全局依赖性。此外,四阶段结构使得分离过程能够随着特征尺寸的增加而逐渐在越来越精细的尺度上进行。在不同数据集上的实验结果证明了该方法的有效性,并表明该方法在分离性能和计算效率之间取得了很好的平衡。
2022-06-16 cs.SD eess.AS
Study of speaker localization with binaural microphone array incorporating auditory filters and lateral angle estimation
Ben Gurion University of the Negev(内盖夫本-古里安大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文针对双耳麦克风阵列说话人定位,提出用听觉滤波器组替代STFT,并设计基于变换HRTF的DOA搜索,仿真与实验验证其优于现有方法。
2023-10-31 cs.SD eess.AS
A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement
The Cooper Union(库珀联盟学院)
本文将描述一种新的方法,鸡尾酒会的问题,依赖于一个完全卷积神经网络(FCN)架构。FCN将噪声音频数据作为输入,并执行非线性滤波操作,以在输出端产生目标语音的干净音频数据。我们的方法为一个特定的扬声器学习一个模型,然后能够从串音背景噪声中提取扬声器的声音。实验结果表明,该方法具有推广到新的说话人的能力,并且对不同信噪比的新噪声环境具有鲁棒性。这种方法的一个潜在应用是用于助听器。预先训练的模型可以快速地为个人家庭成员和亲密的朋友进行微调,并部署到助听器上,以在嘈杂的环境中帮助听众。
2018-07-20 cs.LG cs.SD eess.AS
Multi-Speaker DOA Estimation Using Deep Convolutional Networks Trained with Noise Signals
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
用于源定位的基于监督学习的方法是数据驱动的,可以通过训练来适应不同的声学条件,并且已经被证明对不利的声学环境是鲁棒的。提出了一种基于卷积神经网络(CNN)的监督学习方法,用于多个说话人的波达方向(DOA)估计。将多说话人DOA估计问题转化为多类多标签分类问题,将每个DOA标签对输入特征的分配问题转化为一个单独的二进制分类问题。接收到的麦克风信号的短时傅里叶变换(STFT)系数的相位分量直接被馈送到CNN中,并且在训练期间学习用于DOA估计的特征。利用短时傅里叶变换域中说话人活动不相交的假设,提出了一种用合成噪声信号训练CNN的新方法。通过仿真和实测声脉冲响应的实验评估,证明了所提出的DOA估计方法适应未知声学条件的能力和对未知噪声类型的鲁棒性。通过额外的实证研究,它也表明,与M麦克风阵列,我们提出的框架产生最好的定位性能与M-1卷积层。所提出的方法,以准确地定位扬声器在一个动态的声学场景与不同数量的源的能力也示出。
2018-07-31 cs.LG cs.SD eess.AS
Mask-Weighted Spatial Likelihood Coding for Speaker-Independent Joint Localization and Mask Estimation
University of Hamburg(汉堡大学)
提出掩码加权空间似然编码,将时频掩码与声源位置统一编码到固定空间网格,实现说话人无关的联合定位与掩码估计,并可仅通过训练框架调整替代上游声源定位系统。
2025-01-08 cs.LG cs.SD eess.AS
Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization
Meta Reality Labs(Meta 现实实验室)
增强现实设备具有增强人类感知并在复杂对话环境中实现其他辅助功能的潜力。有效地捕捉理解这些社交互动所需的视听上下文首先需要检测和定位设备佩戴者和周围人的语音活动。这些任务由于其自我中心的性质而具有挑战性:佩戴者的头部运动可能导致运动模糊,周围的人可能出现在困难的视角中,并且可能存在遮挡、视觉混乱、音频噪声和不良照明。在这些条件下,以前的国家的最先进的主动说话人检测方法不给令人满意的结果。相反,我们从一个新的设置使用视频和多通道麦克风阵列音频来解决这个问题。我们提出了一种新的端到端的深度学习方法,能够提供鲁棒的语音活动检测和定位结果。与以前的方法相比,我们的方法从球体上所有可能的方向定位活动扬声器,即使在摄像头的视野之外,同时检测设备佩戴者自己的语音活动。实验结果表明,该方法具有良好的效果,能够实时的运行,并且对噪声和杂波具有较强的鲁棒性。
2022-01-06 cs.CV cs.SD eess.AS
SC-GlowTTS: an Efficient Zero-Shot Multi-Speaker Text-To-Speech Model
DefinedCrowd Corp.(DefinedCrowd公司);Coqui(Coqui公司);Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);Federal University of Goias(戈亚斯联邦大学);Federal University of Technology – Paraná(巴拉那联邦理工大学)
在本文中,我们提出了SC-GlowTTS:一个有效的zero-shot多说话人文本转语音模型,提高了训练过程中看不见的说话人的相似性。我们提出了一个扬声器的条件架构,探讨了基于流的解码器,工作在一个zero-shot的情况。作为文本编码器,我们探索了一种基于扩张残差卷积的编码器,基于门控卷积的编码器和基于变换的编码器。此外,我们已经证明,针对TTS模型在训练数据集上预测的频谱图调整基于GAN的声码器可以显着提高新说话者的相似性和语音质量。我们的模型仅使用11个扬声器进行收敛,达到了与新扬声器相似的最先进结果,以及高语音质量。
2021-06-15 cs.SD eess.AS
AuralNet: Hierarchical Attention-based 3D Binaural Localization of Overlapping Speakers
Southern University of Science and Technology (SUSTech)(南方科技大学);China SUSTechChina(中国南方科技大学);City University of Hong Kong(香港城市大学);School of Automation and Intelligent Manufacturing(自动化与智能制造学院);Department of Computer Science and Engineering(计算机科学与工程系);Department of Mechanical Engineering(机械工程系)
AuralNet提出一种无需预知声源数量的三维双耳定位方法,通过由粗到细的门控架构、多头自注意力和掩码多任务损失联合优化检测与方位仰角估计,在噪声混响环境中优于近期方法。
2025-06-03 cs.SD eess.AS
A Deep Reinforcement Learning Approach for Audio-based Navigation and Audio Source Localization in Multi-speaker Environments
National and Kapodistrian University of Athens(雅典国家与卡波季斯特里安大学)
在这项工作中,我们将深度强化学习应用于导航三维环境和推断人类扬声器音频源的位置的问题,在唯一可用信息是来自环境的原始声音的情况下,因为放置在环境中的模拟人类听众会听到它。为此,我们使用Unity游戏引擎创建了两个虚拟环境,一个提出基于音频的导航问题,一个提出音频源定位问题。我们还创建了一个自主智能体的基础上PPO在线强化学习算法,并试图训练它来解决这些环境。我们的实验表明,我们的代理实现足够的性能和泛化能力,在这两种环境中,通过定量指标测量,即使当有限的训练数据或环境参数的变化,在训练过程中没有遇到的方式。我们还表明,一定程度的代理知识转移是可能的环境之间。
2021-11-27 cs.LG cs.SD eess.AS
Multichannel CRNN for Speaker Counting: an Analysis of Performance
Orange Labs(奥兰奇实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble-INP(格勒诺布尔理工学院);CNRS(法国国家科学研究中心)
说话者计数是估计在音频记录中同时说话的人数的任务。对于若干音频处理任务,诸如扬声器日志化、分离、定位和跟踪,除了能够实现低延迟处理之外,知道每个时间步长处的扬声器的数量是先决条件,或者至少它可以是强优势。在以前的工作中,我们使用多通道卷积递归神经网络解决了说话人计数问题,该网络以短期帧分辨率产生估计。在这项工作中,我们表明,对于一个给定的帧,有一个最佳的位置,在输入序列的最佳预测精度。我们凭经验证明了最佳位置,输入序列的长度和卷积滤波器的大小之间的联系。
2021-01-06 cs.SD eess.AS
PF-Net: Personalized Filter for Speaker Recognition from Raw Waveform
Northeastern University(东北大学)
使用i-vector的说话人识别已被使用深度学习的说话人识别所取代。基于卷积神经网络(CNN)的说话人识别近年来得到了广泛的应用。在此基础上,提出了一种称为SincNet的CNN架构,提出了一种独特的卷积层,实现了带通滤波器。与标准CNN相比,SincNet学习每个滤波器的低和高截止频率。本文提出了一种改进的CNN架构,称为PF-Net,它鼓励第一个卷积层实现比SincNet更个性化的滤波器。PF-Net将频域形状参数化,通过学习频域中的一些变形点实现带通滤波器。与标准的CNN相比,PF-Net可以学习每个滤波器的特性。与SincNet相比,PF-Net可以学习更多的特征参数,而不仅仅是低截止频率和高截止频率。这为不同的任务提供了个性化的滤波器组。因此,我们的实验表明,PF-Net比标准CNN收敛得更快,并且比SincNet表现更好。我们的代码可在github.com/TAN-OpenLab/PF-NET上获得。
2022-06-18 cs.SD eess.AS
Deep Neural Networks for Multiple Speaker Detection and Localization
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
我们建议使用神经网络的同时检测和定位的多个声源在人机交互。与传统的信号处理技术相比,基于神经网络的声源定位方法需要较少的关于环境的强假设。以前的基于神经网络的方法一直专注于定位单个声源,在检测和定位方面没有扩展到多个声源。因此,在本文中,我们提出了一种基于似然的网络输出编码,它自然允许检测任意数量的源。此外,我们研究了使用子带互相关信息作为更好地定位在声音混合的功能,以及三种不同的网络架构,基于不同的动机。从机器人记录的真实数据的实验表明,我们提出的方法显着优于流行的基于空间谱的方法。
2018-02-26 cs.AI cs.MM cs.RO
EmoDiarize: Speaker Diarization and Emotion Identification from Speech Signals using Convolutional Neural Networks
School of Digital Sciences(数字科学学院);Applied NLP Research Lab(应用自然语言处理研究实验室)
本研究提出EmoDiarize框架,结合现有说话人日志分离流程与CNN情感识别模型,利用MFCC等特征和数据增强技术,在五个语音情感数据集上实现了63%的无加权准确率,有效解决了语音信号中的情感识别挑战。
2023-10-19 cs.CL cs.SD eess.AS
Leveraging Visual Supervision for Array-based Active Speaker Detection and Localization
University of Surrey(萨里大学)
本文提出利用视觉监督的自监督学生-教师训练方法,使多通道音频CRNN独立于视觉进行主动说话人检测与定位,在遮挡场景下超越视听方法并达到与传统监督训练相当的性能。
2023-12-21 cs.LG cs.SD eess.AS
How to (virtually) train your speaker localizer
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Tampere University(坦佩雷大学)
本文提出通过扩展镜像源方法,在模拟训练集中加入更真实的表面、声源和麦克风响应,从而显著提升说话人定位系统在真实环境中的到达方向估计性能。
2023-05-25 cs.SD eess.AS
The Cone of Silence: Speech Separation by Localization
University of Washington(华盛顿大学)
给定一个未知数量的扬声器同时说话的多麦克风录音,我们同时定位的来源和单独的扬声器。我们的方法的核心是在波形域中的深度网络,其在给定感兴趣的角度$θ$和角度窗口大小$w$的情况下隔离角度区域$θ\pm w/2$内的源。通过指数递减的$w$,我们可以执行二分搜索,在对数时间内定位和分离所有源。我们的算法允许在测试时有任意数量的潜在移动扬声器,包括比训练期间看到的更多的扬声器。实验证明了声源分离和声源定位的最新性能,特别是在高水平的背景噪声中。
2020-10-12 cs.AI cs.SD
Visually Supervised Speaker Detection and Localization via Microphone Array
University of Surrey(萨里大学)
主动说话人检测(ASD)是一个多模态任务,旨在从一组候选人中识别谁在说话。用于ASD的当前视听方法通常依赖于视觉上预提取的面部轨迹(连续面部裁剪的序列)和相应的单声道音频。然而,他们的召回率往往是低的,因为只有可见的面孔包括在候选人的集合。单声道音频可以成功地检测语音活动的存在,但由于缺乏空间线索而无法定位说话者。我们的解决方案使用麦克风阵列扩展音频前端。我们训练一个音频卷积神经网络(CNN)结合波束成形技术,直接在视频帧中回归扬声器的水平位置。我们建议使用预训练的主动说话人检测器在预提取的人脸轨迹上生成弱标签。我们的管道采用了“学生-教师”模式,其中经过训练的“教师”网络用于在视觉上产生伪标签。“学生”网络是一个经过训练的音频网络,可以生成相同的结果。在推理时,学生网络可以直接从音频输入独立地定位视觉帧中的说话者。新收集的数据的实验结果证明,我们的方法显着优于各种其他基线以及教师网络本身。它也是一个优秀的语音活动检测器。
2022-03-07 cs.SD eess.AS eess.IV
Speaker localization using direct path dominance test based on sound field directivity
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对现有混响鲁棒DoA估计中DPD测试计算量大的问题,提出基于声场指向性、无需频率平滑和矩阵分解的高效替代方法,在保持性能的同时将计算效率提升约四倍。
2023-10-05 cs.SD eess.AS
Multiple-Speaker Localization Based on Direct-Path Features and Likelihood Maximization with Spatial Sparsity Regularization
INRIA Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔罗讷-阿尔卑斯中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Bar Ilan University(巴伊兰大学)
本文讨论了多扬声器定位在嘈杂和混响环境中的问题,使用双耳录音的声学场景。采用高斯混合模型(GMM),其组成部分对应于所有可能的候选源位置定义在一个网格上。在优化基于GMM的目标函数后,给定一组观察到的双耳特征,通过选择具有最大先验的GMM分量来估计源的数量及其位置。这是通过实施稀疏解决方案来实现的,因此相对于大量的初始候选源位置有利于少量的扬声器。一个基于熵的惩罚项被添加到可能性,从而施加稀疏的GMM先验集。此外,直接路径相对传递函数(DP-RTF)被用来建立强大的双耳功能。DP-RTF,最近提出的单源定位,被证明是强大的混响,因为它编码的通道间信息对应的声音传播的直接路径。本文将DP-RTF估计推广到多源情况。在短时傅立叶变换域中,提出了一种一致性检验方法来检验一组连续帧是否与同一信源相关联。从通过一致性测试的帧中选择可靠的DP-RTF特征用于源定位。使用仿真数据和机器人头部收集的真实数据进行的实验证实了所提出的多源定位方法的效率。
2017-05-17 cs.SD
FurcaNet: An end-to-end deep gated convolutional, long short-term memory, deep neural networks for single channel speech separation
Fujitsu Research and Development Center(富士通研究开发中心);Fujitsu Laboratories Ltd.(富士通实验室有限公司);Harbin Institute of Technology(哈尔滨工业大学)
深度选通卷积网络已被证明在单通道语音分离中非常有效。然而,当前最先进的框架通常考虑在时频(TF)域中训练门控卷积网络。这种方法将导致感知得分有限,例如分离话语的信号失真比(SDR)上限,并且也无法利用端到端框架。在本文中,我们提出了一个集成的简单而有效的端到端的单声道语音分离的方法,它包括深门控卷积神经网络(GCNN),采取两个扬声器的混合话语,并将其映射到两个单独的话语,其中每个话语只包含一个扬声器的声音。此外,长短期记忆(LSTM)被用于长期时间建模。为此,我们提出了训练网络直接优化话语级SDR的排列不变训练(PIT)的风格。在公开的WSJ 0 - 2 mix数据语料库上的实验表明,该方法能够产生更有区分度的说话人分离结果,提高了说话人分离的性能。
2019-03-18 cs.SD eess.AS
SPEAKER VGG CCT: Cross-corpus Speech Emotion Recognition with Speaker Embedding and Vision Transformers
University of Florence(佛罗伦萨大学)
近年来,语音情感识别(SER)已经被研究,主要是将语音信号转换成谱图,然后使用在通用图像上预训练并用谱图进行微调的卷积神经网络对谱图进行分类。在本文中,我们从上述的一般思想出发,并开发了一种新的学习解决方案SER,这是基于紧凑的卷积Transformers(CCT)结合说话人嵌入。通过CCT,视觉Transformer(ViT)的学习能力与对大量数据的需求减少相结合,因为卷积使之成为可能。这在SER中很重要,因为在SER中通常无法获得大型数据库。说话人嵌入允许网络提取说话人的身份表示,然后通过自注意力机制将其与CCT从声谱图中提取的特征相结合。总的来说,该解决方案能够实时运行,在跨语料库的情况下显示有希望的结果,其中训练和测试数据集保持分离。在文献中很少使用的跨语料库设置中的几个基准上进行了实验,结果与最先进的网络架构所获得的结果相当或更好。我们的代码可在https://github.com/JabuMlDev/Speaker-VGG-CCT上获得。
2022-11-04 cs.CV cs.SD eess.AS
Audio-to-Image Encoding for Improved Voice Characteristic Detection Using Deep Convolutional Neural Networks
本文提出一种音频到图像编码框架,将原始音频、统计描述符和空间化特征分别编码到RGB三通道,并利用深度卷积神经网络实现98%的说话人分类准确率。
2025-03-07 cs.AI cs.SD eess.AS
Multi-stream Convolutional Neural Network with Frequency Selection for Robust Speaker Verification
Key Laboratory of Technology in Rural Water Management of Zhejiang Province(浙江省农村水利技术重点实验室);College of Electric Engineering(电气工程学院);Zhejiang University of Water Resources and Electric Power(水利与电力学院)
针对传统单流说话人验证系统采用全频特征的局限,提出带频率选择的多流CNN框架,通过分多子带并行处理与融合增强鲁棒性,在VoxCeleb上minDCF相对提升20.53%。
2025-08-31 cs.LG cs.SD eess.AS
FurcaNeXt: End-to-end monaural speech separation with dynamic gated dilated temporal convolutional networks
Harbin Institute of Technology(哈尔滨工业大学);Fujitsu R & D Center(富士通研发中心);Shuangfeng First(双峰首(北京))
本文提出多种改进的时序卷积网络(FurcaNeXt等)用于端到端单耳语音分离,通过置换不变训练直接优化语句级SDR,在WSJ0-2mix上实现18.4dB提升。
2023-06-26 cs.SD eess.AS
EEND-SS: Joint End-to-End Neural Speaker Diarization and Speech Separation for Flexible Number of Speakers
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出了一个新的框架,共同执行三个任务:说话人日记,语音分离,说话人计数。我们提出的框架集成了基于端到端神经日记化(EEND)模型的说话人日记化,基于编码器-解码器的吸引子(EDA)的说话人计数,以及使用Conv-TasNet的语音分离。此外,我们提出了一个多个1x 1卷积层架构,用于估计对应于一个灵活的扬声器数量的分离掩码和融合技术,用于细化分离的语音信号与获得的扬声器diarization信息,以改善联合框架。使用LibriMix数据集的实验表明,我们提出的方法在固定和灵活数量的扬声器的日记化和分离度量方面优于单任务基线,并提高了灵活数量扬声器的扬声器计数性能。所有材料将在ESPnet工具包中开源和可复制。
2022-12-15 cs.SD eess.AS
Naver at ActivityNet Challenge 2019 -- Task B Active Speaker Detection (AVA)
Naver Corporation(NAVER 公司)
本报告描述了我们在CVPR 2019上提交的ActivityNet挑战。我们使用基于3D卷积神经网络(CNN)的前端和时间卷积和LSTM分类器的集成来预测可见的人是否在说话。我们的研究结果显示,在AVA-ActiveSpeaker数据集上的基线上有显着改进。
2019-06-25 cs.CV cs.SD eess.AS
TTS Skins: Speaker Conversion via ASR
Tel Aviv University(特拉维夫大学)
我们提出了一个完全卷积的wav-to-wav网络,用于在说话者的声音之间进行转换,而不依赖于文本。我们的网络是基于一个编码器-解码器架构,其中的编码器是预先训练的自动语音识别的任务,和多扬声器波形解码器进行训练,以重建原始信号的自回归方式。我们训练讲述有声读物的网络,并在这些声音中演示多语音TTS,通过转换语音的TTS机器人。
2020-07-26 cs.LG cs.SD stat.ML
Three-class Overlapped Speech Detection using a Convolutional Recurrent Neural Network
Naver Corporation(NAVER 公司)
在这项工作中,我们提出了一个重叠的语音检测系统训练为三级分类。与传统的系统,执行二进制分类是否包含重叠的语音帧,所提出的方法分为三类:非语音,单扬声器语音,和重叠的语音。通过使用更详细的标签定义训练网络,模型可以更好地确定给定帧中包含的扬声器数量。卷积递归神经网络架构被探索以受益于卷积层对局部模式进行建模的能力和递归层对顺序信息进行建模的能力。提出的重叠语音检测模型在DIHARD II评估集中建立了最先进的性能,精确度为0.6648,召回率为0.3222,显示召回率增加了20%,精确度也更高。此外,我们还介绍了一个简单的方法,利用建议的重叠语音检测模型的说话人日记,排名第三位的轨道1的DIHARD III挑战。
2021-04-07 cs.LG cs.SD eess.AS
Dynamic Kernels and Channel Attention for Low Resource Speaker Verification
The University of Sheffield(谢菲尔德大学)
最先进的说话人验证框架通常专注于开发具有越来越深(更多层)和更宽(通道数量)模型的模型,以提高其验证性能。相反,本文提出了一种方法来增加模型的分辨率能力,使用注意力为基础的动态内核的卷积神经网络,以适应模型参数的特征条件。通过通道注意和多层特征聚合进一步提取核上的注意权值,从语音中学习全局特征。这种方法提供了一个有效的解决方案,以提高表示能力,较低的数据资源。这是由于自适应输入的模型参数的结构。该模型在VoxCeleb 1测试集上的EER为1.62%,miniDCF为0.18%,与使用相同训练资源的ECAPA-TDNN相比,相对提高了17%.
2023-02-27 cs.CL cs.SD eess.AS
SALADnet: Self-Attentive multisource Localization in the Ambisonics Domain
Orange Labs(Orange实验室);Univ. de Lorraine(洛林大学);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);GIPSA-lab(GIPSA实验室);Grenoble-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心)
在这项工作中,我们提出了一种新的自我注意力为基础的神经网络强大的多扬声器定位高保真度立体声录音。从一个最先进的卷积递归神经网络开始,我们研究了用自注意编码器取代递归层的好处,自注意编码器继承自Transformer架构。我们在合成和真实世界的数据上评估这些模型,最多有3个同时发言者。所获得的结果表明,大多数建议的架构要么执行标准杆,或优于CRNN基线,特别是在多个场景。此外,通过避免经常性的层,所提出的模型借给自己的并行计算,这是产生相当大的节省执行时间。
2021-07-23 cs.SD eess.AS
Speaker Recognition from Raw Waveform with SincNet
Mila(米拉研究所)
深度学习作为说话人识别的i向量的可行替代方案正在逐渐普及。最近,当直接由原始语音样本馈送时,卷积神经网络(CNN)已经获得了有希望的结果。后者的CNN不是采用标准的手工特征,而是从波形中学习低级语音表示,这可能使网络能够更好地捕捉重要的窄带扬声器特征,如音高和共振峰。正确的神经网络设计是实现这一目标的关键。本文提出了一种新的CNN架构,称为SincNet,它鼓励第一个卷积层发现更有意义的滤波器。SincNet基于参数化sinc函数,实现带通滤波器。与学习每个滤波器的所有元素的标准CNN相反,使用所提出的方法,仅从数据中直接学习低和高截止频率。这提供了一种非常紧凑和有效的方式来获得针对所需应用专门调谐的定制滤波器组。我们的实验,进行说话人识别和说话人验证任务,表明所提出的架构收敛速度更快,比标准的CNN的原始波形表现更好。
2019-08-09 cs.LG cs.SD eess.AS
BASEN: Time-Domain Brain-Assisted Speech Enhancement Network with Convolutional Cross Attention in Multi-talker Conditions
University of Science and Technology of China(中国科学技术大学);Sichuan University(四川大学)
本文提出时域脑辅助语音增强网络BASEN,结合听众脑电信号与全卷积时域音频分离网络,并引入卷积多层交叉注意力模块融合双分支特征,在多说话人条件下有效提取目标说话人且优于现有方法。
2023-05-17 cs.AI cs.SD eess.AS
High-Resolution Speaker Counting In Reverberant Rooms Using CRNN With Ambisonics Features
Orange Labs(奥兰治实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);GIPSA-lab(格勒诺布尔图像语音信号与自动控制实验室);Grenoble-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心)
说话者计数是估计在音频记录中同时说话的人数的任务。对于若干音频处理任务,诸如扬声器日志化、分离、定位和跟踪,除了能够实现低延迟处理之外,知道每个时间步长处的扬声器的数量是先决条件,或者至少它可以是强优势。为此目的,我们解决了扬声器计数问题与多通道卷积递归神经网络,产生在短期帧分辨率的估计。我们训练网络来预测多通道混合中多达5个并发扬声器,模拟数据包括源和麦克风位置,混响和噪声方面的许多不同条件。该网络可以在帧分辨率下以良好的精度预测扬声器的数量。
2020-03-17 cs.SD eess.AS
Egocentric Auditory Attention Localization in Conversations
Georgia Institute of Technology(佐治亚理工学院);Meta Reality Labs Research(Meta现实实验室)
在嘈杂的谈话环境中,如晚宴,人们通常会表现出选择性的听觉注意力,或者专注于某个特定的说话者,而忽略其他人。识别某人在对话中听谁说话对于开发能够理解社会行为的技术和通过放大特定声源来增强人类听力的设备至关重要。计算机视觉和音频研究界在识别场景中的声源和扬声器方面取得了长足的进步。在这项工作中,我们更进一步,专注于在自我中心的视频中定位听觉注意目标的问题,或者检测相机佩戴者的视野中他们正在听谁。为了解决新的和具有挑战性的选择性听觉注意力定位问题,我们提出了一种端到端的深度学习方法,该方法使用以自我为中心的视频和多通道音频来预测相机佩戴者的听觉注意力的热图。我们的方法利用时空视听功能和对场景的整体推理来进行预测,并在具有挑战性的多说话者对话数据集上优于一组基线。项目页面:https://fkryan.github.io/saal
2023-03-28 cs.CV cs.SD eess.AS
Audio-Visual Talker Localization in Video for Spatial Sound Reproduction
本研究提出融合视觉与多通道音频的视听方法,用于视频中说话人定位与位置元数据提取,相比传统方法显著降低了检测误差并提升了空间精度。
2024-06-01 cs.CV cs.SD eess.AS
SELD-TCN: Sound Event Localization & Detection via Temporal Convolutional Networks
Robert Bosch GmbH(罗伯特·博世有限公司);University of Stuttgart(斯图加特大学)
对周围环境的理解在自动驾驶汽车等自主机器人系统中起着关键作用。关于视觉感知已经进行了广泛的研究。然而,为了获得对环境的更完整的感知,未来的自主系统还应该考虑声学信息。最近的声音事件定位和检测(SELD)框架利用卷积递归神经网络(CRNN)。然而,考虑到CRNN的周期性,在嵌入式硬件上有效地实现它们变得具有挑战性。它们的计算不仅难以并行化,而且还需要高内存带宽和大内存缓冲区。在这项工作中,我们开发了一个更强大和硬件友好的新架构的基础上的时间卷积网络(TCN)。所提出的框架(SELD-TCN)在四个不同的数据集上优于最先进的SELDnet性能。此外,SELD-TCN在普通图形处理单元(GPU)上实现了每epoch 4倍的训练时间和40倍的推理时间。
2020-03-03 cs.LG cs.SD eess.AS
FCN Approach for Dynamically Locating Multiple Speakers
Bar-Ilan University(巴伊兰大学)
在本文中,我们提出了一种基于深度神经网络的在线多说话人定位算法。遵循谱域中的W-不相交正交性原理,每个时频(TF)仓由单个扬声器主导,并且因此由单个波达方向(DOA)主导。利用瞬时空间特征训练全卷积网络来估计每个TF仓的DOA。高分辨率分类使网络能够准确地同时定位和跟踪多个说话者,包括静态和动态的。在静态和动态场景中使用模拟和真实记录进行了详细的实验研究,证实了所提出的算法优于经典和最近的基于深度学习的算法。
2020-08-26 cs.LG cs.SD eess.AS