Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
Microsoft(微软);University of Michigan(密歇根大学)
针对在线音视频目标说话人提取的听感质量与前瞻限制问题,提出AV-PVQE方法,通过个性化语音增强模型引入口型特征并联合微调,将目标混淆率从46%降至1.6%,延迟仅20毫秒,在合成和会议基准上均优于现有提取器。
2026-09-28 cs.CV cs.SD eess.AS
Analysis of ABC Frontend Audio Systems for the NIST-SRE24
Universidad Autónoma de Madrid(马德里自治大学);Brno University of Technology(布拉格技术大学);Athens University of Economics and Business(雅典经济与商业大学);Politecnico di Torino(都灵理工学院)
该研究针对NIST SRE 2024音频赛道,在固定与开放两种训练条件下,探索多种架构开发CTS领域的说话人嵌入提取器,验证了VoxBlink2训练模型的性能并给出实用开发方案。
2025-05-21 cs.SD eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation(腾讯公司)
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统,通过联合训练编码器与解码器并利用预训练模型初始化,有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
Rethinking Session Variability: Leveraging Session Embeddings for Session Robustness in Speaker Verification
NAVER Cloud Corporation(NAVER云公司);Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对说话人验证中的会话/信道变异问题,本文在固定说话人嵌入提取器上训练辅助会话嵌入网络,并用会话相似度补偿说话人分数,在不重训提取器的情况下提升鲁棒性。
2023-09-26 cs.SD eess.AS
The Phonexia VoxCeleb Speaker Recognition Challenge 2021 System Description
Phonexia s.r.o(Phonexia有限公司)
我们描述了Phonexia提交的VoxCeleb Speaker Recognition Challenge 2021(VoxSRC-21)的无监督说话人验证轨道。我们的解决方案与IDLab为VoxSRC-20提交的获奖作品非常相似。嵌入提取器使用动量对比学习自举,输入增强作为唯一的监督来源。随后进行多次聚类迭代,以分配伪说话人标签,然后用于监督嵌入提取器训练。最后,通过对五个不同嵌入提取器的zt归一化余弦分数进行平均来进行分数融合。我们还简要描述了不成功的解决方案,涉及i向量而不是DNN嵌入和PLDA而不是余弦评分。
2021-09-08 cs.LG cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University(西北工业大学);Tencent Corporation(腾讯公司)
本文针对音视觉标注数据不足问题,在端到端AVSD系统中引入监督式与自监督式预训练语音模型,并联合训练音频、说话人编码器及音视觉解码器,在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
A framework of text-dependent speaker verification for chinese numerical string corpus
University of Chinese Academy of Sciences(中国科学院大学)
针对文本相关说话人验证易受朗读节奏干扰的问题,提出解耦说话人与文本信息的端到端系统,结合新数据集与增强技术,在两个数据集上实现显著EER降低。
2024-05-21 cs.SD eess.AS
On deep speaker embeddings for text-independent speaker recognition
ITMO University(ITMO大学);STC-innovations Ltd.(STC创新有限公司)
我们研究了深度神经网络在与文本无关的说话人识别任务中的性能。我们证明,在分类神经网络的最后一个分类层使用角softmax激活,而不是一个简单的softmax激活允许训练一个更广义的判别扬声器嵌入提取器。余弦相似度是在该嵌入空间中进行说话人确认的有效度量。我们还解决了选择一个架构的提取器的问题。我们发现,具有残留帧级连接的深度网络优于宽但相对较浅的架构。本文还提出了一些改进以前的基于DNN的提取器系统,以提高说话人识别的准确性。我们表明,区别训练的相似性度量学习方法优于标准的LDA-PLDA方法作为嵌入后端。在Speakers in the Wild和NIST SRE 2016评估集上获得的结果证明了所提出的系统在处理接近现实生活条件时的鲁棒性。
2018-04-26 cs.CL cs.SD eess.AS
ESPnet-SPK: full pipeline speaker embedding toolkit with reproducible recipes, self-supervised front-ends, and off-the-shelf models
Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
本文提出全流程说话人嵌入工具包ESPnet-SPK,提供多种模型、模块化设计、预训练模型、自监督特征集成与可复现配方,并在Vox1-O上达到0.39% EER。
2024-06-13 cs.AI cs.SD eess.AS
Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Meta AI
本文研究了用于视听说话人表征学习的自监督预训练,其中显示说话人嘴部区域的视觉流与语音一起用作输入。我们的研究重点是视听隐藏单元BERT(AV-HuBERT)的方法,最近开发的通用视听语音预训练框架。我们进行了广泛的实验,探讨预训练和视觉模态的有效性。实验结果表明,AV-HuBERT体面地推广到扬声器相关的下游任务,提高标签效率约10倍的音频和视听扬声器验证。我们还表明,将视觉信息,即使只是嘴唇区域,大大提高了性能和噪声鲁棒性,减少EER的38%,在清洁条件下和75%,在嘈杂的条件下。
2022-07-14 cs.CV cs.SD eess.AS
Fully Few-shot Class-incremental Audio Classification Using Expandable Dual-embedding Extractor
South China University of Technology(华南理工大学)
本文针对所有会话训练样本均稀少的全少样本类增量音频分类问题,提出基于预训练与微调双AST嵌入提取器和原型可扩展分类器的方法,在三个数据集上显著超越七个基线。
2024-06-12 cs.SD eess.AS
DT-SV: A Transformer-based Time-domain Approach for Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
说话人确认的目的是确定测试语音中说话人的身份是否与参考语音相同。在过去的几年里,使用深度神经网络为SV系统提取说话人嵌入已经成为主流。近年来,不同的注意机制和Transformer网络在SV领域得到了广泛的研究。然而,直接在SV中使用原始的Transformer可能会在输出特征上产生帧级信息浪费,这可能会导致说话人嵌入容量和区分度的限制。因此,我们提出了一种方法来获得话语级说话人嵌入通过Transformer架构,使用一种新的损失函数命名为分流损失集成不同的Transformer层的特征信息。其中,分流损失旨在将帧级特征聚合到话语级表示中,并且可以方便地集成到Transformer中。此外,我们还介绍了一种可学习的mel-fbank能量特征提取器,称为时域特征提取器,它比标准mel-fbank提取器更精确,更有效地计算mel-fbank特征。结合分流损失和时域特征提取器,提出了一种新的基于变换器的时域SV模型(DT-SV),具有更快的训练速度和更高的精度。实验结果表明,我们提出的模型可以实现更好的性能与其他模型相比。
2022-05-26 cs.LG cs.SD eess.AS
STC speaker recognition systems for the NIST SRE 2021
STC Ltd.(STC有限公司);ITMO University(ITMO大学)
本文介绍了STC有限公司提交给NIST 2021说话人识别评估的系统,包括固定和开放训练条件。这些系统由许多不同的子系统组成,这些子系统基于使用深度神经网络作为特征提取器。在NIST 2021 SRE挑战赛期间,我们专注于使用基于加性角裕度的损失函数来训练最先进的深度说话人嵌入提取器,如ResNets和ECAPA网络。此外,受wav2vec 2.0功能在自动语音识别中最近成功的启发,我们探索了这种方法在说话人验证领域的有效性。根据我们的观察,预训练的大型wav2vec 2.0模型的微调为开放轨道条件提供了最佳性能的系统。我们对基于wav2vec 2.0的提取器进行的固定条件实验表明,具有对比预测编码损失的无监督自回归预训练为从原始语音信号中训练强大的基于变换的提取器打开了大门。对于视频模态,我们开发了最佳解决方案,使用RetinaFace人脸检测器和在大型人脸图像数据集上训练的深度ResNet人脸嵌入提取器。通过在评分水平上进行不同配置的子系统融合,然后进行评分校准,得到了主系统的最终结果。
2021-11-03 cs.LG cs.SD eess.AS
GAFX: A General Audio Feature eXtractor
Center for Safe AGI(安全通用人工智能中心);Ohla AI Group(Ohla人工智能集团)
大多数用于音频任务的机器学习模型都在处理手工制作的功能,即声谱图。然而,目前还不清楚频谱图是否可以被基于深度学习的特征所取代。在本文中,我们通过比较不同的可学习神经网络提取特征与成功的频谱图模型来回答这个问题,并提出了一种基于双U-Net(GAFX-U),ResNet(GAFX-R)和Attention(GAFX-A)模块的通用音频特征提取器(GAFX)。我们设计了实验来评估这个模型在GTZAN数据集上的音乐流派分类任务,并对我们的框架和我们的模型GAFX-U的不同配置进行了详细的消融研究,在音频频谱图Transformer(AST)分类器取得了有竞争力的性能之后。
2022-07-19 cs.AI cs.SD eess.AS
Learning audio and image representations with bio-inspired trainable feature extractors
Johann Bernoulli Institute for Mathematics and Computer Science, University of Groningen(格罗宁根大学约翰·伯努利数学与计算机科学研究所);University of Groningen(格罗宁根大学);University of Salerno(萨莱诺大学)
模式识别和信号处理的最新进展涉及从标记的训练样本中自动学习数据表示。典型的方法是基于深度学习和卷积神经网络,这需要大量的标记训练样本。在这项工作中,我们提出了新型特征提取器,可用于在自动配置过程中学习单个原型样本的表示。我们采用的音频和图像处理的应用程序中提出的特征提取,并在基准数据集上显示其有效性。
2018-01-02 cs.AI cs.CV cs.SD
An empirical study of weakly supervised audio tagging embeddings for general audio representations
Xiaomi Corporation(小米公司)
我们研究了预训练的弱监督音频标记(AT)模型作为一般音频表示的特征提取器的可用性。我们主要分析了将这些嵌入转移到语音和声音域中的其他任务的可行性。具体来说,我们将弱监督预训练模型(MobileNetV 2和EfficientNet-B 0)与现代自监督学习方法(BYOL-A)作为特征提取器进行基准测试。14个下游任务用于评估,从乐器分类到语言分类。我们的研究结果表明,AT预训练模型是音乐,事件和情感识别任务的优秀迁移学习选择。此外,微调AT模型还可以使语音相关任务受益,例如关键字识别和意图分类。
2022-09-30 cs.SD eess.AS
Randomly weighted CNNs for (music) audio classification
计算机视觉文献表明,随机加权的神经网络作为特征提取器表现合理。遵循这个想法,我们研究了未经训练的(随机加权的)卷积神经网络如何作为(音乐)音频分类任务的特征提取器。我们使用从深度架构的嵌入中提取的特征作为分类器的输入-目标是在使用不同的随机加权架构时比较分类精度。通过遵循这种方法,我们对当前用于音频分类的深度架构进行了全面评估,并提供了证据,证明这些架构本身是使用深度神经网络解决(音乐)音频问题的重要组成部分。
2019-02-14 cs.SD eess.AS
RBA-FE: A Robust Brain-Inspired Audio Feature Extractor for Depression Diagnosis
School of Future Technology, South China University of Technology(华南理工大学未来技术学院);Pazhou Lab, Guangzhou(广州琶洲实验室);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
本文提出脑启发音频特征提取器RBA-FE,通过融合六种声学特征与ARSLIF脉冲神经元提升噪声鲁棒性,在多个抑郁症数据集中取得先进性能并提供可解释性。
2025-06-08 cs.AI cs.SD eess.AS
Learning sound representations using trainable COPE feature extractors
University of Groningen(格罗宁根大学);University of Salerno(萨勒诺大学)
声音分析研究主要集中在语音和音乐处理上。所部署的方法不适合于分析具有变化的背景噪声的声音,在许多情况下具有非常低的信噪比(SNR)。在本文中,我们提出了一种用于检测的音频信号中的感兴趣的模式的方法。我们提出了新的可训练特征提取器,我们称之为COPE(能量峰组合)。COPE特征提取器的结构在自动配置过程中使用单个原型声音模式来确定,这是一种表示学习。我们构造了一组COPE特征提取器,配置在一些训练模式上。然后,我们采取他们的反应来构建特征向量,我们使用它与分类器相结合来检测和分类音频信号中感兴趣的模式。我们在四个公共数据集上进行了实验:MIVIA音频事件,MIVIA道路事件,ESC-10和TU多特蒙德数据集。我们取得的结果(识别率等于91.71%的MIVIA音频事件,94%的MIVIA道路事件,81.25%的ESC-10和94.27%的多特蒙德)证明了所提出的方法的有效性,并高于其他现有的方法。COPE特征提取器对信噪比的变化具有很高的鲁棒性。即使在计算大量特征的值时也能实现实时性能。
2019-03-22 cs.LG cs.SD eess.AS
RobustSVC: HuBERT-based Melody Extractor and Adversarial Learning for Robust Singing Voice Conversion
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对歌声转换中特征提取易受噪声影响的问题,提出 RobustSVC,用基于 HuBERT 的旋律提取器和三判别器对抗训练提升鲁棒性,并在干净与含噪条件下取得更优自然度和相似度。
2024-09-10 cs.SD eess.AS
Deep Learning of Human Perception in Audio Event Classification
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
在本文中,我们介绍了我们最近的研究人类感知音频事件分类不同的深度学习模型。特别是,预训练模型VGGish被用作处理音频数据的特征提取器,DenseNet被训练并用作我们的脑电图(EEG)数据的特征提取器。在共享空间中学习音频刺激和EEG之间的相关性。在实验中,我们记录大脑活动(EEG信号)的几个主题,而他们正在听8个音频类别的音乐事件从谷歌AudioSet,使用16通道EEG耳机与有源电极。我们的实验结果表明,i)音频事件分类可以通过利用人类感知的能力来改进,ii)音频刺激和EEG之间的相关性可以被学习以补充音频事件理解。
2018-09-03 cs.MM cs.SD eess.AS
Feature Learning for Chord Recognition: The Deep Chroma Extractor
Johannes Kepler University Linz(约翰内斯·开普勒林茨大学)
我们探索帧级音频特征学习的和弦识别使用人工神经网络。我们提出的论点,色度向量可能持有足够的信息来建模和弦识别音频的谐波内容,但标准的色度提取器计算太嘈杂的功能。这导致我们提出了一个学习的色度特征提取器的基础上人工神经网络。它被训练来计算色度特征,这些特征对和弦识别重要的谐波信息进行编码,同时对不相关的干扰具有鲁棒性。我们通过向网络提供具有上下文的音频频谱而不是单个帧作为输入来实现这一点。这样,网络可以学习选择性地补偿噪声并解决谐波模糊度。我们比较由此产生的功能,手工制作的,通过使用一个简单的线性框架分类器和弦识别各种数据集。结果表明,学习的特征提取器产生优越的色度向量的和弦识别。
2016-12-15 cs.LG cs.SD
Deep Extractor Network for Target Speaker Recovery From Single Channel Speech Mixtures
Tencent(腾讯)
说话人感知的声源分离方法是解决诸如任意声源排列和未知数目的声源等主要困难的有效方法。然而,它仍然具有挑战性,以实现令人满意的性能提供了一个非常短的可用目标说话人的话语(锚)。在这里,我们提出了一种新的“深度提取器网络”,它在一个规范的高维嵌入空间中为目标说话人创建一个提取器点,并将与目标说话人对应的时频点拉在一起。该模型与以前的工作不同之处在于,规范嵌入空间在端到端训练阶段对锚点和混合语音的知识进行编码:首先,锚点和混合语音的嵌入分别在主嵌入空间中构建,然后作为前馈层的输入进行组合,以转换到我们发现比主嵌入空间更稳定的规范嵌入空间。实验结果表明,在短语音条件下,该模型能有效地从混合语音中恢复出高质量的目标语音,其性能优于各种基线模型,SDR和PESQ分别比基线oracle深度吸引子模型提高了5.2%和6.6%。同时,我们表明,它可以推广到一个以上的干扰扬声器。
2018-07-24 cs.SD eess.AS
Automatic Audio Captioning using Attention weighted Event based Embeddings
TCS Research, Tata Consultancy Services Limited(塔塔咨询服务有限公司TCS研究院)
自动音频字幕(AAC)是指将音频翻译成描述音频事件、事件来源及其关系的自然语言的任务。目前AAC数据集的样本有限,已经形成了将迁移学习与音频事件检测(AED)结合作为父任务的趋势。朝着这个方向,在本文中,我们提出了一种编码器-解码器架构,具有用于AAC的轻量级(即具有较少的可学习参数)Bi-LSTM递归层,并比较了两种最先进的预训练AED模型作为嵌入提取器的性能。我们的研究结果表明,一个有效的AED为基础的嵌入提取器结合时间的注意力和增强技术是能够超越现有的文献与计算密集型架构。此外,我们还提供了证据,证明作为我们模型的一部分生成的非均匀注意力加权编码的能力,以便于解码器在生成每个令牌时浏览音频的特定部分。
2022-01-28 cs.LG cs.SD eess.AS
Learning Audio Embeddings with User Listening Data for Content-based Music Recommendation
University of California San Diego(加利福尼亚大学圣地亚哥分校);Tencent Music Entertainment(腾讯音乐娱乐)
在音乐产业中,对新发行的曲目进行个性化推荐一直是一个具有挑战性的问题。为了解决这个问题,我们首先探索用户的收听历史和人口统计数据,构建一个用户嵌入代表用户的音乐偏好。通过用户嵌入和来自用户喜欢和不喜欢的音轨的音频数据,可以使用具有Siamese网络的度量学习来获得针对每个音轨的音频嵌入。对于一个新的音轨,我们可以通过计算音轨的音频嵌入和不同用户嵌入之间的相似度来决定推荐的最佳用户组。建议的系统产生国家的最先进的性能,基于内容的音乐推荐测试与数百万用户和曲目。此外,我们提取音频嵌入的音乐流派分类任务的功能。实验结果表明了我们的音频嵌入的泛化能力。
2020-10-29 cs.SD eess.AS
SALM: Spatial Audio Language Model with Structured Embeddings for Understanding and Editing
Institute of Acoustics, Chinese Academy of Sciences, China(中国科学院声学研究所);MiLM Plus, Xiaomi Inc., China(小米公司);Xi’an Jiaotong Liverpool University, China(西安交通大学利物浦大学);University of Chinese Academy of Sciences, China(中国科学院大学)
本文提出空间音频语言模型SALM,通过双分支编码器与结构化嵌入实现空间音频和文本的对齐,支持零样本方向分类与音频编辑。
2025-09-18 cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.(小米公司)
本研究提出一种高效可扩展的语音增强方法,利用预训练生成式音频编码器提取含噪语音嵌入,经紧凑去噪编码器处理后由声码器合成干净语音,在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标,通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性,以客观评价文本到音频合成质量,实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models
Zhejiang University(浙江大学);Johns Hopkins University(约翰霍普金斯大学)
提出ALM2Vec框架,利用预训练大型音频语言模型学习统一嵌入空间,实现跨域、任务感知的音频检索,支持指令感知检索,在标准基准上表现优异。
2026-07-01 cs.AI cs.SD eess.AS
Correlation of Fréchet Audio Distance With Human Perception of Environmental Audio Is Embedding Dependant
École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);Gaudio Lab, Inc.(Gaudio实验室公司);KAIST(韩国科学技术院);Carnegie Mellon University(卡内基梅隆大学);Doshisha University(同志社大学);Ritsumeikan University(立命馆大学)
本文研究了不同领域特定嵌入对 Fréchet Audio Distance (FAD) 与环境声音感知评分相关性的影响,发现 PANNs-WGM-LogMel 嵌入效果最佳,强调了嵌入选择对 FAD 指标设计的关键重要性。
2024-03-26 cs.SD eess.AS
Reducing Model Complexity for DNN Based Large-Scale Audio Classification
The Chinese University of Hong Kong(香港中文大学)
音频分类是识别与给定音频信号相关联的声音类别的任务。本文提出了一种基于最近发布的AudioSet数据库的大规模音频分类的研究。AudioSet包含来自YouTube的200万个音频样本,这些音频样本使用527个声音类别标签进行人工注释。利用AudioSet的均衡训练集和评价集,应用不同类型的神经网络模型进行了音频分类实验。对这些模型的分类性能和模型复杂度进行了比较和分析。虽然CNN模型表现出比MLP和RNN更好的性能,但其模型复杂度相对较高,不适合实际使用。我们提出了两种不同的策略,旨在构建低维嵌入特征提取器,从而减少模型参数的数量。结果表明,简化后的CNN模型的模型参数仅为原模型的1/22,性能仅略有下降。
2018-10-30 cs.SD eess.AS
Attention-Based Audio Embeddings for Query-by-Example
Ghent University(根特大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文提出一种基于对比学习和通道频谱-时间注意力的音频检索系统,生成抗噪声与混响的音频指纹,实现高效精确的示例查询和时间戳估计。
2024-11-21 cs.SD eess.AS
Text2FX: Harnessing CLAP Embeddings for Text-Guided Audio Effects
Northwestern University(西北大学)
提出 Text2FX,利用 CLAP 嵌入与可微 DSP 通过免训练单实例优化,将开放词汇文本提示映射为均衡、混响等音频效果参数,并经听者研究验证。
2025-02-20 cs.SD eess.AS
Learning General Audio Representations with Large-Scale Training of Patchout Audio Transformers
Johannes Kepler University(约翰内斯·开普勒大学)
监督式深度学习方法的成功很大程度上归功于它们从原始数据中学习相关特征的能力。在大规模数据集上训练的深度神经网络(DNN)能够捕获各种特征集,并学习一种表示,这种表示可以概括到来自同一领域的看不见的任务和数据集。因此,这些模型可以用作强大的特征提取器,结合较浅的模型作为分类器,用于较小的任务和数据集,其中训练数据的量不足以从头开始学习端到端模型。在过去的几年中,卷积神经网络(CNN)在很大程度上是音频处理的首选方法。然而,最近基于注意力的Transformer模型在监督环境中表现出巨大的潜力,优于CNN。在这项工作中,我们研究了使用在大规模数据集上训练的音频Transformers来学习通用表示。我们研究了这些音频Transformers中的不同设置如何影响其嵌入的质量。在HEAR 2021 NeurIPS挑战评估设置之后,我们对模型的时间分辨率、提取的嵌入水平和感受野进行了实验,以了解它们如何影响各种任务和数据集的性能。我们的研究结果表明,音频Transformers提取的表示优于CNN表示。此外,我们将证明,在Audioset上训练的Transformers可以成为非常有效的表示提取器,用于各种下游任务。
2023-03-02 cs.LG cs.SD eess.AS
NOMAD: Unsupervised Learning of Perceptual Embeddings for Speech Enhancement and Non-matching Reference Audio Quality Assessment
Google(谷歌);Science Foundation Ireland(爱尔兰科学基金会)
本文提出无监督、可微的感知相似度度量 NOMAD,利用 NSIM 引导的三元组损失学习音频嵌入,在质量评估、退化排序和语音增强任务中优于非匹配参考方法。
2024-01-19 cs.SD eess.AS
Leveraging Audio-Only Data for Text-Queried Target Sound Extraction
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Waseda University(早稻田大学)
本文提出利用纯音频数据结合嵌入丢弃法训练文本查询目标声音提取模型,以解决文本-音频对稀缺问题,实验证明该方法与使用文本描述训练效果相当。
2024-09-20 cs.SD eess.AS
Multitask learning in Audio Captioning: a sentence embedding regression loss acts as a regularizer
IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);UT3(图卢兹第三大学)
针对自动音频字幕生成任务现有交叉熵损失未考虑语义相近性的问题,提出加入句子嵌入回归损失的多任务训练方法,可减少过拟合、提升性能,且参数量远低于现有最优模型。
2023-05-02 cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Academia Sinica(中央研究院);Edinburgh Napier University(爱丁堡龙比亚大学)
本文提出在预训练AV-HuBERT后接入SE模块并配合微调,用于AVSE和AVSS,实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Measuring Audio Prompt Adherence with Distribution-based Embedding Distances
Sony Computer Science Laboratories(索尼计算机科学实验室)
本文研究能否用基于分布的嵌入距离(如FAD)来通用地测量生成式音乐模型对音频提示的遵循度,提出由嵌入模型、投影、嵌入距离和数据融合组成的简单测量流程,并通过实验验证其对音高和时间偏移扰动具有敏感性。
2024-12-28 cs.SD eess.AS
Audio Captioning with Composition of Acoustic and Semantic Information
Başkent University(Başkent大学)
音频字幕生成是一个新的研究领域,它结合了音频和自然语言处理,为音频片段创建有意义的文本描述。为了解决这个问题,以前的研究大多使用基于编码器-解码器的模型,而不考虑语义信息。为了填补这一空白,我们提出了一种新的编码器-解码器架构,使用双向门控递归单元(BiGRU)与音频和语义嵌入。我们通过从音频片段标题中获取主语和动词来提取语义嵌入,并将这些嵌入与音频嵌入相结合,以提供基于BiGRU的编码器-解码器模型。为了使测试音频的语义嵌入,我们引入了多层感知器分类器来预测这些片段的语义嵌入。我们还提出了详尽的实验,以显示我们提出的模型的音频字幕任务的不同功能和数据集的效率。为了提取音频特征,我们使用对数梅尔能量特征,VGGish嵌入和预训练的音频神经网络(PANN)嵌入。在两个音频字幕数据集Clotho和AudioCaps上的大量实验表明,我们提出的模型在不同的评估指标上优于最先进的音频字幕模型,并且使用语义信息提高了字幕性能。关键词:音频字幕; PANN; VGGish; GRU; BiGRU。
2021-05-13 cs.LG cs.SD eess.AS
Temporal Pooling Strategies for Training-Free Anomalous Sound Detection with Self-Supervised Audio Embeddings
系统评估多种时间池化策略,提出相对偏差池化(RDP)和混合池化方法,在无训练异常声音检测中超越均值池化,达到最优性能。
2026-08-07 cs.SD eess.AS
Transformation of audio embeddings into interpretable, concept-based representations
Dolby Laboratories(Dolby实验室);Dept. of Electrical and Computer Engineering Univ. of Texas at Austin(电气与计算机工程系,德克萨斯大学奥斯汀分校)
本研究利用CLAP模型将音频嵌入转换为基于概念的可解释稀疏表征,在保持或提升下游任务性能的同时提供可解释性,并发布了三个音频词汇表。
2025-04-18 cs.LG cs.SD eess.AS
Zero-Shot Audio Classification Based on Class Label Embeddings
Tampere University(坦佩雷大学)
提出了一种基于类别标签文本信息的零样本学习音频分类方法。我们提出了一个基于双线性模型的音频分类系统,该系统以音频特征嵌入和语义类标签嵌入为输入,并测量音频特征嵌入和类标签嵌入之间的兼容性。我们使用VGGish从音频记录中提取音频特征嵌入。我们把文本标签作为音频类的语义边信息,并使用Word 2 Vec生成类标签嵌入。在ESC-50数据集上的实验结果表明,该系统可以在较小的训练数据集上进行zero-shot音频分类。它可以实现准确性(平均26%)优于随机猜测(10%)对每个音频类别.特别地,对于自然音频类的类别,它达到高达39.7%。
2019-08-07 cs.LG cs.SD eess.AS
Deep Feature Embedding and Hierarchical Classification for Audio Scene Classification
University of Kent(肯特大学);University of Lübeck(吕贝克大学)
在这项工作中,我们提出了一种以深度特征嵌入学习和具有三重损失函数的分层分类为特征的方法,用于声学场景分类(ASC)。一方面,首先训练深度卷积神经网络以从场景音频信号学习特征嵌入。通过训练的卷积神经网络,学习的嵌入将输入嵌入到嵌入特征空间中,并将其转换为用于表示的高级特征向量。另一方面,为了利用场景类别的结构,原始场景分类问题被构造成一个层次结构,其中相似的类别被分组为元类别。然后,使用与三元组损失函数相关联的深度神经网络分类器来完成分层分类。我们的实验表明,所提出的系统在DCASE 2018任务1A和1B数据集上都取得了良好的性能,在任务1A和1B上的准确率分别比DCASE 2018基线提高了15.6%和16.6%。
2020-02-12 cs.SD eess.AS
Language-Queried Target Sound Extraction Without Parallel Training Data
School of Information Science and Engineering, Shandong University(山东大学信息科学与工程学院);North Carolina State University(北卡罗来纳州立大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);Key Laboratory of System and Control, AMSS, Chinese Academy of Sciences(中国科学院数学与系统科学研究院系统与控制重点实验室);The Chinese University of Hong Kong(香港中文大学)
针对语言查询目标声音提取需大量并行标注数据的问题,提出基于CLAP的无并行数据训练方案,通过检索增强策略解决模态差距与过拟合问题,性能优于现有最优方法且泛化性更好。
2025-03-21 cs.SD eess.AS
Audio-Guided Fusion Techniques for Multimodal Emotion Analysis
Beijing University of Posts and Telecommunications(北京邮电大学);State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室);School of Cyberspace Security(网络空间安全学院)
针对MER2024半监督情感识别赛道,本文通过微调CLIP-vit-large与Baichuan-13B、提出AGT音频引导融合、伪标签自训练及先验投票机制,获得赛道第三名。
2024-09-08 cs.AI cs.SD eess.AS
Automatic Audio Equalization with Semantic Embeddings
Aalto University(阿尔托大学);Nokia Technologies(诺基亚技术公司)
研究提出基于语义嵌入的数据驱动方法实现音频自动盲均衡,用预训练模型提供语义嵌入,训练轻量级头部,在音乐和语音上训练,经评估验证其有效性,凸显在现实音频增强应用中的潜力。
2026-07-28 cs.SD eess.AS
Improving automated segmentation of radio shows with audio embeddings
FD Mediagroep(FD传媒集团)
音频特征已被证明对提高自动主题分割系统的性能是有用的。本研究探讨了新的任务,使用音频嵌入的自动化,局部连贯分割的广播节目。我们在来自不同领域的三个数据集上使用多类分类任务创建了三个不同的音频嵌入生成器。我们评估了音频嵌入的主题分割性能,并将其与纯文本基线进行比较。我们发现,包括通过非语音声音事件分类任务生成的音频嵌入的设置在F1测量中显著优于我们的纯文本基线32.3%。此外,我们发现,不同的分类任务产生不同的分割性能的音频嵌入。
2020-02-12 cs.LG cs.SD eess.AS
Fx-Encoder++: Extracting Instrument-Wise Audio Effects Representations from Mixtures
本文提出Fx-Encoder++模型,通过对比学习与提取器机制,从音乐混音中提取乐器级音频效果表示,在检索和参数匹配任务上优于以往混音级方法,弥补了智能音乐制作中乐器级效果理解的能力缺口。
2025-07-03 cs.SD eess.AS
Time-Domain Based Embeddings for Spoofed Audio Representation
Tel Aviv University (TAU)(特拉维夫大学(TAU));Afeka Tel Aviv Academic College of Engineering(阿菲卡特拉维夫工程学术学院);Avignon University(阿维尼翁大学)
反欺骗是语音认证的任务。也就是说,与欺骗性语音相比,识别真正的人类语音。本文的主要重点是提出新的表示为真正的和假冒的语音,基于概率质量函数(PMF)估计的音频波形的幅度。本文介绍了一种新的语音音频信号特征提取方法:与传统方法不同,我们的方法是基于直接处理的时域音频样本。PMF是利用设计一个基于不同的PMF距离和相似性措施的特征提取器。作为附加步骤,我们使用了滤波器组预处理,这显著影响了特征的区分特性,并有助于方便地可视化欺骗攻击的可能聚类。此外,我们使用扩散映射来揭示数据所在的底层流形。建议的嵌入允许使用简单的线性分隔符来实现良好的性能。此外,我们提出了一种方便的方法来可视化的数据,这有助于评估不同的欺骗技术的效率。实验结果表明,使用多通道PMF为基础的功能的反欺骗任务的潜力,除了使用扩散图作为分析工具和嵌入工具的好处。
2022-10-27 cs.SD eess.AS
Audio-Linguistic Embeddings for Spoken Sentences
Stanford University(斯坦福大学)
我们提出了口语句子嵌入捕获声学和语言的内容。虽然现有的作品在字符,音素或单词级别上运行,但我们的方法通过在句子级别上对语音进行建模来学习长期依赖关系。作为一个音频语言多任务学习问题,我们的编码器-解码器模型同时从音频中重建声学和自然语言特征。我们的研究结果表明,口语句子嵌入优于音素和单词水平的基线语音识别和情感识别任务。消融研究表明,我们的嵌入可以更好地模拟高层次的声学概念,同时保留语言内容。总的来说,我们的工作说明了通用的,多模态的句子嵌入口语语言理解的可行性。
2019-02-20 cs.CL cs.SD eess.AS
Embedding-Based Intrusive Evaluation Metrics for Musical Source Separation Using MERT Representations
University of Music and Performing Arts Graz, Institute of Electronic Music and Acoustics (IEM)(格拉茨音乐与表演艺术大学,电子音乐与声学研究所)
本文提出基于MERT嵌入的侵入性评估指标,用于改进音乐源分离的评估方法,实验表明其在感知音频质量评分上表现优于传统BSS-Eval指标。
2026-04-22 cs.SD eess.AS
CoNeTTE: An efficient Audio Captioning system leveraging multiple datasets with Task Embedding
IRIT(图卢兹信息学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Toulouse INP(图卢兹国立理工学院);UT3(图卢兹第三大学)
本文提出CoNeTTE音频描述模型,采用ConvNeXt编码器与任务嵌入结合多数据集训练,在AudioCaps和Clotho上分别取得44.1%和30.5%的SPIDEr分数,参数效率高且能缓解跨数据集性能差距。
2023-09-01 cs.SD eess.AS
EnCLAP: Combining Neural Audio Codec and Audio-Text Joint Embedding for Automated Audio Captioning
MAUM AI Inc.(MAUM AI公司);Seoul National University(首尔大学);Soongsil University(崇实大学)
本研究提出自动音频字幕生成框架EnCLAP,结合EnCodec、CLAP与预训练模型BART,通过掩码编解码器建模提升声学感知,在AudioCaps和Clotho数据集上性能优于基线,并开源代码与演示。
2024-01-31 cs.AI cs.SD eess.AS