A subjective study of the perceptual acceptability of audio-video desynchronization in sports videos
本文介绍了一项研究的结果进行的感知接受的音频视频去噪声化的体育视频。该研究是通过对5个源内容应用8个音视频偏移生成的45个视频进行的。20名受试者参加了这项研究。结果表明，人类对语音刺激的音视频偏移误差更敏感，体育广播中发生的复杂事件具有更高的可接受阈值。这表明在广播中将音频-视频同步要求调谐到广播的内容。
2022-12-03 cs.SD eess.AS eess.IV
Pseudo strong labels for large scale weakly supervised audio tagging
Xiaomi Corporation（小米公司）
大规模的音频标记数据集不可避免地包含不完美的标签，例如由于高手动标记成本而没有精确的开和偏移的剪辑式注释（时间上弱）标签。这项工作提出了伪强标签（PSL），一个简单的标签增强框架，提高了大规模弱监督音频标记的监督质量。机器注释器首先在大型弱监督数据集上进行训练，然后为学生模型提供更精细的监督。使用PSL，我们使用MobileNetV2后端实现了Audioset的35.95平衡训练子集的mAP，显著优于没有PSL的方法。提供的分析显示，PSL减轻了标签缺失。最后，我们证明了用PSL训练的模型在推广到Freesound数据集（FSD）方面也优于弱训练的模型。
2022-04-28 cs.SD eess.AS
GCT: Gated Contextual Transformer for Sequential Audio Tagging
Ghent University（根特大学）；Meta AI；University of Surrey（萨里大学）
音频标注的目的是为音频片段分配预定义的标签，以指示音频事件的类别信息。顺序音频标记（SAT）意味着检测音频事件的类别信息以及它们在音频片段中发生的顺序。大多数现有的SAT方法是基于连接主义的时间分类（CTC）。然而，由于不同时间输出之间的条件独立性假设，CTC不能有效地捕获事件之间的联系。上下文Transformer（cTransformer）通过利用SAT中的上下文信息来解决这个问题。然而，cTransformer在利用上下文信息方面也受到限制，因为它只在推理中使用前向信息。提出了一种具有前后向推理功能的门控上下文Transformer（GCT）。此外，GCT中提出了一个门控上下文多层感知器（GCMLP）块，从结构上提高了cTransformer的性能。在两个真实的音频数据集上的实验表明，GCMLP和FBI相结合的GCT算法的性能优于基于CTC的方法和cTransformer。为了促进SAT的研究，发布了两个数据集的手动注释序列标签。
2022-10-22 cs.SD eess.AS
Urban Sound Tagging using Convolutional Neural Networks
FindHotel（FindHotel公司）
在本文中，我们提出了一个框架，环境声音分类在低数据的情况下（少于100个标记的例子，每个类）。我们表明，使用预训练的图像分类模型以及使用数据增强技术的结果在更高的性能比替代方法。我们将该系统应用于DCASE 2019的城市声音标记任务。目标是从原始音频数据中标记不同的噪声源。MobileNetV 2的修改形式，卷积神经网络（CNN）模型被训练以联合分类粗标签和细标签。该模型使用对数尺度梅尔频谱图作为音频数据的表示格式。混合、随机擦除、缩放和移位被用作数据增强技术。使用缩放标签的第二个模型被构建来解释注释中的人为错误。所提出的模型在排行榜上获得了第一名，精细和粗糙标签的Micro-AUPRC值分别为0.751和0.860。
2019-09-27 cs.LG cs.SD eess.AS
Large-scale weakly supervised audio classification using gated convolutional neural network
University of Surrey（萨里大学）
在本文中，我们提出了一种用于音频分类的门控卷积神经网络和基于时间注意力的定位方法，该方法在声学场景和事件的检测和分类（DCASE）2017挑战赛的大规模弱监督声音事件检测任务中获得了第一名。该任务中的音频片段是从YouTube视频中提取的，手动标记有一个或几个音频标签，但没有音频事件的时间戳，这被称为弱标记数据。在该挑战中定义了两个子任务，包括使用该弱标记数据的音频标记和声音事件检测。提出了一种具有可学习门控线性单元（GLU）非线性的卷积递归神经网络（CRNN），用于对数梅尔谱图。此外，提出了一种时间注意力方法沿帧预测的位置，每个音频事件的块从弱标记的数据。我们在DCASE 2017挑战赛的这两个子任务中分别以F值55.6\%和Equal error 0.73排名第一和第二。
2017-10-01 cs.SD eess.AS
Melon Playlist Dataset: a public dataset for audio-based playlist generation and music tagging
Universitat Pompeu Fabra（庞培法布拉大学）；Kakao Corp（Kakao公司）
音频信号处理领域的主要限制之一是由于受版权保护的商业音乐的限制，缺乏具有音频表示和高质量注释的大型公共数据集。我们提出了Melon Playlist Dataset，这是一个公共数据集，包含649，091首曲目和148，826个由30，652个不同标签注释的相关播放列表。所有的数据都是从Melon收集的，Melon是一个流行的韩国流媒体服务。该数据集适合于音乐信息检索任务，特别是自动标记和自动播放列表延续。尽管后者可以通过协同过滤方法来解决，但音频为研究轨道建议和构建抗冷启动问题的系统提供了机会，为此我们提供了一个基线。此外，Melon Playlist Dataset中包含的播放列表和注释使其适用于度量学习和表示学习。
2021-01-30 cs.IR cs.LG cs.MM
A Temporal-oriented Broadcast ResNet for COVID-19 Detection
University of Augsburg（奥格斯堡大学）；Johannes Kepler University Linz（约翰内斯·开普勒林茨大学）；Imperial College London（帝国理工学院）
从呼吸和咳嗽等音频信号中检测COVID-19，可以作为一种快速有效的预测试方法，以减少病毒传播。由于深度学习网络在建模时间序列方面的良好效果，并且由于在野外快速识别COVID的应用程序需要较低的计算量，因此我们提出了一种面向时间的广播残差学习方法，该方法可以在较小的模型大小下实现高效计算和高精度。基于EfficientNet的结构，我们提出了一种新的基于时间的ResNet~（TorNet）网络，它由一个广播学习块（AB块）和一个卷积层组成，AB块包含多个广播残差块（BC ResBlocks）。通过AB块，该网络可以有效地获得有用的音频-时间特征和更高级别的嵌入，其计算量远远低于通常用于建模时间信息的递归神经网络（RNN）。TorNet在INTERPSEECH 2021计算副语言学挑战赛COVID-19咳嗽子挑战赛中取得了72. 2%的未加权平均召回率（UAR），这显示了具有竞争力的结果，比其他最先进的替代方案具有更高的计算效率。
2022-03-31 cs.LG cs.SD eess.AS
MuLan: A Joint Embedding of Music Audio and Natural Language
Google Research（谷歌研究院）；Seoul National University（首尔大学）
传统上，音乐标记和基于内容的检索系统是使用预定义的本体构建的，所述本体覆盖一组严格的音乐属性或文本查询。本文介绍木兰：第一次尝试新一代的声学模型，将音乐音频直接链接到不受约束的自然语言音乐描述。MuLan采用双塔联合音频文本嵌入模型的形式，使用4400万音乐录音（370K小时）和弱关联的自由文本注释进行训练。通过其与广泛的音乐流派和文本风格（包括传统的音乐标签）的兼容性，所得到的音频文本表示包含现有的本体，同时逐渐成为真正的zero-shot功能。我们通过一系列实验展示了MuLan嵌入的多功能性，包括迁移学习，zero-shot音乐标记，音乐领域的语言理解和跨模态检索应用。
2022-08-26 cs.CL cs.SD eess.AS
Joint Music and Language Attention Models for Zero-shot Music Tagging
Bytedance（字节跳动）；The Chinese University of Hongkong（香港中文大学）
针对音乐标注无法泛化到新标签的问题，提出联合音乐与语言注意力（JMLA）模型，利用预训练掩码自编码器与Falcon7B解码器，结合preceiver resampler和密集注意力连接，在GTZAN上取得64.82%零样本准确率。
2023-10-16 cs.CL cs.SD eess.AS
Synchronizing Audio-Visual Film Stimuli in Unity (version 5.5.1f1): Game Engines as a Tool for Research
Universitat de Barcelona（巴塞罗那大学）；Aalborg University（奥尔堡大学）
Unity是一款专为视频游戏开发而设计的软件。然而，由于其编程的可能性和其架构的多价性，它可以被证明是一个多功能的工具，在研究实验中的刺激演示。然而，它也有一些限制和条件，需要考虑到，以确保在特定的实验情况下的最佳性能。如果我们想在实验设计中使用它，包括实时获取与视频和音频广播同步的生物特征信号，情况就是如此。在本文中，我们分析了Unity（版本5.5.1f1）在一个需要执行视听材料的实验设计中的反应。根据对按照标准软件规范执行视频的实验过程的分析，我们已经检测到以下问题：视频和音频的发射之间的去同步化;临时计数器和视频之间的去同步化;屏幕截图的执行延迟;以及取决于视频的编码，视频回放中的不良流畅性，即使它保持了总回放时间，它会导致Unity冻结帧，并在视频中进行小的临时跳跃补偿。最后，在检测到所有问题后，设计了一个补偿和验证过程，以便能够以准确的方式在Unity（版本5.5.1f1）中处理视听材料。我们提出了一个协议的检查和补偿，允许解决这些问题，以确保执行强大的实验的可靠性。
2019-07-05 cs.MM cs.SD eess.AS
A Modulation Front-End for Music Audio Tagging
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）
卷积神经网络在自动音乐标注任务中得到了广泛的研究。这个问题可以通过使用工程时频特征或原始音频作为输入来解决。作为音色感知的基础，调制滤波器组表示已被积极研究，有可能促进感知显著特征的提取。我们探索端到端的学习前端音频表示学习，ModNet和SincModNet，其中包括一个时间调制处理块。该结构实际上类似于调制滤波器组，其中FIR滤波器中心频率以数据驱动的方式学习。期望的是，感知动机的滤波器组可以提供用于识别音乐特征的有用表示。我们的实验结果提供了一个完全可视化和可解释的前端时间调制分解的原始音频。我们评估了我们的模型对MagnaTagATune数据集上最先进的音乐标记的性能。我们分析了特定标签的性能的影响时，时间-频率带的调制滤波器在一个逐步降低的速率进行二次采样。我们证明，调制滤波提供了有前途的结果，音乐标记和特征表示，而不使用广泛的音乐领域的知识，在这个前端的设计。
2021-05-25 cs.LG cs.SD eess.AS
Qwen-Audio-3.0-TTS: Freely Controllable and Highly Robust Speech Synthesis with Multi-Stage Training Paradigm
Alibaba Token Foundry（阿里通义实验室）
介绍Qwen-Audio-3.0-TTS语音合成系统，结合低帧率分词器与五阶段训练范式，通过自然语言指令等实现生产级控制，支持多语言多方言，在多种评估中性能优异，为生产级语音合成奠定基础。
2026-07-28 eess.AS
PITCH: AI-assisted Tagging of Deepfake Audio Calls using Challenge-Response
New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）
针对实时语音克隆攻击，提出PITCH挑战-响应方法，结合20种音频挑战和人类直觉，将检测准确率提升至84.5%，作为AI辅助预筛选器，兼顾人类控制权。
2025-05-26 cs.CR cs.SD eess.AS
