An open dataset for research on audio field recording archives: freefield1010
Queen Mary University of London（伦敦玛丽女王大学）
我们介绍了一个免费和开放的数据集的7690音频剪辑采样从现场录音标签在Freesound音频档案。该数据集旨在用于与现场录音/音景的音频档案中的数据采掘相关的研究。音频是标准化的，音频和元数据是知识共享许可的。我们描述的数据准备过程中，重复的数据集，并说明其使用通过自动标记实验。
2013-10-01 cs.DL cs.SD
Enabling automatic transcription of child-centered audio recordings from real-world environments
Tampere University（坦佩雷大学）
提出自动检测长时儿童音频中可可靠转录话语的方法，在四个英语语料库上以30%语音转录实现中位WER 0%，显著优于全量转录，并验证了词频与人工标注高度相关。
2026-09-18 cs.LG cs.SD
Role-guided Speaker Deletion Verification in Clinical Psychiatry Speech Recordings with Audio Language Models
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
本研究针对精神病学临床对话录音中按角色删除说话人的验证问题，提出双流水线方法，利用音频语言模型和大语言模型扫描残留音频，并在48个二元录音上评估，OR集成F1达0.478，凸显模型互补性。
2026-10-01 cs.LG cs.SD
Snow Mountain: Dataset of Audio Recordings of The Bible in Low Resource Languages
BridgeConn（BridgeConn公司）
针对低资源语言ASR模型不足的问题，作者发布了北印度语言圣经音频数据集Snow Mountain，并训练两个ASR模型作为未来研究的基线。
2023-05-23 cs.LG cs.SD eess.AS
Automatic Classification of OSA related Snoring Signals from Nocturnal Audio Recordings
University of Sydney（悉尼大学）；Charles Perkins Centre（查尔斯·珀金斯中心）；School of Biomedical Engineering（生物医学工程学院）；Northern Clinical School（北部临床学院）；Royal North Shore Hospital（皇家北岸医院）
在这项研究中，提出了一种自动算法的开发，以分类阻塞性睡眠呼吸暂停（OSA）患者的夜间音频记录为OSA相关打鼾，简单打鼾和其他声音。最近的研究已经表明，关于OSA相关打鼾的知识可以帮助识别气道塌陷的部位。在睡眠期间，使用天花板麦克风与整夜多导睡眠图同时记录音频信号。提取夜间音频信号的时间和频率特征，将音频信号分类为OSA相关打鼾、单纯打鼾和其他声音。基于OSA相关打鼾可以帮助识别上气道塌陷部位的假设，开发了两种算法来使用线性判别分析（LDA）分类器提取OSA相关打鼾。使用无偏嵌套留一患者交叉验证过程从全特征集中选择高性能特征集。结果表明，该算法实现了87%的准确度为识别打鼾事件从音频记录和72%的准确度为识别睡眠呼吸暂停相关打鼾事件从打鼾事件。使用多类LDA分类器提取OSA相关打鼾事件的直接方法使用特征选择算法实现了64%的准确度。我们的研究结果清楚地表明，OSA相关的打鼾事件可以从夜间录音中提取，因此可以潜在地用作从夜间录音中识别气道塌陷部位的新工具。
2021-03-02 cs.LG cs.SD eess.AS
Characterizing dynamically varying acoustic scenes from egocentric audio recordings in workplace setting
University of Southern California（南加州大学）
能够对声学场景进行检测和分类的设备具有许多应用，诸如提供上下文感知的用户体验。在本文中，我们解决的任务，从可穿戴麦克风收集的录音在工作场所设置的声学场景的特征。声学场景，跟踪与蓝牙收发器，动态变化与时间从自我中心的角度来看，移动用户。我们的数据集包含从医院的临床提供者收集的经验采样长音频记录，他们在多个轮班期间佩戴音频徽章。为了处理长时间的自我中心记录，我们提出了一个基于时间延迟神经网络（TDNN）的分段级建模。实验表明，TDNN在声学场景分类任务中优于其他模型。我们调查的影响，主要发言人的讲话确定声学场景从音频徽章，并提供了不同的模型之间的性能比较。此外，我们探讨了用户所经历的声学场景的序列和他们的工作性质之间的关系，并发现我们的模型预测的场景序列往往具有类似的关系。初步的有希望的结果揭示了许多研究方向的声学场景分类通过可穿戴设备以及自我中心的分析，动态声学场景中遇到的用户。
2019-11-10 cs.LG cs.SD eess.AS
Detection and classification of vocal productions in large scale audio recordings
Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Résurgences R&D（Résurgences研发公司）
本文提出一种基于深度神经网络的端到端自动流水线，通过迁移学习、数据增强和贝叶斯优化等技术，在少量标注数据下实现大规模自然音频中发声的检测与分类，并在狒狒和婴儿录音上验证了高准确率和大规模处理能力。
2023-08-11 cs.LG cs.SD eess.AS
On Frequency-Wise Normalizations for Better Recording Device Generalization in Audio Spectrogram Transformers
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
本研究针对声学场景分类中录音设备不匹配问题，提出对音频频谱变换器输入进行频率居中操作，以抑制设备特征，在未见设备上平均提升性能达18.2个百分点。
2023-06-20 cs.LG cs.SD eess.AS
Low Resource Audio-to-Lyrics Alignment From Polyphonic Music Recordings
Queen Mary University of London（伦敦玛丽女王大学）；Doremir Music Research AB（Doremir音乐研究公司）
长音乐记录中的歌词对齐在单遍执行时可能是记忆耗尽的。在这项研究中，我们提出了一种新的方法，执行音频到歌词对齐与低内存消耗的足迹，无论音乐录制的持续时间。所提出的系统首先在音频信号中定位锚定词。对于这些锚点，记录然后被分段，并执行第二遍对齐以获得字定时。我们表明，我们的音频到歌词对齐系统执行竞争力与国家的最先进的，同时需要更少的计算资源。此外，我们利用我们的歌词对齐系统将音乐录音分割成音乐级别的块。值得注意的是，在分段录音中，我们报告了一些基准测试集上的歌词转录分数。最后，我们的实验强调了声源分离步骤对于转录和比对任务的良好性能的重要性。为了可重复性，我们与研究社区公开分享我们的代码。
2021-02-18 cs.SD eess.AS
Speaker Clustering With Neural Networks And Audio Processing
AIPCloud（艾普云）
说话人聚类是区分录音中的说话人的任务。在某种程度上，目的是回答“谁在什么时候说话”的录音。工业中使用的常用方法是由于MFCC特征而直接从记录中提取特征提取，并且通过使用诸如高斯混合模型（GMM）和隐马尔可夫模型（HMM）的公知技术。在本文中，我们研究了神经网络（特别是CNN），然后进行聚类和音频处理，以达到与最先进的方法相似的精度。
2018-03-22 cs.LG cs.SD eess.AS
A Novel Stochastic Transformer-based Approach for Post-Traumatic Stress Disorder Detection using Audio Recording of Clinical Interviews
LISSI Université Paris-Est Créteil (UPEC)（巴黎东部克雷泰伊大学LISSI实验室）
本文提出一种基于MFCC特征和随机Transformer的深度学习方法，利用临床访谈音频检测PTSD，在eDAIC数据集上取得RMSE 2.92的最新性能。
2024-03-28 cs.LG cs.SD eess.AS
Implementing simple spectral denoising for environmental audio recordings
University of São Paulo（圣保罗大学）；University College Cork（科克大学）
本技术报告详细介绍了应用于噪声滤波器的变更，以促进其应用并改善其结果。该滤波器被应用于降噪的自然声音记录在野外，并产生一个用于声景分析的声学指数。
2022-01-06 cs.MM cs.SD eess.AS
Exploiting Parallel Audio Recordings to Enforce Device Invariance in CNN-based Acoustic Scene Classification
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
在训练和应用时看到的数据之间的分布不匹配仍然是机器学习所有应用领域的主要挑战。我们在机器监听的背景下研究这个问题（DCASE 2019挑战赛的任务1b）。我们提出了一种新的方法来学习域不变的分类器在一个端到端的方式，通过实施平等的隐藏层表示域并行的样本，即时间对齐的记录从不同的记录设备。我们的域自适应（DA）方法不需要分类标签，这使得数据收集过程更便宜。
2019-09-04 cs.LG cs.SD eess.AS
Detecting Synthetic Speech Manipulation in Real Audio Recordings
SRI International（SRI国际研究所）
人工语音和音频技术的最新进展提高了深度伪造运营商伪造媒体和传播恶意错误信息的能力。任何编码技能有限的人都可以使用免费提供的语音合成工具来创建有影响力的演讲者的声音的令人信服的模拟，恶意扭曲原始信息。利用最新技术，恶意操作者不必生成完整的音频片段;相反，他们可以将部分操作或合成语音片段插入到真正的音频记录中，以改变原始消息的整个上下文和含义。检测这些插入尤其具有挑战性，因为部分操纵的音频比完全伪造的消息更容易避开合成语音检测器。本文描述了一种基于x-ResNet架构的潜在部分合成语音检测系统，该系统具有概率线性判别分析（PLDA）后端和交织感知得分处理。实验结果表明，PLDA后端的结果在一个非PLDA基线的部分合成的数据集之间的平均误差减少了25%。
2022-09-15 cs.SD
Latent variable approach to diarization of audio recordings using ad-hoc randomly placed mobile devices
Indian Institute of Science（印度科学学院）
本文考虑了使用空间信息的自组织移动设备的音频记录的日记化。对于每个移动终端假设两信道同步记录，其用于以逐帧方式在每个设备处分别计算方向统计。跨移动设备的记录是异步的，但是通过使用声学事件或实时时钟对准信号来执行粗略同步。然后使用Dirichlet混合模型联合建模为所有设备计算的方向统计，并且使用混合分量上的后验概率来导出日志化信息。使用手机对真实生活录音进行的实验表明，日志化错误率低于14%。
2018-10-31 cs.SD eess.AS
Style Transfer of Audio Effects with Differentiable Signal Processing
Queen Mary University of London（伦敦玛丽女王大学）；Adobe Research（Adobe研究院）
我们提出了一个框架，可以施加的音频效果和生产风格从一个录音到另一个的例子，以简化音频生产过程的目标。我们训练深度神经网络来分析输入录音和风格参考录音，并预测用于渲染输出的音频效果的控制参数。与过去的工作相比，我们在我们的框架中集成了音频效果作为可微算子，通过音频效果执行反向传播，并使用音频域损失优化端到端。我们使用一个自我监督的训练策略，使音频效果的自动控制，而不使用任何标记或配对的训练数据。我们调查了一系列现有的和新的可微信号处理方法，展示了如何将每种方法集成到我们的框架中，同时讨论它们的权衡。我们在语音和音乐任务上评估了我们的方法，证明我们的方法可以推广到看不见的录音，甚至可以推广到与训练过程中看到的不同的采样率。我们的方法可以产生令人信服的制作风格转换结果，能够将输入录音转换为制作录音，产生音频效果控制参数，从而实现可解释性和用户交互。
2022-07-18 cs.SD eess.AS
Spanish and English Phoneme Recognition by Training on Simulated Classroom Audio Recordings of Collaborative Learning Environments
协作学习环境的音频记录包含持续存在的串扰和背景噪声。在这些环境中需要西班牙语和英语之间的动态语音识别。为了消除大规模地面实况的标准要求，本文开发了一个模拟数据集，通过将音频transanimation转换为音素，并使用3D扬声器几何和数据增强来生成西班牙语和英语语音的声学模拟。本文开发了一个低复杂度的神经网络，用于识别西班牙语和英语音素（可在github.com/muelitas/keywordRec获得）。当在41个英语音素上训练时，在语音命令上实现了0.099 PER。当训练36西班牙语音素和测试的协作学习环境的真实录音，0.7208 LER实现。比Google的Speech-to-text 0.7272 LER稍好，后者使用了15到1,635倍的参数，并在300到27,500小时的真实数据上进行了训练，而不是13小时的模拟音频。
2022-02-21 cs.SD eess.AS
Low-Complexity Neural Wind Noise Reduction for Audio Recordings
Fraunhofer IIS（弗劳恩霍夫研究所）
本文提出一种利用风噪频谱特性的低复杂度单通道深度神经网络，以249K参数和约73 MHz计算量实现与ULCNet相当的性能，适用于嵌入式和移动音频降噪。
2025-07-02 cs.SD eess.AS eess.SP
Location Forensics Analysis Using ENF Sequences Extracted from Power and Audio Recordings
University of South Carolina（南卡罗来纳大学）；North Carolina A & T State University（北卡罗来纳农业与技术州立大学）
电网频率（ENF）是配电网的特征，其表示电力系统网络的标称频率（50或60 Hz）。由于电网中的负载变化，ENF序列经历波动。这些ENF变化固有地位于靠近电网或直接从干线电力线记录的多媒体信号中。因此，可以通过在没有并发功率信号的情况下分析该信号的ENF序列来定位多媒体记录。在本文中，提出了一种新的方法来分析位置取证使用ENF序列提取的电力和音频记录。数字记录是从世界各地不同的网格位置收集的。从ENF序列确定潜在特征分量。然后，多类支持向量机（SVM）分类模型的开发，以验证录音的位置的真实性。性能评估肯定了所提出的工作的有效性。
2019-12-18 cs.LG cs.SD eess.AS
Blind Audio Bandwidth Extension: A Diffusion-Based Zero-Shot Approach
Aalto University（阿尔托大学）
针对低通退化未知的盲音频带宽扩展问题，提出基于预训练无条件扩散模型的零样本方法BABE，通过参数化迭代推断未知退化算子的广义扩散后验采样实现重建，在合成数据上优于现有盲方法且性能接近知情方法，对真实历史录音增强泛化性好、音质提升显著。
2024-01-30 cs.LG cs.SD eess.AS
A Cross-Verification Approach for Protecting World Leaders from Fake and Tampered Audio
Harvey Mudd College（哈维穆德学院）
本文解决了验证世界领导人讲话录音真实性的问题。虽然之前检测深度虚假或篡改音频的工作侧重于孤立地审查音频记录，但我们重新定义了问题，并侧重于根据可信参考交叉验证可疑记录。我们提出了一种方法，用于交叉验证语音记录对参考，包括两个步骤：对齐两个记录，然后将每个查询帧分类为匹配或不匹配。我们提出了一种基于Needleman-Wunsch算法的子序列对齐方法，并表明它在处理常见的篡改操作方面显着优于动态时间规整。我们还探索了几种基于LSTM和Transformer架构的二进制分类模型，以在帧级别验证内容。通过对唐纳德·特朗普的篡改语音录音进行广泛的实验，我们表明我们的系统可以可靠地检测不同类型和持续时间的音频篡改操作。我们的最佳模型在50 ms的误差容限和0.43%的等误差率下将音频帧分类为匹配或不匹配时，实现了99.7%的对准任务准确率。
2020-10-23 cs.SD eess.AS
Audio Content based Geotagging in Multimedia
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出的方法来提取地理相关信息的多媒体记录使用其音频。我们的方法主要是基于这样一个事实，即城市声环境由各种声音。因此，可以从音频中存在的声音事件/类的组成推断位置信息。更具体地说，我们采用矩阵分解技术，以获得不同的声音类的录音的语义内容。然后，这些语义信息被组合以识别记录的位置。
2016-11-11 cs.MM cs.SD
Speaker Diarization and Identification from Single-Channel Classroom Audio Recording Using Virtual Microphones
University of New Mexico（新墨西哥大学）
在嘈杂的音频记录中，特别是那些来自协作学习环境的音频记录中，说话人识别可能极具挑战性。有必要从同时说话的其他学生中识别出在小组中说话的个别学生。为了解决这个问题，我们假设每个学生组使用单个麦克风，而不访问以前的大型数据集进行训练。本文提出了一种基于互相关模式的说话人识别方法。通过使用从视频记录中观察到的近似扬声器几何形状来模拟虚拟麦克风。基于每个虚拟麦克风的房间脉冲响应的估计来构造模式。然后使用相关模式来识别说话者。所提出的方法通过课堂音频进行了验证，并显示出大大优于Google Cloud和Amazon AWS提供的日志服务。
2022-07-01 cs.SD eess.AS
BickGraphing: Web-Based Application for Visual Inspection of Audio Recordings
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
BickGraphing是一款基于网页的音频可视化工具，支持本地处理和交互式探索音频数据，适用于昆虫生物声学及相关领域的研究。
2026-01-14 cs.SD eess.AS
Domestic activities clustering from audio recordings using convolutional capsule autoencoder network
South China University of Technology（华南理工大学）
最近在国内活动分类方面做出了努力，特别是自2018年以来提交DCASE（声学场景和事件的检测和分类）挑战的作品。而国内活动集群这一新出现的问题却鲜有研究。从音频记录的家庭活动聚类旨在将属于同一类家庭活动的音频片段合并到单个聚类中。家庭活动聚类是一种有效的方法，在家庭环境中进行日常活动的无监督估计。在这项研究中，我们提出了一种使用卷积胶囊自动编码器网络（CCAN）进行国内活动聚类的方法。该方法通过CCAN中的自动编码器学习深度嵌入，通过CCAN中的聚类层将属于同一类的深度嵌入合并为一个簇。在DCASE-2018任务5中采用的公共数据集上进行评估，结果表明，所提出的方法在聚类准确性和归一化互信息的度量方面优于最先进的方法。
2021-05-08 cs.SD eess.AS
Hierarchical Linear Dynamical System for Representing Notes from Recorded Audio
University of Florida（佛罗里达大学）
我们寻求发展的同时分割和分类的笔记从音频记录中存在的离群值。所选择的结构建模时间序列是分层线性动态系统（HLDS）。我们提出了一种新的方法，其参数设置。HLDS可以潜在地以两种方式被采用：1）用于探索数据的同时分割和聚类，即找到未知音符，2）用于在存在离群值的情况下找到感兴趣音符的音频记录的同时分割和分类。我们适应HLDS的第二个目的，因为它是一个更容易的任务，仍然是一个具有挑战性的问题，例如，在生物声学领域。每个测试剪辑都具有与训练剪辑相同的注释（但不同的实例），并且还包含离群值注释。在测试中，如果有兴趣的话，它会自动决定一个笔记属于哪个兴趣类别。这项工作的两个应用领域的生物声学检测动物的声音在音频现场录音，也音乐学。实验已经进行了分割和分类的鸟类和音乐音符从录制的音频。
2022-02-27 cs.LG cs.SD eess.AS
Audio-based cough counting using independent subspace analysis
Technological University Dublin（都柏林理工大学）；University College Dublin（都柏林大学学院）
本文提出了一种旨在检测音频记录中特征咳嗽事件的算法，可显着减少手动计数所需的时间。使用时间-频率表示和独立子空间分析（ISA），声音事件，表现出咳嗽的特性自动检测，产生检测到的事件的摘要。使用从公开可用的音频记录创建的数据集，该算法已经在各种合成音频场景上进行了测试，这些场景代表了接受动态咳嗽记录的受试者可能遇到的场景，实现了76%的真阳性率，平均每分钟2.85个假阳性。
2021-04-14 cs.SD eess.AS
JSIR: An Audio-Aligned, Multi-Task Dataset of Jazz Standard Recordings
Sogang University（西江大学）
本文提出JSIR多任务数据集，含25.6小时爵士标准曲录音，经多轮修订提供三类标注，训练模型提升了节拍跟踪与和弦估计性能，公开标注及相关工具。
2026-10-14 cs.DL cs.LG cs.MM
Classification of Audio Segments in Call Center Recordings using Convolutional Recurrent Neural Networks
从客户关系管理的角度来看，对呼叫中心记录进行详细的统计分析至关重要。随着人工智能的最新进展，现在可以自动执行许多与呼叫统计计算有关的任务。这项工作提出了一个神经网络框架，其目的是正确识别音频片段，并将其分类为客户或代理部分。准确识别这些部分为评估代理人的表现提供了一个公平的指标。我们继承了卷积递归神经网络（CRNN）架构，通常用于音乐流派分类等问题。我们还测试了相同架构的性能，其中以前的类信息和说话者的性别信息也被添加到训练数据标签中。我们看到CRNN可以概括训练数据，并且在有性别信息和没有性别信息的情况下对验证数据表现良好。此外，即使是训练也是使用土耳其语语音样本进行的;经过训练的网络被证明可以在德语和英语等其他语言的呼叫中心录音中实现高准确性。
2021-06-04 cs.SD eess.AS
Feature extraction with mel scale separation method on noise audio recordings
Institut Teknologi dan Bisnis STIKOM Bali（巴厘岛STIKOM技术与商业学院）
本文的重点是提高噪声音频记录的准确性。高质量的音频记录，提取使用梅尔频率倒谱系数（MFCC）的方法产生高精度。而低质量是因为噪声，准确性低。通过研究带宽对mel标度的影响，提高了精度。提出的改进使用梅尔尺度分离方法到两个频率通道（MFCC双通道）。对于比较方法，使用无分离的梅尔标度带宽（MFCC单通道）。使用k-mean聚类进行特征分析。数据使用的噪声方差高达-16 dB。MFCC单通道方法对-16 dB噪声的测试具有47.5%的准确度，而MFCC双通道方法具有更好的76.25%的准确度。下一个测试使用自适应噪声消除（ANC）来减少提取前的噪声。结果表明，MFCC单通道法的准确率为82.5%，MFCC双通道法的准确率为83.75%。高质量音频录音测试中，MFCC单通道方法的准确率为92.5%，MFCC双通道方法的准确率更好，为97.5%。测试结果表明，梅尔尺度带宽的效果，以提高精度。MFCC双通道法具有较高的精度。
2021-12-30 cs.SD eess.AS
Deep CNN Framework for Audio Event Recognition using Weakly Labeled Web Data
音频事件识别系统的开发需要标记的训练数据，这通常是很难获得的。音频事件的记录的一个有前途的来源是网络上的大量多媒体数据。特别地，如果音频内容分析本身必须对web音频执行，则根据这样的数据训练识别器本身是重要的。然而，从这些网络数据中进行训练带来了几个挑战，最重要的是标签的可用性：可以为数据获得的标签（如果有的话）通常很弱，并且不是训练检测器或分类器所需的那种。我们提出，学习算法，可以利用弱标签提供了一种有效的方法来学习Web数据。然后，我们提出了一个强大而有效的基于深度卷积神经网络（CNN）的框架，以从弱标记数据中学习音频事件识别器。所提出的方法可以训练和分析记录的可变长度，以有效的方式，并优于一个网络训练的强标记的网络数据的相当大的利润。此外，即使我们从弱标记数据中学习，其中记录中的事件时间戳在训练期间不可用，我们提出的框架也能够在推理阶段定位事件。
2022-10-02 cs.LG cs.MM cs.SD
A study of audio mixing methods for piano transcription in violin-piano ensembles
KAIST（韩国科学技术院）；Electronics and Telecommunications Research Institute（电子与电信研究院）；Sogang University（西江大学）
本研究分析了不同音频混合数据增强方法对小提琴-钢琴合奏中钢琴转录性能的影响，通过构建PFVN-synth数据集并结合MAESTRO数据集，验证了考虑谐波与时间特征的混合方法的有效性。
2023-05-23 cs.SD eess.AS
Domestic Activities Classification from Audio Recordings Using Multi-scale Dilated Depthwise Separable Convolutional Network
针对家庭音频活动分类任务，提出多尺度扩张深度可分离卷积网络，通过扩张卷积扩感受野、多尺度嵌入表征类别差异，在DCASE-2018任务5数据集上精度优于现有轻量级网络方法。
2023-06-09 cs.SD eess.AS
Training chord recognition models on artificially generated audio
Faculty of Mathematics and Information Science（数学与信息科学学院）；Warsaw University of Technology（华沙技术大学）
本研究比较两种Transformer模型，证明人工生成音频数据可有效补充或替代真实录音，用于训练和弦识别模型。
2025-08-07 cs.LG cs.SD
Establishing degrees of closeness between audio recordings along different dimensions using large-scale cross-lingual models
CNRS（法国国家科学研究中心）；Université Paris-Cité（巴黎城市大学）；LACITO（语言与东方文明研究中心）；Université Sorbonne Nouvelle（新索邦大学）；LISN（信息、信号与图像处理实验室）；Université Paris-Saclay（巴黎-萨克雷大学）
本研究提出一种无监督的ABX测试方法，利用预训练多语言模型的语音表示，通过三个实验验证了不同维度下录音的接近程度，为低资源语言研究开辟新途径。
2024-02-08 cs.CL cs.SD eess.AS
Catch-A-Waveform: Learning to Generate Audio from a Single Short Example
Technion – Israel Institute of Technology（以色列理工学院）
用于音频生成的模型通常在数小时的录音上进行训练。在这里，我们说明了从单个训练信号中捕获音频源的本质通常是可能的，只要几十秒。具体来说，我们提出了一个基于GAN的生成模型，可以在来自任何领域（例如语音，音乐等）的一个短音频信号上进行训练。并且不需要预先培训或任何其他形式的外部监督。一旦经过训练，我们的模型可以生成任意持续时间的随机样本，这些样本与训练波形保持语义相似性，但表现出其音频原语的新组成。这使得一长串有趣的应用程序，包括生成新的爵士乐即兴或新的无伴奏说唱变体的基础上一个单一的短的例子，生产连贯的修改著名的歌曲（例如，仅根据原始录音为披头士的歌曲添加新的诗句），填补缺失部分（修复）、扩展语音信号的带宽（超分辨率）、以及在不访问任何干净的训练样本的情况下增强旧记录。我们表明，在所有情况下，不超过20秒的训练音频通常足以使我们的模型达到最先进的结果。这是尽管它完全缺乏关于一般音频信号的性质的先验知识。
2021-10-26 cs.LG cs.SD eess.AS
Multi-label Sound Event Retrieval Using a Deep Learning-based Siamese Structure with a Pairwise Presence Matrix
Simon Fraser University（西蒙菲莎大学）；Microsoft（微软公司）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）
真实的音景录音通常有多个声音事件同时发生，如汽车喇叭，引擎和人类的声音。声音事件检索是一种基于内容的搜索，旨在查找音频样本，类似于基于声学或语义内容的音频查询。现有技术的声音事件检索模型集中于仅发生一个声音事件的单标签音频记录，而不是多标签音频记录（即，在一个记录中发生多个声音事件）。为了解决后一个问题，我们提出了不同的深度学习架构，包括Siamese结构和Pairwise Presence Matrix。使用包含单标签和多标签音景录音的SONYC-UST数据集对网络进行训练和评估。实验结果表明了该模型的有效性。
2020-02-20 cs.IR cs.LG cs.SD
TACOS: Temporally-aligned Audio CaptiOnS for Language-Audio Pretraining
Institute of Computational Perception (CP-JKU)（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰开普勒大学）
本文构建约12,000条带时间段标注的 TACOS 数据集，并提出逐帧对比训练策略，使类 CLAP 模型获得优于全局字幕训练模型的时间文本-音频对齐能力。
2025-05-12 cs.LG cs.SD eess.AS
Visually Informed Binaural Audio Generation without Binaural Audios
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
立体声音频，特别是双耳音频，在沉浸式观看环境中起着至关重要的作用。最近的研究已经探索了生成由多声道音频集合监督的视觉引导的立体声音频。然而，由于专业记录设备的要求，现有的数据集在规模和种类上受到限制，这阻碍了监督方法在真实世界场景中的推广。在这项工作中，我们提出了伪双耳，一个有效的管道，是免费的双耳录音。关键的洞察力是用单声道数据仔细构建伪视觉立体声对进行训练。具体来说，我们利用球谐分解和头部相关脉冲响应（HRIR）来识别空间位置和接收到的双耳音频之间的关系。然后在视觉模态中，单声道数据的对应视觉线索被手动放置在声源位置处以形成对。与完全监督的范例相比，我们的无双耳记录管道在跨数据集评估中表现出很大的稳定性，并在主观偏好下实现了相当的性能。此外，结合双耳录音，我们的方法能够进一步提高监督设置下的双耳音频生成的性能。
2021-04-13 cs.CV cs.MM cs.SD
Audiovisual Singing Voice Separation
University of Rochester（罗切斯特大学）；ByteDance Inc.（字节跳动公司）
将歌曲分离为声乐和伴奏成分是一个活跃的研究课题，近年来，使用深度学习技术进行监督训练的性能有所提高。我们建议应用与歌唱者的发声活动相对应的视觉信息，以进一步提高分离的发声信号的质量。视频前端模型接受嘴部运动的输入，并将其融合到基于音频的分离框架的特征嵌入中。为了便于网络学习歌唱活动的视听相关性，我们在训练期间向音频混合物中添加与嘴部运动无关的额外声音信号。我们创建了两个视听歌唱表演数据集，分别用于训练和评估，一个来自互联网上的试听录音，另一个来自内部录音。在大多数测试录音的分离质量方面，所提出的方法优于基于音频的方法。当伴奏中有伴唱时，这种优势尤其明显，这对纯音频方法提出了很大的挑战。
2021-07-01 cs.LG cs.SD eess.AS
Presence-absence estimation in audio recordings of tropical frog communities
Pontificia Universidad Católica del Ecuador（厄瓜多尔天主教大学）
研究青蛙群落的一种非侵入性方法是通过分析含有叫声的声音材料的长期样本。通过开发机器学习工具来提取生态信息，这项艰巨的任务得到了优化。我们探索了一种基于高斯混合模型分类的10种青蛙的似然比音频检测器，并将其应用于估计存在-不存在的音频记录，从实际的两栖动物监测在亚苏尼国家公园在厄瓜多尔亚马逊。一个修改后的滤波器组被用来提取20个倒谱特征，模拟青蛙呼叫的频谱内容。实验研究了训练准确GMM分类器所需的超参数和最小蛙鸣时间。使用64个高斯和12秒的训练时间，分类器在9个物种分类的10倍交叉验证上实现了0.9%的平均加权出错率，而MFCC为3%，PLP为1.8%。为了进行测试，10个Gestival使用所有可用的训练验证数据集进行训练，以研究2001年在两个青蛙社区使用模拟设备记录的141个10分钟长的未识别真实世界音频样本中的23.5小时。为了评估自动存在-不存在估计，我们用10个二进制变量表征音频样本，每个二进制变量对应于青蛙物种，并使用耳机手动标记18个样本的子集。该算法的查全率为87.5%，查准率为100%，平均准确率为96.66%，表明该算法具有良好的泛化能力，并证明了该方法对热带声学环境中真实世界音频记录的有效性。最后，我们将该算法应用于现有的语料库，并显示其潜力，以获得洞察的时间繁殖行为的青蛙。
2019-01-08 cs.LG cs.SD eess.AS
DeAR: A Deep-learning-based Audio Re-recording Resilient Watermarking
University of Science and Technology of China（中国科学技术大学）；University of Waterloo（滑铁卢大学）；National University of Singapore（新加坡国立大学）
针对音频重录音攻击导致水印失效的问题，提出基于深度学习的抗重录音音频水印框架DeAR，通过设计模拟重录音失真的专用层，在高质量嵌入下实现了98.55%的比特恢复准确率。
2023-04-03 cs.CR cs.MM cs.SD
SpectroMap: Peak detection algorithm for audio fingerprinting
University of Valencia（瓦伦西亚大学）
本研究提出开源音频指纹工具SpectroMap，其核心是通过时频带从语谱图提取拓扑突出特征的峰值搜索算法，经两类音频数据验证有效，并提供复现脚本保障可复现性。
2023-05-02 cs.SD eess.AS
Reference-Based Recursive Least-Squares Mitigation of Real Interference in Stereo Audio Recordings
Telecommunications Engineering, Department of Electronics, Information（电信工程系，电子与信息系）
针对受真实火车噪声和环境背景污染的立体声音频，采用多参考递归最小二乘（RLS）估计器进行自适应干扰消除，通过参考信号估计干扰分量并减去，后接低通后置滤波器，有效降低参考相关性达30.6-34.1 dB。
2026-06-18 cs.SD eess.SP
Spectrum Correction: Acoustic Scene Classification with Mismatched Recording Devices
Samsung R\&D Institute Poland
机器学习算法在对来自有限设备集的音频记录进行训练时，可能无法很好地推广到使用具有不同频率响应的其他设备记录的样本。在这项工作中，一个相对简单的方法来解决这个问题。两种变体的方法。第一种方法需要来自多个设备的对齐示例，第二种方法满足了这一要求。该方法适用于音频记录的时域和频域表示。此外，标准化和倒谱平均减法的关系进行了分析。所提出的方法变得有效，即使很少的例子。该方法是在声学场景和事件的检测和分类（DCASE）2019挑战赛期间开发的，并以75%的准确率获得了不匹配记录设备场景的第一名。实验的源代码可以在网上找到。
2021-05-25 cs.LG cs.SD eess.AS
Multiclass Language Identification using Deep Learning on Spectral Images of Audio Signals
Novetta（诺维塔）
任何话音识别软件的第一步都是确定说话者使用的是什么语言，理想情况下，这一过程将是自动化的。本文描述的技术，音频频谱图的语言识别（LIFAS），使用从音频信号生成的频谱图作为卷积神经网络（CNN）的输入，用于语言识别。LIFAS需要对音频信号进行最少的预处理，因为在训练期间将频谱图输入到网络时，会在每个批次期间生成频谱图。LIFAS利用了在图像处理任务中表现出成功的深度学习工具，并将其应用于音频信号分类。LIFAS在3.75秒的音频片段上以97%的准确率执行二进制语言分类，并且以89%的准确率执行六种语言的多类分类。
2019-05-10 cs.LG cs.SD eess.AS
POLIPHONE: A Dataset for Smartphone Model Identification from Audio Recordings
Politecnico di Milano（米兰理工大学）
针对音频取证中智能手机型号识别数据集过时、采集不一致的问题，本文提出包含20款近期手机多领域音频的POLIPHONE数据集，并通过最先进分类器完成基准测试。
2024-10-08 cs.MM cs.SD eess.AS
Towards Robust Family-Infant Audio Analysis Based on Unsupervised Pretraining of Wav2vec 2.0 on Large-Scale Unlabeled Family Audio
University of Illinois（伊利诺伊大学）；Beckman Institute for Advanced Science and Technology（贝克曼先进科学技术研究所）
本文利用 1000 小时无标签家庭音频无监督预训练 W2V2，为 LittleBeats 学习家庭音频表示，在有限标注下提升父母/婴儿说话人日志与发声分类性能。
2023-12-08 cs.SD eess.AS
AMemOps: Evaluating Memory Updates in Long Audio Streams
University of Surrey（萨里大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
该研究针对长音频流的内存更新问题，提出AMemOps基准，通过配对控制变量考察影响，发现delta规则内存的更新优势可提升13.4个百分点，匹配历史与加法内存控制分别揭示相关益处。
2026-10-14 cs.AI cs.LG cs.SD
Mind the beat: detecting audio onsets from EEG recordings of music listening
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种深度学习方法来预测用户在听音乐时记录的脑电图（EEG）中的音频事件发作。我们使用一个公开的数据集，其中包含10首当代歌曲和同时记录的EEG。我们为数据集中的歌曲生成一系列起始标签，并训练神经网络（全连接网络（FCN）和递归神经网络（RNN））来解析输入EEG的第二个窗口，以预测音频中的第二个起始窗口。我们将我们的RNN网络与标准的基于光谱通量的新颖性函数和FCN进行了比较。我们发现，我们的RNN能够产生比其他方法更好地反映其泛化能力的结果。由于没有预先存在的工作在这个问题上，本文中提出的数字可以作为有用的基准，为未来的方法，这个研究问题。
2021-02-12 cs.SD eess.AS eess.SP
Enhancing Low-Quality Voice Recordings Using Disentangled Channel Factor and Neural Waveform Model
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；University of Science and Technology of China（中国科学技术大学）
高质量的语音语料库是大多数语音应用的重要基础。然而，由于这些语音数据是在专业记录环境中收集的，因此它们是昂贵且有限的。在这项工作中，我们提出了一个编码器-解码器神经网络，可以自动将低质量的录音增强为专业的高质量录音。为了解决通道可变性，我们首先使用具有对抗训练的编码器网络从原始输入音频中过滤掉通道特征。接下来，我们从参考音频中解开通道因子。以该因子为条件，然后使用自回归解码器来预测目标-环境Mel谱图。最后，我们应用一个类神经声码器来合成语音波形。实验结果表明，该系统在以高质量音频为参考的情况下，能够生成专业的高质量语音波形。与几种最先进的基线系统相比，它还提高了语音增强性能。
2020-11-10 cs.SD eess.AS
Novel Recording Studio Features for Music Information Retrieval
Bremen Spatial Cognition Center, University of Bremen（不来梅大学不来梅空间认知中心）；Faculty of Information and Communication Technology, Mahidol University（玛希隆大学信息与通信技术学院）
在录音室里，电子舞曲（EDM）的制作人花更多的时间来创作，塑造，混合和掌握声音，而不是作曲或编曲。他们通过近距离聆听和利用音频测量和音频分析工具来调整声音，直到成功地创造出所需的声音美学。EDM的DJ倾向于播放符合他们声音理想的歌曲集。因此，我们建议使用录音室的音频测量和监控工具来分析EDM，而不是依赖于传统的低级别音频功能。我们通过一个简单的分类任务来测试我们的新功能集。我们把歌曲归功于会播放特定歌曲的DJ。这套新的功能和对DJ集的关注是针对EDM的，因为它考虑到了制作人和DJ文化。通过简单的降维和机器学习，这些特征使我们能够以63%的准确率将歌曲归因于DJ。录音室中的音频测量和监测工具的特征可以用于音乐信息检索中的许多应用，例如流派、风格和时代分类以及为DJ和电子舞曲消费者推荐音乐。
2021-01-25 cs.IR cs.SD eess.AS
STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events
Sony AI（索尼人工智能）；Tampere University（坦佩雷大学）；Sony Group Corporation（索尼集团公司）
本文提出视听声音事件定位与检测任务，并介绍STARSS23数据集，该数据集包含多通道音频、视频及时空标注，实验表明利用视觉对象位置可提升SELD性能。
2023-11-14 cs.CV cs.MM cs.SD
DOA-Aware Audio-Visual Self-Supervised Learning for Sound Event Localization and Detection
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；Faculty of Science and Engineering, Doshisha University（同志社大学理工学部）
针对声音事件定位与检测中标注数据不足的问题，提出DOA感知的音视频自监督预训练方法，利用无标注音视频数据通过对比学习优化音频特征，有效降低了SELD任务的误差得分。
2024-10-30 cs.AI cs.LG cs.MM
