Text2FX: Harnessing CLAP Embeddings for Text-Guided Audio Effects
Northwestern University（西北大学）
提出 Text2FX，利用 CLAP 嵌入与可微 DSP 通过免训练单实例优化，将开放词汇文本提示映射为均衡、混响等音频效果参数，并经听者研究验证。
2025-02-20 cs.SD eess.AS
One Prompt, Many Sounds: Modeling Listener Variability in LLM-Based Equalization
Bang & Olufsen A/S, Struer, Denmark（丹麦Bang & Olufsen A/S公司，Struer）；Department of Electronic Systems, Aalborg University（奥胡斯大学电子系统系）；Pioneer Centre for AI, Copenhagen, Denmark（哥本哈根先锋人工智能中心）
本文提出利用大语言模型将自然语言提示映射到均衡设置，通过上下文学习和参数高效微调技术，实现更灵活的音频均衡控制。
2026-07-07 cs.AI cs.SD
Automatic Audio Captioning using Attention weighted Event based Embeddings
TCS Research, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS研究院）
自动音频字幕（AAC）是指将音频翻译成描述音频事件、事件来源及其关系的自然语言的任务。目前AAC数据集的样本有限，已经形成了将迁移学习与音频事件检测（AED）结合作为父任务的趋势。朝着这个方向，在本文中，我们提出了一种编码器-解码器架构，具有用于AAC的轻量级（即具有较少的可学习参数）Bi-LSTM递归层，并比较了两种最先进的预训练AED模型作为嵌入提取器的性能。我们的研究结果表明，一个有效的AED为基础的嵌入提取器结合时间的注意力和增强技术是能够超越现有的文献与计算密集型架构。此外，我们还提供了证据，证明作为我们模型的一部分生成的非均匀注意力加权编码的能力，以便于解码器在生成每个令牌时浏览音频的特定部分。
2022-01-28 cs.LG cs.SD eess.AS
An automatic mixing speech enhancement system for multi-track audio
Queen Mary University of London（伦敦玛丽女王大学）
本文提出一种基于ITU-R BS.1387 PEAQ模型和迭代Harmony搜索算法的多轨音频自动混音语音增强系统，通过优化电平、均衡、压缩和空间化等效果最小化听觉掩蔽，主观测试表明其混音质量可媲美专业工程师并优于现有自动混音系统。
2024-10-18 cs.MM cs.SD eess.AS
Is my automatic audio captioning system so bad? spider-max: a metric to consider several caption candidates
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
自动音频字幕（AAC）是一种旨在使用自然语言描述音频信号的任务。AAC系统将音频信号作为输入，并输出一个自由形式的文本句子，称为标题。评估这样的系统并不简单，因为有很多方法可以表达同样的想法。出于这个原因，几个互补的指标，如BLEU，CIDER，SPICE和SPIDER，用于比较一个自动字幕的一个或几个参考字幕，由人类注释器产生。然而，自动系统可以产生几个字幕候选者，或者在句子生成过程中使用一些随机性，或者例如通过在利用波束搜索的解码期间考虑各种竞争的假设字幕。如果我们考虑AAC系统的最终用户，呈现几个字幕而不是单个字幕似乎与提供某种多样性有关，类似于信息检索系统。在这项工作中，我们探讨了在评估过程中考虑几个预测字幕而不是一个的可能性。为此，我们提出了SPIDER-最大值，一个度量，需要最大的SPIDER值之间的分数的几个字幕候选人。为了支持我们的指标，我们报告了Clotho v2.1和AudioCaps的实验，以及基于转换的系统。例如，在AudioCaps上，该系统达到了接近SPIDER人类参考评分的SPIDER最大值（具有5个候选者）。
2022-11-14 cs.LG cs.SD eess.AS
Conditioning Deep Generative Raw Audio Models for Structured Automatic Music
Boston University（波士顿大学）
现有的以深度学习为特征的自动音乐生成方法可以大致分为两种类型：原始音频模型和符号模型。符号模型在音符级别进行训练和生成，目前是更流行的方法;这些模型可以捕获旋律结构的长范围依赖性，但无法掌握原始音频生成的细微差别和丰富性。原始音频模型，如DeepMind的WaveNet，直接在采样的音频波形上进行训练，使它们能够产生听起来真实的，尽管是非结构化的音乐。在本文中，我们提出了一个自动的音乐生成方法结合这两种方法来创建结构化的，逼真的声音组成。我们考虑一个长短期记忆网络来学习不同风格的音乐的旋律结构，然后使用这个模型的独特符号代作为基于WaveNet的原始音频生成器的条件输入，创建一个自动的，新颖的音乐模型。然后，我们通过展示这项工作的结果来评估这种方法。
2018-06-26 cs.LG cs.SD eess.AS
Automatic Contextual Audio Denoising
Tampere University（塔尔皮奥大学）；Nokia（诺基亚）
本文提出了一种自动上下文音频去噪方法，通过推断音频场景类别来区分有用和无关声音成分，从而提高去噪效果。
2026-05-21 cs.LG cs.SD eess.AS
AudioEval: Automatic Dual-Perspective and Multi-Dimensional Evaluation of Text-to-Audio-Generation
College of Computer Science, Nankai University, Tianjin, China（南开大学计算机科学学院）
AudioEval通过大规模数据集和Qwen-DisQA基线，提供文本到音频生成的多维度自动评估方法，支持模型性能比较与评估体系优化。
2026-01-29 cs.SD eess.AS
Audio-based automatic mating success prediction of giant pandas
本文提出了一种基于音频的自动方法，用于预测 giant pandas 的配对成功率，通过提取音频特征并使用深度神经网络进行分类，以辅助大熊猫的繁殖研究。
2020-06-03 cs.LG cs.SD eess.AS
Automatic Classification of OSA related Snoring Signals from Nocturnal Audio Recordings
University of Sydney（悉尼大学）；Charles Perkins Centre（查尔斯·珀金斯中心）；School of Biomedical Engineering（生物医学工程学院）；Northern Clinical School（北部临床学院）；Royal North Shore Hospital（皇家北岸医院）
在这项研究中，提出了一种自动算法的开发，以分类阻塞性睡眠呼吸暂停（OSA）患者的夜间音频记录为OSA相关打鼾，简单打鼾和其他声音。最近的研究已经表明，关于OSA相关打鼾的知识可以帮助识别气道塌陷的部位。在睡眠期间，使用天花板麦克风与整夜多导睡眠图同时记录音频信号。提取夜间音频信号的时间和频率特征，将音频信号分类为OSA相关打鼾、单纯打鼾和其他声音。基于OSA相关打鼾可以帮助识别上气道塌陷部位的假设，开发了两种算法来使用线性判别分析（LDA）分类器提取OSA相关打鼾。使用无偏嵌套留一患者交叉验证过程从全特征集中选择高性能特征集。结果表明，该算法实现了87%的准确度为识别打鼾事件从音频记录和72%的准确度为识别睡眠呼吸暂停相关打鼾事件从打鼾事件。使用多类LDA分类器提取OSA相关打鼾事件的直接方法使用特征选择算法实现了64%的准确度。我们的研究结果清楚地表明，OSA相关的打鼾事件可以从夜间录音中提取，因此可以潜在地用作从夜间录音中识别气道塌陷部位的新工具。
2021-03-02 cs.LG cs.SD eess.AS
Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound
FAIR at Meta（Meta FAIR实验室）；Reality Labs at Meta（Meta Reality Labs）
本文提出Meta Audiobox Aesthetics，通过四轴标注指南和无参考逐项预测模型，统一自动评估语音、音乐与声音的美学质量，性能达到或超越人类MOS与现有方法，并开源模型与数据集。
2025-02-07 cs.LG cs.SD eess.AS
End-to-End Multi-Person Audio/Visual Automatic Speech Recognition
Google Inc.（谷歌公司）
传统上，视听自动语音识别一直是在假设视觉信号上的说话人脸是与音频匹配的人脸的情况下进行研究的。然而，在更现实的设置中，当多个面部潜在地在屏幕上时，需要决定将哪个面部馈送到A/V ASR系统。目前的工作将A/V ASR的最新进展更进一步，并考虑多人同时在屏幕上的场景（多人A/V ASR）。我们提出了一个完全可区分的A/V ASR模型，该模型能够处理视频中的多个人脸轨迹。而不是依赖于两个单独的模型的扬声器面部选择和视听ASR在一个单一的面部轨道，我们引入了一个注意层的ASR编码器，能够软选择适当的面部视频轨道。在超过30 k小时的YouTube视频上训练的A/V系统上进行的实验表明，与说话面部的Oracle选择相比，所提出的方法可以自动选择适当的面部轨迹，并且具有较小的WER降级，同时仍然显示出采用视觉信号而不是单独使用音频的好处。
2022-05-11 cs.CV cs.LG cs.SD
RELATE: Subjective evaluation dataset for automatic evaluation of relevance between text and audio
The University of Tokyo（东京大学）；Keio University（庆应大学）
本研究构建了开源主观评估数据集RELATE，并开发了一个自动预测主观评估分数的模型，该模型在多个声音类别上优于传统CLAPScore模型。
2025-06-30 cs.SD eess.AS
Differentiable Signal Processing With Black-Box Audio Effects
Adobe Research（奥多比研究院）
我们提出了一种数据驱动的方法，通过将有状态的第三方音频效果作为深度神经网络中的层来自动化音频信号处理。然后，我们训练深度编码器来分析输入音频并控制效果参数以执行所需的信号操作，仅需要输入-目标配对音频数据作为监督。为了训练具有不可微黑盒效应层的网络，我们在标准自动微分图中使用快速并行随机梯度近似方案，从而产生高效的端到端反向传播。我们展示了我们的方法的力量与三个独立的自动音频制作应用程序：管放大器仿真，自动删除呼吸和流行音乐录音，自动音乐母带。我们通过主观听力测试验证了我们的结果，表明我们的方法不仅可以实现新的自动音频效果任务，而且可以产生与专业的，最先进的商业音乐母带解决方案相当的结果。
2021-05-11 cs.LG cs.SD eess.AS
Automatic Minimisation of Masking in Multitrack Audio using Subgroups
在混合多轨音频时，掩蔽最小化的迭代过程是一个具有挑战性的优化问题，部分原因是听觉感知的复杂性和非线性。在这篇文章中，我们首先提出了一个多轨掩蔽度量的MPEG心理声学模型的启发。我们研究不同的音频处理技术来操纵信号的频率和动态特性，以减少掩蔽的基础上提出的度量。我们还调查是否自动混合使用分组是有益的或没有感知的质量和清晰度的混合。评估结果表明，我们提出的掩蔽度量时，用于自动混音框架，可以用来减少通道间的听觉掩蔽，以及提高感知质量和感知清晰度的混合。此外，我们的研究结果表明，在自动混合框架中使用分组可以用来提高混合的感知质量和感知清晰度。
2021-01-05 cs.SD eess.AS
Automatic DJ Transitions with Differentiable Audio Effects and Generative Adversarial Networks
Sony Group Corporation（索尼集团公司）
DJ的一个中心任务是创建一个在相邻曲目之间具有无缝过渡的音乐混音集。在本文中，我们探索了一种数据驱动的方法，该方法使用生成对抗网络通过从真实世界的DJ混音中学习来创建歌曲过渡。具体地，模型的生成器使用两个可微分的数字信号处理组件，均衡器（EQ）和衰减器，以混合由数据生成流水线选择的两个轨道。生成器必须设置EQ和推子的参数，以使生成的混音类似于由人类DJ创建的真实混音，由人类DJ判断。听力测试的结果表明，该模型可以达到竞争力的结果相比，一些基线。
2022-02-17 cs.LG cs.SD eess.AS
Deepfake audio as a data augmentation technique for training automatic speech to text transcription models
Systems and Computing Department（系统与计算部门）；Federal University of Campina Grande (UFCG)（坎皮纳格雷联邦大学）；Campina Grande, Brazil（巴西坎皮纳格雷）
本文提出利用深度伪造音频进行数据增强，以解决训练稳健语音转文本模型所需大规模多样化的标注数据获取难题，尤其针对非英语语言。
2023-09-22 cs.LG cs.SD eess.AS
Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究发现语音识别模型Whisper的音频表征与非语音声音高度相关，基于此冻结其主干并添加轻量标记头构建Whisper-AT，以极低额外成本实现单前向传播同时完成语音识别与通用音频事件标记。
2023-07-06 cs.SD eess.AS
Do Joint Language-Audio Embeddings Encode Perceptual Timbre Semantics?
Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）；Northwestern University（西北大学）
本文评估MS-CLAP等联合语言-音频嵌入模型捕捉感知音色语义的能力，发现LAION-CLAP对齐表现较强但整体有限，混响诱导音色语义的编码一致性优于均衡诱导。
2026-08-26 cs.AI cs.SD eess.AS
Lightly Weighted Automatic Audio Parameter Extraction for the Quality Assessment of Consensus Auditory-Perceptual Evaluation of Voice
National Taiwan University（台湾大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University Hospital（台湾大学医院）；National Taiwan University College of Medicine（台湾大学医学院）；National Taiwan University Hospital Hsin-Chu Branch（台湾大学医院新竹分院）
针对临床嗓音评估依赖经验导致难以标准化的问题，提出一种轻量级自动音频参数提取方法，利用五个音频参数与经典机器学习，其表现媲美SOTA且优于预训练模型，提升了评估的可解释性与精确度。
2023-11-27 cs.LG cs.SD eess.AS
Enabling automatic transcription of child-centered audio recordings from real-world environments
Tampere University（坦佩雷大学）
提出自动检测长时儿童音频中可可靠转录话语的方法，在四个英语语料库上以30%语音转录实现中位WER 0%，显著优于全量转录，并验证了词频与人工标注高度相关。
2026-09-18 cs.LG cs.SD
Best of Both Worlds: Multi-task Audio-Visual Automatic Speech Recognition and Active Speaker Detection
Google（谷歌）
在嘈杂的条件下，自动语音识别（ASR）可以大大受益于来自说话者面部视频的视觉信号的添加。然而，当多个候选说话者可见时，这传统上需要解决单独的问题，即主动说话者检测（ASD），其需要在每个时刻选择哪个可见面部对应于音频。最近的工作表明，我们可以同时解决这两个问题，通过采用一个注意力机制的竞争视频轨道的发言人的脸，在牺牲一些准确性的代价，积极的发言人检测。这项工作通过提出一个可以与多任务损失联合训练的单一模型来缩小主动说话人检测准确性的差距。通过在训练过程中结合这两项任务，我们将ASD分类准确率降低了约25%，同时与专门针对ASR训练的多人基线相比，提高了ASR性能。
2022-05-10 cs.CV cs.LG cs.SD
LinTO Audio and Textual Datasets to Train and Evaluate Automatic Speech Recognition in Tunisian Arabic Dialect
LINAGORA（LINAGORA公司）
针对突尼斯阿拉伯语方言因语言复杂性和数据稀缺导致ASR系统开发困难的问题，提出了包含多源文本与真实语码转换音频的LinTO数据集，为构建和评估该方言的ASR系统提供了高质量材料。
2025-04-03 cs.CL cs.SD eess.AS
Automatic non-invasive Cough Detection based on Accelerometer and Audio Signals
Stellenbosch University（斯泰伦博斯大学）
我们提出了一种基于加速度计和音频信号的自动无创检测咳嗽事件的方法。加速度信号由牢固连接到患者床上的智能手机使用其集成的加速度计捕获。音频信号由同一智能手机使用外部麦克风同时捕获。我们已经编制了一个手动注释的数据集，包含这样的错误捕获的加速度和音频信号约6000咳嗽和68000非咳嗽事件从14个成年男性患者在结核病诊所。LR、SVM和MLP作为基线分类器进行评估，并使用留一交叉验证方案与CNN、LSTM和Resnet50等深度架构进行比较。我们发现，所研究的分类器可以使用加速度或音频信号来区分咳嗽和其他活动，包括打喷嚏，清嗓子和床上运动，具有很高的准确性。然而，在所有情况下，深度神经网络的性能都明显优于浅层分类器，Resnet50通过分别实现超过0.98和0.99的加速和音频信号AUC来提供最佳性能。虽然基于音频的分类始终提供比基于加速度的分类更好的性能，但我们观察到，对于最好的系统，差异非常小。由于加速度信号需要较少的处理能力，并且由于回避了记录音频的需要并且因此固有地确保了隐私，并且由于记录设备附接到床上并且不被佩戴，因此基于加速度计的高度准确的非侵入性咳嗽检测器可以代表长期咳嗽监测中更方便和更容易接受的方法。
2021-08-31 cs.AI cs.LG cs.SD
Assessment of Audio Features for Automatic Cough Detection
University of Mons（蒙斯大学）；Faculty of Engineering, University of Mons（蒙斯大学工程学院）
本文讨论了仅使用音频记录进行咳嗽检测的问题，最终目标是量化和鉴定患有呼吸系统疾病（特别是粘粘病毒病）的患者的病理程度。提出了描述音频信号各个方面的大量音频特征集。这些特征分两步评估。首先，使用基于互信息的措施，他们的潜在的和冗余的评估。其次，分别采用人工神经网络、高斯混合模型和支持向量机三种分类器，验证了它们的有效性。同时研究了特征维数和分类器复杂度对分类结果的影响。
2020-01-02 cs.HC cs.SD eess.AS
Conformer-based Target-Speaker Automatic Speech Recognition for Single-Channel Audio
NVIDIA（英伟达）
本文提出CONF-TSASR，一种结合TitaNet说话人嵌入与Conformer掩蔽及ASR模块的非自回归端到端架构，通过CTC损失和尺度不变语谱图重建损失联合优化，在多个混合语音数据集上取得最先进的目标说话人词错误率，并建立新基准。
2023-08-09 cs.LG cs.SD eess.AS
Audio-to-Score Alignment Using Deep Automatic Music Transcription
University of Milan（米兰大学）
音频到乐谱对齐（A2SA）是一项多模态任务，包括将音频信号与乐谱对齐。最近的文献证实了自动音乐转录（AMT）在帧级A2SA的好处。在这项工作中，我们的目标是详细说明AMT深度学习（DL）模型的利用，以实现在音符级别的对齐。我们提出了一种方法，它受益于基于HMM的分数到分数对齐和AMT，表现出显着的进步超出了国家的最先进的。我们设计了一个系统的程序，以利用大型数据集，不提供对齐的分数。最后，我们对多个数据集进行了全面的比较和广泛的测试。
2021-12-30 cs.MM cs.SD eess.AS
Automatic Segmentation of Broadcast News Audio using Self Similarity Matrix
Institute of Technology, Nirma University（尼尔玛大学理工学院）；TCS Innovation Labs - Mumbai, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS创新实验室（孟买））
一般来说，无线电广播的音频新闻除了由新闻播音员阅读的实际新闻外，还包括音乐、商业广告、来自记者的新闻和录音声明。当新闻转录可用时，音频新闻广播的自动分割以将音频与文本转录时间对齐以构建节俭的语音语料库是必不可少的。我们解决的问题，确定在音频新闻广播中的分段对应的新闻播音员阅读的新闻，使他们可以映射到文本成绩单。现有技术在用于提取新闻阅读器阅读片段时产生次优解决方案。在本文中，我们提出了一种新的技术，这是能够确定可靠的声学变化点使用声学自相似矩阵（SSM）。我们详细描述了两遍技术，并验证了其性能上的真正的音频新闻广播的全印度广播电台不同的语言。
2014-03-27 cs.LG cs.MM cs.SD
CAFA: a Controllable Automatic Foley Artist
Technion（以色列理工学院）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Lightricks（丽塔克斯科技公司）
针对拟音过程中用户控制需求与多模态兼容性挑战，提出基于文本转音频模型、通过模态适配器整合视频信息的CAFA模型，实现文本引导的语义时间对齐音频生成，在质量与可控性上获主客观评估验证。
2025-04-17 cs.SD eess.AS
Automatic Organisation, Segmentation, and Filtering of User-Generated Audio Content
仅使用通过音频指纹技术检索的信息，我们提出了处理用户生成的音频内容的可能大的数据集的方法，其（1）使得能够对包含共同音频摘录的若干音频文件进行分组（即，是相对于同一事件的），以及（2）给出关于这些文件在每个事件内的时间和质量方面如何相关的信息。此外，我们使用监督学习来检测可能由音频指纹识别算法本身引起的不正确匹配，同时确保我们的模型使用以前的预测进行学习。所有提出的方法进一步验证了用户生成的几个不同的音乐会手动从YouTube上抓取的录音。
2017-08-17 cs.IR cs.MM cs.SD
Reconstructing the Charlie Parker Omnibook using an audio-to-score automatic transcription pipeline
Centre for Digital Music（数字音乐中心）
本研究提出一种模块化音频到乐谱转录流水线，结合源分离、MIDI转录及MIDI到乐谱方法，并构建带对齐标注的查理·帕克数据集作为新基准，旨在实现无需人工干预的复杂爵士乐谱自动重建。
2024-05-26 cs.SD eess.AS
Automatic Conflict Detection in Police Body-Worn Audio
UCLA Institute for Pure and Applied Mathematics（加州大学洛杉矶分校纯粹与应用数学研究所）
随着穿戴式技术的出现，自动冲突检测已经变得越来越重要，但现有的指标，如轮流和重叠，是警察与公众互动中冲突的不良指标。此外，当应用于这种多样化和嘈杂的环境时，计算它们的标准技术不足。我们开发了一个管道，以满足这一任务相结合的自适应噪声消除，非语音过滤和新的措施的冲突的基础上重复和强度的短语在语音。我们证明了我们的方法对洛杉矶警察局收集的身体佩戴的音频数据的有效性。
2018-02-14 cs.SD eess.AS stat.ML
DiveSound: LLM-Assisted Automatic Taxonomy Construction for Diverse Audio Generation
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
针对音频生成缺乏多样性评估的问题，提出DiveSound框架，利用大语言模型和多模态对比表示自动构建具有类内多样分类体系的数据集，实验证明视觉信息引导可显著提升生成多样性。
2024-07-18 cs.SD eess.AS
Automatic Quality Assessment for Audio-Visual Verification Systems. The LOVe submission to NIST SRE Challenge 2019
Orange Labs（Orange实验室）
分数的融合是由独立的单峰部分组成的多模态生物识别系统的基石。在这项工作中，我们专注于质量相关的融合说话人面部验证。为此，我们提出了一个通用的模型，可以训练的人脸和扬声器模态的自动质量评估。该模型估计由单峰系统产生的表示的质量，然后将其用于增强说话人和人脸验证模块的分数级融合。我们证明了这种质量相关的融合带来的改进，最近的NIST SRE 19视听挑战数据集。
2020-08-14 cs.MM cs.SD eess.AS
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
我们提出了一个框架，采用自动音乐转录（AMT）使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差，音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此，我们采用了两个经常性的神经网络，作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在，另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性，我们应用动态时间规整作为对齐算法，而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集，并将其与以前的工作进行比较。结果表明，与学习功能的对齐框架显着提高了准确性，实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
audio2chart: End to End Audio Transcription into playable Guitar Hero charts
Riccardo Tripodi（独立研究者）
本文提出 audio2chart 框架，将《吉他英雄》谱面自动生成建模为序列预测任务，并证明加入音频条件能一致提升音符预测准确率。
2025-11-05 cs.SD eess.AS
Automatic multitrack mixing with a differentiable mixing console of neural audio effects
Dolby Laboratories（杜比实验室）
深度学习在自动多轨混音中的应用在很大程度上尚未探索。这部分是由于可用数据有限，再加上这些数据相对来说是非结构化的和可变的。为了解决这些挑战，我们提出了一个域启发的模型，具有很强的归纳偏见的混合任务。我们通过应用预训练的子网络和权重共享以及和/差立体声损失函数来实现这一点。所提出的模型可以用有限数量的例子进行训练，相对于输入顺序是置换不变的，并且对输入源的数量没有限制。此外，它还生成人类可读的混合参数，允许用户手动调整或优化生成的混合。涉及音频工程师的感知评估结果表明，我们的方法产生的混合优于基线方法。据我们所知，这项工作展示了第一种方法，在学习多轨混合公约，从现实世界的数据在波形水平，没有知识的基础混合参数。
2020-10-20 cs.SD eess.AS
Attention-based Audio-Visual Fusion for Robust Automatic Speech Recognition
ADAPT Centre（ADAPT中心）；Trinity College Dublin（都柏林圣三一学院）
自动语音识别可以潜在地受益于嘴唇运动模式，补充声学语音以提高整体识别性能，特别是在噪声中。在本文中，我们提出了一种视听融合策略，超越了简单的特征拼接，并学会自动对齐两种模态，从而增强表示，提高了在干净和嘈杂的条件下的识别精度。我们测试我们的策略TCD-TIMIT和LRS 2数据集，专为大词汇量连续语音识别，应用三种类型的噪声在不同的功率比。我们还利用最先进的序列到序列架构，表明我们的方法可以很容易地集成。结果表明，相对改善从7%到30%的TCD-TIMIT的声学模态单独，取决于声学噪声水平。我们预计，融合策略可以很容易地推广到许多其他多模态的任务，涉及相关的方式。代码可在GitHub上在线获取：https://github.com/georgesterpu/Sigmedia-AVSR
2019-05-01 cs.LG cs.SD eess.AS
Robust and lightweight audio fingerprint for Automatic Content Recognition
LG Ads Solutions（LG广告解决方案公司）
本文提出一种用于自动内容识别的鲁棒且轻量级的新型音频指纹系统，通过信号处理与统计变换生成紧凑指纹，结合GPU兼容的近似最近邻搜索算法，在保证检索准确率的同时速度提升30倍且指纹使用量减少6倍。
2023-05-17 cs.IR cs.SD eess.AS
Leveraging Prediction Entropy for Automatic Prompt Weighting in Zero-Shot Audio-Language Classification
本文提出基于熵的提示加权方法，通过最小化预测熵来提高零样本音频-语言分类的准确性，实验表明其在多个数据集上均优于传统方法。
2026-01-08 cs.LG cs.SD
Automatic Depression Detection: An Emotional Audio-Textual Corpus and a GRU/BiLSTM-based Model
Tongji University（同济大学）
抑郁症是一个全球性的心理健康问题，最严重的情况可能导致自杀。自动抑郁症检测系统在促进抑郁症自我评估和提高诊断准确性方面提供了很大的帮助。在这项工作中，我们提出了一种新的抑郁症检测方法，利用语音特征和语言内容，从参与者的采访。此外，我们还建立了一个情绪化的音频-文本抑郁语料库（EATD-Corpus），它包含了抑郁和非抑郁志愿者的音频和提取的反应记录。据我们所知，EATD-Corpus是第一个也是唯一一个包含中文音频和文本数据的公开抑郁症数据集。在两个抑郁症数据集上的测试结果表明，该方法具有较好的性能。实验结果证明了该方法的有效性和推广能力。源代码和EATD-Corpus可在https://github.com/speechandlanguageprocessing/ICASSP2022-Depression上获得。
2022-02-15 cs.AI cs.SD eess.AS
Audio Captioning using Gated Recurrent Units
Department of Computer Engineering, Ba s kent University
音频字幕是最近提出的自动生成给定音频片段的文本描述的任务。在这项研究中，提出了一种新的具有音频嵌入的深度网络架构来预测音频字幕。在提取除对数梅尔能量之外的音频特征的目标下，使用VGGish音频嵌入模型来探索音频嵌入在音频字幕任务中的可用性。所提出的架构编码音频和文本输入模态分开，并结合它们之前的解码阶段。音频编码通过双向门控递归单元（BiGRU）进行，而GRU用于文本编码阶段。在此之后，我们评估我们的模型通过新发布的音频字幕性能数据集，即Clotho，比较实验结果与文献。我们的实验结果表明，所提出的基于BiGRU的深度模型优于最先进的结果。
2021-01-03 cs.LG cs.SD eess.AS
Towards Evaluating the Robustness of Automatic Speech Recognition Systems via Audio Style Transfer
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；Nanyang Technological University（南洋理工大学）
针对现有ASR对抗攻击存在人工修改痕迹、风格可控性低的问题，提出基于用户自定义风格迁移的攻击方法，含STA与迭代式SCA，攻击成功率82%且保持音频自然度，为评估ASR鲁棒性提供新途径。
2024-05-15 cs.CR cs.LG cs.SD
Music2Video: Automatic Generation of Music Video with fusion of audio and text
KAIST（韩国科学技术院）
随着在大型语料库上预训练的多模态表示模型的出现，使用生成对抗网络创建图像已被广泛应用于多模态机制。可以利用共享公共表示空间的各种模态来引导生成模型从文本甚至从音频源创建图像。不同于以往的方法，只依赖于文本或音频，我们利用这两种形式的表现力。基于文本和音频的融合，我们创建了视频，其内容与所提供的不同形式一致。一个简单的方法，自动分割成可变长度的视频间隔，并保持时间的一致性生成的视频是我们的方法的一部分。我们提出的框架生成音乐视频显示出可喜的成果，在应用程序级别，用户可以交互式地在音乐源和文本源，以创建艺术音乐视频。我们的代码可在https://github.com/joeljang/music2video上获得。
2022-06-09 cs.GR cs.MM cs.SD
Noise-to-Notes: Diffusion-based Generation and Refinement for Automatic Drum Transcription
Sony Group Corporation（索尼集团）
本研究提出N2N框架，利用扩散模型将音频条件高斯噪声转化为鼓件事件，结合退火伪Huber损失和音乐基础模型特征提升鲁棒性，实现自动鼓件转录的生成与细化。
2026-03-05 cs.LG cs.SD eess.AS
Building a Noisy Audio Dataset to Evaluate Machine Learning Approaches for Automatic Speech Recognition Systems
Pontifícia Universidade Católica do Rio de Janeiro（里约热内卢天主教大学）
自动语音识别系统是人们日常生活的一部分，嵌入在个人助理和移动电话中，有助于促进人机交互，同时允许以实际直观的方式访问信息。这样的系统通常使用机器学习技术来实现，特别是使用深度神经网络。即使其在从语音转录文本的任务中具有高性能，也很少有作品解决其在嘈杂环境中的识别问题，并且通常，所使用的数据集不包含嘈杂的音频示例，而仅使用数据增强技术来缓解该问题。这项工作的目的是建立一个嘈杂的音频数据集的过程中，在一个特定的情况下，退化的音频由于干扰，通常存在于无线电传输。此外，我们还展示了使用此类数据进行评估的分类器的初始结果，表明在识别器的训练过程中使用该数据集的好处。这样的识别器在噪声集合（SNR = 30）中的字符出错率方面实现了0.4116的平均结果。
2021-10-04 cs.CL cs.SD eess.AS
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore（新加坡国立大学）
歌词到复调音频的自动对齐是一项具有挑战性的任务，这不仅是因为人声被背景音乐破坏，而且缺乏有效的声学建模的注释复调语料库。在这项工作中，我们提出（1）使用额外的语音和音乐信息特征，以及（2）使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型，我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验，并提出了深入的声学特征的对齐误差分析，和模型自适应技术。结果表明，所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统，特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Creating an A Cappella Singing Audio Dataset for Automatic Jingju Singing Evaluation Research
Universitat Pompeu Fabra（庞培法布拉大学）
数据驱动的京剧演唱自动评价计算研究缺乏合适的、全面的无伴奏合唱音频数据集。在这项工作中，我们提出了一个无伴奏合唱音频数据集，其中包括120个咏叹调，占1265旋律线。这个数据集也是我们现有的CompMusic京剧语料库的扩展。专业和业余歌手都被邀请参加数据集录制，最常见的京剧音乐元素都被涵盖在内。该数据集还附有每个咏叹调和旋律线的元数据注释，用于自动歌唱评估研究目的。所有收集的数据都可以在网上公开获取。
2017-08-14 cs.DL cs.SD
Introducing Model Inversion Attacks on Automatic Speaker Recognition
Fraunhofer AISEC（弗劳恩霍夫人工智能安全研究所）；Technical University Munich（慕尼黑工业大学）
模型反演（MI）攻击允许重构机器学习（ML）模型的训练数据的平均每类表示。已经表明，在每个类别对应于不同个体的场景中，例如面部分类器，这代表了严重的隐私风险。在这项工作中，我们探索了MI的一个新的应用：从说话人识别系统中提取说话人的声音。我们提出了一种方法，（1）从训练的ML模型中重建音频样本，（2）提取中间语音特征表示，为说话者的生物特征提供有价值的见解。因此，我们提出了一个扩展的MI攻击，我们称之为滑动模型反演。我们的滑动MI扩展标准MI通过迭代反转重叠的音频样本块，从而利用音频数据的顺序属性增强反转性能。我们表明，人们可以使用反转的音频数据来生成欺骗的音频样本来模仿扬声器，并代表他们执行高度安全的系统的语音保护命令。据我们所知，我们的工作是第一个将MI攻击扩展到音频数据的工作，我们的结果突出了在该设置中提取生物特征数据所带来的安全风险。
2023-01-09 cs.CR cs.LG cs.SD
Gradient Norm-based Fine-Tuning for Backdoor Defense in Automatic Speech Recognition
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；South China University of Technology（华南理工大学）
针对音频领域后门防御空白及视觉方法适配效果有限的问题，提出基于梯度范数的微调（GN-FT）方法，利用后门神经元梯度值较高的特性引入正则化削弱后门神经元，是首个有效的音频领域后门防御策略。
2025-02-03 cs.LG cs.SD eess.AS
Exploring Capabilities of Monolingual Audio Transformers using Large Datasets in Automatic Speech Recognition of Czech
University of West Bohemia Pilsen（西波西米亚大学比尔森分校）
在本文中，我们介绍了我们在预训练捷克单语音频Transformers方面的进展，该转换器来自一个包含超过8万小时未标记语音的大型数据集，随后使用域内数据和近6000小时的域外转录语音的组合对自动语音识别任务的模型进行微调。我们正在展示一系列实验，其中包括在两个公共数据集（CommonVoice和VoxPopuli）和一个来自MALACH项目的极具挑战性的数据集上评估的各种微调设置。我们的研究结果表明，单语Wav2Vec 2.0模型是鲁棒的ASR系统，可以利用大型标记和未标记数据集，并成功地与最先进的LVCSR系统竞争。此外，Wav2Vec模型被证明是很好的zero-shot学习者时，没有训练数据可用于目标ASR任务。
2022-06-15 cs.CL cs.SD eess.AS
Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
对抗攻击是一种利用过程，其中对自然输入进行微小的改变，导致输入被神经模型错误分类。在语音识别领域，这已经成为一个越来越重要的问题。虽然对抗攻击最初是在计算机视觉中引入的，但它们已经渗透到语音识别领域。2017年，基因攻击被证明对语音命令模型非常有效。有限词汇语音分类器，如语音命令模型，用于各种应用程序，特别是电话;因此，这种攻击产生的对抗性示例构成了重大的安全威胁。本文探讨了各种方法来检测这些敌对的例子与音频预处理的组合。一种结合了压缩、语音编码、过滤和音频平移的特定组合防御被证明对语音命令模型的攻击非常有效，检测音频对抗性示例的准确率为93.5%，召回率为91.2%。
2018-09-11 cs.CL cs.CR cs.LG
CLAP-Based Automatic Word Naming Recognition in Post-Stroke Aphasia
Signal Processing for Communication Group, Idiap Research Institute, Martigny, Switzerland（日内瓦瑞士IDIAP研究所信号处理与通信组）；Faculty of Psychology and Educational Science, University of Geneva, Geneva, Switzerland（日内瓦大学心理学与教育科学学院）
本文提出基于CLAP的自动词语命名识别方法，通过文本-音频对齐在中风后失语症患者语音识别中达到90%的准确率。
2026-02-16 cs.SD eess.AS
ALAS: An Automatic Latent Alignment Score for Audio Language Models
Concordia University（Concordia 大学）；Mila-Quebec AI Institute（Mila-Quebec 人工智能研究所）；Centrale Supelec（Centrale Supelec 研究院）；Laval University（Laval 大学）
提出ALAS指标，通过计算音频与文本表示的跨模态余弦相似度，无需训练即可评估语音-LLM的音频-文本对齐质量，揭示模型对齐深度与任务需求的关系。
2026-09-29 cs.CL cs.SD eess.AS
