MENASpeechBank: A Reference Voice Bank with Persona-Conditioned Multi-Turn Conversations for AudioLLMs
Qatar Computing Research Institute(卡塔尔计算研究所)
MENASpeechBank通过合成数据管道生成多轮对话数据,支持音频大语言模型在多样化语音和方言场景中的训练与应用。
2026-09-21 cs.AI cs.CL cs.SD
GWA: A Large High-Quality Acoustic Dataset for Audio Processing
University of Maryland(马里兰大学)
我们提出了几何波声学(GWA)数据集,一个大规模的音频数据集约200万合成房间脉冲响应(IR)及其相应的详细的几何和模拟配置。我们的数据集从超过6.8K的高质量多样化和专业设计的房屋中采样声学环境,这些房屋表示为语义标记的3D网格。我们还提出了一种新的现实世界的声学材料分配方案的基础上语义匹配,使用一个句子Transformer模型。我们计算高品质的脉冲响应对应于准确的低频和高频波的影响,通过自动校准几何声波射线跟踪与有限差分时域波解算器。我们通过与复杂的现实环境中记录的IR进行比较,证明了我们的IR具有更高的准确性。此外,我们强调了GWA在音频深度学习任务上的优势,如自动语音识别、语音增强和语音分离。该数据集是第一个在复杂场景中进行精确波浪声学模拟的数据。代码和数据可在https://gamma.umd.edu/pro/sound/gwa上获得。
2022-06-20 cs.SD eess.AS
Characterizing dynamically varying acoustic scenes from egocentric audio recordings in workplace setting
University of Southern California(南加州大学)
能够对声学场景进行检测和分类的设备具有许多应用,诸如提供上下文感知的用户体验。在本文中,我们解决的任务,从可穿戴麦克风收集的录音在工作场所设置的声学场景的特征。声学场景,跟踪与蓝牙收发器,动态变化与时间从自我中心的角度来看,移动用户。我们的数据集包含从医院的临床提供者收集的经验采样长音频记录,他们在多个轮班期间佩戴音频徽章。为了处理长时间的自我中心记录,我们提出了一个基于时间延迟神经网络(TDNN)的分段级建模。实验表明,TDNN在声学场景分类任务中优于其他模型。我们调查的影响,主要发言人的讲话确定声学场景从音频徽章,并提供了不同的模型之间的性能比较。此外,我们探讨了用户所经历的声学场景的序列和他们的工作性质之间的关系,并发现我们的模型预测的场景序列往往具有类似的关系。初步的有希望的结果揭示了许多研究方向的声学场景分类通过可穿戴设备以及自我中心的分析,动态声学场景中遇到的用户。
2019-11-10 cs.LG cs.SD eess.AS
ELSA: Acoustic Event-Level Semantic Alignment for Fine-Grained Reference-Free Text-to-Audio Evaluation
Keio University(Keio大学)
提出ELSA指标,通过将生成音频分解为文本查询中的声学事件并评估事件级对齐,实现细粒度无参考文本到音频评估,在四个基准上比现有指标更符合人类评分。
2026-06-17 cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
本研究在虚拟声学环境中用非脚本自然语音探究视听增益,通过EEG和皮层语音追踪分析不同条件及说话者特征的影响,发现噪声下视听增强显著,唇部运动作用关键,验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Structural and Statistical Audio Texture Knowledge Distillation for Acoustic Classification
Department of Electrical and Computer Engineering, Texas A&M University(得克萨斯大学电气与计算机工程系)
本文提出SSATKD框架,结合高层上下文信息与低层结构统计音频纹理,提升复杂声学环境下的分类性能,实验验证其在多个数据集上的有效性。
2026-03-23 cs.SD eess.AS
Acoustic Impulse Responses for Wearable Audio Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个开放获取的数据集,其中包含来自160个麦克风的8000多个声脉冲,这些麦克风分布在身体各处,并固定在可穿戴配件上。这些数据可用于评估使用助听器、耳机、眼镜、珠宝和服装等可穿戴设备的音频捕获和阵列处理系统。我们分析了身体不同部位的声学传递函数,测量了麦克风上穿着的衣服的影响,比较了来自人体模型的测量结果,并模拟了几种波束形成器的降噪性能。结果表明,分布在身体上的麦克风阵列比局限于单个设备的麦克风更有效。
2019-03-05 cs.SD eess.AS
Learning to Detect Novel and Fine-Grained Acoustic Sequences Using Pretrained Audio Representations
Apple(苹果公司)
本研究针对无可用非目标音频的新型细粒度声学序列小样本检测问题,开发了预训练音频表示的流程及迁移方法,实验验证了预训练嵌入的通用性及对小样本检测框架的支撑作用。
2023-05-03 cs.LG cs.SD eess.AS
DARAS: Dynamic Audio-Room Acoustic Synthesis for Blind Room Impulse Response Estimation
School of Information Science and Technology, Beijing University of Technology(信息科学与技术学院,北京理工大学);Unseen AI Inc.(Unseen AI公司)
针对现有盲房间脉冲响应估计精度不足的问题,提出DARAS深度学习框架,通过深度音频编码器、基于Mamba的盲房间参数估计模块、交叉注意力特征融合及动态声学调整解码器,从单耳混响语音中有效合成RIR,显著优于基线模型。
2025-11-04 cs.SD eess.AS
Improving the Performance of Automated Audio Captioning via Integrating the Acoustic and Semantic Information
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
自动音频字幕(AAC)近年来发展迅速,它涉及到声学信号处理和自然语言处理,为音频片段生成人类可读的句子。目前的模型通常基于神经编码器-解码器架构,并且它们的解码器主要使用从基于CNN的编码器提取的声学信息。然而,他们忽略了可以帮助AAC模型生成有意义的描述的语义信息。本文提出了一种新的方法,自动音频字幕的基础上结合语义和声学信息。具体来说,我们的音频字幕模型包括两个子模块。(1)预训练的关键字编码器利用预训练的ResNet 38初始化其参数,然后将提取的关键字作为标签进行训练。(2)多模态注意解码器采用基于LSTM的解码器,其包含语义和声学注意模块。实验表明,我们提出的模型在Clotho数据集上实现了最先进的性能。我们的代码可以在https://github.com/WangHelin1997/DCASE2021_Task6_PKU上找到
2021-10-12 cs.MM cs.SD eess.AS
Zero-Shot Audio Classification with Factored Linear and Nonlinear Acoustic-Semantic Projections
在本文中,我们研究了zero-shot学习音频分类,通过分解的线性和非线性的声学语义之间的投影音频实例和声音类。音频分类中的Zero-shot学习是指识别声音类别的音频实例的分类问题,这些音频实例没有可用的训练数据,而只有语义边信息。在本文中,我们通过采用分解的线性和非线性声学语义投影来解决零激发学习(zero-shot learning)。我们通过将秩分解应用于双线性模型来开发因子线性投影,并使用非线性激活函数(如tanh)来模拟声学嵌入和语义嵌入之间的非线性。实验结果表明,与传统的双线性模型相比,本文提出的投影方法能够有效地提高音频分类中zero-shot学习的分类性能。
2021-02-02 eess.AS
BEATs: Audio Pre-Training with Acoustic Tokenizers
Microsoft(微软)
在过去的几年里,自我监督学习(SSL)在语言、视觉、语音和音频领域中得到了大规模的发展。虽然离散标签预测被广泛用于其他模态,但最先进的音频SSL模型仍然采用重建损失进行预训练。与重建损失相比,语义丰富的离散标签预测鼓励SSL模型抽象高级音频语义并丢弃人类感知中的冗余细节。然而,由于音频的连续性和不可用的音素序列(如语音),用于一般音频预训练的语义丰富的声学分词器通常不是直接获得的。为了应对这一挑战,我们提出了BEAT,这是一种迭代音频预训练框架,用于从音频Transformers学习双向编码器表示,其中声学标记器和音频SSL模型通过迭代进行优化。在第一次迭代中,我们使用随机投影作为声学标记器,以掩码和标签预测的方式训练音频SSL模型。然后,我们通过从预训练或微调的音频SSL模型中提取语义知识,为下一次迭代训练声学标记器。重复迭代,希望声学标记器和音频SSL模型相互促进。实验结果表明,我们的声学标记器可以生成具有丰富音频语义的离散标签,并且我们的音频SSL模型在各种音频分类基准中实现了最先进的结果,甚至优于使用更多训练数据和模型参数的先前模型。具体来说,我们在AudioSet-2 M上为纯音频模型设置了一个新的最先进的mAP 50.6%,而不使用任何外部数据,在ESC-50上设置了98.1%的准确率。代码和预训练模型可在https://aka.ms/beats上获得。
2022-12-18 cs.AI cs.CL cs.LG
CodecBench: A Comprehensive Benchmark for Acoustic and Semantic Evaluation
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
本文提出 CodecBench,一个在四个数据域上从声学和语义两个角度综合评估音频编解码器性能的基准,旨在揭示现有局限并推动音频编解码器发展。
2025-08-28 cs.SD eess.AS
DEAF: A Benchmark for Diagnostic Evaluation of Acoustic Faithfulness in Audio Language Models
University of Oxford(牛津大学);XJTLU;HNU(湖南大学);CUHK(SZ)(香港中文大学(深圳));PKU(北京大学);HKUST(GZ)(香港科技大学(广州))
DEAF基准通过2700多个冲突刺激,评估音频语言模型对声音信号的真实处理能力,揭示模型在语音基准测试中的表现与真实声音理解间的差距。
2026-10-12 cs.AI cs.SD eess.AS
Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers
针对音频大语言模型(ALLM)的安全隐患,本文提出HIN后门攻击框架,构建AudioSafe基准,通过实验验证现有ALLM易受声学特征触发器攻击且该攻击隐蔽性强。
2025-11-18 cs.CL cs.SD eess.AS
Visual Acoustic Matching
University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI;Stanford University(斯坦福大学);Reality Labs at Meta(Meta现实实验室)
我们介绍了视觉声学匹配任务,其中音频剪辑被转换为听起来像是在目标环境中记录的。给定目标环境的图像和源音频的波形,目标是重新合成音频以匹配目标房间声学,如其可见几何形状和材料所建议的。为了解决这个新的任务,我们提出了一个跨模态的Transformer模型,使用视听注意力注入到音频的视觉属性,并产生逼真的音频输出。此外,我们设计了一个自我监督的训练目标,可以学习声学匹配在野生网络视频,尽管他们缺乏声学不匹配的音频。我们证明,我们的方法成功地将人类语音翻译到图像中描绘的各种真实世界环境中,优于传统的声学匹配和更严格的监督基线。
2022-06-13 cs.CV cs.MM cs.SD
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore(新加坡国立大学)
歌词到复调音频的自动对齐是一项具有挑战性的任务,这不仅是因为人声被背景音乐破坏,而且缺乏有效的声学建模的注释复调语料库。在这项工作中,我们提出(1)使用额外的语音和音乐信息特征,以及(2)使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型,我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验,并提出了深入的声学特征的对齐误差分析,和模型自适应技术。结果表明,所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统,特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Audio Event-Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University(根特大学);University of Leicester(莱斯特大学);University College London(伦敦大学学院);University of Surrey(萨里大学)
针对现有声学场景分类方法可解释性不足的问题,提出基于音频事件关系图的表示学习框架ERGL,以事件嵌入为节点、多维边特征表征关系,仅用少量音频事件嵌入学习就在真实数据集上取得有竞争力的分类性能,同时可明确解释分类线索。
2023-10-05 cs.SD eess.AS
Optimizing Audio Augmentations for Contrastive Learning of Health-Related Acoustic Signals
Google Research(谷歌研究院)
本文利用带有 Slowfast NFNet 主干网络的自监督框架 SimCLR 进行健康声学对比学习,通过深入分析音频数据增强策略,发现合适的增强组合能产生超越单一增强的协同效应,有效提升了模型在多种健康声学任务上的性能。
2023-09-11 cs.LG cs.SD eess.AS
Self-Supervised Visual Acoustic Matching
UT Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta人工智能研究院)
提出自监督视觉声学匹配方法,仅用目标图像和音频,通过条件GAN和新指标解耦声学并重合成音频,在多数据集上超越现有技术。
2023-11-24 cs.CV cs.MM cs.SD
Leveraging Self-supervised Audio Representations for Data-Efficient Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University(西交利物浦大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出一种数据高效且低复杂度的声学场景分类系统,利用BEATs自监督预训练模型提取通用音频表示,并通过集成不同微调策略与知识蒸馏技术,在有限标注数据下实现了56.7%的平均准确率。
2024-08-27 cs.SD eess.AS
Scene-Aware Audio Rendering via Deep Acoustic Analysis
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
我们提出了一种新的方法来捕获使用商品设备的真实世界的房间的声学特性,并使用捕获的特性来生成类似的声源与虚拟模型。给定捕获的音频和真实世界房间的近似几何模型,我们提出了一种新的基于学习的方法来估计其声学材料特性。我们的方法是基于深度神经网络,估计混响时间和均衡的房间从记录的音频。这些估计被用来计算材料属性相关的房间混响使用一种新的材料优化目标。我们使用估计的声学材料特性的音频渲染使用交互式几何声音传播和突出的性能在许多现实世界的情况下。我们还进行了用户研究,以评估录制的声音和我们渲染的音频之间的感知相似性。
2020-02-09 cs.GR cs.MM cs.SD
EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement
Fudan University(复旦大学)
提出EntangleCodec,一种通过将音频与丰富标题对齐学习语义-声学联合表示的统一离散音频分词器,在紧凑令牌流中捕获语言内容、说话人身份、情感、韵律和声学场景,并通过流匹配扩散解码器实现高质量重建,在音频理解和生成任务上均取得领先性能。
2026-09-04 cs.AI cs.SD eess.AS
Joint framework with deep feature distillation and adaptive focal loss for weakly supervised audio tagging and acoustic event detection
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(云知声人工智能科技股份有限公司);ByteDance(字节跳动)
一个好的联合训练框架有助于同时提高弱监督音频标记和声学事件检测的性能。在这项研究中,我们提出了三种方法来改进IEEE AASP声学场景和事件检测和分类挑战赛(DCASE)2019任务4中的最佳师生框架,用于音频标记和声学事件检测任务。首先提出了一种基于帧级目标事件的深度特征提取方法,旨在利用弱监督框架中有限的强标记数据来学习更好的中间特征图。然后,我们提出了一个自适应的焦点损失和两个阶段的训练策略,使一个有效的和更准确的模型训练,其中的贡献,硬和容易的声学事件的总代价函数可以自动调整。此外,一个特定的事件后处理的设计,以提高目标事件的时间戳的预测。在公开的DCASE 2019 Task 4数据集上进行了实验,结果表明,该方法在AT(81.2% F1-score)和AED(49.8% F1-score)任务上都取得了较好的性能.
2022-02-12 cs.SD eess.AS
AND: Audio Network Dissection for Interpreting Deep Acoustic Models
National Taiwan University(台湾大学);UC San Diego(加州大学圣迭戈分校)
该研究提出首个音频网络拆解框架AND,利用LLMs生成声学神经元的自然语言解释,验证了其描述准确性,并展示了其在音频机器遗忘中的应用,还揭示了声学模型的两类行为特性。
2024-06-26 cs.AI cs.SD eess.AS
Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在[1,2]中,作者提供了从脑电图(EEG)特征合成语音的初步结果,其中他们首先从EEG特征预测声学特征,然后使用griffin lim重建算法从预测的声学特征重建语音。在本文中,我们首先介绍了一种深度学习模型,该模型将原始EEG波形信号作为输入,并直接产生音频波形作为输出。然后,我们展示了从EEG特征预测16种不同的声学特征。在本文中,我们展示了我们的研究结果为口语和听力条件。本文提出的结果显示了不同的声学特征是如何与非侵入性的神经脑电信号记录在语音感知和生产。
2020-05-29 cs.LG cs.SD eess.AS
Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark
University of Michigan(密歇根大学);Meta;Reality Labs Research(现实实验室研究部)
本文提出了真实声场(RAF)数据集,包含密集的房间脉冲响应、多视角图像和6DoF位姿数据,用于评估视听声学模型并验证sim2real方法在少样本学习中的有效性。
2024-03-27 cs.CV cs.MM cs.SD
AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer
The Hong Kong University of Science and Technology(香港科学与技术大学);University of Central Florida(佛罗里达中央大学)
本文提出AC-Foley模型,通过直接利用参考音频实现精确的音频合成与声学迁移,解决传统方法在语义粒度和文本模糊性上的瓶颈,提升音频生成质量与细粒度控制能力。
2026-03-20 cs.CV cs.LG cs.MM
SAIL: Spatial Audio Intelligence with Large Language Models via Disentangled Acoustic-Spatial Encoding and Dual-Stream Q-Former
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Tencent Hy Frontier Lab(腾讯Hy前沿实验室);Beijing Institute of Technology(北京理工大学);University of Surrey(萨里大学)
SAIL提出解耦声学-空间编码与双流Q-Former,保持源级对应,提升多声源空间理解与推理性能。
2026-09-29 cs.AI cs.SD eess.AS
A Modulation Front-End for Music Audio Tagging
Queen Mary University of London(伦敦玛丽女王大学);Centre for Digital Music(数字音乐中心)
卷积神经网络在自动音乐标注任务中得到了广泛的研究。这个问题可以通过使用工程时频特征或原始音频作为输入来解决。作为音色感知的基础,调制滤波器组表示已被积极研究,有可能促进感知显著特征的提取。我们探索端到端的学习前端音频表示学习,ModNet和SincModNet,其中包括一个时间调制处理块。该结构实际上类似于调制滤波器组,其中FIR滤波器中心频率以数据驱动的方式学习。期望的是,感知动机的滤波器组可以提供用于识别音乐特征的有用表示。我们的实验结果提供了一个完全可视化和可解释的前端时间调制分解的原始音频。我们评估了我们的模型对MagnaTagATune数据集上最先进的音乐标记的性能。我们分析了特定标签的性能的影响时,时间-频率带的调制滤波器在一个逐步降低的速率进行二次采样。我们证明,调制滤波提供了有前途的结果,音乐标记和特征表示,而不使用广泛的音乐领域的知识,在这个前端的设计。
2021-05-25 cs.LG cs.SD eess.AS
MRMAD: A Multi-Round Multi-Audio Benchmark for Evaluating Acoustic Degradation Perception in Large Audio-Language Models
Northeastern University(东北大学);Bose Corporation(博士公司);Stony Brook University(石溪大学)
该研究提出MRMAD多轮多音频基准,评估18种LALMs的音频降级感知,发现现有模型难可靠推理降级,为构建鲁棒LALMs提供基础。
2026-09-02 cs.LG cs.SD eess.AS
Towards Audio Domain Adaptation for Acoustic Scene Classification using Disentanglement Learning
Fraunhofer IDMT(弗劳恩霍夫数字媒体技术研究所);International Audio Laboratories(国际音频实验室)
在现实生活中的应用中,机器监听算法的部署经常受到例如由不同麦克风特性引起的域偏移的阻碍。本文提出了一种基于解纠缠学习的域自适应策略。我们的目标是在分析的音频记录中解开特定于任务和特定于领域的特征。特别是,我们结合了两种策略:首先,我们将不同的二进制掩码应用于内部嵌入表示,其次,我们提出了一种新的分类交叉熵和基于方差的损失的组合。我们的研究结果证实了这两个任务在嵌入水平上的解纠缠,但在声学场景分类性能方面只有微小的改善,当可以使用来自这两个域的训练数据时。作为第二个发现,我们可以确认最先进的无监督域自适应策略的有效性,该策略在特征级别上执行跨域自适应。
2021-10-26 cs.SD eess.AS
Multi-channel Acoustic Modeling using Mixed Bitrate OPUS Compression
最近的文献表明,具有多通道音频输入的学习前端可以优于用于自动语音识别(ASR)的传统波束形成算法。在本文中,我们提出了我们的研究多通道声学建模使用OPUS压缩与不同的比特率为不同的渠道。我们分析了字出错率(WER)作为音频编码比特率的函数的退化,并表明WER相对于未压缩音频在16kpbs时退化了12.6%。我们表明,它总是更可取的是有一个多通道的音频输入在一个单一的通道音频输入给定的有限带宽。我们的研究结果表明,对于最佳WER,当两个通道中的一个可以用高于32kbps的比特率编码时,最佳的是用尽可能高的比特率编码另一个通道。对于低于该值的比特率,最好在两个通道之间平均分配比特率。我们进一步表明,通过在混合比特率输入上训练声学模型,使用单个模型可以恢复高达50%的退化。
2020-02-01 cs.SD eess.AS
Audiovisual speaker conversion: jointly and simultaneously transforming facial expression and acoustic characteristics
National Institute of Informatics(国立信息学研究所);The University of Edinburgh(爱丁堡大学)
提出了一种视听说话人转换方法,用于同时将源说话人的面部表情和语音转换为目标说话人的面部表情和语音。将面部和声学特征一起变换使得转换后的语音和面部表情高度相关,并且生成的目标说话者看起来和听起来自然。它使用三个神经网络:融合并变换面部特征和声学特征的转换网络、从经转换的面部特征和声学特征两者产生波形的波形生成网络、以及也基于经转换的特征两者输出RGB面部图像的图像重建网络。使用情感视听数据库的实验结果表明,与单独变换声音和面部特征的方法相比,所提出的方法实现了显着更高的自然度。
2018-12-01 cs.CL cs.LG cs.SD
Building Audio-Visual Digital Twins with Smartphones
University of Pennsylvania(宾夕法尼亚大学)
AV-Twin通过智能手机实现可编辑的音频-视觉数字孪生,结合移动RIR捕获和视觉辅助声场模型,实现房间声学的高效重建与材料属性的动态更新。
2025-12-11 cs.MM cs.SD eess.AS
Audio Captioning with Composition of Acoustic and Semantic Information
Başkent University(Başkent大学)
音频字幕生成是一个新的研究领域,它结合了音频和自然语言处理,为音频片段创建有意义的文本描述。为了解决这个问题,以前的研究大多使用基于编码器-解码器的模型,而不考虑语义信息。为了填补这一空白,我们提出了一种新的编码器-解码器架构,使用双向门控递归单元(BiGRU)与音频和语义嵌入。我们通过从音频片段标题中获取主语和动词来提取语义嵌入,并将这些嵌入与音频嵌入相结合,以提供基于BiGRU的编码器-解码器模型。为了使测试音频的语义嵌入,我们引入了多层感知器分类器来预测这些片段的语义嵌入。我们还提出了详尽的实验,以显示我们提出的模型的音频字幕任务的不同功能和数据集的效率。为了提取音频特征,我们使用对数梅尔能量特征,VGGish嵌入和预训练的音频神经网络(PANN)嵌入。在两个音频字幕数据集Clotho和AudioCaps上的大量实验表明,我们提出的模型在不同的评估指标上优于最先进的音频字幕模型,并且使用语义信息提高了字幕性能。关键词:音频字幕; PANN; VGGish; GRU; BiGRU。
2021-05-13 cs.LG cs.SD eess.AS
Acoustic Teleportation via Disentangled Neural Audio Codec Representations
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所);International Audio Laboratories Erlangen(埃尔朗根国际音频实验室)
本文提出基于EnCodec的解纠缠神经音频编解码器表示方法,实现声学传送,在保留内容与说话人身份的同时转移房间特征,ScoreQ达3.03,并通过t-SNE验证解纠缠效果。
2025-10-15 eess.AS
Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出在音频编码器中引入可训练提示以捕获任务特定声学特征,与文本提示结合提升少样本适应性能,在11个数据集上验证有效性。
2026-06-16 cs.LG cs.MM cs.SD
Prompting Audios Using Acoustic Properties For Emotion Representation
Microsoft(微软)
针对离散情感标签难以表达情感多样性的问题,提出基于音高、强度等声学属性自动生成提示,并用对比学习对齐语音与提示,从而提升 EAR 与 SER 性能。
2023-12-07 cs.AI cs.SD eess.AS
Towards End-to-End Acoustic Localization using Deep Learning: from Audio Signal to Source Position Coordinates
University of Alcalá(阿尔卡拉大学)
提出了一种基于卷积神经网络(CNN)的麦克风阵列室内声源定位方法。据我们所知,所提出的解决方案是第一个公开的工作,其中CNN被设计为直接估计声源的三维位置,使用原始音频信号作为输入信息,避免使用手工制作的音频特征。鉴于有限的本地化数据,本文提出了一种基于两个步骤的训练策略。我们首先使用从近距离谈话语音记录生成的半合成数据来训练我们的网络,并且在其中我们模拟从源传播到麦克风阵列的信号中所遭受的时间延迟和失真。然后,我们使用少量的实际数据来微调这个网络。我们的实验结果表明,这种策略是能够产生的网络,显着改善现有的定位方法的基础上\textit{SRP-PHAT}战略。此外,我们的实验表明,我们的CNN方法表现出更好的抵抗不同性别的发言人和不同的窗口大小相比,其他方法。
2018-07-29 cs.SD eess.AS
LoSATok: Low-Dimensional Semantic-Acoustic Tokenizer for Cross-Domain Audio Understanding and Generation
Shenzhen International Graduate School, Tsinghua University, China(清华大学深圳国际研究生院,中国);ModelBest Inc., China(ModelBest公司,中国)
提出低维音频分词器LoSATok,通过语义瓶颈压缩和双级语义监督,在紧凑潜空间中联合捕获语义和声学细节,提升扩散Transformer的生成性能。
2026-09-15 cs.AI cs.SD eess.AS
Acoustic Scene Classification using Audio Tagging
使用深度神经网络的声学场景分类系统将给定的记录分类为预定义的类别。在这项研究中,我们提出了一种新的方案,采用了音频标记系统的灵感来自人类的感知机制的声学场景分类。当人类识别声学场景时,不同声音事件的存在提供了影响判断的区分信息。所提出的框架使用各种方法模仿这种机制。首先,我们采用三种方法来连接使用音频标记系统提取的标记向量与声学场景分类系统的中间隐藏层。我们还探讨了使用标签向量的声学场景分类系统的特征图上的多头注意。在声学场景和事件2019 task 1-a数据集上进行的检测和分类实验证明了该方案的有效性。与基线的73.63%的准确率相比,串联和多头注意分别显示出75.66%和75.58%的分类准确率。结合这两种方法的系统显示出76.75%的准确率。
2020-04-19 eess.AS
DashengTokenizer: One layer is enough for unified audio understanding and generation
MiLM Plus(小米公司);Xiaomi Inc.(小米公司);Beijing, China(中国北京)
本文提出DashengTokenizer,通过融合语义特征与音频信息,实现音频理解和生成任务的统一,优于传统音频编解码器和编码器基线,挑战了VAE架构是音频合成必要条件的假设。
2026-03-26 cs.SD eess.AS
A Joint Framework for Audio Tagging and Weakly Supervised Acoustic Event Detection Using DenseNet with Global Average Pooling
Amazon.com Inc.(亚马逊公司);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
本文提出了一种主要用于音频标记的网络架构,该架构也可用于弱监督声事件检测(AED)。建议的网络由一个修改后的DenseNet作为特征提取器,和一个全局平均池(GAP)层在推理时预测帧级标签。该架构受到Zhou等人提出的工作的启发,一个众所周知的框架,使用GAP来本地化给定图像级标签的视觉对象。虽然大多数弱监督AED的先前工作使用具有基于注意力的机制的递归层来定位声学事件,但所提出的网络使用DenseNet提取的特征图直接定位事件,而无需任何递归层。在DCASE 2017的音频标记任务中,我们的方法在绝对值方面在开发集上的F1得分中显著优于最先进的方法5.3%,在评估集上为6.0%。对于DCASE 2018中的弱监督AED任务,我们的模型通过使用数据增强和tri-training来利用未标记的数据,在绝对值方面,我们的模型在基于事件的F1中的性能优于最先进的方法8.1%,在eval集上的性能优于0.5%。
2020-08-07 cs.SD eess.AS
Lyrics-to-Audio Alignment by Unsupervised Discovery of Repetitive Patterns in Vowel Acoustics
Seoul National University(首尔国立大学);Advanced Institutes of Convergence Technology(先进融合技术研究所)
大多数先前的歌词到音频对齐方法使用预先开发的自动语音识别(ASR)系统,该系统固有地遭受使语音模型适应单个歌手的若干困难。在以前的作品中缺失的一个重要方面是歌唱声音中重复元音模式的自学能力,其中元音部分使用的比辅音部分更一致。在此基础上,我们的系统首先学习一个判别子空间的元音序列,基于加权对称非负矩阵分解(WS-NMF),以自相似性的标准声学特征作为输入。然后,我们利用典型的时间规整(CTW),来自最近的计算机视觉技术,找到一个最佳的时空之间的文本和声音序列的转换。韩语和英语数据集的实验表明,部署这种方法后,预先开发的,无监督的,唱歌声源分离取得了更有前途的结果比其他国家的最先进的无监督的方法和现有的基于ASR的系统。
2017-01-24 cs.AI cs.IR cs.LG
Temporally Heterogeneous Graph Contrastive Learning for Multimodal Acoustic event Classification
Harbin University of Science(哈尔滨理工大学);Technology The University of Melbourne(技术墨尔本大学)
本文提出时序异构图对比学习框架THGCL,通过高斯过程、Hawkes过程和对比学习区分模态内与模态间时序依赖,在AudioSet上实现多模态声学事件分类的最优性能。
2025-09-18 cs.SD eess.AS
Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens
Stanford University(斯坦福大学);University of Southern California(南加州大学);University of Cambridge(剑桥大学)
本文提出SODA模型,通过交错语义、音频和文本标记扩展开放离散音频基础模型,实现通用音频生成和跨模态能力。
2026-02-18 cs.CL cs.SD eess.AS
AudioLog: LLMs-Powered Long Audio Logging with Hybrid Token-Semantic Contrastive Learning
本文提出AudioLog系统,通过微调预训练的分层Token-语义音频Transformer并结合混合声学表示对比学习,利用LLM生成音频日志,在长音频序列的场景分类与事件检测上超越现有方法。
2024-01-04 eess.AS
SPEAR: Receiver-to-Receiver Acoustic Neural Warping Field
University of Oxford(牛津大学);Department of Computer Science(计算机科学系)
本文提出 SPEAR 连续接收器到接收器声学神经扭曲场,利用双机器人录音和物理约束实现单源三维空间声学效应预测。
2024-06-16 cs.AI cs.SD eess.AS
On Synchronization of Wireless Acoustic Sensor Networks in the Presence of Time-varying Sampling Rate Offsets and Speaker Changes
Paderborn University(帕德博恩大学)
如果网络设备的模数转换器(ADC)不同步,则无线声学传感器网络记录具有音频流之间的采样时间和采样速率偏移的音频信号。在这里,我们引入了一个新的采样率偏移模型来模拟时变采样频率,例如,由ADC晶体振荡器的温度变化引起的,并提出了一种估计算法来处理这种动态方面与不断变化的声源位置相结合。此外,我们还展示了如何使用基于深度神经网络的麦克风和人类说话者之间距离的估计来确定采样时间偏移。这使得音频流能够同步以反映飞行的物理时差。
2021-10-25 cs.SD eess.AS
ActiveRIR: Active Audio-Visual Exploration for Acoustic Environment Modeling
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta FAIR研究院)
提出主动声学采样任务及强化学习策略ActiveRIR,利用视听传感器引导智能体导航并确定最佳声学数据采样位置,以最少样本高效构建未映射室内环境的高质量声学模型。
2024-04-24 cs.CV cs.RO cs.SD
PEAF: Learnable Power Efficient Analog Acoustic Features for Audio Recognition
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));Logitech Europe S.A.(罗技欧洲股份有限公司);Reexen Technology(Reexen科技公司(注:若为专有名词可保留原英文名,此处按含义直译))
在摩尔定律结束时,需要新的计算范式来延长可穿戴和物联网智能音频设备的电池寿命。理论分析和物理验证表明,在中低信噪比的应用领域,模拟信号处理(ASP)比数字信号处理具有更高的功率效率。此外,ASP允许与模拟麦克风直接接口,而无需高功耗的模数转换器。在这里,我们提出了高能效的模拟声学功能(PEAF),由制造的CMOS芯片验证运行音频识别。线性、非线性和可学习的PEAF变体在许多电池供电设备中需要的两个语音处理任务上进行评估:唤醒词检测(WWD)和关键词定位(KWS)。与数字声学特征相比,可以获得具有竞争力的分类精度的更高的功率效率。建立了一个新的基于信息论的理论框架来分析特征提取流程中各个阶段的信息流。该分析确定了信息瓶颈,并帮助将KWS准确性提高了7%。这项工作可能为构建具有一流推理性能的更节能的智能音频设备铺平道路。
2022-03-29 cs.SD eess.AS eess.SP
On The Effect Of Coding Artifacts On Acoustic Scene Classification
University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);International Audio Laboratories(国际音频实验室)
以前的DCASE挑战有助于提高声学场景分类系统的性能。最先进的分类器需要大量的处理能力和内存,这对于资源受限的移动或物联网边缘设备来说是一个挑战。因此,更有可能在更强大的硬件上部署这些模型,并对先前从低功耗边缘设备上传(或流式传输)的音频记录进行分类。在这种情况下,边缘设备可以应用感知音频编码来降低传输数据速率。本文使用DCASE 2020挑战贡献[1]探索感知音频编码对分类性能的影响。我们发现,与对原始(未压缩)音频进行分类相比,分类准确性最多可降低57%。我们进一步展示了模型训练期间的有损音频压缩技术如何提高压缩音频信号的分类准确性,即使是对于训练过程中不包括的音频编解码器和编解码器比特率。
2021-12-09 cs.MM cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft(微软)
情绪存在于一个广泛的连续体上,将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别,以及如何使模型能够学习这些描述。在这项工作中,我们设计了一种方法来自动创建一个描述(或提示)为给定的音频计算声学特性,如音高,响度,语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后,我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联,从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究,
2022-11-14 cs.LG cs.SD eess.AS