Audiobox TTA-RAG: Improving Zero-Shot and Few-Shot Text-To-Audio with Retrieval-Augmented Generation
University of Texas at Dallas(德克萨斯大学达拉斯分校);Meta AI
本文提出 Audiobox TTA-RAG,通过在文本条件之外引入检索到的音频样本作为条件输入,不依赖带标签数据库,显著提升零样本和少样本文本到音频生成性能,同时保持在域内生成能力。
2025-06-06 cs.SD eess.AS
Training Audio Captioning Models without Audio
Microsoft(微软);Carnegie Mellon University(卡内基梅隆大学)
本研究提出仅使用文本训练自动音频字幕生成系统的方法,利用CLAP多模态空间并结合噪声注入或可学习适配器弥合模态鸿沟,性能媲美配对音频训练的先进模型。
2023-09-14 cs.SD eess.AS
Acquiring Pronunciation Knowledge from Transcribed Speech Audio via Multi-task Learning
The University of Edinburgh(爱丁堡大学);Huawei(华为)
针对TTS前端引导训练词汇覆盖有限的问题,提出基于多任务学习利用带转写语音音频获取发音知识的方法,简化实现流程的同时达到与原有方法相当的性能。
2024-09-15 cs.CL cs.SD eess.AS
Synth-AC: Enhancing Audio Captioning with Synthetic Supervision
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学)
本文提出SynthAC框架,利用AudioLDM文本到音频生成模型和图像描述文本语料库创建合成文本-音频对,将文本-视觉领域的标注数据扩展到音频描述生成,缓解数据稀缺问题并显著提升现有音频描述生成模型的性能。
2023-09-18 cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University(西北工业大学);Tencent Corporation(腾讯公司)
本文针对音视觉标注数据不足问题,在端到端AVSD系统中引入监督式与自监督式预训练语音模型,并联合训练音频、说话人编码器及音视觉解码器,在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
SoloAudio: Target Sound Extraction with Language-oriented Audio Diffusion Transformer
Johns Hopkins University(约翰斯·霍普金斯大学)
SoloAudio提出一种基于潜在扩散Transformer的目标声音提取模型,利用CLAP支持音频和语言导向提取,并通过合成音频训练实现强泛化,在FSD Kaggle 2018和AudioSet上取得最先进结果。
2025-01-02 cs.SD eess.AS
MP3net: coherent, minute-long music generation from raw audio with a simple convolutional GAN
我们提出了一种深度卷积GAN,它利用MP3/Vorbis音频压缩的技术来产生具有长距离相干性的长时间高质量音频样本。该模型使用改进的离散余弦变换(MDCT)数据表示,其中包括所有相位信息。因此,相位生成是模型的组成部分。我们利用人耳的听觉掩蔽和心理声学感知极限来扩大真实分布并稳定训练过程。模型架构是一个深度2D卷积网络,其中每个后续的生成器模型块沿着时间轴增加分辨率,并沿着频率轴增加更高的倍频程。较深层与输出的所有部分相连,并具有完整轨道的上下文。这使得能够生成表现出长程相干性的样本。我们使用MP3 net在单个Cloud TPUv 2上训练250小时后,以22 kHz的采样率创建95秒的立体声音轨。基于CNN的模型架构的另一个好处是,新歌的生成几乎是即时的。
2021-01-12 cs.LG cs.SD eess.AS
Improving Audio Codec-based Zero-Shot Text-to-Speech Synthesis with Multi-Modal Context and Large Language Model
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于音频编解码器的零样本 TTS 模型,通过 MMCE-Qformer 融合多模态长上下文信息,并利用预训练 LLM 与 SoundStorm 提升语音质量和说话人相似度,在多种上下文 TTS 场景中优于基线。
2024-06-06 cs.CL cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University(北京大学电子学院)
本文提出分层跨模态交互方法,同时建模音频片段-句子、片段-短语和帧-词关系,并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强,从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Pengi: An Audio Language Model for Audio Tasks
Microsoft(微软);Carnegie Mellon University(卡内基梅隆大学)
本文提出 Pengi 音频语言模型,通过音频与文本编码器生成嵌入前缀并提示冻结语言模型,将各类音频任务统一为文本生成,在 22 项下游任务中多项达到最先进水平。
2024-01-19 cs.SD eess.AS
Towards Neural Audio Codec Source Parsing
针对音频深度伪造开集归因无法刻画未知编解码器的缺陷,提出将源归因重构为NAC参数结构化回归的NACSP范式,及基于双曲几何的HYDRA框架,构建首个综合基准并取得最优结果。
2025-06-14 cs.SD eess.AS
Audio Dialogues: Dialogues dataset for audio and music understanding
NVIDIA(英伟达)
针对现有音频理解数据集多为单轮交互、缺乏对话式理解支撑的问题,研究团队构建了含16.38万样本的多轮音频对话数据集Audio Dialogues,覆盖通用音频与音乐,支持多音频比较,基于提示方法和现有字幕标注用LLM生成对话,并验证了其复杂性与适用性。
2024-04-11 cs.CL cs.SD eess.AS
AudioWorldSim: Realistic Binaural Audio Datasets For World Models
VISGRAF;IMPA(巴西纯数学与应用数学国家研究所)
本研究提出开源平台AudioWorldSim,作为SoundSpaces 2.0的自定义扩展,用于生成真实双耳音频数据集,助力基于音频的机器学习尤其是世界模型研究,相关资源已公开以提升可重复性。
2026-08-24 cs.LG cs.SD
MRMAD: A Multi-Round Multi-Audio Benchmark for Evaluating Acoustic Degradation Perception in Large Audio-Language Models
Northeastern University(东北大学);Bose Corporation(博士公司);Stony Brook University(石溪大学)
该研究提出MRMAD多轮多音频基准,评估18种LALMs的音频降级感知,发现现有模型难可靠推理降级,为构建鲁棒LALMs提供基础。
2026-09-02 cs.LG cs.SD eess.AS
Audio Adversarial Examples: Attacks Using Vocal Masks
我们在自动语音到文本系统上构建音频对抗示例。给定任何音频波形,我们通过覆盖从原始音频生成的音频声掩模来产生另一个。我们将我们的音频对抗攻击应用于五个SOTA STT系统:DeepSpeech,Julius,Kaldi,wav2letter@anywhere和CMUSphinx。此外,我们还聘请了人类注释者来转录对抗性音频。我们的实验表明,这些对抗性的例子欺骗了最先进的语音到文本系统,但人类能够始终如一地挑选出语音。这种攻击的可行性为研究机器和人类对语音的感知引入了一个新的领域。
2021-02-06 cs.AI cs.SD eess.AS
Listen, Look and Deliberate: Visual context-aware speech recognition using pre-trained text-video representations
Microsoft(微软)
在这项研究中,我们试图解决的问题,利用视觉信号,以提高自动语音识别(ASR),也被称为视觉上下文感知ASR(VC-ASR)。我们探索新的VC-ASR方法,以利用由自监督预训练的文本视频嵌入模型提取的视频和文本表示。首先,我们提出了一个多流注意力架构,以利用来自音频和视频模态的信号。这种架构由两种模态的单独编码器和一个单独的解码器组成。我们表明,这种架构是优于融合方式在信号水平。此外,我们还探讨利用视觉信息的第二次通过模型,这也被称为“审议模型”。审议模型接受音频表示和文本假设的第一次通过ASR,并将它们与视觉流相结合,以提高视觉上下文感知识别。所提出的审议方案可以在任何经过良好训练的ASR之上工作,并且还使我们能够利用预先训练的文本模型来将假设与视觉特征结合起来。我们在HOW2数据集上的实验表明,多流和审议架构在VC-ASR任务中非常有效。我们评估两种情况下提出的模型;干净的音频流和失真的音频,我们掩盖了一些特定的话在音频。审议模型优于多流模型,并实现了6%和8.7%的相对WER改善的清洁和掩蔽的数据,分别相比,一个只有音频的模型。该模型也提高了59%的相对回收的掩蔽词。
2020-11-08 cs.SD eess.AS eess.IV
When Demonstrations Fail: Diagnosing the Limits of In-Context Learning in Large Audio-Language Models with Progressive Cue Removal
National Taiwan University, Taiwan(台湾国立成功大学)
本文提出ALICE框架,通过三阶段评估六个LALMs在音频条件下的上下文学习能力,发现上下文示例虽能提升格式合规性,但难以改善核心任务表现,揭示了跨模态整合的潜在局限。
2026-09-29 cs.AI cs.CL cs.SD
AudioLM: a Language Modeling Approach to Audio Generation
Google Research(谷歌研究院)
提出 AudioLM 框架,将音频生成转化为离散 token 空间的语言建模任务,采用混合分词方案结合掩码语言模型与神经音频编解码器,实现高质量且长期一致的语音与钢琴音乐续写。
2023-07-26 cs.LG cs.SD eess.AS
AudioRAG+: Feedback-driven Retrieval-augmented Audio Generation with Large Audio Language Models
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK(视觉、语音和信号处理中心(CVSSP),英国萨里大学);Tencent AI Lab, Beijing, China(腾讯人工智能实验室,中国北京);Tencent AI Lab, Seattle, USA(腾讯人工智能实验室,美国西雅图)
AudioRAG+利用大音频语言模型提升文本到音频生成中特定声音事件的合成能力,通过反馈驱动检索增强生成过程。
2026-02-17 cs.SD
Audio Caption: Listen and Tell
Shanghai Jiao Tong University(上海交通大学)
越来越多的研究揭示了机器感知音频事件,其中大部分涉及检测和分类任务。然而,对音频场景的类人感知不仅涉及对音频声音的检测和分类,还涉及总结不同音频事件之间的关系。类似的研究如图像字幕已经进行,但音频领域仍然相当贫瘠。本文介绍了一个人工标注的音频字幕数据集。其目的是自动生成自然语句的音频场景描述和弥合机器感知的音频和图像之间的差距。整个数据集以普通话标记,我们还包括翻译的英语注释。为英语和普通话提供了一个基线编码器-解码器模型。这两种语言的BLEU分数相似:我们的模型可以基于数据集生成可理解的和数据相关的字幕。
2019-05-31 cs.CL cs.SD eess.AS
DEAF: A Benchmark for Diagnostic Evaluation of Acoustic Faithfulness in Audio Language Models
University of Oxford(牛津大学);XJTLU;HNU(湖南大学);CUHK(SZ)(香港中文大学(深圳));PKU(北京大学);HKUST(GZ)(香港科技大学(广州))
DEAF基准通过2700多个冲突刺激,评估音频语言模型对声音信号的真实处理能力,揭示模型在语音基准测试中的表现与真实声音理解间的差距。
2026-10-12 cs.AI cs.SD eess.AS
Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations
Aalborg University(奥尔堡大学);Pioneer Center for AI(先锋人工智能中心)
本文提出Audio Mamba,一种基于选择性状态空间模型的自监督音频表示学习方法,在AudioSet预训练后于多个音频任务上显著优于SSAST基线。
2024-06-07 cs.AI cs.SD eess.AS
TV-AudioRemover: Joint Text-Visual Guided Sound Removal with Multi-Task Hard-Mixture Curriculum
Xiaomi Inc.(小米公司)
提出TV-AudioRemover,结合视觉编辑视频与文本指令,通过多任务训练和难混合课程实现目标声音移除,并在新基准上达到最先进性能。
2026-11-06 cs.CV cs.MM cs.SD
Audio-visual Generalized Zero-shot Learning the Easy Way
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出EZ-AVGZL框架,通过单一对比损失对齐音频-视觉与文本嵌入,并利用差分优化增强类别判别性,在三个基准上达到最先进性能。
2024-07-18 cs.CV cs.LG cs.MM
Weakly-supervised Automated Audio Captioning via text only training
本文提出一种仅利用文本数据和预训练CLAP模型的弱监督自动音频描述生成方法,通过文本嵌入重建与音频嵌入解码并弥合模态差距,在Clotho和AudioCaps上达到全监督方法约83%的相对性能。
2023-09-21 cs.LG cs.SD eess.AS
In-Context Prompt Editing For Conditional Audio Generation
Meta AI;Saarland University(萨尔大学)
针对真实用户提示词导致文本到音频生成质量下降的问题,本文提出基于检索的上下文内提示词编辑框架,利用训练字幕作为示范改写提示词并提升音频质量。
2023-11-01 cs.CL cs.SD eess.AS
GraFPrint: A GNN-Based Approach for Audio Identification
Computer Science, Queen Mary University of London(伦敦大学玛丽女王学院计算机科学系)
本文提出GraFPrint,一种基于图神经网络的音频识别框架,通过k-NN图与最大相对图卷积构建鲁棒指纹,自监督对比训练提升抗噪性,在大规模数据集上表现优越且轻量可扩展。
2025-01-24 cs.IR cs.SD eess.AS
Prefix tuning for automated audio captioning
POSTECH(浦项科技大学);Yonsei University(延世大学)
针对音频字幕生成中训练数据缺乏导致的泛化难题,提出利用冻结的预训练语言模型,通过映射网络将音频特征转换为prefixes,在Clotho和AudioCaps数据集上优于现有方法。
2023-04-04 cs.MM cs.SD eess.AS
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近,人们越来越关注双通道流式传输端到端语音识别(ASR),其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型,以提高识别准确性,同时保持低延迟。最新的第二遍重新评分模型之一,Transformer Rescorer,从第一遍模型中获取n个最佳初始输出和音频嵌入,然后通过重新评分n个最佳初始输出来选择最佳输出。然而,训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据,因为该模型使用音频嵌入作为输入。在这项工作中,我们提出了我们的联合音频/文本训练方法的Transformer Rescorer,利用未配对的纯文本数据,这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer,并表明与标准Transformer Rescorer相比,我们的训练方法可以显着提高单词出错率(WER),而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
Hypernetworks build Implicit Neural Representations of Sounds
Warsaw University of Technology(华沙理工大学);IDEAS NCBR(IDEAS国家数字能力研究中心);Jagiellonian University(雅盖隆大学);UES Ltd.(UES有限公司);Tooploox(Tooploox公司)
本文提出HyperSound,首个利用超网络为音频生成隐式神经表示的元学习方法,能泛化至未见样本,重建质量媲美最先进模型,并可作为频谱图的替代方案。
2023-06-17 cs.AI cs.LG cs.SD
Resonate: Reinforcing Text-to-Audio Generation via Online Feedback from Large Audio Language Models
Resonate通过整合在线GRPO和大音频语言模型奖励,提升文本到音频生成的音频质量和语义对齐性能。
2026-03-12 cs.SD
Audio-Language Models for Audio-Centric Tasks: A Systematic Survey
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学);School of Communications and Information Engineering, Xi’an University of Posts and Telecommunications(通信与信息工程学院,西安邮电大学)
对基于配对音频-文本数据训练的音频-语言模型进行系统综述,涵盖语音、音乐和声音,给出统一分类法,建立研究框架,助研究者了解技术发展与趋势,为应用提供参考。
2026-07-07 cs.MM cs.SD eess.AS
Probing Audio-Generation Capabilities of Text-Based Language Models
Algoverse AI Research(Algoverse AI研究)
本研究探讨了基于文本的大型语言模型(LLMs)通过代码中介生成音频的能力,采用三层方法逐步增加复杂性,并用FAD和CLAP分数评估,发现LLMs能生成基础音频但随复杂性增加性能下降,表明其音频生成能力仍处初级阶段。
2025-05-04 cs.CL cs.SD eess.AS
"I am bad": Interpreting Stealthy, Universal and Robust Audio Jailbreaks in Audio-Language Models
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
本文针对音频语言模型提出首个通用音频越狱攻击,通过构造跨提示、任务和样本的对抗扰动绕过对齐机制,并揭示其编码第一人称有毒语音,为多模态安全防御提供见解。
2025-07-10 cs.LG cs.SD eess.AS
Enhance audio generation controllability through representation similarity regularization
Meta AI
本文提出在语言模型音频生成训练中引入音频-文本表示相似性正则化,尤其在无分类器引导阶段强化对齐,从而提升音频与音乐生成的客观指标和人类感知质量。
2023-09-15 cs.AI cs.LG cs.SD
Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities
NVIDIA(英伟达);University of Maryland(马里兰大学)
本文提出Audio Flamingo 2,一种具备长音频理解与专家推理能力的音频语言模型,仅用3B参数在20多个基准上超越大型模型,并首次扩展至长音频理解。
2025-03-06 cs.CL cs.LG cs.SD
A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition
Laboratoire d’imagerie, de vision et d’intelligence artificielle (LIVIA)(图像、视觉与人工智能实验室(LIVIA));École de technologie supérieure(高等技术学院)
本文提出联合交叉注意力模型,利用音视频互补关系提取跨模态显著特征,在AffWild2上高效预测效价和唤醒度,性能超越现有方法。
2024-07-06 cs.CV cs.HC cs.SD
Efficient Multiscale Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出多尺度多模态Transformer(MMT),结合多尺度音频与视频Transformer及对比损失实现高效音视频分类,在多个基准上显著提升准确率并降低计算开销。
2024-01-08 cs.AI cs.CV cs.LG
Cross Attentional Audio-Visual Fusion for Dimensional Emotion Recognition
École de technologie supérieure(蒙特利尔高等技术学院)
本文提出一种跨注意力音视频融合模型,通过计算跨模态注意力权重提取面部和声音模态中的互补显著特征,用于维度情感识别中效价和唤醒度的连续值预测,并在RECOLA和Fatigue数据集上验证其优于现有融合方法。
2024-07-06 cs.CV cs.SD eess.AS
Audio-Reasoner: Improving Reasoning Capability in Large Audio Language Models
Nanyang Technological University(南洋理工大学);National University of Singapore(国立新加坡大学);Rakuten
针对多模态推理忽视音频模态的问题,本文提出Audio-Reasoner,通过构建120万样本的CoTA推理数据集并进行结构化思维链训练,在多个音频推理基准上取得最先进性能。
2025-09-20 cs.AI cs.CL cs.LG
Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China, Hefei, China(语音与语言信息处理国家级工程研究中心,中国科学技术大学,合肥,中国);ICT Cluster, Singapore Institute of Technology, Singapore(新加坡理工学院ICT集群,新加坡)
本文提出Audio-Side Time Prompt方法,结合强化学习改进大音频-语言模型的时间感知能力,在音频定位、事件检测等任务中取得显著提升。
2026-04-15 cs.AI cs.SD
All That Glitters Is Not Audio: Rethinking Text Priors and Audio Reliance in Audio-Language Evaluation
National Taiwan University(国立台湾大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立成功大学人工智能卓越研究中心(NTU AI-CoRE))
研究通过文本先验和音频依赖两个维度评估音频-语言模型,发现模型在无音频输入时仍能保持60-72%的分数,挑战了音频理解与评估成绩等同的假设。
2026-04-27 cs.AI cs.CL cs.SD
Continuous Audio Thinking for Large Audio Language Models
KAIST(韩国科学技术院)
提出连续音频思考(CoAT)框架,通过专家蒸馏在连续潜在空间中组织声学信息,使音频语言模型在生成响应前利用丰富声学特征,无需额外自回归解码成本,在多个音频任务上提升性能。
2026-10-26 cs.AI cs.CL cs.SD
Retrieval-Augmented Text-to-Audio Generation
University of Surrey(萨里大学)
针对文本到音频生成中因数据类别分布不平衡导致长尾类别生成性能差的问题,提出检索增强方法 Re-AudioLDM,利用 CLAP 模型检索相关文本-音频对作为附加条件指导生成,在 AudioCaps 上取得 1.37 的最优 FAD。
2024-01-05 cs.AI cs.MM cs.SD
An Eye for an Ear: Zero-shot Audio Description Leveraging an Image Captioner using Audiovisual Distribution Alignment
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎综合理工学院)
针对音视频模态鸿沟阻碍音频字幕生成的问题,提出通过对齐音频与图像token分布的方法,在不改动原有图像字幕组件的情况下实现无监督零样本音频描述,性能显著优于现有方法。
2024-10-08 cs.CV cs.LG cs.SD
Who Wins the Conflict? Mechanistic Interpretability of Text Bias in Audio LLMs
School of Electrical Engineering, KAIST(韩国科学技术院电子工程学院)
本文通过机制分析揭示音频大模型中的文本主导偏差,发现文本路径主动抑制完整音频表征,并提出无训练干预方法back-patching以增强音频表征,缓解文本主导。
2026-09-07 cs.SD
Audio-DeepThinker: Progressive Reasoning-Aware Reinforcement Learning for High-Quality Chain-of-Thought Emergence in Audio Language Models
Tencent AI Lab(腾讯AI实验室);The Hong Kong University of Science(香港科技大学)
本文提出Audio-DeepThinker框架,通过混合奖励和渐进式课程学习提升音频推理质量,实现高质量推理链涌现,取得多项评测冠军。
2026-04-20 cs.CL cs.SD
Audio-Enhanced Vision-Language Modeling with Latent Space Broadening for High Quality Data Expansion
ByteDance Inc.(字节跳动公司)
针对传统主动学习方法的局限与现有多模态模型缺音频模态的问题,提出基于kNN的潜空间拓宽方法提升主动学习效率,以及音频增强视觉语言建模的中间融合方案,已部署落地并取得显著业务收益。
2025-10-02 cs.AI cs.CV cs.MM
AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer
The Hong Kong University of Science and Technology(香港科学与技术大学);University of Central Florida(佛罗里达中央大学)
本文提出AC-Foley模型,通过直接利用参考音频实现精确的音频合成与声学迁移,解决传统方法在语义粒度和文本模糊性上的瓶颈,提升音频生成质量与细粒度控制能力。
2026-03-20 cs.CV cs.LG cs.MM
AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering
National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院)
AQAScore通过音频问答评估文本到音频生成的语义对齐,利用大型语言模型的推理能力,有效捕捉语义不一致性。
2026-01-21 cs.AI cs.CL cs.LG
Learning music audio representations via weak language supervision
Queen Mary University of London(伦敦玛丽女王大学);Universal Music Group(环球音乐集团)
用于音乐信息检索的音频表示通常以特定于任务的方式经由监督学习来学习。虽然有效地产生最先进的结果,这种方案缺乏灵活性的应用范围的模型可以有,并需要广泛的注释数据集。在这项工作中,我们提出的问题,是否有可能利用弱对齐的文本作为唯一的监督信号来学习通用的音乐音频表示。为了解决这个问题,我们设计了一个多模式架构的音乐和语言预训练(MuLaP)优化通过一组代理任务。弱监督以传达音轨的整体音乐内容的嘈杂自然语言描述的形式提供。在预训练之后,我们将模型的音频骨干转换为一组音乐音频分类和回归任务。我们通过比较相同音频骨干与不同训练策略产生的音频表示的性能来证明我们方法的有用性,并表明我们的预训练方法在所有考虑的任务和数据集上始终获得可比或更高的分数。我们的实验还证实,MuLaP有效地利用音频字幕对来学习表示,这与文献中的仅音频和跨模态自监督方法具有竞争力。
2022-02-17 cs.CL cs.IR cs.LG
LAMB: LLM-based Audio Captioning with Modality Gap Bridging via Cauchy-Schwarz Divergence
本文提出LAMB框架,通过Cauchy-Schwarz散度弥合音频与文本嵌入空间的模态差距,设计Two-Stream Adapter和Token Guide提升LLM解码器推理能力,在AudioCaps上取得最佳性能。
2026-03-16 cs.AI cs.SD
AudioMotionBench: Evaluating Auditory Motion Perception in Audio LLMs
Wuhan University(武汉大学);University of Queensland(昆士兰大学);University of Chinese Academy of Sciences(中国科学院大学);University of California, Merced(加州大学默塞德分校)
AudioMotionBench通过评估音频大语言模型对移动声源方向和轨迹的感知能力,揭示了当前模型在听觉空间推理方面的局限性。
2026-01-22 cs.AI cs.SD
Eureka-Audio: Triggering Audio Intelligence in Compact Language Models
Eureka-Audio通过紧凑架构和统一端到端设计,在低参数量下实现高性能音频理解,匹配甚至超越大模型表现。
2026-02-15 cs.AI cs.SD