Audio Entailment: Assessing Deductive Reasoning for Audio Understanding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Microsoft Research（微软研究院）
本文提出音频蕴含任务以评估音频语言模型的演绎推理能力，通过构建新数据集进行基准测试，发现现有模型在逻辑推理上存在缺陷，并提出“先字幕后推理”中间步骤有效提升了模型性能。
2024-07-25 cs.SD eess.AS
Advancing Natural-Language Based Audio Retrieval with PaSST and Large Audio-Caption Data Sets
Johannes Kepler University（约翰内斯·开普勒大学）
本文提出基于预训练文本和频谱图Transformer的文本到音频检索系统，通过共享音频-字幕空间实现跨模态检索，识别出音频编码器和预训练数据扩充两个关键因素，在DCASE 2023和ClothoV2上取得领先性能。
2023-08-08 cs.IR cs.LG cs.SD
SwiftAudio: Data-Efficient Caption-Only Distillation for One-Step Text-to-Audio Diffusion-based Generation
Posts and Telecommunications Institute of Technology（邮电技术学院）
提出SwiftAudio框架，通过仅使用文本描述从预训练扩散教师模型进行无音频蒸馏，实现一步式文本到音频生成，在AudioCaps和Clotho上达到最优性能。
2026-07-01 cs.AI cs.MM cs.SD
Taming Data and Transformers for Audio Generation
Rice University（莱斯大学）；Snap Inc（森宝公司）
针对环境声音生成器受数据稀缺、字幕质量不足及模型架构限制的问题，提出高效数据集收集管道构建AutoReCap-XL数据集、AutoCap字幕模型提升注释质量，以及GenAu可扩展架构，显著提升生成性能。
2025-04-16 cs.CL cs.CV cs.MM
MACE: Leveraging Audio for Evaluating Audio Captioning Systems
Carnegie Mellon University（卡内基梅隆大学）
提出MACE指标，结合音频信号与参考描述评估音频描述系统，在AudioCaps-Eval和Clotho-Eval上较FENSE分别提升3.28%和4.36%相对准确率。
2024-11-05 cs.SD eess.AS
ACES: Evaluating Automated Audio Captioning Models on the Semantics of Sounds
Maastricht University（马斯特里赫特大学）；Université Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
本文提出ACES评估指标，从人类听觉语义解析角度结合语义相似度与实体标注评估自动音频字幕，并在Clotho-Eval FENSE基准上优于同类指标。
2024-03-27 cs.SD eess.AS
Training Audio Captioning Models without Audio
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出仅使用文本训练自动音频字幕生成系统的方法，利用CLAP多模态空间并结合噪声注入或可学习适配器弥合模态鸿沟，性能媲美配对音频训练的先进模型。
2023-09-14 cs.SD eess.AS
Audio Captioning Using Sound Event Detection
本技术报告为DCASE 2021任务6音频字幕挑战提出了一个音频字幕系统。我们提出的模型是基于一个编码器-解码器架构与双向门控递归单元（BiGRU）使用预训练的音频功能和声音事件检测。一个预训练的神经网络（PANN）被用来提取音频特征和Word 2 Vec被选择的目的是提取词嵌入从音频字幕。为了创建语义上有意义的字幕，我们从音频片段中提取声音事件，并向编码器-解码器架构提供除了PANN功能之外的声音事件。我们在Clotho数据集上的实验表明，我们提出的方法在所有评估指标上都比挑战基线模型取得了更好的结果。
2021-10-07 cs.SD eess.AS
Synth-AC: Enhancing Audio Captioning with Synthetic Supervision
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出SynthAC框架，利用AudioLDM文本到音频生成模型和图像描述文本语料库创建合成文本-音频对，将文本-视觉领域的标注数据扩展到音频描述生成，缓解数据稀缺问题并显著提升现有音频描述生成模型的性能。
2023-09-18 cs.SD eess.AS
Diverse Audio Captioning via Adversarial Training
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））
音频字幕的目的是自动生成自然语言描述的音频片段。近年来，现有的音频字幕模型已经显示出有希望的改进。然而，这些模型大多通过最大似然估计（MLE）进行训练，这往往使字幕通用，简单和确定性。由于不同的人可以从不同的方面使用不同的单词和语法来描述音频片段，我们认为，音频字幕系统应该有能力为固定的音频片段和跨类似的音频片段生成不同的字幕。为了解决这个问题，我们提出了一个基于条件生成对抗网络（C-GAN）的音频字幕对抗训练框架，旨在提高生成字幕的自然性和多样性。与经典GAN中处理连续值的数据不同，句子由离散标记组成，并且离散采样过程是不可微的。为了解决这个问题，策略梯度，一种强化学习技术，用于将奖励反向传播到生成器。结果表明，我们提出的模型可以生成更多样化的字幕，相比国家的最先进的方法。
2022-03-29 cs.SD eess.AS
Multilingual Audio Captioning using machine translated data
本研究使用机器翻译将AudioCaps和Clotho数据集译为法、德、西语，训练单语及多语言音频字幕生成系统，发现直接在目标语言训练优于翻译英语输出，且多语言模型性能相当但参数更少。
2023-09-14 cs.SD eess.AS
Crowdsourcing a Dataset of Audio Captions
Tampere University（坦佩雷大学）
音频字幕是多模态翻译的一个新领域，它的任务是创建音频信号内容的文本描述（例如，“人们在一个大房间里说话”）。为此任务创建数据集需要大量的工作，使众包成为一个非常有吸引力的选择。在本文中，我们提出了一个基于三个步骤的框架，众包的音频字幕数据集的基础上，广泛使用的图像描述和机器翻译数据集的创建的概念和步骤。在第一步中，收集初始字幕。在第二步骤中获得每个初始字幕的语法校正和/或重新措辞的版本。最后，对初始字幕和编辑后的字幕进行评级，保留生成的数据集的顶级字幕。我们客观地评估我们的框架的影响，在创建音频字幕数据集的过程中，在获得的字幕的多样性和印刷错误的数量。所获得的结果表明，所得到的数据集具有比初始字幕更少的排版错误，并且平均而言，所产生的数据集中的每个声音具有Jaccard相似度为0.24的字幕，大致相当于两个十字字幕具有相同词根的四个单词，这表明字幕是不相似的，但它们仍然包含一些相同的信息。
2019-07-22 cs.SD eess.AS
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Automated Audio Captioning using Audio Event Clues
音频字幕是一个重要的研究领域，旨在为音频片段生成有意义的描述。现有的大多数研究提取音频片段的声学特征作为编码器-解码器和Transformer架构的输入，以序列到序列的方式产生字幕。由于数据不足和架构的学习能力不足，需要额外的信息来生成自然语言句子以及声学特征。为了解决这些问题，提出了一种编码器-解码器架构，该架构从声学特征和提取的音频事件标签两者作为输入来学习。该模型基于预训练的声学特征和音频事件检测。各种实验使用不同的声学特征，词嵌入模型，音频事件标签提取方法和实现配置，以显示哪些组合在音频字幕任务上具有更好的性能。在多个数据集上进行的大量实验结果表明，使用具有声学特征的音频事件标签提高了识别性能，并且所提出的方法优于最先进的模型或取得了与最先进的模型竞争的结果。
2022-04-18 cs.SD eess.AS
Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval
NTT Corporation（日本电报电话公司）
音频字幕的目标是将输入的音频转换为使用自然语言的描述。音频字幕的问题之一是缺乏训练数据，这是由于难以通过爬行网络来收集音频字幕对。在这项研究中，为了克服这个问题，我们建议使用预先训练的大规模语言模型。由于音频输入不能直接输入到这样的语言模型中，因此我们利用基于可能存在于不同音频中的相似性从训练数据集检索的指导字幕。然后，在参考引导字幕的同时，通过使用预先训练的语言模型来生成音频输入的字幕。实验结果表明，（i）所提出的方法已经成功地使用预先训练的语言模型的音频字幕，和（ii）的预言性能的预先训练的基于模型的字幕生成器是明显优于传统的方法从头开始训练。
2020-12-14 cs.CL cs.SD eess.AS
Investigations in Audio Captioning: Addressing Vocabulary Imbalance and Evaluating Suitability of Language-Centric Performance Metrics
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research Labs（微软研究实验室）
针对自动音频字幕生成面临的数据稀缺、词汇不平衡、评估指标不适配三大挑战，提出两种数据与词汇增强方法，验证领域内预训练的必要性，并指出五种图像字幕指标在音频领域的局限。
2023-05-03 cs.SD eess.AS
Enhance Temporal Relations in Audio Captioning with Sound Event Detection
Shanghai Jiao Tong University（上海交通大学）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
本文利用声音事件检测（SED）提供的时间戳信息，通过提出时间标签系统，增强音频字幕生成中的时间关系表达，实验证明显著提升了时间关系生成效果。
2024-07-18 cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University（北京大学电子学院）
本文提出分层跨模态交互方法，同时建模音频片段-句子、片段-短语和帧-词关系，并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强，从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Caption Feature Space Regularization for Audio Captioning
Beijing University of Posts and Telecommunications（北京邮电大学）；Ludong University（鲁东大学）
音频字幕旨在用人类语言描述音频剪辑的内容。由于音频的模糊性，不同的人可能不同地感知到相同的音频，从而导致字幕差异（即，一个音频可以与具有不同语义的几个字幕相关）。为此，一般音频字幕模型通过随机选择相关字幕作为每个音频的真实背景来实现一对多训练。但是，这会导致优化方向的显著变化，削弱了模型的稳定性。为了消除这种负面影响，本文提出了一种两阶段的音频字幕框架：（i）在第一阶段，通过对比学习，我们构造一个代理特征空间来减小与同一音频相关的字幕之间的距离，以及（ii）在第二阶段，代理特征空间被用作附加的监督，以促使模型在有益于所有相关字幕的方向上被优化。我们使用四种常用的编码器和解码器架构在两个数据集上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。该代码可在https://github.com/PRIS-CV/Caption-Feature-Space-Regularization上获得。
2022-04-18 cs.CL cs.SD eess.AS
Crowdsourcing and Evaluating Text-Based Audio Retrieval Relevances
Tampere University（坦佩雷大学）
本文研究如何用众包评分标注文本-音频检索相关性，并通过对比学习实验发现，相比音频描述对产生的二值相关性，额外加入二值化众包相关性并无明显收益。
2023-08-15 cs.SD eess.AS
A Whisper transformer for audio captioning trained with synthetic captions and transfer learning
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）；Johannes Kepler University（约翰开普勒大学）
本研究提出一种基于预训练Whisper模型和合成标题的音频字幕生成方法，通过实验验证了不同训练策略对模型性能的影响，并公开了代码与模型。
2023-05-15 cs.LG cs.SD eess.AS
Audio Captioning using Gated Recurrent Units
Department of Computer Engineering, Ba s kent University
音频字幕是最近提出的自动生成给定音频片段的文本描述的任务。在这项研究中，提出了一种新的具有音频嵌入的深度网络架构来预测音频字幕。在提取除对数梅尔能量之外的音频特征的目标下，使用VGGish音频嵌入模型来探索音频嵌入在音频字幕任务中的可用性。所提出的架构编码音频和文本输入模态分开，并结合它们之前的解码阶段。音频编码通过双向门控递归单元（BiGRU）进行，而GRU用于文本编码阶段。在此之后，我们评估我们的模型通过新发布的音频字幕性能数据集，即Clotho，比较实验结果与文献。我们的实验结果表明，所提出的基于BiGRU的深度模型优于最先进的结果。
2021-01-03 cs.LG cs.SD eess.AS
Impact of visual assistance for automated audio captioning
KU Leuven（鲁汶大学）
我们研究的视觉辅助自动音频字幕的影响。利用多编码器Transformer架构，这是以前被用来引入视觉相关的信息，在声音事件检测的背景下，我们分析的有用性，将各种预训练的功能。我们在基于YouTube的视听数据集上进行实验，并研究了在各种字幕度量方面应用所考虑的迁移学习技术的效果。我们发现，只有一种被考虑的预训练特征提供了一致的改进，而其他特征根本没有提供任何值得注意的收益。有趣的是，先前的研究结果表明，在声音事件检测的情况下，情况正好相反，这使我们得出结论，视觉嵌入的最佳选择在很大程度上取决于手头的任务。更具体地说，视觉功能侧重于语义出现适当的自动音频字幕的上下文中，而声音事件检测，时间信息似乎更重要。
2023-02-20 cs.SD eess.AS
Leveraging Pre-trained BERT for Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡提普·切莱比大学）
音频字幕旨在使用自然语言来描述音频片段的内容。现有的音频字幕系统通常基于编码器-解码器架构，其中声学信息由音频编码器提取，然后语言解码器用于生成字幕。训练一个音频字幕系统经常会遇到数据稀缺的问题。从预训练的音频模型（如预训练的音频神经网络（PANN））中传输知识最近已经成为缓解这个问题的有用方法。然而，与编码器相比，对解码器利用预先训练的语言模型的关注较少。BERT是一种预先训练的语言模型，已广泛用于自然语言处理（NLP）任务。然而，BERT作为音频字幕的语言解码器的潜力还没有被研究。在这项研究中，我们证明了预训练的BERT模型的音频字幕的有效性。具体来说，我们应用PANN作为编码器，并从公共预训练的BERT模型初始化解码器。我们进行了实证研究，使用这些BERT模型的解码器中的音频字幕模型。我们的模型与AudioCaps数据集上现有的音频字幕方法相比，取得了有竞争力的结果。
2022-03-27 cs.AI cs.SD eess.AS
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务，其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛，作为任务6的子任务6B，旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕（子任务6A）相比，基于语言的音频检索（子任务6B）侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中，子任务6B的基线系统性能明显优于基线系统，最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-10-04 cs.SD eess.AS
MiDashengLM: Efficient Audio Understanding with General Audio Captions
MiLM Plus Xiaomi Inc.（小米公司）
本文提出MiDashengLM，一个基于通用音频字幕的开放音频语言模型，通过ACAVCaps数据集实现高效且全面的音频理解，提升透明度和可重复性，并提供更快的推理速度和更高的吞吐量。
2026-03-26 cs.SD eess.AS
Audio Caption in a Car Setting with a Sentence-Level Loss
Shanghai Jiao Tong University（上海交通大学）
字幕在图像和视频理解中引起了广泛的关注，而对音频字幕的研究较少。本文贡献了一个普通话注释的数据集内的汽车场景的音频字幕。提出了一种与GRU编码器-解码器模型串联使用的字幕级损失，以生成与人类注释具有更高语义相似性的字幕。我们在新提出的Car数据集，以前发布的Mandarin Hospital数据集和Joint数据集上评估了该模型，表明其在不同场景中的泛化能力。可以观察到所有指标的改进，包括经典的自然语言生成（NLG）指标、句子丰富度和人类评估评级。然而，尽管现在可以自动生成详细的音频字幕，但人工注释在许多方面仍然优于模型字幕。
2020-10-23 cs.CL cs.SD eess.AS
Can Audio Captions Be Evaluated with Image Caption Metrics?
Shanghai Jiao Tong University（上海交通大学）
自动音频字幕旨在为音频片段生成文本描述。为了评估生成的音频字幕的质量，以前的作品直接采用图像描述的指标，如SPICE和CIDER，没有证明他们在这个新领域的适用性，这可能会误导先进模型的发展。由于缺乏对字幕质量的人类判断数据集，这个问题仍然没有得到研究。因此，我们首先构建了两个评估基准，AudioCaps-Eval和Clotho-Eval。它们是通过成对比较而不是绝对评级来建立的，以实现更好的注释者间一致性。目前的指标与这些数据集上的人类注释相关性很差。为了克服它们的局限性，我们提出了一个名为FENSE的度量标准，在该度量标准中，我们结合了Sentence-BERT在捕获相似性方面的强度，以及一种新的错误检测器来惩罚错误句子以提高鲁棒性。在新建立的基准测试中，FENSE的准确率超过当前指标14-25%。代码、数据和Web演示可在https://github.com/blmoistawinde/fense上获得
2022-01-27 cs.CL cs.SD eess.AS
Audio Caption: Listen and Tell
Shanghai Jiao Tong University（上海交通大学）
越来越多的研究揭示了机器感知音频事件，其中大部分涉及检测和分类任务。然而，对音频场景的类人感知不仅涉及对音频声音的检测和分类，还涉及总结不同音频事件之间的关系。类似的研究如图像字幕已经进行，但音频领域仍然相当贫瘠。本文介绍了一个人工标注的音频字幕数据集。其目的是自动生成自然语句的音频场景描述和弥合机器感知的音频和图像之间的差距。整个数据集以普通话标记，我们还包括翻译的英语注释。为英语和普通话提供了一个基线编码器-解码器模型。这两种语言的BLEU分数相似：我们的模型可以基于数据集生成可理解的和数据相关的字幕。
2019-05-31 cs.CL cs.SD eess.AS
Zero-shot audio captioning with audio-language model guidance and audio context keywords
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
提出ZerAuCap框架，利用预训练大语言模型和音频-语言模型引导，结合音频上下文关键词，实现零样本音频描述生成，在AudioCaps和Clotho数据集上取得最优结果。
2023-11-14 cs.AI cs.CL cs.SD
Is my automatic audio captioning system so bad? spider-max: a metric to consider several caption candidates
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
自动音频字幕（AAC）是一种旨在使用自然语言描述音频信号的任务。AAC系统将音频信号作为输入，并输出一个自由形式的文本句子，称为标题。评估这样的系统并不简单，因为有很多方法可以表达同样的想法。出于这个原因，几个互补的指标，如BLEU，CIDER，SPICE和SPIDER，用于比较一个自动字幕的一个或几个参考字幕，由人类注释器产生。然而，自动系统可以产生几个字幕候选者，或者在句子生成过程中使用一些随机性，或者例如通过在利用波束搜索的解码期间考虑各种竞争的假设字幕。如果我们考虑AAC系统的最终用户，呈现几个字幕而不是单个字幕似乎与提供某种多样性有关，类似于信息检索系统。在这项工作中，我们探讨了在评估过程中考虑几个预测字幕而不是一个的可能性。为此，我们提出了SPIDER-最大值，一个度量，需要最大的SPIDER值之间的分数的几个字幕候选人。为了支持我们的指标，我们报告了Clotho v2.1和AudioCaps的实验，以及基于转换的系统。例如，在AudioCaps上，该系统达到了接近SPIDER人类参考评分的SPIDER最大值（具有5个候选者）。
2022-11-14 cs.LG cs.SD eess.AS
Improving Audio Captioning Models with Fine-grained Audio Features, Text Embedding Supervision, and LLM Mix-up Augmentation
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室）
本研究通过BEATs提取细粒度音频特征并结合Instructor LLM文本嵌入监督，同时引入基于ChatGPT的字幕混合数据增强与混合重排序推理算法，在Clotho评估集上达到32.6 SPIDEr-FL分数，赢得2023 DCASE AAC挑战赛。
2024-01-10 cs.SD eess.AS
Zero-Shot Audio Captioning Using Soft and Hard Prompts
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Department of Electronic Systems, Aalborg University（奥尔堡大学电子系统系）；Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
本文针对传统音频描述生成依赖标注数据且跨域性能差的问题，提出基于CLAP的零样本方法，仅用文本训练，并通过软提示和硬提示缓解模态差异，在AudioCaps和Clotho上取得领先效果。
2024-06-10 cs.SD eess.AS
Aligning Audio Captions with Human Preferences
Qualcomm Technologies, Inc.（高通技术公司）
提出基于人类反馈强化学习的音频字幕生成框架，通过CLAP奖励模型微调基线系统，无需真实标注即可生成更符合人类偏好的字幕。
2026-06-24 cs.LG cs.SD eess.AS
Multi-task Regularization Based on Infrequent Classes for Audio Captioning
Tampere University（坦佩雷大学）
音频字幕是一个多模态的任务，重点是使用自然语言来描述一般音频的内容。大多数音频字幕方法基于深度神经网络，采用编码器-解码器方案和具有音频剪辑和对应的自然语言描述（即字幕）的数据集。音频字幕的一个重大挑战是字幕中单词的分布：有些单词非常频繁，但在声学上没有信息量，即功能词（例如“a”、“the”），而其他单词不常见，但信息量丰富，即内容词（例如形容词、名词）。在本文中，我们提出了两种方法来减轻这种类不平衡的问题。首先，在音频字幕的自动编码器设置中，我们将每个单词对训练损失的贡献与其在整个数据集中的出现次数成反比。其次，除了多类，单词级的音频字幕任务，我们定义了一个多标签侧任务的基础上剪辑级内容词检测训练一个单独的解码器。我们使用第二个任务的损失来正则化音频字幕任务的联合训练的编码器。我们使用Clotho，最近发表的，大规模的音频字幕数据集，我们的方法进行评估，我们的结果显示，增加了37%的相对改善与SPIDER度量的基线方法。
2020-07-09 cs.LG cs.MM cs.SD
Clotho: An Audio Captioning Dataset
Tampere University（坦佩雷大学）
音频字幕是使用自由文本描述一般音频内容的新任务。它是一种跨模态翻译任务（不是语音到文本），其中系统接受音频信号作为输入，并输出该信号的文本描述（即标题）。在本文中，我们提出了Clotho，音频字幕数据集，包括4981音频样本的15至30秒的持续时间和24 905字幕的8至20个单词的长度，和基线方法提供的初步结果。Clotho专注于音频内容和字幕多样性，数据的分割不会妨碍方法的训练或评估。所有声音都来自Freesound平台，字幕使用Amazon Mechanical Turk和来自英语国家的注释器众包。独特的词，命名实体和语音转录被删除后处理。Clotho可在网上免费获得（https：//zenodo.org/record/3490684）。
2019-10-21 cs.CL cs.LG cs.SD
Towards Generating Diverse Audio Captions via Adversarial Training
University of Surrey（萨里大学）；Centre for Vision, Speech, and Signal Processing（视觉、语音与信号处理中心）
本文针对现有音频描述模型输出确定性、简单且泛化的问题，提出基于条件生成对抗网络的对抗训练框架，通过生成器与两个混合判别器的联合学习提升描述多样性，在Clotho数据集上验证了其优于现有方法。
2024-06-28 cs.AI cs.MM cs.SD
Beyond the Status Quo: A Contemporary Survey of Advances and Challenges in Audio Captioning
本文综述了自动音频字幕生成（AAC）的进展与挑战，涵盖任务对比、深度学习技术、数据集和评估指标，并展望未来研究方向。
2023-11-16 cs.SD eess.AS
RECAP: Retrieval-Augmented Audio Captioning
University of Maryland, College Park（马里兰大学帕克分校）
RECAP 提出一种检索增强的音频字幕生成方法，利用 CLAP 检索相似字幕构建提示并借助 GPT-2 与交叉注意力生成字幕，无需微调即可跨域迁移，并在域外场景和新型音频事件上取得显著提升。
2024-06-06 cs.AI cs.CL cs.SD
Local Information Assisted Attention-free Decoder for Audio Captioning
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
自动音频字幕旨在使用自然语言来描述带有字幕的音频数据。现有方法通常采用编码器-解码器结构，其中基于注意力的解码器（例如，Transformer解码器）得到广泛应用，并实现了最先进的性能。虽然该方法通过自注意力机制有效地捕获音频数据内的全局信息，但是由于其在捕获音频信号中的局部信息方面的限制，其可能忽略具有短持续时间的事件，导致对字幕的不准确预测。为了解决这个问题，我们提出了一种方法，使用预训练的音频神经网络（PANN）作为编码器和本地信息辅助的注意力自由Transformer（LocalAFT）作为解码器。我们的方法的新颖性在于LocalAFT解码器的提议，其允许捕获音频信号内的局部信息，同时保留全局信息。这使得能够捕获不同持续时间（包括短持续时间）的事件以用于更精确的字幕生成。实验表明，我们的方法优于国家的最先进的方法在任务6的DCASE 2021挑战与标准的基于注意力的解码器的字幕生成。
2022-07-03 cs.LG cs.SD eess.AS
Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention
University of Surrey（萨里大学）；ByteDance（字节跳动）；Xi'an Jiaotong-Liverpool University（西交利物浦大学）；Southern University of Science and Technology（南方科技大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出视觉感知音频字幕生成方法，通过引入视觉编码器和自适应音视频注意力机制，在AudioCaps数据集上取得了最先进的机器翻译指标结果。
2023-05-29 cs.AI cs.MM cs.SD
Prefix tuning for automated audio captioning
POSTECH（浦项科技大学）；Yonsei University（延世大学）
针对音频字幕生成中训练数据缺乏导致的泛化难题，提出利用冻结的预训练语言模型，通过映射网络将音频特征转换为prefixes，在Clotho和AudioCaps数据集上优于现有方法。
2023-04-04 cs.MM cs.SD eess.AS
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University（南洋理工大学）
自动音频字幕（AAC）是一个跨模态的任务，它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征，因此对于跨模态解码任务是次优的。在这项工作中，我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说，CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外，我们还应用对比学习，通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明，所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明，预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
Learning Audio-Video Modalities from Image Captions
Google Research（谷歌研究院）
文本-视频和文本-音频检索的一个主要挑战是缺乏大规模的训练数据。这与图像字幕不同，其中数据集是数百万个样本的数量级。为了缩小这一差距，我们提出了一个新的视频挖掘管道，涉及到从图像描述数据集的字幕传输到视频剪辑，没有额外的手动工作。使用这个管道，我们创建了一个新的大规模，弱标记的音频-视频描述数据集，由数百万配对的剪辑和字幕组成。我们表明，在此数据上训练基于多模态转换的模型在视频检索和视频描述方面具有竞争力的性能，匹配甚至优于HowTo 100 M预训练，剪辑减少了20倍。我们还表明，我们挖掘的剪辑是适合文本音频预训练，并实现最先进的音频检索任务的结果。
2022-04-01 cs.CV cs.MM cs.SD
EmotionCaps: Enhancing Audio Captioning Through Emotion-Augmented Data Generation
New Jersey Institute of Technology（新泽西理工学院）
本研究提出EmotionCaps数据集，通过ChatGPT结合声景情感信息生成约12万条情感增强的音频字幕数据，实验证明该数据能提升字幕模型性能并匹配音频情感基调。
2024-10-15 cs.LG cs.SD eess.AS
Weakly-supervised Automated Audio Captioning via text only training
本文提出一种仅利用文本数据和预训练CLAP模型的弱监督自动音频描述生成方法，通过文本嵌入重建与音频嵌入解码并弥合模态差距，在Clotho和AudioCaps上达到全监督方法约83%的相对性能。
2023-09-21 cs.LG cs.SD eess.AS
Closing the Verification Loop: Self-Check Captioning for Long-Paragraph Detailed Audio Captioning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Kuaishou Technology（快手科技）
本研究针对长段落详细音频字幕的未解决问题，提出SCC框架，构建LACap-50k语料库与LC-SFT方法，使系统在开源字幕生成器中达最优性能。
2026-09-01 cs.SD
CoNeTTE: An efficient Audio Captioning system leveraging multiple datasets with Task Embedding
IRIT（图卢兹信息学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立理工学院）；UT3（图卢兹第三大学）
本文提出CoNeTTE音频描述模型，采用ConvNeXt编码器与任务嵌入结合多数据集训练，在AudioCaps和Clotho上分别取得44.1%和30.5%的SPIDEr分数，参数效率高且能缓解跨数据集性能差距。
2023-09-01 cs.SD eess.AS
A Transformer-based Audio Captioning Model with Keyword Estimation
NTT Corporation（日本电报电话公司）
自动音频字幕（AAC）的问题之一是对应于音频事件/场景的词选择的不确定性。由于一个声学事件/场景可以用几个词来描述，因此它导致可能的字幕的组合爆炸和训练的困难。为了解决这个问题，我们提出了一个基于transformer的音频字幕模型与关键字估计称为TRACKE。它在执行声学事件检测/声学场景分类的子任务（即，关键字估计）。TRACKE估计关键词，其包括与输入音频中的音频事件/场景相对应的词集合，并且在参考估计的关键词的同时生成字幕以减少词选择的不确定性。在公共AAC数据集上的实验结果表明，TRACKE实现了最先进的性能，并成功地估计了标题及其关键字。
2020-08-08 cs.LG cs.SD eess.AS
SonicCaps: Large-Scale Diverse and Fine-Grained Captioning for Improved Audio-Retrieval
Sony CTC（索尼CTC）；LTCI, Telecom Paris, Institut polytechnique de Paris（巴黎综合理工学院电信学院LTCI）
该研究提出大规模音频字幕数据集SonicCaps，通过多模态大语言模型Qwen3-Omni生成约1500万条字幕，采用多字幕采样策略训练CLAP模型，提升了音频检索等任务的性能与泛化能力。
2026-09-03 cs.CL cs.MM cs.SD
FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出两阶段多模态融合流程，构建含120万条细粒度描述和600万问答对的FusionAudio数据集，并据此训练出对齐与指令跟随能力更强的CLAP音频编码器。
2025-06-01 cs.AI cs.SD eess.AS
Efficient Audio Captioning Transformer with Patchout and Text Guidance
Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；National Technical University of Athens（雅典国立技术大学）
提出一种利用Patchout和文本引导的高效音频字幕Transformer架构，通过迁移学习、扩充数据集和Mixup增强缓解数据稀缺，在降低计算复杂度的同时提升性能并获DCASE 2022评委奖。
2023-04-06 cs.LG cs.SD eess.AS
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University（卡内基梅隆大学）
本项目参与DCASE 2022任务6，针对自动音频字幕生成与基于语言的音频检索两个子任务，基于Clotho数据集改进基线模型，最终音频检索模型超越基线，字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
Zero-Shot Audio Captioning via Audibility Guidance
Tel Aviv University（特拉维夫大学）
本文提出一种零样本音频字幕生成方法，通过结合GPT-2、ImageBind和文本分类器，在AudioCap数据集上验证了可听性引导能显著提升性能。
2023-09-07 cs.CL cs.SD eess.AS
