Temporal Sub-sampling of Audio Feature Sequences for Automated Audio Captioning
Tampere University（坦佩雷大学）；D Media Group, Tampere University（坦佩雷大学3D媒体组）；Audio Research Group, Tampere University（坦佩雷大学音频研究组）
音频字幕是自动为一般音频信号的内容创建文本描述的任务。典型的音频字幕方法依赖于深度神经网络（DNN），其中DNN的目标是将输入音频序列映射到输出单词序列，即字幕。然而，文本描述的长度显著小于音频信号的长度，例如10个单词相对于数千个音频特征向量。这清楚地表明，一个输出单词对应于多个输入特征向量。在这项工作中，我们提出了一种方法，专注于明确利用序列之间的长度差异，通过应用时间子采样的音频输入序列。我们采用序列到序列的方法，该方法使用固定长度的向量作为编码器的输出，并且我们在编码器的RNN之间应用时间子采样。我们通过使用免费提供的数据集Clotho来评估我们的方法的好处，并评估时间子采样的不同因素的影响。我们的研究结果表明，所有考虑的指标的改善。
2020-07-06 cs.LG cs.SD eess.AS
Multi-task Regularization Based on Infrequent Classes for Audio Captioning
Tampere University（坦佩雷大学）
音频字幕是一个多模态的任务，重点是使用自然语言来描述一般音频的内容。大多数音频字幕方法基于深度神经网络，采用编码器-解码器方案和具有音频剪辑和对应的自然语言描述（即字幕）的数据集。音频字幕的一个重大挑战是字幕中单词的分布：有些单词非常频繁，但在声学上没有信息量，即功能词（例如“a”、“the”），而其他单词不常见，但信息量丰富，即内容词（例如形容词、名词）。在本文中，我们提出了两种方法来减轻这种类不平衡的问题。首先，在音频字幕的自动编码器设置中，我们将每个单词对训练损失的贡献与其在整个数据集中的出现次数成反比。其次，除了多类，单词级的音频字幕任务，我们定义了一个多标签侧任务的基础上剪辑级内容词检测训练一个单独的解码器。我们使用第二个任务的损失来正则化音频字幕任务的联合训练的编码器。我们使用Clotho，最近发表的，大规模的音频字幕数据集，我们的方法进行评估，我们的结果显示，增加了37%的相对改善与SPIDER度量的基线方法。
2020-07-09 cs.LG cs.MM cs.SD
ACES: Evaluating Automated Audio Captioning Models on the Semantics of Sounds
Maastricht University（马斯特里赫特大学）；Université Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
本文提出ACES评估指标，从人类听觉语义解析角度结合语义相似度与实体标注评估自动音频字幕，并在Clotho-Eval FENSE基准上优于同类指标。
2024-03-27 cs.SD eess.AS
EmotionCaps: Enhancing Audio Captioning Through Emotion-Augmented Data Generation
New Jersey Institute of Technology（新泽西理工学院）
本研究提出EmotionCaps数据集，通过ChatGPT结合声景情感信息生成约12万条情感增强的音频字幕数据，实验证明该数据能提升字幕模型性能并匹配音频情感基调。
2024-10-15 cs.LG cs.SD eess.AS
AVCap: Leveraging Audio-Visual Features as Text Tokens for Captioning
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出视听字幕生成框架AVCap，将视听特征作为文本标记，围绕编码器架构、预训练模型适配、模态融合效能三个维度设计，在所有指标上超越现有方法，兼具性能与扩展性优势。
2024-07-11 cs.CL cs.LG cs.SD
CLAP-ART: Automated Audio Captioning with Semantic-rich Audio Representation Tokenizer
NTT Corporation（日本NTT公司）
本文提出CLAP-ART方法，通过向量量化从预训练音频表示中提取语义丰富的离散token，替代EnCodec的波形重建token，实验证明其在两个AAC基准上优于EnCLAP。
2025-06-01 cs.LG cs.SD eess.AS
Synth-AC: Enhancing Audio Captioning with Synthetic Supervision
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出SynthAC框架，利用AudioLDM文本到音频生成模型和图像描述文本语料库创建合成文本-音频对，将文本-视觉领域的标注数据扩展到音频描述生成，缓解数据稀缺问题并显著提升现有音频描述生成模型的性能。
2023-09-18 cs.SD eess.AS
Audio Difference Captioning Utilizing Similarity-Discrepancy Disentanglement
NTT Corporation（NTT公司）
本研究提出音频差异字幕生成新任务ADC，设计聚焦交叉注意力的Transformer编码器与相似性-差异性解耦方法，构建AudioDiffCaps数据集，实验验证方法可有效提取音频差异并完成字幕生成。
2023-08-23 cs.CL cs.LG cs.SD
Efficient Audio Captioning Transformer with Patchout and Text Guidance
Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；National Technical University of Athens（雅典国立技术大学）
提出一种利用Patchout和文本引导的高效音频字幕Transformer架构，通过迁移学习、扩充数据集和Mixup增强缓解数据稀缺，在降低计算复杂度的同时提升性能并获DCASE 2022评委奖。
2023-04-06 cs.LG cs.SD eess.AS
Weakly-supervised Automated Audio Captioning via text only training
本文提出一种仅利用文本数据和预训练CLAP模型的弱监督自动音频描述生成方法，通过文本嵌入重建与音频嵌入解码并弥合模态差距，在Clotho和AudioCaps上达到全监督方法约83%的相对性能。
2023-09-21 cs.LG cs.SD eess.AS
Clotho: An Audio Captioning Dataset
Tampere University（坦佩雷大学）
音频字幕是使用自由文本描述一般音频内容的新任务。它是一种跨模态翻译任务（不是语音到文本），其中系统接受音频信号作为输入，并输出该信号的文本描述（即标题）。在本文中，我们提出了Clotho，音频字幕数据集，包括4981音频样本的15至30秒的持续时间和24 905字幕的8至20个单词的长度，和基线方法提供的初步结果。Clotho专注于音频内容和字幕多样性，数据的分割不会妨碍方法的训练或评估。所有声音都来自Freesound平台，字幕使用Amazon Mechanical Turk和来自英语国家的注释器众包。独特的词，命名实体和语音转录被删除后处理。Clotho可在网上免费获得（https：//zenodo.org/record/3490684）。
2019-10-21 cs.CL cs.LG cs.SD
The NTT DCASE2020 Challenge Task 6 system: Automated Audio Captioning with Keywords and Sentence Length Estimation
NTT Corporation（日本电报电话公司）
本技术报告描述了参与声学场景和事件（DCASE）2020挑战赛任务6：自动音频字幕的系统。我们的意见书主要是解决两个不确定性问题的自动音频字幕：词选择的不确定性和句子长度的不确定性。通过多任务学习估计关键词和句子长度，同时解决了主标题生成和子不确定性问题。我们使用开发测试数据集测试了我们提交的简化模型。我们的模型实现了20.7 SPIDER评分，而基线系统的评分为5.4。
2020-07-01 cs.LG cs.SD eess.AS
WaveTransformer: A Novel Architecture for Audio Captioning Based on Learning Temporal and Time-Frequency Information
Tampere University（坦佩雷大学）
自动音频字幕（AAC）是一种新颖的任务，其中方法将音频样本作为输入并输出其内容的文本描述（即字幕）。大多数AAC方法都是从机器翻译领域的图像描述改编而来的。在这项工作中，我们提出了一种新的AAC新方法，明确专注于开发的时间和时间-频率模式的音频。我们采用三个可学习的过程进行音频编码，两个用于提取本地和时间信息，一个用于合并前两个过程的输出。为了生成字幕，我们采用了广泛使用的Transformer解码器。我们利用Clotho数据集的免费分裂来评估我们的方法。我们的研究结果将先前报道的最高SPIDER从16.2增加到17.3。
2020-10-21 cs.LG cs.MM cs.SD
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Diverse Audio Captioning via Adversarial Training
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））
音频字幕的目的是自动生成自然语言描述的音频片段。近年来，现有的音频字幕模型已经显示出有希望的改进。然而，这些模型大多通过最大似然估计（MLE）进行训练，这往往使字幕通用，简单和确定性。由于不同的人可以从不同的方面使用不同的单词和语法来描述音频片段，我们认为，音频字幕系统应该有能力为固定的音频片段和跨类似的音频片段生成不同的字幕。为了解决这个问题，我们提出了一个基于条件生成对抗网络（C-GAN）的音频字幕对抗训练框架，旨在提高生成字幕的自然性和多样性。与经典GAN中处理连续值的数据不同，句子由离散标记组成，并且离散采样过程是不可微的。为了解决这个问题，策略梯度，一种强化学习技术，用于将奖励反向传播到生成器。结果表明，我们提出的模型可以生成更多样化的字幕，相比国家的最先进的方法。
2022-03-29 cs.SD eess.AS
Investigations in Audio Captioning: Addressing Vocabulary Imbalance and Evaluating Suitability of Language-Centric Performance Metrics
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research Labs（微软研究实验室）
针对自动音频字幕生成面临的数据稀缺、词汇不平衡、评估指标不适配三大挑战，提出两种数据与词汇增强方法，验证领域内预训练的必要性，并指出五种图像字幕指标在音频领域的局限。
2023-05-03 cs.SD eess.AS
Local Information Assisted Attention-free Decoder for Audio Captioning
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
自动音频字幕旨在使用自然语言来描述带有字幕的音频数据。现有方法通常采用编码器-解码器结构，其中基于注意力的解码器（例如，Transformer解码器）得到广泛应用，并实现了最先进的性能。虽然该方法通过自注意力机制有效地捕获音频数据内的全局信息，但是由于其在捕获音频信号中的局部信息方面的限制，其可能忽略具有短持续时间的事件，导致对字幕的不准确预测。为了解决这个问题，我们提出了一种方法，使用预训练的音频神经网络（PANN）作为编码器和本地信息辅助的注意力自由Transformer（LocalAFT）作为解码器。我们的方法的新颖性在于LocalAFT解码器的提议，其允许捕获音频信号内的局部信息，同时保留全局信息。这使得能够捕获不同持续时间（包括短持续时间）的事件以用于更精确的字幕生成。实验表明，我们的方法优于国家的最先进的方法在任务6的DCASE 2021挑战与标准的基于注意力的解码器的字幕生成。
2022-07-03 cs.LG cs.SD eess.AS
Automated Audio Captioning using Audio Event Clues
音频字幕是一个重要的研究领域，旨在为音频片段生成有意义的描述。现有的大多数研究提取音频片段的声学特征作为编码器-解码器和Transformer架构的输入，以序列到序列的方式产生字幕。由于数据不足和架构的学习能力不足，需要额外的信息来生成自然语言句子以及声学特征。为了解决这些问题，提出了一种编码器-解码器架构，该架构从声学特征和提取的音频事件标签两者作为输入来学习。该模型基于预训练的声学特征和音频事件检测。各种实验使用不同的声学特征，词嵌入模型，音频事件标签提取方法和实现配置，以显示哪些组合在音频字幕任务上具有更好的性能。在多个数据集上进行的大量实验结果表明，使用具有声学特征的音频事件标签提高了识别性能，并且所提出的方法优于最先进的模型或取得了与最先进的模型竞争的结果。
2022-04-18 cs.SD eess.AS
Leveraging Pre-trained BERT for Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡提普·切莱比大学）
音频字幕旨在使用自然语言来描述音频片段的内容。现有的音频字幕系统通常基于编码器-解码器架构，其中声学信息由音频编码器提取，然后语言解码器用于生成字幕。训练一个音频字幕系统经常会遇到数据稀缺的问题。从预训练的音频模型（如预训练的音频神经网络（PANN））中传输知识最近已经成为缓解这个问题的有用方法。然而，与编码器相比，对解码器利用预先训练的语言模型的关注较少。BERT是一种预先训练的语言模型，已广泛用于自然语言处理（NLP）任务。然而，BERT作为音频字幕的语言解码器的潜力还没有被研究。在这项研究中，我们证明了预训练的BERT模型的音频字幕的有效性。具体来说，我们应用PANN作为编码器，并从公共预训练的BERT模型初始化解码器。我们进行了实证研究，使用这些BERT模型的解码器中的音频字幕模型。我们的模型与AudioCaps数据集上现有的音频字幕方法相比，取得了有竞争力的结果。
2022-03-27 cs.AI cs.SD eess.AS
Discrete Audio Representations for Automated Audio Captioning
RoyalFlush AI Research Institute（皇家Flush人工智能研究院）；Nankai University（南开大学）；College of Computer Science（计算机科学学院）
该研究针对离散音频令牌在自动音频字幕生成中应用不足、无监督令牌化导致性能下降的问题，提出有监督音频令牌器，经Clotho数据集验证其性能优于传统音频令牌。
2025-05-21 cs.SD eess.AS
MACE: Leveraging Audio for Evaluating Audio Captioning Systems
Carnegie Mellon University（卡内基梅隆大学）
提出MACE指标，结合音频信号与参考描述评估音频描述系统，在AudioCaps-Eval和Clotho-Eval上较FENSE分别提升3.28%和4.36%相对准确率。
2024-11-05 cs.SD eess.AS
Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval
NTT Corporation（日本电报电话公司）
音频字幕的目标是将输入的音频转换为使用自然语言的描述。音频字幕的问题之一是缺乏训练数据，这是由于难以通过爬行网络来收集音频字幕对。在这项研究中，为了克服这个问题，我们建议使用预先训练的大规模语言模型。由于音频输入不能直接输入到这样的语言模型中，因此我们利用基于可能存在于不同音频中的相似性从训练数据集检索的指导字幕。然后，在参考引导字幕的同时，通过使用预先训练的语言模型来生成音频输入的字幕。实验结果表明，（i）所提出的方法已经成功地使用预先训练的语言模型的音频字幕，和（ii）的预言性能的预先训练的基于模型的字幕生成器是明显优于传统的方法从头开始训练。
2020-12-14 cs.CL cs.SD eess.AS
Continual Learning for Automated Audio Captioning Using The Learning Without Forgetting Approach
Tampere University（坦佩雷大学）
自动音频字幕（AAC）是自动为一般音频信号的内容创建文本描述（即字幕）的任务。大多数AAC方法都使用现有的数据集来优化和/或评估。鉴于AAC数据集所包含的信息有限，AAC方法很可能只学习所使用的数据集中包含的信息。在本文中，我们提出了第一种方法，不断适应AAC方法的新信息，使用持续学习方法。在我们的场景中，预优化的AAC方法用于一些看不见的一般音频信号，并且可以更新其参数以适应新的信息，给定新的参考标题。我们使用一个免费提供的，预优化的AAC方法和两个免费提供的AAC数据集来评估我们的方法。我们将我们提出的方法与三种情况进行比较，其中两种情况是在一个数据集上进行训练并在另一个数据集上进行评估，第三种情况是在一个数据集上进行训练并在另一个数据集上进行微调。实验结果表明，该方法在提取新知识和不遗忘前一个知识之间取得了很好的平衡。
2021-07-16 cs.LG cs.SD eess.AS
Training Audio Captioning Models without Audio
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出仅使用文本训练自动音频字幕生成系统的方法，利用CLAP多模态空间并结合噪声注入或可学习适配器弥合模态鸿沟，性能媲美配对音频训练的先进模型。
2023-09-14 cs.SD eess.AS
Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention
University of Surrey（萨里大学）；ByteDance（字节跳动）；Xi'an Jiaotong-Liverpool University（西交利物浦大学）；Southern University of Science and Technology（南方科技大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出视觉感知音频字幕生成方法，通过引入视觉编码器和自适应音视频注意力机制，在AudioCaps数据集上取得了最先进的机器翻译指标结果。
2023-05-29 cs.AI cs.MM cs.SD
Impact of visual assistance for automated audio captioning
KU Leuven（鲁汶大学）
我们研究的视觉辅助自动音频字幕的影响。利用多编码器Transformer架构，这是以前被用来引入视觉相关的信息，在声音事件检测的背景下，我们分析的有用性，将各种预训练的功能。我们在基于YouTube的视听数据集上进行实验，并研究了在各种字幕度量方面应用所考虑的迁移学习技术的效果。我们发现，只有一种被考虑的预训练特征提供了一致的改进，而其他特征根本没有提供任何值得注意的收益。有趣的是，先前的研究结果表明，在声音事件检测的情况下，情况正好相反，这使我们得出结论，视觉嵌入的最佳选择在很大程度上取决于手头的任务。更具体地说，视觉功能侧重于语义出现适当的自动音频字幕的上下文中，而声音事件检测，时间信息似乎更重要。
2023-02-20 cs.SD eess.AS
Semantic-Aware Confidence Calibration for Automated Audio Captioning
Khoury College of Computer Science（科里学院计算机科学学院）；Northeastern University（东北大学）
本研究提出语义感知的置信度校准方法，通过整合置信度预测和语义相似性，提升音频字幕生成的可靠性与准确性。
2025-12-11 cs.LG cs.SD
Investigating Local and Global Information for Automated Audio Captioning with Transfer Learning
Shanghai Jiao Tong University（上海交通大学）
自动音频字幕（AAC）旨在为音频片段生成摘要描述。在音频字幕中描述了许多概念，从诸如声音事件的局部信息到诸如声学场景的全局信息。目前，AAC的主流范例是端到端的编码器-解码器架构，期望编码器自动学习嵌入在音频中的所有级别的概念。本文首先提出了一个音频描述的主题模型，全面分析了层次音频主题，通常覆盖。然后，我们探讨了一个迁移学习计划，以访问本地和全球的信息。两个源任务被识别为分别表示局部和全局信息，即音频标记（AT）和声学场景分类（ASC）。在AAC基准数据集Clotho和Audiocaps上进行了实验，通过主题迁移学习，所有八个指标都有了大幅增加。此外，它被发现，局部信息和抽象表示学习是更重要的AAC比全局信息和时间关系学习。
2021-02-23 cs.SD eess.AS
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University（卡内基梅隆大学）
本项目参与DCASE 2022任务6，针对自动音频字幕生成与基于语言的音频检索两个子任务，基于Clotho数据集改进基线模型，最终音频检索模型超越基线，字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
Prefix tuning for automated audio captioning
POSTECH（浦项科技大学）；Yonsei University（延世大学）
针对音频字幕生成中训练数据缺乏导致的泛化难题，提出利用冻结的预训练语言模型，通过映射网络将音频特征转换为prefixes，在Clotho和AudioCaps数据集上优于现有方法。
2023-04-04 cs.MM cs.SD eess.AS
Graph Attention for Automated Audio Captioning
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出一种用于自动音频字幕生成的图注意力方法，通过在PANNs编码器后引入图注意力模块学习音频特征的长时上下文关联，有效提升了字幕生成性能。
2023-04-10 cs.SD eess.AS
Is my automatic audio captioning system so bad? spider-max: a metric to consider several caption candidates
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
自动音频字幕（AAC）是一种旨在使用自然语言描述音频信号的任务。AAC系统将音频信号作为输入，并输出一个自由形式的文本句子，称为标题。评估这样的系统并不简单，因为有很多方法可以表达同样的想法。出于这个原因，几个互补的指标，如BLEU，CIDER，SPICE和SPIDER，用于比较一个自动字幕的一个或几个参考字幕，由人类注释器产生。然而，自动系统可以产生几个字幕候选者，或者在句子生成过程中使用一些随机性，或者例如通过在利用波束搜索的解码期间考虑各种竞争的假设字幕。如果我们考虑AAC系统的最终用户，呈现几个字幕而不是单个字幕似乎与提供某种多样性有关，类似于信息检索系统。在这项工作中，我们探讨了在评估过程中考虑几个预测字幕而不是一个的可能性。为此，我们提出了SPIDER-最大值，一个度量，需要最大的SPIDER值之间的分数的几个字幕候选人。为了支持我们的指标，我们报告了Clotho v2.1和AudioCaps的实验，以及基于转换的系统。例如，在AudioCaps上，该系统达到了接近SPIDER人类参考评分的SPIDER最大值（具有5个候选者）。
2022-11-14 cs.LG cs.SD eess.AS
Caption Feature Space Regularization for Audio Captioning
Beijing University of Posts and Telecommunications（北京邮电大学）；Ludong University（鲁东大学）
音频字幕旨在用人类语言描述音频剪辑的内容。由于音频的模糊性，不同的人可能不同地感知到相同的音频，从而导致字幕差异（即，一个音频可以与具有不同语义的几个字幕相关）。为此，一般音频字幕模型通过随机选择相关字幕作为每个音频的真实背景来实现一对多训练。但是，这会导致优化方向的显著变化，削弱了模型的稳定性。为了消除这种负面影响，本文提出了一种两阶段的音频字幕框架：（i）在第一阶段，通过对比学习，我们构造一个代理特征空间来减小与同一音频相关的字幕之间的距离，以及（ii）在第二阶段，代理特征空间被用作附加的监督，以促使模型在有益于所有相关字幕的方向上被优化。我们使用四种常用的编码器和解码器架构在两个数据集上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。该代码可在https://github.com/PRIS-CV/Caption-Feature-Space-Regularization上获得。
2022-04-18 cs.CL cs.SD eess.AS
Effects of Word-frequency based Pre- and Post- Processings for Audio Captioning
NTT Corporation（NTT公司）
我们用于声学场景和事件检测和分类（DCASE）2020挑战赛的任务6（自动音频字幕）的系统结合了三个元素，即数据增强，多任务学习和后处理，用于音频字幕。该系统得到了最高的评价分数，但尚未澄清哪些个别因素对其绩效的贡献最大。在这里，为了评估它们的贡献，我们首先对我们的系统进行了元素消融研究，以估计每个元素的有效程度。然后，我们进行了详细的模块化消融研究，以进一步阐明提高精度的关键处理模块。结果表明，数据扩充和后处理显著提高了系统的评分.特别是后处理中的混合数据增强和波束搜索分别使SPIDER提高了0.8和1.6个点。
2020-09-24 cs.CL cs.LG cs.SD
Zero-Shot Audio Captioning via Audibility Guidance
Tel Aviv University（特拉维夫大学）
本文提出一种零样本音频字幕生成方法，通过结合GPT-2、ImageBind和文本分类器，在AudioCap数据集上验证了可听性引导能显著提升性能。
2023-09-07 cs.CL cs.SD eess.AS
Automated Audio Captioning via Fusion of Low- and High- Dimensional Features
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）；Qingdao University（青岛大学）
自动音频字幕（AAC）旨在使用简单的句子描述音频剪辑的内容。现有的AAC方法是基于编码器-解码器架构开发的，其成功归功于使用预先训练的CNN 10（称为PANN）作为编码器来学习丰富的音频表示。AAC是一个极具挑战性的任务，因为它的高维人才空间涉及各种场景的音频。现有的方法仅使用PANN的高维表示作为解码器的输入。然而，低维表示可以保留与可以忽略的高维表示一样多的音频信息。此外，虽然高维方法可以通过从现有的音频字幕学习来预测音频字幕，但其缺乏鲁棒性和效率。为了应对这些挑战，提出了一种融合模型，它集成了低维和高维特征AAC框架。在本文中，提出了一种新的编码器-解码器框架，称为低维和高维特征融合（LHDFF）模型的AAC。此外，在LHDFF中，提出了一种新的PANNs编码器，称为残留PANNs（RPANNs），通过融合PANNs的中间卷积层输出的低维特征和最终层输出的高维特征。为了充分挖掘低维、高维融合特征和高维特征的信息，提出了双Transformer解码器结构，并行生成字幕。特别是，概率融合的方法，可以确保系统的整体性能得到提高，通过集中在两个Transformer解码器的各自优势。实验结果表明，LHDFF在Clotho和AudioCaps数据集上取得了最佳的性能
2022-10-10 cs.LG cs.SD eess.AS
An Encoder-Decoder Based Audio Captioning System With Transfer and Reinforcement Learning
Wake Forest University（维克森林大学）；University of Montreal（蒙特利尔大学）
自动音频字幕的目的是使用自然语言来描述音频数据的内容。本文提出了一个音频字幕系统的编码器-解码器的架构，其中解码器预测的基础上提取的编码器的音频特征的单词。为了改进所提出的系统，引入了来自上游音频相关任务或大型域内数据集的迁移学习，以减轻由数据稀缺引起的问题。此外，评估指标被纳入到模型的优化与强化学习，这有助于解决的“曝光偏差”的“教师强迫”的培训策略和评估指标之间的不匹配的问题。最终的系统在DCASE 2021任务6中排名第三。进行烧蚀研究，以调查有多少在拟议的系统中的每个元素可以有助于最终的性能。结果表明，所提出的技术显着提高了评价指标的分数，然而，强化学习可能会对生成的字幕的质量产生不利影响。
2021-08-05 cs.SD eess.AS
Audio Difference Learning for Audio Captioning
LINE Corporation（LINE公司）；Nagoya University（名古屋大学）
本研究提出音频差异学习训练范式，通过共享编码器提取输入与参考音频的差异特征生成字幕，并采用音频混合技术免除了差异标注需求，在 Clotho 和 ESC50 数据集上使 SPIDEr 分数提升 7%。
2023-09-15 cs.CL cs.LG cs.SD
Dual Transformer Decoder based Features Fusion Network for Automated Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出 LHDFF 模型，通过残差 PANNs 编码器融合低维与高维音频特征，并采用双 Transformer 解码器并行生成描述，实验表明其性能优于现有音频描述模型。
2023-05-30 cs.SD eess.AS
An Eye for an Ear: Zero-shot Audio Description Leveraging an Image Captioner using Audiovisual Distribution Alignment
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎综合理工学院）
针对音视频模态鸿沟阻碍音频字幕生成的问题，提出通过对齐音频与图像token分布的方法，在不改动原有图像字幕组件的情况下实现无监督零样本音频描述，性能显著优于现有方法。
2024-10-08 cs.CV cs.LG cs.SD
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University（南洋理工大学）
在本文中，我们研究了使用预训练音频神经网络（PANNs）的迁移学习的使用，并提出了一种架构，能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标，重建潜在空间相似正则化（RLSSR）。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
LAVCap: LLM-based Audio-Visual Captioning using Optimal Transport
KAIST（韩国科学技术院）；University of Waterloo（滑铁卢大学）
本文提出基于 LLM 的音视频描述框架 LAVCap，通过最优传输对齐损失与注意力模块增强跨模态融合，在 AudioCaps 上超越现有最先进方法。
2025-03-15 cs.AI cs.MM cs.SD
Improving the Performance of Automated Audio Captioning via Integrating the Acoustic and Semantic Information
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
自动音频字幕（AAC）近年来发展迅速，它涉及到声学信号处理和自然语言处理，为音频片段生成人类可读的句子。目前的模型通常基于神经编码器-解码器架构，并且它们的解码器主要使用从基于CNN的编码器提取的声学信息。然而，他们忽略了可以帮助AAC模型生成有意义的描述的语义信息。本文提出了一种新的方法，自动音频字幕的基础上结合语义和声学信息。具体来说，我们的音频字幕模型包括两个子模块。(1)预训练的关键字编码器利用预训练的ResNet 38初始化其参数，然后将提取的关键字作为标签进行训练。(2)多模态注意解码器采用基于LSTM的解码器，其包含语义和声学注意模块。实验表明，我们提出的模型在Clotho数据集上实现了最先进的性能。我们的代码可以在https://github.com/WangHelin1997/DCASE2021_Task6_PKU上找到
2021-10-12 cs.MM cs.SD eess.AS
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University（南洋理工大学）
自动音频字幕（AAC）是一个跨模态的任务，它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征，因此对于跨模态解码任务是次优的。在这项工作中，我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说，CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外，我们还应用对比学习，通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明，所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明，预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence（人工智能交叉学科项目）；Department of Intelligence and Information（智能与信息系）
针对音频字幕检索仅用单模态音频查询的局限，提出生成辅助多模态查询与渐进式交错音频-文本对学习策略，在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
Beyond the Status Quo: A Contemporary Survey of Advances and Challenges in Audio Captioning
本文综述了自动音频字幕生成（AAC）的进展与挑战，涵盖任务对比、深度学习技术、数据集和评估指标，并展望未来研究方向。
2023-11-16 cs.SD eess.AS
Aligning Audio Captions with Human Preferences
Qualcomm Technologies, Inc.（高通技术公司）
提出基于人类反馈强化学习的音频字幕生成框架，通过CLAP奖励模型微调基线系统，无需真实标注即可生成更符合人类偏好的字幕。
2026-06-24 cs.LG cs.SD eess.AS
EnCLAP++: Analyzing the EnCLAP Framework for Optimizing Automated Audio Captioning Performance
Seoul National University（首尔大学）；MAUM AI Inc.（MAUM AI公司）；Soongsil University（崇实大学）
本文通过分析并优化最先进的自动音频描述框架 EnCLAP，从声学编码器、预训练数据规模和重排序方案三方面改进，提出性能显著提升的 EnCLAP++。
2024-09-02 cs.AI cs.SD eess.AS
Multilingual Audio Captioning using machine translated data
本研究使用机器翻译将AudioCaps和Clotho数据集译为法、德、西语，训练单语及多语言音频字幕生成系统，发现直接在目标语言训练优于翻译英语输出，且多语言模型性能相当但参数更少。
2023-09-14 cs.SD eess.AS
CL4AC: A Contrastive Loss for Audio Captioning
University of Surrey（萨里大学）；Southern University of Science and Technology（南方科技大学）
自动音频字幕（AAC）是一种跨模态翻译任务，旨在使用自然语言来描述音频片段的内容。正如DCASE 2021挑战的任务6所收到的意见书中所示，这个问题在社区中引起了越来越多的兴趣。现有的AAC系统通常基于编解码器架构，其中音频信号被编码成潜在表示，并与其对应的文本描述对齐，然后解码器用于生成字幕。然而，AAC系统的训练经常遇到数据稀缺的问题，这可能导致不准确的表示和音频文本对齐。为了解决这个问题，我们提出了一种新的编码器-解码器框架，称为音频字幕的对比损失（CL 4AC）。在CL 4AC中，来自原始音频-文本配对数据的自监督信号被用于通过对比样本来利用音频和文本之间的对应关系，这可以在有限的数据训练的情况下提高潜在表示的质量和音频与文本之间的对齐。在Clotho数据集上进行的实验表明了该方法的有效性。
2021-11-22 cs.AI cs.SD eess.AS
Automated Audio Captioning: An Overview of Recent Progress and New Challenges
University of Surrey（萨里大学）
自动音频字幕是一种跨模态翻译任务，旨在为给定的音频片段生成自然语言描述。近年来，随着免费数据集的发布，这项任务越来越受到关注。这个问题主要通过深度学习技术来解决。人们已经提出了许多方法，如研究不同的神经网络结构，利用辅助信息，如关键字或句子信息来指导字幕生成，并采用不同的训练策略，这极大地促进了这一领域的发展。在本文中，我们提出了一个全面的审查已发表的贡献，在自动音频字幕，从各种现有的方法来评估指标和数据集。我们还讨论了开放的挑战，并设想未来可能的研究方向。
2022-09-27 cs.AI cs.MM cs.SD
Closing the Verification Loop: Self-Check Captioning for Long-Paragraph Detailed Audio Captioning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Kuaishou Technology（快手科技）
本研究针对长段落详细音频字幕的未解决问题，提出SCC框架，构建LACap-50k语料库与LC-SFT方法，使系统在开源字幕生成器中达最优性能。
2026-09-01 cs.SD
Zero-Shot Audio Captioning Using Soft and Hard Prompts
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Department of Electronic Systems, Aalborg University（奥尔堡大学电子系统系）；Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
本文针对传统音频描述生成依赖标注数据且跨域性能差的问题，提出基于CLAP的零样本方法，仅用文本训练，并通过软提示和硬提示缓解模态差异，在AudioCaps和Clotho上取得领先效果。
2024-06-10 cs.SD eess.AS
Expanding on EnCLAP with Auxiliary Retrieval Model for Automated Audio Captioning
MAUM AI Inc.（MAUM AI公司）；Soongsil University（崇实大学）
本文基于 EnCLAP 框架优化 DCASE2024 音频描述任务，并引入重排序与辅助检索模型，在任务6和任务8上分别取得 0.542 FENSE 和 0.386 mAP@10，显著超越基线。
2024-09-02 cs.AI cs.SD eess.AS
