Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention
University of Surrey（萨里大学）；ByteDance（字节跳动）；Xi'an Jiaotong-Liverpool University（西交利物浦大学）；Southern University of Science and Technology（南方科技大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出视觉感知音频字幕生成方法，通过引入视觉编码器和自适应音视频注意力机制，在AudioCaps数据集上取得了最先进的机器翻译指标结果。
2023-05-29 cs.AI cs.MM cs.SD
ACES: Evaluating Automated Audio Captioning Models on the Semantics of Sounds
Maastricht University（马斯特里赫特大学）；Université Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
本文提出ACES评估指标，从人类听觉语义解析角度结合语义相似度与实体标注评估自动音频字幕，并在Clotho-Eval FENSE基准上优于同类指标。
2024-03-27 cs.SD eess.AS
Synth-AC: Enhancing Audio Captioning with Synthetic Supervision
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出SynthAC框架，利用AudioLDM文本到音频生成模型和图像描述文本语料库创建合成文本-音频对，将文本-视觉领域的标注数据扩展到音频描述生成，缓解数据稀缺问题并显著提升现有音频描述生成模型的性能。
2023-09-18 cs.SD eess.AS
LAVCap: LLM-based Audio-Visual Captioning using Optimal Transport
KAIST（韩国科学技术院）；University of Waterloo（滑铁卢大学）
本文提出基于 LLM 的音视频描述框架 LAVCap，通过最优传输对齐损失与注意力模块增强跨模态融合，在 AudioCaps 上超越现有最先进方法。
2025-03-15 cs.AI cs.MM cs.SD
FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出两阶段多模态融合流程，构建含120万条细粒度描述和600万问答对的FusionAudio数据集，并据此训练出对齐与指令跟随能力更强的CLAP音频编码器。
2025-06-01 cs.AI cs.SD eess.AS
An investigation on selecting audio pre-trained models for audio captioning
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
音频字幕是基于内容生成音频描述的任务。预训练模型由于复杂度高而被广泛应用于音频字幕中。除非对一个全面的系统进行重新训练，否则很难确定预先训练的模型对音频字幕系统的贡献。为了避免耗时耗力的再训练过程，有必要为音频字幕预训练模型提出一种性能预测器。在本文中，一系列的预训练模型提取的音频特征和音频字幕的性能之间的相关性进行了研究。实验结果表明，音频特征的峰度和偏度与字幕系统的性能具有很强的相关性，可以作为预训练音频字幕系统性能的指标。
2022-08-12 cs.LG cs.SD eess.AS
Automated Audio Captioning: An Overview of Recent Progress and New Challenges
University of Surrey（萨里大学）
自动音频字幕是一种跨模态翻译任务，旨在为给定的音频片段生成自然语言描述。近年来，随着免费数据集的发布，这项任务越来越受到关注。这个问题主要通过深度学习技术来解决。人们已经提出了许多方法，如研究不同的神经网络结构，利用辅助信息，如关键字或句子信息来指导字幕生成，并采用不同的训练策略，这极大地促进了这一领域的发展。在本文中，我们提出了一个全面的审查已发表的贡献，在自动音频字幕，从各种现有的方法来评估指标和数据集。我们还讨论了开放的挑战，并设想未来可能的研究方向。
2022-09-27 cs.AI cs.MM cs.SD
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Diverse Audio Captioning via Adversarial Training
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））
音频字幕的目的是自动生成自然语言描述的音频片段。近年来，现有的音频字幕模型已经显示出有希望的改进。然而，这些模型大多通过最大似然估计（MLE）进行训练，这往往使字幕通用，简单和确定性。由于不同的人可以从不同的方面使用不同的单词和语法来描述音频片段，我们认为，音频字幕系统应该有能力为固定的音频片段和跨类似的音频片段生成不同的字幕。为了解决这个问题，我们提出了一个基于条件生成对抗网络（C-GAN）的音频字幕对抗训练框架，旨在提高生成字幕的自然性和多样性。与经典GAN中处理连续值的数据不同，句子由离散标记组成，并且离散采样过程是不可微的。为了解决这个问题，策略梯度，一种强化学习技术，用于将奖励反向传播到生成器。结果表明，我们提出的模型可以生成更多样化的字幕，相比国家的最先进的方法。
2022-03-29 cs.SD eess.AS
Investigations in Audio Captioning: Addressing Vocabulary Imbalance and Evaluating Suitability of Language-Centric Performance Metrics
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research Labs（微软研究实验室）
针对自动音频字幕生成面临的数据稀缺、词汇不平衡、评估指标不适配三大挑战，提出两种数据与词汇增强方法，验证领域内预训练的必要性，并指出五种图像字幕指标在音频领域的局限。
2023-05-03 cs.SD eess.AS
Automated Audio Captioning using Audio Event Clues
音频字幕是一个重要的研究领域，旨在为音频片段生成有意义的描述。现有的大多数研究提取音频片段的声学特征作为编码器-解码器和Transformer架构的输入，以序列到序列的方式产生字幕。由于数据不足和架构的学习能力不足，需要额外的信息来生成自然语言句子以及声学特征。为了解决这些问题，提出了一种编码器-解码器架构，该架构从声学特征和提取的音频事件标签两者作为输入来学习。该模型基于预训练的声学特征和音频事件检测。各种实验使用不同的声学特征，词嵌入模型，音频事件标签提取方法和实现配置，以显示哪些组合在音频字幕任务上具有更好的性能。在多个数据集上进行的大量实验结果表明，使用具有声学特征的音频事件标签提高了识别性能，并且所提出的方法优于最先进的模型或取得了与最先进的模型竞争的结果。
2022-04-18 cs.SD eess.AS
AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech
Salesforce AI Research（Salesforce人工智能研究）
AudioCapBench通过对比不同模型在环境声音、音乐和语音描述任务中的表现，评估了大模型的音频描述能力，揭示Gemini模型在整体质量上优于OpenAI模型。
2026-02-27 cs.AI cs.SD
Discrete Audio Representations for Automated Audio Captioning
RoyalFlush AI Research Institute（皇家Flush人工智能研究院）；Nankai University（南开大学）；College of Computer Science（计算机科学学院）
该研究针对离散音频令牌在自动音频字幕生成中应用不足、无监督令牌化导致性能下降的问题，提出有监督音频令牌器，经Clotho数据集验证其性能优于传统音频令牌。
2025-05-21 cs.SD eess.AS
RECAP: Retrieval-Augmented Audio Captioning
University of Maryland, College Park（马里兰大学帕克分校）
RECAP 提出一种检索增强的音频字幕生成方法，利用 CLAP 检索相似字幕构建提示并借助 GPT-2 与交叉注意力生成字幕，无需微调即可跨域迁移，并在域外场景和新型音频事件上取得显著提升。
2024-06-06 cs.AI cs.CL cs.SD
MACE: Leveraging Audio for Evaluating Audio Captioning Systems
Carnegie Mellon University（卡内基梅隆大学）
提出MACE指标，结合音频信号与参考描述评估音频描述系统，在AudioCaps-Eval和Clotho-Eval上较FENSE分别提升3.28%和4.36%相对准确率。
2024-11-05 cs.SD eess.AS
Training Audio Captioning Models without Audio
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出仅使用文本训练自动音频字幕生成系统的方法，利用CLAP多模态空间并结合噪声注入或可学习适配器弥合模态鸿沟，性能媲美配对音频训练的先进模型。
2023-09-14 cs.SD eess.AS
Audio Captioning using Gated Recurrent Units
Department of Computer Engineering, Ba s kent University
音频字幕是最近提出的自动生成给定音频片段的文本描述的任务。在这项研究中，提出了一种新的具有音频嵌入的深度网络架构来预测音频字幕。在提取除对数梅尔能量之外的音频特征的目标下，使用VGGish音频嵌入模型来探索音频嵌入在音频字幕任务中的可用性。所提出的架构编码音频和文本输入模态分开，并结合它们之前的解码阶段。音频编码通过双向门控递归单元（BiGRU）进行，而GRU用于文本编码阶段。在此之后，我们评估我们的模型通过新发布的音频字幕性能数据集，即Clotho，比较实验结果与文献。我们的实验结果表明，所提出的基于BiGRU的深度模型优于最先进的结果。
2021-01-03 cs.LG cs.SD eess.AS
Impact of visual assistance for automated audio captioning
KU Leuven（鲁汶大学）
我们研究的视觉辅助自动音频字幕的影响。利用多编码器Transformer架构，这是以前被用来引入视觉相关的信息，在声音事件检测的背景下，我们分析的有用性，将各种预训练的功能。我们在基于YouTube的视听数据集上进行实验，并研究了在各种字幕度量方面应用所考虑的迁移学习技术的效果。我们发现，只有一种被考虑的预训练特征提供了一致的改进，而其他特征根本没有提供任何值得注意的收益。有趣的是，先前的研究结果表明，在声音事件检测的情况下，情况正好相反，这使我们得出结论，视觉嵌入的最佳选择在很大程度上取决于手头的任务。更具体地说，视觉功能侧重于语义出现适当的自动音频字幕的上下文中，而声音事件检测，时间信息似乎更重要。
2023-02-20 cs.SD eess.AS
Listen carefully and tell: an audio captioning system based on residual learning and gammatone audio representation
自动音频字幕是一种机器收听任务，其目标是使用自由文本描述音频。一个自动化的音频字幕系统必须被实现，因为它接受音频作为输入，并作为文本描述输出，即信号的字幕。此任务在许多应用程序中非常有用，例如自动内容描述或机器对机器交互。在这项工作中，提出了一种基于编码器阶段的残差学习的自动音频字幕。编码器相位通过不同的残差网络配置来实现。解码器阶段（创建字幕）使用递归层加注意机制运行。选择的音频表示是Gammatone。结果表明，本文提出的框架在挑战结果上超过了基线系统。
2020-07-08 cs.LG cs.SD eess.AS
Classifier-Guided Captioning Across Modalities
Tel Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）；NVIDIA（英伟达）
本文提出一种推理期文本分类器引导框架，利用 GPT-4 生成数据训练分类器，使冻结字幕模型适配音频等跨模态语义，并在零样本音频字幕生成上达到 SOTA。
2025-01-03 cs.AI cs.CL cs.SD
Audio Captioning with Composition of Acoustic and Semantic Information
Başkent University（Başkent大学）
音频字幕生成是一个新的研究领域，它结合了音频和自然语言处理，为音频片段创建有意义的文本描述。为了解决这个问题，以前的研究大多使用基于编码器-解码器的模型，而不考虑语义信息。为了填补这一空白，我们提出了一种新的编码器-解码器架构，使用双向门控递归单元（BiGRU）与音频和语义嵌入。我们通过从音频片段标题中获取主语和动词来提取语义嵌入，并将这些嵌入与音频嵌入相结合，以提供基于BiGRU的编码器-解码器模型。为了使测试音频的语义嵌入，我们引入了多层感知器分类器来预测这些片段的语义嵌入。我们还提出了详尽的实验，以显示我们提出的模型的音频字幕任务的不同功能和数据集的效率。为了提取音频特征，我们使用对数梅尔能量特征，VGGish嵌入和预训练的音频神经网络（PANN）嵌入。在两个音频字幕数据集Clotho和AudioCaps上的大量实验表明，我们提出的模型在不同的评估指标上优于最先进的音频字幕模型，并且使用语义信息提高了字幕性能。关键词：音频字幕; PANN; VGGish; GRU; BiGRU。
2021-05-13 cs.LG cs.SD eess.AS
Audio Captioning Transformer
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心）；University of Surrey（萨里大学）
音频字幕旨在自动生成音频片段的自然语言描述。大多数字幕模型遵循编码器-解码器架构，其中解码器基于编码器提取的音频特征预测单词。卷积神经网络（CNN）和递归神经网络（RNN）通常用作音频编码器。然而，CNN在建模音频信号中的时间帧之间的时间关系方面可能受到限制，而RNN在建模时间帧之间的长期依赖性方面可能受到限制。在本文中，我们提出了一个音频字幕Transformer（ACT），这是一个完整的Transformer网络的基础上的编码器-解码器架构，是完全无卷积。所提出的方法具有更好的能力来建模音频信号内的全局信息以及捕获音频事件之间的时间关系。我们在AudioCaps上评估我们的模型，AudioCaps是公开可用的最大的音频字幕数据集。与其他最先进的方法相比，我们的模型显示出具有竞争力的性能。
2021-07-21 cs.LG cs.SD eess.AS
Investigating Local and Global Information for Automated Audio Captioning with Transfer Learning
Shanghai Jiao Tong University（上海交通大学）
自动音频字幕（AAC）旨在为音频片段生成摘要描述。在音频字幕中描述了许多概念，从诸如声音事件的局部信息到诸如声学场景的全局信息。目前，AAC的主流范例是端到端的编码器-解码器架构，期望编码器自动学习嵌入在音频中的所有级别的概念。本文首先提出了一个音频描述的主题模型，全面分析了层次音频主题，通常覆盖。然后，我们探讨了一个迁移学习计划，以访问本地和全球的信息。两个源任务被识别为分别表示局部和全局信息，即音频标记（AT）和声学场景分类（ASC）。在AAC基准数据集Clotho和Audiocaps上进行了实验，通过主题迁移学习，所有八个指标都有了大幅增加。此外，它被发现，局部信息和抽象表示学习是更重要的AAC比全局信息和时间关系学习。
2021-02-23 cs.SD eess.AS
Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval
NTT Corporation（日本电报电话公司）
音频字幕的目标是将输入的音频转换为使用自然语言的描述。音频字幕的问题之一是缺乏训练数据，这是由于难以通过爬行网络来收集音频字幕对。在这项研究中，为了克服这个问题，我们建议使用预先训练的大规模语言模型。由于音频输入不能直接输入到这样的语言模型中，因此我们利用基于可能存在于不同音频中的相似性从训练数据集检索的指导字幕。然后，在参考引导字幕的同时，通过使用预先训练的语言模型来生成音频输入的字幕。实验结果表明，（i）所提出的方法已经成功地使用预先训练的语言模型的音频字幕，和（ii）的预言性能的预先训练的基于模型的字幕生成器是明显优于传统的方法从头开始训练。
2020-12-14 cs.CL cs.SD eess.AS
LAMB: LLM-based Audio Captioning with Modality Gap Bridging via Cauchy-Schwarz Divergence
本文提出LAMB框架，通过Cauchy-Schwarz散度弥合音频与文本嵌入空间的模态差距，设计Two-Stream Adapter和Token Guide提升LLM解码器推理能力，在AudioCaps上取得最佳性能。
2026-03-16 cs.AI cs.SD
DRCap: Decoding CLAP Latents with Retrieval-Augmented Generation for Zero-shot Audio Captioning
Shanghai Jiao Tong University（上海交通大学）；SJTU Paris Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；The Chinese University of Hong Kong（香港中文大学）
本文提出 DRCap 零样本音频字幕系统，结合 CLAP 嵌入投影与检索增强 LLM 生成，仅用文本训练即可实现领域内领先及跨领域 SOTA。
2025-01-06 cs.AI cs.SD eess.AS
Graph Attention for Automated Audio Captioning
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出一种用于自动音频字幕生成的图注意力方法，通过在PANNs编码器后引入图注意力模块学习音频特征的长时上下文关联，有效提升了字幕生成性能。
2023-04-10 cs.SD eess.AS
MMAC: A Massive Multi-dimensional Benchmark for Audio Captioning
该研究针对音频字幕生成评估的信息覆盖与可靠性诊断难题，构建了含5638个音频的MMAC多维度基准，评估多种AudioLLMs并将发布基准与代码。
2026-07-31 cs.AI cs.SD
A Whisper transformer for audio captioning trained with synthetic captions and transfer learning
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）；Johannes Kepler University（约翰开普勒大学）
本研究提出一种基于预训练Whisper模型和合成标题的音频字幕生成方法，通过实验验证了不同训练策略对模型性能的影响，并公开了代码与模型。
2023-05-15 cs.LG cs.SD eess.AS
An Encoder-Decoder Based Audio Captioning System With Transfer and Reinforcement Learning
Wake Forest University（维克森林大学）；University of Montreal（蒙特利尔大学）
自动音频字幕的目的是使用自然语言来描述音频数据的内容。本文提出了一个音频字幕系统的编码器-解码器的架构，其中解码器预测的基础上提取的编码器的音频特征的单词。为了改进所提出的系统，引入了来自上游音频相关任务或大型域内数据集的迁移学习，以减轻由数据稀缺引起的问题。此外，评估指标被纳入到模型的优化与强化学习，这有助于解决的“曝光偏差”的“教师强迫”的培训策略和评估指标之间的不匹配的问题。最终的系统在DCASE 2021任务6中排名第三。进行烧蚀研究，以调查有多少在拟议的系统中的每个元素可以有助于最终的性能。结果表明，所提出的技术显着提高了评价指标的分数，然而，强化学习可能会对生成的字幕的质量产生不利影响。
2021-08-05 cs.SD eess.AS
Dual Transformer Decoder based Features Fusion Network for Automated Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出 LHDFF 模型，通过残差 PANNs 编码器融合低维与高维音频特征，并采用双 Transformer 解码器并行生成描述，实验表明其性能优于现有音频描述模型。
2023-05-30 cs.SD eess.AS
Multi-task Regularization Based on Infrequent Classes for Audio Captioning
Tampere University（坦佩雷大学）
音频字幕是一个多模态的任务，重点是使用自然语言来描述一般音频的内容。大多数音频字幕方法基于深度神经网络，采用编码器-解码器方案和具有音频剪辑和对应的自然语言描述（即字幕）的数据集。音频字幕的一个重大挑战是字幕中单词的分布：有些单词非常频繁，但在声学上没有信息量，即功能词（例如“a”、“the”），而其他单词不常见，但信息量丰富，即内容词（例如形容词、名词）。在本文中，我们提出了两种方法来减轻这种类不平衡的问题。首先，在音频字幕的自动编码器设置中，我们将每个单词对训练损失的贡献与其在整个数据集中的出现次数成反比。其次，除了多类，单词级的音频字幕任务，我们定义了一个多标签侧任务的基础上剪辑级内容词检测训练一个单独的解码器。我们使用第二个任务的损失来正则化音频字幕任务的联合训练的编码器。我们使用Clotho，最近发表的，大规模的音频字幕数据集，我们的方法进行评估，我们的结果显示，增加了37%的相对改善与SPIDER度量的基线方法。
2020-07-09 cs.LG cs.MM cs.SD
Prefix tuning for automated audio captioning
POSTECH（浦项科技大学）；Yonsei University（延世大学）
针对音频字幕生成中训练数据缺乏导致的泛化难题，提出利用冻结的预训练语言模型，通过映射网络将音频特征转换为prefixes，在Clotho和AudioCaps数据集上优于现有方法。
2023-04-04 cs.MM cs.SD eess.AS
Caption Feature Space Regularization for Audio Captioning
Beijing University of Posts and Telecommunications（北京邮电大学）；Ludong University（鲁东大学）
音频字幕旨在用人类语言描述音频剪辑的内容。由于音频的模糊性，不同的人可能不同地感知到相同的音频，从而导致字幕差异（即，一个音频可以与具有不同语义的几个字幕相关）。为此，一般音频字幕模型通过随机选择相关字幕作为每个音频的真实背景来实现一对多训练。但是，这会导致优化方向的显著变化，削弱了模型的稳定性。为了消除这种负面影响，本文提出了一种两阶段的音频字幕框架：（i）在第一阶段，通过对比学习，我们构造一个代理特征空间来减小与同一音频相关的字幕之间的距离，以及（ii）在第二阶段，代理特征空间被用作附加的监督，以促使模型在有益于所有相关字幕的方向上被优化。我们使用四种常用的编码器和解码器架构在两个数据集上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。该代码可在https://github.com/PRIS-CV/Caption-Feature-Space-Regularization上获得。
2022-04-18 cs.CL cs.SD eess.AS
Beyond the Status Quo: A Contemporary Survey of Advances and Challenges in Audio Captioning
本文综述了自动音频字幕生成（AAC）的进展与挑战，涵盖任务对比、深度学习技术、数据集和评估指标，并展望未来研究方向。
2023-11-16 cs.SD eess.AS
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University（卡内基梅隆大学）
本项目参与DCASE 2022任务6，针对自动音频字幕生成与基于语言的音频检索两个子任务，基于Clotho数据集改进基线模型，最终音频检索模型超越基线，字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
Zero-Shot Audio Captioning via Audibility Guidance
Tel Aviv University（特拉维夫大学）
本文提出一种零样本音频字幕生成方法，通过结合GPT-2、ImageBind和文本分类器，在AudioCap数据集上验证了可听性引导能显著提升性能。
2023-09-07 cs.CL cs.SD eess.AS
Multilingual Audio Captioning using machine translated data
本研究使用机器翻译将AudioCaps和Clotho数据集译为法、德、西语，训练单语及多语言音频字幕生成系统，发现直接在目标语言训练优于翻译英语输出，且多语言模型性能相当但参数更少。
2023-09-14 cs.SD eess.AS
Temporal Sub-sampling of Audio Feature Sequences for Automated Audio Captioning
Tampere University（坦佩雷大学）；D Media Group, Tampere University（坦佩雷大学3D媒体组）；Audio Research Group, Tampere University（坦佩雷大学音频研究组）
音频字幕是自动为一般音频信号的内容创建文本描述的任务。典型的音频字幕方法依赖于深度神经网络（DNN），其中DNN的目标是将输入音频序列映射到输出单词序列，即字幕。然而，文本描述的长度显著小于音频信号的长度，例如10个单词相对于数千个音频特征向量。这清楚地表明，一个输出单词对应于多个输入特征向量。在这项工作中，我们提出了一种方法，专注于明确利用序列之间的长度差异，通过应用时间子采样的音频输入序列。我们采用序列到序列的方法，该方法使用固定长度的向量作为编码器的输出，并且我们在编码器的RNN之间应用时间子采样。我们通过使用免费提供的数据集Clotho来评估我们的方法的好处，并评估时间子采样的不同因素的影响。我们的研究结果表明，所有考虑的指标的改善。
2020-07-06 cs.LG cs.SD eess.AS
EmotionCaps: Enhancing Audio Captioning Through Emotion-Augmented Data Generation
New Jersey Institute of Technology（新泽西理工学院）
本研究提出EmotionCaps数据集，通过ChatGPT结合声景情感信息生成约12万条情感增强的音频字幕数据，实验证明该数据能提升字幕模型性能并匹配音频情感基调。
2024-10-15 cs.LG cs.SD eess.AS
AVCap: Leveraging Audio-Visual Features as Text Tokens for Captioning
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出视听字幕生成框架AVCap，将视听特征作为文本标记，围绕编码器架构、预训练模型适配、模态融合效能三个维度设计，在所有指标上超越现有方法，兼具性能与扩展性优势。
2024-07-11 cs.CL cs.LG cs.SD
Zero-Shot Audio Captioning Using Soft and Hard Prompts
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Department of Electronic Systems, Aalborg University（奥尔堡大学电子系统系）；Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
本文针对传统音频描述生成依赖标注数据且跨域性能差的问题，提出基于CLAP的零样本方法，仅用文本训练，并通过软提示和硬提示缓解模态差异，在AudioCaps和Clotho上取得领先效果。
2024-06-10 cs.SD eess.AS
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University（南洋理工大学）
在本文中，我们研究了使用预训练音频神经网络（PANNs）的迁移学习的使用，并提出了一种架构，能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标，重建潜在空间相似正则化（RLSSR）。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
Audio Difference Captioning Utilizing Similarity-Discrepancy Disentanglement
NTT Corporation（NTT公司）
本研究提出音频差异字幕生成新任务ADC，设计聚焦交叉注意力的Transformer编码器与相似性-差异性解耦方法，构建AudioDiffCaps数据集，实验验证方法可有效提取音频差异并完成字幕生成。
2023-08-23 cs.CL cs.LG cs.SD
Efficient Audio Captioning with Encoder-Level Knowledge Distillation
Shanghai Jiao Tong University（上海交通大学）；University of Surrey（萨里大学）
针对音频字幕生成模型日益庞大的问题，提出编码器级知识蒸馏框架，结合对比损失，利用纯音频数据训练，实现19倍推理加速并保持竞争力。
2024-07-19 cs.SD eess.AS
Improving the Performance of Automated Audio Captioning via Integrating the Acoustic and Semantic Information
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
自动音频字幕（AAC）近年来发展迅速，它涉及到声学信号处理和自然语言处理，为音频片段生成人类可读的句子。目前的模型通常基于神经编码器-解码器架构，并且它们的解码器主要使用从基于CNN的编码器提取的声学信息。然而，他们忽略了可以帮助AAC模型生成有意义的描述的语义信息。本文提出了一种新的方法，自动音频字幕的基础上结合语义和声学信息。具体来说，我们的音频字幕模型包括两个子模块。(1)预训练的关键字编码器利用预训练的ResNet 38初始化其参数，然后将提取的关键字作为标签进行训练。(2)多模态注意解码器采用基于LSTM的解码器，其包含语义和声学注意模块。实验表明，我们提出的模型在Clotho数据集上实现了最先进的性能。我们的代码可以在https://github.com/WangHelin1997/DCASE2021_Task6_PKU上找到
2021-10-12 cs.MM cs.SD eess.AS
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University（南洋理工大学）
自动音频字幕（AAC）是一个跨模态的任务，它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征，因此对于跨模态解码任务是次优的。在这项工作中，我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说，CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外，我们还应用对比学习，通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明，所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明，预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
Multitask learning in Audio Captioning: a sentence embedding regression loss acts as a regularizer
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；UT3（图卢兹第三大学）
针对自动音频字幕生成任务现有交叉熵损失未考虑语义相近性的问题，提出加入句子嵌入回归损失的多任务训练方法，可减少过拟合、提升性能，且参数量远低于现有最优模型。
2023-05-02 cs.SD eess.AS
SLAM-AAC: Enhancing Audio Captioning with Paraphrasing Augmentation and CLAP-Refine through LLMs
Shanghai Jiao Tong University（上海交通大学）
本文提出SLAM-AAC方法，通过改写增强扩展数据集并利用CLAP-Refine策略优化解码输出，结合EAT模型和LoRA微调LLM，在Clotho V2和AudioCaps数据集上实现了最先进的音频字幕生成性能。
2024-10-12 cs.SD eess.AS
Clotho: An Audio Captioning Dataset
Tampere University（坦佩雷大学）
音频字幕是使用自由文本描述一般音频内容的新任务。它是一种跨模态翻译任务（不是语音到文本），其中系统接受音频信号作为输入，并输出该信号的文本描述（即标题）。在本文中，我们提出了Clotho，音频字幕数据集，包括4981音频样本的15至30秒的持续时间和24 905字幕的8至20个单词的长度，和基线方法提供的初步结果。Clotho专注于音频内容和字幕多样性，数据的分割不会妨碍方法的训练或评估。所有声音都来自Freesound平台，字幕使用Amazon Mechanical Turk和来自英语国家的注释器众包。独特的词，命名实体和语音转录被删除后处理。Clotho可在网上免费获得（https：//zenodo.org/record/3490684）。
2019-10-21 cs.CL cs.LG cs.SD
The NTT DCASE2020 Challenge Task 6 system: Automated Audio Captioning with Keywords and Sentence Length Estimation
NTT Corporation（日本电报电话公司）
本技术报告描述了参与声学场景和事件（DCASE）2020挑战赛任务6：自动音频字幕的系统。我们的意见书主要是解决两个不确定性问题的自动音频字幕：词选择的不确定性和句子长度的不确定性。通过多任务学习估计关键词和句子长度，同时解决了主标题生成和子不确定性问题。我们使用开发测试数据集测试了我们提交的简化模型。我们的模型实现了20.7 SPIDER评分，而基线系统的评分为5.4。
2020-07-01 cs.LG cs.SD eess.AS
Automatic Audio Captioning using Attention weighted Event based Embeddings
TCS Research, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS研究院）
自动音频字幕（AAC）是指将音频翻译成描述音频事件、事件来源及其关系的自然语言的任务。目前AAC数据集的样本有限，已经形成了将迁移学习与音频事件检测（AED）结合作为父任务的趋势。朝着这个方向，在本文中，我们提出了一种编码器-解码器架构，具有用于AAC的轻量级（即具有较少的可学习参数）Bi-LSTM递归层，并比较了两种最先进的预训练AED模型作为嵌入提取器的性能。我们的研究结果表明，一个有效的AED为基础的嵌入提取器结合时间的注意力和增强技术是能够超越现有的文献与计算密集型架构。此外，我们还提供了证据，证明作为我们模型的一部分生成的非均匀注意力加权编码的能力，以便于解码器在生成每个令牌时浏览音频的特定部分。
2022-01-28 cs.LG cs.SD eess.AS
WaveTransformer: A Novel Architecture for Audio Captioning Based on Learning Temporal and Time-Frequency Information
Tampere University（坦佩雷大学）
自动音频字幕（AAC）是一种新颖的任务，其中方法将音频样本作为输入并输出其内容的文本描述（即字幕）。大多数AAC方法都是从机器翻译领域的图像描述改编而来的。在这项工作中，我们提出了一种新的AAC新方法，明确专注于开发的时间和时间-频率模式的音频。我们采用三个可学习的过程进行音频编码，两个用于提取本地和时间信息，一个用于合并前两个过程的输出。为了生成字幕，我们采用了广泛使用的Transformer解码器。我们利用Clotho数据集的免费分裂来评估我们的方法。我们的研究结果将先前报道的最高SPIDER从16.2增加到17.3。
2020-10-21 cs.LG cs.MM cs.SD
Efficient Audio Captioning Transformer with Patchout and Text Guidance
Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；National Technical University of Athens（雅典国立技术大学）
提出一种利用Patchout和文本引导的高效音频字幕Transformer架构，通过迁移学习、扩充数据集和Mixup增强缓解数据稀缺，在降低计算复杂度的同时提升性能并获DCASE 2022评委奖。
2023-04-06 cs.LG cs.SD eess.AS
