Closing the Verification Loop: Self-Check Captioning for Long-Paragraph Detailed Audio Captioning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Kuaishou Technology(快手科技)
本研究针对长段落详细音频字幕的未解决问题,提出SCC框架,构建LACap-50k语料库与LC-SFT方法,使系统在开源字幕生成器中达最优性能。
2026-09-01 cs.SD
S2Cap: A Benchmark and a Baseline for Singing Style Captioning
Pohang University of Science and Technology(釜山科学技术大学)
本文定义了歌唱风格描述生成任务,构建了覆盖发声、声学及人口统计学特征的S2Cap数据集,并提出了一种高效简洁的基线算法,以弥补现有歌声音频-文本数据集属性覆盖不足的问题。
2025-08-18 cs.AI cs.CL cs.LG
ACES: Evaluating Automated Audio Captioning Models on the Semantics of Sounds
Maastricht University(马斯特里赫特大学);Université Aix-Marseille(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
本文提出ACES评估指标,从人类听觉语义解析角度结合语义相似度与实体标注评估自动音频字幕,并在Clotho-Eval FENSE基准上优于同类指标。
2024-03-27 cs.SD eess.AS
An investigation on selecting audio pre-trained models for audio captioning
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
音频字幕是基于内容生成音频描述的任务。预训练模型由于复杂度高而被广泛应用于音频字幕中。除非对一个全面的系统进行重新训练,否则很难确定预先训练的模型对音频字幕系统的贡献。为了避免耗时耗力的再训练过程,有必要为音频字幕预训练模型提出一种性能预测器。在本文中,一系列的预训练模型提取的音频特征和音频字幕的性能之间的相关性进行了研究。实验结果表明,音频特征的峰度和偏度与字幕系统的性能具有很强的相关性,可以作为预训练音频字幕系统性能的指标。
2022-08-12 cs.LG cs.SD eess.AS
Audiocards: Structured Metadata Improves Audio Language Models For Sound Design
New Jersey Institute of Technology(新泽西理工学院);Adobe Research(Adobe研究)
Audiocards通过结构化元数据提升音频语言模型在声音设计中的性能,改进文本-音频检索和描述生成。
2026-02-14 cs.SD
TAC: Timestamped Audio Captioning
University of Maryland, College Park, USA(美国马里兰大学 College Park 分校);Adobe Research, USA(Adobe 研究院);OpenAI, USA (work done while at Adobe)(OpenAI, USA)
TAC通过生成时间接地的音频描述提升复杂声音场景的理解,结合TAC-V实现音频-视觉语义桥梁,提升文本推理性能。
2026-10-08 cs.SD
Synth-AC: Enhancing Audio Captioning with Synthetic Supervision
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学)
本文提出SynthAC框架,利用AudioLDM文本到音频生成模型和图像描述文本语料库创建合成文本-音频对,将文本-视觉领域的标注数据扩展到音频描述生成,缓解数据稀缺问题并显著提升现有音频描述生成模型的性能。
2023-09-18 cs.SD eess.AS
AudioMap: Cloze-and-Choice Reinforcement Learning for Time-Aware Dense Audio Captioning
针对时间感知密集音频字幕生成的现有方法缺陷,提出基于完形填空与选择奖励范式的AudioMap框架,构建首个相关数据集AudioMapCap-44K,在基准测试中取得最优性能。
2026-08-11 cs.SD
Audio Captioning Using Sound Event Detection
本技术报告为DCASE 2021任务6音频字幕挑战提出了一个音频字幕系统。我们提出的模型是基于一个编码器-解码器架构与双向门控递归单元(BiGRU)使用预训练的音频功能和声音事件检测。一个预训练的神经网络(PANN)被用来提取音频特征和Word 2 Vec被选择的目的是提取词嵌入从音频字幕。为了创建语义上有意义的字幕,我们从音频片段中提取声音事件,并向编码器-解码器架构提供除了PANN功能之外的声音事件。我们在Clotho数据集上的实验表明,我们提出的方法在所有评估指标上都比挑战基线模型取得了更好的结果。
2021-10-07 cs.SD eess.AS
Edge-Cloud Collaborative Speech Emotion Captioning via Token-Level Speculative Decoding in Audio-Language Models
本文提出基于不确定性引导推测解码的边缘-云协同框架,通过轻量级边缘模型和云验证器的协同,提升语音情绪描述的准确率和效率,同时降低延迟和隐私风险。
2026-03-12 cs.SD
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China(TMCC,计算机科学学院,南开大学,天津,中国)
本文提出音频共同性描述方法,旨在增强多模态大语言模型中音频与文本的跨模态理解,通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Diverse Audio Captioning via Adversarial Training
University of Surrey(萨里大学);Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音与信号处理中心(CVSSP))
音频字幕的目的是自动生成自然语言描述的音频片段。近年来,现有的音频字幕模型已经显示出有希望的改进。然而,这些模型大多通过最大似然估计(MLE)进行训练,这往往使字幕通用,简单和确定性。由于不同的人可以从不同的方面使用不同的单词和语法来描述音频片段,我们认为,音频字幕系统应该有能力为固定的音频片段和跨类似的音频片段生成不同的字幕。为了解决这个问题,我们提出了一个基于条件生成对抗网络(C-GAN)的音频字幕对抗训练框架,旨在提高生成字幕的自然性和多样性。与经典GAN中处理连续值的数据不同,句子由离散标记组成,并且离散采样过程是不可微的。为了解决这个问题,策略梯度,一种强化学习技术,用于将奖励反向传播到生成器。结果表明,我们提出的模型可以生成更多样化的字幕,相比国家的最先进的方法。
2022-03-29 cs.SD eess.AS
Investigations in Audio Captioning: Addressing Vocabulary Imbalance and Evaluating Suitability of Language-Centric Performance Metrics
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research Labs(微软研究实验室)
针对自动音频字幕生成面临的数据稀缺、词汇不平衡、评估指标不适配三大挑战,提出两种数据与词汇增强方法,验证领域内预训练的必要性,并指出五种图像字幕指标在音频领域的局限。
2023-05-03 cs.SD eess.AS
Enhance Temporal Relations in Audio Captioning with Sound Event Detection
Shanghai Jiao Tong University(上海交通大学);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
本文利用声音事件检测(SED)提供的时间戳信息,通过提出时间标签系统,增强音频字幕生成中的时间关系表达,实验证明显著提升了时间关系生成效果。
2024-07-18 cs.SD eess.AS
Automated Audio Captioning using Audio Event Clues
音频字幕是一个重要的研究领域,旨在为音频片段生成有意义的描述。现有的大多数研究提取音频片段的声学特征作为编码器-解码器和Transformer架构的输入,以序列到序列的方式产生字幕。由于数据不足和架构的学习能力不足,需要额外的信息来生成自然语言句子以及声学特征。为了解决这些问题,提出了一种编码器-解码器架构,该架构从声学特征和提取的音频事件标签两者作为输入来学习。该模型基于预训练的声学特征和音频事件检测。各种实验使用不同的声学特征,词嵌入模型,音频事件标签提取方法和实现配置,以显示哪些组合在音频字幕任务上具有更好的性能。在多个数据集上进行的大量实验结果表明,使用具有声学特征的音频事件标签提高了识别性能,并且所提出的方法优于最先进的模型或取得了与最先进的模型竞争的结果。
2022-04-18 cs.SD eess.AS
Leveraging Pre-trained BERT for Audio Captioning
University of Surrey(萨里大学);Izmir Katip Celebi University(伊兹密尔卡提普·切莱比大学)
音频字幕旨在使用自然语言来描述音频片段的内容。现有的音频字幕系统通常基于编码器-解码器架构,其中声学信息由音频编码器提取,然后语言解码器用于生成字幕。训练一个音频字幕系统经常会遇到数据稀缺的问题。从预训练的音频模型(如预训练的音频神经网络(PANN))中传输知识最近已经成为缓解这个问题的有用方法。然而,与编码器相比,对解码器利用预先训练的语言模型的关注较少。BERT是一种预先训练的语言模型,已广泛用于自然语言处理(NLP)任务。然而,BERT作为音频字幕的语言解码器的潜力还没有被研究。在这项研究中,我们证明了预训练的BERT模型的音频字幕的有效性。具体来说,我们应用PANN作为编码器,并从公共预训练的BERT模型初始化解码器。我们进行了实证研究,使用这些BERT模型的解码器中的音频字幕模型。我们的模型与AudioCaps数据集上现有的音频字幕方法相比,取得了有竞争力的结果。
2022-03-27 cs.AI cs.SD eess.AS
Audio Captioning using Gated Recurrent Units
Department of Computer Engineering, Ba s kent University
音频字幕是最近提出的自动生成给定音频片段的文本描述的任务。在这项研究中,提出了一种新的具有音频嵌入的深度网络架构来预测音频字幕。在提取除对数梅尔能量之外的音频特征的目标下,使用VGGish音频嵌入模型来探索音频嵌入在音频字幕任务中的可用性。所提出的架构编码音频和文本输入模态分开,并结合它们之前的解码阶段。音频编码通过双向门控递归单元(BiGRU)进行,而GRU用于文本编码阶段。在此之后,我们评估我们的模型通过新发布的音频字幕性能数据集,即Clotho,比较实验结果与文献。我们的实验结果表明,所提出的基于BiGRU的深度模型优于最先进的结果。
2021-01-03 cs.LG cs.SD eess.AS
AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech
Salesforce AI Research(Salesforce人工智能研究)
AudioCapBench通过对比不同模型在环境声音、音乐和语音描述任务中的表现,评估了大模型的音频描述能力,揭示Gemini模型在整体质量上优于OpenAI模型。
2026-02-27 cs.AI cs.SD
Listen carefully and tell: an audio captioning system based on residual learning and gammatone audio representation
自动音频字幕是一种机器收听任务,其目标是使用自由文本描述音频。一个自动化的音频字幕系统必须被实现,因为它接受音频作为输入,并作为文本描述输出,即信号的字幕。此任务在许多应用程序中非常有用,例如自动内容描述或机器对机器交互。在这项工作中,提出了一种基于编码器阶段的残差学习的自动音频字幕。编码器相位通过不同的残差网络配置来实现。解码器阶段(创建字幕)使用递归层加注意机制运行。选择的音频表示是Gammatone。结果表明,本文提出的框架在挑战结果上超过了基线系统。
2020-07-08 cs.LG cs.SD eess.AS
Discrete Audio Representations for Automated Audio Captioning
RoyalFlush AI Research Institute(皇家Flush人工智能研究院);Nankai University(南开大学);College of Computer Science(计算机科学学院)
该研究针对离散音频令牌在自动音频字幕生成中应用不足、无监督令牌化导致性能下降的问题,提出有监督音频令牌器,经Clotho数据集验证其性能优于传统音频令牌。
2025-05-21 cs.SD eess.AS
Audio Captioning with Composition of Acoustic and Semantic Information
Başkent University(Başkent大学)
音频字幕生成是一个新的研究领域,它结合了音频和自然语言处理,为音频片段创建有意义的文本描述。为了解决这个问题,以前的研究大多使用基于编码器-解码器的模型,而不考虑语义信息。为了填补这一空白,我们提出了一种新的编码器-解码器架构,使用双向门控递归单元(BiGRU)与音频和语义嵌入。我们通过从音频片段标题中获取主语和动词来提取语义嵌入,并将这些嵌入与音频嵌入相结合,以提供基于BiGRU的编码器-解码器模型。为了使测试音频的语义嵌入,我们引入了多层感知器分类器来预测这些片段的语义嵌入。我们还提出了详尽的实验,以显示我们提出的模型的音频字幕任务的不同功能和数据集的效率。为了提取音频特征,我们使用对数梅尔能量特征,VGGish嵌入和预训练的音频神经网络(PANN)嵌入。在两个音频字幕数据集Clotho和AudioCaps上的大量实验表明,我们提出的模型在不同的评估指标上优于最先进的音频字幕模型,并且使用语义信息提高了字幕性能。关键词:音频字幕; PANN; VGGish; GRU; BiGRU。
2021-05-13 cs.LG cs.SD eess.AS
Audio Captioning Transformer
Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音与信号处理中心);University of Surrey(萨里大学)
音频字幕旨在自动生成音频片段的自然语言描述。大多数字幕模型遵循编码器-解码器架构,其中解码器基于编码器提取的音频特征预测单词。卷积神经网络(CNN)和递归神经网络(RNN)通常用作音频编码器。然而,CNN在建模音频信号中的时间帧之间的时间关系方面可能受到限制,而RNN在建模时间帧之间的长期依赖性方面可能受到限制。在本文中,我们提出了一个音频字幕Transformer(ACT),这是一个完整的Transformer网络的基础上的编码器-解码器架构,是完全无卷积。所提出的方法具有更好的能力来建模音频信号内的全局信息以及捕获音频事件之间的时间关系。我们在AudioCaps上评估我们的模型,AudioCaps是公开可用的最大的音频字幕数据集。与其他最先进的方法相比,我们的模型显示出具有竞争力的性能。
2021-07-21 cs.LG cs.SD eess.AS
MACE: Leveraging Audio for Evaluating Audio Captioning Systems
Carnegie Mellon University(卡内基梅隆大学)
提出MACE指标,结合音频信号与参考描述评估音频描述系统,在AudioCaps-Eval和Clotho-Eval上较FENSE分别提升3.28%和4.36%相对准确率。
2024-11-05 cs.SD eess.AS
Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval
NTT Corporation(日本电报电话公司)
音频字幕的目标是将输入的音频转换为使用自然语言的描述。音频字幕的问题之一是缺乏训练数据,这是由于难以通过爬行网络来收集音频字幕对。在这项研究中,为了克服这个问题,我们建议使用预先训练的大规模语言模型。由于音频输入不能直接输入到这样的语言模型中,因此我们利用基于可能存在于不同音频中的相似性从训练数据集检索的指导字幕。然后,在参考引导字幕的同时,通过使用预先训练的语言模型来生成音频输入的字幕。实验结果表明,(i)所提出的方法已经成功地使用预先训练的语言模型的音频字幕,和(ii)的预言性能的预先训练的基于模型的字幕生成器是明显优于传统的方法从头开始训练。
2020-12-14 cs.CL cs.SD eess.AS
Training Audio Captioning Models without Audio
Microsoft(微软);Carnegie Mellon University(卡内基梅隆大学)
本研究提出仅使用文本训练自动音频字幕生成系统的方法,利用CLAP多模态空间并结合噪声注入或可学习适配器弥合模态鸿沟,性能媲美配对音频训练的先进模型。
2023-09-14 cs.SD eess.AS
Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention
University of Surrey(萨里大学);ByteDance(字节跳动);Xi'an Jiaotong-Liverpool University(西交利物浦大学);Southern University of Science and Technology(南方科技大学);Izmir Katip Celebi University(伊兹密尔卡蒂普·切莱比大学)
本文提出视觉感知音频字幕生成方法,通过引入视觉编码器和自适应音视频注意力机制,在AudioCaps数据集上取得了最先进的机器翻译指标结果。
2023-05-29 cs.AI cs.MM cs.SD
Multi-task Regularization Based on Infrequent Classes for Audio Captioning
Tampere University(坦佩雷大学)
音频字幕是一个多模态的任务,重点是使用自然语言来描述一般音频的内容。大多数音频字幕方法基于深度神经网络,采用编码器-解码器方案和具有音频剪辑和对应的自然语言描述(即字幕)的数据集。音频字幕的一个重大挑战是字幕中单词的分布:有些单词非常频繁,但在声学上没有信息量,即功能词(例如“a”、“the”),而其他单词不常见,但信息量丰富,即内容词(例如形容词、名词)。在本文中,我们提出了两种方法来减轻这种类不平衡的问题。首先,在音频字幕的自动编码器设置中,我们将每个单词对训练损失的贡献与其在整个数据集中的出现次数成反比。其次,除了多类,单词级的音频字幕任务,我们定义了一个多标签侧任务的基础上剪辑级内容词检测训练一个单独的解码器。我们使用第二个任务的损失来正则化音频字幕任务的联合训练的编码器。我们使用Clotho,最近发表的,大规模的音频字幕数据集,我们的方法进行评估,我们的结果显示,增加了37%的相对改善与SPIDER度量的基线方法。
2020-07-09 cs.LG cs.MM cs.SD
Impact of visual assistance for automated audio captioning
KU Leuven(鲁汶大学)
我们研究的视觉辅助自动音频字幕的影响。利用多编码器Transformer架构,这是以前被用来引入视觉相关的信息,在声音事件检测的背景下,我们分析的有用性,将各种预训练的功能。我们在基于YouTube的视听数据集上进行实验,并研究了在各种字幕度量方面应用所考虑的迁移学习技术的效果。我们发现,只有一种被考虑的预训练特征提供了一致的改进,而其他特征根本没有提供任何值得注意的收益。有趣的是,先前的研究结果表明,在声音事件检测的情况下,情况正好相反,这使我们得出结论,视觉嵌入的最佳选择在很大程度上取决于手头的任务。更具体地说,视觉功能侧重于语义出现适当的自动音频字幕的上下文中,而声音事件检测,时间信息似乎更重要。
2023-02-20 cs.SD eess.AS
Zero-shot audio captioning with audio-language model guidance and audio context keywords
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
提出ZerAuCap框架,利用预训练大语言模型和音频-语言模型引导,结合音频上下文关键词,实现零样本音频描述生成,在AudioCaps和Clotho数据集上取得最优结果。
2023-11-14 cs.AI cs.CL cs.SD
A Whisper transformer for audio captioning trained with synthetic captions and transfer learning
Faculty of Informatics, Masaryk University(马萨里克大学信息学院);Johannes Kepler University(约翰开普勒大学)
本研究提出一种基于预训练Whisper模型和合成标题的音频字幕生成方法,通过实验验证了不同训练策略对模型性能的影响,并公开了代码与模型。
2023-05-15 cs.LG cs.SD eess.AS
Semantic-Aware Confidence Calibration for Automated Audio Captioning
Khoury College of Computer Science(科里学院计算机科学学院);Northeastern University(东北大学)
本研究提出语义感知的置信度校准方法,通过整合置信度预测和语义相似性,提升音频字幕生成的可靠性与准确性。
2025-12-11 cs.LG cs.SD
Investigating Local and Global Information for Automated Audio Captioning with Transfer Learning
Shanghai Jiao Tong University(上海交通大学)
自动音频字幕(AAC)旨在为音频片段生成摘要描述。在音频字幕中描述了许多概念,从诸如声音事件的局部信息到诸如声学场景的全局信息。目前,AAC的主流范例是端到端的编码器-解码器架构,期望编码器自动学习嵌入在音频中的所有级别的概念。本文首先提出了一个音频描述的主题模型,全面分析了层次音频主题,通常覆盖。然后,我们探讨了一个迁移学习计划,以访问本地和全球的信息。两个源任务被识别为分别表示局部和全局信息,即音频标记(AT)和声学场景分类(ASC)。在AAC基准数据集Clotho和Audiocaps上进行了实验,通过主题迁移学习,所有八个指标都有了大幅增加。此外,它被发现,局部信息和抽象表示学习是更重要的AAC比全局信息和时间关系学习。
2021-02-23 cs.SD eess.AS
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University(卡内基梅隆大学)
本项目参与DCASE 2022任务6,针对自动音频字幕生成与基于语言的音频检索两个子任务,基于Clotho数据集改进基线模型,最终音频检索模型超越基线,字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning
School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院);Institute for Analytics and Data Science, University of Essex(埃塞克斯大学分析与数据科学研究所)
研究提出无编码器音频字幕模型CARD,去除推理时的编码器,用含合并LoRA适配器的投影仪给冻结的语言模型供能。通过跨组件蒸馏预训练音频教师模型,提升了CIDEr-D指标。
2026-10-02 cs.CL cs.SD
EnCLAP: Combining Neural Audio Codec and Audio-Text Joint Embedding for Automated Audio Captioning
MAUM AI Inc.(MAUM AI公司);Seoul National University(首尔大学);Soongsil University(崇实大学)
本研究提出自动音频字幕生成框架EnCLAP,结合EnCodec、CLAP与预训练模型BART,通过掩码编解码器建模提升声学感知,在AudioCaps和Clotho数据集上性能优于基线,并开源代码与演示。
2024-01-31 cs.AI cs.SD eess.AS
ACE-Cap: Active Evidence Acquisition via Agentic Co-Evolution for Long-Paragraph Fine-Grained Audio Captioning
Kling Team(Kling团队)
ACE-Cap将长段落细粒度音频字幕生成转化为自适应主动证据获取过程,通过作曲器与指令模型协同演化及LOOP-GRPO算法优化,解决了传统模型被动生成的缺陷。
2026-08-24 cs.SD
AVCap: Leveraging Audio-Visual Features as Text Tokens for Captioning
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究提出视听字幕生成框架AVCap,将视听特征作为文本标记,围绕编码器架构、预训练模型适配、模态融合效能三个维度设计,在所有指标上超越现有方法,兼具性能与扩展性优势。
2024-07-11 cs.CL cs.LG cs.SD
Prefix tuning for automated audio captioning
POSTECH(浦项科技大学);Yonsei University(延世大学)
针对音频字幕生成中训练数据缺乏导致的泛化难题,提出利用冻结的预训练语言模型,通过映射网络将音频特征转换为prefixes,在Clotho和AudioCaps数据集上优于现有方法。
2023-04-04 cs.MM cs.SD eess.AS
LAMB: LLM-based Audio Captioning with Modality Gap Bridging via Cauchy-Schwarz Divergence
本文提出LAMB框架,通过Cauchy-Schwarz散度弥合音频与文本嵌入空间的模态差距,设计Two-Stream Adapter和Token Guide提升LLM解码器推理能力,在AudioCaps上取得最佳性能。
2026-03-16 cs.AI cs.SD
Graph Attention for Automated Audio Captioning
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学)
本文提出一种用于自动音频字幕生成的图注意力方法,通过在PANNs编码器后引入图注意力模块学习音频特征的长时上下文关联,有效提升了字幕生成性能。
2023-04-10 cs.SD eess.AS
Caption Feature Space Regularization for Audio Captioning
Beijing University of Posts and Telecommunications(北京邮电大学);Ludong University(鲁东大学)
音频字幕旨在用人类语言描述音频剪辑的内容。由于音频的模糊性,不同的人可能不同地感知到相同的音频,从而导致字幕差异(即,一个音频可以与具有不同语义的几个字幕相关)。为此,一般音频字幕模型通过随机选择相关字幕作为每个音频的真实背景来实现一对多训练。但是,这会导致优化方向的显著变化,削弱了模型的稳定性。为了消除这种负面影响,本文提出了一种两阶段的音频字幕框架:(i)在第一阶段,通过对比学习,我们构造一个代理特征空间来减小与同一音频相关的字幕之间的距离,以及(ii)在第二阶段,代理特征空间被用作附加的监督,以促使模型在有益于所有相关字幕的方向上被优化。我们使用四种常用的编码器和解码器架构在两个数据集上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。该代码可在https://github.com/PRIS-CV/Caption-Feature-Space-Regularization上获得。
2022-04-18 cs.CL cs.SD eess.AS
MMAC: A Massive Multi-dimensional Benchmark for Audio Captioning
该研究针对音频字幕生成评估的信息覆盖与可靠性诊断难题,构建了含5638个音频的MMAC多维度基准,评估多种AudioLLMs并将发布基准与代码。
2026-07-31 cs.AI cs.SD
Parameter Efficient Audio Captioning With Faithful Guidance Using Audio-text Shared Latent Representation
Qualcomm Technologies(高通科技)
针对自动音频字幕生成中模型过度参数化导致的幻觉和内存问题,提出数据增强检测幻觉及参数高效的推理时忠实解码算法,利用音频-文本共享潜在表示实现语义对齐,使小模型性能媲美大模型。
2023-09-06 cs.CL cs.MM cs.SD
Zero-Shot Audio Captioning via Audibility Guidance
Tel Aviv University(特拉维夫大学)
本文提出一种零样本音频字幕生成方法,通过结合GPT-2、ImageBind和文本分类器,在AudioCap数据集上验证了可听性引导能显著提升性能。
2023-09-07 cs.CL cs.SD eess.AS
An Encoder-Decoder Based Audio Captioning System With Transfer and Reinforcement Learning
Wake Forest University(维克森林大学);University of Montreal(蒙特利尔大学)
自动音频字幕的目的是使用自然语言来描述音频数据的内容。本文提出了一个音频字幕系统的编码器-解码器的架构,其中解码器预测的基础上提取的编码器的音频特征的单词。为了改进所提出的系统,引入了来自上游音频相关任务或大型域内数据集的迁移学习,以减轻由数据稀缺引起的问题。此外,评估指标被纳入到模型的优化与强化学习,这有助于解决的“曝光偏差”的“教师强迫”的培训策略和评估指标之间的不匹配的问题。最终的系统在DCASE 2021任务6中排名第三。进行烧蚀研究,以调查有多少在拟议的系统中的每个元素可以有助于最终的性能。结果表明,所提出的技术显着提高了评价指标的分数,然而,强化学习可能会对生成的字幕的质量产生不利影响。
2021-08-05 cs.SD eess.AS
Temporal Sub-sampling of Audio Feature Sequences for Automated Audio Captioning
Tampere University(坦佩雷大学);D Media Group, Tampere University(坦佩雷大学3D媒体组);Audio Research Group, Tampere University(坦佩雷大学音频研究组)
音频字幕是自动为一般音频信号的内容创建文本描述的任务。典型的音频字幕方法依赖于深度神经网络(DNN),其中DNN的目标是将输入音频序列映射到输出单词序列,即字幕。然而,文本描述的长度显著小于音频信号的长度,例如10个单词相对于数千个音频特征向量。这清楚地表明,一个输出单词对应于多个输入特征向量。在这项工作中,我们提出了一种方法,专注于明确利用序列之间的长度差异,通过应用时间子采样的音频输入序列。我们采用序列到序列的方法,该方法使用固定长度的向量作为编码器的输出,并且我们在编码器的RNN之间应用时间子采样。我们通过使用免费提供的数据集Clotho来评估我们的方法的好处,并评估时间子采样的不同因素的影响。我们的研究结果表明,所有考虑的指标的改善。
2020-07-06 cs.LG cs.SD eess.AS
Dual Transformer Decoder based Features Fusion Network for Automated Audio Captioning
University of Surrey(萨里大学);Izmir Katip Celebi University(伊兹密尔卡蒂普·切莱比大学)
本文提出 LHDFF 模型,通过残差 PANNs 编码器融合低维与高维音频特征,并采用双 Transformer 解码器并行生成描述,实验表明其性能优于现有音频描述模型。
2023-05-30 cs.SD eess.AS
LAVCap: LLM-based Audio-Visual Captioning using Optimal Transport
KAIST(韩国科学技术院);University of Waterloo(滑铁卢大学)
本文提出基于 LLM 的音视频描述框架 LAVCap,通过最优传输对齐损失与注意力模块增强跨模态融合,在 AudioCaps 上超越现有最先进方法。
2025-03-15 cs.AI cs.MM cs.SD
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University(南洋理工大学)
在本文中,我们研究了使用预训练音频神经网络(PANNs)的迁移学习的使用,并提出了一种架构,能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标,重建潜在空间相似正则化(RLSSR)。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
The NTT DCASE2020 Challenge Task 6 system: Automated Audio Captioning with Keywords and Sentence Length Estimation
NTT Corporation(日本电报电话公司)
本技术报告描述了参与声学场景和事件(DCASE)2020挑战赛任务6:自动音频字幕的系统。我们的意见书主要是解决两个不确定性问题的自动音频字幕:词选择的不确定性和句子长度的不确定性。通过多任务学习估计关键词和句子长度,同时解决了主标题生成和子不确定性问题。我们使用开发测试数据集测试了我们提交的简化模型。我们的模型实现了20.7 SPIDER评分,而基线系统的评分为5.4。
2020-07-01 cs.LG cs.SD eess.AS
Improving the Performance of Automated Audio Captioning via Integrating the Acoustic and Semantic Information
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
自动音频字幕(AAC)近年来发展迅速,它涉及到声学信号处理和自然语言处理,为音频片段生成人类可读的句子。目前的模型通常基于神经编码器-解码器架构,并且它们的解码器主要使用从基于CNN的编码器提取的声学信息。然而,他们忽略了可以帮助AAC模型生成有意义的描述的语义信息。本文提出了一种新的方法,自动音频字幕的基础上结合语义和声学信息。具体来说,我们的音频字幕模型包括两个子模块。(1)预训练的关键字编码器利用预训练的ResNet 38初始化其参数,然后将提取的关键字作为标签进行训练。(2)多模态注意解码器采用基于LSTM的解码器,其包含语义和声学注意模块。实验表明,我们提出的模型在Clotho数据集上实现了最先进的性能。我们的代码可以在https://github.com/WangHelin1997/DCASE2021_Task6_PKU上找到
2021-10-12 cs.MM cs.SD eess.AS
WaveTransformer: A Novel Architecture for Audio Captioning Based on Learning Temporal and Time-Frequency Information
Tampere University(坦佩雷大学)
自动音频字幕(AAC)是一种新颖的任务,其中方法将音频样本作为输入并输出其内容的文本描述(即字幕)。大多数AAC方法都是从机器翻译领域的图像描述改编而来的。在这项工作中,我们提出了一种新的AAC新方法,明确专注于开发的时间和时间-频率模式的音频。我们采用三个可学习的过程进行音频编码,两个用于提取本地和时间信息,一个用于合并前两个过程的输出。为了生成字幕,我们采用了广泛使用的Transformer解码器。我们利用Clotho数据集的免费分裂来评估我们的方法。我们的研究结果将先前报道的最高SPIDER从16.2增加到17.3。
2020-10-21 cs.LG cs.MM cs.SD
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University(南洋理工大学)
自动音频字幕(AAC)是一个跨模态的任务,它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征,因此对于跨模态解码任务是次优的。在这项工作中,我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说,CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外,我们还应用对比学习,通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明,所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明,预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Department of Intelligence and Information(智能与信息系)
针对音频字幕检索仅用单模态音频查询的局限,提出生成辅助多模态查询与渐进式交错音频-文本对学习策略,在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS