Zero-shot audio captioning with audio-language model guidance and audio context keywords
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
提出ZerAuCap框架,利用预训练大语言模型和音频-语言模型引导,结合音频上下文关键词,实现零样本音频描述生成,在AudioCaps和Clotho数据集上取得最优结果。
2023-11-14 cs.AI cs.CL cs.SD
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University(卡内基梅隆大学)
本项目参与DCASE 2022任务6,针对自动音频字幕生成与基于语言的音频检索两个子任务,基于Clotho数据集改进基线模型,最终音频检索模型超越基线,字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning
School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院);Institute for Analytics and Data Science, University of Essex(埃塞克斯大学分析与数据科学研究所)
研究提出无编码器音频字幕模型CARD,去除推理时的编码器,用含合并LoRA适配器的投影仪给冻结的语言模型供能。通过跨组件蒸馏预训练音频教师模型,提升了CIDEr-D指标。
2026-10-02 cs.CL cs.SD
AVCap: Leveraging Audio-Visual Features as Text Tokens for Captioning
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究提出视听字幕生成框架AVCap,将视听特征作为文本标记,围绕编码器架构、预训练模型适配、模态融合效能三个维度设计,在所有指标上超越现有方法,兼具性能与扩展性优势。
2024-07-11 cs.CL cs.LG cs.SD
Caption Feature Space Regularization for Audio Captioning
Beijing University of Posts and Telecommunications(北京邮电大学);Ludong University(鲁东大学)
音频字幕旨在用人类语言描述音频剪辑的内容。由于音频的模糊性,不同的人可能不同地感知到相同的音频,从而导致字幕差异(即,一个音频可以与具有不同语义的几个字幕相关)。为此,一般音频字幕模型通过随机选择相关字幕作为每个音频的真实背景来实现一对多训练。但是,这会导致优化方向的显著变化,削弱了模型的稳定性。为了消除这种负面影响,本文提出了一种两阶段的音频字幕框架:(i)在第一阶段,通过对比学习,我们构造一个代理特征空间来减小与同一音频相关的字幕之间的距离,以及(ii)在第二阶段,代理特征空间被用作附加的监督,以促使模型在有益于所有相关字幕的方向上被优化。我们使用四种常用的编码器和解码器架构在两个数据集上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。该代码可在https://github.com/PRIS-CV/Caption-Feature-Space-Regularization上获得。
2022-04-18 cs.CL cs.SD eess.AS
Audio Difference Captioning Utilizing Similarity-Discrepancy Disentanglement
NTT Corporation(NTT公司)
本研究提出音频差异字幕生成新任务ADC,设计聚焦交叉注意力的Transformer编码器与相似性-差异性解耦方法,构建AudioDiffCaps数据集,实验验证方法可有效提取音频差异并完成字幕生成。
2023-08-23 cs.CL cs.LG cs.SD
Zero-Shot Audio Captioning via Audibility Guidance
Tel Aviv University(特拉维夫大学)
本文提出一种零样本音频字幕生成方法,通过结合GPT-2、ImageBind和文本分类器,在AudioCap数据集上验证了可听性引导能显著提升性能。
2023-09-07 cs.CL cs.SD eess.AS
Locality Matters for Training-Free Audio Token Compression in Audio-Language Models
Zhejiang University(浙江大学)
提出局部时间二分图合并(LTBM)方法,通过显式时间窗口约束合并相似邻近音频令牌,实现免训练的编码器空间压缩,并验证了局部性归纳偏置在音频令牌压缩中的任务依赖性优势。
2026-05-24 cs.CL
Clotho: An Audio Captioning Dataset
Tampere University(坦佩雷大学)
音频字幕是使用自由文本描述一般音频内容的新任务。它是一种跨模态翻译任务(不是语音到文本),其中系统接受音频信号作为输入,并输出该信号的文本描述(即标题)。在本文中,我们提出了Clotho,音频字幕数据集,包括4981音频样本的15至30秒的持续时间和24 905字幕的8至20个单词的长度,和基线方法提供的初步结果。Clotho专注于音频内容和字幕多样性,数据的分割不会妨碍方法的训练或评估。所有声音都来自Freesound平台,字幕使用Amazon Mechanical Turk和来自英语国家的注释器众包。独特的词,命名实体和语音转录被删除后处理。Clotho可在网上免费获得(https://zenodo.org/record/3490684)。
2019-10-21 cs.CL cs.LG cs.SD
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University(南洋理工大学)
在本文中,我们研究了使用预训练音频神经网络(PANNs)的迁移学习的使用,并提出了一种架构,能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标,重建潜在空间相似正则化(RLSSR)。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University(南洋理工大学)
自动音频字幕(AAC)是一个跨模态的任务,它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征,因此对于跨模态解码任务是次优的。在这项工作中,我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说,CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外,我们还应用对比学习,通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明,所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明,预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
SonicCaps: Large-Scale Diverse and Fine-Grained Captioning for Improved Audio-Retrieval
Sony CTC(索尼CTC);LTCI, Telecom Paris, Institut polytechnique de Paris(巴黎综合理工学院电信学院LTCI)
该研究提出大规模音频字幕数据集SonicCaps,通过多模态大语言模型Qwen3-Omni生成约1500万条字幕,采用多字幕采样策略训练CLAP模型,提升了音频检索等任务的性能与泛化能力。
2026-09-03 cs.CL cs.MM cs.SD
RECAP: Retrieval-Augmented Audio Captioning
University of Maryland, College Park(马里兰大学帕克分校)
RECAP 提出一种检索增强的音频字幕生成方法,利用 CLAP 检索相似字幕构建提示并借助 GPT-2 与交叉注意力生成字幕,无需微调即可跨域迁移,并在域外场景和新型音频事件上取得显著提升。
2024-06-06 cs.AI cs.CL cs.SD
Automated Audio Captioning with Recurrent Neural Networks
Tampere University of Technology(坦佩雷理工大学)
我们提出了第一种方法来自动音频字幕。我们采用了一个编码器-解码器方案与对齐模型之间。编码器的输入是从音频文件计算的对数梅尔带能量序列,而输出是单词序列,即字幕。编码器是一个多层的双向门控递归单元(GRU),解码器是一个多层GRU,其分类层连接到解码器的最后一个GRU。分类层和对齐模型是在时间步之间具有共享权重的全连接层。所提出的方法进行评估,使用从商业音效库,ProSound Effects的数据。通过在机器翻译和图像描述领域中使用的度量对所得到的字幕进行评级。度量结果表明,该方法可以预测出现在原始字幕中的单词,但并不总是正确的顺序。
2017-10-24 cs.CL cs.LG cs.SD
CAF-Score: Calibrating CLAP with LALMs for Reference-free Audio-Text Alignment Evaluation
Department of Artificial Intelligence, Sogang University, South Korea(人工智能系,ソガン大学,韩国)
本文提出CAF-Score,一种无参考音频描述评估指标,通过结合对比音频-文本嵌入与LALM推理,有效检测语法不一致和细微幻觉,实验表明其在BRACE基准上与人类判断相关性最高。
2026-11-17 cs.AI cs.CL cs.SD
Enhancing Automated Audio Captioning via Large Language Models with Optimized Audio Encoding
AI Lab, Xiaomi Corporation(小米公司AI实验室)
本文通过使用CED音频编码器与Q-Former压缩声学token、7B参数的Llama 2解码器及辅助LLM纠错,并结合LoRA优化,有效提升了自动音频字幕生成性能,SPIDEr-FL分数达33.0。
2024-06-25 cs.CL cs.SD eess.AS
Evaluating Off-the-Shelf Machine Listening and Natural Language Models for Automated Audio Captioning
Huawei Technologies, Munich Research Center(华为技术有限公司慕尼黑研究中心);Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术研究组);Audio Research Group, Tampere University(坦佩雷大学音频研究组)
自动音频字幕(AAC)是自动生成一般音频信号的文本描述的任务。字幕系统必须从输入信号中识别出各种信息,并用自然语言来表达。现有的工作主要集中在研究新的方法,并试图提高其性能测量现有的数据集。最近才引起人们的注意,很少有关于AAC的工作研究现有的预训练音频和自然语言处理资源的性能。在本文中,我们评估的性能现成的模型与基于变压器的字幕方法。我们利用免费提供的Clotho数据集来比较四种不同的预训练机器听力模型,四种词嵌入模型以及它们在许多不同设置中的组合。我们的评估表明,YAMNet结合BERT嵌入产生最好的字幕。此外,一般来说,微调预训练的词嵌入可以带来更好的性能。最后,我们表明,序列的音频嵌入可以使用Transformer编码器处理,以产生更高质量的字幕。
2021-10-14 cs.CL cs.LG cs.SD
Joint Speech Recognition and Audio Captioning
Carnegie Mellon University(卡内基梅隆大学);Sony Group Corporation(索尼集团公司)
在室内和室外环境中记录的语音样本通常被次级音频源污染。大多数端到端单声道语音识别系统或者使用语音增强来去除这些背景声音,或者训练噪声鲁棒模型。为了更好的模型可解释性和整体的理解,我们的目标是把不断增长的自动音频字幕(AAC)和深入研究的自动语音识别(ASR)领域。AAC的目标是生成音频样本中内容的自然语言描述。我们提出了几种方法的ASR和AAC任务的端到端的联合建模,并展示了它们的优势,传统的方法,这些任务独立建模。在评估我们提出的方法的一个主要障碍是缺乏标记的音频数据集与语音transmittance和音频字幕。因此,我们还通过将干净的语音华尔街日报语料库与从AudioCaps数据集中选择的多个级别的背景噪声混合来创建多任务数据集。我们还进行了广泛的实验评估,并显示我们提出的方法相比,现有的国家的最先进的ASR和AAC方法的改进。
2022-02-03 cs.CL cs.SD eess.AS
Audio Difference Learning for Audio Captioning
LINE Corporation(LINE公司);Nagoya University(名古屋大学)
本研究提出音频差异学习训练范式,通过共享编码器提取输入与参考音频的差异特征生成字幕,并采用音频混合技术免除了差异标注需求,在 Clotho 和 ESC50 数据集上使 SPIDEr 分数提升 7%。
2023-09-15 cs.CL cs.LG cs.SD
Classifier-Guided Captioning Across Modalities
Tel Aviv University(特拉维夫大学);Bar-Ilan University(巴伊兰大学);NVIDIA(英伟达)
本文提出一种推理期文本分类器引导框架,利用 GPT-4 生成数据训练分类器,使冻结字幕模型适配音频等跨模态语义,并在零样本音频字幕生成上达到 SOTA。
2025-01-03 cs.AI cs.CL cs.SD
Optimizing Latency for Online Video CaptioningUsing Audio-Visual Transformers
Mitsubishi electric research laboratories(三菱电机研究实验室)
视频描述是理解场景、用自然语言描述事件的必要技术。为了将其应用于实时监控,系统不仅需要准确地描述事件,而且还需要尽快产生字幕。需要低延迟字幕来实现这样的功能,但是用于在线视频描述字幕的这一研究领域尚未被追求。本文提出了一种新的方法来优化每个字幕的输出时间之间的权衡延迟和字幕质量的基础上。视听变换器被训练为仅使用所有视频帧的一小部分来生成地面实况字幕,并且模仿所有帧都被给予的预先训练的Transformer的输出。基于CNN的定时检测器也被训练来检测适当的输出定时,其中由两个变压器生成的字幕变得彼此足够接近。通过联合训练的Transformer和定时检测器,可以在事件触发的视频剪辑的早期阶段生成字幕,只要事件发生或可以预测。使用ActivityNet Captions数据集进行的实验表明,我们的方法使用整个视频片段实现了预先训练的Transformer给出的上限的94%的字幕质量,仅使用了从开始的28%的帧。
2021-08-04 cs.CL cs.CV
Effects of Word-frequency based Pre- and Post- Processings for Audio Captioning
NTT Corporation(NTT公司)
我们用于声学场景和事件检测和分类(DCASE)2020挑战赛的任务6(自动音频字幕)的系统结合了三个元素,即数据增强,多任务学习和后处理,用于音频字幕。该系统得到了最高的评价分数,但尚未澄清哪些个别因素对其绩效的贡献最大。在这里,为了评估它们的贡献,我们首先对我们的系统进行了元素消融研究,以估计每个元素的有效程度。然后,我们进行了详细的模块化消融研究,以进一步阐明提高精度的关键处理模块。结果表明,数据扩充和后处理显著提高了系统的评分.特别是后处理中的混合数据增强和波束搜索分别使SPIDER提高了0.8和1.6个点。
2020-09-24 cs.CL cs.LG cs.SD
WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research
University of Surrey(萨里大学);Johns Hopkins University(约翰斯·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学);ByteDance(字节跳动);Peking University(北京大学)
为解决音频-语言多模态数据稀缺问题,我们提出WavCaps,一个含约40万弱标注音频片段的大规模数据集,利用ChatGPT辅助三阶段流程过滤噪声并生成高质量字幕,显著提升下游任务性能。
2024-07-18 cs.CL cs.MM cs.SD
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University(坦佩雷大学)
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务,而完全忽略了音轨。只有少数先前的作品利用了这两种模式,但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中,我们介绍了双模态Transformer,它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务,但该模块能够消化任何两种形式的序列到序列的任务。我们还表明,作为双模态Transformer的一部分,预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明,我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得:v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
Query-centric Audio-Visual Cognition Network for Moment Retrieval, Segmentation and Step-Captioning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室)
针对HIREST任务中跨模态层次和关联关系被忽略的问题,提出以查询为中心的音视频认知网络QUAG,通过模态协同感知和深层查询过滤构建多模态表示,在多项任务上达到SOTA并具备良好泛化能力。
2024-12-18 cs.AI cs.CL cs.CV
Killing two birds with one stone: Can an audio captioning system also be used for audio-text retrieval?
IRIT(图卢兹计算机科学研究所);Université Paul Sabatier(保罗·萨巴蒂埃大学);CNRS(法国国家科学研究中心);Artificial and Natural Intelligence Toulouse Institute (ANITI)(图卢兹人工智能与自然智能研究所(ANITI))
本研究探索未经微调的音频字幕生成系统在音频-文本检索中的潜力,利用交叉熵损失值实现检索,在AudioCaps上文本到音频R@1达0.382,超过无外部数据的最先进方法。
2023-08-29 cs.CL cs.IR cs.SD
Multi-modal Dense Video Captioning
Tampere University(坦佩雷大学)
密集视频描述是从未修剪的视频中定位感兴趣的事件并为每个定位的事件产生文本描述(字幕)的任务。以往的密集视频描述中的大部分作品都是单纯基于视觉信息而完全忽略了音轨。然而,音频,特别是语音,是人类观察者理解环境的重要线索。在本文中,我们提出了一种新的密集的视频描述方法,能够利用任何数量的事件描述的方式。具体来说,我们展示了如何音频和语音模态可以提高密集的视频描述模型。我们应用自动语音识别(ASR)系统来获得语音的时间对齐的文本描述(类似于字幕),并将其视为与视频帧和相应的音轨一起的单独输入。我们制定的字幕任务作为一个机器翻译的问题,并利用最近提出的Transformer架构转换成文本描述的多模态输入数据。我们在ActivityNet Captions数据集上展示了我们的模型的性能。消融研究表明,相当大的贡献,从音频和语音组件,这表明这些方式包含大量的补充信息,视频帧。此外,我们通过利用从原始YouTube视频中获得的类别标签,对ActivityNet Caption结果进行了深入分析。代码公开:github.com/v-iashin/MDVC
2020-05-05 cs.CL cs.CV cs.LG
CANVAS: Captioning Art with Narrative Visual-Audio AI Systems
BASIS Phoenix High School(BASIS凤凰高中)
提出一种自动化工作流,利用大语言模型和文本转语音服务生成多感官艺术描述和同步音频解说,在20秒内以低于0.05美元的成本生成文本加音频输出,显著提高词汇多样性和叙事细节。
2026-10-20 cs.AI cs.CL cs.HC
Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning
University of California, Santa Barbara(加州大学圣巴巴拉分校)
视频描述的主要挑战是结合音频和视觉提示。现有的多模态融合方法在视频理解中取得了令人鼓舞的结果。然而,在不同粒度的多模态的时间结构很少探索,如何选择性地融合在不同层次的细节的多模态表示仍然是未知的。在本文中,我们提出了一种新的层次对齐的跨模态注意力(HACA)框架学习和选择性地融合不同模态的全局和局部时间动态。此外,我们首次验证了深度音频特征在视频描述任务上的优越性能。最后,我们的HACA模型显著优于以前的最佳系统,并在广泛使用的MSR-VTT数据集上取得了新的最先进的结果。
2018-04-15 cs.AI cs.CL cs.CV
MusCaps: Generating Captions for Music Audio
Queen Mary University of London(伦敦玛丽女王大学);Universal Music Group(环球音乐集团)
随着深度学习的采用,基于内容的音乐信息检索取得了快速发展。目前的高级音乐描述方法通常使用分类模型,例如自动标记或流派和情绪分类。在这项工作中,我们建议通过音频字幕来解决音乐描述,定义为以类似人类的方式生成音乐音频内容的自然语言描述的任务。为此,我们提出了第一个音乐音频字幕模型,MusCaps,由一个编码器-解码器与时间的注意。我们的方法结合了卷积和递归神经网络架构,通过多模式编码器联合处理音频文本输入,并利用音频数据的预训练来获得有效捕获和总结输入中音乐特征的表示。通过自动度量生成的字幕的评估表明,我们的方法优于非音乐音频字幕设计的基线。通过消融研究,我们发现这种性能提升主要归功于音频编码器的预训练,而其他设计选择-模态融合,解码策略和注意力的使用-贡献很小。我们的模型代表了从基于分类的音乐描述的转变,并结合了需要听觉和语言理解的任务,以弥合音乐信息检索的语义差距。
2021-04-24 cs.CL cs.LG cs.SD
TADACap: Time-series Adaptive Domain-Aware Captioning
JP Morgan AI Research(摩根大通人工智能研究院)
针对现有时序图像captioning方法难以适应新领域且描述缺乏领域感知的问题,该研究提出TADACap框架,无需重新训练即可适应新领域生成领域感知caption,并提出TADACap-diverse检索策略,在保证语义准确性的同时减少标注工作量。
2025-04-15 cs.CL cs.CV
Can Audio Captions Be Evaluated with Image Caption Metrics?
Shanghai Jiao Tong University(上海交通大学)
自动音频字幕旨在为音频片段生成文本描述。为了评估生成的音频字幕的质量,以前的作品直接采用图像描述的指标,如SPICE和CIDER,没有证明他们在这个新领域的适用性,这可能会误导先进模型的发展。由于缺乏对字幕质量的人类判断数据集,这个问题仍然没有得到研究。因此,我们首先构建了两个评估基准,AudioCaps-Eval和Clotho-Eval。它们是通过成对比较而不是绝对评级来建立的,以实现更好的注释者间一致性。目前的指标与这些数据集上的人类注释相关性很差。为了克服它们的局限性,我们提出了一个名为FENSE的度量标准,在该度量标准中,我们结合了Sentence-BERT在捕获相似性方面的强度,以及一种新的错误检测器来惩罚错误句子以提高鲁棒性。在新建立的基准测试中,FENSE的准确率超过当前指标14-25%。代码、数据和Web演示可在https://github.com/blmoistawinde/fense上获得
2022-01-27 cs.CL cs.SD eess.AS
Captioning Images with Diverse Objects
UT Austin(得克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校);Boston Univ(波士顿大学)
最近的字幕模型在扩展和描述成对图像-文本语料库中看不到的概念的能力方面受到限制。我们提出了新颖的对象字幕(NOC),一个深度的视觉语义字幕模型,可以描述大量的对象类别不存在于现有的图像字幕数据集。我们的模型利用了外部资源--来自对象识别数据集的标记图像,以及从未注释文本中提取的语义知识。我们建议最小化一个联合目标,它可以从这些不同的数据源中学习,并利用分布式语义嵌入,使模型能够概括和描述图像标题数据集之外的新对象。我们证明了我们的模型利用语义信息为ImageNet对象识别数据集中的数百个对象类别生成标题,这些对象类别在MSCOCO图像标题训练数据中没有观察到,以及许多很少观察到的类别。自动评估和人类判断都表明,我们的模型在能够描述更多类别的对象方面大大优于先前的工作。
2017-07-20 cs.CL cs.CV
Prefix-diffusion: A Lightweight Diffusion Model for Diverse Image Captioning
Dalian University of Technology(大连理工大学);Meituan(美团);Information Engineering University(信息工程大学)
针对图像描述生成多样性不足和参数规模大的问题,提出Prefix-diffusion轻量级扩散模型,通过注入前缀图像嵌入和映射网络实现低参数下的多样化描述生成。
2023-10-17 cs.AI cs.CL cs.CV
Music Understanding LLaMA: Advancing Text-to-Music Generation with Question Answering and Captioning
Tencent PCG(腾讯平台与内容事业群);National University of Singapore(新加坡国立大学)
针对文本到音乐生成缺乏带字幕的大规模公开数据集的问题,提出能完成音乐问答与字幕生成的MU-LLaMA模型,配套构建MusicQA数据集,实验显示其性能超越现有SOTA模型。
2023-08-22 cs.AI cs.CL cs.MM
Variational Stacked Local Attention Networks for Diverse Video Captioning
Independent University, Bangladesh(孟加拉国独立大学)
视频描述模型在用自然语言描述时空事件时,主要依赖于编码器的潜在视觉表示。编码器-解码器模型的最新进展主要涉及与解码器线性交互的编码器特征。然而,不断增长的模型复杂性的视觉数据鼓励更明确的功能交互的细粒度的信息,这是目前缺乏在视频描述域。此外,特征聚合方法已被用于通过连接或使用线性层来揭示更丰富的视觉表示。虽然视频的特征集在语义上有一定程度的重叠,但这些方法会导致客观不匹配和特征冗余。此外,字幕的多样性是从几个有意义的角度表达一个事件的基本组成部分,目前在时间上缺失,即,视频描述域。为此,我们提出了变分堆叠局部注意力网络(VSLAN),它利用低秩双线性池进行自关注特征交互,并以折扣方式堆叠多个视频特征流。每个特征堆栈的学习属性有助于我们提出的多样性编码模块,然后是解码查询阶段,以促进端到端的多样性和自然的字幕,而无需对属性进行任何显式监督。我们在MSVD和MSR-VTT数据集上评估VSLAN的语法和多样性。VSLAN的CIDER评分分别优于MSVD上的$7.8\%$和MSR-VTT上的$4.5\%$的当前现成方法。在相同的数据集上,VSLAN在字幕多样性指标上取得了有竞争力的结果。
2022-01-04 cs.CL cs.CV
ADS-Cap: A Framework for Accurate and Diverse Stylized Captioning with Unpaired Stylistic Corpora
Nanjing University(南京大学)
提出ADS-Cap框架,通过对比学习模块、条件变分自编码器和复核模块,利用非配对风格语料库生成准确且多样化的风格化图像描述,在多个数据集上表现优异。
2023-08-02 cs.CL cs.CV
Diverse and Styled Image Captioning Using SVD-Based Mixture of Recurrent Experts
Amirkabir University of Technology (Tehran Polytechnic)(德黑兰理工大学);Department of Mathematics and Computer Science(数学与计算机科学系);Department of Computer Engineering(计算机工程系)
随着视觉和自然语言处理技术的发展,图像字幕的生成成为一种需要。Mathews、Xie和He [1]在最近的一篇论文中扩展了一个新的模型,通过分离语义和风格来生成风格化的字幕。在继续这项工作中,这里开发了一个新的字幕模型,包括一个图像编码器来提取特征,一个混合的递归网络来嵌入一组提取的特征到一组单词中,以及一个句子生成器,它将所获得的单词组合为一个风格化的句子。由此产生的系统,称为递归专家混合(MoRE),使用一种新的训练算法,从递归神经网络(RNN)的加权矩阵导出奇异值分解(SVD),以增加字幕的多样性。每个分解步骤取决于基于MoRE中RNN数量的独特因子。由于所使用的句子生成器提供了一个风格化的语言语料库,没有配对的图像,我们的字幕模型也可以做到这一点。此外,风格化和多样化的字幕提取,而无需在密集标记或风格化的数据集上进行训练。为了验证该字幕模型,我们使用Microsoft COCO,这是一个标准的事实图像字幕数据集。我们表明,建议的字幕模型可以生成一个多样化的和风格化的图像字幕,而不需要额外的标签。结果还显示在内容准确性方面有更好的描述。
2020-07-07 cs.CL cs.CV cs.LG
Fish Audio S2 Technical Report
Fish Audio Team(Fish Audio 团队)
Fish Audio S2开源文本到语音系统支持多说话人、多轮生成和指令遵循控制,提供生产级流式推理引擎和模型权重。
2026-03-11 cs.AI cs.CL cs.SD
Surveying the Landscape of Image Captioning Evaluation: A Comprehensive Taxonomy, Trends and Metrics Analysis
School of Computer Science and Engineering, The Hebrew University of Jerusalem(希伯来大学耶路撒冷分校计算机科学与工程学院);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息学院)
本文首次对70多种图像描述评估指标进行分类调查,发现多数研究仅依赖五种与人类评分弱相关的指标,并提出基于线性回归的集成方法EnsembEval以提升评估效果。
2025-09-14 cs.CL cs.CV
Taming Data and Transformers for Audio Generation
Rice University(莱斯大学);Snap Inc(森宝公司)
针对环境声音生成器受数据稀缺、字幕质量不足及模型架构限制的问题,提出高效数据集收集管道构建AutoReCap-XL数据集、AutoCap字幕模型提升注释质量,以及GenAu可扩展架构,显著提升生成性能。
2025-04-16 cs.CL cs.CV cs.MM
RONA: Pragmatically Diverse Image Captioning with Coherence Relations
The Pennsylvania State University(宾夕法尼亚州立大学);National Institute of Technology, Tiruchirappalli(特里奇里帕利理工学院)
本文提出 RONA 提示策略,将连贯关系作为 MLLM 生成图像描述时的语用变化控制轴,从而在多个领域提升描述多样性及与真值的对齐程度。
2025-06-09 cs.AI cs.CL cs.CV
Sequential Latent Spaces for Modeling the Intention During Diverse Image Captioning
Georgia Institute of Technology(佐治亚理工学院);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
多样化和准确的视觉+语言建模是保持创作自由和保持用户参与度的重要目标。然而,在语言模型中充分捕捉多样性的复杂性是具有挑战性的。最近的作品通常诉诸于潜变量模型增强或多或少的监督对象检测器或部分的语音标签。所有这些方法的共同之处在于,潜在变量要么只影响句子生成过程,要么在生成的各个步骤中是相同的。这两种方法都没有提供细粒度的控制。为了解决这个问题,我们提出了Seq-CVAE,它为每个单词位置学习一个潜在空间。我们鼓励这个时间的潜在空间来捕捉“意图”关于如何完成的句子,通过模仿一个代表,总结了未来。我们说明了所提出的方法的有效性,以预测具有挑战性的MSCOCO数据集上的句子延续,显着提高多样性指标相比,基线,同时执行标准的w.r.t句子质量。
2019-08-22 cs.CL cs.CV cs.LG
Factor-Conditioned Speaking-Style Captioning
NTT Corporation(NTT公司)
提出因子条件化描述(FCC)和先贪婪后采样(GtS)解码方法,通过先预测风格因子再生成描述,解决传统描述中语法词干扰学习的问题,在保持风格预测性能的同时生成更多样化的说话风格描述。
2024-06-27 cs.CL cs.SD eess.AS
ALCAP: Alignment-Augmented Music Captioner
USC Information Sciences Institute(南加州大学信息科学研究所);TikTok Inc.(TikTok公司);University of Buffalo(布法罗大学)
本研究提出ALCAP方法,通过对比学习音频与歌词间的多模态对齐,增强跨模态连贯性以生成高质量音乐字幕,在两个数据集上达到SOTA。
2023-10-22 cs.CL cs.IR cs.MM
Audio Dialogues: Dialogues dataset for audio and music understanding
NVIDIA(英伟达)
针对现有音频理解数据集多为单轮交互、缺乏对话式理解支撑的问题,研究团队构建了含16.38万样本的多轮音频对话数据集Audio Dialogues,覆盖通用音频与音乐,支持多音频比较,基于提示方法和现有字幕标注用LLM生成对话,并验证了其复杂性与适用性。
2024-04-11 cs.CL cs.SD eess.AS
Diffusion-Link: Diffusion Probabilistic Model for Bridging the Audio-Text Modality Gap
Korea Advanced Institute of Science and Technology, South Korea(韩国科学技术院);University of Seoul, South Korea(首尔大学)
提出基于扩散的模态桥接模块Diffusion-Link,将音频嵌入映射至文本分布以弥合模态鸿沟,在AAC任务中显著提升多模态LLM的零样本与监督性能并达到SOTA。
2025-10-13 cs.AI cs.CL cs.LG