Weakly Supervised Dense Video Captioning via Jointly Usage of Knowledge Distillation and Cross-modal Matching
Hangzhou Dianzi University(杭州电子科技大学);Baidu Inc.(百度公司);Zhejiang International Studies University(浙江外国语学院)
提出了一种无需事件句标注的密集视频描述(DVC)方法。首先,我们采用从相关和解决好的任务中提取的知识来生成高质量的活动提案。然后,我们将通常应用于跨模态检索任务的对比损失和循环一致性损失,以建立建议和句子之间的语义匹配,最终用于训练字幕生成模块。此外,匹配模块的参数通过预训练的基础上标注的图像进行初始化,以提高匹配性能。在ActivityNet-Caption数据集上的大量实验表明,基于提取的事件建议生成和基于跨模态检索的语义匹配对弱监督DVC具有重要意义,并证明了该方法相对于现有方法的优越性.
2021-05-18 cs.CV
Five Years of SciCap: What We Learned and Future Directions for Scientific Figure Captioning
SciCap项目通过五年研究总结了科学图表描述领域的技术经验,并提出了未来研究的五个关键方向。
2026-01-15 cs.AI cs.CL cs.CV
Support-set based Multi-modal Representation Enhancement for Video Captioning
University of Electronic Science and Technology of China(电子科技大学)
视频描述是一项具有挑战性的任务,需要对视觉场景进行透彻的理解。现有的方法遵循典型的一对一映射,集中在一个有限的样本空间,而忽略了样本之间的内在语义关联,导致刚性和无信息的表达式。为了解决这个问题,我们提出了一种新的和灵活的框架,即基于支持集的多模态表示增强(SMRE)模型,挖掘样本之间共享的语义子空间中的丰富信息。具体来说,我们提出了一个支持集建设(SC)模块构建一个支持集学习样本之间的潜在连接,并获得语义相关的视觉元素。在这个过程中,我们设计了一个语义空间转换(SST)模块,以约束相对距离和管理多模态交互的自我监督的方式。MSVD和MSR-VTT数据集上的大量实验表明,我们的SMRE达到了最先进的性能。
2022-05-19 cs.CV
AnyCap Project: A Unified Framework, Dataset, and Benchmark for Controllable Omni-modal Captioning
Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
针对可控字幕生成模型缺细粒度控制、缺可靠评估与数据的问题,提出AnyCap Project,含即插即用可控框架ACM、30万条多模态数据集ACD及解耦评估的AnyCapEval基准,显著提升多基准上的字幕质量。
2025-10-28 cs.CV
Explicit Temporal-Semantic Modeling for Dense Video Captioning via Context-Aware Cross-Modal Interaction
针对现有密集视频字幕方法隐式建模无法捕捉时间连贯性与完整语义的问题,本文提出显式时空语义建模框架CACMI,通过两个核心模块融合时序与语义信息,在两个基准数据集上取得SOTA性能。
2025-11-13 cs.CV
Cross-Modal Graph with Meta Concepts for Video Captioning
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Salesforce Research Asia(Salesforce亚洲研究院)
视频描述的目标是将复杂的视觉内容解释为文本描述,这要求模型完全理解包括对象及其交互在内的视频场景。现有的方法采用现成的目标检测网络来给出对象建议,并使用注意力机制来建模对象之间的关系。它们通常会遗漏预训练模型中一些未定义的语义概念,并且无法识别对象之间的精确谓词关系。在本文中,我们研究了一个开放的研究任务,生成给定的视频的文本描述,并提出跨模态图(CMG)与Meta概念的视频描述。具体来说,为了覆盖视频字幕中有用的语义概念,我们弱学习文本描述的相应视觉区域,其中相关联的视觉区域和文本词被称为跨模态Meta概念。我们进一步动态地构建Meta概念图与学习的跨模态Meta概念。我们还构建了整体视频级和局部帧级视频图与预测的谓词模型视频序列结构。我们通过广泛的实验验证了我们提出的技术的有效性,并在两个公共数据集上获得了最先进的结果。
2022-08-01 cs.CV
Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning
Nanjing University, State Key Laboratory for Novel Software Technology(南京大学,计算机软件新技术国家重点实验室);Meituan(美团)
提出TCA-Captioner框架,通过观察-检查-纠正迭代策略和密集交互数据集,解决视听字幕中的模态分离与时间不一致问题,实现精准的视听绑定与因果动态建模。
2026-07-03 cs.CV
Sensor-Augmented Egocentric-Video Captioning with Dynamic Modal Attention
Hitachi, Ltd.(日立制作所)
自动描述视频,或称视频描述,在多媒体领域得到了广泛的研究。本文提出了一种新的任务,传感器增强自我中心的视频描述,一个新构建的数据集,它称为MMAC字幕,和新提出的任务,有效地利用多模态数据的视频和运动传感器,或惯性测量单元(IMU)的方法。虽然传统的视频描述任务由于固定摄像机的有限视角而难以处理人类活动的详细描述,但自我中心视觉具有更大的潜力,可用于基于近得多的视角来生成人类活动的更细粒度的描述。此外,我们利用可穿戴传感器数据作为辅助信息,以减轻自我中心视觉的固有问题:运动模糊,自遮挡和相机范围外的活动。我们提出了一种方法,有效地利用传感器数据与视频数据的基础上的注意力机制,动态地确定模态,需要更多的关注,考虑到上下文信息。我们将所提出的传感器融合方法与MMAC Captions数据集上的强基线进行了比较,发现使用传感器数据作为自我中心视频数据的补充信息是有益的,并且我们提出的方法优于强基线,证明了所提出的方法的有效性。
2021-09-07 cs.CV
Boosting Entity-aware Image Captioning with Multi-modal Knowledge Graph
Beijing Institute of Technology(北京理工大学);Alibaba Group(阿里巴巴集团);University of Rochester(罗切斯特大学)
安全感知图像描述旨在通过利用相关文章中的背景知识来描述与图像相关的命名实体和事件。这个任务仍然具有挑战性,因为由于命名实体的长尾分布,很难学习命名实体和视觉线索之间的关联。此外,文章的复杂性也给提取实体之间的细粒度关系以生成关于图像的信息事件描述带来了困难。为了应对这些挑战,我们提出了一种新的方法,构建一个多模态的知识图谱,将视觉对象与命名实体相关联,并捕获实体之间的关系,同时从网络上收集的外部知识的帮助。具体来说,我们通过从文章中提取命名实体及其关系来构建文本子图,并通过检测图像中的对象来构建图像子图。为了连接这两个子图,我们提出了一个跨模态实体匹配模块,使用包含维基百科条目和相应图像的知识库进行训练。最后,通过图注意力机制将多模态知识图谱集成到字幕模型中。在GoodNews和NYTimes800k数据集上的大量实验证明了该方法的有效性。
2021-07-26 cs.CV
Do You Remember? Dense Video Captioning with Cross-Modal Memory Retrieval
Kyung Hee University(庆熙大学);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
针对仅靠视觉输入完成密集视频字幕生成任务语义不足的问题,提出融合外部记忆先验知识的跨模态记忆检索框架,无需大规模视频预训练即在两个基准数据集上取得良好效果。
2024-04-11 cs.CV
AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning
Nanjing University(南京大学);Kuaishou Technology(快手科技);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
研究全模态视频字幕编排视听协同问题,提出AVSCap框架,构建训练语料库,采用两阶段策略训练字幕生成器,引入新基准,实验表明该模型在非语音音频覆盖率和跨模态绑定方面表现出色,提升了整体性能。
2026-07-15 cs.CV
OmniFysics-Captioner Technical Report: Grounding Omni-Modal Understanding in the Physical World for Better Captioning
针对现有全模态描述生成器忽视物理证据的问题,提出统一框架,通过数据构建、训练和评估,利用物理感知模型提取线索,训练出在多个基准上达到最先进水平的描述生成器。
2026-09-29 cs.CV
X-Trans2Cap: Cross-Modal Knowledge Transfer using Transformer for 3D Dense Captioning
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));The Future Network of Intelligence Institute(未来网络智能研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Shanghai Jiao Tong University(上海交通大学);Sun Yat-sen University(中山大学)
3D密集字幕旨在通过自然语言描述3D场景中的单个对象,其中3D场景通常表示为RGB-D扫描或点云。然而,仅利用单一模态信息,例如,点云,以前的方法不能产生忠实的描述。虽然将2D特征聚合到点云中可能是有益的,但它引入了额外的计算负担,特别是在推理阶段。在这项研究中,我们研究了跨模态知识转移使用Transformer的3D密集字幕,X-trans 2Cap,有效地提高性能的单模态3D字幕通过知识蒸馏使用师生框架。在实践中,在训练阶段,教师网络利用辅助2D模态,并通过特征一致性约束指导仅将点云作为输入的学生网络。由于设计良好的跨模态特征融合模块和训练阶段的特征对齐,X-Trans 2Cap可以轻松获取嵌入在2D图像中的丰富外观信息。因此,在推断期间,可以仅使用点云来生成更忠实的字幕。定性和定量结果证实,X-Trans 2Cap的性能大大优于先前的最先进技术,即,ScanRefer和Nr 3D数据集上的CIDEr绝对评分分别约为+21和约+16。
2022-04-06 cs.CV
FigEx2: Visual-Conditioned Panel Detection and Captioning for Scientific Compound Figures
University of Pittsburgh(匹兹堡大学);UPMC Hillman Cancer Center(UPMC希尔曼癌症中心)
针对科学复合图像中缺乏标注的问题,FigEx2通过视觉条件化框架直接从图像生成面板标注,提升下游预训练和检索性能,同时引入噪声感知门控融合模块和分阶段SFT+RL策略。
2026-09-09 cs.AI cs.CL cs.CV
The Solution for the ICCV 2023 1st Scientific Figure Captioning Challenge
Nanjing University of Science and Technology(南京理工大学);Baidu,Inc(百度公司);Boss Zhipin(Boss直聘)
本文提出一种提升论文图像描述生成质量的解决方案,通过 PaddleOCR 提取 OCR 信息,利用 LLaMA 过滤无关文本,并集成 BRIO 框架对齐生成与评估过程,最终在挑战赛中排名第一。
2024-03-26 cs.AI cs.CV
X-Linear Attention Networks for Image Captioning
JD AI Research(京东人工智能研究院)
最近在细粒度视觉识别和视觉问答方面的进展具有双线性池,其有效地对跨多模态输入的2 $^{nd}$阶交互进行建模。然而,还没有证据支持建立这样的互动与注意力机制的同时图像描述。在本文中,我们介绍了一个统一的注意力块- X-线性注意力块,充分利用双线性池选择性地利用视觉信息或执行多模态推理。从技术上讲,X-线性注意力块同时利用空间和通道双线性注意力分布来捕获输入单模态或多模态特征之间的2 $^{nd}$阶交互。通过堆叠多个X-线性注意力块并以无参数的方式分别为块配备指数线性单元(ELU),可以容易地对更高阶和甚至无穷阶特征交互进行建模。此外,我们提出了X-线性注意力网络(简称为X-LAN),它新颖地将X-线性注意力块集成到图像描述模型的图像编码器和句子解码器中,以利用更高阶的模态内和模态间交互。在COCO基准测试上的实验表明,我们的X-LAN在COCO Karpathy测试分裂上获得了迄今为止最好的CIDEr性能132.0%。当进一步赋予Transformer X-线性注意力块时,CIDER提升到132.8%。源代码可从\url{https://github.com/Panda-Peter/image-captioning}获得。
2020-03-31 cs.CV
TPCap: Unlocking Zero-Shot Image Captioning with Trigger-Augmented and Multi-Modal Purification Modules
Faculty of Information Engineering and Automation, Kunming University of Science and Technology(昆明理工大学信息工程与自动化学院);Yunnan Key Laboratory of Computer Technologies Application(云南省计算机技术应用重点实验室);Hongyun Honghe Group Honghe Cigarette Factory(红云红河集团红河卷烟厂)
针对现有基于RAG的图像描述方法依赖独立检索库导致计算开销大、限制LLMs零样本能力的问题,提出TPCap框架,通过触发增强生成和多模态净化模块,无需外部检索库实现零样本图像描述,在多数据集上取得与SOTA相当的性能。
2025-02-16 cs.CV
Cross2StrA: Unpaired Cross-lingual Image Captioning with Cross-lingual Cross-modal Structure-pivoted Alignment
National University of Singapore(新加坡国立大学)
本文提出Cross2StrA模型,利用场景图和句法成分树作为枢轴结构,结合跨模态语义对齐、跨语言句法对齐及回译训练,显著提升了无配对跨语言图像描述的相关性和流畅性。
2023-05-25 cs.CL cs.CV
OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning
NJU-LINK Team, Nanjing University(南京大学 NJU-LINK 团队);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
提出首个全模态字幕指令遵循基准OmniCap-IF,通过格式与内容正确性评估50种约束类型,揭示格式-内容权衡,并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。
2026-06-07 cs.CV
Image Captioning with Clause-Focused Metrics in a Multi-Modal Setting for Marketing
University of Augsburg(奥格斯堡大学);GfK Verein(GfK协会)
自动生成图像的描述性字幕是计算机视觉中的一个研究热点。然而,现有的评价方法侧重于衡量两个句子之间的相似性,而忽略了细粒度的语义的字幕。在我们的设置的图像描绘的人与品牌产品的互动,主题,谓词,对象和品牌产品的名称是重要的评价标准生成的字幕。生成具有这些约束的图像字幕是一个新的挑战,我们在这项工作中解决。通过同时预测描述人与产品交互属性的整数值评级,我们在多任务学习设置中优化了深度神经网络架构,这大大提高了字幕质量。此外,我们引入了一个新的度量,使我们能够评估生成的字幕是否满足我们的要求(即,主语、谓语、宾语和产品名称),并描述了一系列关于字幕质量的实验,以及如何用一种称为软目标的方法来解决注释者对图像评级的分歧。我们还表明,我们的新的子句为重点的指标也适用于其他图像描述数据集,如流行的MSCOCO数据集。
2019-05-06 cs.CV
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University(杭州电子科技大学);University of Chinese Academy of Sciences(中国科学院大学)
图像描述的目标是自动生成给定图像的自然语言描述,并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络(CNN)的图像编码器,从输入图像中提取基于区域的视觉特征,和一个基于递归神经网络(RNN)的字幕解码器,基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功,目前的方法只建模的共同注意的特点,通道间的相互作用,而忽略了自我注意的特点,通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发,本文将其扩展为一个用于图像描述的多模态Transformer(MT)模型。与现有的图像描述方法相比,MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成,MT模型可以执行复杂的多模态推理并输出准确的字幕。此外,为了进一步提高图像描述的性能,多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法,并进行广泛的消融研究,以调查其有效性背后的原因。实验结果表明,我们的方法显着优于以前的国家的最先进的方法。在撰写本文时,我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
Hierarchical Multi-Modal Retrieval for Knowledge-Grounded News Image Captioning
University of Science, VNU-HCM(越南国立大学胡志明市分校理学院);Vietnam National University, Ho Chi Minh City(越南国立大学胡志明市分校)
提出分层多模态文章检索增强的图像描述框架,通过结构感知检索和上下文精炼,结合VLM和LLM生成富含上下文细节的描述,在EVENTA 2025挑战赛中获得第5名。
2026-06-18 cs.CV
Cross-Modal Similarity-Based Curriculum Learning for Image Captioning
Nagoya University(名古屋大学);National Institute of Informatics(国立信息学研究所)
图像描述模型需要高水平的泛化能力来用文字描述各种图像的内容。大多数现有的方法在训练中平等对待图像-字幕对,而不考虑它们学习难度的差异。几种图像描述方法引入了课程学习方法,其呈现具有增加的难度级别的训练数据。然而,它们的难度测量要么基于特定领域的特征,要么基于先前的模型训练。在本文中,我们提出了一个简单而有效的难度测量图像描述使用跨模态相似度计算的预训练视觉语言模型。COCO和Flickr 30 k数据集上的实验表明,我们提出的方法实现了卓越的性能和有竞争力的收敛速度,而不需要额外的训练成本或产生额外的训练成本。此外,在困难示例和未知数据上的较高模型性能也证明了泛化能力。
2022-12-14 cs.CL cs.CV
Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning
University of California, Santa Barbara(加州大学圣巴巴拉分校)
视频描述的主要挑战是结合音频和视觉提示。现有的多模态融合方法在视频理解中取得了令人鼓舞的结果。然而,在不同粒度的多模态的时间结构很少探索,如何选择性地融合在不同层次的细节的多模态表示仍然是未知的。在本文中,我们提出了一种新的层次对齐的跨模态注意力(HACA)框架学习和选择性地融合不同模态的全局和局部时间动态。此外,我们首次验证了深度音频特征在视频描述任务上的优越性能。最后,我们的HACA模型显著优于以前的最佳系统,并在广泛使用的MSR-VTT数据集上取得了新的最先进的结果。
2018-04-15 cs.AI cs.CL cs.CV
Efficient Image Captioning for Edge Devices
Huawei Inc.(华为公司)
近年来,图像描述的发展非常迅速。然而,对大的存储器存储和沉重的计算负担的需求阻止这些字幕模型被部署在移动设备上。主要的障碍在于重量级的视觉特征提取器(即,目标检测器)和复杂的跨模态融合网络。为此,我们提出了LightCap,一个轻量级的图像字幕资源有限的设备。核心设计是建立在最新的CLIP模型,以实现高效的图像描述。具体来说,一方面,我们利用CLIP模型来提取紧凑的网格特征,而不依赖于耗时的目标检测器。另一方面,通过设计一个新颖的视觉概念提取器和交叉模态调制器,将CLIP的图文检索设计转移到图像描述场景中。我们通过顺序和集成蒸馏进一步优化了跨模态融合模型和并行预测头。通过精心设计的结构,我们的模型仅包含40 M参数,与当前最先进的方法相比,节省了75%以上的模型大小和98%以上的FLOP。尽管容量较低,但我们的模型在流行的数据集上仍然表现出最先进的性能,例如,136.6 CIDEr对COCO Karpathy测试的拆分。在只有一个CPU的智能手机上进行测试,所提出的LightCap显示出每幅图像188ms的快速推理速度,这是为实际应用做好了准备。
2022-12-18 cs.CV
CG-MLLM: Captioning and Generating 3D content via Multi-modal Large Language Models
Zhejiang University, China(浙江大学)
本文提出CG-MLLM,一种能实现3D描述和高分辨率3D生成的多模态大语言模型,通过混合Transformer架构分离不同建模需求,结合预训练视觉语言模型与专用3D VAE潜在空间,提升3D生成质量与感知能力。
2026-05-15 cs.CV
Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning
University of Chinese Academy of Sciences(中国科学院大学);Hangzhou Dianzi University (HDU)(杭州电子科技大学);Lishui Institute of HDU(杭州电子科技大学丽水研究院);Key Laboratory of AI Safety of CAS(中国科学院人工智能安全重点实验室);Institute of Computing Technology, Chinese Academy of Sciences (CAS)(中国科学院计算技术研究所)
本文提出干扰免疫表示学习网络,通过自监督通道关联与去相关获得稳定图像表示,并设计跨模态对比正则化提升变化描述生成,在四个公共数据集上超越现有方法。
2024-07-16 cs.CV
Watching Synthetic Videos: Aligning Cross-modal Representations with Visual Synthesis for Zero-shot Video Captioning
School of Software, Northwestern Polytechnical University(西北工业大学软件学院);School of Information Science and Technology, Beijing University of Technology(北京工业大学信息科学与技术学院);School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);School of Computer Science, The University of Sydney(悉尼大学计算机科学学院)
本文提出WSV零样本视频字幕生成框架,通过文本到视频生成模型、抛光器、提示器弥合跨模态差距,在三个公开数据集上取得了B@4 52、CIDEr 95.7的成绩。
2026-08-12 cs.CV
Multi-Modal interpretable automatic video captioning
École Supérieure des Techniques Aéronautiques et de Construction Automobile (ESTACA)(高等航空与汽车制造技术学院(ESTACA));Télécom SudParis(南巴黎电信学院)
提出一种基于多模态对比损失的视频字幕生成方法,融合音频与视觉信息并利用多种注意力机制提升可解释性,在 MSR-VTT 和 VATEX 数据集上优于现有模型。
2024-11-11 cs.AI cs.CV
Contextualized Keyword Representations for Multi-modal Retinal Image Captioning
University of Amsterdam(阿姆斯特丹大学);Georgia Institute of Technology(佐治亚理工学院)
医学图像描述自动生成医学描述以描述给定医学图像的内容。传统的医学图像描述模型仅基于单个医学图像输入来创建医学描述。因此,基于传统方法难以生成抽象的医学描述或概念。这种方法限制了医学图像描述的有效性。多模态医学图像描述是用于解决该问题的方法之一。在多模态医学图像描述中,文本输入,例如,专家定义的关键字被认为是医学描述生成的主要驱动力之一。因此,有效地编码文本输入和医学图像对于多模态医学图像描述的任务都是重要的。在这项工作中,提出了一种新的端到端深度多模态医学图像描述模型。语境化的关键字表示,文本特征强化,和掩蔽的自我注意力被用来开发所提出的方法。在现有多模态医学图像描述数据集上的实验结果表明,与现有方法相比,该模型的BLEU-avg和CIDEr分别提高了+53.2%和18.6%。
2021-04-26 cs.AI cs.CL cs.CV
Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain
GTS, Huawei Technologies Co., Ltd.(华为技术有限公司GTS部门)
本文提出多阶段训练策略,构建ICT领域图像描述模型DICModel,通过合成图像文本对提升模型性能,实验表明其在BLEU指标和准确率上均优于现有模型。
2026-05-07 cs.CV
Multi-modal reward for visual relationships-based image captioning
University of Isfahan(伊斯法罕大学)
深度神经网络由于其有效的表示学习和基于上下文的内容生成能力,在自动图像描述方面取得了令人鼓舞的成果。作为在许多最近的图像描述方法中使用的突出类型的深度特征,与直接从原始图像提取的特征图相比,公知的自底向上特征提供图像的不同对象的详细表示。然而,缺乏高层次的语义信息,这些对象之间的关系是一个重要的缺点,自底向上的功能,尽管其昂贵的和资源需求的提取过程。为了在字幕生成中利用视觉关系,提出了一种基于深度神经网络的图像描述字幕生成架构,该架构将从图像场景图中提取的视觉关系信息与图像的空间特征图融合。然后引入多模态奖励函数,用于在公共嵌入空间中使用语言和视觉相似性的组合对所提出的网络进行深度强化学习。在MSCOCO数据集上的大量实验结果表明,在所提出的字幕方法中使用视觉关系是有效的。此外,结果清楚地表明,在深度强化学习中提出的多模态奖励可以实现更好的模型优化,优于几种最先进的图像描述算法,同时使用轻便且易于提取的图像特征。构成所提出的方法的组件的详细的实验研究。
2023-03-21 cs.AI cs.CV
Low-Rank HOCA: Efficient High-Order Cross-Modal Attention for Video Captioning
本文讨论了具有挑战性的任务,视频描述的目的是产生描述的视频数据。近年来,基于注意力的编码器-解码器结构已被广泛用于视频描述中。现有文献中,注意力权重往往是根据单个通道的信息建立的,而忽略了多个通道之间的关联关系。基于此,本文提出了一种基于高阶跨模态注意(HOCA)的视频描述模型,该模型基于高阶相关张量计算注意权值,以充分捕捉不同模态之间的帧级跨模态交互。此外,我们新颖地引入了低秩HOCA,它采用张量分解,以减少非常大的空间需求的HOCA,导致在现实世界中的应用中的一个实用和有效的实现。在MSVD和MSR-VTT两个基准数据集上的实验结果表明,低秩HOCA建立了一个新的国家的最先进的。
2019-11-01 cs.CL cs.CV cs.LG
Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning
Guangxi University(广西大学);Guangxi Key Laboratory of Multimedia Communications and Network Technology(广西多媒体通信与网络技术重点实验室)
针对纯文本图像字幕生成中模态鸿沟与训练推理不一致的问题,提出结合合成图文对、优化伪特征、引入显著物体辅助的方法,实现了基准数据集上的SOTA性能。
2023-12-14 cs.CL cs.CV
L-CLIPScore: a Lightweight Embedding-based Captioning Metric for Evaluating and Training
Key Laboratory of New Generation Artificial Intelligence Technology & Its Interdisciplinary Applications, (Southeast University),Ministry of Education(新一代人工智能技术及跨学科应用国家重点实验室,东南大学,教育部);Alibaba Group(阿里巴巴集团)
提出轻量级描述指标L-CLIPScore,通过权重复用和矩阵分解压缩双编码器,并设计多模态相似度调节器损失进行蒸馏,在保持多模态对齐能力的同时降低计算成本,可用于高效评估描述质量及指导模型训练。
2025-07-11 cs.CV
Multi-modal Feature Fusion with Feature Attention for VATEX Captioning Challenge 2020
Samsung Research China - Beijing (SRC-B)(三星中国研究院-北京(SRC-B));Peking University(北京大学)
本报告描述了我们的VATEX字幕挑战2020模型。首先,从多个领域收集信息,我们提取运动,外观,语义和音频特征。然后设计了一个特征关注模块,在解码时关注不同的特征。我们采用两种类型的解码器,自顶向下和X-LAN和集成这些模型得到最终的结果。所提出的方法优于官方基线有显着的差距。我们在英语和中文私人测试集上分别获得了76.0和50.0的CIDEr。我们在英语和中文私人测试排行榜上排名第二。
2020-06-05 cs.CV cs.LG eess.IV
Stacked Cross-modal Feature Consolidation Attention Networks for Image Captioning
Shahid Beheshti University(沙希德·贝赫什提大学)
针对图像描述中视觉到文本直接转换难以生成细粒度描述的问题,提出SCFC注意力网络与SCFC-LSTM,通过多步复合融合空间信息和CAA,并在MSCOCO、Flickr30K上优于现有方法。
2023-02-08 cs.CV eess.IV
Characterizing the impact of using features extracted from pre-trained models on the quality of video captioning sequence-to-sequence models
Zewail City For Science And Technology(泽维尔科学技术城)
视频描述的任务,即自动生成描述视频中的一系列动作的句子,近来已经吸引了越来越多的关注。视频数据的复杂和高维表示使得典型的编码器-解码器架构难以识别相关特征并以适当的格式对其进行编码。视频数据包含不同的模态,可以使用混合图像,场景,动作和音频特征进行识别。在本文中,我们描述了影响视频描述的不同特征,并探讨了这些特征之间的相互作用以及它们如何影响视频表示的最终质量。建立在现有的编码器-解码器模型,利用有限的视频信息的范围内,我们的比较表明,包括多模态视频功能可以显着提高生成的语句的质量的影响。这项工作是特别感兴趣的科学家和从业者谁是使用序列到序列模型生成视频字幕。
2019-11-22 cs.CV
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University(坦佩雷大学)
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务,而完全忽略了音轨。只有少数先前的作品利用了这两种模式,但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中,我们介绍了双模态Transformer,它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务,但该模块能够消化任何两种形式的序列到序列的任务。我们还表明,作为双模态Transformer的一部分,预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明,我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得:v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
DVCFlow: Modeling Information Flow Towards Human-like Video Captioning
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Huawei Technologies(华为技术有限公司)
密集视频描述(DVC)的目的是生成多句描述来阐明视频中的多个事件,这是一个挑战,需要视觉一致性,话语连贯性和语言多样性。现有的方法主要从单个视频片段生成字幕,缺乏对全局视觉上下文的适应性,以及快速演变的视觉内容和文本描述之间的渐进对齐,这导致冗余和拼接的描述。在本文中,我们引入信息流的概念来模拟渐进的信息变化的视频序列和字幕。通过设计跨模态信息流对齐机制,实现了视觉信息流和文本信息流的捕获和对齐,为字幕过程提供了更丰富的上下文和事件/主题演化的动态性。在跨模态信息流对齐模块的基础上,我们进一步提出了DVCFlow框架,该框架由全局-局部视觉编码器和预训练的字幕生成器组成,全局-局部视觉编码器用于捕获每个视频片段的全局特征和局部特征,字幕生成器用于生成字幕。在流行的ActivityNet Captions和YouCookII数据集上进行的大量实验表明,我们的方法显着优于竞争基线,并根据主题和客观测试生成更人性化的文本。
2021-11-19 cs.CV
Panda-70M: Captioning 70M Videos with Multiple Cross-Modality Teachers
Snap Inc.(斯耐普公司);University of California, Merced(加州大学默塞德分校);University of Trento(特伦托大学)
针对高质量视频-文本数据稀缺问题,本文利用多模态输入和多个跨模态教师模型自动生成并筛选字幕,构建含7000万视频的Panda-70M数据集,并在三类下游任务中验证其效果。
2024-02-29 cs.CV
XGPT: Cross-modal Generative Pre-Training for Image Captioning
MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
虽然许多基于BERT的跨模态预训练模型在图像-文本检索和VQA等下游理解任务中产生了出色的结果,但它们不能直接应用于生成任务。在本文中,我们提出了XGPT,一种新的跨模态生成预训练方法的图像描述,旨在通过三个新的生成任务,包括图像条件掩蔽语言建模(IMLM),图像条件去噪自动编码(IDA),和文本条件图像特征生成(TIFG)的文本到图像的字幕生成器进行预训练。因此,预先训练的XGPT可以在没有任何特定于任务的架构修改的情况下进行微调,以创建用于图像描述的最先进的模型。实验表明,XGPT在COCO Captions和Flickr 30 k Captions等基准数据集上获得了新的最新结果。我们还使用XGPT生成新的图像标题作为图像检索任务的数据增强,并在所有召回指标上实现了显着的改善。
2020-03-04 cs.CL cs.CV cs.LG
Exploiting Cross-Modal Prediction and Relation Consistency for Semi-Supervised Image Captioning
Nanjing University of Science and Technology(南京理工大学);Baidu Inc(百度公司);Rutgers University(罗格斯大学)
图像描述的任务旨在通过自动学习的交叉模态生成器直接从图像生成字幕。为了构建一个性能良好的生成器,现有的方法通常需要大量的描述图像,这需要大量的人工标注。然而,在现实世界的应用中,更普遍的情况是,我们只有有限数量的描述图像和大量的未描述图像。因此,如何有效地将未描述的图像组合到交叉模态生成器的学习中是一个挑战。针对这一问题,本文提出了一种基于跨模态预测和关系一致性(CPRC)的图像描述方法,该方法利用原始图像输入,将生成的句子约束在共同语义空间中。具体而言,考虑到模态间的异质性导致直接使用全局嵌入的监督困难,CPRC转而将原始图像和相应的生成语句都转换到共享语义空间中,并从两个方面对生成语句进行度量:1)预测一致性。CPRC利用对原始图像的预测作为软标签,为生成的句子提取有用的监督,而不是使用传统的伪标签; 2)关系一致性。CPRC开发了一种新的增强图像和相应的生成句子之间的关系一致性,以保留重要的关系知识。结果表明,CPRC从信息性和代表性两个角度对生成的句子进行监督,能够合理利用未描述图像,在半监督场景下学习更有效的生成器。
2021-10-28 cs.AI cs.CV
Multi-modal Dense Video Captioning
Tampere University(坦佩雷大学)
密集视频描述是从未修剪的视频中定位感兴趣的事件并为每个定位的事件产生文本描述(字幕)的任务。以往的密集视频描述中的大部分作品都是单纯基于视觉信息而完全忽略了音轨。然而,音频,特别是语音,是人类观察者理解环境的重要线索。在本文中,我们提出了一种新的密集的视频描述方法,能够利用任何数量的事件描述的方式。具体来说,我们展示了如何音频和语音模态可以提高密集的视频描述模型。我们应用自动语音识别(ASR)系统来获得语音的时间对齐的文本描述(类似于字幕),并将其视为与视频帧和相应的音轨一起的单独输入。我们制定的字幕任务作为一个机器翻译的问题,并利用最近提出的Transformer架构转换成文本描述的多模态输入数据。我们在ActivityNet Captions数据集上展示了我们的模型的性能。消融研究表明,相当大的贡献,从音频和语音组件,这表明这些方式包含大量的补充信息,视频帧。此外,我们通过利用从原始YouTube视频中获得的类别标签,对ActivityNet Caption结果进行了深入分析。代码公开:github.com/v-iashin/MDVC
2020-05-05 cs.CL cs.CV cs.LG
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而,这些基于融合的模型,他们仍然受到批评,缺乏几何信息的帧间和帧内注意力细化。另一方面,基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中,我们介绍了一种新的几何纠缠视觉语义Transformer(GEVST)网络,实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说,一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后,为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力,我们构建了四个并行的Transformer编码器VV(Pure Visual),VS(Semantic fused to Visual),SV(Visual fused to Semantic),SS(Pure Semantic)用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块,以更好地测量注意力。为了验证我们的模型,我们在MS-COCO数据集上进行了大量的实验,实验结果表明,我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
Beyond a Pre-Trained Object Detector: Cross-Modal Textual and Visual Context for Image Captioning
Georgia Tech(佐治亚理工学院)
视觉字幕已经取得了重大进展,主要依赖于预先训练的特征和后来的固定对象检测器,这些检测器作为自回归模型的丰富输入。然而,这种方法的一个关键限制是模型的输出仅取决于对象检测器的输出。假设这样的输出可以代表所有必要的信息是不现实的,特别是当检测器跨数据集传输时。在这项工作中,我们的原因,由这个假设引起的图形模型,并建议添加一个辅助输入来表示丢失的信息,如对象关系。我们特别建议从Visual Genome数据集中挖掘属性和关系,并根据它们来调整字幕模型。至关重要的是,我们提出(并证明是重要的)使用多模态预训练模型(CLIP)来检索这样的上下文描述。此外,对象检测器模型被冻结,并且不具有足够的丰富性以允许字幕模型适当地使它们接地。因此,我们建议条件的检测器和描述输出的图像,并定性和定量地表明,这可以改善接地。我们在图像描述上验证了我们的方法,对预训练的多模态模型的每个组件和重要性进行了彻底的分析,并证明了与当前技术水平相比的显着改进,特别是CIDER +7.5%和BLEU-4指标+1.3%。
2022-06-08 cs.AI cs.CV cs.LG
Dense-Captioning Events in Videos: SYSU Submission to ActivityNet Challenge 2020
School of Data and Computer Science, Sun Yat-sen University(中山大学数据与计算机学院);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室);Guangdong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室)
本技术报告简要描述了我们提交的ActivityNet Challenge 2020密集视频描述任务。我们的方法遵循两个阶段的管道:首先,我们提取一组时间事件的建议,然后我们提出了一个多事件字幕模型,以捕获事件级的时间关系,并有效地融合多模态信息。我们的方法在测试集上获得了9.28的METEOR分数。
2020-08-12 cs.CV
From Association to Generation: Text-only Captioning by Unsupervised Cross-modal Mapping
School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对CLIP难以用于生成任务且存在模态差距的问题,提出K近邻跨模态映射(Knight)零样本方法,通过纯文本无监督训练实现图像和视频字幕生成,达到最先进性能。
2023-05-08 cs.CL cs.CV cs.LG
Towards Multimodal Video Paragraph Captioning Models Robust to Missing Modality
Peking University(北京大学);The University of Hong Kong(香港大学)
本文提出抗缺失框架 MR-VPC 及 MVPC 架构,结合 DropAM 数据增强和 DistillAM 知识蒸馏,在模态缺失情况下实现鲁棒且高效的多模态视频段落描述。
2024-03-28 cs.AI cs.CV
A Frustratingly Simple Approach for End-to-End Image Captioning
Hong Kong Baptist University(香港浸会大学);Fuxi AI Lab, NetEase Inc.(网易公司伏羲人工智能实验室)
图像描述是连接视觉和语言的一项基本任务,涉及跨模态理解和文本生成。近年来,图像描述的研究越来越受到人们的关注。大多数现有的作品遵循传统的两阶段训练范式。在训练字幕模型之前,首先利用一个额外的目标检测器来识别图像中的目标。然而,它们需要具有细粒度对象注释的相当大的数据集来训练对象检测器,这是一项艰巨的任务。此外,目标检测器的错误很容易传播到后续的字幕模型,降低模型的性能。为了减轻这些缺陷,我们提出了一个令人沮丧的简单,但高效的端到端的图像描述框架,视觉条件GPT(VC-GPT),通过连接预先训练的视觉编码器(CLIP-ViT)和语言解码器(GPT 2)。与直接将交叉注意模块插入GPT 2的香草连接方法不同,本文提出了一种综合考虑单模态和跨模态知识的自集成跨模态融合机制。因此,我们不需要额外的对象检测器来进行模型训练。对三种流行的图像描述基准测试(MSCOCO、Flickr 30 k和NoCaps)进行的实验结果表明,我们的VC-GPT在广泛的基线系统的所有评估指标中实现了最佳或次佳性能。
2022-04-14 cs.CL cs.CV
Exploring and Distilling Cross-Modal Information for Image Captioning
Peking University(北京大学);Beijing University of Posts and Telecommunications(北京邮电大学)
近来,基于注意力的编码器-解码器模型已经广泛地用于图像描述中。然而,目前的方法仍然存在很大的困难,以实现深的图像理解。在这项工作中,我们认为,这种理解需要视觉上的关注相关的图像区域和语义关注感兴趣的连贯属性。基于Transformer模型,从跨模态的角度对图像描述进行了研究,提出了全局和局部信息挖掘与提取方法,对视觉和语言中的源信息进行挖掘和提取,以实现有效的注意。它通过提取显著区域分组和属性搭配,全局地提供基于字幕上下文的图像的空间和关系表示的方面向量,并参考方面向量局部地提取细粒度的区域和属性用于词选择。我们的基于Transformer的模型在COCO测试集上的离线COCO评估中获得了129.3的CIDER分数,在准确性,速度和参数预算方面具有显着的效率。
2020-03-15 cs.CL cs.CV cs.LG
RePIC: Reinforced Post-Training for Personalizing Multi-Modal Language Models
Seoul National University(首尔大学);Daegu Gyeongbuk Institute of Science and Technology(大邱庆北科学技术院);NVIDIA(英伟达)
针对多模态大语言模型在个性化图像标题生成中的不足,提出首个基于强化学习的后训练框架RePIC,显著提升视觉识别与个性化生成能力,优于现有监督微调基线。
2025-10-10 cs.CV
PIC 4th Challenge: Semantic-Assisted Multi-Feature Encoding and Multi-Head Decoding for Dense Video Captioning
University of Chinese Academy of Sciences(中国科学院大学);CASIA(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
密集视频描述(DVC)的任务旨在为一个视频中的多个事件生成具有时间戳的字幕。语义信息对动态虚拟语气的定位和描述都起着重要的作用。我们提出了一个语义辅助的密集视频描述模型的基础上的编解码框架。在编码阶段,我们设计了一个概念检测器来提取语义信息,然后将其与多模态视觉特征融合,以充分表示输入视频。在解码阶段,我们设计了一个分类头,与本地化和字幕头,以提供语义监督。我们的方法在DVC评估指标下对YouMakeup数据集实现了显着改进,并在PIC第四次挑战的化妆密集视频描述(MDVC)任务中实现了高性能。
2022-08-15 cs.CV
Visual News: Benchmark and Challenges in News Image Captioning
University of Maryland(马里兰大学);Amazon Alexa(亚马逊 Alexa);University of Virginia(弗吉尼亚大学);Rice University(莱斯大学)
我们提出了视觉新闻字幕,一个实体感知的新闻图像描述的任务模型。我们还介绍了Visual News,这是一个大规模的基准测试,包含超过一百万张新闻图片以及相关的新闻文章、图片标题、作者信息和其他元数据。与标准的图像描述任务不同,新闻图像描述了人物、位置和事件至关重要的情况。我们提出的方法可以有效地结合视觉和文本特征,以生成具有更丰富信息(如事件和实体)的字幕。更具体地说,建立在Transformer架构,我们的模型进一步配备了新的多模态特征融合技术和注意力机制,旨在更准确地生成命名实体。我们的方法使用更少的参数,同时实现略好的预测结果比竞争的方法。我们更大、更多样化的视觉新闻数据集进一步突出了新闻图片字幕方面的剩余挑战。
2021-09-13 cs.CV