SAMA: Semantic Anchor-aligned Augmentation for Unified Low-Resource Multimodal Information Extraction
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
提出语义锚定对齐增强框架SAMA,通过构建结构化语义锚引导多专家多模态大模型生成高保真文本,并利用锚保留扩散机制合成图像,结合双约束过滤模块,在低资源多模态信息抽取任务中显著提升性能。
2026-06-18 cs.CL cs.CV cs.MM
SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning
Hanyang University(翰阳大学)
SAIL通过跨模态对齐和大语言模型增强策略,提升弱监督密集视频字幕生成的准确性和语义感知能力。
2026-03-09 cs.AI cs.CV
Reframing Image Difference Captioning with BLIP2IDC and Synthetic Augmentation
IMATAG, France(法国IMATAG机构);IRISA, CNRS, France(法国IRISA与CNRS机构);LightOn, France(法国LightOn公司)
本文提出BLIP2IDC框架,将BLIP2适配到图像差异描述任务,并利用合成增强生成高质量数据集Syned1,显著提升真实图像上的差异描述性能。
2025-10-14 cs.AI cs.CV
QCaption: Video Captioning and Q&A through Fusion of Large Multimodal Models
Department of Computer Science and Engineering, Nanyang Technological University, Singapore(南洋理工大学计算机科学与工程系)
QCaption通过融合关键帧提取、多模态模型和语言模型,提升视频描述和问答任务的性能,实现44.2%和48.9%的改进。
2026-01-10 cs.AI cs.CV
FaD-VLP: Fashion Vision-and-Language Pre-training towards Unified Retrieval and Captioning
Stanford University(斯坦福大学);Meta AI;University of Surrey(萨里大学)
时尚领域的多模态任务对电子商务具有巨大的潜力,但涉及具有挑战性的视觉和语言学习问题-例如,在给定参考图像加上来自用户的文本反馈的情况下检索时尚物品。之前关于多模态时尚任务的工作要么受到单个基准中的数据的限制,要么利用了通用的视觉和语言预训练,但没有利用时尚数据的特征。此外,这些工作主要局限于多模态理解任务。为了弥补这些差距,我们做出了两项关键贡献。首先,我们提出了一种新的时尚特定的预训练框架的基础上,从时尚图像-文本对构建弱监督三元组。我们表明,基于三重任务是标准多模态预训练任务的有效补充。其次,我们提出了一个灵活的解码器为基础的模型架构,能够时尚检索和字幕任务。总之,我们的模型设计和预训练方法在各种时尚任务上具有竞争力,包括跨模态检索、带文本反馈的图像检索、图像描述、相对图像描述和多模态分类。
2022-10-26 cs.AI cs.CV
Data augmentation to improve robustness of image captioning solutions
Intel Corporation(英特尔公司);Intel Labs(英特尔研究院)
在本文中,我们研究了运动模糊的影响,在现实世界中的图像中的一个常见的质量缺陷,在一个国家的最先进的两阶段的图像描述解决方案,并注意到解决方案的性能下降,模糊强度增加。我们研究了在解决方案的每个或两个阶段使用训练数据增强来提高解决方案对运动模糊的鲁棒性的技术,即,目标检测和字幕,并观察改进的结果。特别是,增加两个阶段将MS COCO数据集上高运动模糊强度的CIDEr-D降级从68.7降低到11.7,并将Vizwiz数据集上的CIDEr-D降级从22.4降低到6.8。
2021-06-10 cs.CL cs.CV
Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation
National Institute of Technology(印度国家技术学院)
图像描述或图像描述的自动生成是计算机视觉中的核心问题之一,并且使用深度学习技术已经取得了相当大的进展。我们建议使用Inception-ResNet卷积神经网络作为编码器来从图像中提取特征,基于层次上下文的词嵌入用于单词表示,深度堆叠长短期记忆网络作为解码器,此外还使用图像数据增强来避免过拟合。对于数据增强,除了图像上的透视变换外,我们还使用水平和垂直翻转。我们评估我们提出的方法与两个图像描述框架-编码器-解码器和软注意。广泛使用的指标的评估表明,我们的方法导致模型性能的显着改善。
2021-02-22 cs.AI cs.CV cs.LG
Knowledge Completes the Vision: A Multimodal Entity-aware Retrieval-Augmented Generation Framework for News Image Captioning
MERGE提出了一种多模态实体感知检索增强生成框架,通过构建实体中心知识库和改进跨模态对齐,提升新闻图像描述质量和命名实体识别性能。
2025-11-26 cs.AI cs.CV
Personalizing Multimodal Large Language Models for Image Captioning: An Experimental Analysis
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所)
本文实验评估GPT-4V、Gemini等多模态LLM在图像描述基准上的零样本与提示学习、前缀微调、LoRA微调表现,发现其零样本能力强但领域适配与泛化难以兼顾。
2024-12-04 cs.AI cs.CL cs.CV
Image Captioning Evaluation in the Age of Multimodal LLMs: Challenges and Future Perspectives
University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学);IIT-CNR(意大利国家研究委员会IIT)
本综述全面概述了多模态大型语言模型时代图像描述评估的进展,分析了现有指标在相关性、排序准确性和幻觉敏感性等维度的局限,并指出了未来研究方向。
2025-05-30 cs.AI cs.CL cs.CV
AI Safety in Practice: Enhancing Adversarial Robustness in Multimodal Image Captioning
Baylor University(贝勒大学)
本文针对多模态图像描述模型的对抗脆弱性问题,提出利用 FGSM 生成对抗样本并结合选择性训练文本解码器的对抗训练策略,在 Flickr8k 和 COCO 上以更低计算成本实现了与全对抗训练相当的鲁棒性。
2024-07-30 cs.AI cs.CV eess.AS
End-to-end Generative Pretraining for Multimodal Video Captioning
Google Research(谷歌研究院)
最近的视频和语言预训练框架缺乏生成句子的能力。我们提出了多模态视频生成预训练(MV-GPT),一个新的预训练框架,用于从未标记的视频中学习,可有效地用于生成任务,如多模态视频描述。与最近的视频语言预训练框架不同,我们的框架同时训练多模式视频编码器和句子解码器。为了克服在无标签的视频字幕的缺乏,我们利用未来的话语作为一个额外的文本源,并提出了一个双向的生成目标-我们生成未来的话语给出了目前的多模态上下文,以及目前的话语给出了未来的观察。为此,我们训练了一个端到端的编码器-解码器模型,以直接从原始像素和转录的语音生成字幕。我们的模型在四个标准基准上实现了多模态视频描述的最新性能,以及其他视频理解任务,如VideoQA,视频检索和动作分类。
2022-05-10 cs.AI cs.CL cs.CV
End-to-end Image Captioning Exploits Multimodal Distributional Similarity
The University of Sheffield(谢菲尔德大学)
我们假设,端到端的神经图像描述系统的工作似乎很好,因为他们利用和学习“分布相似性”在多模态特征空间,通过映射测试图像在这个空间中类似的训练图像,并从相同的空间生成一个标题。为了验证我们的假设,我们专注于图像描述的“图像”方面,并改变输入图像表示,但保持CNN-RNN模型的RNN文本生成组件不变。我们的分析表明,图像描述模型(i)是能够分离的结构从嘈杂的输入表示;(ii)遭受几乎没有显着的性能损失时,高维表示被压缩到一个较低的维度空间;(iii)聚类图像相似的视觉和语言信息在一起。我们的研究结果表明,我们的分布相似性假设成立。我们的结论是,无论使用的图像表示图像描述系统似乎匹配图像,并在一个学习的联合图像-文本语义子空间生成字幕。
2018-09-11 cs.CV
Towards Adaptable and Interactive Image Captioning with Data Augmentation and Episodic Memory
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Oldenburg University(奥尔登堡大学);Saarland University(萨尔大学)
本文提出一种交互式图像描述生成流水线,结合数据增强与情景记忆持续学习方法,在VizWiz数据集上验证了情景记忆能有效缓解灾难性遗忘,而数据增强反而降低性能。
2023-06-06 cs.CL cs.CV
Multimodal Semantic Attention Network for Video Captioning
University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
受视频中不同模态携带互补信息这一事实的启发,我们提出了多模态语义注意网络(MSAN),这是一种新的编码器-解码器框架,将多模态语义属性用于视频描述。在编码阶段,我们检测和生成多模态语义属性,制定它作为一个多标签分类问题。此外,我们增加了辅助分类损失,我们的模型,可以获得更有效的视觉特征和高层次的多模态语义属性分布足够的视频编码。在解码阶段,我们将传统LSTM的每个权重矩阵扩展为属性相关权重矩阵的集合,并采用注意力机制在字幕过程的每个时间点关注不同的属性。我们在两个流行的公共基准上评估算法:MSVD和MSR-VTT,在六个评估指标上与当前最先进的算法取得了竞争结果。
2019-05-08 cs.CV
Text-Only Training for Image Captioning with Retrieval Augmentation and Modality Gap Correction
INESC-ID, Instituto Superior Tecnico, University of Lisbon(INESC-ID,理工学院,里斯本大学)
TOMCap通过检索增强和模态差距校正,实现无需对齐图像-文本对的纯文本训练图像描述生成。
2025-12-03 cs.CL cs.CV
MTA: Multimodal Task Alignment for BEV Perception and Captioning
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);Purdue University(普渡大学)
本文提出MTA多模态任务对齐框架,通过BEV-语言对齐和检测-描述对齐两大机制,在不增加推理计算开销的情况下同时提升BEV感知与描述性能,并在nuScenes和TOD3Cap上显著超越现有基线。
2025-03-10 cs.AI cs.CL cs.CV
PathM3: A Multimodal Multi-Task Multiple Instance Learning Framework for Whole Slide Image Classification and Captioning
The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Colleyville Heritage High School(科利维尔传统高中)
本文提出 PathM3 多模态多任务 MIL 框架,利用基于查询的 transformer 和实例相关性聚合,实现 WSI 与诊断描述对齐,并在有限描述数据下提升分类与描述生成性能。
2024-07-23 cs.AI cs.CV
Visual Attention Never Fades: Selective Progressive Attention ReCalibration for Detailed Image Captioning in Multimodal Large Language Models
Seoul National University(首尔大学)
本文提出无需训练的 SPARC 方法,通过选择性渐进重校准视觉注意力,在极小计算开销下同时提升多模态大语言模型详细图像描述的精确率与召回率。
2025-06-04 cs.AI cs.CV
Polos: Multimodal Metric Learning from Human Feedback for Image Captioning
Keio University(庆应义塾大学)
本文提出 Polos 多模态监督评估指标及 M²LHF 人类反馈训练框架,并构建含 131K 判断的 Polaris 数据集,在多个基准上实现图像描述评估的最优性能。
2024-02-28 cs.AI cs.CL cs.CV
MAViC: Multimodal Active Learning for Video Captioning
ShareChat;INRIA(法国国家信息与自动化研究所);UIUC(伊利诺伊大学厄巴纳-香槟分校)
训练视频描述模型需要大量的带注释的视频-字幕对,导致高注释成本。主动学习有助于减少这些注释要求。然而,用于视频描述的主动学习是具有挑战性的,因为多个语义相似的字幕对于视频是有效的,导致即使对于信息量较少的样本也是高熵输出。此外,视频描述算法本质上是多模态的,具有视觉编码器和语言解码器。此外,输出的顺序和组合性质使问题更具挑战性。在本文中,我们介绍MAViC利用我们提出的多模态语义感知顺序熵(M-SASE)为基础的采集功能,以解决主动学习方法的挑战视频描述。我们的方法集成了语义相似性和不确定性的视觉和语言方面的收购功能。我们详细的实验经验证明的有效性M-SASE主动学习视频描述字幕和提高基线的大幅度。
2022-12-11 cs.CL cs.CV cs.LG
FLEUR: An Explainable Reference-Free Evaluation Metric for Image Captioning Using a Large Multimodal Model
Seoul National University(首尔大学);Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学人工智能跨学科项目);Department of Mathematical Sciences, Seoul National University(首尔大学数学科学系)
本文提出FLEUR,一种基于大型多模态模型的可解释无参考图像描述评价指标,无需参考描述即可评分并给出解释,在多个基准上达到最先进水平。
2024-06-10 cs.AI cs.CL cs.CV
The Power of Many: Multi-Agent Multimodal Models for Cultural Image Captioning
University of Michigan - Ann Arbor(密歇根大学安娜堡分校);Santa Clara University - Santa Clara(圣克拉拉大学)
本文提出多智能体框架MosAIC,通过赋予不同文化角色提升大型多模态模型的跨文化图像描述能力,并构建多文化数据集与可适应文化的评估指标,证明多智能体交互优于单智能体模型。
2024-11-18 cs.AI cs.CL cs.CV
Towards Multimodal Video Paragraph Captioning Models Robust to Missing Modality
Peking University(北京大学);The University of Hong Kong(香港大学)
本文提出抗缺失框架 MR-VPC 及 MVPC 架构,结合 DropAM 数据增强和 DistillAM 知识蒸馏,在模态缺失情况下实现鲁棒且高效的多模态视频段落描述。
2024-03-28 cs.AI cs.CV
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University(杭州电子科技大学);University of Chinese Academy of Sciences(中国科学院大学)
图像描述的目标是自动生成给定图像的自然语言描述,并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络(CNN)的图像编码器,从输入图像中提取基于区域的视觉特征,和一个基于递归神经网络(RNN)的字幕解码器,基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功,目前的方法只建模的共同注意的特点,通道间的相互作用,而忽略了自我注意的特点,通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发,本文将其扩展为一个用于图像描述的多模态Transformer(MT)模型。与现有的图像描述方法相比,MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成,MT模型可以执行复杂的多模态推理并输出准确的字幕。此外,为了进一步提高图像描述的性能,多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法,并进行广泛的消融研究,以调查其有效性背后的原因。实验结果表明,我们的方法显着优于以前的国家的最先进的方法。在撰写本文时,我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
MM-SeR: Multimodal Self-Refinement for Lightweight Image Captioning
KAIST(韩国科学技术院);UNIST(全南国立大学);Carnegie Mellon University(卡内基梅隆大学)
MM-SeR通过轻量级多模态自反思框架,在减少计算成本的同时,实现了与大规模模型相当的图像描述性能,并扩展到长距离视频问答任务。
2025-12-12 cs.CV
EAMA : Entity-Aware Multimodal Alignment Based Approach for News Image Captioning
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
针对新闻图像描述中实体信息处理不足及文本输入充分性与简洁性权衡问题,提出EAMA方法,通过实体感知句子选择和实体选择两个对齐任务增强MLLM,在两个主流数据集上超越先前模型。
2024-09-20 cs.CL cs.CV
ViSIL: Unified Evaluation of Information Loss in Multimodal Video Captioning
The University of Texas at Austin, Texas, USA(德克萨斯大学奥斯汀分校)
ViSIL通过信息论框架量化多模态视频摘要的信息损失,实现跨格式的统一评估,并在VQA任务中提升准确率7%。
2026-01-26 cs.AI cs.CV cs.HC
Self-Captioning Multimodal Interaction Tuning: Amplifying Exploitable Redundancies for Robust Vision Language Models
Singapore University of Technology and Design(新加坡科技设计大学);DSO National Laboratories(国防部国家实验室);Massachusetts Institute of Technology(麻省理工学院)
针对视觉语言模型中的幻觉和鲁棒性问题,提出自描述多模态交互调优方法,通过放大模态间冗余信息来补偿受损模态,并设计多模态交互门机制将独特交互转化为冗余交互,实验表明该方法可减少38.3%的视觉诱导错误并提升16.8%的一致性。
2026-05-29 cs.AI cs.CV cs.LG
GEM-VPC: A dual Graph-Enhanced Multimodal integration for Video Paragraph Captioning
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
本文提出GEM-VPC框架,通过构建视频特定时间图和主题图融合多模态信息与外部知识,并利用节点选择模块提升解码效率,在视频段落描述任务上取得优越性能。
2024-10-12 cs.CV
CCRC: A Change-Aware Captioning and Reasoning Chain for Image Change Captioning and Segmentation
College of Computer Science and Electronic Engineering, Hunan University, China(湖南大学计算机科学与电子工程学院,中国);Guangxi Minzu University, China(广西民族大学,中国);National University of Defense Technology, China(国防科学技术大学,中国)
提出变化感知描述与推理链(CCRC),通过双链框架解耦语义推理与空间分割,实现图像变化描述与分割(ICCS)任务,在合成和真实基准上达到最优性能。
2026-06-27 cs.AI cs.CV
Detecting and Understanding Hateful Contents in Memes Through Captioning and Visual Question-Answering
The University of Sydney, School of Computer Science(悉尼大学计算机科学学院);University of Technology Sydney, School of Computer Science(新南威尔士大学技术学院);University of Technology Sydney, TD School(新南威尔士大学TD学院);Australian Catholic University, Peter Faber Business School(澳大利亚天主教大学彼得·法伯商学院)
提出一种整合OCR、字幕生成、子标签分类、RAG和VQA的多模态框架,用于检测模因中的仇恨内容,在Facebook数据集上超越现有模型。
2025-04-23 cs.AI cs.CV
The Solution for the CVPR2024 NICE Image Captioning Challenge
Nanjing University of Science and Technology(南京理工大学);Alibaba(阿里巴巴)
本报告提出了一种针对CVPR2024 NICE零样本图像描述挑战的解决方案,通过检索增强和描述分级方法,结合OFA模型与高质量训练数据,实现了234.11的CIDEr得分。
2024-04-29 cs.CV
ABMAMBA: Multimodal Large Language Model with Aligned Hierarchical Bidirectional Scan for Efficient Video Captioning
Keio University(庆应义塾大学);National Institute of Informatics(国立信息学研究所);National Institute of Informatics Research and Development Center for Large Language Models(国立信息学研究所大型语言模型研发中心)
本文提出ABMamba,一种具有线性计算复杂度的多模态大语言模型,通过替代二次注意力机制,实现视频序列的高效处理,在视频描述任务中表现出色。
2026-04-09 cs.CV
Similar Scenes arouse Similar Emotions: Parallel Data Augmentation for Stylized Image Captioning
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
风格化的图像描述系统旨在生成不仅在语义上与给定图像相关而且与给定风格描述一致的字幕。这项任务的最大挑战之一是缺乏足够的成对程式化数据。许多研究集中在无监督的方法,没有考虑从数据增强的角度。我们首先观察到,当人们处于相似的场景中时,他们可能会回忆起相似的情绪,并且经常用相似的风格短语表达相似的情绪,这支持了我们的数据增强想法。在本文中,我们提出了一种新的提取-提取-生成数据增强框架,从小规模的风格化句子中提取风格短语,并将其移植到大规模的事实字幕。首先,我们设计了情感信号提取器,从小规模的风格化句子中提取风格短语。其次,我们构建了可插入的多模态场景检索器,用于检索由图像及其风格化字幕对表示的场景,这些场景与大规模事实数据中的查询图像或字幕相似。最后,基于相似场景的风格短语和当前场景的真实描述,构建了情感感知字幕生成器,为当前场景生成流畅、多样化的风格化字幕。大量的实验结果表明,我们的框架可以有效地缓解数据稀缺问题。它还显着提高了几个现有的图像描述模型在监督和无监督的设置,这超过了国家的最先进的风格化的图像描述方法在句子相关性和风格的大幅保证金方面的性能。
2021-08-26 cs.CL cs.CV cs.MM
Multimodal Pretraining for Dense Video Captioning
Mila;University of Montreal(蒙特利尔大学);Google Research(谷歌研究院)
学习具体的动手技能,如烹饪,汽车维修和家庭维修越来越多地通过教学视频发生。已知通过元信息(诸如针对所涉及的主要步骤的带时间戳的注释)来改善这种视频的用户体验。自动生成这样的注释是具有挑战性的,我们在这里描述两个相关的贡献。首先,我们构建并发布了一个新的密集视频描述数据集,视频时间轴标签(ViTT),具有各种教学视频连同时间戳注释。其次,我们探索了几种多模态序列到序列预训练策略,这些策略利用了大型无监督视频和标题类文本数据集。我们使用YouCook2和ViTT预训练并随后微调密集视频描述模型。我们表明,这样的模型推广良好,并在各种各样的教学视频是强大的。
2020-11-10 cs.CL cs.CV cs.LG
Towards Unsupervised Image Captioning with Shared Multimodal Embeddings
Technische Universität München(慕尼黑工业大学);University of Oxford(牛津大学)
在没有显式监督的情况下理解图像已经成为计算机视觉中的一个重要问题。在本文中,我们解决图像描述生成的语言描述的场景,而不学习的注释对图像和它们的字幕。我们的方法的核心组成部分是一个共享的潜在空间,是由视觉概念结构。在这方面,这两种模式应该是不可区分的。首先训练语言模型以将句子编码为语义结构化的嵌入。翻译到该嵌入空间的图像特征可以通过相同的语言模型解码为描述,类似于句子嵌入。这种翻译是从弱配对的图像和文本中学习的,使用对噪声分配和条件对抗组件具有鲁棒性的损失。我们的方法允许利用大型文本语料库以外的图像/字幕数据的注释分布。我们的实验表明,所提出的域对齐学习一个语义上有意义的表示,优于以前的工作。
2019-08-25 cs.CV
Interactive Machine Learning for Image Captioning
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Oldenburg University(奥尔登堡大学)
我们提出了一种交互式学习的图像描述模型的方法。由于人的反馈是昂贵的,现代神经网络的方法往往需要大量的监督数据进行训练,我们设想一个系统,利用人的反馈,尽可能好地利用反馈使用数据增强的方法,并集成所产生的训练样本到模型中的智能方式。这种方法有三个关键组成部分,我们需要找到合适的实际实现:反馈收集,数据增强和模型更新。我们概述了我们的想法,并审查了解决这些任务的不同可能性。
2022-02-28 cs.CL cs.CV
PaveCap: The First Multimodal Framework for Comprehensive Pavement Condition Assessment with Dense Captioning and PCI Estimation
North Dakota State University(北达科他州立大学);Kwame Nkrumah University of Science and Technology(夸梅·恩克鲁玛科技大学)
本文提出PaveCap多模态框架,结合YOLOv8、SAM与Transformer实现路面PCI定量预测和稠密定性描述,并构建标注数据集验证其在自动化路面评估与维护决策中的有效性。
2024-08-07 cs.CV
Towards a multimodal framework for remote sensing image change retrieval and captioning
University of Turin(都灵大学);INRAE(法国国家农业、食品与环境研究院);INRIA(法国国家信息与自动化研究院);Univ. Montpellier(蒙彼利埃大学)
针对现有遥感数据多模态研究忽略其时序变化特性的不足,提出基于对比学习和LEVIR-CC数据集的双时相遥感图像基础模型,兼具图文检索与媲美SOTA的字幕生成能力并开源相关资源。
2024-06-19 cs.CV cs.LG
Player-Centric Multimodal Prompt Generation for Large Language Model Based Identity-Aware Basketball Video Captioning
Beijing University of Technology(北京理工大学);Shanghai Jiao Tong University(上海交通大学);Chinese Academy of Sciences(中国科学院);The Hong Kong Polytechnic University(香港理工大学)
针对体育视频字幕中球员身份易出错的问题,本文提出LLM-IAVC以球员为中心生成多模态提示,并构建NBA-Identity数据集,实验验证其先进性能。
2025-07-27 cs.CV
MSVD-Turkish: A Comprehensive Multimodal Dataset for Integrated Vision and Language Research in Turkish
Imperial College London(帝国理工学院);Hacettepe University(哈杰特佩大学);Koç University(科奇大学)
以自然语言自动生成视频描述,也称为视频字幕,旨在理解视频的视觉内容并产生描绘场景中的对象和动作的自然语言句子。然而,这种具有挑战性的综合视觉和语言问题主要是针对英语的。缺乏数据和其他语言的语言特性限制了这些语言的现有方法的成功。在本文中,我们针对土耳其语,一个形态丰富和粘着的语言,有非常不同的属性相比,英语。为此,我们创建了第一个大规模的视频描述数据集,通过仔细翻译的MSVD(微软研究视频描述语料库)数据集中的视频的英语描述成土耳其语。除了能够在土耳其语的视频描述的研究,平行的英语-土耳其语的描述也使视频上下文(多模态)机器翻译的作用的研究。在我们的实验中,我们为视频描述和多模态机器翻译建立模型,并研究不同的分词方法和不同的神经架构的效果,以更好地解决土耳其语的属性。我们希望MSVD-土耳其语数据集和这项工作中报告的结果将导致更好的视频描述和多模态机器翻译模型,用于土耳其语和其他形态丰富和粘着的语言。
2020-12-13 cs.CV
SmallCap: Lightweight Image Captioning Prompted with Retrieval Augmentation
INESC-ID(葡萄牙国家系统与计算机工程研究所);Instituto Superior Técnico(高等技术学院);University of Lisbon(里斯本大学);University of Copenhagen(哥本哈根大学);Pioneer Center for AI(先锋人工智能中心)
图像描述的最新进展集中在缩放数据和模型大小上,大大增加了预训练和微调的成本。作为一种替代大型模型,我们提出了SmallCap,它生成一个标题的输入图像和相关的标题检索到的图像。我们的模型是轻量级的,训练速度快,因为唯一的学习参数是在预先训练的CLIP编码器和GPT-2解码器之间新引入的交叉注意层。SmallCap可以转移到新的领域,而无需额外的微调,并且可以以免训练的方式利用大规模数据,因为可以很容易地替换数据库的内容。我们的实验表明,只在COCO上训练的SmallCap在这个基准上具有竞争力的性能,并且还可以在没有重新训练的情况下转移到其他域,仅仅通过从目标域数据中检索。进一步的改进是通过对各种人类标记和网络数据的无训练利用来实现的,这被证明对一系列领域是有效的,包括nocaps基准,旨在测试对看不见的视觉概念的泛化。
2023-03-28 cs.CL cs.CV
MAT: A Multimodal Attentive Translator for Image Captioning
Tsinghua University(清华大学);Toutiao AI Lab(今日头条人工智能实验室);UESTC(电子科技大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在这项工作中,我们制定的问题,图像描述作为一个多模态翻译任务。类似于机器翻译,我们提出了一个序列到序列的递归神经网络(RNN)模型的图像字幕生成。与大多数现有的工作不同,其中整个图像由卷积神经网络(CNN)特征表示,我们建议将输入图像表示为检测到的对象的序列,该序列作为RNN模型的源序列。通过这种方式,图像的顺序表示可以自然地转换为单词序列,作为RNN模型的目标序列。为了以顺序的方式表示图像,我们提取图像中的对象特征,并使用卷积神经网络将它们按顺序排列。为了进一步利用来自编码对象的视觉信息,引入顺序注意层以选择性地注意相关的对象以在句子中生成对应的单词。在流行的基准数据集上进行了大量的实验来验证所提出的方法,MS COCO,和所提出的模型超越了国家的最先进的方法在所有指标以下的数据集分裂以前的工作。所提出的方法也由MS COCO字幕挑战的评估服务器进行评估,并且实现了非常有竞争力的结果,例如,a CIDEr为1.029(c5)和1.064(c40)。
2017-08-10 cs.CV
BEV-LLM: Leveraging Multimodal BEV Maps for Scene Captioning in Autonomous Driving
Intelligent Vehicles Lab (IVL) Munich University of Applied Sciences(智能车辆实验室(IVL)慕尼黑应用科学大学)
本文提出轻量级 BEV-LLM,通过 BEVFusion 融合 LiDAR 点云与多视角图像并加入绝对位置编码,在 nuCaption 上以 1B 参数取得优于 SOTA 最高 5% BLEU 的描述性能,还发布 nuView 与 GroundView 数据集。
2025-07-25 cs.CV
FACE-net: Factual Calibration and Emotion Augmentation for Retrieval-enhanced Emotional Video Captioning
本文提出FACE-net框架,通过统一架构协同挖掘事实与情感语义,提供适应性指导以生成准确描述,解决事实-情感偏置问题。
2026-03-18 cs.CV
Theia: Large-Scale Multimodal Captioning and Automated Validation of the Incidents1M Dataset for Data-Free Distillation
Università Politecnica delle Marche(马尔凯理工大学)
本研究针对灾害领域多模态数据集的缺陷,提出方法构建并自动验证Incidents1M数据集,生成高保真字幕,其语义一致性达78.65/100,为跨模态知识蒸馏提供了可扩展框架。
2026-07-31 cs.AI cs.CV cs.MM
BTCChat: Advancing Remote Sensing Bi-temporal Change Captioning with Multimodal Large Language Model
State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学);Aerospace Information Research Institute(航天信息研究所);Chinese Academy of Sciences(中国科学院);School of Geographical Sciences(地理科学学院);Hunan Normal University(湖南师范大学)
BTCChat通过多模态大语言模型提升遥感双时相变化描述能力,引入变化提取模块和提示增强机制,实现更精确的视觉-语义对齐和更优的性能表现。
2026-01-27 cs.CV
Multimodal Memory Modelling for Video Captioning
Center for Research on Intelligent Perception and Computing(智能感知与计算研究中心);National Laboratory of Pattern Recognition(模式识别国家重点实验室);Center for Excellence in Brain Science and Intelligence Technology(脑科学与智能技术卓越创新中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
视频描述是计算机视觉中的一项重要任务,它将视频片段自动翻译成自然语言句子。借助于最近的深度学习技术,例如,卷积神经网络(CNN)和递归神经网络(RNN)的发展,视频描述字幕技术取得了长足的进步。然而,学习从视觉序列空间到语言空间的有效映射仍然是一个具有挑战性的问题。在本文中,我们提出了一个多模态记忆模型(M3)来描述视频,它建立了一个视觉和文本共享的记忆模型的长期视觉-文本的依赖,并进一步引导全球视觉注意所描述的目标。具体来说,建议M3附加一个外部存储器来存储和检索视觉和文本内容,通过与视频和句子进行交互,具有多个读写操作。首先,将基于长短期记忆(LSTM)的文本解码器中的文本表示写入存储器中,并且将读出存储器内容以引导注意力选择相关视觉目标。然后,所选择的视觉信息被写入存储器,该存储器将被进一步读出到文本解码器。为了评估所提出的模型,我们在两个公开的基准数据集上进行了实验:MSVD和MSR-VTT。实验结果表明,我们的方法优于国家的最先进的方法在BLEU和METEOR。
2016-11-17 cs.CV
CIC-BART-SSA: Controllable Image Captioning with Structured Semantic Augmentation
Rutgers University(罗格斯大学);Samsung AI Centre - Toronto(三星人工智能中心(多伦多));Solventum(索尔文腾公司)
提出CIC-BART-SSA模型,利用AMR结构化语义增强扩充数据集,生成多样且可控的图像描述,在多样性和文本质量上优于现有方法,并有效应对高度聚焦场景。
2024-07-17 cs.AI cs.CL cs.CV
Instruction-guided Multi-Granularity Segmentation and Captioning with Large Multimodal Model
Alibaba Group(阿里巴巴集团);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
针对现有模型仅支持实例级分割与描述的局限,提出多粒度大型多模态模型MGLMM,可依指令调整分割描述粒度,并构建含10K图像和30K问答对的基准,在多项任务上达到最优性能。
2024-09-20 cs.CV
Modelling Visual Semantics via Image Captioning to extract Enhanced Multi-Level Cross-Modal Semantic Incongruity Representation with Attention for Multimodal Sarcasm Detection
Delhi Technological University(德里理工大学)
本文提出一种多模态讽刺检测框架,通过引入图像描述作为补充模态,结合跨语言文本特征、自调节残差视觉特征及多级注意力与特征融合,在Twitter和MultiBully数据集上分别达到92.89%和64.48%的最佳准确率。
2024-08-05 cs.AI cs.CV
Evaluating Multimodal Large Language Models on Video Captioning via Monte Carlo Tree Search
TJUNLP Lab, College of Intelligence and Computing, Tianjin University(天津大学智能计算学院)
针对现有视频字幕评估基准的缺陷,研究提出基于MCTS的AutoCaption框架构建细粒度基准MCTS-VCB,评估20余款MLLMs并验证了其生成数据的微调增益效果。
2025-06-11 cs.CV
Self-Guiding Multimodal LSTM - when we do not have a perfect training dataset for image captioning
The Graduate Center, The City University of New York(纽约市立大学研究生中心);The City College, The City University of New York(纽约市立大学城市学院)
本文提出了一种自引导的多模态LSTM(sg-LSTM)图像描述模型来处理不受控制的不平衡的真实世界图像-句子数据集。我们从Flickr收集了FlickrNYC数据集作为我们的测试平台,其中包含306,165张图像,用户上传的原始文本描述被用作训练的基础事实。FlickrNYC数据集中的描述从短期描述到长段落描述变化很大,可以描述任何视觉方面,甚至可以引用未描述的对象。为了处理不平衡和嘈杂的情况,并充分探索数据集本身,我们提出了一种利用多模态LSTM(m-LSTM)模型提取的新的指导文本特征。m-LSTM的训练基于图像内容和相应描述紧密结合的数据部分。之后,在对其余训练数据进行sg-LSTM训练期间,该指导信息与图像表示和地面实况描述一起作为网络的额外输入。通过将这些输入组件集成到一个多模态块中,我们的目标是形成一个与图像内容紧密耦合的文本信息的训练方案。实验结果表明,所提出的sg-LSTM模型在成功描述输入图像的关键组件方面优于传统的最先进的多模态RNN字幕框架。
2017-09-15 cs.CL cs.CV cs.LG