Implicit Location-Caption Alignment via Complementary Masking for Weakly-Supervised Dense Video Captioning
Tencent(腾讯)
提出基于互补掩码的隐式位置-描述对齐范式,通过双模式描述模块与掩码生成模块实现弱监督密集视频描述,在简化事件提议流程的同时取得优于弱监督且媲美全监督方法的性能。
2025-01-27 cs.AI cs.CV cs.MM
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP(对比存储-图像预训练)在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而,它在跨模态生成任务,如zero-shot图像描述的性能仍然不令人满意。在这项工作中,我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态,在很大程度上忽略了视觉信息,我们称之为\emph{contextual language prior}。为了解决这个问题,我们提出了跨模态语言模型(CLM),以促进无监督的跨模态学习。我们进一步提出了锚增强,以指导生成模型的注意力,在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
Linear Alignment of Vision-language Models for Image Captioning
ELLIS Unit Linz(ELLIS林茨单元);LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning(机器学习研究所);JKU LIT SAL(约翰内斯·开普勒大学林茨软件应用实验室);Johannes Kepler University(约翰内斯·开普勒大学)
本文提出ReCap方法,通过闭式线性映射重新对齐CLIP联合嵌入空间,实现训练速度提升1000倍的轻量级图像字幕生成,并提出两种新的CLIP评估指标,在多个基准上取得领先性能。
2025-02-08 cs.CL cs.CV cs.LG
VIVECaption: A Split Approach to Caption Quality Improvement
Adobe Inc.(Adobe公司)
VIVECaption通过双面方法改进标题质量,利用分层抽样和模型对齐策略提升图像-标题对齐效果,提供高质量训练数据解决方案。
2026-03-08 cs.CV
Align2Ground: Weakly Supervised Phrase Grounding Guided by Image-Caption Alignment
Georgia Institute of Technology(佐治亚理工学院);SRI International(SRI国际);Facebook AI Research(Facebook人工智能研究院)
我们解决了接地的问题,自由形式的文本短语,通过使用弱监督图像标题对。我们提出了一种新的端到端的模型,使用标题到图像检索作为“下游”的任务,以指导短语本地化的过程。我们的方法,作为第一步,推断感兴趣的区域(ROI)和标题中的短语之间的潜在对应关系,并使用这些匹配的ROI创建一个有区别的图像表示。在随后的步骤中,该(学习的)表示与标题对齐。我们的主要贡献在于建立这种“标题条件”的图像编码,它紧密耦合的任务,并允许弱监督,以有效地指导视觉接地。我们提供了广泛的实证和定性分析,以调查我们提出的模型的不同组成部分,并将其与竞争基线进行比较。对于短语本地化,我们报告了VisualGenome数据集上比现有技术水平提高了4.9%(绝对值)。我们还报告了COCO和Flickr 30 k数据集上下游标题到图像检索任务的最新结果。
2019-10-15 cs.CV
View Selection for 3D Captioning via Diffusion Ranking
University of Michigan LG AI Research(密歇根大学LG人工智能研究)
本文提出DiffuRank方法,通过评估3D物体与2D视图的对齐度,提升3D描述生成的准确性与细节,同时扩展数据集规模并优于CLIP模型。
2025-12-27 cs.CV
Low-Rank HOCA: Efficient High-Order Cross-Modal Attention for Video Captioning
本文讨论了具有挑战性的任务,视频描述的目的是产生描述的视频数据。近年来,基于注意力的编码器-解码器结构已被广泛用于视频描述中。现有文献中,注意力权重往往是根据单个通道的信息建立的,而忽略了多个通道之间的关联关系。基于此,本文提出了一种基于高阶跨模态注意(HOCA)的视频描述模型,该模型基于高阶相关张量计算注意权值,以充分捕捉不同模态之间的帧级跨模态交互。此外,我们新颖地引入了低秩HOCA,它采用张量分解,以减少非常大的空间需求的HOCA,导致在现实世界中的应用中的一个实用和有效的实现。在MSVD和MSR-VTT两个基准数据集上的实验结果表明,低秩HOCA建立了一个新的国家的最先进的。
2019-11-01 cs.CL cs.CV cs.LG
EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment
Fudan University(复旦大学);OPPO AI Center, OPPO Inc.(OPPO公司OPPO人工智能中心)
EVA-Cap是一种以事件为中心的视听视频字幕生成框架,通过将字幕分解为原子视听事件并优化三类事件对齐目标,在ChronusAV等基准上取得了优于现有方法的性能。
2026-10-16 cs.CL cs.CV
Painting with Words: Elevating Detailed Image Captioning with Benchmark and Alignment Learning
ByteDance Research(字节跳动研究院)
本文提出细粒度图像描述基准DeCapBench、评估指标DCScore及自动反馈收集方法FeedQuill,通过偏好优化显著减少VLM幻觉并提升描述性能,超越GPT-4o。
2025-03-10 cs.CV
DVCFlow: Modeling Information Flow Towards Human-like Video Captioning
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Huawei Technologies(华为技术有限公司)
密集视频描述(DVC)的目的是生成多句描述来阐明视频中的多个事件,这是一个挑战,需要视觉一致性,话语连贯性和语言多样性。现有的方法主要从单个视频片段生成字幕,缺乏对全局视觉上下文的适应性,以及快速演变的视觉内容和文本描述之间的渐进对齐,这导致冗余和拼接的描述。在本文中,我们引入信息流的概念来模拟渐进的信息变化的视频序列和字幕。通过设计跨模态信息流对齐机制,实现了视觉信息流和文本信息流的捕获和对齐,为字幕过程提供了更丰富的上下文和事件/主题演化的动态性。在跨模态信息流对齐模块的基础上,我们进一步提出了DVCFlow框架,该框架由全局-局部视觉编码器和预训练的字幕生成器组成,全局-局部视觉编码器用于捕获每个视频片段的全局特征和局部特征,字幕生成器用于生成字幕。在流行的ActivityNet Captions和YouCookII数据集上进行的大量实验表明,我们的方法显着优于竞争基线,并根据主题和客观测试生成更人性化的文本。
2021-11-19 cs.CV
Bootstrapping Interactive Image-Text Alignment for Remote Sensing Image Captioning
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室)
本文提出BITA方法,通过两阶段视觉-语言预训练和轻量级交互式Fourier Transformer实现遥感图像与文本的高效对齐,在多个数据集上取得优于先进方法的图像描述性能。
2023-12-02 cs.CV
Hyperdimensional Cross-Modal Alignment of Frozen Language and Image Models for Efficient Image Captioning
Artificial Intelligence Research Laboratory(人工智能研究实验室);The Pennsylvania State University(宾夕法尼亚州立大学)
HDFLIM通过冻结语言和图像模型的高维计算实现高效的图像描述生成,无需参数调优。
2026-02-27 cs.AI cs.CV cs.LG
SyCoCa: Symmetrizing Contrastive Captioners with Attentive Masking for Multimodal Alignment
Ant Group(蚂蚁集团)
本文提出SyCoCa方法,通过引入文本引导的掩码图像建模头和注意力掩码策略,在全局与局部层面实现图像与文本的双向交互,有效提升了多模态对齐在细粒度层面的理解能力。
2024-01-04 cs.AI cs.CV
Mining Fine-Grained Image-Text Alignment for Zero-Shot Captioning via Text-Only Training
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
本文提出一种基于纯文本训练的零样本图像描述框架MacCap,通过子区域特征聚合、噪声注入和CLIP重排序策略减小CLIP潜在空间中的模态鸿沟,在MSCOCO等数据集上取得显著性能提升。
2024-01-04 cs.AI cs.CV
Synthetic Captions for Open-Vocabulary Zero-Shot Segmentation
Meta;KU Leuven(鲁汶大学)
本研究通过将图像与VLMs生成的低成本、可扩展合成描述进行密集对齐,结合了生成式VLM与表示学习两条路线,在零样本开放词汇分割基准上超越了先前工作且数据效率更高。
2025-09-15 cs.CV
Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion
Department of Informatics, Systems and Communication(信息学、系统与通信系)
本文提出一种无需额外训练的图像字幕增强方法,通过BLIPScore排序并利用LLM融合多个SoTA模型生成的字幕,在MS-COCO和Flickr30k上提升了描述丰富性并减少幻觉。
2025-10-10 cs.AI cs.CL cs.CV
Attention Correctness in Neural Image Captioning
Johns Hopkins University(约翰斯·霍普金斯大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校);University of Southern California(南加利福尼亚大学)
注意力机制最近被引入深度学习中,用于自然语言处理和计算机视觉中的各种任务。但是,尽管它们很受欢迎,内隐学习的注意力地图的“正确性”只能通过几个例子的可视化来定性评估。在本文中,我们专注于评估和改善的神经图像描述模型中的注意的正确性。具体来说,我们提出了一个定量的评价指标之间的一致性生成的注意力地图和人类注释,使用最近发布的数据集与图像中的区域和实体之间的标题对齐。然后,我们提出了新的模型,在训练过程中学习注意力地图的不同层次的显式监督。当区域和字幕实体之间的对齐可用时,监督可以是强的,或者当仅提供对象分段和类别时,监督可以是弱的。我们在流行的Flickr30k和COCO数据集上表明,在训练过程中引入注意力地图的监督可以切实提高注意力的正确性和字幕质量,从而有望使机器感知更像人类。
2016-11-23 cs.CL cs.CV cs.LG
Integrating Temporal and Spatial Attentions for VATEX Video Captioning Challenge 2019
Renmin University of China(中国人民大学);University of Adelaide(阿德莱德大学)
本文介绍了我们的模型在VATEX视频描述的挑战。为了在视频中捕捉多层次的方面,我们建议整合时间和空间的注意力视频描述。时间注意模块专注于全局动作运动,而空间注意模块能够描述更细粒度的对象。考虑到这两种类型的注意模块是互补的,因此我们通过后期融合策略将它们融合。该模型的性能明显优于基线,在测试集上获得了73.4 CIDER分数,在2019年VATEX视频描述挑战排行榜上排名第二。
2019-10-15 cs.CV cs.LG
AVC-DPO: Aligned Video Captioning via Direct Preference Optimization
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);College of Artificial Intelligence, Nankai University(南开大学人工智能学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
本文提出AVC-DPO后训练框架,通过针对时间动态和空间信息的增强提示进行直接偏好优化,提升视频多模态大语言模型的描述能力,并在CVPR'25视频详细描述挑战赛中获得第一名。
2025-07-02 cs.CV
CaptionSmiths: Flexibly Controlling Language Pattern in Image Captioning
University of Seoul(首尔大学)
本文提出 CaptionSmiths 方法,通过将描述的长度、描述性和词语独特性量化为连续标量并利用端点向量插值进行条件控制,使单一图像描述模型能够平滑切换语言模式,并在词汇对齐和控制精度上优于基线。
2025-07-02 cs.CV
Spatio-Temporal Ranked-Attention Networks for Video Captioning
Mitsubishi Electric Research Labs(三菱电机研究实验室);Australian National University(澳大利亚国立大学)
自动生成视频描述是一项具有挑战性的任务,涉及时空视觉特征和语言模型之间的复杂相互作用。鉴于视频由空间(帧级)特征及其时间演变组成,有效的字幕模型应该能够选择性地关注这些不同的线索。为此,我们提出了一个时空和时空(STaTS)注意模型,该模型以语言状态为条件,以两种不同的顺序分层地结合对视频的时空注意:(i)时空(ST)子模型,首先关注具有时间演化的区域,然后从这些区域中暂时汇集特征;以及(ii)时空(TS)子模型,其首先决定要关注的单个帧,然后在该帧内应用空间关注。我们提出了一种新的基于LSTM的时间排序函数,我们称之为排名注意力,ST模型捕捉动作动态。我们的整个框架都是端到端训练的。我们提供了两个基准数据集上的实验:MSVD和MSR-VTT。我们的研究结果表明ST和TS模块之间的协同作用,优于最近的最先进的方法。
2020-01-17 cs.CV
Aligning Forest and Trees in Images & Long Captions for Visually Grounded Understanding
Agency for Defense Development(国防发展局);University of Michigan(密歇根大学);POSTECH
本文提出CAFT模型,通过分层视觉语言学习原理,解决长描述中细节丰富的场景理解问题,实现图像与文本的细粒度对齐,取得六个长文本检索基准的最优性能。
2026-11-11 cs.AI cs.CV cs.LG
Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning
AI Platform OneNexus, OneMount(OneMount AI平台OneNexus);School of Electronic Engineering, Soongsil University(崇实大学电子工程学院);MoAdata(MoAdata公司);University of Economics Ho Chi Minh City (UEH)(胡志明市经济大学)
该研究提出裁决式字幕生成多智能体框架,通过多阶段对齐评分与共识蒸馏重排序,在不微调IFCap的情况下,显著提升COCO等数据集的零样本图像字幕生成性能,且可跨数据集迁移。
2026-08-03 cs.AI cs.CL cs.CV
SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning
Hanyang University(翰阳大学)
SAIL通过跨模态对齐和大语言模型增强策略,提升弱监督密集视频字幕生成的准确性和语义感知能力。
2026-03-09 cs.AI cs.CV
Align Where the Words Look: Cross-Attention-Guided Patch Alignment with Contrastive and Transport Regularization for Bengali Captioning
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程与技术大学)
本文提出一种面向低资源孟加拉语图像描述生成的跨注意力引导补丁对齐方法,通过PAL、InfoNCE与最优传输三损失协同,在Flickr30k和MSCOCO上显著提升接地能力并缩小真实—合成差距。
2026-10-15 cs.AI cs.CV
MulCLIP: A Multi-level Alignment Framework for Enhancing Fine-grained Long-context CLIP
FPT Software AI Center(FPT软件人工智能中心);VinUniversity(文大学)
MulCLIP通过多级对齐框架提升细粒度长上下文CLIP的性能,采用标记重建和子描述聚合策略增强语义连接与上下文提取。
2025-12-08 cs.CV
Fine-Grained Food Image Understanding via Target-Aware Data Alignment
研究针对细粒度食品图像理解,提出以数据为中心的多模态对齐方法,先选视觉相关训练子集,再细化字幕,训练互补检索专家并融合决策,提升了检索性能,完整方法检索分数超纯VLM检索两倍且更高效。
2026-07-29 cs.CV
Seeing Before Synthesizing: VLM-Guided Transition Event Discovery for Weakly-Supervised Dense Video Captioning
Hanyang University(汉阳大学)
该研究针对弱监督密集视频字幕中LLM合成过渡字幕缺乏视觉基础的问题,提出SBS框架,利用VLM检测过渡并优化时间掩码,在ActivityNet Captions和YouCook2上取得最优性能。
2026-09-04 cs.AI cs.CV
Rigel: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation
Keio University(Keio大学)
提出Rigel评估指标,通过自蒸馏从冻结LLM提取评估专用评分头,解决大词汇语言模型与小标签集不匹配问题,在视频字幕评估中超越现有方法。
2026-09-15 cs.CV
FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model
AI Research(360人工智能研究院)
提出FG-CLIP 2双语视觉语言模型,通过区域-文本匹配、长描述建模和文本内模态对比损失等细粒度监督,在英中双语上实现细粒度对齐,在29个数据集上取得最优结果。
2026-05-25 cs.AI cs.CV cs.LG
TEVI: Text-Conditioned Editing of Visual Representations via Sparse Autoencoders for Improved Vision-Language Alignment
Max Planck Institute for Informatics, Saarland Informatics Campus, Saarbrücken, Germany(马克斯·普朗克研究所信息学院,萨尔兰信息学院,德国萨尔布吕肯);Department of Language Science and Technology, Saarland University, Saarbrücken, Germany(语言科学与技术系,萨尔兰大学,德国萨尔布吕肯)
提出TEVI框架,利用稀疏自编码器解耦图像嵌入,并通过文本条件掩码模块选择性重构嵌入,以改善CLIP等视觉-语言模型的图像-文本对齐,在多个检索基准上取得提升。
2026-09-04 cs.AI cs.CL cs.CV
From Descriptive Richness to Bias: Unveiling the Dark Side of Generative Image Caption Enrichment
Osaka University(大阪大学);NVIDIA Research(英伟达研究院)
该研究揭示生成式图像字幕增强(GCE)虽能提升字幕描述性与视觉对齐度,但会加剧性别偏差与幻觉问题,基于其训练的模型偏差平均放大30.9%、幻觉增加59.5%,为相关趋势敲响警钟。
2024-06-20 cs.CV
A dual contrastive framework
Rutgers University(罗格斯大学)
针对大规模视觉-语言模型区域级理解难的问题,提出AlignCap双重对比框架,通过潜在特征细化、语义空间对齐模块结合对比学习,并辅以GOD预处理增强空间推理,显著提升多任务区域字幕生成性能。
2024-12-13 cs.AI cs.CV
ProCap: Prominence-guided Object Rectification for Faithful and Comprehensive Video Captioning
Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur(印度理工学院卡拉格布尔分校计算机科学与工程系)
研究针对视频字幕质量提升问题,提出突出感知的迭代事后校正框架。通过轻量级评分机制排序对象,经提示驱动细化循环多轮注入相关对象。在多数据集验证,相比基线提升完整性、减少幻觉,提供了轻量级且模型无关的视频字幕优化途径。
2026-07-24 cs.CV
Video Captioning in Low-Light Conditions through Efficient Uncertainty-Aware Caption Correction
针对低光条件下视频字幕生成质量下降的问题,提出一种不确定性感知的表示校正框架,通过轻量级稀疏高斯过程模块修正VideoChat2的中间表示,仅用44个样本训练,显著提升字幕准确性。
2026-09-29 cs.CV
SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning
SafeCap是一种通过图像字幕强化学习提升LVLM安全性的框架,在多模态安全基准上安全得分提升3.7-19.0个百分点,且视觉效用相当或更优,性能优于安全SFT等方法。
2026-08-12 cs.AI cs.CV
VideoComp: Advancing Fine-Grained Compositional and Temporal Alignment in Video-Text Models
Google DeepMind(谷歌DeepMind)
本文提出 VideoComp 基准与学习框架,通过构建多事件视频组合性基准和分层成对偏好损失,提升视频-文本模型在细粒度时序对齐上的能力。
2025-04-10 cs.AI cs.CL cs.CV
Feedback-Driven Vision-Language Alignment with Minimal Human Supervision
Amazon(亚马逊)
针对视觉-语言模型依赖大量高质量图文训练数据的问题,提出无需人工图文对和偏好标注的SVP框架,通过少量筛选图像、自动字幕和预训练grounding模型反馈增强对齐,在多任务上实现显著性能提升。
2025-05-19 cs.AI cs.CL cs.CV
Knowledge Completes the Vision: A Multimodal Entity-aware Retrieval-Augmented Generation Framework for News Image Captioning
MERGE提出了一种多模态实体感知检索增强生成框架,通过构建实体中心知识库和改进跨模态对齐,提升新闻图像描述质量和命名实体识别性能。
2025-11-26 cs.AI cs.CV
Brazilian Portuguese Image Captioning with Transformers: A Study on Cross-Native-Translated Dataset
Instituto Federal do Espírito Santo (IFES)(巴西联邦大学埃斯皮里图圣安东尼奥理工学院);École de Technologie Supérieure (ÉTS)(加拿大超技术学院)
本研究通过跨原生翻译数据集评估Transformer模型在巴西葡萄牙语图像描述生成中的表现,发现Swin-DistilBERTimbau表现优异,GPT-4在CLIP-Score上表现最佳,同时揭示了模型中的系统性偏见。
2026-01-30 cs.CL cs.CV cs.LG
Analyzing Fine-Grained Alignment and Enhancing Vision Understanding in Multimodal Language Models
Department of Computer Science and Engineering, The Ohio State University(计算机科学与工程系,俄亥俄州立大学);Translational Data Analytics Institute, The Ohio State University(转化数据分析研究所,俄亥俄州立大学);Department of Biomedical Informatics, The Ohio State University(生物医学信息学系,俄亥俄州立大学)
本研究分析多模态大语言模型中投影器对视觉嵌入的压缩与补丁级对齐机制,提出补丁对齐训练方法,显著增强视觉理解,并在定位、问答和指令跟随任务上分别提升16%、4%和3%的性能。
2025-05-22 cs.AI cs.CL cs.CV
Towards Unsupervised Image Captioning with Shared Multimodal Embeddings
Technische Universität München(慕尼黑工业大学);University of Oxford(牛津大学)
在没有显式监督的情况下理解图像已经成为计算机视觉中的一个重要问题。在本文中,我们解决图像描述生成的语言描述的场景,而不学习的注释对图像和它们的字幕。我们的方法的核心组成部分是一个共享的潜在空间,是由视觉概念结构。在这方面,这两种模式应该是不可区分的。首先训练语言模型以将句子编码为语义结构化的嵌入。翻译到该嵌入空间的图像特征可以通过相同的语言模型解码为描述,类似于句子嵌入。这种翻译是从弱配对的图像和文本中学习的,使用对噪声分配和条件对抗组件具有鲁棒性的损失。我们的方法允许利用大型文本语料库以外的图像/字幕数据的注释分布。我们的实验表明,所提出的域对齐学习一个语义上有意义的表示,优于以前的工作。
2019-08-25 cs.CV
Multilingual Training-Free Remote Sensing Image Captioning
INESC-ID(葡萄牙里斯本INESC-ID研究所);Instituto Superior Técnico(葡萄牙里斯本技术大学);Faculdade de Engenharia da Universidade do Porto(葡萄牙波尔图大学工程学院)
本文提出一种无需训练的多语言遥感图像描述生成方法,通过检索增强提示和图基重新排序策略,实现跨语言的高效描述生成。
2025-12-02 cs.CV
ReCap: Event-Aware Image Captioning with Article Retrieval and Semantic Gaussian Normalization
University of Science, VNU-HCM(越南胡志明市科学大学)
针对现有图像描述缺失事件级语义的问题,提出融合文章上下文的ReCap流水线,含两阶段检索、上下文提取与带语义高斯归一化的生成模块,在EVENTA 2025挑战赛私有测试集获第2名。
2025-09-01 cs.CV
A Low-Rank Method for Vision Language Model Hallucination Mitigation in Autonomous Driving
University of Wisconsin – Madison(威斯康星大学麦迪逊分校);Cleveland State University(克利夫兰州立大学)
本文提出一种无需外部参考和模型访问的低秩方法,通过分解句子嵌入矩阵的稀疏残差对多VLM候选描述进行幻觉排序,在NuScenes上实现87%选择准确率并显著降低推理时间。
2025-11-09 cs.AI cs.CV cs.RO
VeCLIP: Improving CLIP Training via Visual-enriched Captions
Apple AI/ML(苹果公司人工智能与机器学习部门);University of California, Davis(加利福尼亚大学戴维斯分校)
本文提出VeCLIP,通过引入视觉增强字幕(VeCap)的可扩展改写流程和混合训练方案,在大规模网络数据上提升CLIP的图像-文本对齐与模型性能,显著优于基线。
2024-03-13 cs.AI cs.CV cs.LG
Cross-Modal Retrieval Augmentation for Multi-Modal Classification
Tel Aviv University(特拉维夫大学);Facebook AI
在外部知识源上使用检索组件的最新进展已经为自然语言处理中的各种下游任务显示出令人印象深刻的结果。在这里,我们探讨使用非结构化的外部知识来源的图像和相应的标题,以提高视觉问答(VQA)。首先,我们训练了一种新的对齐模型,用于在同一空间中嵌入图像和字幕,这在图像字幕检索的性能上实现了实质性的改进。类似的方法。其次,我们表明,检索增强多模态Transformers使用训练的对齐模型,提高了VQA在强基线上的结果。我们进一步进行了广泛的实验,以建立这种方法的承诺,并检查新的应用程序的推理时间,如热插拔指数。
2021-04-16 cs.CL cs.CV
CapArena: Benchmarking and Analyzing Detailed Image Captioning in the LLM Era
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);The University of Hong Kong(香港大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文构建含6000余场成对对决的CapArena基准,评估VLM详细图像描述与自动指标,并推出低成本、高相关性的CapArena-Auto。
2025-03-16 cs.CL cs.CV
UniTAB: Unifying Text and Box Outputs for Grounded Vision-Language Modeling
Microsoft Cloud and AI(微软云与人工智能部门)
我们提出了统一文本和框输出接地视觉语言(VL)建模的UniTAB。接地VL任务(如接地字幕)需要模型生成文本描述并将预测的单词与对象区域对齐。为了实现这一点,模型必须一起生成所需的文本和框输出,同时指示单词和框之间的对齐。与现有的使用多个单独模块进行不同输出的解决方案相比,UniTAB用共享的标记序列表示文本和框输出,并引入了一个特殊的<obj>标记来自然地指示序列中的单词框对齐。因此,UniTAB可以提供一个更全面和可解释的图像描述,通过自由接地生成的单词对象区域。在接地字幕方面,UniTAB提供了一个简单的解决方案,只有一个输出头,并且在接地和字幕评估方面都明显优于现有技术。在具有不同期望输出格式的一般VL任务上(即,文本、框或它们的组合),具有单个网络的UniTAB实现了比任务特定的最新技术水平更好或相当的性能。实验涵盖7个VL基准,包括接地字幕、视觉接地、图像描述和视觉问答。此外,UniTAB的统一多任务网络和任务无关的输出序列设计使模型参数有效,并可推广到新的任务。
2022-07-27 cs.CV
LOTUS: A Leaderboard for Detailed Image Captioning from Quality to Societal Bias and User Preferences
NVIDIA Research(NVIDIA研究)
LOTUS是一种用于评估详细图像描述质量、偏见和社会偏见的排行榜,通过定制标准满足不同用户偏好,揭示了模型在不同评估标准上的表现差异。
2025-07-25 cs.AI cs.CL cs.CV
Long Story Short: Disentangling Compositionality and Long-Caption Understanding in Contrastive VLMs
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);MBZUAI(马克斯·普朗克人工智能研究所)
本文研究对比视觉语言模型中组合推理与长描述理解之间的关系,通过实验发现两者存在双向但敏感的关联,高质量数据和合理架构设计有助于提升模型泛化能力。
2026-05-12 cs.CV
Variance-Aware Loss Scheduling for Multimodal Alignment in Low-Data Settings
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校)
提出一种基于模型对齐预测统计变异性的方差感知损失调度方法,动态调整对比损失权重,有效解决了低数据场景下多模态对齐的过拟合与不稳定问题,显著提升了图文检索准确率与鲁棒性。
2025-03-05 cs.CV
Vision-Language Asymmetry in Bistable Image Captioning
Arohan Agate
通过83个双稳态刺激的行为基线和稀疏自编码器分析,发现视觉塔中同时激活两种解释,但因果干预仅能翻转默认主导刺激的描述,揭示视觉表征与语言承诺之间的不对称性。
2026-06-06 cs.CV
ITIScore: An Image-to-Text-to-Image Rating Framework for the Image Captioning Ability of MLLMs
Shanghai Jiao Tong University(上海交通大学);University of Electronic and Science Technology of China(电子科技大学);Beijing University of Technology(北京工业大学);Institut Universitaire de France (IUF), University of Nantes(法国大学研究院(IUF),南特大学)
本文提出ICBenchmark图像描述基准,包含12类内容和2K图像生成的40K短长描述,提出ITIScore自动评估指标,通过图像到文本到图像框架衡量描述质量,实验显示其与人类判断一致且具有强泛化能力。
2026-04-13 cs.CV