MUNIChus: Multilingual News Image Captioning Benchmark
MUNIChus是一个包含9种语言的多语言新闻图像描述基准,旨在评估和改进多语言新闻图像描述模型。
2026-03-11 cs.CL cs.CV
Cheap-fake Detection with LLM using Prompt Engineering
University of Electronic Science and Technology of China(电子科技大学);Shanghai Jiao Tong University(上海交通大学);National University of Defense Technology(国防科技大学)
本文面向 ICME'23 廉价伪造检测挑战,在 COSMOS 基线中引入基于提示工程的 GPT3.5 特征提取模块,以建模两条图像说明的相关性并提升 OOC 媒体检测性能。
2023-06-05 cs.CV
Multi-Modal Semantic Inconsistency Detection in Social Media News Posts
University of California, Berkeley(加州大学伯克利分校)
随着计算机生成内容和deepfakes的稳步改进,多媒体取证的语义方法将变得更加重要。在本文中,我们介绍了一种新的分类架构,用于识别社交媒体新闻帖子中视频外观和文本标题之间的语义不一致。我们开发了一个多模态融合框架,以识别社交媒体帖子中的视频和字幕之间的不匹配,通过利用基于字幕的文本分析,自动音频转录,语义视频分析,目标检测,命名实体一致性和面部验证的集成方法。为了训练和测试我们的方法,我们策划了一个新的基于视频的数据集,包含4,000个真实世界的Facebook新闻帖子进行分析。我们的多模态方法在标题和外观之间的随机不匹配上实现了60.5%的分类准确率,而单模态模型的准确率低于50%。进一步的消融研究证实了跨模态融合以正确识别语义不一致的必要性。
2021-05-26 cs.CV
MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Ningbo University(宁波大学)
基于文本的图像描述(TextCap)需要同时理解视觉内容和阅读图像的文本以生成自然语言描述。虽然任务可以教机器进一步理解复杂的人类环境,因为文本在我们的日常环境中无处不在,但它对正常的字幕提出了额外的挑战。基于文本的图像直观地包含丰富而复杂的多模态关系内容,即图像细节可以从多个视图而不是单个标题中进行描述。当然,我们可以引入额外的成对训练数据来显示图像描述的多样性,这个过程对于带有额外文本的TextCap对注释来说是劳动密集型和耗时的。基于上述见解,我们研究了如何使用不成对的训练范例生成专注于不同图像部分的多样化字幕。我们提出了多模态关系图逆向推理(MAGIC)框架,多样和不成对的文本帽。该框架可以自适应地构造多个图像的多模态关系图,并对图之间的复杂关系进行建模,以表示描述的多样性。此外,一个级联的生成对抗网络开发从建模图,以推断在图像-句子特征对齐和语言连贯性水平的不成对的字幕生成。我们验证了MAGIC的有效性,从不同的关系信息项的图像生成不同的字幕。实验结果表明,MAGIC可以生成非常有希望的结果,而无需使用任何图像-字幕训练对。
2022-03-04 cs.AI cs.CV
Image Captioning in news report scenario
University of California San Diego(加州大学圣迭戈分校);University of North Texas(北德克萨斯大学);Northern Arizona University(北亚利桑那大学);Tunghai University(东海大学)
本文针对新闻报道场景提出面向名人照片的图像描述生成方法,弥补现有工作偏重场景与动作理解的不足,以增强自动化新闻内容生成并丰富新闻叙事。
2024-04-02 cs.AI cs.CV
ANCHOR: LLM-driven Subject Conditioning for Text-to-Image Synthesis
Optum AI;The Pennsylvania State University(宾夕法尼亚州立大学)
ANCHOR通过大规模抽象式标题数据集研究文本到图像合成中多主体理解与上下文推理的缺陷,提出基于大语言模型的主体感知微调方法,提升图像-标题一致性与人类偏好对齐。
2026-04-25 cs.CL cs.CV cs.MM
Focus! Relevant and Sufficient Context Selection for News Image Captioning
University of California, Davis(加州大学戴维斯分校);University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学)
新闻图像描述需要通过利用新闻文章中的附加上下文来描述图像。以前的工作只是粗略地利用文章来提取必要的上下文,这使得模型识别相关事件和命名实体变得具有挑战性。在我们的论文中,我们首先证明,通过结合更细粒度的上下文,捕获关键的命名实体(通过Oracle获得)和全局上下文,总结新闻,我们可以显着提高模型的能力,以生成准确的新闻标题。这就引出了一个问题,如何从图像中自动提取这些关键实体?我们建议使用预先训练的视觉和语言检索模型CLIP本地化的新闻文章中的视觉接地的实体,然后通过一个开放的关系抽取模型捕获非视觉实体。我们的实验表明,通过简单地从文章中选择一个更好的上下文,我们可以显着提高现有模型的性能,并在多个基准测试中实现新的最先进的性能。
2022-12-01 cs.CL cs.CV
ICECAP: Information Concentrated Entity-aware Image Captioning
Renmin University of China(中国人民大学)
当前的图像描述系统主要关注于描述图像的一般内容,缺乏对图像进行深入理解的背景知识,如精确命名的实体或具体事件。在这项工作中,我们专注于实体感知的新闻图像描述任务,其目的是通过利用相关的新闻文章提供有关目标图像的背景知识来生成信息丰富的标题。然而,由于新闻文章的长度,以前的作品只采用粗文章或句子级别的新闻文章,这是不够细粒度的细化相关事件和准确选择命名实体。为了克服这些局限性,我们提出了一个信息集中的可靠性意识的新闻图像描述(ICECAP)模型,它逐步集中在相应的新闻文章中的相关文本信息,从句子级别到单词级别。我们的模型首先使用跨模态检索模型在相关句子上创建粗集中,然后通过进一步集中在句子内的相关单词来生成标题。在BreakingNews和GoodNews数据集上的大量实验证明了我们所提出的方法的有效性,它优于其他最先进的方法。ICECAP的代码可在https://github.com/HAWLYQ/ICECAP上公开获取。
2021-08-04 cs.CV cs.MM
Hierarchical Multi-Modal Retrieval for Knowledge-Grounded News Image Captioning
University of Science, VNU-HCM(越南国立大学胡志明市分校理学院);Vietnam National University, Ho Chi Minh City(越南国立大学胡志明市分校)
提出分层多模态文章检索增强的图像描述框架,通过结构感知检索和上下文精炼,结合VLM和LLM生成富含上下文细节的描述,在EVENTA 2025挑战赛中获得第5名。
2026-06-18 cs.CV
Event Specific Multimodal Pattern Mining with Image-Caption Pairs
Columbia Univeristy(哥伦比亚大学)
在本文中,我们描述了一种新的框架和算法,发现图像补丁模式从一个大型语料库的弱监督图像字幕对新闻事件。当前的模式挖掘技术试图找到具有代表性和区分性的模式,我们规定我们发现的模式也必须是人类可识别的,并且最好具有有意义的名称。我们提出了一种新的多模态模式挖掘方法,利用描述性的标题往往伴随着新闻图像学习语义有意义的图像补丁模式。然后使用从每个模式的相关图像标题中挖掘的单词来命名多模态模式。提供了一个新的评估框架,表明我们的模式比最先进的视觉管道发现的模式在语义上有意义26.2%,并且我们可以为发现的图像补丁提供54.5%的准确度的标签,而无需直接监督。我们的方法还发现了现有图像数据集(如ImageNet)所涵盖的命名模式。据我们所知,这是第一个自动挖掘图像补丁模式的算法,这些模式具有特定于高级新闻事件的强烈语义含义,然后根据该标准评估这些模式。
2016-01-05 cs.CV
Transform and Tell: Entity-Aware News Image Captioning
Australian National University(澳大利亚国立大学)
我们提出了一个端到端的模型,生成标题嵌入在新闻文章中的图像。新闻图像面临两个关键挑战:它们依赖于现实世界的知识,特别是关于命名实体的知识;它们通常具有语言丰富的标题,其中包括不常见的单词。我们通过多模态、多头注意力机制,将字幕中的单词与图像中的人脸和物体相关联,来解决第一个挑战。我们用最先进的Transformer语言模型来解决第二个挑战,该模型使用字节对编码来生成标题作为单词部分的序列。在GoodNews数据集上,我们的模型在CIDER评分(13至54)方面优于之前的最新技术水平4倍。这种性能提升来自于语言模型、单词表示、图像嵌入、人脸嵌入、对象嵌入以及神经网络设计改进的独特组合。我们还介绍了NYTimes 800 k数据集,它比GoodNews大70%,具有更高的文章质量,并包括文章中图像的位置作为额外的上下文线索。
2020-06-13 cs.CL cs.CV
Knowledge Completes the Vision: A Multimodal Entity-aware Retrieval-Augmented Generation Framework for News Image Captioning
MERGE提出了一种多模态实体感知检索增强生成框架,通过构建实体中心知识库和改进跨模态对齐,提升新闻图像描述质量和命名实体识别性能。
2025-11-26 cs.AI cs.CV
BBQ-to-Image: Numeric Bounding Box and Qolor Control in Large-Scale Text-to-Image Models
BRIA AI(BRIA人工智能)
BBQ-to-Image通过引入数字边界框和RGB三元组的直接条件生成,实现了对文本到图像模型中物体位置、大小和颜色的精确控制,提升了生成图像的准确性和可控性。
2026-02-24 cs.CV
Video Summarization: Towards Entity-Aware Captions
Columbia University(哥伦比亚大学);Google(谷歌公司)
针对新闻视频字幕缺乏命名实体的问题,提出实体感知字幕任务,发布VIEWS数据集,并利用外部知识增强视觉信息,在三个模型上验证有效性。
2024-11-11 cs.AI cs.CL cs.CV
A Multi-Agent Feedback System for Detecting and Describing News Events in Satellite Imagery
Massachusetts Institute of Technology(麻省理工学院);Planet Labs
提出一种迭代多智能体工作流SkyScraper,通过地理编码新闻文章并合成卫星图像序列描述,有效发现多时相事件并构建5000序列数据集。
2026-05-27 cs.CV cs.MA
Enhancing Journalism with AI: A Study of Contextualized Image Captioning for News Articles using LLMs and LMMs
DFKI German Research Center for Artificial Intelligence(德国人工智能研究中心);Applied Artificial Intelligence, Carl von Ossietzky University Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学应用人工智能系)
本研究利用GoodNews数据集评估LLMs和LMMs为新闻图片生成上下文描述的能力,发现开源LMMs可媲美专有模型,且控制上下文量能提升性能,表明新闻业需要人在回路的交互式策略。
2024-08-08 cs.CL cs.CV
DT2I: Dense Text-to-Image Generation from Region Descriptions
Technical University of Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
尽管取得了惊人的进展,但生成复杂场景的逼真图像仍然是一个具有挑战性的问题。最近,布局到图像的合成方法已经引起了很大的兴趣,通过调节生成器的边界框和相应的类标签的列表。然而,以前的方法是非常严格的,因为标签的集合是固定的先验。与此同时,文本到图像的合成方法得到了很大的改进,为条件图像的生成提供了一种灵活的方法。在这项工作中,我们介绍了密集的文本到图像(DT 2 I)合成作为一个新的任务,铺平了道路,更直观的图像生成。此外,我们提出了DTC-GAN,一种新的方法来生成图像的语义丰富的区域描述,和多模态区域特征匹配损失,以鼓励语义图像-文本匹配。我们的研究结果表明,我们的方法来生成合理的图像的复杂场景,使用区域字幕的能力。
2022-04-05 cs.CV
Can We Perform Online RL for Image Editing without Editing Rewards?
本文提出Lever-Edit框架,将文本到图像(T2I)奖励生态系统迁移至图像编辑,在无编辑奖励的情况下优化编辑策略,实验效果优于直观迁移基线且接近基于编辑奖励的微调。
2026-08-25 cs.CV
"Let's not Quote out of Context": Unified Vision-Language Pretraining for Context Assisted Image Captioning
IIT Bombay(印度理工学院孟买分校);Adobe Research(奥多比研究院)
本文提出基于 OFA 的统一视觉-语言模型,通过新闻图像描述、上下文视觉蕴含和关键词提取三类预训练任务利用上下文,在新闻图像描述基准上取得最高 8.34 CIDEr 的提升。
2023-06-01 cs.CL cs.CV
CoBIT: A Contrastive Bi-directional Image-Text Generation Model
Columbia University(哥伦比亚大学);Google Research(谷歌研究院);UCLA(加州大学洛杉矶分校)
视觉和语言领域已经见证了预先训练的基础模型的扩散。大多数现有的方法都是使用CLIP等对比目标,PaLI等图像到文本生成目标或Parti等文本到图像生成目标进行独立预训练的。然而,这三个目标可以在相同的数据、图像-文本对上进行预训练,并且直观地说,它们相互补充,因为对比提供了全局对齐能力,而生成则提供了细粒度的理解。在这项工作中,我们提出了一个对比双向图像-文本生成模型(CoBIT),它试图将三个预训练目标统一在一个框架中。具体来说,CoBIT采用了一种新颖的unicoder-decoder结构,由图像unicoder,文本unicoder和交叉模态解码器组成。图像/文本unicoders可以在不同的任务中在编码和解码之间切换,实现灵活性和共享知识,有利于图像到文本和文本到图像的生成。CoBIT在图像理解、图像-文本理解(检索、字幕、VQA、SNLI-VE)和基于文本的内容创建方面具有卓越的性能,特别是在zero-shot场景中。例如,zero-shot ImageNet分类中的82.7%,zero-shot文本到图像生成中的9.37 FID得分和zero-shot字幕中的44.8 CIDER。
2023-03-23 cs.CL cs.CV
Show, Edit and Tell: A Framework for Editing Image Captions
Multimedia University(多媒体大学);Harvard University(哈佛大学)
大多数图像描述框架直接从图像生成标题,学习从视觉特征到自然语言的映射。但是,编辑现有的字幕可能比从头开始生成新字幕更容易。直观地说,当编辑字幕时,模型不需要学习字幕中已经存在的信息(即句子结构),使其能够专注于修复细节(例如替换重复的单词)。本文提出了一种新的方法来图像描述的基础上迭代自适应细化现有的字幕。具体来说,我们的字幕编辑模型由两个子模块组成:(1)EditNet,一个具有自适应复制机制(Copy-LSTM)和选择性复制记忆注意力机制(SCMA)的语言模块,以及(2)DCNet,一个基于LSTM的去噪自动编码器。这些组件使我们的模型能够直接复制和修改现有的字幕。实验表明,我们的新方法在MS COCO数据集上实现了最先进的性能,无论是否有序列级训练。
2020-03-06 cs.CV
MiRAGeNews: Multimodal Realistic AI-Generated News Detection
University of Pennsylvania(宾夕法尼亚大学)
针对AI生成逼真假新闻的威胁,提出MiRAGeNews数据集并训练多模态检测器MiRAGe,显著提升域外假新闻检测性能。
2024-10-11 cs.CL cs.CV
CommonCanvas: An Open Diffusion Model Trained with Creative-Commons Images
Cornell Tech(康奈尔科技学院);Databricks Mosaic
使用 Creative-Commons 图像和合成标题训练出与 Stable Diffusion 2 质量相当的开放扩散模型 CommonCanvas,仅需 3% 的 LAION-4B 数据,并实现约 3 倍训练加速。
2023-10-25 cs.CV cs.CY
Transform, Contrast and Tell: Coherent Entity-Aware Multi-Image Captioning
School of Computer Science, Nanjing University of Posts and Telecommunications(南京邮电大学计算机学院)
本文针对新闻文档中相邻图像描述缺乏连贯性的问题,提出基于Transformer和两种对比学习连贯机制的实体感知多图像描述生成模型,并构建DM800K数据集,实验证明其在描述质量和连贯性上均优于多个基线。
2023-11-29 cs.CV
Composition and Deformance: Measuring Imageability with a Text-to-Image Model
Northeastern University(东北大学)
本文利用文本到图像生成模型提出测量单词和连贯文本可成像性的计算方法,并通过变形实验验证其对组合性变化的敏感度优于基线方法。
2023-06-05 cs.CL cs.CV
Show, Interpret and Tell: Entity-aware Contextualised Image Captioning in Wikipedia
Computer Vision Center(计算机视觉中心)
人类利用先验知识来描述图像,并且能够使他们的解释适应特定的上下文信息,甚至在上下文信息和图像不匹配时发明合理的解释。在这项工作中,我们提出了新的任务,标题维基百科的图像整合上下文知识。具体来说,我们生成的模型可以联合推理维基百科文章、维基媒体图片及其相关描述,以生成上下文化的标题。特别是,类似的维基媒体图像可以用于说明不同的文章,并且生成的标题需要适应特定的上下文,因此允许我们探索模型的限制,以根据不同的上下文信息调整标题。在这个领域中,一个特别具有挑战性的任务是处理字典外的单词和命名实体。为了解决这个问题,我们提出了一个预训练目标,掩码命名实体建模(MNEM),并表明,这个借口任务产生的改进相比,基线模型。此外,我们验证了在维基百科中使用MNEM目标预训练的模型可以很好地推广到新闻字幕数据集。此外,我们根据字幕任务的难度定义了两个不同的测试分割。我们提供的作用和每种模式的重要性的见解,并强调我们的模型的局限性。代码,模型和数据分割在接受后公开提供。
2022-09-21 cs.CV
Uncertainty-Aware Image Captioning
Meituan(美团)
一般认为,字幕中单词的不确定性越高,就需要更多的上下文相关信息来确定它,然而,目前的图像描述方法通常考虑的是句子中所有单词的顺序生成。在本文中,我们提出了一个不确定性感知的图像描述框架,该框架从容易到困难,直到收敛,反复操作插入现有的单词之间的不连续的候选单词。我们假设句子中的高不确定性单词需要更多的先验信息来做出正确的决定,并且应该在稍后的阶段产生。由此产生的非自回归层次结构使得字幕生成易于解释和直观。具体来说,我们利用图像条件的词袋模型来衡量字的不确定性和应用动态规划算法来构建训练对。在推理过程中,我们设计了一个不确定性自适应并行束搜索技术,产生经验对数时间复杂度。在MS COCO基准上的大量实验表明,我们的方法在字幕质量和解码速度上都优于强基线和相关方法。
2022-11-30 cs.CV
Enriching Video Captions With Contextual Text
ETH Zürich(苏黎世联邦理工学院)
理解视频内容并生成具有上下文的字幕是一项重要且具有挑战性的任务。与以前的方法,通常试图生成通用的视频字幕没有上下文不同,我们的架构通过注入相关的文本数据提取的信息上下文字幕。我们提出了一个端到端的序列到序列模型,该模型根据视觉输入生成视频字幕,并从上下文文本中挖掘相关知识,如名称和位置。与以前的方法相比,我们不对文本进行进一步的预处理,而是让模型直接学习关注它。在视觉输入的指导下,模型能够通过指针生成器网络从上下文文本中复制单词,从而生成更具体的视频字幕。我们在新闻视频数据集上展示了具有竞争力的性能,并通过消融研究验证了上下文视频描述的有效性以及我们模型架构中的个性化设计选择。
2020-07-29 cs.CL cs.CV
ReCap: Event-Aware Image Captioning with Article Retrieval and Semantic Gaussian Normalization
University of Science, VNU-HCM(越南胡志明市科学大学)
针对现有图像描述缺失事件级语义的问题,提出融合文章上下文的ReCap流水线,含两阶段检索、上下文提取与带语义高斯归一化的生成模块,在EVENTA 2025挑战赛私有测试集获第2名。
2025-09-01 cs.CV
OpenEvents V1: Large-Scale Benchmark Dataset for Multimodal Event Grounding
University of Science(科学大学);University of Dayton(戴维森大学)
OpenEvents V1是一个大规模基准数据集,通过三个任务(事件感知图像描述、图像到新闻检索、文本到图像检索)促进多模态事件定位,包含20万篇文章和40万张图像,提供基线结果和评估协议。
2025-08-26 cs.CV
CLIPScore: A Reference-free Evaluation Metric for Image Captioning
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
图像描述传统上依赖于基于参考的自动评估,其中将机器字幕与人类书写的字幕进行比较。这与人类评估字幕质量的无参考方式形成对比。在本文中,我们报告了令人惊讶的实证发现,CLIP(Radford et al.,2021),一个跨模态模型预训练的400 M图像+字幕对从网络上,可以用于鲁棒的自动评估图像描述,而不需要参考。跨越几个语料库的实验表明,我们的新的无参考指标,CLIPScore,实现了最高的相关性与人类的判断,优于现有的基于参考的指标,如CIDER和SPICE。信息增益实验表明,CLIPScore,其紧密关注的图像-文本兼容性,是补充现有的基于参考的指标,强调文本-文本的相似性。因此,我们还提出了一个参考增强版本,RefCLIPScore,它实现了更高的相关性。除了文字描述任务之外,几个案例研究揭示了CLIPScore表现良好的领域(剪贴画图像,替代文本评级),但与基于参考的指标相比,它也相对较弱,例如,新闻标题需要更丰富的上下文知识。
2022-03-23 cs.CL cs.CV
Exploring Diverse In-Context Configurations for Image Captioning
Southeast University(东南大学)
本文针对图像描述中的VL上下文内学习,提出四种图像选择与四种描述分配策略,揭示多模态协同带来的独特规律,并使CIDEr较基线平均提升20.9。
2024-01-23 cs.CV
CoVLM: Leveraging Consensus from Vision-Language Models for Semi-supervised Multi-modal Fake News Detection
Indian Institute of Science(印度科学学院)
针对脱离语境的多模态假新闻检测任务中标注数据稀缺、类别不平衡的问题,提出CoVLM半监督框架,利用标注数据推导阈值生成鲁棒伪标签,自动确定最优阈值参数,经实验验证效果优于现有最优方法。
2024-10-06 cs.CV
NewsCLIPpings: Automatic Generation of Out-of-Context Multimodal Media
University of California, Berkeley(加州大学伯克利分校)
在线错误信息是一个普遍的社会问题,对手依赖从廉价假货到复杂的深度假货的各种工具。我们被威胁场景所激励,在这种场景中,一个图像被断章取义地用来支持某种叙述。虽然一些用于检测图像-文本不一致的先前数据集通过文本操作生成样本,但我们提出了一个图像和文本都未被操作但不匹配的数据集。我们介绍了几种策略,自动检索令人信服的图像为一个给定的标题,捕捉不一致的实体或语义上下文的情况下。我们的大规模自动生成的NewsCLIPpings数据集:(1)表明机器驱动的图像再利用现在是一个现实的威胁,(2)提供的样本代表了新闻中文本和图像之间不匹配的挑战性实例,这些实例能够误导人类。我们在我们的数据集上对几种最先进的多模态模型进行了基准测试,并分析了它们在不同预训练域和视觉骨干中的性能。
2021-09-21 cs.CL cs.CV
Temporal Image Caption Retrieval Competition -- Description and Results
Adam Mickiewicz University(亚当·密茨凯维奇大学);Faculty of Mathematics and Computer Science(数学与计算机科学学院)
本文针对文本-图像检索多模态挑战,提出引入时序数据的TICRC新任务,基于两个美国历史报纸项目构建274年跨度的数据集,并公布竞赛结果与数据集分析。
2024-10-08 cs.CL cs.CV
Socratis: Are large multimodal models emotionally aware?
Boston University(波士顿大学);Meta AI (FAIR)(Meta AI(基础人工智能研究团队));MIT(麻省理工学院)
本文提出社会反应基准 Socratis,用多情绪及原因标注评估多模态大模型的情绪理解,发现机器生成原因显著弱于人类且现有指标难以匹配人类偏好。
2023-11-02 cs.AI cs.CV
Hypernymization of named entity-rich captions for grounding-based multi-modal pretraining
University of Pittsburgh(匹兹堡大学)
针对命名实体影响多模态预训练模型性能的问题,提出手动和学习式两种上位词化方法处理命名实体,实验验证其能提升预训练性能和开放词汇检测效果。
2023-04-25 cs.CV
Weakly Supervised Face Naming with Symmetry-Enhanced Contrastive Loss
KU Leuven(鲁汶大学)
我们重新审视了弱监督的跨模态脸名对齐任务;也就是说,给定一幅图像和一个标题,我们用标题中出现的名字来标记图像中的脸。鉴于过去的方法已经学会了潜在的对齐名称和面孔之间的不确定性推理的一组图像和它们各自的标题,在本文中,我们依靠适当的损失函数学习对齐神经网络设置,并提出SECLA和SECLA-B。SECLA是一种基于对称增强对比学习的对齐模型,可以以弱监督的方式有效地最大化对应人脸和姓名之间的相似性得分。该模型的一个变体SECLA-B学习像人类一样对齐名字和面孔,也就是说,从简单到困难的情况学习,以进一步提高SECLA的性能。更具体地说,SECLA-B应用了一个两阶段的学习框架:(1)在一个简单的子集上训练模型,每个图像-标题对中有几个名字和面孔。(2)利用简单案例中已知的姓名和面孔对,使用具有额外损失的自举策略来防止遗忘,同时学习新的对齐。我们在Wild数据集和Celebrity Together数据集中实现了增强的Labeled Faces的最新结果。此外,我们相信我们的方法可以适用于其他多模式新闻理解任务。
2022-10-17 cs.CV
Detecting Cross-Modal Inconsistency to Defend Against Neural Fake News
Boston University(波士顿大学)
旨在误导或欺骗公众的大规模网上虚假信息传播是一个重大的社会问题。图像、视频和自然语言生成模型的快速发展只会加剧这种情况,并加剧我们对有效防御机制的需求。虽然已经提出了现有的方法来防御神经假新闻,但它们通常局限于非常有限的设置,其中文章只有文本和元数据,如标题和作者。在本文中,我们介绍了更现实和更具挑战性的任务,防御机器生成的新闻,也包括图像和字幕。为了识别对手可能利用的弱点,我们创建了一个由4种不同类型的生成文章组成的NeuralNews数据集,并基于该数据集进行了一系列人类用户研究实验。除了从我们的用户研究实验中收集到的有价值的见解之外,我们还提供了一种基于检测视觉语义不一致的相对有效的方法,这将作为有效的第一道防线,并为未来防御机器生成的虚假信息的工作提供有用的参考。
2020-10-21 cs.AI cs.CL cs.CV
Generating Video Descriptions with Topic Guidance
Renmin University of China(中国人民大学);Carnegie Mellon University(卡内基梅隆大学)
以自然语言生成视频描述(也称为视频描述)是比图像描述更具挑战性的任务,因为视频本质上在两个方面比图像更复杂。首先,视频涵盖的主题范围更广,如新闻、音乐、体育等;其次,多个主题可以在同一视频中共存。在本文中,我们提出了一种新的字幕模型,主题引导模型(TGM),通过利用主题信息生成面向主题的描述视频在野外。除了预定义的主题,即,分类标签从网络上爬取,我们还挖掘主题的数据驱动的方式基于训练标题的无监督的主题挖掘模型。我们发现,数据驱动的主题反映了一个更好的主题模式比预定义的主题。在测试视频主题预测方面,我们将主题挖掘模型作为教师来训练学生,充分利用视频中的多模态尤其是语音模态,对主题预测模型进行训练。我们提出了一系列的标题模型,利用主题的指导,包括隐式地使用的主题作为输入功能,以生成与主题相关的单词和显式地修改的权重与主题的解码器作为一个整体的主题感知语言解码器。我们在当前最大的视频字幕数据集MSR-VTT上的全面实验结果证明了我们的主题引导模型的有效性,其显着超过了2016年MSR视频语言挑战赛中的获胜表现。
2017-09-04 cs.CL cs.CV
MuMuQA: Multimedia Multi-Hop News Question Answering via Cross-Media Knowledge Extraction and Grounding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学);Columbia University(哥伦比亚大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Virginia Tech(弗吉尼亚理工学院暨州立大学);IBM Research AI(IBM研究院人工智能部门)
最近,人们对构建跨文本和图像等多种模态进行推理的问答(QA)模型越来越感兴趣。然而,使用图像的QA通常仅限于从一组预定义的选项中选择答案。此外,现实世界中的图像,特别是新闻中的图像,具有与文本共指的对象,具有来自两种模态的互补信息。在本文中,我们提出了一个新的QA评估基准,其中包含1,384个关于新闻文章的问题,这些文章需要将图像中的对象跨媒体接地到文本中。具体来说,该任务涉及多跳问题,需要对图像-标题对进行推理,以识别所引用的基础视觉对象,然后从新闻正文文本中预测跨度来回答问题。此外,我们引入了一种新的多媒体数据增强框架,基于跨媒体知识提取和综合问答生成,自动增强数据,可以提供弱监督这项任务。我们在我们的基准测试中评估了基于流水线和基于端到端预训练的多媒体QA模型,并表明它们实现了有希望的性能,同时大大落后于人类的性能,因此为未来这项具有挑战性的新任务留下了很大的工作空间。
2022-05-04 cs.CL cs.CV
Grand Challenge On Detecting Cheapfakes
University of Bergen (UiB)(卑尔根大学);Kristiania University College(克里斯蒂安尼亚大学学院);Simula Metropolitan Center for Digital Engineering (SimulaMet)(西穆拉大都市数字工程中心);National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构)
本文介绍了检测廉价伪造的大挑战,专注于识别新闻中真实照片与冲突说明的脱离背景(OOC)滥用,并基于COSMOS数据集开发与基准化检测模型。
2023-04-03 cs.CL cs.CV
Training Multimedia Event Extraction With Generated Images and Captions
Nanyang Technological University(南洋理工大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出CAMEL方法,通过生成缺失模态构建多模态训练数据,并采用迭代渐进训练策略,在M2E2基准上显著超越现有方法,证明了合成数据在多媒体事件抽取中的有效性。
2023-08-11 cs.CV cs.MM
Image-Caption Encoding for Improving Zero-Shot Generalization
University of California San Diego(加利福尼亚大学圣迭戈分校);Boston University(波士顿大学);University of Maryland(马里兰大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文提出图像-标题编码(ICE)方法,利用生成标题引导局部搜索,在评估时强制一致性,以提升零样本图像分类的分布外泛化能力,平均提升Top-1准确率0.5%,最高达3%。
2024-02-05 cs.CL cs.CV cs.LG
Knowledge-rich Image Gist Understanding Beyond Literal Meaning
University of Mannheim(曼海姆大学);University of New Hampshire(新罕布什尔大学)
我们调查的问题,理解的信息(要旨)所传达的图像和他们的标题,发现,例如,在网站或新闻文章。为此,我们提出了一种方法来捕获的图像标题对的意义的基础上,大量的机器可读的知识,以前已被证明是非常有效的文本理解。我们的方法识别对象的内涵超出其外延:其中大多数图像理解方法都集中在对象的外延上,即,它们的字面意义,我们的工作解决了内涵的识别,即,物体的标志性意义,理解图像的信息。我们认为图像理解的任务,表示一个图像的标题对的基础上,广泛覆盖的词汇表的概念,如维基百科提供的一个,和铸造要点检测作为一个概念排名问题与图像标题对查询。为了能够彻底调查要点理解的问题,我们制作了一个黄金标准,包括300多个图像-标题对和8,000多个要点注释,涵盖了不同抽象层次的各种主题。我们使用这个数据集来实验性地基准测试来自异构源(即图像和文本)的信号的贡献。平均精度(MAP)为0.69的最佳结果表明,通过结合两个维度,我们能够比单独使用语言或视觉信息时更好地理解图像-标题对的含义。我们测试了我们的要点检测方法在接收自动生成的输入时的鲁棒性,即,使用自动生成的图像标签或生成的字幕,并证明端到端自动化过程的可行性。
2019-04-18 cs.CL cs.CV cs.IR
COSMOS: Catching Out-of-Context Misinformation with Self-Supervised Learning
Technical University of Munich(慕尼黑工业大学);Google AI(谷歌AI)
尽管DeepFakes最近受到关注,但在社交媒体上误导受众的最常见方式之一是在新的但虚假的背景下使用未经更改的图像。为了解决这些挑战,并支持事实检查,我们提出了一种新的方法,自动检测出的上下文图像和文本对。我们的关键见解是利用图像与文本的基础来区分无法仅用语言消除歧义的上下文场景。我们提出了一种自我监督的训练策略,我们只需要一组标题图像。在训练时,我们的方法学习选择性地将图像中的单个对象与文本声明对齐,而无需明确的监督。在测试时,我们检查两个标题是否对应于图像中的相同对象,但语义不同,这使我们能够做出相当准确的上下文外预测。我们的方法实现了85%的上下文外检测准确率。为了便于对这项任务进行基准测试,我们创建了一个包含20万张图像的大规模数据集,其中包含来自各种新闻网站、博客和社交媒体帖子的45万个文本标题。数据集和源代码可在https://shivangi-aneja.github.io/projects/cosmos/上公开获得。
2021-04-21 cs.AI cs.CV
Visual-Textual Association with Hardest and Semi-Hard Negative Pairs Mining for Person Search
Beijing Institute of Technology(北京理工大学)
利用自然语言描述的查询方式在大规模图像数据库中进行人物检索是视频监控中一个较为实用的重要应用。直观地说,对于人物搜索来说,核心问题应该是视觉-文本关联,由于文本描述的高度抽象性和视觉图像的直观表达之间的矛盾,这仍然是一个极具挑战性的任务。然而,对于这个任务,虽然积极的图像-文本对总是很好地提供,大多数现有的方法不解决这个问题,有效地挖掘更合理的负对。本文提出了一种新的视觉-文本关联方法,该方法结合了视觉和文本注意力,以及跨模态最难和半难否定对挖掘。为了验证该方法的有效性和可行性,我们在典型的人物搜索引擎CUHK-PEDES上进行了大量的实验,取得了55.32%的top1成绩,成为一个新的研究领域。此外,我们还在COCO字幕数据集上对半硬对挖掘方法进行了评估,验证了该方法的有效性和互补性。
2019-12-06 cs.CV
DGM4+: Dataset Extension for Global Scene Inconsistency
本文扩展 DGM4 构建 DGM4+,新增 5,000 个含前景-背景不匹配及文本混合篡改的样本,以补足全局场景不一致检测基准。
2025-09-30 cs.CV
Interpretable Multimodal Out-of-context Detection with Soft Logic Regularization
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Center for Research on Intelligent Perception and Computing (CRIPAC)(智能感知与计算研究中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出LOGRAN方法,通过短语级潜变量和逻辑规则聚合实现可解释的图像-文本上下文错位检测,并在NewsCLIPpings数据集上验证了其竞争性性能与解释能力。
2024-06-07 cs.CV
Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models?
University of Würzburg(维尔茨堡大学);CAIDAS;WüNLP
该研究针对“目标接地能减少大视觉语言模型幻觉”的直觉性结论,采用更贴合开放式生成场景的评估协议开展系统分析,发现接地目标对图像描述中的目标幻觉几乎无改善作用。
2024-06-20 cs.CL cs.CV
Pointing-Based Object Recognition
Comenius University, Bratislava, Slovakia(科门纽斯大学,布拉迪斯拉发,斯洛伐克)
本文提出了一种识别人类指目标识的综合流程,结合物体检测、姿态估计和视觉语言模型等方法,通过单张图像重建3D空间信息提升目标识别精度。
2026-07-23 cs.CV
An Efficient and Explanatory Image and Text Clustering System with Multimodal Autoencoder Architecture
Columbia University(哥伦比亚大学)
本研究提出基于CRVAE的多模态聚类系统,整合帧文对齐、潜空间聚类与LLM解释器,可将视频划分为3-5个主题并生成描述,已在两个新闻主题验证有效,用于跨文化新闻对比研究。
2024-08-14 cs.AI cs.CV cs.LG
Latent Reconstruction from Generated Data for Multimodal Misinformation Detection
Information Technology Institute, Centre for Research & Technology, Hellas(信息科技研究所,研究中心,希腊);Department of Electrical & Computer Engineering, Aristotle University of Thessaloniki(电气与计算机工程系,亚里士多德大学)
本研究提出MisCaption This!框架和LAMAR网络,通过生成高保真度的误标数据和潜在重建技术,提升多模态虚假信息检测的性能。
2026-01-13 cs.CV cs.MM
VisTopics: A Visual Semantic Unsupervised Approach to Topic Modeling of Video and Image Data
Emerging Media Studies, College of Communication Boston University(新兴媒体研究系,通讯学院,波士顿大学);Department of Communication Georgia State University(传播学院,佐治亚州立大学)
本研究提出VisTopics计算框架,通过帧提取、去重和语义聚类分析大规模视觉数据集,结合Latent Dirichlet Allocation与字幕语义分析揭示视觉主题,为计算媒体研究提供可扩展的变革性工具。
2025-05-20 cs.CV cs.IR cs.MM