Rolling-Unrolling LSTMs for Action Anticipation from First-Person Video
University of Catania（卡塔尼亚大学）
在本文中，我们解决了自我中心的行动预期的问题，即，预测相机佩戴者将在不久的将来执行什么动作以及他们将与哪些对象交互。具体来说，我们贡献了Rolling-Unrolling LSTM，这是一种学习架构，可以从以自我为中心的视频中预测动作。该方法基于三个组成部分：1）由两个LSTM组成的架构，以对总结过去和推断未来的子任务进行建模，2）序列完成预训练技术，其鼓励LSTM专注于不同的子任务，以及3）模态注意（MATT）机制，其有效地融合通过处理RGB帧执行的多模态预测，光流场和基于对象的特征。所提出的方法在EPIC-Kitterfly、EGTEA Gaze+和ActivityNet上进行了验证。实验表明，所提出的架构在以自我为中心的视频领域是最先进的，在2019年EPIC-Kitchen-egocentric action prediction challenge中取得了最佳表现。该方法还在ActivityNet上实现了不基于无监督预训练的方法的竞争性能，并推广到早期动作识别和动作识别的任务。为了鼓励对这个具有挑战性的主题的研究，我们在我们的网页上提供了我们的代码，训练模型和预提取的特征：www.example.com。
2020-05-08 cs.CV
Zero-Shot Video Question Answering via Frozen Bidirectional Language Models
Inria Paris（巴黎法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；DeepMind（深度思维）；CIIRC CTU Prague（布拉格捷克理工大学捷克信息学、机器人与控制研究所）
视频问答（VideoQA）是一个复杂的任务，需要不同的多模态数据进行训练。然而，视频的问题和答案的手动注释是乏味的并且限制了可扩展性。为了解决这个问题，最近的方法考虑zero-shot设置，没有手动注释的视觉问答。特别是，一种很有前途的方法使在Web规模的纯文本数据上预训练的冻结自回归语言模型适应多模态输入。相比之下，我们在这里建立在冻结双向语言模型（BiLM），并表明这种方法提供了一个更强大，更便宜的替代zero-shot VideoQA。特别是，（i）我们结合视觉输入与冻结的BiLM使用轻可训练模块，（ii）我们训练这样的模块使用Web刮多模态数据，最后（iii）我们执行zero-shot VideoQA推理通过掩蔽语言建模，其中掩蔽的文本是一个给定的问题的答案。我们提出的方法，FrozenBiLM，在zero-shot VideoQA中的表现优于现有技术，在各种数据集上都有显著的优势，包括LSMDC-FiB，iVQA，MSRVTT-QA，MSVD-QA，ActivityNet-QA，TGIF-FrameQA，How2 QA和TVQA。它还展示了在Few-Shot和全监督设置中的竞争力。我们的代码和模型可在https://github.com/antoyang/FrozenBiLM上公开获取。
2022-10-10 cs.CL cs.CV cs.LG
Grounded Multi-Hop VideoQA in Long-Form Egocentric Videos
Shanghai Jiao Tong University（上海交通大学）
本文研究长视频第一人称多跳视频问答任务，构建了大规模数据集与基准MultiHop-EgoQA，并提出新架构GeLM，通过引入定位模块增强多模态大语言模型的时序证据检索能力，显著提升了多跳定位推理性能并达到SOTA。
2024-08-26 cs.CV
iPerceive: Applying Common-Sense Reasoning to Multi-Modal Dense Video Captioning and Video Question Answering
Stanford University（斯坦福大学）；University of Waterloo（滑铁卢大学）；Harvard University（哈佛大学）
视觉理解中的大多数现有技术仅仅依赖于分析“什么”（例如，事件识别）和“在哪里”（例如，事件定位），这在某些情况下不能描述事件之间的正确上下文关系或导致不正确的潜在视觉注意。将我们定义为人类和与机器根本不同的部分原因是我们本能地在任何关联背后寻找因果关系，例如事件Y是事件X的直接结果。为此，我们提出iPerceive，一个框架，能够理解的“为什么”之间的事件在视频中建立一个常识性的知识库，使用上下文线索来推断视频中的对象之间的因果关系。我们证明了我们的技术使用密集的视频描述（DVC）和视频问答（VideoQA）任务的有效性。此外，虽然DVC和VideoQA中的大多数先前工作仅依赖于视觉信息，但其他形式（例如音频和语音）对于人类观察者对环境的感知至关重要。我们将DVC和VideoQA任务表述为利用多模态的机器翻译问题。通过分别在ActivityNet字幕和TVQA数据集上评估iPerceive DVC和iPerceive VideoQA的性能，我们表明我们的方法进一步发展了最先进的技术。代码和示例可在：ipeceive.amanchadha.com上获得。
2020-11-16 cs.AI cs.CV cs.LG
VindLU: A Recipe for Effective Video-and-Language Pretraining
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Indiana University（印第安纳大学）
本文通过实证研究揭示视频与语言预训练的关键设计因素，提出VindLU方案，无需外部CLIP预训练即在多项VidL任务上达到或超越SOTA。
2023-04-05 cs.CV
VideoINSTA: Zero-shot Long Video Understanding via Informative Spatial-Temporal Reasoning with LLMs
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
针对长视频信息冗余、时空推理难度大的问题，提出零样本长视频理解框架VideoINSTA，通过事件式时间推理、内容式空间推理及自反思信息平衡机制，在多个长视频问答基准上取得SOTA提升。
2024-10-04 cs.CV
TOGA: Temporally Grounded Open-Ended Video QA with Weak Supervision
SRI；Johns Hopkins University（约翰霍普金斯大学）；United States Military Academy（美国军事学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出视觉-语言模型 TOGA，在无时序标注的弱监督设置下，利用伪标签与一致性约束联合生成开放式答案及时序定位，并在 NExT-GQA、MSVD-QA 和 ActivityNet-QA 上达到最优性能。
2025-06-11 cs.AI cs.CV
Watching, Reasoning, and Searching: A Video Deep Research Benchmark on Open Web for Agentic Video Reasoning
LZU（兰州大学）；HKUST(GZ)（香港科技大学（广州））；UBC（不列颠哥伦比亚大学）；FDU（福建大学）；PKU（北京大学）；USC（美国南加州大学）；NUS（新加坡国立大学）；UCAS（中国科学院大学）；HKUST（香港科技大学）；QuantaAlpha（量子Alpha）
本文提出VideoDR基准，用于研究开放网络环境下视频代理推理，通过跨帧视觉锚点提取、交互式网络检索和多跳推理验证，揭示了长检索链中维持初始视频锚点、目标漂移和长时程一致性等关键挑战。
2026-05-18 cs.AI cs.CV
EventCoT: Event-centric Video Chain-of-thought for Reasoning Temporal Localization
Pohang University of Science and Technology（浦项科技大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Handong Global University（韩东国际大学）
提出EventCoT框架解决推理时间定位难题，先对视频进行以事件为中心的分词，再在识别出的事件内推理生成答案，通过嵌入匹配确定时间间隔，在相关任务中取得好结果。
2026-08-12 cs.AI cs.CV
CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval
Southwest Jiaotong University（西南交通大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STCA（微软技术中心亚洲）
视频-文本检索在多模态研究中起着至关重要的作用，并已广泛应用于许多现实世界的Web应用中。CLIP（对比图像预训练）是一种图像语言预训练模型，已经证明了从网络收集的图像-文本数据集学习视觉概念的能力。在本文中，我们提出了一个CLIP 4Clip模型的知识转移的CLIP模型的视频语言检索在端到端的方式。本文通过实证研究探讨了以下几个问题：1）图像特征是否足以用于视频文本检索？2)基于CLIP的大规模视频文本数据集的后预训练如何影响性能？3)视频帧之间的时间依赖性模型的实际机制是什么？4）模型对视频文本检索任务的超参数敏感性。大量的实验结果表明，从CLIP转移CLIP 4Clip模型可以实现各种视频文本检索数据集上的SOTA结果，包括MSR-VTT，MSVC，LSMDC，ActivityNet和DiDeMo。我们在https://github.com/ArrowLuo/CLIP4Clip上发布代码。
2021-05-08 cs.CV
Cross-Media Similarity Evaluation for Web Image Retrieval in the Wild
Zhejiang University（浙江大学）；Renmin University of China（中国人民大学）
为了通过文本查询检索未标记图像，跨媒体相似性计算是一个关键组成部分。虽然新的方法不断推出，已经做了一些评估这些方法与大规模的查询日志分析。因此，这些方法在回答真实用户查询方面给我们带来了多大的帮助尚不清楚。鉴于使用相对简单的文本/图像匹配计算跨媒体相似性的基线方法，高级模型取得了多大进展也不清楚。本文从语用学的角度对这两个问题进行了探讨。根据所提出的查询可视性度量，将查询自动分类，然后将其连接到三个测试集上的多个跨媒体相似性模型的评估。这样的连接表明，国家的最先进的成功主要是由于他们的良好性能的面向视觉的查询，而这些查询只占一小部分的真实用户查询。为了量化目前的进展，我们提出了一个简单的text 2 image方法，表示一个新的测试查询的一组图像从大规模的查询日志中选择。因此，计算测试查询和给定图像之间的跨媒体相似性归结为比较给定图像和所选图像之间的视觉相似性。在具有挑战性的Clickture数据集上进行的图像检索实验表明，所提出的text 2 image与最近基于深度学习的替代方案相比毫不逊色。
2018-01-06 cs.CV
Simple Baseline for Visual Question Answering
Massachusetts Institute of Technology（麻省理工学院）；Facebook AI Research（脸书人工智能研究院）
我们描述了一个非常简单的词袋基线视觉问答。该基线将来自问题的单词特征和来自图像的CNN特征连接起来以预测答案。当在具有挑战性的VQA数据集[2]上进行评估时，它显示出与许多最近使用递归神经网络的方法相当的性能。为了探索训练模型的优点和缺点，我们还提供了一个交互式Web演示和开源代码。.
2015-12-15 cs.CL cs.CV
WebMMU: A Benchmark for Multimodal Multilingual Website Understanding and Code Generation
ServiceNow；Mila；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；École de Technologie Supérieure (ETS)（高等技术学院）；Polytechnique Montréal（蒙特利尔理工学院）
WebMMU 通过专家标注的真实网络数据统一评估网站视觉问答、代码编辑和模型图到代码生成三项任务，揭示现有多模态大语言模型在推理定位、功能保持和多语言代码生成方面的关键局限。
2025-08-22 cs.CV
Learning to Answer Visual Questions from Web Videos
Inria Paris（巴黎法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；DeepMind（深度思维）；Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人与控制研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
最近的视觉问答方法依赖于大规模的注释数据集。然而，视频的问题和答案的手动注释是乏味的、昂贵的并且妨碍可扩展性。在这项工作中，我们建议避免手动注释，并生成一个大规模的训练数据集的视频问答利用自动跨模态监督。我们利用一个在文本数据上训练的问题生成Transformer，并使用它从转录的视频叙述中生成问答对。给定叙述视频，我们然后自动生成具有69 M视频-问题-答案三元组的HowToVQA 69 M数据集。为了处理这个数据集中不同答案的开放词汇，我们提出了一个基于视频问题多模态Transformer和答案Transformer之间的对比损失的训练过程。我们介绍了zero-shot VideoQA任务和VideoQA特征探针评估设置，并显示了出色的结果，特别是对于罕见的答案。此外，我们的方法在MSRVTT-QA，ActivityNet-QA，MSVD-QA和How2 QA数据集上取得了有竞争力的结果。我们还表明，我们的VideoQA数据集生成方法可以推广到另一个网络视频和文本数据源。我们使用我们的方法从WebVid数据集生成WebVidVQA 3 M数据集，即，带有替换文本注释的视频，并展示了它对训练VideoQA模型的好处。最后，为了进行详细的评估，我们介绍了iVQA，这是一个新的VideoQA数据集，具有减少的语言偏见和高质量的手动注释。代码、数据集和训练模型可在https://ant…
2022-05-11 cs.CL cs.CV cs.LG
GraghVQA: Language-Guided Graph Neural Networks for Graph-based Visual Question Answering
Stanford University（斯坦福大学）
图像不仅仅是对象或属性的集合--它们代表了相互连接的对象之间的关系网。场景图作为一种新的图像结构化图形表示形式出现。场景图将对象编码为通过成对关系连接的节点作为边。为了支持场景图上的问答，我们提出了GraphVQA，一个语言引导的图神经网络框架，它将自然语言问题翻译和执行为图节点之间消息传递的多次迭代。我们探索了GraphVQA框架的设计空间，并讨论了不同设计选择的权衡。我们在GQA数据集上的实验表明，GraphVQA的性能大大优于最先进的模型（88.43% vs. 94.78%）。
2021-06-02 cs.CL cs.CV
Just Ask: Learning to Answer Questions from Millions of Narrated Videos
Inria Paris（法国国家信息与自动化研究所巴黎分部）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；DeepMind（深度思维公司）；CIIRC CTU Prague（捷克技术大学布拉格先进技术与创新中心）
最近的视觉问答方法依赖于大规模的注释数据集。然而，视频的问题和答案的手动注释是乏味的、昂贵的并且妨碍可扩展性。在这项工作中，我们建议避免手动注释，并生成一个大规模的训练数据集的视频问答利用自动跨模态监督。我们利用一个在文本数据上训练的问题生成Transformer，并使用它从转录的视频叙述中生成问答对。给定叙述视频，我们然后自动生成具有69 M视频-问题-答案三元组的HowToVQA 69 M数据集。为了处理这个数据集中不同答案的开放词汇，我们提出了一个基于视频问题多模态Transformer和答案Transformer之间的对比损失的训练过程。我们介绍了zero-shot VideoQA任务，并显示了出色的结果，特别是对于罕见的答案。此外，我们证明了我们的方法显着优于MSRVTT-QA，MSVD-QA，ActivityNet-QA和How2 QA的最先进的。最后，为了进行详细的评估，我们介绍了iVQA，这是一个新的VideoQA数据集，具有减少的语言偏见和高质量的冗余手动注释。我们的代码，数据集和训练模型可在https://antoyang.github.io/just-ask.html上获得。
2021-08-12 cs.CL cs.CV cs.LG
The meaning of "most" for visual question answering models
University of Cambridge（剑桥大学）
在视觉场景的上下文中正确解释量词语句需要非平凡的推理机制。以“大多数”为例，我们讨论了两种依赖于根本不同的认知概念的策略。我们的目标是确定视觉问答的深度学习模型在训练这些问题时学习什么策略。为此，我们仔细设计数据，以复制心理语言学的实验，其中对人类进行了同样的研究。针对电影视觉问答模型，我们的实验表明，出现了一种形式的近似数系统，其性能下降与韦伯定律预测的更困难的场景。此外，我们确定混杂因素，如空间布置的场景，这阻碍了该系统的有效性。
2019-06-04 cs.AI cs.CL cs.CV
Context-VQA: Towards Context-Aware and Purposeful Visual Question Answering
Stanford University（斯坦福大学）
本研究提出Context-VQA数据集，将图像与网站类型配对，证明上下文显著影响问题类型，强调VQA模型需上下文感知以满足用户需求。
2023-08-30 cs.CL cs.CV
PiggyBack: Pretrained Visual Question Answering Environment for Backing up Non-deep Learning Professionals
The University of Sydney（悉尼大学）；The University of Western Australia（西澳大学）；FortifyEdge
我们提出了一个PiggyBack，一个视觉问答平台，允许用户轻松应用最先进的视觉语言预训练模型。PiggyBack支持完整的可视化问答任务，特别是数据处理、模型微调和结果可视化。我们集成了由HuggingFace预训练的视觉语言模型，HuggingFace是深度学习技术的开源API平台;然而，如果没有编程技能或深度学习理解，它就无法运行。因此，我们的PiggyBack支持一个易于使用的基于浏览器的用户界面，其中包含几个面向普通用户和领域专家的深度学习视觉语言预训练模型。PiggyBack包括以下优点：在MIT许可证下免费提供，基于Web的可移植性，因此几乎可以在任何平台上运行，全面的数据创建和处理技术，以及基于深度学习的视觉语言预训练模型的易用性。演示视频可以在YouTube上找到，也可以在https://youtu.be/iz44RZ1lF4s上找到。
2022-12-01 cs.AI cs.CV
DUBLIN -- Document Understanding By Language-Image Network
Microsoft Corporation（微软公司）
本文提出 DUBLIN 模型，通过三种新颖预训练目标融合文档图像的空间与语义信息，在多个文档理解基准上取得领先结果，并首次以像素模型在 WebSRC 上达到高精度。
2023-10-27 cs.AI cs.CV
Answering Image Riddles using Vision and Reasoning through Probabilistic Soft Logic
Arizona State University（亚利桑那州立大学）；University of Maryland, College Park（马里兰大学学院市分校）
在这项工作中，我们探讨了一种类型的难题（“图像谜语”），其中涉及一组图像和一个问题。解决这些难题需要视觉检测（包括物体、活动识别）和基于知识或常识推理的能力。我们编译了一个超过3k个谜语的数据集，每个谜语由4个图像和一个地面真相答案组成。使用众包评价验证注释。我们还定义了一个自动评估指标来跟踪未来的进展。我们的任务与通常用于测试智力的常见智商任务，如类比解决，序列填充具有相似性。我们开发了一种基于概率推理的方法，利用概率常识知识来回答这些谜语具有合理的准确性。我们展示了我们的方法使用自动和人工评估的结果。我们的方法取得了一些有希望的结果，这些谜语，并为未来的尝试提供了一个强有力的基线。我们在ImageRiddle网站（http：//bit.ly/22f9Ala）上向社区公开了整个数据集和相关材料。
2016-11-17 cs.AI cs.CV
A Thousand Words Are Worth More Than a Picture: Natural Language-Centric Outside-Knowledge Visual Question Answering
University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
外部知识可视化问答（OK-VQA）要求智能体理解图像，利用整个网络的相关知识，并消化所有信息来回答问题。大多数以前的作品解决这个问题，首先融合图像和问题的多模态空间，这是不灵活的进一步融合大量的外部知识。在本文中，我们呼吁一个范式转变的OK-VQA任务，它将图像转换成纯文本，使我们能够在自然语言空间的知识通道检索，并生成问答。这种模式利用了庞大的知识库和丰富的预训练语言模型。提出了一种转换-生成-生成框架（TRiG），该框架可以与替代的图像到文本模型和文本知识库即插即用。实验结果表明，我们的TRiG框架优于所有国家的最先进的监督方法至少11.1%的绝对利润率。
2022-01-14 cs.CL cs.CV cs.IR
Analysis of Visual Question Answering Algorithms with attention model
L. D. Enginerring College（L.D.工程学院）
本文系统回顾了基于注意力模型的视觉问答算法，重点分析了文本语义生成、对象识别和协同注意力答案分类等关键技术。
2023-05-04 cs.AI cs.CL cs.CV
Adapting Visual Question Answering Models for Enhancing Multimodal Community Q&A Platforms
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）；Yahoo Japan Corporation（雅虎日本公司）
问题分类和专家检索方法是社区问答平台中信息组织和可访问性的关键。然而，这一领域的研究只涉及文本模态。随着Web内容的多模态性质的增加，我们专注于扩展这些方法的CQA问题伴随着图像。具体来说，我们利用成功的表示学习的文本和图像的视觉问答（VQA）域，并适应基本的概念和架构的自动分类和专家检索基于图像的问题张贴在雅虎！Chiebukuro，雅虎的日本对手！答案据我们所知，这是第一项解决CQA中多模态挑战的工作，并使VQA模型适应于更具生态有效性的视觉问题来源的任务。我们对视觉QA和社区QA数据之间差异的分析推动了我们提出的针对CQA量身定制的注意力方法的新增强，以及使用辅助任务来学习更好的接地功能。我们的最终模型显着优于纯文本和VQA模型基线的分类和专家检索的任务，对现实世界的多模态CQA数据。
2019-05-25 cs.AI cs.CL cs.CV
WebQA: Multihop and Multimodal QA
Carnegie Mellon University（卡内基梅隆大学）；Microsoft, Bing Search（微软必应搜索）；Microsoft Research（微软研究院）
将视觉问答（VQA）扩展到Web搜索的开放域和多跳性质，需要在视觉表示学习、知识聚合和语言生成方面取得根本性进展。在这项工作中，我们介绍了WebQA，一个具有挑战性的新基准，证明了大规模的国家的最先进的模型，缺乏语言接地的视觉表示新的对象和推理能力，但对人类来说微不足道的困难。WebQA反映了人类使用网络的方式：1）提出问题，2）选择要聚合的来源，3）产生流利的语言响应。这是我们应该期待物联网设备和数字助理的行为。现有的工作更倾向于假设模型可以在图像或文本中推理知识。WebQA包括一个次要的纯文本QA任务，以确保提高视觉性能不会以语言理解为代价。我们对社区的挑战是创建统一的多模态推理模型，无论源模态如何，都能回答问题，使我们更接近数字助理，不仅能查询查询语言知识，还能提供更丰富的视觉在线世界。
2022-03-28 cs.AI cs.CL cs.CV
