Do Less and Achieve More: Training CNNs for Action Recognition Utilizing Action Images from the Web
Boston University(波士顿大学);Disney Research(迪士尼研究院)
最近,已经尝试收集数百万个视频以训练CNN模型用于视频中的动作识别。然而,管理如此大规模的视频数据集需要大量的人力,并且在数百万个视频上训练CNN需要巨大的计算资源。相比之下,从网络上收集动作图像要容易得多,对图像进行训练需要的计算也要少得多。此外,标记的web图像往往包含区别性动作姿势,其突出视频的时间进展的区别性部分。我们探讨的问题,我们是否可以利用网络动作图像训练更好的CNN模型的动作识别视频。我们从网络上收集了23.8K手动过滤的图像,这些图像描述了UCF 101动作视频数据集中的101个动作。我们表明,通过在训练中利用网络动作图像和视频,可以实现CNN模型的显着性能提升。然后,我们通过利用UCF101和ActivityNet的抓取Web图像(未过滤)来研究该过程的可扩展性。我们将1620万视频帧替换为393K未经过滤的图像,并获得相当的性能。
2015-12-22 cs.CV
Query-Dependent Video Representation for Moment Retrieval and Highlight Detection
Sungkyunkwan University(成均馆大学);Pyler
近年来,随着对视频理解的需求急剧增加,视频时刻检索和精彩片段检测(MR/HD)受到关注。MR/HD的关键目标是定位矩并估计裁剪一致性水平,即,显着性分数,以给定的文本查询。虽然最近的基于transformer的模型带来了一些进步,我们发现,这些方法没有充分利用给定的查询的信息。例如,文本查询和视频内容之间的相关性有时被忽略时预测的时刻和其显着性。为了解决这个问题,我们引入了查询相关的DETR(QD-DETR),一个检测Transformer专为MR/HD。当我们观察到一个给定的查询在Transformer架构中的微不足道的作用时,我们的编码模块从交叉注意层开始,将文本查询的上下文显式地注入到视频表示中。然后,为了提高模型的能力,利用查询信息,我们操纵的视频查询对产生不相关的对。这种负面的(不相关的)视频查询对被训练成产生低显着性分数,这反过来又鼓励模型估计查询视频对之间的精确一致性。最后,我们提出了一个输入自适应的显着性预测,自适应地定义显着性分数的标准,为给定的视频查询对。我们广泛的研究验证了建立MR/HD查询相关表示的重要性。具体而言,QD-DETR在QVHighlights,TVSum和Charades-STA数据集上的性能优于最先进的方法。代码可在github.com/wjun0830/QD-DETR上获得。
2023-03-24 cs.AI cs.CV
ViSeRet: A simple yet effective approach to moment retrieval via fine-grained video segmentation
Twelve Labs;KAIST(韩国科学技术院)
视频文本检索有许多现实世界的应用,如媒体分析,监控和机器人。本文介绍了ICCV Value Challenge 2021视频检索赛道的第一名解决方案。我们提出了一个简单而有效的方法来联合处理两个视频文本检索任务(视频检索和视频语料库矩检索),利用模型只训练视频检索任务。此外,我们还创建了一个集成模型,在Value Challenge中提出的所有四个数据集(TVr,How2r,YouCook2r和VATEXr)上实现了最先进的性能。
2021-10-12 cs.AI cs.CL cs.CV
HOTVCOM: Generating Buzzworthy Comments for Videos
Fudan University(复旦大学);Arizona State University(亚利桑那州立大学);Southern University of Science and Technology(南方科技大学);Ant Group(蚂蚁集团)
本文提出最大中文视频热门评论数据集HotVCom及多模态融合框架ComHeat,通过整合视觉、听觉和文本数据生成具有影响力的话题性评论,在多个数据集上验证了其有效性。
2024-09-23 cs.AI cs.CV
VERIFIED: A Video Corpus Moment Retrieval Benchmark for Fine-Grained Video Understanding
Tsinghua University(清华大学);BNRIST, Tsinghua University(清华大学BNRIST)
针对现有视频语料库时刻检索局限于粗粒度的问题,本文提出细粒度VCMR基准VERIFIED,通过结合LLM和LMM生成细粒度描述并利用噪声评估器过滤幻觉,构建了三个高质量数据集,评估表明现有模型在细粒度理解上仍有很大提升空间。
2024-10-11 cs.AI cs.CV
QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
从给定自然语言(NL)用户查询的视频中检测定制的时刻和亮点是一个重要但未充分研究的主题。朝着这一方向努力的挑战之一是缺乏附加说明的数据。为了解决这个问题,我们提出了基于查询的视频亮点(QVHIGHLIGHTS)数据集。它由超过10,000个YouTube视频组成,涵盖广泛的主题,从生活方式vlog视频中的日常活动和旅行到新闻视频中的社会和政治活动。数据集中的每个视频都注释有:(1)人类书写的自由形式NL查询,(2)视频中的相关时刻w.r.t.查询,以及(3)所有查询相关剪辑的五点标度显著性分数。这种全面的注释使我们能够开发和评估系统,检测相关的时刻,以及突出的亮点,为多样化,灵活的用户查询。我们还提出了一个强大的基线,这个任务,矩DETR,一个Transformer的编码器-解码器模型,认为时刻检索作为一个直接集预测问题,提取的视频和查询表示作为输入和预测时刻坐标和显着性分数端到端。虽然我们的模型没有利用任何人类先验知识,但我们表明,与精心设计的架构相比,它具有竞争力。通过使用ASR字幕的弱监督预训练,MomentDETR大大优于以前的方法。最后,我们提出了几个消融和可视化的Moment-DETR。数据和代码可在https://github.com/jayleicn/moment_detr上公开获取
2021-11-29 cs.AI cs.CL cs.CV
Moment Sampling in Video LLMs for Long-Form Video QA
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Dolby Laboratories(杜比实验室)
本文提出“时刻采样”方法,利用轻量级文本到视频时刻检索模型根据问题上下文选择最相关帧,替代固定间隔帧采样,从而提升视频大语言模型在长视频问答中的性能。
2025-06-18 cs.AI cs.CL cs.CV
Where, How, and When: Query-Guided Grounding for Video Understanding
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
本论文针对视频理解的空间、关系、时间维度,提出QDETRv、TOViT、关系定位模型、MATR等查询引导方法,完成三类查询引导grounding任务,提升了视频理解性能。
2026-10-16 cs.AI cs.CV
A Survey on Video Moment Localization
Shandong Jianzhu University(山东建筑大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Shandong University(山东大学);Hefei University of Technology(合肥工业大学);Lenovo Company Ltd.(联想集团有限公司)
本文为视频片段定位(又称视频片段检索)领域的综述,全面回顾了监督、弱监督、无监督三类现有技术,梳理了相关数据集与研究结果,并指出了大规模数据集、可解释模型等未来发展方向。
2023-06-13 cs.CV
Hierarchical Video-Moment Retrieval and Step-Captioning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Meta AI
人们对从大型视频语料库中搜索信息越来越感兴趣。现有的工作已经研究了相关的任务,例如基于文本的视频检索,时刻检索,视频摘要,和视频描述在隔离,没有一个端到端的设置,可以联合搜索从视频语料库和生成摘要。这样的端到端设置将允许许多有趣的应用,例如,一种基于文本的搜索,从视频语料库中找到相关视频,从该视频中提取最相关的时刻,并将该时刻分割成带有标题的重要步骤。为了解决这个问题,我们提出了HiREST(HIRECAL REtrieval和STEp字幕)数据集,并提出了一个新的基准,包括层次信息检索和视觉/文本逐步总结教学视频语料库。HiREST由来自教学视频数据集的3.4K文本-视频对组成,其中1.1K视频具有与文本查询相关的时刻跨度的注释,并将每个时刻分解为具有标题和时间戳的关键指令步骤(总计8.6K步骤标题)。我们的层次基准包括视频检索,时刻检索,和两个新的时刻分割和步骤字幕任务。在时刻分割中,模型将视频时刻分解为指令步骤并识别开始-结束边界。在步骤标题中,模型为每个步骤生成文本摘要。我们还为我们的新基准提供了起点特定任务和端到端联合基线模型。虽然基线模型显示出一些有希望的结果,但社区仍有很大的未来改进空间。项目网址:https://hirest-cvpr2023.github.io
2023-03-29 cs.AI cs.CL cs.CV
Multi-Moments in Time: Learning and Interpreting Models for Multi-Action Video Understanding
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM Watson人工智能实验室);IBM Research(IBM研究公司)
视频捕获的事件通常包含多个连续的、同时的动作,即使在短短几秒钟内也是如此。然而,大多数大规模的数据集建立训练模型,在视频中的动作识别只提供一个单一的标签,每个视频。因此,模型可能会因为对视频中存在的动作进行分类而受到错误的惩罚,但这些动作没有明确标记,并且在训练中没有学习每个视频中存在的全部信息。为了实现这一目标,我们提出了多时刻时间数据集(M-MiT),其中包括超过100万个三秒视频的超过200万个动作标签。这个多标签数据集对如何训练和分析多动作检测模型提出了新的挑战。在这里,我们使用适用于长尾多标签学习的损失函数来呈现多动作识别的基线结果,提供用于可视化和解释为多标签动作检测训练的模型的改进方法,并显示将在M-MiT上训练的模型转移到较小数据集的强度。
2021-09-27 cs.CV cs.LG eess.IV
MTVR: Multilingual Moment Retrieval in Videos
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍了mTVR,一个大规模的多语言视频时刻检索数据集,包含21.8K电视节目视频片段的218K英语和中文查询。该数据集是通过扩展流行的TVR数据集(英语)与配对的中文查询和字幕来收集的。与现有的矩检索数据集相比,mTVR是多语言的,更大,并带有不同的注释。我们进一步提出了mXML,一个多语言的时刻检索模型,学习和操作的数据,从两种语言,通过编码器参数共享和语言的邻域约束。我们在新收集的MTVR数据集上证明了mXML的有效性,其中mXML在使用较少参数的情况下优于强单语基线。此外,我们还提供详细的数据集分析和模型消融。数据和代码可在https://github.com/jayleicn/mTVRetrieval上公开获取
2021-07-30 cs.AI cs.CL cs.CV
MABe22: A Multi-Species Multi-Task Benchmark for Learned Representations of Behavior
Caltech(加州理工学院);Northwestern University(西北大学);AICrowd(AICrowd平台);JAX Labs(JAX实验室);Zhejiang University(浙江大学);IRLAB Therapeutics(IRLAB治疗公司);University of New South Wales(新南威尔士大学);Ghent University(根特大学);Janelia(珍妮莉亚研究所);Saarland University(萨尔大学)
本文提出MABe22多智能体多物种视频与轨迹基准,通过小鼠、甲虫-蚂蚁和果蝇数据及下游任务评估自监督行为表征质量,发现人类动作方法不完全适用于动物数据。
2023-06-30 cs.AI cs.CV cs.LG
Multi-Scale Contrastive Learning for Video Temporal Grounding
Institute of Data Science (IDS), National University of Singapore(数据科学研究所(IDS),新加坡国立大学);Tongji University(同济大学);Nanyang Technological University (NTU)(南洋理工大学)
本文提出多尺度对比学习框架,通过多阶段视频编码器生成样本,无需数据增强或在线记忆库,提升视频时间定位的语义表达。
2026-04-26 cs.CV
Video Representation Learning and Latent Concept Mining for Large-scale Multi-label Video Classification
Carnegie Mellon University(卡内基梅隆大学)
我们报告CMU信息媒体实验室的系统用于谷歌的YouTube 800万视频理解挑战。在这个多标签视频分类任务中,我们的管道在我们的评估分割和官方测试集上实现了84.675%和84.662%的GAP。我们将良好的性能归因于三个组成部分:1)使用残余链接和超列的精细视频表示学习2)捕获概念之间的交互的潜在概念挖掘。3)时间段学习和加权多模型集成。我们进行实验来验证和分析我们的模型的贡献。我们还分享了一些不成功的试验,这些试验利用了传统的方法,例如用于这个大规模视频数据集的视频表示学习的递归神经网络。复制我们结果的所有代码都可以在https://github.com/Martini09/informedia-yt8m-release上公开获得。
2017-07-25 cs.CV
Moment Quantization for Video Temporal Grounding
Xi’an Jiaotong University(西安交通大学);Dolby Laboratories(杜比实验室)
本文提出基于时刻量化的视频时序定位方法MQVTG,通过维护可学习码本将视频量化为离散向量以增强相关与不相关时刻的区分度,作为即插即用组件在六个基准上显著优于现有方法。
2025-04-03 cs.CV
Disentangle and denoise: Tackling context misalignment for video moment retrieval
TeleAI
针对视频时刻检索中上下文错位问题,提出含查询引导语义解耦与上下文感知动态去噪的CDNet,在公开基准上取得了最优性能。
2024-08-14 cs.CV
Localizing Moments in Video with Temporal Language
UC Berkeley(加州大学伯克利分校);Adobe Research(Adobe研究院);INRIA(法国国家信息与自动化研究所)
在语言和视频理解的交叉点上,通过自然语言查询定位较长视频中的时刻是一项新的、具有挑战性的任务。虽然使用自然语言的矩定位类似于其他语言和视觉任务,如图像中的自然语言对象检索,但矩定位提供了一个有趣的机会来建模文本中的时间依赖性和推理。我们提出了一个新的模型,明确的原因在视频中的不同的时间段,并表明,时间上下文是重要的本地化短语,其中包括时间的语言。为了衡量我们的模型和其他最近的视频定位模型是否可以有效地推理时间语言,我们收集了新的TEMPoral推理视频和语言(TEMPO)数据集。我们的数据集由两部分组成:一个是包含真实视频和模板句子的数据集(TEMPO -模板语言),它允许对时间语言进行受控研究,另一个是由人类注释的时间句子组成的人类语言数据集(TEMPO -人类语言)。
2018-09-05 cs.CL cs.CV
Constrained-size Tensorflow Models for YouTube-8M Video Understanding Challenge
Kensho Technologies(肯肖科技)
本文介绍了第二届YouTube-8 M视频理解竞赛的第七名解决方案,该竞赛要求参赛者建立一个大小受限的模型,将数百万个YouTube视频分类为数千个类。我们的最终模型由四个单个模型聚合成一个tensorflow图。对于每一个模型,我们使用与第一届YouTube-8 M视频理解竞赛获奖解决方案相同的网络架构,即门控NetVLAD。我们在tensorflow的默认float 32精度下分别训练单个模型,然后用float 16精度替换权重,并在评估和推理阶段集成它们。达到48.5%的压缩率而不损失精度。我们最好的模型在私人排行榜上取得了88.324%的差距。该代码可在https://github.com/boliu61/youtube-8m上公开获取
2018-11-09 cs.CV
TVR-Ranking: A Dataset for Ranked Video Moment Retrieval with Imprecise Queries
Nanyang Technological University(南洋理工大学);SenseTime(商汤科技)
本文提出排序视频片段检索(RVMR)任务并构建了TVR-Ranking数据集,通过人工标注94,442个查询-片段对的相关性级别,设计了$NDCG@K, IoU\geq μ$评估指标,实验表明该任务为现有模型带来新挑战,推动了多模态搜索研究。
2024-07-24 cs.AI
HumanOmni: A Large Vision-Speech Language Model for Human-Centric Video Understanding
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);ISEE, Sun Yat-sen University(中山大学智能工程学院);VCIP, CS, Nankai University(南开大学计算机科学与通信工程学院)
本研究提出业界首个以人为中心的Omni-multimodal大型语言模型HumanOmni,通过构建超240万视频片段与1400万指令的数据集,采用三分支自适应融合视觉与音频特征,显著提升情感识别等场景理解能力。
2025-01-25 cs.CV
See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval
Department of Artificial Intelligence, Chung-Ang University(人工智能系, Chung-Ang 大学);Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究院)
SMORE通过查询引导的描述和自适应压缩技术,在视频时刻检索中实现高信息分辨率与内存效率的平衡。
2026-01-14 cs.CV
Grounding-MD: Grounded Video-language Pre-training for Open-World Moment Detection
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Peking University(北京大学)
Grounding-MD提出基于视频语言预训练的开放世界时刻检测框架,通过结构化提示整合任意数量自然语言查询,利用跨模态融合编码器和文本引导解码器实现视频-文本对齐,在四个基准数据集上取得零样本与监督设置下的最优性能。
2025-04-20 cs.CV
EZ-CLIP: Efficient Zeroshot Video Action Recognition
Østfold University College(东福尔郡大学学院);University of Central Florida(中佛罗里达大学)
本文提出高效零样本视频动作识别方法 EZ-CLIP,通过时序视觉提示和运动导向学习目标适配 CLIP,以极少参数在单 GPU 训练并取得优于现有方法的结果。
2024-01-19 cs.CV cs.LG
Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种自监督学习方法,以联合推理的空间和时间的视频识别上下文。最近的自监督方法使用了空间上下文[9,34]以及时间相干性[32],但两者的组合需要大量的预处理,例如通过数百万个视频帧[59]跟踪对象或计算光流以确定具有高运动的帧区域[30]。我们建议在一个自监督框架中结合空间和时间上下文,而无需任何繁重的预处理。我们将多个视频帧划分为补丁网格,并训练网络从多个帧中解决这些补丁上的拼图游戏。因此,网络经过训练,可以正确识别视频帧内补丁的位置以及补丁随时间的位置。我们还提出了一种新的置换策略,优于随机置换,同时显着减少计算和内存的限制。我们使用我们训练的网络进行迁移学习任务,如视频活动识别,并在两个基准视频动作识别数据集上展示了我们方法的强度,而不使用这些数据集中的单个帧对我们提出的视频拼图网络进行无监督预训练。
2018-08-22 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI(Facebook人工智能)
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究,使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是,尽管有嘈杂的社交媒体视频和标签,但在非常大的规模(超过6500万个视频)下进行预训练,大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外,我们还研究了弱监督视频动作数据集构建中的三个问题。首先,考虑到动作涉及与对象的交互,应该如何构建动词-对象预训练标签空间以使迁移学习受益最大?第二,基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够,或者对时空特征进行预训练对于最佳迁移学习是否有价值?最后,动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的,那么在给定视频数量或分钟数的固定预算的情况下,应该如何选择视频片段以获得最佳性能?
2019-05-02 cs.CV
Video Moment Localization using Object Evidence and Reverse Captioning
Simon Fraser University(西蒙弗雷泽大学)
我们解决的问题,基于语言的时间定位的时刻在未修剪的视频。与固定类别的时间本地化相比,这个问题更具挑战性,因为基于语言的查询没有预定义的活动类,也可能包含复杂的描述。当前最先进的模型MAC通过从视频和语言模态中挖掘活动概念来解决这个问题。该方法对来自语言查询中的动词/对象对的语义活动概念进行编码,并利用来自视频活动分类预测分数的视觉活动概念。我们提出了“多方面的VideoMoment定位器”(MML),MAC模型的扩展,通过引入视觉对象的证据,通过对象分割掩模和视频理解功能,通过视频描述。此外,我们还改进了句子嵌入中的语言建模。我们在Charades-STA数据集上进行了实验,发现MML在R@1和R@5指标上分别比MAC基线高出4.93%和1.70%。我们的代码和预训练模型可在https://github.com/madhawav/MML上公开获取。
2020-06-18 cs.CV cs.MM
Learning to Localize Actions from Moments
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院);University of Rochester(罗切斯特大学)
随着动作时刻的知识(即,修剪的视频剪辑,每个剪辑包含动作实例),人类可以例行地在未修剪的视频中暂时定位动作。然而,大多数实用的方法仍然需要所有训练视频都标记有时间注释(动作类别和时间边界),并以完全监督的方式开发模型,尽管昂贵的标记工作并且不适用于新类别。在本文中,我们介绍了一种新的设计迁移学习类型的学习动作本地化的一个大的动作类别,但只对动作的时刻从感兴趣的类别和时间注释的未修剪的视频从一个小的动作类。具体来说,我们提出的行动先驱网络(AherNet),这样的设计集成到一个阶段的行动本地化框架。从技术上讲,权重传递函数被独特地设计为在动作时刻或前景视频片段的分类与合成上下文时刻或未修剪视频中的动作定位之间建立转换。通过对抗机制学习每个时刻的上下文,以将生成的特征与未修剪视频中的背景特征区分开来。在ActivityNet v1.3的分裂和从THUMOS 14到ActivityNet v1.3的学习上进行了广泛的实验。我们的AherNet甚至与大多数完全监督的动作定位方法相比也具有优越性。更值得注意的是,我们训练AherNet本地化的动作从600个类别的杠杆作用的动作时刻在Kinetics-600和时间注释从200类ActivityNet v1.3。源代码和数据可在\url{https://github.com/FuchenUSTC/AherNet}上获得。
2020-08-31 cs.CV
Pinpointing Trigger Moment for Grounded Video QA: Enhancing Spatio-temporal Grounding in Multimodal Large Language Models
KAIST(韩国科学技术院);Ewha Womans University(成均馆大学)
针对ICCV 2025 GVQA任务,提出三阶段流水线框架,核心引入基于CORTEX提示的触发时刻以定位目标最清晰帧作为锚点,实现0.4968的HOTA分数,显著超越去年成绩。
2025-11-04 cs.CV
Activity Recognition on a Large Scale in Short Videos - Moments in Time Dataset
瞬间捕捉了我们生活的很大一部分。准确识别这些时刻是具有挑战性的,因为这些时刻的解释是多样和复杂的。动作识别是指对给定视频中存在的期望动作/活动进行分类的动作。在这项工作中,我们在Moments in Time数据集上进行实验,以准确识别3秒片段中发生的活动。我们使用最先进的技术进行视觉,听觉和时空定位,并开发方法来准确地对时间数据集的时刻中的活动进行分类。我们使用基于视觉的文本特征和融合技术的新方法表现良好,在20个类别上提供了89.23%的前5名准确率-这是对基线TRN模型的显着改进。
2018-09-13 cs.CV cs.LG cs.MM
LiteVL: Efficient Video-Language Learning with Enhanced Spatial-Temporal Modeling
Peking University(北京大学);The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近的大规模视频语言预训练模型在各种下游任务上表现出了吸引人的性能。然而,由于需要数百万个视频-文本对和每个视频的冗余数据结构,预训练过程在计算上是昂贵的。为了缓解这些问题,我们提出了LiteVL,它将预训练的图像-语言模型BLIP直接适应下游任务的视频-文本模型,而无需进行大量的预训练。为了增强图像-语言模型中时间模型的不足,我们提出在具有动态时间缩放的BLIP图像编码器中加入时间注意模块。除了模型自适应之外,我们还提出了一种非参数池机制来自适应地重新加权以文本为条件的细粒度视频嵌入。文本视频检索和视频问答的实验结果表明,所提出的LiteVL甚至优于以前的视频语言预训练模型的明显优势,虽然没有任何视频语言预训练。
2022-10-21 cs.CL cs.CV
Spoken Moments: Learning Joint Audio-Visual Representations from Video Descriptions
MIT(麻省理工学院);UT Austin(得克萨斯大学奥斯汀分校);IBM Research(IBM研究院)
当人们观察事件时,他们能够提取关键信息,并对正在发生的事情进行简明扼要的总结。这些摘要包括描述所观察事件的重要高级细节(什么、在哪里、谁和如何)的上下文和语义信息,并排除被认为对观察者不重要的背景信息。考虑到这一点,人们为不同动态事件的视频生成的描述可以大大提高我们对每个视频中感兴趣的关键信息的理解。这些描述可以在字幕中捕获,这些字幕为视频标签提供扩展属性(例如,动作/对象/场景/情感/等)。同时让我们获得新的洞察力,了解人们认为什么是重要的或必要的,以总结特定的事件。现有的用于视频理解的字幕数据集要么规模很小,要么局限于特定的领域。为了解决这个问题,我们提出了50万个口头字幕的口语时刻(S-MiT)数据集,每个字幕都归因于一个独特的短视频,描述了广泛的不同事件。我们使用音频记录收集描述,以确保它们尽可能保持自然和简洁,同时允许我们扩展大型分类数据集的大小。为了利用我们提出的数据集,我们提出了一种新的自适应平均间隔(AMM)方法,对比学习和评估我们的模型在多个数据集上的视频/字幕检索。我们表明,我们的AMM方法始终如一地改善了我们的结果,并且在我们的口语矩数据集上训练的模型比在其他视频字幕数据集上训练的模型更好地泛化。
2021-05-10 cs.CL cs.CV cs.LG
VideoUFO: A Million-Scale User-Focused Dataset for Text-to-Video Generation
University of Technology Sydney(悉尼技术大学);Zhejiang University(浙江大学)
本文构建百万规模、贴合真实用户关注主题的 VideoUFO 视频数据集,并据此评测 16 个文本到视频模型,证明基于该数据集训练可改善最差主题上的生成效果。
2025-05-13 cs.CV
GenVidBench: A 6-Million Benchmark for AI-Generated Video Detection
GenVidBench是一个包含600万视频的AI生成视频检测基准数据集,通过大规模、跨源和跨生成器的视频收集,提升AI生成视频检测模型的泛化能力。
2026-02-27 cs.CV
Distilling Vision-Language Models on Millions of Videos
Google Research(谷歌研究院);University of Texas, Austin(德克萨斯大学奥斯汀分校)
针对视频-文本数据不足,本文用合成教学数据从图像-语言基线微调视频模型,并以 VIIT 自动标注数百万视频蒸馏双编码器,在多项视频问答与检索基准上取得显著提升。
2024-04-15 cs.CV
TIP-I2V: A Million-Scale Real Text and Image Prompt Dataset for Image-to-Video Generation
University of Technology Sydney(悉尼技术大学);Zhejiang University(浙江大学)
本文提出TIP-I2V,首个包含超过170万条用户提供的文本和图像提示的大规模数据集,用于图像到视频生成研究,并提供五个先进模型的生成视频,以支持用户偏好分析和模型安全性研究。
2025-07-09 cs.CV
VidProM: A Million-scale Real Prompt-Gallery Dataset for Text-to-Video Diffusion Models
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
本文提出首个百万级真实用户文本到视频提示数据集 VidProM,包含 167 万条提示和 669 万个视频,为提示工程、高效生成与视频复制检测等研究提供基础。
2024-09-30 cs.CL cs.CV
DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark
Ant Group(蚂蚁集团);Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学)
本文提出首个百万规模AI生成视频检测数据集GenVideo,并设计即插即用模块DeMamba,通过分析时空不一致性增强检测能力,在泛化性与鲁棒性上显著优于现有方法。
2024-08-22 cs.CV
Youku-mPLUG: A 10 Million Large-scale Chinese Video-Language Dataset for Pre-training and Benchmarks
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文发布千万级中文视频-语言数据集 Youku-mPLUG 及人工标注基准,并通过 ALPRO、mPLUG-2 与 mPLUG-video 验证其预训练价值。
2023-06-07 cs.CL cs.CV
Just Ask: Learning to Answer Questions from Millions of Narrated Videos
Inria Paris(法国国家信息与自动化研究所巴黎分部);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);DeepMind(深度思维公司);CIIRC CTU Prague(捷克技术大学布拉格先进技术与创新中心)
最近的视觉问答方法依赖于大规模的注释数据集。然而,视频的问题和答案的手动注释是乏味的、昂贵的并且妨碍可扩展性。在这项工作中,我们建议避免手动注释,并生成一个大规模的训练数据集的视频问答利用自动跨模态监督。我们利用一个在文本数据上训练的问题生成Transformer,并使用它从转录的视频叙述中生成问答对。给定叙述视频,我们然后自动生成具有69 M视频-问题-答案三元组的HowToVQA 69 M数据集。为了处理这个数据集中不同答案的开放词汇,我们提出了一个基于视频问题多模态Transformer和答案Transformer之间的对比损失的训练过程。我们介绍了zero-shot VideoQA任务,并显示了出色的结果,特别是对于罕见的答案。此外,我们证明了我们的方法显着优于MSRVTT-QA,MSVD-QA,ActivityNet-QA和How2 QA的最先进的。最后,为了进行详细的评估,我们介绍了iVQA,这是一个新的VideoQA数据集,具有减少的语言偏见和高质量的冗余手动注释。我们的代码,数据集和训练模型可在https://antoyang.github.io/just-ask.html上获得。
2021-08-12 cs.CL cs.CV cs.LG
Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing
University of Science and Technology of China(中国科学技术大学);Tencent Hunyuan(腾讯混元)
提出首个百万级多任务视频编辑数据集Goku,包含200万高质量指令对齐对,并设计高效数据合成流程和渐进过滤系统,基于此提出双分支模型Goku-Edit及包含1000个测试用例的基准Goku-Bench,在指令遵循上提升8%。
2026-07-01 cs.CV
HumanNet: Scaling Human-centric Video Learning to One Million Hours
Peking University(北京大学)
HumanNet通过构建大规模人类活动视频数据集,探索以人为中心的视频在扩展具身基础模型中的潜力,展示其在动作生成和人机转移中的优势。
2026-05-07 cs.CV cs.RO
Who Can We Trust? Scope-Aware Video Moment Retrieval with Multi-Agent Conflict
该研究提出了一种基于强化学习的视频片段检索模型和多智能体系统框架,利用证据学习解决智能体定位输出间的冲突,无需额外训练即可识别超出范围的查询,显著提升了检索性能。
2025-11-01 cs.AI cs.CV
Efficient Large Scale Video Classification
Google, Inc.(谷歌公司)
近年来,视频分类取得了巨大的进步。视频分类的很大一部分改进都与图像分类社区所做的工作以及深度卷积网络(CNN)的使用有关,后者通过手工制作的运动特征产生有竞争力的结果。这些网络被调整为以各种方式使用视频帧,并产生了最先进的分类结果。我们提出了两种建立在这项工作基础上的方法,并将其扩展到数百万个视频和数十万个类,同时保持低计算成本。在大规模视频处理的背景下,由于涉及大量的帧,在视频帧上训练CNN非常耗时。我们建议通过在YouTube缩略图或Flickr图像上训练CNN来避免这个问题,然后使用这些网络的输出作为其他更高级别分类器的特征。我们讨论了实现这一目标的挑战,并提出了两个模型的帧级和视频级分类。第一种是专家的高效混合,而后者是基于长短期记忆神经网络。我们展示了Sports-1 M视频数据集(100万个视频,487个类)和一个新数据集(1200万个视频和150,000个标签)的结果。
2015-05-22 cs.CV cs.MM cs.NE
Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events
Shanghai Jiao Tong University(上海交通大学);Shandong University(山东大学);Southeast University(东南大学);Tencent Youtu Lab(腾讯优图实验室)
提出 Moment-Video 基准,通过瞬时视觉事件理解任务诊断视频 MLLMs 的时间保真度,发现最佳模型准确率仅 39.6%,多数开源模型低于 25%。
2026-10-16 cs.AI cs.CV
A Dataset and Benchmarks for Multimedia Social Analysis
University of California, Berkeley(加州大学伯克利分校)
我们提出了一个新的公开数据集,其目标是通过在同一背景下提供视觉和语言数据来推进多模态学习。这是通过从社交媒体网站获取数据来实现的,该社交媒体网站具有包含多个配对图像/视频和文本的帖子,以及包含图像/视频和/或文本的评论树。通过总共67.7万个帖子、290万个帖子图像、48.8万个帖子视频、140万个评论图像、460万个评论视频和9690万个评论,来自不同模态的数据可以联合用于提高各种任务的性能,例如图像描述、图像分类、下一帧预测、情感分析和语言建模。我们为我们的数据集提供了广泛的统计数据。最后,我们使用预先训练的模型和几个完全连接的网络为其中一个回归任务提供了基线性能分析。
2020-06-05 cs.CL cs.CV cs.MM
SLVideo: A Sign Language Video Moment Retrieval Framework
NOVA School of Science and Technology(NOVA科学技术学院)
SLVideo提出一种融合面部表情的手语视频时刻检索框架,利用CLIP嵌入和八小时葡萄牙手语数据集,在零样本设置下取得初步成果,并支持同义词搜索与注释编辑。
2024-11-05 cs.AI cs.CV
GenSpan: Generation-Calibrated Motion Span Priors for Multi-Verb Video Corpus Moment Retrieval
Dalian University of Technology(大连理工大学)
提出GenSpan框架,利用LLM生成辅助视频作为时间先验,结合令牌选择器和双向状态空间模型,提升多动词查询下的视频语料库时刻检索与定位性能。
2026-06-03 cs.AI cs.CV
VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval
North South University(北南大学);Qatar Computing Research Institute (QCRI)(卡塔尔计算研究 institute)
VideoLights通过引入特征细化、跨模态融合和联合任务反馈机制,提升视频亮点检测与时刻检索的性能。
2025-11-24 cs.AI cs.CV
Learning Audio-Video Modalities from Image Captions
Google Research(谷歌研究院)
文本-视频和文本-音频检索的一个主要挑战是缺乏大规模的训练数据。这与图像字幕不同,其中数据集是数百万个样本的数量级。为了缩小这一差距,我们提出了一个新的视频挖掘管道,涉及到从图像描述数据集的字幕传输到视频剪辑,没有额外的手动工作。使用这个管道,我们创建了一个新的大规模,弱标记的音频-视频描述数据集,由数百万配对的剪辑和字幕组成。我们表明,在此数据上训练基于多模态转换的模型在视频检索和视频描述方面具有竞争力的性能,匹配甚至优于HowTo 100 M预训练,剪辑减少了20倍。我们还表明,我们挖掘的剪辑是适合文本音频预训练,并实现最先进的音频检索任务的结果。
2022-04-01 cs.CV cs.MM cs.SD
Watch Video, Catch Keyword: Context-aware Keyword Attention for Moment Retrieval and Highlight Detection
Kyung Hee University(庆熙大学);Sungkyunkwan University(成均馆大学)
针对视频时刻检索与高光检测难以利用全局上下文判断关键词相关性的问题,提出上下文感知关键词注意力及聚类、对比学习模块,在三个基准上显著提升性能。
2025-01-05 cs.AI cs.CV
Text-based Localization of Moments in a Video Corpus
University of California(加利福尼亚大学);SRI International(斯坦福国际研究院)
基于文本的视频矩定位的现有工作集中在时间上接地的未修剪的视频中的文本查询。这些作品假设相关视频是已知的,并试图将该时刻定位在该相关视频上。不同于这样的作品,我们放松了这一假设,并解决了本地化时刻在一个给定的句子查询的视频语料库的任务。该任务提出了独特的挑战,因为系统需要执行:(i)检索相关视频,其中仅视频的片段与所查询的句子相对应,以及(ii)基于句子查询对相关视频中的时刻进行时间定位。为了克服这一挑战,我们提出了分层矩对齐网络(HMAN),它可以学习一个有效的矩和句子的联合嵌入空间。除了学习视频内时刻之间的细微差异外,HMAN还专注于基于句子查询区分视频间全局语义概念。定性和定量结果三个基准基于文本的视频时刻检索数据集- Charades-STA,DiDeMo和ActivityNet字幕-表明,我们的方法实现了有前途的性能上提出的任务的时刻在一个语料库的视频时间定位。
2021-08-18 cs.CV
RefVideo-6M: A Reliable Reference-Based Dataset for Instructional Video Editing
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI));The Chinese University of Hong Kong (CUHK)(香港中文大学);Sun Yat-sen University(中山大学);Fudan University(复旦大学);Tsinghua University(清华大学)
本文针对现有视频编辑数据集的局限,构建含600万样本的RefVideo-6M参考引导编辑数据集,训练Ref-MoT模型,实验证明其监督更可靠,可提升编辑模型的视觉质量、可控性与参考一致性。
2026-08-27 cs.CV
MVMR: A New Framework for Evaluating Faithfulness of Video Moment Retrieval against Multiple Distractors
Seoul National University(首尔大学);Adobe Research(奥多比研究院);LG AI Research(LG人工智能研究院)
提出MVMR任务与自动海量视频池构建框架,通过含多干扰项的数据集评估VMR忠实度,并用CroCs对比学习方法提升抗干扰能力。
2024-08-09 cs.AI cs.CL cs.CV