Exploiting Temporal Relationships in Video Moment Localization with Natural Language
University of Rochester(罗切斯特大学);Xiamen University(厦门大学)
我们解决的问题,视频时刻定位与自然语言,即本地化的视频片段描述的自然语言的句子。虽然大多数先前的工作集中在接地查询作为一个整体,时间依赖性和推理的事件之间的文本没有得到充分考虑。在本文中,我们提出了一种新的时间组合模块化网络(TCMN)的树注意力网络首先自动分解成三个描述的主要事件,上下文事件和时间信号的句子。然后利用两个模块来测量每个片段与分解的描述之间的视觉相似性和位置相似性。此外,由于主事件和上下文事件可能依赖于不同的模态(RGB或光流),因此我们使用后期融合来形成四个模型的集合,其中每个模型都由视觉输入的一个组合独立训练。实验表明,我们的模型在TEMPO数据集上的性能优于最先进的方法。
2019-08-11 cs.CV cs.IR cs.MM
Progressive Localization Networks for Language-based Moment Localization
Zhejiang Gongshang University(浙江工商大学);Huazhong University of Science and Technology(华中科技大学);University of Science and Technology of China(中国科学技术大学)
本文主要研究基于语言的视频矩定位问题。该任务的基于语言的设置允许一组开放的目标活动,从而导致视频时刻的时间长度的较大变化。大多数现有的方法都倾向于先采样足够多的具有不同时间长度的候选时刻,然后将它们与给定的查询匹配以确定目标时刻。然而,以固定的时间粒度生成的候选时刻可能是次优的,以处理时刻长度的大变化。为此,我们提出了一种新的多阶段渐进定位网络(PLN),逐步定位的目标时刻在一个由粗到细的方式。具体而言,PLN的每个阶段都有一个本地化分支,并专注于以特定时间粒度生成的候选时刻。候选时刻的时间粒度在各个阶段是不同的。此外,我们设计了一个条件特征操作模块和一个上采样连接来桥接多个本地化分支。以这种方式,后面的阶段能够吸收先前学习的信息,从而促进更细粒度的本地化。在三个公共数据集上的大量实验证明了我们提出的PLN对于基于语言的时刻定位的有效性,特别是对于长视频中的短时刻的定位。
2022-03-03 cs.CV
Hierarchical Deep Residual Reasoning for Temporal Moment Localization
Shandong University(山东大学)
未裁剪视频中的时间矩定位(TML)是多媒体领域的一项具有挑战性的任务,其目的是定位视频中由句子查询描述的活动的起点和终点。现有的方法主要集中在挖掘视频和句子表示之间的相关性或研究两种形式的融合方式。这些作品主要是对视频和句子进行粗略的理解,忽略了句子可以从多种语义中理解,而语义中影响时刻定位的主导词是动作和对象指称。为此,我们提出了一个分层深度残差推理(HDRR)模型,该模型将视频和句子分解为具有不同语义的多级表示,以实现更细粒度的本地化。此外,考虑到不同分辨率的视频和不同长度的句子在理解上的难度不同,本文设计了简单有效的Res-BiGRU进行特征融合,能够自适应地把握有用信息。在Charades-STA和ActivityNet-Captions数据集上进行的大量实验表明,与其他最先进的方法相比,我们的HDRR模型具有优越性。
2021-10-31 cs.CL cs.CV cs.IR
A Survey on Video Moment Localization
Shandong Jianzhu University(山东建筑大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Shandong University(山东大学);Hefei University of Technology(合肥工业大学);Lenovo Company Ltd.(联想集团有限公司)
本文为视频片段定位(又称视频片段检索)领域的综述,全面回顾了监督、弱监督、无监督三类现有技术,梳理了相关数据集与研究结果,并指出了大规模数据集、可解释模型等未来发展方向。
2023-06-13 cs.CV
Video Moment Localization using Object Evidence and Reverse Captioning
Simon Fraser University(西蒙弗雷泽大学)
我们解决的问题,基于语言的时间定位的时刻在未修剪的视频。与固定类别的时间本地化相比,这个问题更具挑战性,因为基于语言的查询没有预定义的活动类,也可能包含复杂的描述。当前最先进的模型MAC通过从视频和语言模态中挖掘活动概念来解决这个问题。该方法对来自语言查询中的动词/对象对的语义活动概念进行编码,并利用来自视频活动分类预测分数的视觉活动概念。我们提出了“多方面的VideoMoment定位器”(MML),MAC模型的扩展,通过引入视觉对象的证据,通过对象分割掩模和视频理解功能,通过视频描述。此外,我们还改进了句子嵌入中的语言建模。我们在Charades-STA数据集上进行了实验,发现MML在R@1和R@5指标上分别比MAC基线高出4.93%和1.70%。我们的代码和预训练模型可在https://github.com/madhawav/MML上公开获取。
2020-06-18 cs.CV cs.MM
Prompting Large Language Models to Reformulate Queries for Moment Localization
Fudan University(复旦大学);Meituan(美团)
本文针对未裁剪视频时刻定位中查询难以被模型理解的问题,提出利用大型语言模型将原始查询重构为更友好的指令集。
2023-06-06 cs.CV
Text-based Localization of Moments in a Video Corpus
University of California(加利福尼亚大学);SRI International(斯坦福国际研究院)
基于文本的视频矩定位的现有工作集中在时间上接地的未修剪的视频中的文本查询。这些作品假设相关视频是已知的,并试图将该时刻定位在该相关视频上。不同于这样的作品,我们放松了这一假设,并解决了本地化时刻在一个给定的句子查询的视频语料库的任务。该任务提出了独特的挑战,因为系统需要执行:(i)检索相关视频,其中仅视频的片段与所查询的句子相对应,以及(ii)基于句子查询对相关视频中的时刻进行时间定位。为了克服这一挑战,我们提出了分层矩对齐网络(HMAN),它可以学习一个有效的矩和句子的联合嵌入空间。除了学习视频内时刻之间的细微差异外,HMAN还专注于基于句子查询区分视频间全局语义概念。定性和定量结果三个基准基于文本的视频时刻检索数据集- Charades-STA,DiDeMo和ActivityNet字幕-表明,我们的方法实现了有前途的性能上提出的任务的时刻在一个语料库的视频时间定位。
2021-08-18 cs.CV
Coarse to Fine: Video Retrieval before Moment Localization
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent PCG(腾讯平台与内容事业群);Tianjin University(天津大学)
为了方便和快速,现有的视频语料矩检索(VCMR)方法通常采用基于相似性的特征对齐方法。然而,后期融合方法,如余弦相似性对齐无法充分利用查询文本和视频的信息。在本文中,我们结合特征对齐和特征融合,以提高VCMR的性能。
2021-10-14 cs.CV
Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization
Huazhong University of Science and Technology(华中科技大学);Huawei Cloud(华为云);Columbia University(哥伦比亚大学);Zhejiang Gongshang University(浙江工商大学);Dalian University of Technology(大连理工大学)
基于查询的矩定位是一项新的任务,它根据给定的句子查询定位未修剪视频中的最佳匹配段。在这一本地化任务中,我们应该更加注意对视觉和语言信息的深入挖掘。为此,我们提出了一种新的交叉和自模态图注意力网络(CSMGAN),它将此任务改写为一个迭代消息传递联合图的过程。具体地说,联合图由跨模态交互图(CMG)和自模态关系图(SMG)组成,其中框架和词被表示为节点,跨模态和自模态节点对之间的关系由注意力机制描述。通过参数化消息传递,CMG突出显示视频和句子中的相关实例,然后SMG对每个模态内部的成对关系进行建模,以进行帧(词)关联。通过多层这样的联合图,我们的CSMGAN能够有效地捕获两种模态之间的高阶交互,从而实现进一步的精确定位。此外,为了更好地理解查询中的上下文细节,我们开发了一个层次化的句子编码器来增强查询理解。在四个公共数据集上的大量实验证明了我们提出的模型的有效性,GCSMAN显著优于最先进的。
2020-08-13 cs.CV cs.IR
3C-Net: Category Count and Center Loss for Weakly-Supervised Action Localization
Inception Institute of Artificial Intelligence(Inception人工智能研究院)
时间动作定位是一个具有挑战性的计算机视觉问题,具有许多现实世界的应用。大多数现有方法需要费力的帧级监督来训练动作本地化模型。在这项工作中,我们提出了一个框架,称为3C-Net,它只需要视频级的监督(弱监督)的动作类别标签和相应的计数的形式。我们引入了一种新的配方来学习具有增强定位能力的判别动作特征。我们的联合制定有三个方面:一个分类术语,以确保学习的动作特征的可分性,一个适应多标签中心损失长期,以提高动作特征的可辨别性和计数损失长期划定相邻的动作序列,从而提高本地化。在两个具有挑战性的基准上进行了全面的实验:THUMOS 14和ActivityNet 1.2。我们的方法为这两个数据集上的弱监督时间动作定位提供了一种新的最先进的方法。在THUMOS 14数据集上,与最先进的方法相比,所提出的方法在平均精度(mAP)方面实现了4.6%的绝对增益。源代码可在www.example.com上获得。
2019-11-18 cs.CV
MS-DETR: Natural Language Video Localization with Sampling Moment-Moment Interaction
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Centre for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心)
针对自然语言视频定位任务,提出 MS-DETR,通过可学习模板采样候选时刻并建模时刻间关系,结合多尺度跨模态编码器与锚点引导解码器,在三个公开数据集上取得优越性能。
2023-05-30 cs.CV
Real-Time Anomaly Detection and Localization in Crowded Scenes
Malek Ashtar University of Technology(马利克·阿什塔尔理工大学);Iran University of Science and Technology(伊朗科技大学);Auckland University of Technology(奥克兰理工大学)
在本文中,我们提出了一种方法,用于实时的【形】异常检测和定位在拥挤的场景。每个视频被定义为一组不重叠的立方体补丁,并使用两个局部和全局描述符进行描述。这些描述符从不同方面捕获视频属性。通过结合简单且具有成本效益的高斯分类器,我们可以区分视频中的正常活动和异常活动。局部和全局特征基于相邻块之间的结构相似性,并且使用稀疏自动编码器以无监督的方式学习特征。实验结果表明,我们的算法是一个国家的最先进的程序在UCSD ped2和UMN基准,但更有效的时间。实验证实,我们的系统可以可靠地检测和定位异常,只要他们在视频中发生。
2015-11-21 cs.CV
DORi: Discovering Object Relationship for Moment Localization of a Natural-Language Query in Video
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心(ACRV));Graduate School of Engineering, The University of Tokyo(东京大学工学研究科);A*AI, A*STAR Singapore(A*AI,新加坡A*STAR)
研究了利用自然语言查询的长视频中的时间矩定位问题。给定一个查询语句,目标是确定视频中相关片段的开始和结束。我们的关键创新是通过适合于时间时刻定位的语言条件消息传递算法来学习视频特征嵌入,该算法捕获视频中人类,物体和活动之间的关系。这些关系是通过空间子图获得的,该空间子图使用在语言查询中条件化的检测到的对象和人类特征来将场景表示上下文化。此外,时间子图通过时间捕获视频内的活动。我们的方法在三个标准基准数据集上进行了评估,我们还引入了YouCookII作为这项任务的新基准。实验表明,我们的方法在这些数据集上的性能优于最先进的方法,证实了我们的方法的有效性。
2020-10-13 cs.CV
Spectral Scalpel: Amplifying Adjacent Action Discrepancy via Frequency-Selective Filtering for Skeleton-Based Action Segmentation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shenzhen H&T Intelligent Control Co., Ltd.(深圳H&T智能控制有限公司);Southern University of Science and Technology(南方科技大学);Southeast University(东南大学)
本文提出Spectral Scalpel方法,通过频率选择性过滤增强相邻动作差异,改进基于骨架的动作分割性能,实验表明其在多个数据集上达到最优效果。
2026-03-25 cs.CV
Higher Performance Visual Tracking with Dual-Modal Localization
Northwestern Polytechnical University(西北工业大学);SenseTime Group Limited(商汤科技);University of Sydney(悉尼大学)
视觉目标跟踪(VOT)对鲁棒性和准确性有着同步的要求。虽然大多数现有的作品不能同时操作,在这项工作中,我们调查的准确性和鲁棒性之间的冲突性能的问题。我们首先对现有的方法进行了系统的比较,并分析了它们在准确性和鲁棒性方面的限制。具体而言,4公式离线分类(OFC),离线回归(OFR),在线分类(ONC),和在线回归(ONR)-被认为是,分类的在线更新和监督信号的类型的存在。为了解决这个问题,我们求助于集成的思想,并提出了一个双模式的目标定位框架,包括鲁棒定位抑制干扰通过ONR和精确定位出席目标中心精确通过OFC。为了产生最终表示(即,限界框),我们提出了一个简单但有效的分数投票策略,涉及相邻的预测,使最终表示不提交到一个单一的位置。我们提出的方法超出了实时需求,在8个卫星上进一步验证-VOT 2018,VOT 2019,OTB 2015,NFS,UAV 123,LaSOT,TrackingNet和GOT-10 k,实现了最先进的性能。
2021-03-18 cs.CV
Natural Language Video Localization with Learnable Moment Proposals
Zhejiang University(浙江大学);Columbia University(哥伦比亚大学)
给定一个未修剪的视频和一个自然语言查询,自然语言视频定位(NLVL)的目的是识别由查询描述的视频时刻。为了解决这个问题,现有的方法可以大致分为两组:1)建议和排名模型首先定义一组手工设计的候选时刻,然后找出最匹配的一个。2)无命题模型直接从帧预测参考时刻的两个时间边界。目前,几乎所有的建议和排名方法的性能不如建议自由同行。在本文中,我们认为,建议和排名的方法被低估,由于预定义的方式:1)手工设计的规则很难保证目标段的完全覆盖。2)密集采样的候选矩会导致冗余计算并降低排序过程的性能。为此,我们提出了一种新的模型称为LPNet(可学习的建议网络NLVL)与一组固定的可学习的时刻建议。这些建议的位置和长度在培训过程中动态调整。此外,已经提出了一种边界感知的损失,以利用帧级信息,并进一步提高性能。在两个具有挑战性的NLVL基准上进行的广泛消融证明了LPNet优于现有最先进方法的有效性。
2021-09-22 cs.CV
Proposal-free Temporal Moment Localization of a Natural-Language Query in Video using Guided Attention
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心(ACRV));Graduate School of Engineering, The University of Tokyo(东京大学工学研究生院);The University of Tokyo(东京大学);Graduate School of Engineering(东京大学工学研究生院)
研究了以自然语言为查询语言的长视频序列的时间矩定位问题。给定一个未修剪的视频和一个句子作为查询,目标是确定视频中与查询句子相对应的相关视觉时刻的开始和结束。虽然以前的作品已经解决了这个任务的建议和排名的方法,我们引入了一个更有效的,端到端的可训练的,和{ \em proposal-free approach},依赖于三个关键组件:一个动态过滤器将语言信息传输到视觉域,一个新的损失函数,以指导我们的模型参加最相关的视频部分,和软标签模型注释的不确定性。我们在两个基准数据集Charades-STA和ActivityNet-Captions上评估了我们的方法。实验结果表明,我们的方法优于国家的最先进的方法在这两个数据集。
2020-03-12 cs.CV
Real-Time Anomalous Behavior Detection and Localization in Crowded Scenes
在本文中,我们提出了一个准确和实时的【形】异常检测和定位在拥挤的场景,并提出了两个描述符来表示异常行为的视频。我们认为视频是一组立方体补丁。基于异常发生的低可能性,以及视频中正常补丁中结构的冗余性,考虑两个(全局和局部)视图来对视频进行建模。我们的算法有两个组成部分,(1)表示补丁使用局部和全局描述符,和(2)建模的训练补丁使用一个新的表示。我们有两个高斯模型的所有训练补丁方面的全球和局部描述符。局部和全局特征基于相邻块之间的结构相似性和以无监督方式学习的特征。我们提出了一种融合策略,将这两个描述符作为我们系统的输出。实验结果表明,我们的算法执行像一个国家的最先进的方法在几个标准的数据集,但甚至是更有效的时间。
2016-01-02 cs.CV
Active Learning with Effective Scoring Functions for Semi-Supervised Temporal Action Localization
时间动作定位(TAL)旨在预测未修剪视频中动作实例的动作类别和时间边界,即,开始和结束时间。全监督的解决方案通常被大多数现有工程所采用,并被证明是有效的。这些解决方案中的实际瓶颈之一是需要大量标记的训练数据。为了降低人工标注的成本,本文针对半监督学习任务,提出了一种有效的主动学习方法AL-STAL。我们利用四个步骤来主动选择具有高信息量的视频样本并训练本地化模型,称为\emph{Train, Query, Annotate, Append}。AL-STAL中引入了两个评分函数,考虑了定位模型的不确定性,便于对视频样本进行排序和选择。一种是将预测标签分布的熵作为不确定性的度量,称为时间建议熵(TPE)。另一种是引入一种新的基于相邻动作建议之间的互信息的度量标准来评价视频样本的信息量,称为时间上下文不一致性(TCI)。为了验证该方法的有效性,我们在两个基准数据集THUMOS'14和ActivityNet 1.3上进行了大量的实验。实验结果表明,与全监督学习相比,AL-STAL的性能优于现有的竞争者,取得了令人满意的效果。
2022-12-01 cs.CV
TemporalMaxer: Maximize Temporal Context with only Max Pooling for Temporal Action Localization
School of Electrical and Electronic Engineering(电气与电子工程学院)
时间动作定位(TAL)是视频理解中的一项具有挑战性的任务,旨在识别和定位视频序列中的动作。最近的研究强调了将长期时间上下文建模(TCM)块应用于提取的视频片段特征的重要性,例如采用复杂的自我注意力机制。在本文中,我们提出了有史以来最简单的方法来解决这一任务,并认为提取的视频剪辑功能已经是信息丰富的,以实现出色的性能,而无需复杂的架构。为此,我们引入了TemporalMaxer,它最大限度地减少了长期的时间上下文建模,同时最大限度地利用基本的,无参数的和局部区域操作的最大池块从提取的视频剪辑特征中获取信息。仅挑选出相邻和局部剪辑嵌入的最关键信息,该块导致更有效的TAL模型。我们证明了TemporalMaxer优于其他利用长期TCM的最先进方法,例如在各种TAL数据集上的自我关注,同时需要更少的参数和计算资源。我们方法的代码可在https://github.com/TuanTNG/TemporalMaxer上公开获取
2023-03-16 cs.CV
Action Graphs: Weakly-supervised Action Localization with Graph Convolution Networks
University of California, Davis(加利福尼亚大学戴维斯分校)
我们提出了一种基于图卷积的弱监督动作定位方法。为了找到和分类对应于相关动作类的视频时间段,系统必须能够识别每个视频中的区别性时间段,并识别每个动作的全部范围。用弱视频级别标签实现这一点需要系统使用训练数据中跨视频的时刻之间的相似性和相异性来理解动作如何出现以及包括动作的完整范围的子动作。然而,目前的方法没有明确使用视频时刻之间的相似性来通知定位和分类预测。我们提出了一种新的方法,使用图卷积来显式地模拟视频时刻之间的相似性。我们的方法利用编码外观和运动的相似性图,并将THUMOS '14,ActivityNet 1.2和Charades的最新技术推向弱监督动作定位。
2020-02-04 cs.CV
A Hierarchical Multi-Modal Encoder for Moment Localization in Video Corpus
U. of Southern California(南加州大学);Google Research(谷歌研究院)
识别长视频中语义匹配文本查询的短片段是一项具有挑战性的任务,在基于语言的视频搜索,浏览和导航中具有重要的应用潜力。典型的检索系统响应查询的整个视频或预定义的视频片段,但它是具有挑战性的本地化未定义的片段在未修剪和未分割的视频,其中穷举搜索所有可能的片段是棘手的。突出的挑战是视频的表示必须考虑时间域中不同级别的粒度。为了解决这个问题,我们提出了分层多模态编码器(HAMMER),编码的视频在粗粒度的剪辑级别和细粒度的帧级别提取信息在不同的尺度上基于多个子任务,即,视频检索,段时间定位和掩蔽语言建模。我们进行了广泛的实验,以评估我们的模型在ActivityNet字幕和TVR数据集上的视频语料库中的时刻定位。我们的方法优于以前的方法以及强大的基线,为这项任务建立了新的最先进的技术。
2020-11-24 cs.CL cs.CV
Skimming, Locating, then Perusing: A Human-Like Framework for Natural Language Video Localization
Peking University(北京大学)
研究了自然语言视频定位问题。几乎所有现有的作品都遵循“只看一次”的框架,利用一个单一的模型,直接捕捉视频查询对之间的复杂的交叉和自模态关系,并检索相关的部分。然而,我们认为这些方法忽略了理想定位方法的两个不可或缺的特性:1)帧可区分:考虑到正/负视频帧的不平衡,在定位过程中突出正帧并削弱负帧是有效的。2)精确边界:为了预测精确的片段边界,由于连续帧之间的变化通常是平滑的,因此模型应当捕获连续帧之间的更细粒度的差异。为此,受人类如何感知和定位一个片段的启发,我们提出了一个两步的类人框架,称为略读-定位-阅读(SLP)。SLP由一个略读和定位(SL)模块和一个双向阅读(BP)模块组成。SL模块首先参考查询语义,并从视频中选择最佳匹配帧,同时过滤掉不相关的帧。然后,BP模块基于该框架构造初始片段,并通过探索其相邻的框架来动态地更新它,直到没有框架共享相同的活动语义。三个具有挑战性的基准测试的实验结果表明,我们的SLP是优于国家的最先进的方法和定位更精确的段边界。
2022-07-27 cs.CV
Learning to Combine the Modalities of Language and Video for Temporal Moment Localization
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电子通信研究院)
时间矩定位的目的是检索最佳的视频片段匹配的时刻指定的查询。现有的方法分别生成视觉嵌入和语义嵌入,并将它们融合,而没有充分考虑它们之间的长期时间关系。为了解决这些缺点,我们引入了一种新的循环单元,跨模态长短期记忆(CM-LSTM),通过模仿人类的认知过程,将时间矩定位在与查询部分相关的视频片段的部分上,并循环地积累整个视频的上下文信息。此外,我们设计了一个双流注意力机制的关注和无人值守的视频功能的输入查询,以防止必要的视觉信息被忽视。为了获得更精确的边界,我们提出了一个双流注意跨模态交互网络(TACI),该网络生成两个2D建议图,这两个2D建议图是从使用CM-LSTM生成的集成上下文特征全局获得的,并从边界得分序列局部获得,然后以端到端的方式将它们组合成最终的2D地图。在TML基准数据集ActivityNet-Captions上,TACI优于最先进的TML方法,对于IoU@0.5和IoU@0.7,R@1分别为45.50%和27.23%。此外,我们还展示了通过用我们的CM-LSTM替换原始LSTM来实现性能提升的最新方法。
2021-09-07 cs.CV
FPV-CRASH: A Dataset for Offline Crash Moment Localization in Drone First-Person-View Videos
School of Communication Engineering, Hangzhou Dianzi University(杭州电子科技大学通信工程学院);School of Computer Science, Faculty of Science, University of Auckland(奥克兰大学理学院计算机科学系);Department of Computer and Information Science, Faculty of Science and Technology, University of Macau(澳门科技大学理学院计算机与信息科学系)
本文提出FPV-CRASH数据集,用于解决现有数据集不适用于无人机FPV视频碰撞时刻定位的问题,基于该数据集的参考模型将MAE降低50%,提升了碰撞时刻定位精度。
2026-10-14 cs.CV
A Multimodal Deviation Perceiving Framework for Weakly-Supervised Temporal Forgery Localization
School of Computer Science and Engineering, Sun Yat-sen University(计算机科学与工程学院,中山大学);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室);School of Cyber Science and Engineering, Wuhan University(网络科学与工程学院,武汉大学)
提出一种多模态偏差感知框架(MDP),利用视频级标注实现弱监督时间伪造定位,通过跨模态注意力和偏差感知损失精确定位伪造片段,性能媲美全监督方法。
2025-08-04 cs.CV
Fast Video Shot Transition Localization with Deep Structured Models
SenseTime Research(商汤科技研究院)
镜头切换检测是视频分析中的一个重要的预处理环节。以往的研究局限于通过相似性度量检测帧间的内容突变,多尺度操作被广泛用于处理不同长度的过渡。然而,由于相邻帧之间的高度视觉相似性,渐进过渡的本地化仍然是探索不足。剪切镜头过渡是突然的语义中断,而渐进镜头过渡包含由视频效果引起的低级时空模式以及渐进语义中断,例如溶解。为了解决这个问题,我们提出了一个结构化的网络,它能够检测这两个镜头转换分别使用有针对性的模型。考虑到速度性能的权衡,我们设计了一个智能框架。在一个TITAN GPU上,该方法可以达到30 \(\times\)的实时速度。在公开的TRECVID 07和RAI数据库上的实验表明,该方法的性能优于现有的方法。为了训练一个高性能的镜头过渡检测器,我们贡献了一个新的数据库ClipShots,其中包含128636剪切过渡和38120渐变从4039在线视频。ClipShots有意收集短视频,以解决由手持摄像机振动、大对象运动和遮挡引起的更困难的情况。
2018-08-13 cs.CV
Momentor: Advancing Video Large Language Model with Fine-Grained Temporal Reasoning
Zhejiang University(浙江大学);Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
本文提出Momentor,一种能完成细粒度时间理解任务的Video-LLM,通过自动数据生成引擎构建片段级指令数据集Moment-10M进行训练,在零样本评估中展现出卓越的细粒度时间定位与理解能力。
2024-06-02 cs.CV
Hypotheses Tree Building for One-Shot Temporal Sentence Localization
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Nanyang Technological University(南洋理工大学);ProtagoLabs Inc(ProtagoLabs公司);Tsinghua University(清华大学);Microsoft Research(微软研究院)
时间句子定位(TSL)的目标是根据给定的句子查询定位特定的片段。虽然一些优秀的作品在这方面取得了不错的成绩,但它们严重依赖于密集的视频帧注释,这需要大量的人力来收集。在本文中,我们针对另一个更实际和具有挑战性的设置:一次性时间句子定位(one-shot TSL),它学习在整个视频中检索查询信息,只有一个注释帧。特别是,我们提出了一个有效的和新颖的树结构基线的一杆TSL,称为多假设段树(MHST),捕捉查询感知的歧视性帧的信息不足的注释。该方法以视频帧为叶节点,将相邻的具有相同视觉语言语义的视频帧合并到上层非叶节点中进行树的构建。最后,每个根结点是一个单独的段假设,包含其叶节点的连续帧。在树的构建过程中,我们还引入了一种剪枝策略来消除查询无关节点的干扰。通过我们设计的自监督损失函数,我们的MHST能够生成高质量的片段假设,用于查询的排名和选择。在两个具有挑战性的数据集上的实验表明,MHST与现有方法相比具有竞争力的性能。
2023-01-15 cs.CV
Multi-frame Collaboration for Effective Endoscopic Video Polyp Detection via Spatial-Temporal Feature Transformation
SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学)
息肉的准确定位是内镜下早期癌症筛查的关键。内窥镜提供的视频既带来了更丰富的上下文信息,也带来了比静止图像更多的挑战。摄像机移动的情况,而不是常见的摄像机固定的对象移动的情况下,导致帧之间的显着的背景变化。严重的内部伪影(例如,人体内的水流、组织的镜面反射)会使相邻帧的质量发生剧烈变化。这些因素阻碍了基于视频的模型有效地聚合来自邻域帧的特征并给出更好的预测。在本文中,我们提出了时空特征变换(STFT),多帧协作框架来解决这些问题。在空间上,STFT通过建议引导的可变形卷积来减轻相机移动情况下的帧间变化。在时间上,STFT提出了一个信道感知的注意模块,同时估计相邻帧的质量和相关性的自适应特征聚合。实证研究和优越的结果证明了我们的方法的有效性和稳定性。例如,STFT在CVC-Clinic和ASUMAYO数据集中的息肉定位任务的综合F1分数上分别将静态图像基线FCOS提高了10.6%和20.6%,并且分别比最先进的基于视频的方法高出3.6%和8.0%。代码可在\url{https://github.com/lingyunwu14/STFT}上获得。
2021-07-08 cs.CV
Localizing Moments in Video with Temporal Language
UC Berkeley(加州大学伯克利分校);Adobe Research(Adobe研究院);INRIA(法国国家信息与自动化研究所)
在语言和视频理解的交叉点上,通过自然语言查询定位较长视频中的时刻是一项新的、具有挑战性的任务。虽然使用自然语言的矩定位类似于其他语言和视觉任务,如图像中的自然语言对象检索,但矩定位提供了一个有趣的机会来建模文本中的时间依赖性和推理。我们提出了一个新的模型,明确的原因在视频中的不同的时间段,并表明,时间上下文是重要的本地化短语,其中包括时间的语言。为了衡量我们的模型和其他最近的视频定位模型是否可以有效地推理时间语言,我们收集了新的TEMPoral推理视频和语言(TEMPO)数据集。我们的数据集由两部分组成:一个是包含真实视频和模板句子的数据集(TEMPO -模板语言),它允许对时间语言进行受控研究,另一个是由人类注释的时间句子组成的人类语言数据集(TEMPO -人类语言)。
2018-09-05 cs.CL cs.CV