UMT: Unified Multi-modal Transformers for Joint Video Moment Retrieval and Highlight Detection
The Hong Kong Polytechnic University(香港理工大学);Tencent PCG(腾讯平台与内容事业群);Peng Cheng Laboratory(鹏城实验室)
根据自然语言查询发现视频中的相关瞬间和精彩片段,是当前视频内容爆炸时代自然且极具价值的共同需求。然而,联合进行时刻检索和亮点检测是一个新兴的研究课题,即使其组成部分的问题和一些相关的任务已经研究了一段时间。在本文中,我们提出了第一个统一的框架,命名为统一多模态Transformers(UMT),能够实现这种联合优化,同时也可以很容易地退化为解决个别问题。据我们所知,这是第一个将多模态(视觉-音频)学习集成到联合优化或单独时刻检索任务中的方案,并使用新的查询生成器和查询解码器将时刻检索作为关键点检测问题来处理。与现有方法和QVHighlights,Charades-STA,YouTube Highlights和TVSum数据集上的消融研究的广泛比较证明了所提出的方法在各种设置下的有效性,优越性和灵活性。源代码和预训练模型可在https://github.com/TencentARC/UMT上获得。
2022-03-27 cs.CV
HIPPO-Video: Simulating Watch Histories with Large Language Models for Personalized Video Highlighting
Yonsei University(延世大学)
本文提出 HIPPO-Video 个性化视频精彩片段数据集,利用 LLM 用户模拟器生成真实观看历史,并通过 HiPHer 预测偏好条件下的逐片段显著性分数,实验证明其优于现有方法。
2025-07-22 cs.AI cs.CV
Traffic Signs in the Wild: Highlights from the IEEE Video and Image Processing Cup 2017 Student Competition [SP Competitions]
强大而可靠的交通标志检测是将自动驾驶汽车带到道路上的必要条件。国家的最先进的算法成功地执行交通标志检测现有的数据库,大多缺乏严重的挑战性条件。2017年VIP杯比赛的重点是在具有挑战性的条件下检测此类交通标志。为了促进这样的任务和竞争,我们引入了一个名为CURE-TSD的视频数据集,其中包括各种具有挑战性的条件。这项挑战的目标是实现交通标志检测算法,可以在这种具有挑战性的条件下稳健地执行。在这篇文章中,我们分享了2017年VIP杯的经验,包括比赛设置,团队,技术方法,参与统计,以及通过决赛团队成员和组织者的眼睛的比赛经验。
2018-11-13 cs.CV
Saliency-Guided DETR for Moment Retrieval and Highlight Detection
SALUTEDEV LLC
本文提出基于显著性的DETR架构,通过引入显著性引导交叉注意力机制和混合DETR结构,提升视频时刻检索和突出检测性能,并在多个基准上取得最佳结果。
2026-02-03 cs.CV
Should I take a walk? Estimating Energy Expenditure from Video Data
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们探讨的问题,自动推断量的千卡使用人类在体力活动期间,从他/她的视频观察。为了研究这个研究不足的任务,我们引入了Vid 2Burn-一个全源基准,用于从视频数据中估计热量消耗,其中包括高强度和低强度活动,我们根据医学文献中建立的模型推导出能量消耗注释。在实践中,训练集将仅覆盖一定量的活动类型,并且重要的是验证模型是否确实捕获了能量消耗的本质(例如,涉及多少肌肉和哪些肌肉以及它们工作的强度),而不是记忆在训练期间看到的特定活动类别的固定值。理想情况下,模型应该超越这种特定类别的偏见,并回归视频中的卡路里成本,这些视频描述了训练过程中没有明确存在的活动类别。考虑到这一特性,Vid 2Burn附带了一个跨类别的基准,其中的任务是回归训练期间不存在的身体活动类型的热量消耗。一个广泛的评估国家的最先进的方法为视频识别修改的能量消耗估计任务证明了这个问题的难度,特别是在测试时的新的活动类型,标志着一个新的研究方向。数据集和代码可在https://github.com/KPeng9510/Vid2Burn上获得。
2022-04-08 cs.CV
Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning
Sensetime Research(商汤科技研究院);The Hong Kong Polytechnic University(香港理工大学)
视频精彩片段检测是一个重要而又具有挑战性的问题,旨在识别未修剪视频中的有趣时刻。这一任务的关键在于有效的视频表示,共同追求两个目标,\textit{i.e.},跨模态表示学习和细粒度的特征歧视。在本文中,这两个挑战,不仅丰富内模态和跨模态的关系表示建模,但也形成了有区别的方式的功能来解决。我们提出的方法主要利用内模态编码和跨模态同现编码的充分表示建模。具体而言,模态内编码增强了模态方面的功能,并通过在音频和视觉信号中的模态内关系学习来抑制不相关的模态。同时,跨模态同现编码关注同现的模态间关系,有选择地捕捉多模态之间的有效信息。从局部上下文中提取的全局信息进一步增强了多模态表示。此外,我们扩大了识别能力的特征嵌入与硬对引导对比学习(HPCL)计划。为了提高HPCL的特征区分度,进一步采用了硬对采样策略来挖掘硬样本。在两个基准上进行的大量实验证明了我们所提出的方法与其他最先进的方法相比的有效性和优越性。
2022-06-21 cs.CV
CRONOS: Benchmarking Counterfactual Physical Consistency in Video Models
University of Freiburg(弗莱堡大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所);CISPA Helmholtz Center for Information Security(哈勒斯海姆信息安全中心)
提出CRONOS基准,通过干预视角、场景、物体类别和外观四个因素,评估视频模型在固定物理事件类型下反事实物理一致性的表现,发现现有模型存在显著失败。
2026-10-14 cs.CV
Summarizing First-Person Videos from Third Persons' Points of Views
National Taiwan University(台湾大学);National Chiao Tung University(国立交通大学)
视频精彩片段或摘要是计算机视觉中有趣的主题之一,它有利于查看、搜索或存储等各种应用。然而,大多数现有的研究依赖于第三人称视频的训练数据,这不能容易地推广到突出第一人称的。为了得到一个有效的模型来总结第一人称视频,我们提出了一种新的深度神经网络架构,用于描述和区分具有不同视角的视频中的重要时空信息。我们提出的模型是在半监督环境中实现的,其中在训练过程中呈现了完全注释的第三人称视频,未标记的第一人称视频和少量注释的第一人称视频。在我们的实验中,定性和定量评估基准和我们收集的第一人称视频数据集。
2018-07-26 cs.CV
SoccerNet-FoulRet: Retrieving Semantically Similar Soccer Foul Videos
University of Liège(列日大学);KAUST(阿卜杜拉国王科技大学);SpAItial
针对足球裁判判罚不一致问题,提出首个语义犯规检索基准SoccerNet-FoulRet,基于裁判解释定义相关性,评估零样本与微调模型,发现现有方法检索先例效果有限。
2026-10-14 cs.CV cs.IR
Would Mega-scale Datasets Further Enhance Spatiotemporal 3D CNNs?
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所(AIST))
我们如何收集和使用视频数据集来进一步改进时空3D卷积神经网络(3D CNN)?为了积极回答视频识别中的这个开放性问题,我们使用几个大规模视频数据集和3D CNN进行了探索性研究。在深度神经网络的早期时代,在视频识别的背景下,2D CNN比3D CNN更好。最近的研究表明,3D CNN可以胜过在大规模视频数据集上训练的2D CNN。然而,我们严重依赖于架构探索而不是数据集考虑。因此,在本文中,我们进行探索性研究,以改善时空3D CNN如下:(i)最近提出的大规模视频数据集有助于提高时空3D CNN在视频分类准确性方面。我们揭示了一个仔细注释的数据集(例如,Kinetics-700)有效地为视频分类任务预训练视频表示。(ii)我们确认#category/#instance和视频分类准确率之间的关系。结果表明,在构建数据集时,首先应固定#category,然后增加视频数据集上的#instance。(iii)为了实际扩展视频数据集,我们简单地连接公开可用的数据集,例如Kinetics-700和Moments in Time(MiT)数据集。与Kinetics-700预训练相比,我们使用合并的数据集进一步增强了时空3D CNN,例如,在微调方面,UCF-101、HMDB-51和ActivityNet数据集分别为+0.9、+3.4和+1.1。(iv)在识别架构方面,Kinetics-700和合…
2020-04-10 cs.CV
Watch Video, Catch Keyword: Context-aware Keyword Attention for Moment Retrieval and Highlight Detection
Kyung Hee University(庆熙大学);Sungkyunkwan University(成均馆大学)
针对视频时刻检索与高光检测难以利用全局上下文判断关键词相关性的问题,提出上下文感知关键词注意力及聚类、对比学习模块,在三个基准上显著提升性能。
2025-01-05 cs.AI cs.CV
MV-ROPE: Multi-view Constraints for Robust Category-level Object Pose and Size Estimation
ShanghaiTech University(上海科技大学);Midea RoboZone(美的机器人区)
针对单视角RGB-D方法依赖高精度深度图且忽略视频时间信息的问题,提出基于多视角约束的框架MV-ROPE,结合尺度感知SLAM、轻量级位姿预测和位姿图优化,在深度缺失或质量受限时表现鲁棒。
2024-03-22 cs.CV
Agent-based Video Trimming
Insta360;Nanjing University of Science and Technology(南京理工大学);Nankai University(南开大学)
针对用户生成视频冗余度高、现有片段选取方法忽略片段关联与排序的问题,提出三阶段AVT方法实现连贯叙事的视频剪辑,构建新基准数据集,在多数据集及用户研究中表现更优。
2024-12-12 cs.CV
Temporal Action Detection by Joint Identification-Verification
University of Electronic Science and Technology of China(电子科技大学);Northeastern University(东北大学)
时序动作检测的目的不仅是识别动作类别,而且还检测未修剪视频中每个动作实例的开始时间和结束时间。该任务的关键挑战是准确地对动作进行分类并确定每个动作实例的时间边界。在时间动作检测基准测试程序THUMOS 2014中,同一动作类别存在较大的差异,而不同动作类别之间存在较多的相似性,这限制了时间动作检测的性能。为了解决这个问题,我们建议使用联合识别验证网络,以减少内部动作的变化和扩大相互作用的差异。联合识别-验证网络是一种基于3D ConvNets的连体网络,它可以同时预测视频提案片段输入对的动作类别和相似性得分。在具有挑战性的THUMOS 2014数据集上进行的大量实验结果表明,与现有的未修剪视频中的时间动作检测方法相比,我们所提出的方法是有效的。
2018-10-19 cs.CV
Youku-mPLUG: A 10 Million Large-scale Chinese Video-Language Dataset for Pre-training and Benchmarks
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文发布千万级中文视频-语言数据集 Youku-mPLUG 及人工标注基准,并通过 ALPRO、mPLUG-2 与 mPLUG-video 验证其预训练价值。
2023-06-07 cs.CL cs.CV
QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
从给定自然语言(NL)用户查询的视频中检测定制的时刻和亮点是一个重要但未充分研究的主题。朝着这一方向努力的挑战之一是缺乏附加说明的数据。为了解决这个问题,我们提出了基于查询的视频亮点(QVHIGHLIGHTS)数据集。它由超过10,000个YouTube视频组成,涵盖广泛的主题,从生活方式vlog视频中的日常活动和旅行到新闻视频中的社会和政治活动。数据集中的每个视频都注释有:(1)人类书写的自由形式NL查询,(2)视频中的相关时刻w.r.t.查询,以及(3)所有查询相关剪辑的五点标度显著性分数。这种全面的注释使我们能够开发和评估系统,检测相关的时刻,以及突出的亮点,为多样化,灵活的用户查询。我们还提出了一个强大的基线,这个任务,矩DETR,一个Transformer的编码器-解码器模型,认为时刻检索作为一个直接集预测问题,提取的视频和查询表示作为输入和预测时刻坐标和显着性分数端到端。虽然我们的模型没有利用任何人类先验知识,但我们表明,与精心设计的架构相比,它具有竞争力。通过使用ASR字幕的弱监督预训练,MomentDETR大大优于以前的方法。最后,我们提出了几个消融和可视化的Moment-DETR。数据和代码可在https://github.com/jayleicn/moment_detr上公开获取
2021-11-29 cs.AI cs.CL cs.CV
Video Highlight Prediction Using Audience Chat Reactions
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
体育频道视频门户网站提供了一个令人兴奋的多模态,多语言分析的研究领域。我们提出的方法解决问题的自动视频突出预测的联合视觉特征和文本分析的基础上的现实世界的观众话语与复杂的俚语,在英语和传统的中国。我们提出了一个基于北美和台湾Twitch.tv频道记录的英雄联盟锦标赛的新数据集(将发布以供进一步研究),并使用多模态,字符级CNN-RNN模型架构展示了这些结果。
2017-07-26 cs.AI cs.CL cs.CV
Joint Moment Retrieval and Highlight Detection Via Natural Language Queries
Georgia Institute of Technology(佐治亚理工学院)
提出一种基于自然语言查询、利用多模态变换器联合进行视频摘要与高光检测的新方法,在YouTube Highlights和TVSum数据集上验证了其灵活性。
2023-05-08 cs.CL cs.CV cs.LG
Span-based Localizing Network for Natural Language Video Localization
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Institute for Infocomm Research, A*STAR(A*STAR资讯通信研究所)
自然语言视频定位是在给定的视频和文本查询的情况下,从视频中找到与查询语义对应的匹配跨度。现有的解决方案将NLVL制定为排名任务并应用多模态匹配架构,或者制定为回归任务以直接回归目标视频跨度。在这项工作中,我们解决NLVL任务与跨度为基础的QA方法,将输入视频作为文本通道。我们提出了一个视频跨度本地化网络(VSLNet),在标准的跨度为基础的QA框架,以解决NLVL。拟议的VSLNet解决NLVL和跨度为基础的QA之间的差异,通过一个简单而有效的查询引导突出显示(QGH)的战略。QGH引导VSLNet在突出显示的区域内搜索匹配的视频范围。通过在三个基准数据集上的大量实验,我们表明,所提出的VSLNet优于最先进的方法;采用基于跨度的QA框架是解决NLVL的一个有前途的方向。
2020-06-14 cs.CL cs.CV
Revealing Temporal Label Noise in Multimodal Hateful Video Classification
Multimodal Intelligence Lab(多模态智能实验室);Department of Computer Science(计算机科学系);University of Exeter(埃克塞特大学);University of Birmingham(伯明翰大学)
针对多模态仇恨视频分类中视频级标注引入的时间标签噪声问题,本文通过时间戳裁剪细粒度分析,并实验证明噪声改变决策边界,凸显时间感知模型与基准的必要性。
2025-08-06 cs.AI cs.CV
Where is the multimodal goal post? On the Ability of Foundation Models to Recognize Highlights in Videos
Institute for Logic, Language and Computation University of Amsterdam(逻辑、语言与计算研究所 阿姆斯特丹大学)
本文研究了多模态基础模型识别足球比赛中重要时刻的能力,发现现有模型在识别重要子事件时表现欠佳,需改进架构与训练方法以提升跨模态协同能力。
2026-10-14 cs.AI cs.CL cs.CV
Category-Level 6D Object Pose Estimation in the Wild: A Semi-Supervised Learning Approach and A New Dataset
UC San Diego(加州大学圣地亚哥分校)
目标的6维位姿估计是计算机视觉和机器人研究中的基本问题之一。虽然最近已经在将姿态估计推广到同一类别内的新对象实例(即类别级6D姿态估计)方面做出了很多努力,但是在给定有限数量的注释数据的约束环境中,它仍然受到限制。在本文中,我们收集了Wild6D,一个新的未标记的RGBD对象视频数据集,具有不同的实例和背景。我们利用这些数据来推广类别级的6D对象姿态估计在野外与半监督学习。我们提出了一个名为Rendering for Pose estimation网络RePoNet的新模型,该模型使用自由地面实况与合成数据以及真实世界数据上的轮廓匹配目标函数进行联合训练。在不对真实数据使用任何3D注释的情况下,我们的方法在以前的数据集和我们的Wild6D测试集(带有手动注释进行评估)上的性能大大优于最先进的方法。Wild6D数据的项目页面:https://oasisyang.github.io/semi-pose。
2022-06-30 cs.CV cs.RO
PHD-GIFs: Personalized Highlight Detection for Automatic GIF Creation
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Google Research(谷歌研究院)
高光检测模型通常被训练以识别使视觉内容吸引公众或使公众感兴趣的线索,目的是将视频减少到这样的时刻。然而,视频片段或图像的“兴趣度”是主观的。因此,这样的突出部分模型为个体用户提供有限相关性的结果。另一方面,为每个用户训练一个模型是低效的,并且需要大量通常不可用的个人信息。为了克服这些局限性,我们提出了一个全球排名模型的条件下,每个特定用户的利益。我们的模型不是为每个用户训练一个模型,而是通过其输入进行个性化,这使得它能够有效地调整其预测,只给出几个特定于用户的示例。为了训练这个模型,我们创建了一个大规模的用户数据集和他们创建的GIF,为我们提供了他们兴趣的准确指示。我们的实验表明,使用用户历史大大提高了预测精度。在我们的850个视频的测试集上,我们的模型相对于通用高光检测器将召回率提高了8%。此外,即使只有一个特定于个人的例子,我们的方法也比用户不可知的基线更精确。
2018-08-07 cs.CV cs.MM
Deep Hashing with Category Mask for Fast Video Retrieval
Meitu Inc.(美图公司);School of Information and Electronics,Beijing Institution of Technology(北京理工大学信息与电子学院);Beijing Institution of Technology(北京理工大学);School of Information and Electronics,Beijing Institution of Technology, China(北京理工大学信息与电子学院,中国)
本文提出了一个端到端的深度哈希框架与类别掩码的快速视频检索。我们训练我们的网络在监督的方式,充分利用类间的多样性和类内的身份。分类损失进行了优化,以最大限度地提高类间的多样性,而intra-pair被引入学习代表性的类内身份。我们研究了与类别相关的二进制比特分布,发现二进制比特的有效性与数据类别高度相关,并且某些比特可能会降低某些类别的分类性能。然后,我们设计了哈希代码生成方案与类别掩码过滤掉负贡献的比特。实验结果表明,该方法优于几个国家的最先进的公共数据集上的各种评价指标。
2018-05-24 cs.CV
Video Object Segmentation using Tracked Object Proposals
Visualead
我们在DAVIS 2017挑战赛的背景下提出了一种半监督视频对象分割的方法。我们的方法结合了基于类别的目标检测,类别无关的对象外观分割和时间对象跟踪。我们的动机是这样一个事实,即对象的语义类别往往不会改变整个视频,而它的外观和位置可以有很大的变化。为了捕获独立于其类别的特定对象外观,对于每个视频,我们使用给定注释帧的增强来训练完全卷积网络。我们改进的外观分割掩模与语义目标检测网络提供的边界框,如果适用,或由以前的帧预测。通过在检测到的盒子上引入时间连续性约束,我们能够改进外观网络的对象分割掩码,并在DAVIS数据集上获得有竞争力的结果。
2017-07-20 cs.CV
GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting
RPTU(鲁尔大学图灵学院);DFKI-AV Kaiserslautern(德累斯顿-费尔德基辛人工智能研究所);UPM Saudi Arabia(西班牙国际大学沙特分校);NUST-SEECS Pakistan(奈瓦扎巴德大学信息与电子科学学院)
GHOST通过高斯散射技术实现快速且无类别的手-物体交互重建,解决了现有方法在物理一致性上的不足,实验表明其在3D重建和2D渲染质量上达到领先水平。
2026-03-19 cs.CV
Towards Visual-Prompt Temporal Answering Grounding in Medical Instructional Video
College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院)
针对医学教学视频中时间答案定位任务,提出视觉提示文本跨度定位方法,利用带时间戳字幕和视觉高亮特征,在MedVidQA上以mIOU提升28.36%超越现有方法。
2022-03-29 cs.AI cs.CL cs.CV
Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos
University of Freiburg(弗赖堡大学);Saarland University(萨尔大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出一种无监督两步流程,利用循环距离公式和DINOv2特征对齐以对象为中心的视频,进而训练单图类别级三维姿态估计模型,显著超越基线方法。
2024-07-05 cs.CV
BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models
Rutgers(罗格斯大学)
跟踪视频序列中的物体的6D姿态对于机器人操作是重要的。然而,大多数先前的努力通常假设目标对象的CAD模型至少在类别级别上可用于离线训练或在线模板匹配期间。这项工作提出了BundleTrack,6D姿态跟踪的新对象,它不依赖于3D模型,无论是在实例或类别级别的一般框架。它利用深度学习最新进展的互补属性进行分割和鲁棒的特征提取,以及内存增强的姿态图优化以实现时空一致性。这使得在各种具有挑战性的场景下,包括显著的遮挡和物体运动,都能实现长期、低漂移的跟踪。给出两个公共基准的综合实验表明,所提出的方法显着优于最先进的类别级6D跟踪或动态SLAM方法。当与依赖于对象实例CAD模型的最先进的方法相比时,尽管所提出的方法的信息要求降低,但仍实现了相当的性能。CUDA中的高效实现为整个框架提供了10Hz的实时性能。代码可在:https://github.com/wenbowen123/BundleTrack
2021-08-01 cs.AI cs.CV cs.GR
From Category to Scenery: An End-to-End Framework for Multi-Person Human-Object Interaction Recognition in Videos
Durham University(杜伦大学)
本文提出端到端框架CATS,通过图生成几何特征并与视觉特征融合构建场景交互图,在多人及单人HOI基准上实现最先进性能。
2024-07-23 cs.CV
CAMM: Building Category-Agnostic and Animatable 3D Models from Monocular Videos
University of Toronto(多伦多大学)
本文提出CAMM方法,从单目视频中为任意关节化物体学习可动画化运动链,无需类别先验或专用设备,在保持与最先进三维重建方法相当性能的同时支持直接姿态操控。
2023-04-14 cs.CV
RefineVAD: Semantic-Guided Feature Recalibration for Weakly Supervised Video Anomaly Detection
RefineVAD通过结合时间动态和语义结构,利用双过程推理提升弱监督视频异常检测的性能。
2025-12-29 cs.CV
HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
HOLD提出首个类别无关的单目视频手-物体联合3D重建方法,通过组合式铰接隐式模型和手-物体约束,在无3D标注条件下超越全监督基线。
2023-11-30 cs.CV
Less is More: Learning Highlight Detection from Video Duration
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI;Facebook AI Research(Facebook AI 研究(Facebook AI Research))
高光检测有可能显着简化视频浏览,但现有的方法往往受到昂贵的监督要求,其中人类观众必须手动识别训练视频中的高光。我们提出了一个可扩展的无监督的解决方案,利用视频持续时间作为一个隐含的监督信号。我们的关键见解是,来自较短用户生成视频的视频片段比来自较长视频的视频片段更有可能成为亮点,因为用户在捕获较短视频时往往对内容更具选择性。利用这一洞察力,我们引入了一种新的排名框架,该框架更喜欢来自较短视频的片段,同时适当地考虑了(未标记的)训练数据中的固有噪声。我们用它来训练一个带有10M标签的Instagram视频的亮点检测器。在两个具有挑战性的公共视频亮点检测基准的实验中,我们的方法大大提高了最先进的无监督亮点检测。
2019-03-03 cs.CV
Video-Specific Query-Key Attention Modeling for Weakly-Supervised Temporal Action Localization
Northwestern University(西北大学)
提出VQK-Net,通过视频特定查询-键注意力建模学习每个视频每个动作类别的独特查询,实现弱监督时间动作定位,在三个数据集上达到最先进性能。
2023-12-25 cs.CV
Activity Recognition Using A Combination of Category Components And Local Models for Video Surveillance
University of Washington(华盛顿大学);Microsoft Research, Microsoft Corp.(微软研究院)
本文提出了一种新的方法,自动识别的人的活动,视频监控应用。我们建议表示活动的类别组件的组合,并证明,这种方法提供了灵活性,以增加新的活动的系统和能力,以处理的问题,建立模型的活动缺乏训练数据。为了提高识别精度,提出了一种基于置信度帧的识别算法,该算法将识别活动的置信度较高的视频帧作为一个专门的局部模型来帮助对其余视频帧进行分类。实验结果表明了该方法的有效性。
2015-02-28 cs.CV cs.MM
Test-Time Adaptation for Video Highlight Detection Using Meta-Auxiliary Learning and Cross-Modality Hallucinations
University of Saskatchewan(萨斯喀彻温大学);Google DeepMind(谷歌DeepMind)
针对视频高光检测模型难以适应新测试视频的问题,提出Highlight-TTA测试时自适应框架,通过元辅助学习与跨模态幻觉任务动态调整模型,提升泛化与检测性能。
2025-08-06 cs.CV
Video-based Generalized Category Discovery via Memory-Guided Consistency-Aware Contrastive Learning
Laboratory for Big Data and Decision(大数据与决策实验室);National University of Defense Technology(国防科技大学);Department of Information Engineering and Computer Science(信息工程与计算机科学系)
本文提出记忆引导的感知一致性对比学习(MCCL)框架,将广义类别发现扩展到视频领域,通过时空线索与一致性投票机制提升新类别发现性能,并在新基准上显著优于现有方法。
2025-09-08 cs.CV
Zero-shot video highlight detection based on text descriptions and synthetic images
Samsung AI Center(三星人工智能中心);Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所)
提出一种结合CLIP、大语言模型和扩散模型的零样本框架,利用视频元数据生成文本描述和合成图像,实现无需标注的帧级高光检测,在TVSum和SumMe上表现优异。
2026-09-15 cs.CV
Discovering Picturesque Highlights from Egocentric Vacation Videos
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种方法,从大量的以自我为中心的视频数据识别风景如画的亮点。给定一组在度假过程中捕获的以自我为中心的视频,我们的方法分析视频并寻找具有良好的风景如画和艺术特性的图像。我们引入了新的技术来自动确定美学特征,如组成,对称性和色彩活力在自我中心的视频和排名的视频帧的基础上,他们的摄影质量,以产生亮点。我们的方法还使用上下文信息,如GPS,当可用时,以评估度假视频拍摄的每个地理位置的相对重要性。此外,我们专门利用以自我为中心的视频的属性来改进我们的亮点检测。我们展示了一个新的以自我为中心的度假数据集的结果,该数据集包括在14天的假期中拍摄的26.5小时的视频,这些视频跨越了许多著名的旅游目的地,并提供了用户研究的结果来访问我们的结果。
2016-01-18 cs.CV
Unsupervised Video Highlight Detection by Learning from Audio and Visual Recurrence
University of Saskatchewan(萨斯喀彻温大学);Google DeepMind(谷歌DeepMind)
针对视频精彩片段检测依赖标注的问题,提出利用音频与视觉内容跨视频重复性生成伪标签并训练音视检测网络的无监督方法,在三个基准上性能优于已有方法。
2025-05-14 cs.CV
Adaptive Video Highlight Detection by Learning from User History
University of Manitoba(曼尼托巴大学);Huawei Technologies(华为技术有限公司)
最近,有越来越多的兴趣在亮点检测研究,其目标是创建一个短的持续时间的视频从较长的视频提取其有趣的时刻。然而,大多数现有的方法忽略了这样一个事实,即视频亮点的定义是高度主观的。不同的用户对于相同的输入视频可能具有不同的高光偏好。在本文中,我们提出了一个简单而有效的框架,学习适应突出检测到用户利用用户的历史,突出显示的形式,用户以前创建的。我们的框架由两个子网络组成:一个完全时间卷积的亮点检测网络$H$,预测输入视频的亮点和历史编码器网络$M$的用户历史。我们引入了一个新设计的时间自适应实例规范化(T-AIN)层的$H$的两个子网络相互作用。T-AIN具有基于用户历史从$M$预测的仿射参数,并且负责到$H$的用户自适应信号。在大规模数据集上的大量实验表明,我们的框架可以做出更准确和用户特定的亮点预测。
2020-07-19 cs.CV
Emergence of a Shared Canonical Object Frame from In-the-Wild Videos
University of Technology Nuremberg(图腾技术大学努尔堡分校);Google(谷歌);CISPA Helmholtz Center for Information Security(信息安全赫尔姆霍茨中心CISPA)
提出一种自监督方法,利用野外物体视频和SfM噪声相机位姿,通过共享粗规范网格学习密集对应,无需标注即可涌现规范框架,在类别级位姿估计上达到竞争性精度。
2026-11-09 cs.CV
Learning Pixel-Level Distinctions for Video Highlight Detection
Alibaba Group(阿里巴巴集团);UESTC(电子科技大学)
视频精彩片段检测的目标是从长视频中选择最吸引人的片段来描述视频中最有趣的部分。现有的方法通常集中于对不同视频片段之间的关系进行建模,以便学习可以向这些片段分配高光分数的模型;然而,这些方法没有明确地考虑各个片段内的上下文依赖性。为此,我们建议学习像素级的区别,以提高视频亮点检测。这种像素级别的区别表明一个视频中的每个像素是否属于感兴趣的部分。对这种精细级别的区别进行建模的优点是双重的。首先,它允许我们利用一个视频中内容的时间和空间关系,因为一个帧中像素的区别高度依赖于该帧之前的内容和该帧中该像素周围的内容。其次,学习像素级区分也很好地解释了视频精彩片段任务,即精彩片段中的哪些内容对人们有吸引力。我们设计了一个编码器-解码器网络来估计像素级的区别,其中我们利用3D卷积神经网络来利用时间上下文信息,并进一步利用视觉显著性来建模空间区别。在三个公共基准上的最先进的性能清楚地验证了我们的视频亮点检测框架的有效性。
2022-04-10 cs.CV
A Deep Ranking Model for Spatio-Temporal Highlight Detection from a 360 Video
Seoul National University(首尔国立大学)
我们解决的问题,从360度视频的亮点检测,总结它在空间和时间。给定长的360度视频,我们从360度视频的无限视场(FOV)中在空间上选择看起来令人愉快的正常视场(NFOV)片段,并且在时间上将其概括为简洁且信息丰富的突出部分作为子镜头的所选子集。我们提出了一种新的深度排名模型命名为组成视图得分(CVS)模型,它产生一个球形得分地图的组成每个视频段,并确定哪个视图是适合通过滑动窗口内核在推理的亮点。为了评估所提出的框架,我们在Pano2Vid基准数据集和我们从YouTube和Vimeo新收集的360度视频亮点数据集上进行了实验。通过使用定量摘要指标和Amazon Mechanical Turk的用户研究进行评估,我们证明了我们的方法优于几种最先进的亮点检测方法。我们还表明,我们的模型在推理方面比AutoCam快16倍,AutoCam是360度视频的第一个摘要算法之一
2018-01-31 cs.CV
Cross Pseudo Labeling For Weakly Supervised Video Anomaly Detection
本文提出CPL-VAD框架,通过跨伪标签实现视频异常检测与类别分类的双重提升,实验表明其在异常检测和类别识别上达到最优性能。
2026-03-13 cs.CV
Real-Time Video Highlights for Yahoo Esports
Yahoo Research(雅虎研究院)
近年来,电子竞技在全球范围内越来越受欢迎,一些公司已经开始提供电子竞技游戏和活动的直播视频。这为开发用于新产品特征和服务的大规模视频理解系统创造了机会。我们提出了一种技术,用于从电子竞技游戏比赛的直播流媒体视频中检测亮点。大多数视频游戏使用明显的视觉效果来强调高光时刻;我们使用CNN来学习这些视觉效果的卷积滤波器来检测高光。我们提出了一种级联预测方法,使我们能够处理在生产环境中出现的几个挑战。我们在三款流行游戏的新数据集上展示了我们的技术,这三款游戏是《风暴英雄》、《英雄联盟》和《Dota 2》。我们的技术在单个CPU上实现了18 FPS,平均精度高达83.18%。我们的部分技术目前已部署在Yahoo Esports的生产中。
2016-11-27 cs.CV
Revisiting Natural Language Prompts from Large Language Models for Open-Vocabulary Video Recognition
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);School of Software Engineering, Beijing Jiaotong University(北京交通大学软件学院)
针对CLIP应用于开放词汇视频识别的挑战,提出P2CLIP方法,通过设计通用-判别式提示、生成帧与视频描述及知识引导的时间聚合机制,提升模型性能,经多基准实验验证有效。
2026-10-14 cs.CV
Discriminative Dictionary Design for Action Classification in Still Images and Videos
Nanyang Technological University(南洋理工大学);Indian Institute of Technology, Bombay(印度理工学院孟买分校);Edinburgh Napier University(爱丁堡龙比亚大学);Singapore University of Technology and Design(新加坡科技设计大学)
在本文中,我们解决的问题,从静止图像和视频的动作识别。传统的局部特征,如SIFT、STIP等,总是会带来两个潜在的问题:1)它们在给定类别的不同实体中的分布不均匀; 2)许多这样的特征并不排斥实体所表示的视觉概念。为了生成一个字典考虑到上述问题,我们提出了一种新的判别方法,用于识别鲁棒性和类别特定的局部特征,最大限度地提高类可分性在更大程度上。具体来说,我们提出的过滤为基础的特征选择问题,排名的基础上,一个新的独特性措施的每类本地功能的有效本地描述符的选择。随后基于学习的字典表示底层视觉实体,并且该阶段之后是使用随机森林模型的动作分类,之后是标签传播细化。该框架在基于静态图像(Stanford-40)和视频(UCF-50)的动作识别数据集上进行了验证,并表现出比文献中的代表性方法更优越的性能。
2020-06-06 cs.CV
Unsupervised Multi-stream Highlight detection for the Game "Honor of Kings"
Tencent Inc.(腾讯公司)
随着电子竞技直播的日益普及,Highlight Flashback已经成为直播平台的关键功能,它可以在几秒钟内聚合整体精彩的战斗场景。在本文中,我们引入了一种新的训练策略,无需任何额外的注释,即可自动生成比赛视频直播的精彩片段。考虑到现有的手动编辑的剪辑包含更多的亮点比长的比赛直播视频,我们执行成对的排序约束剪辑编辑和长直播视频。提出了一个多流框架,融合从视频中提取的空间、时间和音频特征。为了评估我们的方法,我们对平均长度约为15分钟的长游戏直播视频进行了测试。大量的视频实验结果表明,该算法在亮点生成和有效性方面具有令人满意的性能。
2019-10-22 cs.CV
RankSeg: Adaptive Pixel Classification with Image Category Ranking for Segmentation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);UC Berkeley(加州大学伯克利分校)
分割任务传统上被制定为完整标签像素分类任务,以从所有图像或视频共享的固定数量的预定义语义类别中预测每个像素的类别。然而,在这种表述之后,标准架构将不可避免地在更现实的设置下遇到各种挑战,其中类别的范围扩大(例如,超过1 K的水平)。另一方面,在典型的图像或视频中,只有少数类别,即,存在完整标签的一个小子集。出于这种直觉,在本文中,我们提出将分割分解为两个子问题:(i)图像级或视频级多标签分类和(ii)像素级秩自适应选择标签分类。给定一个输入图像或视频,我们的框架首先对完整的标签进行多标签分类,然后对完整的标签进行排序,并根据它们的类置信度得分选择一个小子集。然后,我们使用秩自适应像素分类器仅对选定的标签执行逐像素分类,该分类器使用一组面向秩的可学习温度参数来调整像素分类分数。我们的方法在概念上是通用的,并且可以通过简单地使用轻量级的多标签分类头和秩自适应像素分类器来改进各种现有的分割框架。我们证明了我们的框架的有效性与竞争力的实验结果在四个任务,包括图像语义分割,图像全景分割,视频实例分割,视频语义分割。特别是,通过我们的RankSeg,Mask 2Former在ADE 20 K全景分割/YouTubeVIS 2019视频实例分割/VSPW视频语义分割基准测试中分别获得了+0.8%/+0.7%/+0.7%的收益。
2022-07-20 cs.CV
Show Me What I Like: Detecting User-Specific Video Highlights Using Content-Based Multi-Head Attention
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
本文提出利用用户历史偏好片段的内容特征,通过多头注意力机制融合用户偏好并检测目标视频中的个性化精彩片段,在大规模数据集上取得2-4%的平均精度均值提升。
2024-11-22 cs.CV
Unsupervised Extraction of Video Highlights Via Robust Recurrent Auto-encoders
Shanghai Jiao Tong University(上海交通大学);Microsoft Technology & Research(微软技术与研究部);Microsoft Research(微软研究院)
随着诸如\em{Instagram}和\em{Vine}之类的短格式视频共享平台的日益普及,对从视频中自动提取精彩部分的技术的需求日益增加。鉴于以前的作品已经接近这个问题的启发式规则或监督学习,我们提出了一个无监督学习的方法,利用丰富的用户编辑的视频在社交媒体网站,如YouTube。基于视频类中最重要的子事件通常存在于编辑的视频中,而不太有趣的子事件出现频率较低的想法,我们通过一个鲁棒的循环自动编码器来识别重要的子事件,该编码器在针对每个特定类别查询的用户编辑的视频集合上进行训练。自动编码器使用提出的收缩指数损失函数进行训练,使其对网络抓取训练数据中的噪声具有鲁棒性,并且配置有双向长短期记忆(LSTM)~ \cite{LSTM:97}单元,以更好地对高光片段的时间结构进行建模。与监督技术不同,我们的方法可以仅使用一组下载的编辑视频来推断亮点,而不需要在线上很少提供的预编辑对应物。大量的实验表明,我们提出的解决方案在这一具有挑战性的无监督设置的承诺
2015-10-06 cs.CV
VastMAT: A Large-Scale Multi-Category Benchmark for Multi-Animal Tracking
Dalian University of Technology(大连理工大学);Wuhan University(武汉大学);University of North Texas(北德克萨斯大学);The Hong Kong University of Science and Technology(香港科技大学)
VastMAT是一个大规模多类别多动物跟踪基准,包含2947个视频、337个类别和366万多个边界框,并提出了CDA模块,在不训练的情况下提升跟踪性能,解决低重叠关联挑战。
2026-10-06 cs.CV