Cross-category Video Highlight Detection via Set-based Learning
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室)
自主高光检测对于提高社交媒体平台上的视频浏览效率至关重要。为了以数据驱动的方式实现这一目标,人们可能经常面临这样的情况,即在实践中使用的目标视频类别上没有精彩注释,而对另一个视频类别(称为源视频类别)的监督是可以实现的。在这种情况下,可以通过将从源视频类别获取的精彩部分知识转移到目标视频类别来导出目标视频类别上的有效精彩部分检测器。我们称这个问题为跨类别的视频亮点检测,这在以前的作品中很少研究。为了解决这一实际问题,我们提出了一个基于双学习器的视频高光检测(DL-VHD)框架。在此框架下,我们首先设计了一个基于集合的学习模块(SL模块),以改善传统的基于对的学习,评估在更广泛的背景下的视频片段的亮点程度。基于这样的学习方式,我们引入了两个不同的学习器,分别获得目标类别视频的基本区别和源视频类别上的精彩时刻的特征。这两种类型的亮点知识通过知识蒸馏进一步巩固。在三个基准数据集上的大量实验表明了所提出的SL模块的优越性,并且DL-VHD方法在各种跨类别高光检测任务上优于五种典型的无监督领域自适应(UDA)算法。我们的代码可在https://github.com/ChrisAllenMing/Cross_Category_Video_Highlight上获得。
2021-08-26 cs.CV
Learning Truncated Causal History Model for Video Restoration
University of Alberta(阿尔伯塔大学);Huawei Technologies(华为技术有限公司)
提出TURTLE截断因果历史模型,通过基于相似度的检索机制将历史帧汇总为演化状态,实现高效并行训练与递归推理,在多项视频恢复任务上取得最优结果并降低计算成本。
2024-10-15 cs.AI cs.CV cs.LG
Test-Time Adaptation for Video Highlight Detection Using Meta-Auxiliary Learning and Cross-Modality Hallucinations
University of Saskatchewan(萨斯喀彻温大学);Google DeepMind(谷歌DeepMind)
针对视频高光检测模型难以适应新测试视频的问题,提出Highlight-TTA测试时自适应框架,通过元辅助学习与跨模态幻觉任务动态调整模型,提升泛化与检测性能。
2025-08-06 cs.CV
Zero-shot video highlight detection based on text descriptions and synthetic images
Samsung AI Center(三星人工智能中心);Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所)
提出一种结合CLIP、大语言模型和扩散模型的零样本框架,利用视频元数据生成文本描述和合成图像,实现无需标注的帧级高光检测,在TVSum和SumMe上表现优异。
2026-09-15 cs.CV
Discovering Picturesque Highlights from Egocentric Vacation Videos
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种方法,从大量的以自我为中心的视频数据识别风景如画的亮点。给定一组在度假过程中捕获的以自我为中心的视频,我们的方法分析视频并寻找具有良好的风景如画和艺术特性的图像。我们引入了新的技术来自动确定美学特征,如组成,对称性和色彩活力在自我中心的视频和排名的视频帧的基础上,他们的摄影质量,以产生亮点。我们的方法还使用上下文信息,如GPS,当可用时,以评估度假视频拍摄的每个地理位置的相对重要性。此外,我们专门利用以自我为中心的视频的属性来改进我们的亮点检测。我们展示了一个新的以自我为中心的度假数据集的结果,该数据集包括在14天的假期中拍摄的26.5小时的视频,这些视频跨越了许多著名的旅游目的地,并提供了用户研究的结果来访问我们的结果。
2016-01-18 cs.CV
Unsupervised Video Highlight Detection by Learning from Audio and Visual Recurrence
University of Saskatchewan(萨斯喀彻温大学);Google DeepMind(谷歌DeepMind)
针对视频精彩片段检测依赖标注的问题,提出利用音频与视觉内容跨视频重复性生成伪标签并训练音视检测网络的无监督方法,在三个基准上性能优于已有方法。
2025-05-14 cs.CV
Audio-Visual Scene-Aware Dialog
Georgia Institute of Technology(佐治亚理工学院);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
我们介绍了场景感知对话的任务。我们的目标是生成一个完整的和自然的反应,一个场景的问题,给定的视频和音频的场景和历史的对话。为了成功回答,代理必须从视频中的问题中建立概念,同时利用来自对话历史的上下文线索。为了对这项任务进行基准测试,我们引入了视听场景感知对话(AVSD)数据集。对于来自Charades数据集的11,000多个人类动作视频中的每一个,我们的数据集都包含一个关于视频的对话,以及一个对话参与者对视频的最终摘要。我们为此任务训练了几个基线系统,并使用定性和定量指标评估了训练模型的性能。我们的研究结果表明,模型必须利用所有可用的输入(视频,音频,问题和对话历史)才能在此数据集上表现最佳。
2019-05-08 cs.CV
Memory Forcing: Attendable Mid-Horizon History for Streaming Video Generation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Tsinghua University(清华大学);Kuaishou Technology(快手科技);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对流式视频生成的中 horizon 遗忘问题,提出Memory Forcing方法,通过Archive & Working Banks划分缓存,在固定内存下保留历史,在长片段生成中表现优异,且可扩展至Wan2.2 5B模型。
2026-10-20 cs.CV
Learning Pixel-Level Distinctions for Video Highlight Detection
Alibaba Group(阿里巴巴集团);UESTC(电子科技大学)
视频精彩片段检测的目标是从长视频中选择最吸引人的片段来描述视频中最有趣的部分。现有的方法通常集中于对不同视频片段之间的关系进行建模,以便学习可以向这些片段分配高光分数的模型;然而,这些方法没有明确地考虑各个片段内的上下文依赖性。为此,我们建议学习像素级的区别,以提高视频亮点检测。这种像素级别的区别表明一个视频中的每个像素是否属于感兴趣的部分。对这种精细级别的区别进行建模的优点是双重的。首先,它允许我们利用一个视频中内容的时间和空间关系,因为一个帧中像素的区别高度依赖于该帧之前的内容和该帧中该像素周围的内容。其次,学习像素级区分也很好地解释了视频精彩片段任务,即精彩片段中的哪些内容对人们有吸引力。我们设计了一个编码器-解码器网络来估计像素级的区别,其中我们利用3D卷积神经网络来利用时间上下文信息,并进一步利用视觉显著性来建模空间区别。在三个公共基准上的最先进的性能清楚地验证了我们的视频亮点检测框架的有效性。
2022-04-10 cs.CV
A Deep Ranking Model for Spatio-Temporal Highlight Detection from a 360 Video
Seoul National University(首尔国立大学)
我们解决的问题,从360度视频的亮点检测,总结它在空间和时间。给定长的360度视频,我们从360度视频的无限视场(FOV)中在空间上选择看起来令人愉快的正常视场(NFOV)片段,并且在时间上将其概括为简洁且信息丰富的突出部分作为子镜头的所选子集。我们提出了一种新的深度排名模型命名为组成视图得分(CVS)模型,它产生一个球形得分地图的组成每个视频段,并确定哪个视图是适合通过滑动窗口内核在推理的亮点。为了评估所提出的框架,我们在Pano2Vid基准数据集和我们从YouTube和Vimeo新收集的360度视频亮点数据集上进行了实验。通过使用定量摘要指标和Amazon Mechanical Turk的用户研究进行评估,我们证明了我们的方法优于几种最先进的亮点检测方法。我们还表明,我们的模型在推理方面比AutoCam快16倍,AutoCam是360度视频的第一个摘要算法之一
2018-01-31 cs.CV
Real-Time Video Highlights for Yahoo Esports
Yahoo Research(雅虎研究院)
近年来,电子竞技在全球范围内越来越受欢迎,一些公司已经开始提供电子竞技游戏和活动的直播视频。这为开发用于新产品特征和服务的大规模视频理解系统创造了机会。我们提出了一种技术,用于从电子竞技游戏比赛的直播流媒体视频中检测亮点。大多数视频游戏使用明显的视觉效果来强调高光时刻;我们使用CNN来学习这些视觉效果的卷积滤波器来检测高光。我们提出了一种级联预测方法,使我们能够处理在生产环境中出现的几个挑战。我们在三款流行游戏的新数据集上展示了我们的技术,这三款游戏是《风暴英雄》、《英雄联盟》和《Dota 2》。我们的技术在单个CPU上实现了18 FPS,平均精度高达83.18%。我们的部分技术目前已部署在Yahoo Esports的生产中。
2016-11-27 cs.CV
Tether the Subject, Release the Scene: Query-Aware Memory Routing for Long-Horizon Autoregressive Video Generation
Huazhong University of Science and Technology(华中科技大学);MiLM Plus, Xiaomi Inc.(小米公司MiLM Plus)
针对流式自回归视频生成中记忆锚定的场景欠进展问题,提出无需训练的查询感知时空记忆路由器 TetherMem,分离主体与场景查询调节历史访问,在长视频生成的整体质量与场景进展指标上优于基线方法。
2026-08-28 cs.CV
SLAMP: Stochastic Latent Appearance and Motion Prediction
Koç University(科奇大学);Hacettepe University(哈斯特帕大学)
运动是视频预测的一个重要线索,通常用于将视频内容分为静态和动态分量。大多数以前的工作利用运动是确定性的,但也有随机方法,可以模拟未来的固有不确定性。现有的随机模型要么没有明确的原因运动或限制的假设静态部分。在本文中,我们的原因是外观和运动的视频随机预测的基础上的运动历史的未来。没有历史的运动的显式推理已经达到了当前随机模型的性能。运动历史通过允许预测未来几帧的一致动态来进一步改进结果。我们的模型在通用视频预测数据集上的表现优于最先进的模型,但是,在具有复杂运动和动态背景的两个具有挑战性的现实世界自动驾驶数据集上的表现明显优于它们。
2021-08-05 cs.CV
End-to-End Training for Autoregressive Video Diffusion via Self-Resampling
The Chinese University of Hong Kong(香港中文大学);ByteDance Seed(字节跳动Seed);ByteDance(字节跳动)
提出自回归视频扩散模型的端到端训练框架Resampling Forcing,通过自重采样模拟推理错误,结合稀疏因果掩码和动态历史路由,实现长视频生成的时间一致性。
2026-07-02 cs.CV
FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation
National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
FrameMorrow提出基于未来信息需求的前瞻令牌选择历史帧,实现即插即用,在五个基准和11个模型上显著提升长程一致性、视觉质量与动作对齐。
2026-10-01 cs.CV
Unsupervised Multi-stream Highlight detection for the Game "Honor of Kings"
Tencent Inc.(腾讯公司)
随着电子竞技直播的日益普及,Highlight Flashback已经成为直播平台的关键功能,它可以在几秒钟内聚合整体精彩的战斗场景。在本文中,我们引入了一种新的训练策略,无需任何额外的注释,即可自动生成比赛视频直播的精彩片段。考虑到现有的手动编辑的剪辑包含更多的亮点比长的比赛直播视频,我们执行成对的排序约束剪辑编辑和长直播视频。提出了一个多流框架,融合从视频中提取的空间、时间和音频特征。为了评估我们的方法,我们对平均长度约为15分钟的长游戏直播视频进行了测试。大量的视频实验结果表明,该算法在亮点生成和有效性方面具有令人满意的性能。
2019-10-22 cs.CV
Show Me What I Like: Detecting User-Specific Video Highlights Using Content-Based Multi-Head Attention
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
本文提出利用用户历史偏好片段的内容特征,通过多头注意力机制融合用户偏好并检测目标视频中的个性化精彩片段,在大规模数据集上取得2-4%的平均精度均值提升。
2024-11-22 cs.CV
HighlightMe: Detecting Highlights from Human-Centric Videos
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
本文提出HighlightMe方法,利用时空图卷积自编码器从以人为中心视频的姿态和人脸模态中检测活动和交互,生成逐帧精彩分数并拼接成片段,在四个基准数据集上无需用户偏好或微调即实现4-12%的平均精度提升。
2024-11-22 cs.CV
Unsupervised Extraction of Video Highlights Via Robust Recurrent Auto-encoders
Shanghai Jiao Tong University(上海交通大学);Microsoft Technology & Research(微软技术与研究部);Microsoft Research(微软研究院)
随着诸如\em{Instagram}和\em{Vine}之类的短格式视频共享平台的日益普及,对从视频中自动提取精彩部分的技术的需求日益增加。鉴于以前的作品已经接近这个问题的启发式规则或监督学习,我们提出了一个无监督学习的方法,利用丰富的用户编辑的视频在社交媒体网站,如YouTube。基于视频类中最重要的子事件通常存在于编辑的视频中,而不太有趣的子事件出现频率较低的想法,我们通过一个鲁棒的循环自动编码器来识别重要的子事件,该编码器在针对每个特定类别查询的用户编辑的视频集合上进行训练。自动编码器使用提出的收缩指数损失函数进行训练,使其对网络抓取训练数据中的噪声具有鲁棒性,并且配置有双向长短期记忆(LSTM)~ \cite{LSTM:97}单元,以更好地对高光片段的时间结构进行建模。与监督技术不同,我们的方法可以仅使用一组下载的编辑视频来推断亮点,而不需要在线上很少提供的预编辑对应物。大量的实验表明,我们提出的解决方案在这一具有挑战性的无监督设置的承诺
2015-10-06 cs.CV
Learning to Reason with Persistent Object States for Video Instance Segmentation
Shanghai Jiao Tong University(上海交通大学);Sun Yat-sen University(中山大学);Fudan University(复旦大学)
针对视频分割中遮挡和重现导致的身份漂移问题,提出POSReasoner框架,通过持久状态和提议-验证推理决定状态更新,在冻结基础模型下提升长期VOS和VIS性能。
2026-09-29 cs.CV
Geometry-Aware Implicit Memory for Video World Models
School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);Kling Team, Kuaishou Technology(快手技术 Kling 团队);Tsinghua University(清华大学)
提出GIM-World框架,通过轻量级Transformer编码器将可变长度历史压缩为固定大小的记忆令牌,并利用相机可查询的几何头在训练期间从冻结的基础模型中蒸馏3D场景结构,从而在长时程视频生成中保持几何和视觉一致性。
2026-06-01 cs.CV
Exploring Domain Incremental Video Highlights Detection with the LiveFood Benchmark
ByteDance Inc.(字节跳动公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对现有视频精彩片段检测方法基于封闭世界假设、扩展性差的问题,提出基于参数化原型的增量学习方法GPE,构建含5100余条视频的LiveFood基准,在增量与经典数据集上均取得优异表现,首次探索该领域增量学习方向。
2023-12-12 cs.CV
Deep Unsupervised Multi-View Detection of Video Game Stream Highlights
Goldsmiths, University of London(伦敦大学金史密斯学院)
我们考虑在视频游戏流的自动突出检测的问题。当前,绝大多数用于游戏的突出显示检测系统由硬编码游戏事件(例如,分数变化、游戏结束),而最先进的工具和技术是基于经由游戏镜头的视觉分析来检测精彩场面。我们认为,在游戏流媒体的背景下,可能构成亮点的事件不仅取决于游戏镜头,而且还取决于在游戏会话期间由主播传达的社交信号(例如,当与观众交互时,或者当评论和对游戏作出反应时)。在这种情况下,我们提出了一种多视图无监督的深度学习方法,用于基于新颖性的亮点检测。该方法联合分析了游戏画面和社交信号,如玩家的面部表情和语音,并显示了在流行游戏流中生成亮点的有希望的结果,如玩家未知的战场。
2018-07-25 cs.CV
Adversarial Gradient Forcing for Robust Few-Step Autoregressive Video Generation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Nanjing University(南京大学)
针对自回归视频生成的局部历史鲁棒性差距,提出AGF框架,通过联合训练原始与扰动历史提升鲁棒性,在60秒视频生成获VBench最高分,4分钟视频生成视觉质量最优,仅需5秒回推训练。
2026-10-14 cs.CV
Rethinking Streaming Video Diffusion Model: Context, Execution, and Training
University of Chinese Academy of Sciences(中国科学院大学)
本文提出统一分析框架研究流式视频扩散设计空间,发现渐进历史策略在VBench上得分最高且加速1.57-2.83倍,并证明LoRA适配可大幅减少参数,表明完全去噪历史并非必要。
2026-09-22 cs.AI cs.CV
PR-Net: Preference Reasoning for Personalized Video Highlight Detection
The University of Hong Kong(香港大学);Youtu Lab, Tencent(腾讯优图实验室);Zhejiang University(浙江大学)
个性化视频精彩片段检测旨在根据用户的偏好将长视频缩短为有趣的时刻,这最近引起了社区的关注。目前的方法把用户的历史作为整体信息来预测用户的偏好,但否定了用户的兴趣的固有多样性,导致模糊的偏好表示。在本文中,我们提出了一个简单而有效的偏好推理框架(PR-Net),明确考虑到不同的利益,帧级的亮点预测。具体地,针对每个输入查询帧产生不同的用户特定偏好,呈现为历史突出显示与对应查询帧的相似性加权和。接下来,由用户特定的偏好和可学习的通用偏好形成不同的综合偏好,以进行更全面的高光测量。最后,计算每个查询帧的高亮和非高亮程度,分别作为其综合和非高亮偏好的语义相似度。此外,为了减轻由于不完整的注释,一个新的双向对比损失,以确保一个紧凑的和可微的度量空间。通过这种方式,我们的方法显着优于最先进的方法,平均准确度相对提高了12%。
2021-09-04 cs.CV
TRINITY: A Multi-Perspective Benchmark for Personal-Style Video Highlight Detection
Huawei Technologies Co., Ltd.(华为技术有限公司)
针对个人风格视频精彩片段检测的传统方法泛化性差的问题,提出TRINITY多视角基准测试集与对应多分支架构,在两个数据集上显著优于现有方法,验证了多视角建模的有效性。
2026-09-01 cs.CV
Unsupervised Modality-Transferable Video Highlight Detection with Representation Activation Sequence Learning
Tencent(腾讯)
针对无标注且可能缺失音频的视频精彩片段检测,提出跨模态预训练与RASL模块,仅用视觉输入即可学习音频相关语义并输出精彩分数,性能优于现有方法。
2024-12-05 cs.CV
Action Classification and Highlighting in Videos
Disney Research Pittsburgh(迪士尼研究院匹兹堡)
受神经机器翻译的最新进展的启发,使用配备注意力的编码器-解码器网络联合对齐和翻译,我们提出了一个基于注意力的LSTM模型用于人类活动识别。我们的模型通过共同学习的软注意力网络来关注突出的视觉信息,从而共同学习对动作进行分类并突出显示与动作相关的帧。我们探索注意通知各种形式的视觉语义特征,包括那些编码的动作,对象和场景。我们定性地表明,软注意可以学习有效地参加重要的对象和场景信息与特定的人类行动。此外,我们还从数量上证明了我们基于注意力的LSTM优于最先进方法使用的普通LSTM和CNN模型。在大规模YouTube视频数据集ActivityNet上,我们的模型在动作分类方面优于竞争方法。
2017-08-31 cs.CV
Memory as Weights: Internalizing Long-Term History for Streaming Videos
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Peking University(北京大学)
该研究提出流式记忆框架MaLoW,将历史视频信息内化到LoRA权重中,构建MaLoW-Instruct数据集,在多个基准测试中优于现有方法,还可提升视觉语言动作模型的成功率。
2026-10-16 cs.AI cs.CV cs.LG
History-Aware Transformation of ReID Features for Multiple Object Tracking
Nanjing University(南京大学);Shanghai AI Laboratory(上海人工智能实验室)
该研究针对多目标跟踪中ReID特征应用问题,提出历史感知特征变换方法,将轨迹历史特征作上下文,用定制FLD投影特征到特定空间,免训练提升特征判别力,证明特定上下文表示对MOT更优,推动ReID特征定制探索。
2026-07-21 cs.CV
Multi class activity classification in videos using Motion History Image generation
College of Computing Georgia Institute of Technology
本文利用 Motion History Image (MHI) 框架捕获视频时空信息生成样本数据训练分类器,验证了其在单个多动作视频中对六种活动的分类有效性,并分析了局限与未来改进方向。
2024-10-13 cs.CV cs.LG eess.IV
Using Motion History Images with 3D Convolutional Networks in Isolated Sign Language Recognition
Ankara University(安卡拉大学);Hacettepe University(哈塞特佩大学)
手语识别使用计算模型是一个具有挑战性的问题,需要同时的多个源,即脸,手,身体等时空建模在本文中,我们提出了一个孤立的手语识别模型的基础上训练的模型,使用运动历史图像(MHI),从RGB视频帧生成。RGB-MHI图像在单个RGB图像中有效地表示每个标志视频的时空摘要。我们提出了两种不同的方法,使用这个RGB-MHI模型。在第一种方法中,我们使用RGB-MHI模型作为集成到3D-CNN架构中的基于运动的空间注意力模块。在第二种方法中,我们使用后期融合技术将RGB-MHI模型特征直接与3D-CNN模型的特征结合使用。我们在最近发布的两个大规模孤立手语数据集上进行了广泛的实验,即AUTSL和BosphorusSign 22 k。我们的实验表明,我们的模型,它只使用RGB数据,可以与使用多模态数据的文献中的最先进的模型。
2022-02-18 cs.CV
UMT: Unified Multi-modal Transformers for Joint Video Moment Retrieval and Highlight Detection
The Hong Kong Polytechnic University(香港理工大学);Tencent PCG(腾讯平台与内容事业群);Peng Cheng Laboratory(鹏城实验室)
根据自然语言查询发现视频中的相关瞬间和精彩片段,是当前视频内容爆炸时代自然且极具价值的共同需求。然而,联合进行时刻检索和亮点检测是一个新兴的研究课题,即使其组成部分的问题和一些相关的任务已经研究了一段时间。在本文中,我们提出了第一个统一的框架,命名为统一多模态Transformers(UMT),能够实现这种联合优化,同时也可以很容易地退化为解决个别问题。据我们所知,这是第一个将多模态(视觉-音频)学习集成到联合优化或单独时刻检索任务中的方案,并使用新的查询生成器和查询解码器将时刻检索作为关键点检测问题来处理。与现有方法和QVHighlights,Charades-STA,YouTube Highlights和TVSum数据集上的消融研究的广泛比较证明了所提出的方法在各种设置下的有效性,优越性和灵活性。源代码和预训练模型可在https://github.com/TencentARC/UMT上获得。
2022-03-27 cs.CV
PARSEE-VAD: Efficient Training-Free Online Video Anomaly Detection via Proposition-Aware Reasoning and Streaming Evidence Escalation
提出PARSEE-VAD,一种免训练在线视频异常检测框架,通过命题感知推理提取当前窗口语义,并以流式证据升级维护时间连续性,在四个基准上实现高效在线检测。
2026-09-30 cs.CV
Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet?
National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
本研究的目的是确定当前的视频数据集是否有足够的数据来训练具有时空三维(3D)内核的非常深的卷积神经网络(CNN)。最近,3D CNN在动作识别领域的性能水平有了显著提高。然而,到目前为止,传统的研究只探索了相对较浅的3D架构。我们在当前视频数据集上检查了各种3D CNN的架构,从相对较浅到非常深。基于这些实验的结果,可以得到以下结论:(i)ResNet-18训练导致UCF-101、HMDB-51和ActivityNet的显著过拟合,但对Kinetics没有。(ii)Kinetics数据集有足够的数据来训练深度3D CNN,并且可以训练多达152个ResNets层,有趣的是类似于ImageNet上的2D ResNets。ResNeXt-101在Kinetics测试集上达到了78.4%的平均准确度。(iii)Kinetics预训练的简单3D架构优于复杂的2D架构,预训练的ResNeXt-101在UCF-101和HMDB-51上分别达到了94.5%和70.2%。使用在ImageNet上训练的2D CNN在图像的各种任务中取得了重大进展。我们相信,将深度3D CNN与Kinetics一起使用将追溯2D CNN和ImageNet的成功历史,并刺激视频计算机视觉的进步。本研究中使用的代码和预训练模型是公开的。https://github.com/kenshohara/3D-ResNets-Py…
2018-04-02 cs.CV
HAS: Highlight-guided Attention Steering for Multimodal LLM Video Summarization
Tufts University(塔夫茨大学)
针对视频摘要,提出HAS方法,通过全局找连续帧级高亮分布并作为注意力转向向量,让多模态大语言模型在推理时更关注高亮帧,避免丢失信息,在多种基准测试中性能出色。
2026-07-21 cs.AI cs.CV
Ring Forcing: Towards Precise Long-Term Memory for Autoregressive Video Diffusion
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校);ByteDance(字节跳动)
针对自回归视频扩散模型的长期记忆瓶颈,提出Ring Forcing框架,通过环形训练策略、压缩与时间步组合策略及稀疏RoPE机制,实现分钟级视频生成的优异连贯性与物体恒常性,性能优于现有方法。
2026-08-28 cs.CV
HIPPO-Video: Simulating Watch Histories with Large Language Models for Personalized Video Highlighting
Yonsei University(延世大学)
本文提出 HIPPO-Video 个性化视频精彩片段数据集,利用 LLM 用户模拟器生成真实观看历史,并通过 HiPHer 预测偏好条件下的逐片段显著性分数,实验证明其优于现有方法。
2025-07-22 cs.AI cs.CV
Traffic Signs in the Wild: Highlights from the IEEE Video and Image Processing Cup 2017 Student Competition [SP Competitions]
强大而可靠的交通标志检测是将自动驾驶汽车带到道路上的必要条件。国家的最先进的算法成功地执行交通标志检测现有的数据库,大多缺乏严重的挑战性条件。2017年VIP杯比赛的重点是在具有挑战性的条件下检测此类交通标志。为了促进这样的任务和竞争,我们引入了一个名为CURE-TSD的视频数据集,其中包括各种具有挑战性的条件。这项挑战的目标是实现交通标志检测算法,可以在这种具有挑战性的条件下稳健地执行。在这篇文章中,我们分享了2017年VIP杯的经验,包括比赛设置,团队,技术方法,参与统计,以及通过决赛团队成员和组织者的眼睛的比赛经验。
2018-11-13 cs.CV
Saliency-Guided DETR for Moment Retrieval and Highlight Detection
SALUTEDEV LLC
本文提出基于显著性的DETR架构,通过引入显著性引导交叉注意力机制和混合DETR结构,提升视频时刻检索和突出检测性能,并在多个基准上取得最佳结果。
2026-02-03 cs.CV
TSMD: Temporal-Stream Modality Dropout for Robust Video Highlight Detection
Inventec Corporation(英业达公司);National Taiwan University(国立台湾大学)
针对多模态视频精彩片段检测中时间与流级缺失的稳健性问题,提出TSMD方法,结合结构化缺失模拟与联合目标,在MoSu和Mr. HiSum数据集上显著提升mAP@15。
2026-10-01 cs.CV
Synthetic Image Detection: Highlights from the IEEE Video and Image Processing Cup 2022 Student Competition
本文介绍2022年IEEE VIP杯竞赛,聚焦本科生开发系统以区分原始图像与AI生成图像,应对扩散模型等逼真合成技术带来的可信度与虚假信息传播挑战。
2023-09-21 cs.CV
Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation
University of Exeter(埃克塞特大学)
本研究审计程序性视频评估协议,发现即使无时间泄漏也可能存在特权信息差距,导致能力声明与实测构念不符,并提出可复用的四条件审计方法。
2026-10-06 cs.CV
Videogenic: Identifying Highlight Moments in Videos with Professional Photographs as a Prior
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
本文提出Videogenic方法,利用摄影师照片作为先验,结合CLIP检索自动识别视频高光时刻,并通过用户研究验证其能减轻编辑负担、缩短时间并提升可用性。
2024-06-25 cs.CV cs.HC cs.MM
Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning
Sensetime Research(商汤科技研究院);The Hong Kong Polytechnic University(香港理工大学)
视频精彩片段检测是一个重要而又具有挑战性的问题,旨在识别未修剪视频中的有趣时刻。这一任务的关键在于有效的视频表示,共同追求两个目标,\textit{i.e.},跨模态表示学习和细粒度的特征歧视。在本文中,这两个挑战,不仅丰富内模态和跨模态的关系表示建模,但也形成了有区别的方式的功能来解决。我们提出的方法主要利用内模态编码和跨模态同现编码的充分表示建模。具体而言,模态内编码增强了模态方面的功能,并通过在音频和视觉信号中的模态内关系学习来抑制不相关的模态。同时,跨模态同现编码关注同现的模态间关系,有选择地捕捉多模态之间的有效信息。从局部上下文中提取的全局信息进一步增强了多模态表示。此外,我们扩大了识别能力的特征嵌入与硬对引导对比学习(HPCL)计划。为了提高HPCL的特征区分度,进一步采用了硬对采样策略来挖掘硬样本。在两个基准上进行的大量实验证明了我们所提出的方法与其他最先进的方法相比的有效性和优越性。
2022-06-21 cs.CV
Uncovering Hidden Connections: Iterative Search and Reasoning for Video-grounded Dialog
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Pengcheng Laboratory(鹏城实验室);School of Computer Science and Technology, Shandong Jianzhu University(山东建筑大学计算机科学与技术学院)
本文提出一种迭代搜索与推理框架,通过文本路径搜索聚合对话核心线索、视觉迭代推理提取关键标记,并结合GPT-2生成视频对话答案,在三个数据集上验证了其有效性与泛化性。
2025-03-12 cs.AI cs.CV
Estimating Blink Probability for Highlight Detection in Figure Skating Videos
Osaka University(大阪大学)
体育视频中的亮点检测具有广泛的受众群体和巨大的商业潜力。因此,必须以高时间精度检测更适合人类兴趣的高光场景。由于人们本能地抑制眨眼期间的注意力攫取事件和视频中的注意力断裂点同步生成眨眼,瞬时眨眼率可以被用作人类兴趣的高度准确的时间指标。因此,在这项研究中,我们提出了一种新的,自动高光检测方法的基础上眨眼率。该方法训练一维卷积网络(1D-CNN),以根据花样滑冰视频的时空姿势特征来评估每个视频帧的眨眼率。实验表明,该方法成功地估计了94%的视频片段中的眨眼率,并预测了跳跃事件周围眨眼率的时间变化,具有较高的准确性。该方法不仅能检测出具有代表性的运动动作,还能检测出花样滑冰表演的独特艺术表现力作为关键帧。这表明基于闪烁率的监督学习方法能够实现更紧密地匹配人类敏感性的高精度高光检测。
2020-07-02 cs.CV cs.MM
See, Rank, and Filter: Important Word-Aware Clip Filtering via Scene Understanding for Moment Retrieval and Highlight Detection
YuEun Lee, Jung Uk Kim
本文提出通过识别查询中的重要词,结合多模态大语言模型实现视频片段检索和亮点检测的细粒度过滤方法,提升检索和检测性能。
2025-11-28 cs.CV
Multi-modal Fusion and Query Refinement Network for Video Moment Retrieval and Highlight Detection
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Physics and Electronics, Hubei Normal University(湖北师范大学物理与电子科学学院);Gosuncn Chuanglian Technology Co., Ltd.(高新兴创联科技有限公司)
提出多模态融合与查询细化网络MRNet,融合RGB、光流和深度信息并细化查询,在QVHighlights和Charades数据集上显著提升视频时刻检索和精彩片段检测性能。
2025-01-18 cs.CV
Tracking Small Birds by Detection Candidate Region Filtering and Detection History-aware Association
Nagoya University(名古屋大学);RIKEN(理化学研究所)
针对全景视频中小且快速移动的鸟类跟踪难题,提出自适应切片辅助超推理减少检测候选区域,并利用检测历史感知相似性准则提升帧间关联,在NUBird2022数据集上验证了准确性和速度的双重提升。
2024-05-27 cs.CV
Summarizing First-Person Videos from Third Persons' Points of Views
National Taiwan University(台湾大学);National Chiao Tung University(国立交通大学)
视频精彩片段或摘要是计算机视觉中有趣的主题之一,它有利于查看、搜索或存储等各种应用。然而,大多数现有的研究依赖于第三人称视频的训练数据,这不能容易地推广到突出第一人称的。为了得到一个有效的模型来总结第一人称视频,我们提出了一种新的深度神经网络架构,用于描述和区分具有不同视角的视频中的重要时空信息。我们提出的模型是在半监督环境中实现的,其中在训练过程中呈现了完全注释的第三人称视频,未标记的第一人称视频和少量注释的第一人称视频。在我们的实验中,定性和定量评估基准和我们收集的第一人称视频数据集。
2018-07-26 cs.CV
Summarization of User-Generated Sports Video by Using Deep Action Recognition Features
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Oulu(奥卢大学);Tampere University of Technology(坦佩雷理工大学)
自动生成体育视频的摘要提出了检测比赛的有趣时刻或精彩部分的挑战。传统的体育视频摘要方法利用广播体育视频的编辑约定,便于提取高级语义。然而,用户生成的视频没有被编辑,因此传统方法不适合于生成摘要。为了解决这个问题,本工作提出了一种新的视频摘要方法,使用球员的行动作为线索,以确定原始视频的亮点。基于深度神经网络的方法用于提取两种类型的动作相关特征,并将视频片段分类为感兴趣或不感兴趣的部分。所提出的方法可以应用于任何运动,其中游戏包括一系列的行动。特别是,这项工作认为剑道(日本击剑)的情况下,作为一个例子的运动,以评估所提出的方法。该方法使用具有指示视频亮点的地面实况标签的剑道视频进行训练。这些标签由具有不同剑道经验的注释者提供,以展示所提出的方法如何适应不同的需求。通过几种不同特征的组合对该方法的性能进行了比较,结果表明,该方法优于以往的摘要方法。
2018-04-13 cs.CV
Error Analyses of Auto-Regressive Video Diffusion Models: A Unified Framework
Nanyang Technological University(南洋理工大学);National University of Singapore(国立新加坡大学);Singapore University of Technology and Design(新加坡科技设计大学);Sea AI Lab(海思人工智能实验室);Yale University(耶鲁大学)
本文提出Meta-ARVDM框架,通过分析自回归视频扩散模型的历史遗忘与时间退化现象,揭示其理论机制并提出新的评估方法。
2025-12-27 cs.CV cs.MM