基于兴趣点的运动分析辅助视频序列索引

TagMe：GPS辅助的视频对象自动标注

TagMe: GPS-Assisted Automatic Object Annotation in Videos

MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）

训练高精度目标检测模型需要大量不同的注释数据集。然而，创建这些数据集是耗时且昂贵的，因为它依赖于人类注释者。我们设计，实现和评估TagMe，一种新的方法，使用GPS数据的视频中的自动对象注释。当对象的GPS轨迹可用时，TagMe将来自GPS轨迹的对象的运动与视频中的像素的运动进行匹配，以找到视频中属于对象的像素，并创建对象的限界框注释。TagMe使用被动的数据汇集工作，并且可以在没有任何人工注释器的情况下从室外视频流连续生成新的对象注释。我们在100个视频片段的数据集上评估TagMe。我们表明TagMe可以以全自动和低成本的方式生成高质量的对象注释。与传统的人在回路解决方案相比，TagMe可以以更低的成本产生相同数量的注释，例如，高达110x。

2021-03-24cs.CVcs.LG

基于提升边缘最大化神经网络的讲座视频索引

Lecture video indexing using boosted margin maximizing neural networks

Illinois Institute of Technology（伊利诺伊理工学院）

本文提出了一种使用增强型深度卷积神经网络系统进行讲座视频索引的新方法。通过将高质量的幻灯片图像（其文本是已知的或提取的）与可能具有噪声、透视失真和遮挡的较低分辨率的视频帧相匹配来执行索引。我们提出了一个集成了boosting框架的深度神经网络，该框架由两个子网络组成，分别针对特征提取和相似性确定来执行匹配。训练后的网络作为输入的一对幻灯片图像和候选视频帧图像，并产生它们之间的相似性。在训练过程中，一个增强框架被集成到我们提出的网络中。实验结果表明，该方法是更有能力处理遮挡，空间变换，和其他类型的噪声相比，已知的方法。

2017-12-02cs.CV

计算机辅助精子分析在显微镜下精液质量评价中的应用

A Survey of Semen Quality Evaluation in Microscopic Videos Using Computer Assisted Sperm Analysis

Northeastern University（东北大学）；University of Washington (Seattle Campus)（华盛顿大学（西雅图校区））；University of Luebeck（吕贝克大学）；Chengdu University of Information Technology（成都信息工程大学）

计算机辅助精子分析（CASA）在男性生殖健康诊断和不育治疗中起着至关重要的作用。近年来，随着计算机工业的发展，提出了大量精确的算法。在这些新算法的帮助下，CASA可以实现更快和更高质量的结果。图像处理是CASA的技术基础，包括预处理、特征提取、目标检测和跟踪等，是CASA处理的重要技术步骤。本文对近30年来（1988年以来）有关计算机辅助精子分析方法的各项工作进行了全面的介绍和分析。为了便于理解，按照精子分析的一般步骤顺序分析了所涉及的方法。换句话说，首先分析与精子检测（定位）相关的方法，然后分析精子跟踪的方法。并对CASA的现状和未来进行了分析和展望。根据我们的工作，说明了本文所提到的方法应用于精子显微视频的可行性。此外，显微镜视频中的目标检测和跟踪的现有挑战是潜在的，以解决本次调查的启发。

2022-02-17cs.CVeess.IV

DNN驱动的压缩卸载边缘辅助语义视频分割

DNN-Driven Compressive Offloading for Edge-Assisted Semantic Video Segmentation

Huazhong University of Science and Technology（华中科技大学）；Essex University（埃塞克斯大学）；Hong Kong University of Science and Technology（香港科技大学）

深度学习在语义分割方面表现出了令人印象深刻的性能，但对于资源受限的移动设备来说，它仍然负担不起。虽然卸载计算任务是有希望的，但高流量需求压倒了有限的带宽。现有的压缩算法不适合语义分割，因为缺乏明显和集中的感兴趣区域（RoIs）迫使采用统一的压缩策略，导致压缩比或准确率低。本文介绍了STAC，一个DNN驱动的压缩方案为边缘辅助的语义视频分割量身定制。STAC是第一个利用DNN的梯度作为空间自适应压缩的空间灵敏度度量，并实现了卓越的压缩比和准确性。然而，使这种内容定制的压缩适应于视频是具有挑战性的。实际问题包括不同的空间敏感性和巨大的带宽消耗的压缩策略反馈和卸载。我们通过时空自适应方案来解决这些问题，该方案（1）将部分策略生成操作离线以减少通信负载，以及（2）通过密集的光流跨帧传播压缩策略和分割结果，并自适应地卸载关键帧以适应视频内容。我们在商用移动终端上实现了STAC。实验结果表明，STAC算法在保证精度的前提下，与现有算法相比，可以节省高达20.95%的带宽。

2022-03-28cs.CVcs.MMcs.NI

一种基于时空的帧索引算法，用于提升实时低运动视频流的服务质量

A Spatio-Temporal based Frame Indexing Algorithm for QoS Improvement in Live Low-Motion Video Streaming

Ahmadu Bello University（阿赫马杜·贝洛大学）

本文提出一种基于时空帧索引的算法，在传输前检测并消除低运动视频帧内与帧间冗余，在缓冲区大小和压缩率上取得提升，但帧构建时间有所增加。

2024-04-30cs.CV

用于自我中心视频索引的紧凑型CNN

Compact CNN for Indexing Egocentric Videos

The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；IIIT（印度信息技术学院）

虽然以自我为中心的视频越来越受欢迎，但浏览它非常困难。在本文中，我们提出了一个紧凑的3D卷积神经网络（CNN）架构，用于自我中心视频中的长期活动识别。识别长期活动使我们能够在时间上分割（索引）长且非结构化的以自我为中心的视频。现有的方法用于此任务是基于从可见对象，手的位置，以及光流的手调谐功能。给定稀疏光流体积作为输入，我们的CNN对相机佩戴者的活动进行分类。我们获得了89%的分类准确率，比目前最先进的方法高出19%。对扩展的以自我为中心的视频数据集进行了额外的评估，分类的类别数量是当前最先进技术的两倍。此外，我们的CNN能够以99.2%的准确率识别视频是否以自我为中心，比当前最先进技术提高了24%。为了更好地了解网络实际学习到的内容，我们提出了一种新颖的将CNN内核可视化为流场的方法。

2015-11-24cs.CV

SmartTennisTV：网球视频的自动索引

SmartTennisTV: Automatic indexing of tennis videos

CVIT, KCIS, IIIT Hyderabad（海得拉巴国际信息技术学院视觉信息技术中心）

在本文中，我们展示了一个基于分数的网球视频索引方法。给定一个广播网球视频（BTV），我们用分数索引所有视频片段，以创建一个可导航和可搜索的比赛。我们的方法在时间上分割视频中的集会，然后从每个片段中识别出分数，然后使用网球评分系统的知识来改进分数。最后，我们建立了一个界面，可以毫不费力地检索和查看相关的视频片段，还可以自动标记分段集会与人类可访问的标签，如“故障”和“deuce”。我们的方法的效率证明了BTV的从两个主要的网球锦标赛。

2018-01-04cs.CVcs.IR

基于Corr-LDA的视频内容索引与检索

Content-based Video Indexing and Retrieval Using Corr-LDA

Carnegie Mellon University（卡内基梅隆大学）；Technicolor（特艺集团）；NITK Surathkal（苏拉特卡尔国家技术学院）；NIT Tiruchirappalli（蒂鲁吉拉伯利国家技术学院）

现有的基于Web的多媒体共享网站上的视频索引和检索方法是基于用户提供的稀疏标记。本文提出了一种非常具体的方式搜索视频剪辑，基于视频的内容。我们提出了我们的工作基于内容的视频索引和检索使用的对应潜在狄利克雷分配（corr-LDA）概率框架。这是一个模型，提供了自动注释的视频在数据库中的文本描述符，并带来了额外的好处，利用视频和文本的内容之间的语义关系。我们使用corr-LDA提供的概念级匹配来建立文本和多媒体之间的对应关系，以提高准确性检索内容的目标。在我们的实验中，我们只使用单个录音的音频分量，并将我们的结果与基于SVM的方法进行比较。

2019-11-19cs.CVcs.IR

基于文本的图像和视频检索方法综述

Text Based Approach For Indexing And Retrieval Of Image And Video: A Review

VJTI（维多利亚贾姆纳加尔技术学院）

多媒体中的文本数据包含了自动标注、索引等有用信息。用于从给定视频或图像识别覆盖或场景文本的提取信息。提取的文本可用于检索视频和图像。在本文中，首先，我们讨论了不同的技术，从图像和视频文本提取。其次，我们回顾了利用抽取的文本对图像和视频进行索引和检索的技术。

2014-04-05cs.CVcs.DLcs.IR

TEMSET-24K：用于通过手术时间线分割索引多部分内窥镜视频的密集注释数据集

TEMSET-24K: Densely Annotated Dataset for Indexing Multipart Endoscopic Videos using Surgical Timeline Segmentation

Birmingham City University（伯明翰城市大学）；University Hospitals Birmingham（伯明翰大学医院）；University of Birmingham（伯明翰大学）；University of the West of England（西英格兰大学）；University of Hertfordshire（赫特福德大学）；University of Bristol（布里斯托大学）；Qatar University（卡塔尔大学）

针对内窥镜手术视频手动索引耗时、现有数据集缺乏的问题，提出包含24306个TEMS视频微片段的TEMSET-24K密集注释数据集，经临床专家分层标注，基准测试显示深度学习模型在关键阶段准确率和F1分数达0.99，推动手术数据科学自动化。

2025-02-10cs.CV

扩展教学视频的分割、索引和可视化

Segmentation, Indexing, and Visualization of Extended Instructional Videos

我们提出了一种新的分割方法，和一个新的用户界面的索引和可视化，扩展的教学视频的语义内容。给定视频中的一系列关键帧，我们通过根据媒体类型和视觉相似性对帧进行聚类来生成数据的浓缩视图。使用各种视觉过滤器，关键帧首先被分配一个媒体类型（板，类，计算机，插图，讲台和工作表）。然后，通过具有近线性成本的算法基于内容对媒体类型板和片材的关键帧进行聚类。一个新颖的用户界面，两个用户研究的结果，显示相关的主题使用图标链接拓扑，允许用户快速定位语义相关的视频部分。我们分析了17个教学视频的分割工具的准确性，每个视频的持续时间从75到150分钟（共40小时）;分类准确率超过96%。

2003-02-16cs.CVcs.IR

多模态视频监控索引与检索方法

Multimodal Approach for Video Surveillance Indexing and Retrieval

National School of Engineers (ENIS)（国立工程师学院（ENIS））

在本文中，我们概述了REGIMVid项目中开发的根据内容索引和搜索视频序列的多模式系统。我们系统的很大一部分是作为TREC视频评估的一部分开发的。MAVSIR平台提供了从视听内容和基于概念/事件的视频检索的高级特征提取。我们说明了系统的架构，以及提供一个概述的描述符支持的日期。然后，我们证明了有用的工具箱的背景下，特征提取，概念/事件的学习和检索的大型视频监控数据集。结果令人鼓舞，因为我们能够在几个活动类别中获得良好的结果，而对于所有活动，我们都获得了宝贵的见解和经验。

2013-08-06cs.CVcs.MM

利用局部索引和深度特征置信度分数进行快速图像到视频搜索

Exploiting Local Indexing and Deep Feature Confidence Scores for Fast Image-to-Video Search

Middle East Technical University（中东技术大学）

具有成本效益的视觉表示和快速查询的例子搜索是两个具有挑战性的目标，应保持适度的硬件上的网络规模的视觉检索任务。本文介绍了一种快速和强大的方法，确保这两个目标，通过获得最先进的性能的图像到视频搜索场景。因此，我们提出了关键的增强功能，以促进更快，更好和适度的检索性能，著名的索引和视觉表示技术。我们还通过在查询时利用局部和全局描述符的个体决策来提高我们的方法在一些视觉挑战中的优越性。例如，本地内容描述符表示具有大的几何变形（诸如比例、定向和仿射变换）的复制/重复的场景。相比之下，全局内容描述符的使用对于近似重复和语义搜索更实用。实验在大规模的Stanford I2 V数据集上进行。实验结果表明，我们的方法是有用的复杂性和查询处理时间的大规模视觉检索的情况下，即使局部和全局表示一起使用。所提出的方法是优越的，并实现了最先进的性能的基础上，该数据集的平均平均精度（MAP）得分。最后，我们报告了额外的MAP分数更新后的地面注释所揭示的检索结果所提出的方法，它表明，实际的性能。

2020-12-12cs.CV

GLIMPSE：用于可探索视频世界模型的多精度光谱编码全局-局部索引

GLIMPSE: Global-Local Indexing with Multi-Precision Spectral Encoding for Explorable Video World Models

Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cardiff University（卡迪夫大学）；Kling AI；The Hong Kong University of Science and Technology（香港科技大学）

GLIMPSE是一种带多精度光谱编码的全局-局部索引视频世界模型内存接口，可提升几何对应与光度一致性，用于解决相机控制视频模型的场景一致性问题。

2026-10-27cs.CV

视频帧插值中的速度歧义消除

Velocity Disambiguation for Video Frame Interpolation

School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Cornell University（康奈尔大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；OtoNexus Medical Technologies（OtoNexus医疗科技公司）；Snap Inc（Snap公司）

本文提出距离索引方法，通过显式提示对象移动距离来提升视频帧插值的精度和质量。

2026-03-01cs.CV

粗粒度索引，细粒度证据：解耦长视频检索增强生成中的时间粒度

Coarse Indexing, Fine Evidence: Decoupling Temporal Granularity in Long-Video RAG

Beijing University of Posts and Telecommunications（北京邮电大学）；Soochow University（苏州大学）

该研究针对长视频RAG中索引与证据粒度耦合的问题，提出无训练的DAGC方法，实现40%-50%节点保留、1.3-1.7倍加速且维持99%问答性能，增益可跨模型迁移。

2026-08-25cs.AIcs.CV

PreMind：面向演示风格视频高级索引的多智能体视频理解

PreMind: Multi-Agent Video Understanding for Advanced Indexing of Presentation-style Videos

Bosch Research North America（博世北美研究院）；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）；Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程学院）

本文提出PreMind多智能体多模态框架，通过VLM分割视频并提取视觉与语音内容生成多模态索引，结合先验知识优化、转录纠错和自我反思机制，实现了优于传统方法的演示风格视频高级理解与索引。

2025-02-28cs.AIcs.CLcs.CV

用于监测上消化道疾病活动和进展的有效视频索引

Efficient video indexing for monitoring disease activity and progression in the upper gastrointestinal tract

University of Oxford（牛津大学）

内窥镜检查是用于诊断和微创手术治疗的常规成像技术。虽然内窥镜视频包含丰富的信息，但用于临床报告目的的捕获此信息的工具相当差。迄今为止，内窥镜医生无法访问使他们能够以有效和用户友好的方式浏览视频数据的工具。例如，快速可靠的视频检索方法可以让他们回顾以前的检查数据，从而提高他们监测疾病进展的能力。深度学习提供了以极其高效的方式压缩和索引视频的新途径。在这项研究中，我们建议使用一个自动编码器的有效视频压缩和快速检索的视频图像。为了提高视频图像检索的准确性，并解决数据的变化，如多模态和视点的变化，我们提出了一个连体网络的集成。我们证明，我们的方法是有竞争力的检索图像从3个大规模的视频3个不同的患者对他们以前的诊断查询样本获得。定量验证表明，结合的方法产生了5%和8%的整体改善，分别超过经典和变分自编码器。

2019-05-10cs.CVcs.LGeess.IV

视频编辑的剖析：用于AI辅助视频编辑的数据集和基准套件

The Anatomy of Video Editing: A Dataset and Benchmark Suite for AI-Assisted Video Editing

Adobe Research（奥多比研究院）；KAIST（韩国科学技术院）

机器学习正在改变视频编辑行业。计算机视觉的最新进展已经提高了视频编辑任务的水平，例如智能重构、旋转描记、颜色分级或应用数字化妆。然而，大多数解决方案都集中在视频处理和VFX上。这项工作介绍了视频编辑的解剖，一个数据集和基准，以促进人工智能辅助视频编辑的研究。我们的基准测试套件专注于视频编辑任务，而不仅仅是视觉效果，例如自动素材组织和辅助视频组装。为了使这些方面的研究，我们注释了超过1.5米的标签，与电影摄影相关的概念，从196176拍摄电影场景采样。我们为每个任务建立了有竞争力的基线方法和详细的分析。我们希望我们的工作能够激发创新研究，以探索人工智能辅助视频编辑的未开发领域。

2022-07-21cs.CV

视觉代理记忆：通过在线索引、分层记忆和代理检索实现在线长视频理解

Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval

University College London（伦敦大学学院）

本文提出视觉代理记忆框架，通过在线索引、分层记忆和代理检索实现长视频理解，实验显示其在OVO-Bench和MM-Lifelong数据集上均取得优异成绩。

2026-05-15cs.AIcs.CV

基于内容的视频检索

Content based video retrieval

Shah & Anchor Kutchhi Polytechnic（沙阿与安克尔库奇理工学院）；VJTI（维杰扬德拉·贾瓦哈拉尔·泰克工程技术学院）

基于内容的视频检索是一种方便搜索和浏览万维网上的大型图像集的方法。在这种方法中，视频分析进行低层次的视觉特性提取的视频帧。我们认为，为了建立一个有效的视频检索系统，视觉感知必须考虑。我们认为，采用多个特征进行索引和检索的技术将更有效地在视频的歧视和搜索任务。为了验证这一说法，基于内容的索引和检索系统实现了使用颜色直方图，各种纹理特征和其他方法。视频存储在Oracle 9i数据库中，用户研究测量响应的正确性。

2012-11-20cs.CVcs.MM

PIC第四次挑战：语义辅助的多特征编码和多头解码，用于密集视频描述

PIC 4th Challenge: Semantic-Assisted Multi-Feature Encoding and Multi-Head Decoding for Dense Video Captioning

University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）

密集视频描述（DVC）的任务旨在为一个视频中的多个事件生成具有时间戳的字幕。语义信息对动态虚拟语气的定位和描述都起着重要的作用。我们提出了一个语义辅助的密集视频描述模型的基础上的编解码框架。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模态视觉特征融合，以充分表示输入视频。在解码阶段，我们设计了一个分类头，与本地化和字幕头，以提供语义监督。我们的方法在DVC评估指标下对YouMakeup数据集实现了显着改进，并在PIC第四次挑战的化妆密集视频描述（MDVC）任务中实现了高性能。

2022-08-15cs.CV

DnS：提取和选择，用于高效和准确的视频索引和检索

DnS: Distill-and-Select for Efficient and Accurate Video Indexing and Retrieval

ITI-CERTH（希腊信息技术研究所-希腊研究与技术中心）；QMUL（伦敦玛丽女王大学）

在本文中，我们解决了大规模数据集的高性能和计算效率的基于内容的视频检索的问题。当前方法通常提出：（i）采用时空表示和相似性计算的细粒度方法，以高计算成本实现高性能，或者（ii）将视频表示/索引为全局向量的粗粒度方法，其中时空结构丢失，提供低性能但也具有低计算成本。在这项工作中，我们提出了一个知识蒸馏框架，称为蒸馏和选择（DnS），从一个表现良好的细粒度教师网络学习：a）学生网络在不同的检索性能和计算效率的权衡和b）一个学习网络，在测试时快速引导样本到适当的学生，以保持高检索性能和高计算效率。我们训练了几个具有不同体系结构的学生，并得出了性能和效率的不同权衡，即，速度和存储要求，包括使用二进制表示存储/索引视频的细粒度学生。重要的是，所提出的方案允许在大型未标记的数据集中进行知识蒸馏-这会产生好学生。我们在三个不同的视频检索任务的五个公共数据集上评估了DnS，并证明了a）我们的学生在几种情况下达到了最先进的性能，b）DnS框架在检索性能，计算速度和存储空间之间提供了一个很好的权衡。在特定配置中，所提出的方法实现了与教师类似的mAP，但速度快20倍，需要的存储空间少240倍。所收集的数据集和实现可在https://github.com/mever-team/distill-and-select上公开获取。

2022-08-05cs.CVcs.IRcs.MM

PeCA：调色板上下文辅助推理，用于动画视频的测试时油漆桶上色

PeCA: Palette Context Assisted Inference for Test-Time Paint-Bucket Colourisation on Animation Videos

University of Birmingham（伯明翰大学）

针对动画视频油漆桶上色的区域对应易受模糊片段影响的问题，提出无训练即插即用的PeCA框架，通过空间与时间上下文推理优化，实验证实其性能持续提升。

2026-08-04cs.CV

一种高效压缩视频超分辨率编解码信息辅助框架

A Codec Information Assisted Framework for Efficient Compressed Video Super-Resolution

Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）

对压缩视频进行在线处理以提高其分辨率越来越受到人们的广泛关注。基于递归神经网络的视频超分辨率（VSR）由于其对长时间依赖性的有效建模而成为一种很有前途的解决方案。然而，国家的最先进的经常性的VSR模型仍然需要大量的计算，以获得良好的性能，主要是因为复杂的运动估计帧/特征对齐和冗余处理的连续视频帧。本文针对压缩视频的特点，提出了一种编解码器信息辅助框架（CIAF）来增强和加速压缩视频的递归VSR模型。首先，该框架重用运动矢量的编码视频信息来建模相邻帧之间的时间关系。实验表明，基于运动矢量的对齐模型可以显着提高性能，可以忽略不计的额外计算，甚至可以与那些使用更复杂的基于光流的对齐。其次，通过进一步利用Resistance的编码视频信息，可以通知框架跳过对冗余像素的计算。实验结果表明，该框架可以节省高达70%的计算，而性能下降的H.264编码的REDS 4测试视频时，CRF为23。

2022-10-15cs.CV

计算机辅助手术中的视频目标跟踪与分析

Video Object Tracking and Analysis for Computer Assisted Surgery

Cochin University of Science & Technology（科钦科学技术大学）

椎弓根螺钉置入技术使脊柱骨折和脊柱疾病的外科治疗发生了革命性的变化。虽然基于X射线透视的导航很流行，但存在长时间暴露于X射线辐射的风险。具有较低辐射风险的系统通常相当昂贵。在椎弓根螺钉固定中，钻头的位置和方向在临床上非常重要。在本文中，使用基于模式识别的方法，使用从CCD摄像机拍摄的输入视频序列获得的几何特征来确定钻头上的标记的位置和取向。然后在预处理后的视频帧上执行搜索，以获得钻头的精确位置和取向。然后，显示钻头的瞬时位置和方向的动画图形叠加在处理后的视频上，用于实时的钻头控制和导航。

2012-03-12cs.CV

基于流和深度的视频预测与潜在变换器

Flow and Depth Assisted Video Prediction with Latent Transformer

本文提出基于流和深度的视频预测方法，通过整合点流和深度信息提升遮挡场景下的预测性能和背景运动准确性。

2025-11-20cs.CV

SOC：用于指代视频目标分割的语义辅助目标聚类

SOC: Semantic-Assisted Object Cluster for Referring Video Object Segmentation

Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；University of Cambridge（剑桥大学）；ByteDance Inc.（字节跳动公司）

本文提出语义辅助目标聚类（SOC）方法，通过聚合视频内容与文本引导实现统一的时序建模和跨模态对齐，并引入多模态对比监督，在多个RVOS基准上显著超越现有方法。

2023-05-26cs.CV

从镜头到故事：基于统一语言表示的LLM辅助视频编辑

From Shots to Stories: LLM-Assisted Video Editing with Unified Language Representations

Shanghai University（上海大学）

该研究首次系统探索LLM在视频编辑中的应用，提出中间表示L-Storyboard实现视觉信息到结构化语言描述的转换，设计StoryFlow策略解决发散型任务输出不稳定问题，有效提升视频编辑任务的性能、可解释性与隐私保护能力。

2025-05-18cs.CV

视觉-语言模型辅助的无监督视频异常检测

Vision-Language Models Assisted Unsupervised Video Anomaly Detection

Beihang University（北京航空航天大学）

提出VLAVAD方法，结合大语言模型推理能力、选择语义空间的SPA模块和检测时间不一致性的S3M模块，将高维视觉特征映射为低维语义特征以增强可解释性，在ShanghaiTech数据集上实现了SOTA的无监督视频异常检测。

2024-09-26cs.CV

FineQuest：基于思维体推理的自适应知识辅助体育视频理解

FineQuest: Adaptive Knowledge-Assisted Sports Video Understanding via Agent-of-Thoughts Reasoning

School of Automation, Northwestern Polytechnical University（自动化学院，西北工业大学）；The University of Hong Kong（香港大学）；School of Software, Northwestern Polytechnical University（软件学院，西北工业大学）；Unmanned System Research Institute, Northwestern Polytechnical University（无人系统研究院，西北工业大学）

针对体育视频复杂性挑战，提出无训练框架FineQuest，采用双模式推理与多模态知识场景图SSGraph增强理解，并构建新基准Gym-QA和Diving-QA，在多项数据集上取得最优性能。

2025-09-15cs.CV

YOSE: 你只选择本质的标记以实现高效的DiT基于视频对象移除

YOSE: You Only Select Essential Tokens for Efficient DiT-based Video Object Removal

VCIP, CS, Nankai University（南开大学计算机科学与技术学院）；Huawei Noah’s Ark Lab（华为诺亚实验室）；NKIARI, Shenzhen Futian（深圳南山研究院）

YOSE通过引入BVI和DiffSim模块，实现了高效的DiT视频对象移除，通过动态选择关键标记和模拟扩散过程，使推理时间与遮挡区域线性相关，从而在70%的情况下达到2.5倍的加速，同时保持视觉质量。

2026-04-30cs.CV

人群辅助的虚拟结肠镜视频息肉标注

Crowd-Assisted Polyp Annotation of Virtual Colonoscopy Videos

Stony Brook University（石溪大学）；Stony Brook Medicine（石溪医学中心）

虚拟结肠镜检查（VC）允许放射科医生导航通过腹部计算机断层扫描重建的3D结肠模型，寻找息肉，结肠癌的前兆。息肉是结肠壁和结肠袋状皱襞上的突出物，在VC飞行视频中可见。结肠表面的完整检查需要从直肠到盲肠的顺行和逆行方向的完整导航，这是一项平均需要30分钟的繁琐任务。众包是一种让非专家用户执行某些任务的技术，例如图像或视频注释。在这项工作中，我们使用众包检查完整的VC飞行通过视频息肉注释的非专家。这样做的动机是潜在地帮助放射科医生在更短的时间内做出诊断，并为最终诊断提供更有力的确认。众包界面包括交互式工具，用于人群用封闭框注释视频中的疑似息肉。使用我们的工作流程，我们实现了87.88%的每例患者总体息肉灵敏度（对于息肉$\geq$ 5 mm为95.65%，对于息肉$<$ 5 mm为70%）。我们还证明了一个非专家用户在检测和注释息肉的功效和有效性，并讨论了他们的可能性，在VC检查中帮助放射科医生。

2018-09-17cs.CV

CLIP-TSA：面向弱监督视频异常检测的CLIP辅助时间自注意力方法

CLIP-TSA: CLIP-Assisted Temporal Self-Attention for Weakly-Supervised Video Anomaly Detection

University of Maryland, College Park（马里兰大学帕克分校）；University of Arkansas, Fayetteville（阿肯色大学费耶特维尔分校）

本文提出CLIP-TSA方法，利用CLIP的ViT特征与时间自注意力机制进行弱监督视频异常检测，在三个基准数据集上显著超越现有最先进方法。

2023-07-03cs.CV

RAUL：参考辅助输尿管镜定位用于技能评估

RAUL: Reference-Assisted Ureteroscopy Localization for Skill Assessment

Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）

RAUL通过参考辅助重建从输尿管镜视频恢复轨迹，提高定位覆盖率，实现无需额外设备的客观技能评估。

2026-09-18cs.CV

基于事件的电位辅助脉冲神经网络视频重建

Event-based Video Reconstruction via Potential-assisted Spiking Neural Network

Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）

神经形态视觉传感器是一种新的生物启发的成像范例，报告异步，连续每像素的亮度变化称为“事件”，具有高时间分辨率和高动态范围。到目前为止，基于事件的图像重建方法是基于人工神经网络（ANN）或手工制作的时空平滑技术。在本文中，我们首先通过完全脉冲神经网络（SNN）架构来实现图像重建工作。作为生物启发的神经网络，SNN以随时间分布的异步二进制尖峰操作，可以潜在地在事件驱动的硬件上导致更高的计算效率。提出了一种基于事件的视频重建框架，该框架基于全脉冲神经网络（EVSNN），利用了泄漏积分激发（LIF）神经元和膜电位（MP）神经元。我们发现，尖峰神经元有潜力存储有用的时间信息（记忆），以完成这种时间依赖性的任务。此外，为了更好地利用时间信息，我们提出了一个混合电位辅助框架（PA-EVSNN）使用的膜电位的尖峰神经元。所提出的神经元被称为自适应膜电位（AMP）神经元，它根据输入尖峰信号自适应地更新膜电位。实验结果表明，我们的模型在IJRR，MVSEC和HQF数据集上实现了与基于ANN的模型相当的性能。EVSNN和PA-EVSNN的能量消耗分别为19.36 $\times$和7.75 $\times$，比它们的人工神经网络结构的计算效率更高。

2022-03-30cs.CV

用户辅助视频反射消除

User-assisted Video Reflection Removal

Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）

视频中的反射是在玻璃等反射表面后面拍摄视频时经常出现的障碍物。这些反射降低了这样的视频的质量，导致信息丢失，并降低了许多计算机视觉算法的准确性。包含反射的视频是背景层和反射层的组合。因此，反射去除相当于将视频分解为两层。然而，这是一个具有挑战性且不适定的问题，因为存在无限数量的有效分解。为了解决这个问题，我们提出了一个用户辅助的视频反射去除方法。我们依赖于空间和时间信息，并利用稀疏的用户提示，以帮助提高分离。所提出的方法的关键思想是使用运动线索分离的反射层的背景层与最小的用户帮助。我们表明，用户的帮助显着提高层分离的结果。我们通过对真实和合成视频的定量和定性结果来实现和评估所提出的方法。我们的实验表明，该方法成功地消除了反射视频序列，不引入视觉失真，并显着优于国家的最先进的反射消除方法在文献中。

2020-09-07cs.CVcs.MM

机器人辅助手术的手术室手术活动自动识别

Automatic Operating Room Surgical Activity Recognition for Robot-Assisted Surgery

Intuitive Surgical Inc.（直觉外科公司）

手术室（OR）中手术活动的自动识别是创建下一代智能手术设备和工作流程监控/支持系统的关键技术。这种系统可以潜在地提高OR的效率，从而降低成本并改善对患者的护理。在本文中，我们研究了机器人辅助手术中的自动手术活动识别。我们收集了第一个大规模的数据集，包括400个完整长度的多视角视频，这些视频来自使用飞行时间相机捕获的各种机器人手术病例。我们用10种最受认可和临床相关的活动类别对视频进行了密集注释。此外，我们研究了最先进的计算机视觉动作识别技术，并使其适应OR环境和数据集。首先，我们对Inflated 3D ConvNet（I3 D）进行微调，以便在我们的数据集上进行剪辑级活动识别，并使用它从视频中提取特征。然后，这些特征被馈送到3个时间高斯混合层的堆栈，该堆栈从相邻剪辑中提取上下文，并最终通过长短期记忆网络来学习全长视频中的活动顺序。我们广泛地评估了模型，并达到了88%的平均平均精度的峰值性能。

2020-06-29cs.CV

将音乐驱动的2D舞蹈姿态生成重新框架化为多通道图像生成

Reframing Music-Driven 2D Dance Pose Generation as Multi-Channel Image Generation

Global Business Unit, Baidu Inc（百度公司全球业务部）

将音乐驱动的2D舞蹈姿态生成重新框架化为多通道图像生成，通过时间共享索引和参考姿态条件策略提升生成质量与一致性

2025-12-12cs.CV

FTDMamba：基于频率的时域扩张Mamba用于无人机视频异常检测

FTDMamba: Frequency-Assisted Temporal Dilation Mamba for Unmanned Aerial Vehicle Video Anomaly Detection

Information Materials and Intelligent Sensing Laboratory of Anhui Province（安徽省信息材料与智能感知实验室）；Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室）；School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Department of Computer Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）计算机科学与工程系）

FTDMamba通过频率辅助的时域扩张Mamba网络，解决动态背景下无人机视频异常检测的挑战，提出两个核心模块并构建大规模数据集，实现最先进的检测性能。

2026-01-16cs.CV

生物识别数据汇集的人工智能辅助验证

AI-Assisted Verification of Biometric Data Collection

University of Kentucky（肯塔基大学）

从视频源中识别动作是一项具有挑战性的自动化任务，尤其是在旧硬件上。这个项目有两个目标：一个是识别Android手机上前置摄像头的动作，另一个是支持尽可能多的手机和Android版本。这限制了我们使用足够小的模型来运行在有GPU和没有GPU的手机上，并且只使用摄像头来识别动作。在本文中，我们使用在自定义数据集上训练的模型来比较YOLO架构在不同设备（有和没有专用GPU）上的性能。我们还讨论了在有限的硬件上从视频中识别人脸和动作的局限性。

2021-12-17cs.CV

LAMP：语言辅助运动规划用于可控视频生成

LAMP: Language-Assisted Motion Planning for Controllable Video Generation

Koç University（科奇大学）；University College London（伦敦大学学院）；Hacettepe University（哈斯特帕大学）；Adobe Research（Adobe研究院）

LAMP通过大语言模型生成3D轨迹，实现基于自然语言的视频生成，提升运动可控性和用户意图对齐。

2026-09-09cs.CV

ENCORE：用于学习型视频压缩的事件辅助互补运动细化

ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression

School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Artificial Intelligence, Ningbo University（宁波大学人工智能学院）；National University of Singapore（新加坡国立大学）；Zhejiang University of Technology（浙江工业大学）；School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）

ENCORE是结合事件相机与RGB帧的学习型视频压缩框架，通过CMR、SERIC、EAR模块细化运动，在多数据集上实现了BD-rate节省的性能提升。

2026-07-31cs.CV

Scene123：通过视频辅助与一致性增强的MAE实现单提示到3D场景生成

Scene123: One Prompt to 3D Scene Generation via Video-Assisted and Consistency-Enhanced MAE

Fudan University（复旦大学）；Tencent PCG（腾讯平台与内容事业群）

Scene123利用视频生成框架和隐式神经场结合MAE，从单张图像或文本提示生成一致且逼真的3D场景，通过GAN损失增强细节，超越现有方法。

2024-08-20cs.CV

BYOLMed3D：基于梯度累积辅助三维BYOL框架的医学视频自监督表示学习

BYOLMed3D: Self-Supervised Representation Learning of Medical Videos using Gradient Accumulation Assisted 3D BYOL Framework

医学图像分析的应用严重缺乏医学专家正确注释的大量数据。监督学习算法需要大量的平衡数据来学习鲁棒的表示。通常，监督学习算法需要各种技术来处理不平衡数据。另一方面，自监督学习算法对数据中的不平衡是鲁棒的，并且能够学习鲁棒的表示。在这项工作中，我们训练一个三维BYOL自监督模型，使用梯度累积技术来处理大量的样本，在一批通常需要在一个自监督算法。据我们所知，这项工作是这一领域的第一项工作。我们将ACL撕裂损伤检测下游任务中的实验结果与当代自我监督预训练方法以及使用Kinetics-400预训练权重初始化的ResNet 3D-18进行了比较。从下游的任务实验，很明显，所提出的框架优于现有的基线。

2022-11-12cs.CV

事件辅助的低光照视频目标分割

Event-assisted Low-Light Video Object Segmentation

University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）

本文提出利用事件相机数据辅助低光照视频目标分割的框架，通过自适应跨模态融合和事件引导记忆匹配模块提升分割精度，并构建了合成与真实数据集验证其有效性。

2024-04-02cs.CV

分组离散表示引导以对象为中心的学习

Grouped Discrete Representation Guides Object-Centric Learning

提出分组离散表示(GDR)方法，通过将特征分组为属性并用元组数索引，解决了基于Transformer的OCL中特征泛化和收敛启发不足的问题，显著提升了模型的收敛性与泛化能力。

2024-12-19cs.CV

机器人辅助手术的未来帧预测

Future Frame Prediction for Robot-assisted Surgery

The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute（T Stone机器人研究所）

鉴于手术任务可能具有复杂的动态特性，预测机器人手术视频的未来帧是一个有趣、重要但极具挑战性的问题。现有的自然视频未来预测方法基于确定性模型或随机模型，包括深度递归神经网络、光流和潜在空间建模。然而，迄今为止，预测具有双臂的机器人在手术场景中的有意义的运动的潜力尚未被挖掘，这通常比预测自然场景中的单臂机器人的独立运动更具挑战性。在本文中，我们提出了一个三元先验引导的变分自编码器（TPG-VAE）模型的未来帧预测机器人手术视频序列。除了内容分布之外，我们的模型还学习了运动分布，这对于处理手术工具的小动作来说是新颖的。此外，我们从手势类中加入不变的先验信息到生成过程中，以限制我们的模型的潜在空间。据我们所知，这是第一次预测双臂机器人的未来帧，考虑到它们相对于一般机器人视频的独特特征。实验结果表明，该模型在公共JIGSAWS数据集上的预测任务中获得了更稳定、更真实的未来帧预测场景。

2021-03-18cs.CV

TA-V2A：文本辅助的视频到音频生成

TA-V2A: Textually Assisted Video-to-Audio Generation

Peking University（北京大学）

针对视频到音频生成中帧特征易丢失序列上下文的问题，提出融合语言、音频与视频特征并由大语言模型和文本调制引导的 TA-V2A，以提升语义表达、时间对齐及生成质量。

2025-03-12cs.CVcs.MM

DiffSign：AI辅助生成具有增强真实感的可定制手语视频

DiffSign: AI-Assisted Generation of Customizable Sign Language Videos With Enhanced Realism

Amazon Prime Video（亚马逊Prime视频）

本文提出DiffSign框架，结合参数化三维头像与扩散生成模型，并通过视觉适配器实现外观可控的逼真手语视频生成，提升时间一致性并支持多样性定制与匿名化。

2024-12-05cs.CV

自然语言辅助手语识别

Natural Language-Assisted Sign Language Recognition

The Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）

手语是通过手势、面部表情、肢体动作等来传达信息的视觉语言。由于这些视觉成分组合的固有限制，手语中存在大量的视觉不可区分符号（VISigns），这限制了视觉神经网络的识别能力。为了缓解这个问题，我们提出了自然语言辅助手语识别（NLA-SLR）框架，它利用包含在注释（标志标签）的语义信息。首先，对于具有相似语义含义的VISigns，我们提出了语言感知的标签平滑，通过为每个训练符号生成软标签，其平滑权重从注释之间的归一化语义相似性计算，以减轻训练。其次，对于具有不同语义的VISigns，我们提出了一种跨模态混合技术，该技术融合了视觉和光泽特征，以进一步最大限度地提高不同标志的可分离性，在混合标签的监督下。此外，我们还介绍了一种新的骨干，视频关键点网络，它不仅模型的RGB视频和人体关键点，但也从不同的时间感受野的标志视频派生知识。从经验上讲，我们的方法在三个广泛采用的基准测试中达到了最先进的性能：MSASL，WLASL和NMFs-CSL。代码可在https://github.com/FangyunWei/SLRT上获得。

2023-03-21cs.CV

基于视频的三维卷积神经网络手术技能评估

Video-based surgical skill assessment using 3D convolutional neural networks

National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；Faculty of Medicine and University Hospital Carl Gustav Carus, TU Dresden（德累斯顿工业大学卡尔·古斯塔夫·卡鲁斯医学院暨大学医院）

目的：对新手外科医生进行深入的教育对于确保手术干预的有效性和安全性至关重要。一个重要方面是教授微创或机器人辅助手术的技术技能。这包括客观和最好是自动评估手术技巧。最近的研究提出了良好的效果，自动，客观的技能评估，通过收集和分析运动数据，如轨迹的手术器械。然而，获得运动数据通常需要用于器械跟踪的附加设备或机器人手术系统的可用性以捕获运动学数据。相比之下，我们调查的方法自动，客观的技能评估，只需要视频数据。这具有在微创和机器人辅助训练场景期间可以毫不费力地收集视频的优点。方法：我们的方法建立在基于深度学习的视频分类的最新进展之上。具体来说，我们建议使用膨胀的3D ConvNet来分类片段，即，从手术视频中提取的几个连续帧的堆栈。在训练过程中，将网络扩展为时间段网络。结果如下：我们在公开的JIGSAWS数据集上评估了该方法，该数据集包括在干燥的实验室台式模型上执行的基本机器人辅助手术任务的记录。我们的方法实现了从95.1%到100.0%的高技能分类准确率。结论：我们的研究结果证明了基于深度学习的手术视频技术技能评估的可行性。值得注意的是，3D ConvNet能够直接从数据中学习有意义的模式，从而减轻了手动特征工程的需求。进一步的评价将需要更多的附加说明的数据，用于培训和测试。

2019-09-04cs.CV

一种基于预定采样训练的语义辅助视频描述模型

A Semantics-Assisted Video Captioning Model Trained with Scheduled Sampling

Tsinghua University（清华大学）；Samsung Research China（三星中国研究院）

给定视频的特征，递归神经网络可以用于自动生成视频的字幕。用于视频描述的现有方法具有至少三个限制。首先，语义信息已被广泛应用于提高视频描述模型的性能，但现有的网络往往无法提供有意义的语义特征。第二，教师强迫算法通常用于优化视频描述模型，但在训练和推理期间，应用不同的策略来指导单词生成，导致性能不佳。第三，当前的视频描述模型倾向于生成不适当地表达视频内容的相对短的字幕。针对这三个问题，我们提出了三个相应的改进措施。首先，我们提出了一个度量来比较语义特征的质量，并利用适当的功能作为输入的语义检测网络（SDN）具有足够的复杂性，以产生有意义的语义特征的视频。然后，我们应用了一个预定的抽样策略，逐渐转移培训阶段从教师指导的方式向更多的自学方式。最后，利用句子长度对普通对数概率损失函数进行杠杆作用，从而缓解了短句生成倾向。我们的模型在YouTube 2 Text数据集上取得了比以前模型更好的结果，并且与MSR-VTT数据集上以前的最佳模型具有竞争力。

2020-07-24cs.CLcs.CV

多模态大语言模型（MLLM）辅助音频引导的视频目标分割：第8届LSVOS挑战赛MeViS音频赛道第3名报告

MLLM-Assisted Audio VOS: A 3rd Place Report for the MeViS-Audio Track, 8th LSVOS Challenge

Hefei University of Technology（合肥工业大学）；Nanjing University of Science and Technology（南京理工大学）；Hunan Police College（湖南警察学院）

该研究提出一种结合MLLM与SAM的无训练音频引导视频分割框架，分解任务至各阶段并选用适配基础模型，在第8届LSVOS挑战赛MeViS音频赛道获第3名，验证了基础模型用于该任务的有效性。

2026-08-25cs.CV