Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.（百度公司）
最近，图像超分辨率得到了广泛的研究，并通过利用深度卷积神经网络的能力取得了重大进展。然而，由于视频中复杂的时间模式，视频超分辨率（VSR）的进展有限。在本文中，我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息，而对原始图像超分辨率的开销可以忽略不计。此外，我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能，并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
Fast Spatio-Temporal Residual Network for Video Super-Resolution
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）
最近，基于深度学习的视频超分辨率（SR）方法取得了令人满意的性能。为了同时利用视频的空间和时间信息，采用三维（3D）卷积是一种自然的方法。然而，直接利用3D卷积可能导致过高的计算复杂性，这限制了视频SR模型的深度，从而损害了性能。在本文中，我们提出了一种新的快速时空残差网络（FSTRN），采用3D卷积的视频SR任务，以提高性能，同时保持低的计算负载。具体来说，我们提出了一种快速的时空残差块（FRB），它将每个3D滤波器划分为两个3D滤波器的乘积，这两个3D滤波器具有相当低的维度。此外，我们设计了一个跨空间的残差学习，直接连接低分辨率空间和高分辨率空间，这可以大大减轻计算负担的特征融合和放大部分。对基准数据集的广泛评估和比较验证了所提出的方法的优势，并表明所提出的网络显着优于当前最先进的方法。
2019-04-05 cs.CV
Real-time Video Target Tracking Algorithm Utilizing Convolutional Neural Networks (CNN)
Northeastern University（东北大学）；University of California San Diego（加州大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）；Northern Arizona University（北亚利桑那大学）
针对传统视频目标跟踪算法在复杂场景下的局限性，本文提出并实现了一种基于卷积神经网络（CNN）的实时视频目标跟踪算法，通过整合检测与跟踪策略、在线学习更新目标模型，提升了复杂场景下跟踪的准确性、鲁棒性与实时性，为相关领域提供新方案。
2024-11-27 cs.CV
Do Less and Achieve More: Training CNNs for Action Recognition Utilizing Action Images from the Web
Boston University（波士顿大学）；Disney Research（迪士尼研究院）
最近，已经尝试收集数百万个视频以训练CNN模型用于视频中的动作识别。然而，管理如此大规模的视频数据集需要大量的人力，并且在数百万个视频上训练CNN需要巨大的计算资源。相比之下，从网络上收集动作图像要容易得多，对图像进行训练需要的计算也要少得多。此外，标记的web图像往往包含区别性动作姿势，其突出视频的时间进展的区别性部分。我们探讨的问题，我们是否可以利用网络动作图像训练更好的CNN模型的动作识别视频。我们从网络上收集了23.8K手动过滤的图像，这些图像描述了UCF 101动作视频数据集中的101个动作。我们表明，通过在训练中利用网络动作图像和视频，可以实现CNN模型的显着性能提升。然后，我们通过利用UCF101和ActivityNet的抓取Web图像（未过滤）来研究该过程的可扩展性。我们将1620万视频帧替换为393K未经过滤的图像，并获得相当的性能。
2015-12-22 cs.CV
MoViDNN: A Mobile Platform for Evaluating Video Quality Enhancement with Deep Neural Networks
Alpen-Adria-Universität Klagenfurt（克拉根福大学）；Christian Doppler Laboratory ATHENA（克里斯蒂安·多普勒ATHENA实验室）；Institute of Information Technology（信息技术研究所）
近年来，基于深度神经网络（DNN）的方法由于其快速发展而被深入研究以提高视频质量。由于计算成本高，这些方法主要针对桌面设备设计。然而，随着近年来移动设备性能的提高，在移动设备中执行基于DNN的方法变得可能。尽管具有所需的计算能力，但利用DNN来提高移动设备的视频质量仍然是一个活跃的研究领域。在本文中，我们提出了一个开源的移动平台，即MoViDNN，以评估基于DNN的视频质量增强方法，如超分辨率，去噪和去块。我们提出的平台可用于客观和主观地评估基于DNN的方法。为了客观评估，我们报告了常见的指标，如执行时间，PSNR和SSIM。对于主观评价，报告平均评分意见（MOS）。拟议的平台可在https://github.com/cd-athena/MoViDNN上公开查阅。
2022-01-12 cs.CV cs.MM
An Efficient Network Design for Face Video Super-resolution
Southeast University（东南大学）；University of Cambridge（剑桥大学）
人脸视频超分辨率算法旨在通过连续输入的视频序列重建真实的人脸细节。然而，现有的视频处理算法通常包含冗余参数，以保证不同的超分辨率场景。在这项工作中，我们专注于超分辨率的人脸区域在原始视频场景，而其余地区的插值。这种特定的超分辨率任务使得在一般视频超分辨率网络中削减冗余参数成为可能。我们构建了一个完全由人脸视频序列组成的数据集，用于网络训练和评估，并在实验中进行超参数优化。我们使用三种组合策略来优化网络参数，并使用同步训练评估方法来加速优化过程。结果表明，同时训练评估方法提高了训练速度，有利于生成有效的网络。与现有的视频超分辨率算法相比，该算法至少减少了52.4%的参数和20.7%的FLOP，在PSNR、SSIM等性能指标上都有明显的提高。当处理36 x36 x1 x3输入视频帧序列时，高效网络提供47.62 FPS的实时处理性能。我们将我们的建议命名为人脸视频超分辨率（HO-FVSR）的超参数优化，该建议在https://github.com/yphone/efficient-network-for-face-VSR上开源。
2021-09-28 cs.AI cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science（阿尔托大学理学院）
在本文中，我们描述了使用递归神经网络（RNN）生成短视频片段的文本描述的系统，我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上，并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外，我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明，利用基于关键帧的功能，密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Video-based Bottleneck Detection utilizing Lagrangian Dynamics in Crowded Scenes
Technische Universität Berlin（柏林工业大学）
避免人群中的瓶颈情况对于大型活动或公共交通中人们的安全和舒适至关重要。在拉格朗日运动分析的基础上，我们提出了一种新的基于视频的碰撞检测器，通过识别光流场捕获的人群运动中的特征装载模式。拉格朗日框架允许通过二维的拉格朗日场来评估瓶颈附近大时间尺度上复杂的时间依赖的人群运动动力学。特别是，我们提出了长期的时间过滤有限时间李雅普诺夫指数（FTLE）领域，提供了一个更全球化的人群运动分割，并允许捕捉其变形时，人群正在通过一个瓶颈。最后，这些变形用于自动时空检测这种情况。所提出的方法的性能在现有的Jülich和AGORASET数据集上进行了广泛的评估，我们已经用地面实况数据进行了时空瓶颈分析。
2019-08-21 cs.CV
Synthetic Thermal and RGB Videos for Automatic Pain Assessment utilizing a Vision-MLP Architecture
Hellenic Mediterranean University（希腊地中海大学）；Foundation for Research and Technology (FORTH)（希腊研究与技术基金会）
本文提出将GAN生成的合成热成像视频与RGB视频结合，通过Vision-MLP和Transformer框架在BioVid数据库上验证了其对自动疼痛评估的有效性和潜在优势。
2024-07-29 cs.AI cs.CV
Utilizing Mask R-CNN for Waterline Detection in Canoe Sprint Video Analysis
Leipzig University of Applied Sciences（莱比锡应用技术大学）；Institute for Applied Training Science Leipzig（莱比锡应用训练科学研究所）
摘要在皮划艇短跑训练中，确定运动员的水线位置是运动学参数分析的重要组成部分。在这里，我们提出了一种自动水线检测的方法。首先，我们通过迁移学习使用预训练的Mask R-CNN进行独木舟分割。其次，我们开发了一个多阶段的方法来估计水线的轮廓的部分。它包括两个线性回归阶段和独木舟部件的系统选择。然后，我们引入了水线的参数化，作为进一步评估的基础。接下来，我们在几位专家中进行了一项研究，以估计地面真实水线。这不仅包括从各个专家注释中得出的平均水线，更重要的是，还包括对各个结果之间不确定性的测量。最后，我们评估了我们的方法的问题是否预测的水线是根据专家的注释。我们的方法表现出高性能，并提供了新的应用领域的自动视频分析在独木舟短跑的机会。
2020-04-20 cs.CV
Deepfake Detection Analyzing Hybrid Dataset Utilizing CNN and SVM
University of Wisconsin-Eau Claire（威斯康星大学欧克莱尔分校）；Minnesota State University, Mankato（明尼苏达州立大学曼卡托分校）
社交媒体目前被许多人在线用作主要的信息来源。然而，并非所有网上分享的信息都是真实的，甚至照片和视频也可能被篡改。Deepfakes最近随着技术进步的兴起而兴起，并允许邪恶的在线用户将一张脸替换为他们想要的任何人的计算机生成的脸，包括重要的政治和文化人物。Deepfakes现在是一种能够传播大量错误信息的工具。现在非常需要创建能够检测deepfake的模型，并防止它们作为看似真实的图像或视频传播。在本文中，我们使用两种流行的机器学习算法提出了一种新的deepfake检测模式。
2023-01-27 cs.CV
VLN-Video: Utilizing Driving Videos for Outdoor Vision-and-Language Navigation
Amazon（亚马逊）
提出VLN-Video，利用驾驶视频生成增强数据，结合模板填充和图像旋转相似度预测器预训练模型，在Touchdown数据集上以2.1%的提升达到新最先进水平。
2024-02-07 cs.AI cs.CL cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University（波特兰州立大学）；Intel Corporation（英特尔公司）
我们提出了一种新的算法，利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化（BO）框架编码的时空信息，有效的视频对象跟踪。特别是，我们把视频跟踪问题作为一个动态（即时间演变）优化问题。使用高斯过程先验，我们建模一个动态的目标函数，表示跟踪对象在每帧中的位置。通过利用时间相关性，所提出的方法以统计原则和有效的方式查询搜索空间，提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
Streamlining Forest Wildfire Surveillance: AI-Enhanced UAVs Utilizing the FLAME Aerial Video Dataset for Lightweight and Efficient Monitoring
Renmin University of China（中国人民大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；International Research Institute of Disaster Science (IRIDeS), Tohoku University（东北大学灾害科学国际研究所）
本文提出一种基于策略网络和帧压缩的轻量高效航空视频理解方法，引入驻留点概念利用未来信息提升精度，在FLAME野火数据集上实现计算成本降低13倍以上且精度提升3%，并能智能筛选显著帧以精炼数据集、加速模型训练。
2024-08-31 cs.AI cs.CV
Classification of Carotid Plaque with Jellyfish Sign Through Convolutional and Recurrent Neural Networks Utilizing Plaque Surface Edges
Graduate School of Advanced Science and Engineering, Hiroshima University（广岛大学先进科学与工程研究生院）；Hiroshima University Hospital（广岛大学医院）
本文提出一种基于超声视频的深度学习方法，结合卷积与循环神经网络及斑块表面信息，高效分类与脑梗死相关的颈动脉斑块水母征，并在200名患者数据上验证了有效性。
2024-06-27 cs.CV eess.IV
Toward Accurate Person-level Action Recognition in Videos of Crowded Scenes
National University of Singapore（新加坡国立大学）；YITU Technology（依图科技）
由于环境的复杂性和事件的多样性，在拥挤的场景中检测和识别人体动作是一个具有挑战性的问题。以往的研究工作主要存在两个方面的不足：（1）缺乏对场景信息的利用;（2）缺乏对人群和复杂场景的训练数据。本文的研究重点是充分利用场景信息和收集新的数据来提高时空动作识别的性能。一个自上而下的战略是用来克服的局限性。具体来说，我们采用了一个强大的人体检测器来检测每帧的空间位置。然后，我们应用动作识别模型来学习来自HIE数据集和来自互联网的具有不同场景的新数据的视频帧的时空信息，这可以提高我们模型的泛化能力。此外，还利用语义分割模型提取场景信息，辅助场景分割。结果，我们的方法实现了平均26.05 wf\_mAP（在ACM MM 2020年大挑战：人类事件中排名第一）。
2020-10-16 cs.CV
Learning Semantic-Aware Dynamics for Video Prediction
UCLA Vision Lab（加州大学洛杉矶分校视觉实验室）；Stanford University（斯坦福大学）
我们提出了一个架构和训练方案来预测视频帧，明确建模dis-occlusion和捕捉视频中语义一致的区域的演变。场景布局（语义图）和运动（光流）被分解成层，这些层被预测并与它们的上下文融合以生成未来的布局和运动。使用共同可见区域中的预测运动从过去的帧中扭曲场景的外观;利用预测的场景布局利用内容感知修复来合成未被遮挡的区域。结果是一个预测模型，它显式地表示对象并学习它们的类特定运动，我们在视频预测基准上进行评估。
2021-04-20 cs.CV
Extract and Merge: Merging extracted humans from different images utilizing Mask R-CNN
Tokai University（东海大学）
从图像中的各种类型的对象中选择人体对象并将其与其他场景合并是照片编辑器的手动和日常工作。虽然最近Adobe Photoshop发布了“选择主题”工具，可以自动选择图像中的前景对象，但仍然需要单独进行精细的手动调整。在这项工作中，我们提出了一个利用Mask R-CNN（用于目标检测和掩码分割）的应用程序，该应用程序可以从多个图像中提取人体实例并将其与新的背景合并。此应用程序不会向Mask R-CNN添加任何开销，以每秒5帧的速度运行。它可以从任何数量的图像或视频中提取人类实例，并将它们合并在一起。我们还构造了代码，以接受不同长度的视频作为输入，输出视频的长度将等于最长的输入视频。我们希望创建一个简单而有效的应用程序，可以作为照片编辑的基础，并自动完成大多数耗时的工作，因此，编辑可以更专注于设计部分。其他应用可以是将来自不能物理地在一起的不同图像的具有新背景的单个图片中的人分组在一起。我们展示了在两种不同背景下的单人和多人提取和放置。此外，我们还展示了一个单人提取的视频示例。
2019-08-01 cs.CV cs.GR cs.LG
Comparison of Spatiotemporal Networks for Learning Video Related Tasks
University of Illinois（伊利诺伊大学）
用于从视频序列学习的许多方法涉及在时间上处理来自各个帧的2D CNN特征或直接利用高性能2D CNN架构内的3D卷积。焦点通常仍然是如何将时间处理纳入一个已经稳定的空间架构。这项工作构建了一个基于MNIST的视频数据集，其参数控制常见视频相关任务的相关方面：分类，排序和速度估计。在此数据集上训练的模型在关键方面有所不同，具体取决于任务及其对2D卷积、3D卷积或卷积LSTM的使用。实证分析表明，空间和时间维度之间的复杂的，相互依存的关系，设计选择有很大的影响网络的能力，学习适当的时空功能。
2020-09-15 cs.CV
Gaussian Mixture Modeling for Event-Aware Visual Allocation in Long Video Understanding
Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information, CASIA（中国科学院自动化所多模态信息超智能安全北京市重点实验室）；State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Hello Group（未知（保留英文））；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
针对长视频理解中视觉分配问题，提出GMM-EVA方法，利用高斯混合模型建模事件级结构，采用差异化分配策略，在多个长视频基准实验中显著优于均匀采样，以约一半视觉令牌预算达可比性能，凸显高效性。
2026-07-15 cs.CV
Dynamic Appearance: A Video Representation for Action Recognition with Joint Training
University of York（约克大学）
视频的静态外观可能会阻碍深度神经网络在视频动作识别中学习运动相关特征的能力。在本文中，我们引入了一个新的概念，动态外观（DA），总结了在视频中的运动相关的外观信息，同时过滤掉被认为与运动无关的静态信息。我们考虑从原始视频数据中提取动态外观作为有效的视频理解的手段。为此，我们提出了像素级时间投影（PWTP），它将视频的静态外观投影到其原始向量空间内的子空间中，而动态外观则编码在描述特殊运动模式的投影残差中。此外，我们将PWTP模块与CNN或Transformer集成到端到端训练框架中，该框架通过利用多目标优化算法进行优化。我们提供了四个动作识别基准的广泛的实验结果：动力学400，一些东西V1，UCF 101和HMDB 51。
2022-11-24 cs.CV
Benchmarking Video Frame Interpolation
TU Darmstadt（达姆施塔特工业大学）；Adobe Research（奥多比研究院）
针对视频帧插值评估中数据集繁多、指标不一致及违反线性假设等问题，提出一个包含一致误差指标、逐像素属性分析、符合线性假设的合成测试集及计算效率评估的公平基准。
2024-03-25 cs.CV
Object-Centric Video Prediction via Decoupling of Object Dynamics and Interactions
University of Bonn（波恩大学）
提出OCVP transformer模块解耦时间动态与物体交互，在两个数据集上优于物体无关模型，保持一致准确的物体表示。
2023-07-31 cs.CV
FMI-TAL: Few-shot Multiple Instances Temporal Action Localization by Probability Distribution Learning and Interval Cluster Refinement
Capital University of Physical Education and Sports（首都体育学院）
针对少样本时序动作定位无法处理多实例的问题，提出结合概率学习与聚类精炼的空间-通道关系Transformer，利用选择性余弦惩罚和区间聚类精确定位动作边界，在ActivityNet1.3和THUMOS14上取得竞争力。
2024-08-25 cs.CV
VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding
BIGAI（北京智源人工智能研究院）；Peking University（北京大学）
本研究提出记忆增强多模态智能体VideoAgent，通过结构化记忆和大语言模型零样本工具调用能力解决长视频理解问题，在多个基准上显著提升性能，缩小开源与私有模型差距。
2024-07-15 cs.CV
Video ControlNet: Towards Temporally Consistent Synthetic-to-Real Video Translation Using Conditional Image Diffusion Models
本文提出Video ControlNet，利用现成条件图像扩散模型和光流信息，通过联合噪声优化实现无需训练或微调的时间一致合成到真实视频转换，在多个基准上优于基线方法。
2023-05-30 cs.CV
Temporal RoI Align for Video Object Recognition
SenseTime（商汤科技）
视频目标检测在某些视频帧中存在外观劣化的情况下是具有挑战性的。因此，将来自同一视频的其它帧的时间信息聚合到当前帧中是自然的选择。然而，作为视频检测器最核心的过程之一，RoI Align仍然是从单帧特征图中提取特征，使得提取的RoI特征缺乏视频的时间信息。在这项工作中，考虑到相同的对象实例的特征是高度相似的帧之间的视频，提出了一种新的时间RoI对齐算子提取的特征，从其他帧的特征图为当前帧的建议，通过利用特征相似性。所提出的时间RoI对齐操作符可以从整个视频中提取时间信息以用于提案。我们将其集成到单帧视频检测器和其他国家的最先进的视频检测器，并进行定量实验，以证明所提出的时间RoI对齐算子可以持续和显着提高性能。此外，本文提出的时域ROI对齐算法还可以应用于视频实例分割。代码可在https://github.com/open-mmlab/mmtracking上获得
2021-09-11 cs.CV
Deep Understanding of Soccer Match Videos
针对足球比赛直播视频难以提取逐帧球员动作细节的问题，研究利用计算机视觉技术实现目标检测、追踪、场景分类等功能，可生成多种赛事分析内容，提升观众观赛体验。
2024-07-11 cs.CV
Inductive and Transductive Few-Shot Video Classification via Appearance and Temporal Alignments
VinAI Research（VinAI研究院）；Retrocausal, Inc.（Retrocausal公司）
我们提出了一种新的方法用于Few-Shot视频分类，它执行外观和时间对齐。特别是，给定一对查询和支持视频，我们通过帧级特征匹配进行外观对齐，以实现视频之间的外观相似性得分，同时利用时间顺序保持先验来获得视频之间的时间相似性得分。此外，我们引入了一个Few-Shot视频分类框架，该框架在多个步骤中利用了上述外观和时间相似性分数，即基于原型的训练和测试以及归纳和转换原型细化。据我们所知，我们的工作是第一个探索转导Few-Shot视频分类。在Kinetics和Something-Something V2数据集上进行的大量实验表明，外观和时间对齐对于具有时间顺序敏感性的数据集（如Something-Something V2）至关重要。我们的方法在这两个数据集上都取得了类似或更好的结果。我们的代码可在https://github.com/VinAIResearch/fsvc-ata上获得。
2022-07-21 cs.CV
S3-Net: A Fast and Lightweight Video Scene Understanding Network by Single-shot Segmentation
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）；Shanghai Jiao Tong University（上海交通大学）
视频中的实时理解在自动驾驶等各种人工智能应用中至关重要。提出了一种用于视频场景理解的快速单镜头分割策略。提出的网络，称为S3-Net，快速定位和分割的目标子场景，同时提取结构化的时间序列语义特征作为输入的LSTM为基础的时空模型。利用张量化和量化技术，S3-Net旨在成为边缘计算的轻量级。使用CityScapes，UCF 11，HMDB 51和MOMENTS数据集的实验表明，与UCF 11上基于3D-CNN的方法相比，所提出的S3-Net实现了8.1%的准确性提高，存储减少了6.9倍，在CityScapes上使用GTX1080Ti GPU的推理速度为22.8 FPS。
2020-11-04 cs.CV
Structured Video Tokens @ Ego4D PNR Temporal Localization Challenge 2022
Tel Aviv University（特拉维夫大学）；IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）；MIT-IBM Lab（麻省理工学院-IBM实验室）；Google Research（谷歌研究院）
本技术报告描述了用于Ego 4D不归点（PNR）时间定位挑战的SViT方法。我们提出了一个学习框架StructureViT（简称SViT），它演示了如何利用仅在训练期间可用的少量图像的结构来改进视频模型。SViT依赖于两个关键的见解。首先，由于图像和视频都包含结构化信息，因此我们使用一组可跨图像和视频使用的\emph{object tokens}来丰富Transformer模型。第二，视频中各个帧的场景表示应该与静止图像的场景表示“对齐”。这是通过“帧剪辑一致性”损失来实现的，这确保了图像和视频之间的结构化信息的流动。SViT在挑战测试集上获得了很强的性能，绝对时间定位误差为0.656。
2022-06-15 cs.CV
Faster than real-time detection of shot boundaries, sampling structure and dynamic keyframes in video
DIGITAL JOANNEUM RESEARCH（数字约安尼姆研究中心）
提出一种统一检测视频镜头边界、采样结构和动态关键帧的新算法，结合动态场与归一化互相关的帧间、帧内度量，实现比实时快四倍且对复杂内容稳健。
2025-02-13 cs.CV
Collaboratively Self-supervised Video Representation Learning for Action Recognition
Microsoft Research Asia（微软亚洲研究院）；Beijing Huawei Digital Technologies Co., Ltd.（北京华为数字技术有限公司）
提出协同自监督视频表示学习框架CSVR，通过生成式姿态预测、判别式上下文匹配和视频生成三个分支协同提取动静特征，在多个视频数据集上实现最先进的动作识别性能。
2025-01-31 cs.CV
VidToMe: Video Token Merging for Zero-Shot Video Editing
Shanghai Jiao Tong University（上海交通大学）；UC Merced（加州大学默塞德分校）
针对零样本视频编辑中时间一致性难保障、内存效率低的问题，提出VidToMe方法，通过跨帧自注意力令牌合并及分块的局部-全局合并策略，提升时间一致性并降低内存消耗，效果优于现有最优方法。
2023-12-19 cs.CV
Detect or Track: Towards Cost-Effective Video Object Detection/Tracking
Huazhong University of Science and Technology（华中科技大学）；Microsoft Research Asia（微软亚洲研究院）
最先进的目标探测器和跟踪器正在快速发展。跟踪器通常比探测器更有效，但有漂移的风险。因此提出了一个问题--如何在给定的时间预算内利用现有的检测器和跟踪器来提高视频目标检测/跟踪的准确性？基线是跳帧--每隔N帧检测一次，并跟踪其间的帧。然而，该基线是次优的，因为检测频率应当取决于跟踪质量。为此，我们提出了一个调度器网络，它决定在一定的帧检测或跟踪，作为一个概括的暹罗跟踪器。尽管调度器网络结构简单，但它比跳帧基线和基于流的方法更有效，这在视频目标检测/跟踪中的ImageNet VID数据集上得到了验证。
2018-11-13 cs.CV
Multi-sentence Video Grounding for Long Video Generation
Tsinghua University（清华大学）
本文提出多句视频定位用于长视频生成的新范式，通过视频检索、编辑和变形，实现低内存成本且保持时间一致性的长视频生成。
2024-07-18 cs.CV
Video Frame Interpolation without Temporal Priors
The University of Sydney（悉尼大学）
视频帧内插是计算机视觉的一个重要研究课题，其目的是合成视频序列中不存在的中间帧。现有的视频帧内插方法在特定的假设条件下，如瞬时或已知曝光时间，都取得了显著的效果。然而，在复杂的现实世界的情况下，视频的时间先验，即每秒帧数（FPS）和帧曝光时间，可能会因不同的相机传感器而异。当测试视频在与训练视频不同的曝光设置下拍摄时，插值帧将遭受严重的错位问题。在这项工作中，我们解决了一般情况下，输入帧可以在不确定的曝光（和间隔）时间下获取的视频帧插值问题。不同于以往的方法，只能适用于一个特定的时间先验，我们推导出一个通用的曲线运动轨迹公式，从四个连续的清晰帧或两个连续的模糊帧没有时间先验。此外，利用相邻运动轨迹内的约束，我们设计了一种新的光流细化策略，以获得更好的插值结果。最后，实验表明，一个经过良好训练的模型就足以在复杂的现实世界情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/UTI-VFI上获得。
2021-12-02 cs.CV
Spatio-temporal Features for Generalized Detection of Deepfake Videos
DUniversum（3D宇宙）；University of Amsterdam（阿姆斯特丹大学）
对于deepfake检测，视频级检测器还没有像图像级检测器那样广泛地探索，图像级检测器不利用时间数据。在本文中，我们的经验表明，现有的图像和序列分类方法推广到新的操作技术差。为此，我们提出了由3D CNN建模的时空特征，以扩展泛化能力来检测新类型的deepfake视频。我们发现，空间特征学习不同的deepfake方法特定属性，而时空特征捕获deepfake方法之间的共享属性。我们提供了一个深入的分析顺序和时空视频编码器如何利用时间信息使用DFDC数据集arXiv：2006.07397。因此，我们揭示了我们的方法捕获了deepfake视频中的局部时空关系和不一致性，而现有的序列编码器对此漠不关心。通过在FaceForensics++ arXiv：1901.08971和Deeper Forensics arXiv：2001.03024数据集上进行的大规模实验，我们表明我们的方法在泛化能力方面优于现有方法。
2020-10-22 cs.CV
FastVideoEdit: Leveraging Consistency Models for Efficient Text-to-Video Editing
McGill University（麦吉尔大学）；The Chinese University of Hong Kong（香港中文大学）
FastVideoEdit利用一致性模型的自一致性特性，实现零样本高效文本到视频编辑，无需反演或额外条件提取，在保持生成质量的同时显著提升编辑速度。
2024-11-18 cs.CV
Harnessing Object Grounding for Time-Sensitive Video Understanding
Intel（英特尔公司）
本文提出 GO-Tokenizer 以提升视频大型语言模型的时间敏感视频理解能力，通过实时编码紧凑的物体信息，提高模型性能并减少噪声影响。
2025-12-08 cs.CV
Let Video Teaches You More: Video-to-Image Knowledge Distillation using DEtection TRansformer for Medical Video Lesion Detection
FNii, CUHK-Shenzhen（香港中文大学（深圳）FNii机构）；SSE, CUHK-Shenzhen（香港中文大学（深圳）工学院）；SRIBD, CUHK-Shenzhen（香港中文大学（深圳）SRIBD机构）；IHPC, A*STAR（新加坡科研局高性能计算研究院）
针对医学视频病变检测中基于图像模型缺乏帧间上下文而基于视频模型计算成本高的问题，提出V2I-DETR知识蒸馏框架，将视频多帧时间上下文蒸馏至单帧图像模型，在保持30 FPS实时推理速度的同时大幅超越现有最先进方法。
2024-08-26 cs.CV
Finding Temporally Consistent Occlusion Boundaries in Videos using Geometric Context
Georgia Institute of Technology（佐治亚理工学院）；Nvidia Corporation（英伟达公司）；Google Research（谷歌研究院）
我们提出了一种算法，在视频中找到时间上一致的遮挡边界，以支持动态场景的分割。我们在成对马尔可夫随机场（MRF）框架中学习遮挡边界。我们首先估计的概率的时空边缘是一个闭塞的边界，通过使用外观，流量和几何特征。接下来，我们通过使用随机森林学习成对遮挡概率来增强MRF模型中的遮挡边界连续性。然后，我们暂时平滑边界，以消除时间不一致的遮挡边界估计。我们提出的框架提供了一种有效的方法，通过利用因果关系，视频中的冗余，和场景的语义布局，在视频中找到时间上一致的遮挡边界。我们已经开发了一个数据集，其中包含30多个视频（5000美元帧）的完全注释的地面实况遮挡边界。该数据集用于评估时间遮挡边界，并为未来的研究提供了急需的基线。我们进行实验，以展示场景布局的作用，和时间信息的遮挡推理在动态场景。
2015-10-25 cs.CV
EdgeRelight360: Text-Conditioned 360-Degree HDR Image Generation for Real-Time On-Device Video Portrait Relighting
Qualcomm AI Research（高通人工智能研究）
该研究提出EdgeRelight360方法，基于HDR10标准用扩散模型实现文本生成360度HDRI贴图，可在移动设备端侧实时完成视频人像补光，兼顾隐私与低时延，为多类实时视频应用提供新方案。
2024-04-15 cs.CV
Long Video Understanding with Learnable Retrieval in Video-Language Models
School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
针对长视频理解中LLM计算开销大和噪声干扰问题，提出可学习检索的视频语言模型R-VLM，通过软匹配损失端到端训练轻量MLP，选择最相关的K个视频片段作为上下文，减少令牌数并提升零样本问答性能。
2025-09-24 cs.CV
Sensor-Augmented Egocentric-Video Captioning with Dynamic Modal Attention
Hitachi, Ltd.（日立制作所）
自动描述视频，或称视频描述，在多媒体领域得到了广泛的研究。本文提出了一种新的任务，传感器增强自我中心的视频描述，一个新构建的数据集，它称为MMAC字幕，和新提出的任务，有效地利用多模态数据的视频和运动传感器，或惯性测量单元（IMU）的方法。虽然传统的视频描述任务由于固定摄像机的有限视角而难以处理人类活动的详细描述，但自我中心视觉具有更大的潜力，可用于基于近得多的视角来生成人类活动的更细粒度的描述。此外，我们利用可穿戴传感器数据作为辅助信息，以减轻自我中心视觉的固有问题：运动模糊，自遮挡和相机范围外的活动。我们提出了一种方法，有效地利用传感器数据与视频数据的基础上的注意力机制，动态地确定模态，需要更多的关注，考虑到上下文信息。我们将所提出的传感器融合方法与MMAC Captions数据集上的强基线进行了比较，发现使用传感器数据作为自我中心视频数据的补充信息是有益的，并且我们提出的方法优于强基线，证明了所提出的方法的有效性。
2021-09-07 cs.CV
Surgical Phase Recognition of Short Video Shots Based on Temporal Modeling of Deep Features
腹腔镜手术（LS）操作的视频识别阶段构成了有效的内容表示，索引和检索手术视频数据库中的基本步骤。在文献中，大多数技术集中于使用手工制作的视觉特征、仪器使用信号和最近的卷积神经网络（CNN）对整个LS视频进行相位分割。在本文中，我们解决的问题，相位识别的短视频镜头（10秒）的操作，而不利用信息的前/即将到来的视频帧，其相位标签或所使用的仪器。我们研究了四种最先进的CNN架构（Alexnet，VGG 19，GoogleNet和ResNet 101），用于通过迁移学习进行特征提取。采用视觉显著性来选择图像的信息量最大的区域作为CNN的输入。视频镜头表示是基于两个时间池机制。最重要的是，我们调查了“运行时间”（从操作开始）的作用，我们表明，包含此功能可以显着提高性能（69%与75%的平均准确度）。最后，基于CNN特征与“经过时间”的融合，训练了一个长短期记忆（LSTM）网络用于视频镜头分类，将准确率提高到86%。我们的研究结果突出了视觉显着性，长距离的时间递归和“流逝的时间”（一个功能，到目前为止被忽略），手术阶段识别的突出作用。
2018-12-07 cs.CV
Zero-Shot Long-Form Video Understanding through Screenplay
Southeast University（东南大学）；Opus AI Research（奥普斯人工智能研究院）；Zhejiang University（浙江大学）；The University of Manchester（曼彻斯特大学）；National University of Singapore（新加坡国立大学）
本文提出 MM-Screenplayer，一种将视频转换为文本剧本表示的零样本长视频理解系统，通过以场景为基本单元组织内容并引入“Look Back”策略验证不确定信息，在 CVPR'2024 LOVEU Track 1 Challenge 中取得最高分。
2024-06-25 cs.CV
1st Place Solution for the 5th LSVOS Challenge: Video Instance Segmentation
Wuhan University（武汉大学）；Y-tech, Kuaishou Technology（快手科技Y-tech）；Beihang University（北京航空航天大学）
本研究针对视频实例分割任务，对DVIS方法提出去噪训练策略优化跟踪器，并结合DINO v2预训练的冻结VIT-L模型提升性能，最终在第五届LSVOS挑战赛VIS赛道夺冠。
2023-08-28 cs.CV
Q-Frame: Query-aware Frame Selection and Multi-Resolution Adaptation for Video-LLMs
MiLM Plus, Xiaomi Inc.（小米公司）
本文提出 Q-Frame，一种基于 CLIP 和 Gumbel-Max 的免训练即插即用方法，通过查询感知的自适应帧选择与多分辨率缩放，使视频大语言模型在有限计算资源下处理更多关键帧，并在多个视频理解基准上取得优于现有方法的效果。
2025-07-22 cs.CV
Learning Latent Super-Events to Detect Multiple Activities in Videos
Department of Computer Science, Indiana University, Bloomington（印第安纳大学计算机科学系）
在本文中，我们介绍了从活动视频中学习潜在超级事件的概念，并介绍了它如何有利于连续视频中的活动检测。我们将超级事件定义为在视频中一起发生的具有特定时间组织的多个事件的集合;它与子事件的概念相反。真实世界视频包含多个活动并且很少被分段（例如，监控视频），并且学习潜在的超级事件允许模型捕获事件在视频中如何在时间上相关。我们设计了时间结构过滤器，使模型能够专注于视频的特定子区间，并将它们与软注意力机制一起使用，以学习潜在超级事件的表示。超级事件表示与每帧或每段CNN相结合，以提供帧级注释。我们的方法被设计为完全可区分的，能够与使用它们的活动检测器一起对潜在的超级事件表示进行端到端的学习。我们对多个公共视频数据集的实验证实，所提出的潜在超级事件学习的概念显着有利于活动检测，推进了最先进的技术。
2018-03-29 cs.CV
FlowC2S: Flowing from Current to Succeeding Frames for Fast and Memory-Efficient Video Continuation
Team ARAI, Université Paris-Saclay, CNRS, LISN, France（ARAI团队，巴黎萨克雷大学，法国国家科学研究中心，LISN，法国）；LTCI, Télécom Paris, Institut Polytechnique de Paris, France（LTCI，巴黎电信学院，巴黎理工学院，法国）
提出FlowC2S方法，通过微调预训练文本到视频流模型学习当前与后续视频块之间的向量场，利用固有最优耦合和目标反转实现快速、内存高效的视频延续。
2026-05-30 cs.CV
Extraction of Key-frames of Endoscopic Videos by using Depth Information
Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）；Chubu University（中部大学）
提出了一种基于深度学习的单目深度估计（MDE）技术，用于选择内窥镜视频的最具信息量的帧（关键帧）。在大多数情况下，息肉的地面真实深度图并不容易获得，这就是为什么在我们的方法中采用迁移学习方法。内窥镜模态通常捕获数千帧。在这种情况下，丢弃内窥镜视频的低质量和临床不相关的帧，同时保留最具信息量的帧用于临床诊断是非常重要的。在此基础上，提出了一种利用息肉深度信息的关键帧选择策略。在我们的方法中，图像矩，边缘幅度，和关键点被认为是自适应地选择关键帧。我们提出的方法的一个重要应用可能是在提取的关键帧的帮助下进行息肉的3D重建。此外，息肉是本地化的帮助下提取的深度图。
2021-06-30 cs.CV
Implicit Neural Representation for Videos Based on Residual Connection
Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究院）
针对视频隐式神经表示的帧细节重建不足问题，提出将低分辨率帧作为残差连接的方法，在49个视频的46个样本上PSNR优于现有方法HNeRV。
2024-06-15 cs.CV eess.IV
Video Monitoring Queries
University of Toronto（多伦多大学）
利用深度学习原语的视频处理的最新进展在视频分析的基本问题上取得了突破，例如帧分类和目标检测，从而实现了一系列新的应用。在本文中，我们研究的问题，交互式声明查询处理的视频流。特别地，我们引入了一组近似过滤器来加速涉及特定类型的对象的查询（例如，汽车、卡车等）在视频帧之间具有相关联的空间关系的视频帧上（例如，卡车的左边）。所得到的过滤器能够快速地评估查询谓词是否为真以继续对帧进行进一步分析，或者以其他方式不考虑帧，从而进一步避免昂贵的目标检测操作。我们提出了两类过滤器$IC$和$OD$，适应深图像分类和目标检测的原则。过滤器利用可扩展的深度神经架构，易于部署和使用。此外，我们提出了统计查询处理技术来处理涉及视频流上的空间约束的对象的聚合查询，并通过实验证明所产生的聚合估计的准确性增加。综合这些技术构成了一套健壮的视频监控查询处理技术。我们证明，结合视频流上的声明性查询提出的技术的应用程序可以显着提高帧处理速率，并加快查询处理至少两个数量级。我们提出了一个彻底的实验研究的结果，利用基准视频数据集的规模展示的性能优势和我们的建议的实际意义。
2020-02-24 cs.CV cs.DB eess.IV
