ROMA: Cross-Domain Region Similarity Matching for Unpaired Nighttime Infrared to Daytime Visible Video Translation
Beijing Institute of Technology(北京理工大学);Yantai IRay Technologies Lt. Co.(烟台艾睿光电科技有限公司)
红外摄像机通常用于增强夜视,因为可见光摄像机在没有足够照明的情况下表现出较差的功效。然而,红外数据由于其固有的热相关成像原理而具有不足的颜色对比度和表示能力。这使得人类难以捕获和分析信息,同时也阻碍了其应用。虽然,未配对的夜间红外和白天可见光视频之间的域间隙甚至比同时捕获的配对视频更大,但建立有效的平移映射将极大地有助于各个领域。在这种情况下,夜间红外视频中的结构知识和翻译的白天可见光对中包含的语义信息可以同时被利用。为此,我们提出了一个量身定制的框架ROMA,与我们引入的cross域regiOn siMilarity匹配技术相结合,以弥合巨大的差距。具体来说,ROMA算法可以有效地将夜间红外视频转化为白天可见光视频,同时通过跨域区域相似性匹配保持视频的时空一致性。此外,我们设计了一个多尺度区域明智的分割,以区分合成的可见结果和真实参考的细节。针对特定应用的大量实验和评估表明,ROMA优于最先进的方法。此外,我们提供了一个新的和具有挑战性的数据集,鼓励进一步研究不成对的夜间红外和白天可见光视频翻译,命名为mixredCity。特别是,它由9个长视频片段组成,包括城市,高速公路和监视器场景。所有片段总共可以分割为603,142帧,比最近发布的日间红外到可见光数据集IRVI大20倍。
2022-04-26 cs.CV
Boosting Video Object Segmentation via Space-time Correspondence Learning
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
本文提出对应感知训练框架,通过无标签对比对应学习增强匹配式视频目标分割的时空匹配鲁棒性,在不增加标注、延迟和架构改动的前提下,于多个基准上稳定提升性能。
2023-04-13 cs.CV
Sparse Global Matching for Video Frame Interpolation with Large Motion
Nanjing University(南京大学);SenseTime Research(商汤科技研究院);Shanghai AI Lab(上海人工智能实验室)
针对大运动下视频帧插值性能受限的问题,提出融合初始光流与稀疏全局匹配补偿的新流水线,在大运动基准子集上达到SOTA性能。
2024-08-19 cs.CV
Span-based Localizing Network for Natural Language Video Localization
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Institute for Infocomm Research, A*STAR(A*STAR资讯通信研究所)
自然语言视频定位是在给定的视频和文本查询的情况下,从视频中找到与查询语义对应的匹配跨度。现有的解决方案将NLVL制定为排名任务并应用多模态匹配架构,或者制定为回归任务以直接回归目标视频跨度。在这项工作中,我们解决NLVL任务与跨度为基础的QA方法,将输入视频作为文本通道。我们提出了一个视频跨度本地化网络(VSLNet),在标准的跨度为基础的QA框架,以解决NLVL。拟议的VSLNet解决NLVL和跨度为基础的QA之间的差异,通过一个简单而有效的查询引导突出显示(QGH)的战略。QGH引导VSLNet在突出显示的区域内搜索匹配的视频范围。通过在三个基准数据集上的大量实验,我们表明,所提出的VSLNet优于最先进的方法;采用基于跨度的QA框架是解决NLVL的一个有前途的方向。
2020-06-14 cs.CL cs.CV
Multiple Hypothesis Flow Estimation for Video Frame Interpolation under Matching Ambiguity
针对视频帧插值中匹配歧义导致的重影等问题,提出多假设流估计框架,保留前K个候选对应并选优,在多基准上获最优LPIPS与DISTS
2026-08-10 cs.CV
Real-Time Video Inference on Edge Devices via Adaptive Model Streaming
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
由于深度神经网络的高计算成本,在手机和无人机等边缘设备上进行实时的【形】视频推理具有挑战性。我们提出了自适应模型流(AMS),这是一种提高边缘设备上视频推理的高效轻量级模型性能的新方法。AMS使用远程服务器来持续训练和调整在边缘设备上运行的小型模型,使用来自大型最先进模型的在线知识蒸馏来提高其在实时视频上的性能。我们讨论了网络模型自适应视频推理的挑战,并提出了几种技术来降低这种方法的通信成本:避免过度拟合,更新一小部分重要的模型参数,以及在边缘设备上对训练帧进行自适应采样。在视频语义分割的任务中,我们的实验结果显示,与几个视频数据集上的预训练模型相比,平均Intersection-over-Union提高了0.4- 17.8%。我们的原型可以在三星Galaxy S10+手机上以每秒30帧的速度执行视频分割,相机到标签延迟为40毫秒,设备上的上行链路和下行链路带宽小于300 Kbps。
2021-04-05 cs.CV cs.LG cs.NI
DEEPEYE: A Compact and Accurate Video Comprehension at Terminal Devices Compressed with Quantization and Tensorization
Shanghai Jiao Tong University(上海交通大学);South University of Science and Technology(南方科技大学);University of California, Riverside(加州大学河滨分校)
由于在视频检测和分类中,当暴露于高维输入时需要大量的参数,因此在终端设备处开发紧凑而准确的视频理解是一个巨大的挑战。目前的工作集中在优化的视频检测和分类在一个单独的方式。在本文中,我们介绍了一个视频理解(目标检测和动作识别)系统的终端设备,即DEEPEYE。基于You Only Look Once(YOLO),我们在训练YOLO时开发了一种8位量化方法;还开发了由YOLO提取的特征组成的递归神经网络(RNN)的张量压缩方法。所开发的量化和张量化可以显着压缩原始网络模型,但保持精度。以MOMENTS和UCF 11视频数据集为基准,实验结果表明,在mAP仅降低0.47%的情况下,DEEPEYE实现了3.994倍的模型压缩率;在精度提高16.58%的情况下,参数减少15,047倍,速度提高2.87倍。
2018-06-07 cs.AI cs.CV
A Novel Boundary Matching Algorithm for Video Temporal Error Concealment
Yazd University(亚兹德大学);Sharif University of Technology(谢里夫理工大学)
随着通信网络的快速发展,来自这些网络的视频数据传输变得极其脆弱。错误隐藏是一种利用解码器正确接收的数据来估计受损数据的技术。本文提出了一种有效的边界匹配算法来估计受损运动矢量。该算法根据每帧的优先级列表对每个受损宏块进行错误隐藏。然后,它使用一个经典的边界匹配准则或建议的边界匹配准则自适应地识别匹配失真的候选MB的每个边界。最后,选择具有最小失真的候选MV作为损坏MB的MV,并且更新优先级列表。实验结果表明,该算法在不显著增加计算量的情况下,提高了重建帧的客观和主观质量。与经典的边界匹配算法、方向性边界匹配算法和方向性时间边界匹配算法相比,测试序列在某些帧中的PSNR分别提高了约4.7、4.5和4.4 dB。
2016-10-25 cs.CV cs.MM
Word2VisualVec: Image and Video to Sentence Matching by Visual Feature Prediction
Zhejiang University(浙江大学);Renmin University of China(中国人民大学);University of Amsterdam(阿姆斯特丹大学)
本文试图找到最能描述图像或视频内容的句子。不同于现有的作品,它依赖于一个联合子空间的图像/视频句子匹配,我们建议这样做的视觉空间。我们贡献了Word 2 VisualVec,这是一个深度神经网络架构,可以学习预测基于句子向量化和多层感知器的文本输入的深度视觉编码。我们深入分析了它的架构设计,通过改变句子向量化策略,网络深度和深度特征来预测图像到句子的匹配。我们还通过将预测能力扩展到3-D ConvNet特征以及视觉-音频表示,将Word 2 VisualVec推广到视频与句子的匹配。在四个具有挑战性的图像和视频基准上的实验详细介绍了Word 2 VisualVec的属性,图像和视频与句子匹配的能力,以及在所有数据集上的最先进的结果。
2016-11-25 cs.CV
VMCML: Video and Music Matching via Cross-Modality Lifting
National Tsing Hua University(国立清华大学);University of Toronto(多伦多大学)
我们提出了一个基于内容的视频和背景音乐匹配系统。该系统旨在解决新用户的音乐推荐或新的音乐给短形式的视频的挑战。为此,我们提出了一个跨模态框架VMCML,找到一个共享的嵌入空间之间的视频和音乐表示。为了确保嵌入空间可以有效地由两种表示共享,我们利用基于边缘的余弦相似性损失的CosFace损失。此外,我们建立了一个名为MSVD的大规模数据集,其中我们提供了390首单独的音乐和相应的匹配的150,000个视频。我们在Youtube-8 M和我们的MSVD数据集上进行了广泛的实验。我们的定量和定性结果表明,我们提出的框架的有效性,并实现最先进的视频和音乐匹配性能。
2023-03-22 cs.CV
Near-duplicate video detection featuring coupled temporal and perceptual visual structures and logical inference based matching
University of Lyon(里昂大学);Monash University(莫纳什大学)
我们在本文中提出了一个架构,用于接近重复的视频检测的基础上:(一)索引和查询签名为基础的结构,整合时间和感知视觉特征和(ii)一个匹配的框架计算索引和查询文档之间的逻辑推理。就索引而言,而不是在高维空间中连接低级别的视觉特征,导致维数灾难和冗余问题,我们采用了基于颜色和纹理概念的感知符号表示。对于匹配,我们建议实例化的检索模型的基础上,通过耦合的N元滑动窗口过程和理论上健全的基于格的结构的逻辑推理。我们涵盖的技术是强大的,对一般的视频编辑和/或降级不敏感,使其成为重播视频搜索的理想选择。实验进行了大量的视频数据收集的TRECVID 02,03和04收集和现实世界的视频广播记录从两个德国电视台。两个国家的最先进的动态规划技术的实证比较是令人鼓舞的,并证明了我们的方法的优势和可行性。
2020-05-15 cs.CV cs.IR cs.MM
DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation
MMLab, CUHK(香港中文大学多媒体实验室);ByteDance Inc.(字节跳动有限公司);HKUST(香港科技大学);CPII under InnoHK(香港创科旗下的人工智能与机器人创新研究院)
提出DuoMatching框架,通过联合-边缘分布匹配及LatentBridge和潜变量变化采样,提升少步视频生成的视觉质量、构图与语义对齐,人工偏好率超80%。
2026-10-05 cs.CV
Soundify: Matching Sound Effects to Video
Carnegie Mellon University(卡内基梅隆大学);Runway(Runway公司)
针对视频剪辑中音效匹配难度大的问题,本文提出Soundify系统,可自动识别匹配音效、同步音视频并生成空间音频,实验验证其在多类音效上匹配效果好,能降低剪辑师工作负荷、提升效率与可用性。
2024-06-25 cs.CV cs.HC cs.MM
Stereo Any Video: Temporally Consistent Stereo Matching
Imperial College London(伦敦帝国学院)
本文提出视频立体匹配框架 Stereo Any Video,融合单目视频深度先验、全对全对相关性和时间凸上采样,在不依赖相机位姿或光流的情况下实现空间准确且时间一致的视差估计,并在零样本多数据集上取得最先进性能。
2025-07-21 cs.CV
A Cluster-Matching-Based Method for Video Face Recognition
PUC-Rio(里约热内卢天主教大学)
人脸识别系统存在于我们日常生活中的许多现代解决方案和数千种应用中。然而,目前的解决方案不容易扩展,特别是在增加新的目标人群时。提出了一种基于聚类匹配的视频人脸识别方法。在我们的方法中,我们使用无监督学习对数据集和为人脸识别选择的目标视频中的人脸进行聚类。此外,我们设计了一个集群匹配启发式关联集群在这两个集,也能够识别当一个人的脸属于一个非注册的人。该方法在视频人脸识别中的召回率达到99.435%,准确率达到99.131%。除了执行人脸识别之外,它还可以用于确定每个人所在的视频片段。
2020-10-20 cs.AI cs.CV cs.LG
VID-WIN: Fast Video Event Matching with Query-Aware Windowing at the Edge for the Internet of Multimedia Things
National University of Ireland Galway(爱尔兰国立大学高威分校)
高效的视频处理是许多IoMT应用中检测感兴趣事件的关键组件。目前,在事件处理中已经提出了许多窗口优化技术,其基本假设是输入流具有结构化数据模型。由于缺乏任何底层结构化数据模型,视频非常复杂。视频流源(如CCTV摄像头和智能手机)是资源受限的边缘节点。同时,视频内容提取成本高昂,需要计算密集型深度神经网络(DNN)模型,这些模型主要部署在高端(或云)节点。本文介绍了VID-WIN,一种自适应的2阶段联合窗口方法,用于在边缘云范例中加速视频事件分析。VID-WIN在边缘和云节点上运行数据库,并为基于状态的复杂事件匹配执行查询和资源感知优化。VID-WIN利用视频内容和DNN输入旋钮来加速跨节点的视频推理过程。提出了一种新的基于内容驱动的微批量缓存、查询感知缓存和资源受限边缘节点下视频帧的效用过滤策略,以提高系统的整体吞吐量、延迟和网络利用率。在五个真实世界的数据集进行了广泛的评估。实验结果表明,VID-WIN视频事件匹配在保持查询级准确性和资源限制的同时,与其他基线相比,吞吐量提高了约2.3倍,延迟最小,带宽减少了约99%。
2021-04-27 cs.CV cs.DC cs.MM
A Similarity Alignment Model for Video Copy Segment Matching
WeChat of Tencent(腾讯微信);University of Science and Technology of China(中国科学技术大学)
本文提出相似性对齐模型(SAM)用于视频拷贝片段匹配,在CVPR 2023视频相似性挑战赛匹配赛道中夺冠,并在两个阶段分别比第二名提升0.108和0.144。
2023-05-25 cs.CV
Shift and matching queries for video semantic segmentation
Nagoya Institute of Technology(名古屋工业大学)
本文提出利用特征移位和查询匹配将基于查询的图像分割模型扩展至视频,以解决逐帧分割无法保持时间一致性的问题,在CityScapes-VPS和VSPW数据集上显著优于基线。
2024-10-10 cs.CV
Fast Approximate Matching of Cell-Phone Videos for Robust Background Subtraction
eBay Research Laboratory(eBay研究实验室)
我们确定了一个新的背景减除问题,重点是提取近场前景物体使用手持相机捕获的实例。给定两个用户生成的视频的场景,一个和其他没有前景对象(S),我们的目标是有效地生成一个输出视频,只有前景对象(S)存在于it.We铸造这个挑战作为一个时空帧匹配问题,并提出了一个有效的解决方案,它利用时间平滑的视频序列。我们提出了我们的方法的误差范围的理论分析,并验证我们的研究结果,使用一组详细的模拟实验。最后,我们提出了我们的方法测试结果的多个使用手持摄像机拍摄的真实视频,并将它们与几种替代的前景提取方法进行比较。
2014-04-22 cs.CV
Addressing the ID-Matching Challenge in Long Video Captioning
Shanghai Jiao Tong University(上海交通大学);Alibaba group(阿里巴巴集团)
本文提出RICE方法,利用大型视觉语言模型的内在能力,通过增强图像信息使用和个体描述信息量,将长视频字幕中的身份匹配精确率从50%提至90%,召回率从15%提至80%。
2025-10-08 cs.CV
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern(伯尔尼大学计算机视觉组)
本研究提出无监督视频实例分割方法FlowCut,通过三阶段框架构建带伪标签的数据集,在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
RPM-Net: Robust Pixel-Level Matching Networks for Self-Supervised Video Object Segmentation
KAIST(韩国科学技术院)
本文介绍了一种无需人工标记数据的自监督视频对象分割方法,具体而言,我们提出了鲁棒像素级匹配网络(RPM-Net),这是一种新的深度架构,仅使用来自未标记视频的颜色信息进行训练,匹配相邻帧之间的像素。从技术上讲,RPM-Net可以分为两个主要模块。嵌入模块首先将输入图像投影到高维嵌入空间。与以往的基于可变形卷积的方法不同,本文的匹配模块采用可变形卷积来关注时空相邻像素中的相似特征,实验结果表明,选择性特征采样提高了视频对象分割对相机抖动等挑战性问题的鲁棒性,快速运动、变形和遮挡。此外,我们在三个公共数据集(即,DAVIS-2017、SegTrack-v2和Youtube-Objects),并在自监督视频对象分割方面实现最先进的性能。此外,我们显着减少了自监督和全监督视频对象分割之间的性能差距(DAVIS-2017验证集上为41.0% vs. 52.5%)
2019-10-10 cs.CV
LSMVOS: Long-Short-Term Similarity Matching for Video Object
Nanjing University of Science and Technology(南京理工大学);School of Computer Science and Engineering(计算机科学与工程学院)
目的半监督视频对象分割是指在给定第一帧对象标签的情况下,对后续帧中的对象进行分割。现有的算法大多是基于匹配和传播策略的目标,往往利用前一帧的掩蔽或光流。本文探索了一种新的传播方法,利用短时匹配模块提取前一帧的信息并应用于传播,提出了长短期相似性匹配网络视频对象分割(LSMOVS)方法:通过在长期匹配模块和短期匹配模块之间与第一帧和前一帧进行像素级匹配和相关,获得全局相似性图和局部相似性图,以及当前帧的特征模式和前一帧的掩蔽。经过两次网络细化后,通过网络分割得到最终结果。结果如下:在DAVIS 2016和2017两个数据集上进行的实验表明,该方法在不进行在线微调的情况下,区域相似度和轮廓准确度的平均值都很好,单目标和多目标的相似度分别达到86.5%和77.4%。此外,每秒分割帧数达到21。结论:本文提出的短时匹配模块比单纯的模板匹配更有利于提取前一帧的信息。通过将长时匹配模块与短时匹配模块相结合,整个网络无需在线微调即可实现高效的视频对象分割
2020-09-02 cs.CV
VLG-Net: Video-Language Graph Matching Network for Video Grounding
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
视频中的接地语言查询旨在识别与语言查询语义相关的时间间隔(或时刻)。解决这一具有挑战性的任务需要理解视频和查询的语义内容,并对其多模态交互进行细粒度推理。我们的关键思想是将这个挑战转化为算法图匹配问题。在图神经网络最新进展的推动下,我们建议利用图卷积网络来建模视频和文本信息以及它们的语义对齐。为了实现跨模态的信息的相互交换,我们设计了一种新的视频语言图匹配网络(VLG-Net)来匹配视频和查询图。核心成分包括分别建立在视频片段和查询令牌之上的表示图,并用于建模模态内关系。采用图匹配层进行跨模态上下文建模和多模态融合。最后,通过融合时刻的丰富片段特征,使用掩蔽时刻注意力池来创建候选时刻。我们在三个广泛使用的数据集上展示了优于最先进的接地方法的性能,这些数据集用于语言查询视频中时刻的时间定位:ActivityNet-Captions,TACoS和DiDeMo。
2021-08-16 cs.CL cs.CV
A Modified Fourier-Mellin Approach for Source Device Identification on Stabilized Videos
Politecnico di Milano(米兰理工大学);University of Florence(佛罗伦萨大学);FORLAB - Multimedia Forensics Laboratory(FORLAB多媒体取证实验室)
为了确定数字视频是否已被给定设备捕获,多媒体取证工具通常利用相机传感器在所获取的帧上留下的特征噪声痕迹。该分析要求表征摄像机的噪声模式和从被分析的视频帧中提取的噪声模式在几何上对齐。然而,在许多实际场景中,这不会发生,因此必须执行重新对准或同步。目前的解决方案往往需要耗时的搜索的重新排列变换参数。在本文中,我们提出了克服这一限制,在频域中搜索缩放和旋转参数。所提出的算法测试真实视频从一个著名的国家的最先进的数据集显示出可喜的结果。
2020-05-20 cs.CV cs.MM
Learning Image Matching by Simply Watching Video
National University of Defense Technology(国防科技大学);Australian National University(澳大利亚国立大学);ARC Centre of Excellence for Robotic Vision(ARC机器人视觉卓越中心);NICTA(澳大利亚国家信息与通信技术研究院)
本文提出了一种基于无监督学习的方法来解决图像匹配中普遍存在的计算机视觉问题。我们从帧内插问题隐式地解决帧间对应的洞察开始。这允许综合分析的应用:我们首先训练并应用卷积神经网络进行帧内插,然后通过反转学习的CNN来获得对应关系。这种策略背后的关键好处是,用于帧内插的CNN可以通过利用真实世界视频序列中自然包含的时间相干性以无监督的方式进行训练。因此,本模型通过简单地观看视频来学习图像匹配。除了承诺更普遍适用,所提出的方法实现了令人惊讶的性能相比,传统的经验设计的方法。
2016-03-29 cs.CV
Video and Text Matching with Conditioned Embeddings
Tel Aviv University(特拉维夫大学);Technion(以色列理工学院);NetApp
我们提出了一种方法,从一个给定的语料库中匹配一个给定的视频剪辑的文本句子,反之亦然。传统的视频和文本匹配是通过学习一个共享的嵌入空间来完成的,并且一个模态的编码独立于另一个模态。在这项工作中,我们编码的数据集数据的方式,考虑到查询的相关信息。该方法的力量被证明是从汇集字和帧之间的交互数据。由于视频剪辑的编码取决于与其进行比较的句子,因此需要为每个潜在匹配重新计算表示。为此,我们提出了一种高效的浅层神经网络。它的训练采用分层的三元组丢失,可扩展到段落/视频匹配。该方法很简单,提供了可解释性,并在五个不同的数据集(ActivityNet,DiDeMo,YouCook 2,MSR-VTT和LSMDC)上以相当大的幅度实现了视频剪辑和视频文本的最新结果。我们还表明,我们的条件表示可以转移到视频引导的机器翻译,在那里我们改进了VATEX上的当前结果。源代码可在https://github.com/AmeenAli/VideoMatch上获得。
2021-10-21 cs.CV cs.IR
Accelerating Video Diffusion Models via Distribution Matching
Nanjing University(南京大学)
针对视频扩散模型采样步数多、计算成本高的问题,提出结合视频GAN损失与新型2D分数分布匹配损失的蒸馏框架,以AnimateDiff为教师模型,仅4步采样即可实现更优的视频生成效果。
2024-12-08 cs.CV
Reference-based Image and Video Super-Resolution via C2-Matching
Nanyang Technological University(南洋理工大学);Tencent PCG(腾讯平台与内容事业群)
基于参考的超分辨率(Ref-SR)最近已经成为通过引入附加的高分辨率(HR)参考图像来增强低分辨率(LR)输入图像或视频的有前景的范例。现有的Ref-SR方法大多依赖于隐式对应匹配从参考图像中借用HR纹理来补偿输入图像中的信息损失。然而,由于输入图像和参考图像之间的两个间隙,执行局部转移是困难的:变换间隙(例如,缩放和旋转)和分辨率间隙(例如,HR和LR)。为了应对这些挑战,我们提出了C2-Matching,它执行显式的鲁棒匹配交叉变换和分辨率。1)为了弥合变换差距,我们提出了一个对比对应网络,它使用输入图像的增强视图来学习变换鲁棒对应。2)为了解决分辨率差距,我们采用师生相关蒸馏,从更容易的HR-HR匹配中提取知识,以指导更模糊的LR-HR匹配。3)最后,我们设计了一个动态的聚合模块,以解决潜在的输入图像和参考图像之间的不对齐问题。此外,为了忠实地评估基于参考的图像超分辨率在现实环境下的性能,我们贡献了Webly参考SR(WR-SR)数据集,模仿实际使用场景。我们还将C2匹配扩展到基于参考的视频超分辨率任务,其中在相似场景中拍摄的图像用作HR参考图像。大量的实验表明,我们提出的C2-Matching显着优于标准CUFED 5基准的艺术状态,也提高了视频SR的性能,通过将C2-Matching组件到视频SR管道。
2023-03-19 cs.CV
Frame-wise Cross-modal Matching for Video Moment Retrieval
Xi’an Jiaotong University(西安交通大学);Shandong Artificial Intelligence Institute(山东人工智能研究院);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Shandong Jianzhu University(山东建筑大学)
本文提出 ACRM 模型,通过交互建模预测时间边界,引入注意力机制为语义丰富的查询词分配更高权重,并利用内部帧额外预测器提升定位精度,在 TACoS 和 Charades-STA 数据集上优于现有方法。
2021-07-22 cs.CV cs.MM
MULDE: Multiscale Log-Density Estimation via Denoising Score Matching for Video Anomaly Detection
Graz University of Technology(格拉茨工业大学)
提出一种基于去噪分数匹配的多尺度对数密度估计方法,通过神经网络对视频特征分布建模并利用多噪声尺度结合高斯混合模型进行异常检测,在五个基准上达到最先进性能。
2024-03-21 cs.CV
Match-Stereo-Videos: Bidirectional Alignment for Consistent Dynamic Stereo Matching
Imperial College London(帝国理工学院)
针对动态立体视频匹配中的时间不一致问题,提出双向对齐机制和BiDAStereo框架,通过局部三帧匹配与全局运动传播聚合,实现一致且高质量的视差估计,并在多个基准上达到最优性能。
2024-03-16 cs.CV
PMVOS: Pixel-Level Matching-Based Video Object Segmentation
Yonsei University(延世大学)
半监督视频对象分割(VOS)的目的是在提供初始帧的地面真实分割掩模的情况下分割视频中的任意目标对象。由于使用关于目标对象的先验知识的这种限制,将表示目标对象的模板特征与输入特征进行比较的特征匹配是必不可少的步骤。近年来,像素级匹配(PM),匹配模板特征和输入特征中的每个像素,已被广泛用于特征匹配,因为它的高性能。然而,尽管其有效性,用于构建模板特征的信息仅限于初始帧和先前帧。我们解决这个问题,提出了一种新的方法PM为基础的视频对象分割(PMVOS),构建强大的模板功能包含所有过去的帧的信息。此外,我们将自注意力应用于PM生成的相似性映射,以捕获全局依赖关系。在DAVIS 2016验证集上,我们在实时方法(> 30 fps)中实现了最先进的性能,J&F得分为85.6%。DAVIS 2017和YouTube-VOS验证集的表现也令人印象深刻,J&F得分分别为74.0%和68.2%。
2020-09-18 cs.CV
Neighbor Correspondence Matching for Flow-based Video Frame Synthesis
University of Science and Technology of China(中国科学技术大学);Microsoft Research China(微软亚洲研究院)
视频帧合成是视频处理中的一项重要技术,它包括内插和外推两部分,可以应用于各种场景。然而,大多数现有方法不能很好地处理小对象或大运动,特别是在高分辨率视频(例如4K视频)中。为了消除这种限制,我们引入了一个邻居对应匹配(NCM)算法,基于流的帧合成。由于当前帧在视频帧合成中不可用,因此以与当前帧无关的方式执行NCM以在每个像素的时空邻域中建立多尺度对应。基于NCM强大的运动表示能力,我们进一步提出了估计中间流的帧合成在一个异构的粗到细的计划。具体而言,粗尺度模块被设计为利用相邻对应来捕获大的运动,而细尺度模块在计算上更有效以加速估计过程。这两个模块都是逐步训练的,以消除训练数据集和真实世界视频之间的分辨率差距。实验结果表明,NCM在几个基准测试中达到了最先进的性能。此外,NCM还可以应用于各种实际场景,如视频压缩,以获得更好的性能。
2022-07-14 cs.CV
Few-Shot Referring Video Single- and Multi-Object Segmentation via Cross-Modal Affinity with Instance Sequence Matching
School of Computer Science and Technology, Anhui University of Technology(安徽工业大学计算机科学与技术学院);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
提出少样本指代视频分割模型FS-RVOS,通过跨模态亲和力与实例序列匹配实现单/多目标分割,在多个基准上超越现有方法。
2025-04-18 cs.CV
CoCo-BERT: Improving Video-Language Pre-training with Contrastive Cross-modal Matching and Denoising
Sun Yat-sen University(中山大学);The Key Laboratory of Machine Intelligence and Advanced Computing (Sun Yat-sen University), Ministry of Education(机器智能与先进计算教育部重点实验室(中山大学));JD AI Research(京东人工智能研究院)
BERT型结构导致了视觉语言预训练的革命,并在许多视觉语言下游任务上取得了最先进的结果。现有的解决方案主要利用具有掩码令牌的多模态输入来触发基于掩码的代理预训练任务(例如,掩蔽语言建模和掩蔽对象/帧预测)。在这项工作中,我们认为,这种掩盖的输入将不可避免地引入噪声的跨模态匹配代理任务,从而离开固有的视觉语言关联未被探索。作为替代方案,我们推导出用于视频语言预训练的特定形式的跨模态代理目标,即,对比跨模态匹配和去噪(CoCo)。通过将掩蔽帧/字序列视为主要未掩蔽帧/字序列的噪声增强,CoCo通过以对比的方式同时追求掩蔽和未掩蔽输入之间的模态间匹配和模态内去噪来加强视频-语言关联。我们的CoCo代理目标可以进一步集成到任何BERT类型的编码器-解码器结构中,用于视频语言预训练,称为对比跨模态BERT(CoCo-BERT)。我们在TV数据集和新收集的大规模GIF视频数据集(ACTION)上预训练CoCo-BERT。通过对广泛的下游任务(例如,跨模态检索、视频问答和视频描述),我们证明了CoCo-BERT作为预训练结构的优越性。
2021-12-14 cs.AI cs.CL cs.CV
SignMatch: Matching Dictionary Signs to Continuous Sign Language Video
University of Oxford(牛津大学);École des Ponts, IP Paris, Univ Gustave Eiffel, CNRS(巴黎路桥学院、巴黎理工学院、古斯塔夫·埃菲尔大学、法国国家科学研究中心)
本文提出SignMatch方法,通过学习原型结构的手语嵌入空间,实现词典手语与连续手语的匹配,在多数据集、任务及手语间泛化能力强,且优于现有方法。
2026-09-03 cs.CV
VideoMatch: Matching based Video Object Segmentation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Virginia Tech(弗吉尼亚理工大学)
视频对象分割在视频分析的各种应用中是具有挑战性的,但也是重要的。最近的作品将视频对象分割作为一项预测任务,使用深度网络来实现吸引人的最先进性能。由于作为预测任务的公式化,这些方法中的大多数需要在测试时间期间进行微调,使得深度网络记住给定视频中感兴趣对象的外观。然而,微调是耗时和计算昂贵的,因此算法是远离实时的。为了解决这个问题,我们开发了一种新的基于匹配的视频对象分割算法。与基于记忆的分类技术相比,所提出的方法学习将提取的特征与提供的模板相匹配,而无需记忆对象的外观。我们在具有挑战性的DAVIS-16,DAVIS-17,Youtube-Objects和JumpCut数据集上验证了所提出方法的有效性和鲁棒性。大量的结果表明,我们的方法实现了相当的性能,而无需微调,是更有利的计算时间。
2018-09-04 cs.CV cs.LG
Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
视频对象分割(VOS)是视频对象跟踪的最高层次,已经取得了重大进展。虽然VOS任务可以自然地解耦为图像语义分割和视频对象跟踪,但在分割方面的研究工作要比跟踪多得多。在本文中,我们引入“跟踪检测”到VOS可以连贯地集成分割跟踪,提出了一种新的时间聚合网络和一种新的动态时间演化模板匹配机制,以实现显着提高性能。值得注意的是,我们的方法是完全在线的,因此适合一次性学习,我们的端到端可训练模型允许在一次向前传递中进行多个对象分割。我们在DAVIS基准测试中实现了最先进的性能,在速度和准确性方面都没有复杂的花里胡哨,每帧速度为0.14秒,J&F测量值分别为75.9%。
2020-07-11 cs.CV
Learning Local Descriptors by Optimizing the Keypoint-Correspondence Criterion: Applications to Face Matching, Learning from Unlabeled Videos and 3D-Shape Retrieval
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院);Linköping University(林雪平大学)
当前最佳局部描述符是在匹配和非匹配关键点对的大型数据集上学习的。然而,这种类型的数据并不总是可用的,因为详细的关键点对应关系可能难以建立。另一方面,我们通常可以获得关键点包对的标签。例如,从同一对象在不同视图下的两个图像中提取的关键点包形成匹配对,而从不同对象的图像中提取的关键点包形成非匹配对。平均而言,匹配对应该比非匹配对包含更多的对应关键点。我们描述了一个端到端的可区分的架构,使学习的本地关键点描述符从这样的弱标记的数据。此外,我们还讨论了如何通过引入挖掘硬否定的过程来改进该方法。我们还展示了如何使用我们的方法从未标记的视频信号和3D模型中学习卷积特征。我们的实现可以在www.example.com上获得
2019-05-07 cs.CV
Activity recognition from videos with parallel hypergraph matching on GPUs
Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);INSA-Lyon(里昂国立应用科学学院);Boğaziçi University(海峡大学)
本文提出了一种基于稀疏局部特征和超图匹配的视频活动识别方法。我们受益于特殊属性的时间域中的数据,以获得一个连续的和快速的图形匹配算法的GPU。传统上,在计算机视觉中,通过图匹配或与图的点集匹配,经常使用图和超图来识别复杂且通常非刚性的模式。大多数公式诉诸于一个困难的离散能量函数的最小化混合几何或结构的条款与数据附加条款涉及外观特征。传统的方法近似地解决了这个最小化问题,例如使用谱技术。在这项工作中,而不是近似地解决问题,最佳分配的精确解是在GPU上并行计算的。的图形结构进行了简化和正则化,这使得能够得到一个有效的递归最小化算法。该算法将子问题分布在GPU的计算单元上,并行解决它们,使系统在中端GPU上的运行速度比实时更快。
2015-05-04 cs.CV
Compound Prototype Matching for Few-shot Action Recognition
Institute of Industrial Science, the University of Tokyo(东京大学生产技术研究所)
本文提出一种少样本动作识别方法,通过构建全局与聚焦原型组成的复合原型,并采用直接匹配与二分匹配比较视频相似性,在多个基准上取得最优结果。
2023-10-14 cs.CV
Enhanced Correlation Matching based Video Frame Interpolation
Samsung Research(三星研究院)
我们提出了一种新的基于DNN的框架,称为基于增强相关匹配的视频帧插值网络,以支持高分辨率,如4K,它具有大规模的运动和遮挡。考虑到网络模型根据分辨率的可扩展性,该方案采用递归金字塔结构,在每个金字塔层之间共享参数用于光流估计。在建议的流量估计,光流递归细化跟踪的位置与最大的相关性。基于前向扭曲的相关匹配能够通过排除遮挡区域周围的不正确扭曲特征来提高流更新的准确性。基于最终的双向流,在任意时间位置的中间帧合成使用的扭曲和混合网络,它是进一步改进的细化网络。实验结果表明,该方法在4K视频数据和低分辨率基准数据集上,以最少的模型参数,在客观质量和主观质量方面都优于已有方法。
2021-11-17 cs.CV
DMM-Net: Differentiable Mask-Matching Network for Video Object Segmentation
University of Toronto(多伦多大学);Vector Institute(向量研究所);Uber ATG Toronto(优步先进技术集团多伦多分部);NVIDIA(英伟达);Canadian Institute for Advanced Research(加拿大高级研究所)
在本文中,我们提出了可微掩模匹配网络(DMM-Net)解决视频对象分割问题的初始对象掩模。依赖于Mask R-CNN主干,我们提取每帧的掩码建议,并将对象模板和建议之间的匹配在一个时间步长上公式化为线性分配问题,其中成本矩阵由CNN预测。我们提出了一个微分匹配层展开投影梯度下降算法,其中投影利用Dykstra的算法。我们证明,在温和的条件下,匹配是保证收敛到最佳。在实践中,它在推理过程中的表现与匈牙利算法相似。同时,我们可以通过它反向传播来学习成本矩阵。匹配后,利用细化头来提高匹配掩模的质量。我们的DMM-Net在最大的视频对象分割数据集YouTube-VOS上取得了有竞争力的结果。在DAVIS 2017上,DMM-Net在第一帧上没有在线学习的情况下实现了最佳性能。在没有任何微调的情况下,DMM-Net在SegTrack v2数据集上执行最先进的方法。最后,我们的匹配层实现起来非常简单;我们在补充材料中附加了PyTorch代码($<50$行)。我们的代码发布在https://github.com/ZENGXH/DMM_Net。
2019-09-27 cs.CV
LiVOS: Light Video Object Segmentation with Gated Linear Matching
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft(微软公司)
针对STM网络在长视频和高分辨率下内存开销大的问题,提出LiVOS轻量记忆网络,采用门控线性匹配降低复杂度,在MOSE和DAVIS上超越非STM方法,并节省53%GPU内存。
2024-11-05 cs.CV
FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching
KAIST(韩国科学技术院);Amazon(亚马逊)
本文提出了一种新的推理时长视频生成方法,通过流形约束的Tweedie匹配在重叠滑动窗口中生成长视频,同时保持时间和空间一致性,并且无需额外训练。
2026-05-20 cs.CV
Language-Guided Self-Supervised Video Summarization Using Text Semantic Matching Considering the Diversity of the Video
The University of Tokyo(东京大学)
提出一种自监督视频摘要方法,利用LLMs将视频帧描述转化为文本摘要,并通过语义匹配和多样性损失优化,在SumMe数据集上达到最先进性能,支持个性化摘要。
2024-08-20 cs.CV
Video Individual Counting With Implicit One-to-Many Matching
National Key Laboratory of Multispectral Information Intelligent Processing Technology School of AIA, Huazhong University of Science
针对现有视频个体计数一对一匹配易受外观变化、检测缺失影响的问题,提出带隐式上下文生成器和一对多成对匹配器的OMAN模型,在两个基准上取得SOTA性能。
2025-06-16 cs.CV
MobileCodec: Neural Inter-frame Video Compression on Mobile Devices
Qualcomm AI Research(高通人工智能研究院)
由于深度网络的计算复杂性和功率受限的移动硬件,在移动设备上实现神经视频编解码器的潜力是一项巨大的技术挑战。我们充分利用高通公司的技术和创新,填补了从基于神经网络的编解码器模拟(运行于壁式工作站上)到在采用Snapdragon技术的移动终端上实时运行的空白,从而证明了这一技术的实际可行性。我们展示了有史以来第一个在商用手机上运行的帧间神经视频解码器,实时解码高清视频,同时保持低比特率和高视觉质量。
2022-07-18 cs.CV cs.MM eess.IV
Unsupervised Human Action Detection by Action Matching
The Australian National University(澳大利亚国立大学);Queensland University of Technology(昆士兰科技大学)
我们提出了一个新的任务,无监督的动作检测动作匹配。给定两个长视频,目标是在时间上检测所有匹配视频片段对。如果一对视频片段共享相同的人类动作,则它们被匹配。该任务是独立于类别的-它与正在执行的操作无关-并且没有监督用于发现这样的视频片段。通过动作匹配进行的无监督动作检测允许我们以有意义的方式对齐视频。因此,它可以用于发现新的动作类别,或者作为动作检测管道内的动作建议技术。此外,这是用于生成视频精彩部分的有用的预处理步骤,例如,从体育视频。我们提出了一个有效的和高效的方法,无监督的动作检测。我们使用一个无监督的时间编码方法,并利用人类行动的时间一致性,以获得候选动作片段。我们使用三个活动识别基准来评估我们的方法,即MPII烹饪活动数据集,THUMOS 15动作检测基准和一个名为IKEA数据集的新数据集。在MPII Cooking数据集上,我们在946个长视频对和5000多个地面真实动作片段中检测到精确度为21.6%的动作片段,召回率为11.7%。同样,在THUMOS数据集上,我们在5094个地面真实动作片段对上获得了18.4%的准确率和25.1%的召回率。
2017-05-16 cs.CV
Keypoint Encoding for Improved Feature Extraction from Compressed Video at Low Bitrates
Technische Universität München(慕尼黑工业大学)
在许多移动视觉分析应用中,压缩视频通过通信网络传输并由服务器分析。在服务器处执行的典型处理步骤包括关键点检测、描述符计算和特征匹配。视频压缩已被证明对特征匹配性能具有不利影响。通过使用从未压缩视频提取的关键点来计算来自压缩视频的描述符,可以减少压缩的负面影响。基于这种观察,我们建议将这些关键点作为边信息提供给服务器,并仅从压缩视频中提取描述符。首先,我们介绍了四种不同的帧类型的关键点编码,以解决不同类型的视频内容的变化。这些帧类型表示新场景、相同场景、缓慢变化场景或快速移动场景,并且通过比较连续视频帧之间的特征来确定。然后,我们提出了帧内,跳过和帧间模式的编码的关键点为不同的帧类型。例如,使用帧内模式对新场景的关键点进行编码,并且跳过未更改场景的关键点。结果,与关键点编码相关的边信息的比特率显著降低。最后,我们提出了成对匹配和图像检索实验进行评估所提出的方法使用斯坦福移动增强现实数据集和720 p格式的视频的性能。实验结果表明,该方法在给定的比特率下,显著提高了特征匹配和图像检索的性能。
2016-03-04 cs.CV cs.IR cs.MM
SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models
Tsinghua University(清华大学);Bosch (China) Investment Ltd.(博世(中国)投资有限公司);University of Chinese Academy of Sciences(中国科学院大学)
SymRegFlow提出对称正则化流匹配框架,通过几何扭曲与双锚点监督实现连续视点多视图一致视频生成,无需新视图RGB监督,在nuScenes上FVD降低超31%。
2026-10-05 cs.CV
Text-Adaptive Multiple Visual Prototype Matching for Video-Text Retrieval
Sun Yat-sen University(中山大学);HKUST (Guangzhou)(香港科技大学(广州));Tencent Youtu Lab(腾讯优图实验室);Zhejiang University(浙江大学)
随着视频在网络上的迅速出现,视频和文本之间的跨模态检索得到了越来越多的研究兴趣。通常,视频包含丰富的实例和事件信息,并且查询文本仅描述部分信息。因此,视频可以对应于多个不同的文本描述和查询。我们称这种现象为“视频-文本对应歧义”问题。当前的技术主要集中于挖掘视频内容和文本之间的局部或多级对齐(\textit{e.g.},对象到实体和动作到动词)。这些方法很难通过仅使用单个特征来描述视频来减轻视频-文本对应的歧义,这需要同时与多个不同的文本特征进行匹配。为了解决这个问题,我们提出了一个文本自适应多视觉原型匹配模型,自动捕获多个原型来描述一个视频的自适应聚合的视频令牌功能。给定一个查询文本,通过最相似的原型来确定相似度,以找到视频中的对应关系,这被称为文本自适应匹配。为了学习不同的原型来表示视频中的丰富信息,我们提出了一个方差损失,以鼓励不同的原型参加不同的视频内容。我们的方法在四个公共视频检索数据集上的性能优于最先进的方法。
2022-09-27 cs.CL cs.CV cs.IR
Top-push Video-based Person Re-identification
Sun Yat-sen University(中山大学);Guangdong Provincial Key Laboratory of Computational Science(广东省计算科学重点实验室)
大多数现有的人重新识别(re-id)模型专注于在不相交的相机视图之间匹配静止的人图像。由于只有有限的信息可以利用从静止图像,这是很难(如果不是不可能的话),以克服闭塞,姿势和相机视图的变化,以及照明变化的问题。相比之下,基于视频的re-id方法可以利用额外的时空信息,其中包含更丰富的匹配线索,以克服上述问题。然而,我们发现,当使用基于视频的表示,一些类间的差异可以更模糊时,使用基于静止图像的表示,因为不同的人不仅可以有相似的外观,但也有相似的运动和动作,这是很难对齐。为了解决这个问题,我们提出了一个顶推远程学习模型(TDL),其中我们集成了顶推约束匹配视频特征的人。顶推约束对re-id中的顶秩匹配进行了优化,从而使匹配模型更有效地选择更具鉴别力的特征来区分不同的人。我们的实验表明,提出的基于视频的re-id框架优于最先进的基于视频的re-id方法。
2016-07-07 cs.CV