TC-PDM: Temporally Consistent Patch Diffusion Models for Infrared-to-Visible Video Translation
Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Safran Electronics and Defense Australasia(赛峰电子与防务澳大拉西亚分公司);Department of Data Science and Artificial Intelligence, Monash University(莫纳什大学数据科学与人工智能系)
本文提出TC-PDM扩散方法,通过语义引导去噪和时间混合模块,实现红外到可见光视频转换,在FVD和AP50指标上显著优于现有方法。
2024-08-26 cs.CV
Ms. Forcing: Efficient Streaming Video Generation with Multi-Scale Patchification and Attention
Brown University(布朗大学);Massachusetts Institute of Technology(麻省理工学院);Meta
研究针对流视频生成中传统方法的不足,提出Ms. Forcing范式,通过多尺度分块和注意力调整空间粒度,引入均匀噪声水平DMD减少不匹配,该方法提升了效率,在单个H200 GPU上性能显著优于Rolling Forcing。
2026-07-24 cs.CV
Zero-Shot Video Translation via Token Warping
School of Computer Science and Engineering at South China University of Technology(华南理工大学计算机科学与工程学院);School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)智能科学与工程学院);School of Computing and Information Systems, Singapore Management University(新加坡管理学院计算机与信息系)
本文提出TokenWarping框架,通过光流扭曲提升视频翻译的时间一致性与质量。
2025-11-25 cs.CV
Patch-based Object-centric Transformers for Efficient Video Generation
UC Berkeley(加州大学伯克利分校);Panasonic(松下)
在这项工作中,我们提出了基于补丁的以对象为中心的视频Transformer(POVT),一种新的基于区域的视频生成架构,利用以对象为中心的信息,有效地模拟视频中的时间动态。我们建立在以前的工作,通过自回归Transformer在压缩视频的离散潜在空间的视频预测,与添加修改模型对象为中心的信息,通过边界框。由于以对象为中心的表示具有更好的可压缩性,我们可以通过允许模型仅访问对象信息以获取更长时间范围的时间信息来提高训练效率。当在各种困难的以对象为中心的数据集上进行评估时,我们的方法与其他视频生成模型相比具有更好或相同的性能,同时保持计算上更高效和可扩展性。此外,我们表明,我们的方法是能够执行以对象为中心的可控性,通过限界框操纵,这可能有助于下游任务,如视频编辑,或视觉规划。样品可在https://sites.google.com/view/povt-public上获得
2022-06-19 cs.CV cs.LG
MovieBench: A Hierarchical Movie Level Dataset for Long Video Generation
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
MovieBench提出分层电影级数据集,提供多场景连贯叙事与角色一致性视频,用于长视频生成模型的评估与训练,推动领域发展。
2025-03-31 cs.CV
Exploiting Images for Video Recognition with Hierarchical Generative Adversarial Networks
Beijing Institute of Technology(北京理工大学);Big Data Research Center, University of Electronic Science and Technology of China(电子科技大学大数据研究中心)
现有的视频识别深度学习方法通常需要大量标记的视频进行训练。但对于一个新的任务,视频往往是无标签的,注释它们也是耗时耗力的。我们尝试利用现有的完全标记的图像来帮助识别这些视频,而不是人工注释。然而,由于域转移和异构特征表示的问题,在图像上训练的分类器的性能可能会显着降低视频识别任务。在本文中,我们提出了一种新的方法,称为分层生成对抗网络(HiGAN),以增强视频中的识别(即,目标域)通过从图像转移知识(即,源域)。HiGAN模型由\emph{low-level}条件GAN和\emph{high-level}条件GAN组成。通过利用这些两级对抗学习,我们的方法能够学习源图像和目标视频的域不变特征表示。在UCF 101和HMDB 51两个视频识别数据集上的实验结果表明,与现有的领域自适应方法相比,该方法是有效的.
2018-05-11 cs.CV
McSc: Motion-Corrective Preference Alignment for Video Generation with Self-Critic Hierarchical Reasoning
Tongyi Lab, Alibaba Group(阿里集团通义实验室)
McSc通过自批评分层推理框架,提升视频生成中对人类偏好的对齐精度,减少对低运动内容的偏见。
2025-11-28 cs.CV
Efficient training for future video generation based on hierarchical disentangled representation of latent variables
The University of Tokyo(东京大学);RIKEN(理化学研究所)
生成预测给定序列的未来的视频近年来一直是活跃的研究领域。然而,一个根本的问题仍然没有解决:大多数方法需要大量的计算成本和内存使用的训练。在本文中,我们提出了一种新的方法,用于生成未来的预测视频,比传统的方法占用更少的内存。这是生成高图像质量视频的关键垫脚石,类似于图像生成领域最新作品中生成的图像。我们通过在两个阶段训练我们的方法来实现高效率:(1)图像重建将视频帧编码为潜变量,以及(2)潜变量预测生成未来序列。我们的方法实现了一个有效的压缩视频到低维的潜变量分解的每一帧,根据其层次结构。也就是说,我们认为,视频可以分为背景和前景对象,每个对象持有时变和时间无关的信息独立。我们的实验表明,该方法可以有效地生成未来的预测视频,即使是复杂的数据集,不能处理以前的方法。
2021-06-08 cs.CV
Interactive Video Stylization Using Few-Shot Patch-Based Training
Czech Technical University in Prague(捷克布拉格技术大学);Snap Inc.(Snap公司)
在本文中,我们提出了一种基于学习的方法,基于关键帧的视频风格化,允许艺术家传播的风格从几个选定的关键帧到序列的其余部分。它的主要优点是所得到的风格化在语义上是有意义的,即,根据艺术家的意图,将运动物体的特定部分风格化。与以前的风格转换技术相比,我们的方法不需要任何冗长的预训练过程,也不需要大型训练数据集。我们演示了如何从零开始训练一个外观翻译网络,只使用几个程式化的样本,同时隐式地保持时间的一致性。这就产生了一个视频风格化框架,它支持实时推理、并行处理和对任意输出帧的随机访问。它还可以合并来自多个关键帧的内容,而无需执行显式混合操作。我们展示了它在各种交互式场景中的实际效用,用户在选定的关键帧上绘制,并将其风格转移到现有的录制序列或实时视频流中。
2020-04-29 cs.CV cs.GR
Temporally coherent video anonymization through GAN inpainting
Audi AG(奥迪股份公司);Technische Hochschule Ingolstadt(因戈尔施塔特应用技术大学)
这项工作解决了自然视频流中的时间相干人脸匿名化问题。我们提出了JaGAN,一个两阶段的系统,首先在视频的所有单独帧中检测和屏蔽带有黑色图像块的人脸。第二阶段利用隐私保护的视频生成对抗网络,旨在用人工生成的人脸修补丢失的图像补丁。我们的初步实验表明,基于图像的生成模型是不能够修复补丁显示时间连贯的外观在相邻的视频帧。为了解决这个问题,我们介绍了一个新策划的视频集合,这是公开提供给研究界随着本文。我们还介绍了身份不变分数IdI作为一种手段来量化相邻帧之间的时间相干性。
2021-06-04 cs.AI cs.CV cs.LG
LogoStyleFool: Vitiating Video Recognition Systems via Logo Style Transfer
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Fan Gongxiu Honors College, Beijing University of Technology(北京工业大学樊恭烋荣誉学院);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
本文提出LogoStyleFool,一种在黑盒视频识别场景下通过区域标志风格迁移与强化学习加扰动优化实现高效且语义保持的攻击框架,性能优于现有补丁攻击并具备一定抗防御能力。
2024-04-01 cs.CR cs.CV
PatchVSR: Breaking Video Diffusion Resolution Limits with Patch-wise Video Super-Resolution
Tsinghua University(清华大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);Beijing Institute of Technology(北京理工大学)
针对现有视频超分辨率方法计算密集、输出分辨率固定的问题,提出集成双流适配器与位置注入的PatchVSR逐块VSR方法,结合多块联合调制,可基于低分辨率基础模型高效实现高竞争力的4K VSR。
2025-09-30 cs.CV
Patch-VQ: 'Patching Up' the Video Quality Problem
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI(脸书人工智能研究院)
无参考感知视频质量评估是社交媒体和流媒体应用中一个复杂而又尚未解决的重要问题。需要高效准确的视频质量预测器来监控和指导数十亿共享的、通常不完美的用户生成内容(UGC)的处理。不幸的是,目前的NR模型在对真实世界的“野外”UGC视频数据的预测能力方面受到限制。为了推进这个问题的进展,我们创建了最大的(到目前为止)主观视频质量数据集,包含39,000个真实世界的失真视频和117,000个时空局部视频补丁(“v-patches”),以及550万个人类感知质量注释。利用这一点,我们创建了两个独特的NR-VQA模型:(a)一个基于局部到全局区域的NR VQA架构(称为PVQ),可以学习预测全局视频质量,并在3个UGC数据集上实现最先进的性能,以及(b)一个首创的时空视频质量映射引擎(称为PVQ Mapper),可以帮助定位和可视化空间和时间上的感知失真。我们将在审查过程结束后立即提供新的数据库和预测模型。
2022-02-25 cs.CV
Patch Craft: Video Denoising by Deep Modeling and Patch Matching
The Technion(以色列理工学院);Google Research(谷歌研究院)
自然图像的非局部自相似特性已被广泛地用于解决各种图像处理问题。当涉及到视频序列时,由于时间冗余,利用这种力量甚至更有益。在图像和视频去噪的背景下,许多面向经典的算法采用自相似性,将数据分成重叠的补丁,收集相似的数据组并以某种方式将它们处理在一起。随着卷积神经网络(CNN)的出现,基于补丁的框架已经被抛弃。大多数CNN去噪器对整个图像进行操作,仅通过使用大的接收场来隐式地利用非局部关系。这项工作提出了一种新的方法,用于在视频去噪的背景下利用自相似性,同时仍然依赖于常规的卷积架构。我们介绍了一个概念的补丁工艺帧-人工帧,是类似于真正的,建立平铺匹配补丁。我们的算法用补丁工艺帧来增强视频序列,并将它们馈送到CNN。我们证明了所提出的方法获得的去噪性能的大幅提升。
2021-10-30 cs.CV
Patch-based Face Recognition using a Hierarchical Multi-label Matcher
Computational Biomedicine Lab(计算生物医学实验室)
本文提出了一种分层多标签匹配器,用于基于块的人脸识别。在签名生成中,人脸图像被迭代地划分为多层次的补丁。分别针对二维人脸图像和纹理提升图像引入了两种不同类型的面片划分和签名。匹配器训练包括三个步骤。首先,建立局部分类器来学习每个补丁的局部匹配。其次,局部补丁之间定义的层次关系被用来学习每个补丁的全局匹配。介绍了三种学习全局匹配的方法:多数表决、l1正则化加权和决策规则。最后,将不同层次的全局匹配组合起来作为最终匹配。不同人脸识别任务的实验结果表明,所提出的匹配器的有效性,在画廊泛化的成本。与UR 2D系统相比,该匹配器在UHDB 31数据集和IJB-A数据集上的Rank-1准确率分别提高了3%和0.18%。
2018-04-03 cs.CV
EPS: Efficient Patch Sampling for Video Overfitting in Deep Super-Resolution Model Training
Christian Doppler Laboratory ATHENA(Christian Doppler实验室ATHENA);Alpen-Adria-Universität Klagenfurt(阿尔卑斯-亚德里亚大学克雷格福特);College of Information and Communication Engineering(信息与通信工程学院)
本文提出EPS方法,通过低复杂度的DCT基空间-时间特征评估补丁复杂度,分类并选择高信息补丁,减少75%训练补丁数量,提升训练效率82.1倍。
2026-04-21 cs.CV
Video Patch Pruning: Efficient Video Instance Segmentation via Early Token Reduction
本文提出VPP框架,利用时间先验知识实现早期ViT层的高效稀疏性,实现高达60%的补丁减少,在密集预测任务中超越传统图像基补丁剪枝方法,保持在补丁使用低于55%时的稳定性能。
2026-04-01 cs.CV
PS-NeRV: Patch-wise Stylized Neural Representations for Videos
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Laboratory(上海人工智能实验室)
我们研究了如何用隐式神经表征(INR)来表示视频。经典的INR方法通常利用MLP将输入坐标映射到输出像素。而最近的一些工作试图直接用CNN重建整个图像。然而,我们认为,上述像素明智和图像明智的策略都不利于视频数据。相反,我们提出了一个补丁式的解决方案,PS-NeRV,它表示视频作为补丁和相应的补丁坐标的函数。它自然继承了图像方式的优点,并实现了良好的重建性能与快速解码速度。整个方法包括传统的模块,如位置嵌入,MLP和CNN,同时还引入AdaIN来增强中间特征。这些简单而重要的变化可以帮助网络轻松适应高频细节。大量的实验已经证明了它的有效性,在几个视频相关的任务,如视频压缩和视频修复。
2022-08-07 cs.CV
Learning a distance function with a Siamese network to localize anomalies in videos
North Carolina State University(北卡罗来纳州立大学);Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室(MERL))
这项工作介绍了一种新的方法来定位监控视频中的异常。主要的新颖性是使用暹罗卷积神经网络(CNN)来学习一对视频补丁(视频的时空区域)之间的距离函数的想法。学习距离函数不特定于目标视频,用于测量测试视频中的每个视频块与正常训练视频中找到的视频块之间的距离。如果测试视频补丁与任何正常视频补丁都不相似,则它一定是异常的。我们使用4个评估指标和3个具有挑战性的目标基准数据集将我们的方法与以前发表的算法进行比较。实验表明,我们的方法要么超越或执行目前的国家最先进的方法。
2020-01-24 cs.CV
Efficient Decision-based Black-box Patch Attacks on Video Recognition
Fudan University(复旦大学);vivo Mobile Communication Co., Ltd.(维沃移动通信有限公司)
本研究针对视频模型基于决策的对抗补丁攻击研究空白,提出时空差分进化STDE框架,通过自适应关键帧加补丁、时空变异交叉优化,实现了高效高隐蔽性的最优攻击,可用于视频模型鲁棒性评估。
2023-08-28 cs.CV
Patch Spatio-Temporal Relation Prediction for Video Anomaly Detection
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);School of Mechanical Engineering, Guizhou University(贵州大学机械工程学院)
本文提出一种基于块间时空关系预测的自监督视频异常检测方法,通过双分支视觉Transformer分别建模外观与运动,将顺序预测转为多标签学习、相似性预测转为距离矩阵回归,在三个公开基准上显著超越现有方法。
2024-03-28 cs.CV
Structure-Preserving Patch Decoding for Efficient Neural Video Representation
Graduate School of FSE, Waseda University Tokyo, Japan(FSE研究生院,早稻田大学东京,日本)
针对隐式神经表示在视频重建中高频细节受限和分块边界不连续的问题,提出基于保结构块(SPPs)的神经视频表示方法,通过确定性像素拆分实现全局到局部的解码,显著提升了重建质量与压缩性能。
2025-06-26 cs.CV
Block Compressive Sensing of Image and Video with Nonlocal Lagrangian Multiplier and Patch-based Sparse Representation
Sungkyunkwan University(成均馆大学);Linköping University(林雪平大学);University of Münster(明斯特大学)
虽然块压缩感知(BCS)使其易于感知大尺寸的图像和视频,其恢复性能尚未显着提高,因为其恢复的图像或视频通常遭受模糊的边缘,细节丢失,和高频振荡伪影,特别是在低子速率。本文通过设计一种改进的全变分技术来解决这些问题,该技术采用多块梯度处理,去噪拉格朗日乘子和基于补丁的稀疏表示。在视频的情况下,所提出的恢复方法是能够利用空间和时间的相似性。仿真结果证实了所提出的方法的压缩感知的图像和视频的客观和主观质量方面的改进性能。
2017-03-15 cs.CV
Unsupervised Visual Representation Learning by Tracking Patches in Video
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
受人类眼睛在儿童早期和中期继续发展跟踪能力这一事实的启发,我们建议使用跟踪作为计算机视觉系统学习视觉表示的代理任务。以孩子们玩的Catch游戏为模型,我们为3D-CNN模型设计了一个Catch-the-Patch(CtP)游戏,以学习有助于视频相关任务的视觉表示。在所提出的预训练框架中,我们从给定的视频中剪切一个图像块,并让它根据预设的轨迹进行缩放和移动。代理任务是在第一帧中仅给定目标限界框的情况下,估计图像块在视频帧序列中的位置和大小。我们发现,同时使用多个图像补丁带来了明显的好处。我们通过随机使补丁不可见来进一步增加游戏的难度。在主流基准测试上的大量实验证明了CtP相对于其他视频预训练方法的优越性能。此外,CTP预训练的特征对域间隙的敏感性低于由监督动作识别任务训练的特征。当两者都在Kinetics-400上训练时,我们惊喜地发现,Ctp预训练的表示比Something-Something数据集上完全监督的表示实现了更高的动作分类准确率。代码可在线获取:www.example.com。
2021-05-06 cs.CV
HIPA: Hierarchical Patch Transformer for Single Image Super Resolution
Ocean University of China(中国海洋大学);University of Manitoba(曼尼托巴大学);Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学);University of Alberta(阿尔伯塔大学);University of Science and Technology of China(中国科学技术大学)
HIPA提出一种分层补丁Transformer,通过级联多阶段处理逐步恢复高分辨率图像,并引入注意力位置编码与多感受野模块,在SISR任务上取得优于现有方法的性能。
2023-06-07 cs.CV
Fast Deep Multi-patch Hierarchical Network for Nonhomogeneous Image Dehazing
Jadavpur University(贾达普大学);IIT Madras(印度理工学院马德拉斯分校)
最近,基于CNN的端到端深度学习方法在图像去雾方面取得了优势,但它们在非均匀去雾方面往往严重失败。除此之外,现有流行的多尺度方法是运行时密集型和内存效率低下的。在这种情况下,我们提出了一种快速深度多补丁分层网络,通过聚合来自模糊图像不同空间部分的多个图像补丁的特征,以较少的网络参数来恢复非同质模糊图像。我们所提出的方法对于场景中具有不同密度的薄雾或雾的不同环境是非常鲁棒的,并且非常轻量级,因为模型的总大小约为21.7 MB。与当前的多尺度方法相比,它还提供了更快的运行时间,平均运行时间为0.0145秒,可处理1200 x 1600 HD质量图像。最后,我们展示了该网络在消除浓雾方面优于其他最先进的模型。
2020-05-12 cs.CV
Deep Stacked Hierarchical Multi-patch Network for Image Deblurring
Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/联邦科学与工业研究组织);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Northwestern Polytechnical University(西北工业大学)
尽管深度端到端学习方法在去除非均匀运动模糊方面表现出了优越性,但当前的多尺度和尺度递归模型仍然存在主要挑战:1)粗到细方案中的反卷积/上采样操作导致昂贵的运行时间; 2)简单地增加模型深度和更精细的尺度级别无法提高去模糊的质量。为了解决上述问题,我们提出了一个深层次的多补丁网络的灵感来自空间金字塔匹配处理模糊图像通过精细到粗糙的层次表示。为了解决w.r.t.深度,我们提出了我们的多补丁模型的堆叠版本。我们提出的基本多补丁模型在GoPro数据集上实现了最先进的性能,同时与当前的多尺度方法相比,运行时间快了40倍。在30 ms内处理1280 x720分辨率的图像,这是第一个以30 fps处理720 p图像的实时深度运动去模糊模型。对于堆叠网络,通过增加网络深度,在GoPro数据集上实现了显着改进(超过1.2dB)。此外,通过改变堆叠模型的深度,可以针对不同的应用场景调整同一网络的性能和运行时间。
2019-04-06 cs.CV
Patchwork: A Patch-wise Attention Network for Efficient Object Detection and Segmentation in Video Streams
Waymo LLC(Waymo有限责任公司);Google Inc.(谷歌公司)
单帧目标检测和分割技术的最新进展已经激发了广泛的工作来扩展这些方法以处理视频流。在本文中,我们探讨了针对延迟敏感的应用程序的硬注意的想法。我们的方法选择并只处理帧的一个小的子窗口,而不是单独地对每个帧进行推理。然后,我们的技术根据先前帧的子窗口和当前子窗口的更新对全帧进行预测。这种硬注意力机制的延迟减少是以降低准确性为代价的。我们为解决这一问题做出了两项贡献。首先,我们提出了一个专门的存储单元,恢复丢失的上下文时,处理子窗口。其次,我们采用了一种基于Q学习的策略训练策略,使我们的方法能够智能地选择子窗口,从而使内存中的陈旧性对性能的影响最小。我们的实验表明,我们的方法将延迟减少了大约四倍,而不会显著牺牲ImageNet VID视频目标检测数据集和DAVIS视频对象分割数据集的准确性。我们进一步证明,我们可以将节省的计算重新投资到网络的其他部分,从而以与原始系统相当的计算成本提高精度,并在低延迟范围内击败其他最近提出的最先进的方法。
2019-08-20 cs.CV
Hierarchical Point-Patch Fusion with Adaptive Patch Codebook for 3D Shape Anomaly Detection
The University of Melbourne(墨尔本大学);Tsinghua University(清华大学);The University of New South Wales(新南威尔士大学);Delft University of Technology(代尔夫特理工大学)
本文提出一种分层点-补丁异常评分网络,通过联合建模区域部分特征和局部点特征,提升3D形状异常检测的鲁棒性。采用自适应补丁化模块捕捉复杂结构偏差,并在公开和工业数据集上取得优越的AUC-ROC和AUC-PR性能。
2026-04-05 cs.CV
NIRVANA: Neural Implicit Representations of Videos with Adaptive Networks and Autoregressive Patch-wise Modeling
University of Maryland(马里兰大学);Snap Inc(Snap公司)
隐式神经表示(INR)最近被证明是高质量视频压缩的强大工具。然而,现有的作品是有限的,因为它们没有明确地利用视频中的时间冗余,导致编码时间长。此外,这些方法具有固定的架构,不能扩展到更长的视频或更高的分辨率。为了解决这些问题,我们提出了NIRVANA,它将视频视为一组帧,并将单独的网络适配到每个组,执行分片预测。这种设计在空间和时间维度上在每个组内共享计算,从而减少视频的编码时间。视频表示是自回归建模的,网络适合使用来自前一组模型的权重初始化的当前组。为了进一步提高效率,我们在训练过程中对网络参数进行量化,不需要事后修剪或量化。与以前在基准UVG数据集上的工作相比,NIRVANA将编码质量从37.36提高到37.70(就PSNR而言),编码速度提高了12倍,同时保持相同的压缩率。与之前的视频INR作品相比,这些作品需要更大的分辨率和更长的视频,我们表明我们的算法非常灵活,并且由于其补丁和自回归设计而自然扩展。此外,我们的方法实现可变比特率的压缩,通过适应不同的帧间运动的视频。NIRVANA实现了6倍的解码速度,并可与更多GPU进行良好的扩展,使其适用于各种部署场景。
2022-12-30 cs.CV
DeViT: Deformed Vision Transformers in Video Inpainting
Kuaishou Technology(快手科技);SIGS, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng National Laboratory(鹏城国家实验室)
提出了一种新的视频修复方法。我们做了三个主要贡献:首先,我们通过引入变形的基于补丁的单应性(DePtH),改进了补丁级的特征对齐,而无需额外的监督和好处具有挑战性的场景与各种变形扩展了以前的Transformers与补丁对齐。其次,我们引入了基于掩码修剪的补丁注意力(MPPA),通过修剪掉不太重要的特征和使用显着性图来提高补丁明智的特征匹配。MPPA增强了具有无效像素的变形标记之间的匹配精度。第三,我们引入了一个时空加权适配器(STA)模块,以在从DePtH学习的变形因子的指导下获得对时空标记的准确关注,特别是对于具有敏捷运动的视频。实验结果表明,我们的方法优于最近的方法定性和定量,实现了一个新的国家的最先进的。
2022-09-28 cs.CV
Aligning Videos in Space and Time
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook AI研究院)
在本文中,我们专注于跨视频提取视觉对应的任务。给定来自动作类的查询视频片段,我们的目标是在空间和时间上将其与训练视频对齐。获得用于这种细粒度对准任务的训练数据是具有挑战性的并且通常是模糊的。因此,我们提出了一种新的对齐过程,通过跨视频周期一致性来学习空间和时间上的对应关系。在训练过程中,给定一对视频,我们通过匹配第二个视频中的帧来计算连接第一个视频中给定帧中的补丁的周期。鼓励将重叠斑块连接在一起的循环得分高于连接非重叠斑块的循环。我们在Penn Action和Pouring数据集上的实验表明,该方法可以成功地学习在视频中对应语义相似的补丁,并学习对对象和动作状态敏感的表示。
2020-07-09 cs.CV
Neither Global Nor Local: A Hierarchical Robust Subspace Clustering For Image Data
Amirkabir University of Technology(阿米尔卡比尔理工大学)
在本文中,我们考虑的问题,子空间聚类存在连续噪声,遮挡和伪装。我们认为,自我表达表示的数据在当前国家的最先进的方法是非常敏感的闭塞和复杂的现实世界的噪音。为了缓解这个问题,我们提出了一个层次化的框架,使鲁棒性的局部补丁为基础的表示和判别属性的全球表示在一起。该方法包括1)自顶向下阶段,其中输入数据经受重复划分成较小的块;和2)自底向上阶段,其中在上层中的对应块的视场中的局部块的低秩嵌入在格拉斯曼流形上合并。此汇总信息为上层的相应补丁提供了两个关键信息:不能链接和推荐链接。这些信息用于计算每个补丁的自我表达表示在上层使用加权稀疏组套索优化问题。几个真实数据集的数值结果证实了我们的方法的效率。
2019-05-17 cs.CV
Boosting Video Super Resolution with Patch-Based Temporal Redundancy Optimization
Xi’an Jiaotong University(西安交通大学);ByteDance Intelligent Creation Lab(字节跳动智能创作实验室);Nanjing University of Science and Technology(南京理工大学)
现有的视频超分辨率(VSR)算法的成功主要源于利用相邻帧的时间信息。然而,这些方法都没有讨论的时间冗余的影响,在补丁与静止的目标和背景,通常使用所有的信息,在相邻的帧没有任何歧视。在本文中,我们观察到的时间冗余会带来不利影响的信息传播,这限制了大多数现有的VSR方法的性能。出于这一观察,我们的目标是改善现有的VSR算法处理的时间冗余补丁的优化方式。我们开发了两个简单而有效的即插即用的方法,以提高现有的本地和非本地传播为基础的VSR算法广泛使用的公共视频的性能。为了更全面地评估现有VSR算法的鲁棒性和性能,我们还收集了一个新的包含各种公共视频的数据集作为测试集。广泛的评估表明,所提出的方法可以显着提高现有的VSR方法从野生场景收集的视频的性能,同时保持其现有的常用数据集上的性能。该代码可在https://github.com/HYHsimon/Boosted-VSR上获得。
2022-09-27 cs.CV
FlashGaze: Training-Free Multi-Scale Patch Pruning For Efficient Video Understanding
Peking University(北京大学);Canva Research(Canva 研究院);Sun Yat-sen University(中山大学)
FlashGaze提出无训练的多尺度补丁剪枝方法,在ViT编码前利用像素差异和四叉树动态规划减少时空冗余,在保持98%精度的同时实现最高5.4倍编码加速和17倍预填充加速,并降低1.8倍内存使用。
2026-10-06 cs.CV
Approximate Nearest Neighbor Fields in Video
Technion(以色列理工学院)
我们介绍RIANN(环交叉近似最近邻搜索),一种算法,用于匹配补丁的视频的一组参考补丁的实时。对于每个查询,RIANN通过在外观空间中的关键点周围交叉环来找到潜在的匹配。它的搜索复杂度与时间变化量相关,使其非常适合视频,其中大多数补丁通常随时间缓慢变化。实验表明,RIANN比以前的ANN方法快两个数量级,是唯一实时操作的解决方案。我们进一步展示了RIANN如何用于实时视频处理,并提供了一系列实时视频应用的示例,包括着色,去噪和几种艺术效果。
2015-08-31 cs.CV
Large-scale Supervised Hierarchical Feature Learning for Face Recognition
Intel Labs China(英特尔中国研究院)
提出了一种基于大规模监督分层特征学习的人脸识别算法。该方法由两部分组成:分层特征学习和大规模模型学习。分层特征学习以有监督的方式在三个粒度级别上搜索特征。首先,利用感受野理论对人脸图像进行建模,表示为具有多通道高斯感受图的图像。我们通过监督学习激活了几个最有区别的通道。第二,人脸图像进一步表示的补丁挑选通道,我们从过完备补丁池中搜索,只激活那些最具鉴别力的补丁。第三,利用判别子空间分析将每片图像的特征描述子进一步投影到低维子空间。该方法首先将学习到的激活块的特征进行拼接,得到完整的人脸图像,然后学习线性分类器,对同一被试和不同被试的人脸进行分类。由于人脸对的数量非常大,我们引入ADMM(交替方向乘法器方法)训练的线性分类器上的计算集群。实验结果表明,训练样本的增加会带来准确率的显著提高。我们对FRGC和LFW进行了实验。实验结果表明,在相同的协议下,该方法的性能明显优于现有算法。此外,该方法内存占用小,计算成本低,这使得它适合于嵌入式应用。
2014-07-06 cs.CV
Learning non-rigid surface reconstruction from spatio-temporal image patches
Center for Machine Vision Research and Signal Analysis(机器视觉研究与信号分析中心);University of Oulu(奥卢大学)
我们提出了一种方法来重建一个密集的时空深度图的非刚性变形对象直接从视频序列。对视频的时空块局部地执行深度的估计,然后通过将它们组合在一起来恢复整个形状的全深度视频。由于变形的非刚性对象的局部时空补丁的几何复杂性通常足够简单,可以用参数模型忠实地表示,因此我们人工生成了一个用不同材料属性和光照条件渲染的小变形矩形网格的数据库,以及它们相应的深度视频,并使用这些数据来训练卷积神经网络。我们在合成数据和Kinect数据上测试了我们的方法,并通过实验观察到重建误差明显低于使用其他方法(如传统的非刚性运动恢复结构)获得的重建误差。
2020-06-18 cs.CV
Crowd Density Forecasting by Modeling Patch-based Dynamics
Chubu University(中部大学);OMRON SINIC X(欧姆龙 SINIC X 研究院)
预测视频中观察到的人类活动是计算机视觉中的一个长期挑战,这导致了各种现实世界的应用,如移动机器人,自动驾驶和辅助系统。在这项工作中,我们提出了一个新的视觉预测任务,称为人群密度预测。给定监控摄像头捕捉到的人群视频,我们的目标是预测人群在未来帧中的移动方式。为了解决这个问题,我们开发了基于补丁的密度预测网络(PDFN),它可以预测一系列人群密度图,描述每个视频帧中每个位置的拥挤程度。PDFN表示基于空间重叠的补丁的人群密度图,并在紧凑的潜在空间中学习密度动态补丁。这使我们能够有效地模拟多样化和复杂的人群密度动态,即使输入视频涉及每个独立移动的可变数量的人群。几个公共数据集的实验结果表明,我们的方法相比,国家的最先进的预测方法的有效性。
2019-11-22 cs.CV
From Coarse to Fine: Hierarchical Pixel Integration for Lightweight Image Super-Resolution
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室)
图像超分辨率是多媒体数据处理和传输的基本工具。最近,基于变换器的模型在图像SR方面取得了有竞争力的性能。它们将图像划分为固定大小的补丁,并在这些补丁上应用自注意力来建模像素之间的长程依赖关系。然而,这种架构的设计是起源于高层次的视觉任务,它缺乏设计指导的SR知识。在本文中,我们的目标是设计一个新的注意力块,其见解来自SR网络的局部属性图(LAM)的解释。具体地说,LAM提出了一个分层的重要性地图,其中最重要的像素位于一个补丁的精细区域和一些不太重要的像素分布在整个图像的粗糙区域。为了访问粗糙区域中的像素,而不是使用非常大的补丁大小,我们提出了一个轻量级的全局像素访问(GPA)模块,该模块将交叉注意力应用于图像中最相似的补丁。在精细区域,我们使用一个内部补丁自注意(IPSA)模块来模拟长距离像素的依赖性在一个局部补丁,然后一个$3\times3$卷积被应用到处理最精细的细节。此外,级联补丁划分(CPD)的策略,提出了提高恢复图像的感知质量。大量的实验表明,我们的方法优于国家的最先进的轻量级SR方法的一个很大的利润。代码可在https://github.com/passerer/HPINet上获得。
2022-11-30 cs.CV
Hierarchical Salient Patch Identification for Interpretable Fundus Disease Localization
School of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);Shanghai Eye Disease Prevention and Treatment Center(上海眼病防治中心);School of Information Science and Technology, Fudan University(复旦大学信息科学与技术学院)
本文提出分层显著图像块识别(HSPI)方法,在仅用图像级标签和神经网络分类器的弱监督条件下,通过显著图像块识别、分层识别、条件峰值聚焦和多尺寸交集筛选,实现更准确完整的可解释眼底疾病定位。
2025-01-03 cs.CV
Learning Where and When: Patch-Based Spatiotemporal Localization in Weakly Supervised Video Anomaly Detection
University of South Florida(佛罗里达州立大学)
提出基于补丁的时空框架,在弱监督下联合定位异常的时间和空间位置,通过邻近感知Top-k选择策略生成细粒度空间异常图,显著提升时空定位精度。
2026-06-28 cs.CV
Non-Local Video Denoising by CNN
CMLA, ENS Cachan, CNRS(法国国家科学研究中心卡尚高等师范学院数学与应用数学中心);Université Paris-Saclay(巴黎萨克雷大学)
基于非局部补丁的方法直到最近才成为最先进的图像去噪方法,但现在CNN的表现优于它。然而,它们仍然是视频去噪的最先进技术,因为视频冗余是获得高去噪性能的关键因素。问题在于,CNN架构与自相似性搜索几乎不兼容。在这项工作中,我们提出了一种新的和有效的方式来饲料视频自相似性的CNN。通过第一不可训练层将非局部性结合到网络中,该第一不可训练层在搜索区域中为输入图像中的每个补丁找到其最相似的补丁。然后将这些块的中心值聚集在分配给每个图像像素的特征向量中。该信息被呈现给CNN,其被训练以预测干净图像。我们提出的架构,图像和视频去噪。对于后者,在3D时空体积中搜索补丁。所提出的架构实现国家的最先进的结果。据我们所知,这是CNN在视频去噪中的首次成功应用。
2019-07-02 cs.CV
Hierarchical Video Frame Sequence Representation with Deep Convolutional Graph Network
Alibaba Group(阿里巴巴集团)
高精度的视频标签预测(分类)模型归因于大规模数据。这些数据可以是由预先训练好的卷积神经网络提取的帧特征序列,从而提高了建模的效率。无监督的解决方案,如特征平均池,作为一个简单的标签无关的无参数的方法,有有限的能力来表示视频。而有监督的方法,如RNN,可以大大提高识别精度。然而,视频长度通常很长,视频中的事件之间存在层次关系,基于RNN的模型的性能下降。提出了一种基于深度卷积图神经网络(DCGN)的视频分类方法。该方法利用视频具有层次结构的特点,通过图网络对视频帧序列进行多级特征提取,得到一种分层反映事件语义的视频表示。我们在YouTube-8 M大规模视频理解数据集上测试了我们的模型,结果优于基于RNN的基准测试。
2019-06-02 cs.CV
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
递归神经网络在视频描述中的应用最近得到了广泛的关注,因为它们既可以用于对输入视频进行编码,也可以用于生成相应的描述。在本文中,我们提出了一个经常性的视频编码方案,可以发现和利用视频的层次结构。与经典的编码器-解码器方法不同,在这种方法中,视频由递归层连续编码,我们提出了一种新的LSTM单元,它可以识别帧或片段之间的不连续点,并相应地修改编码层的时间连接。我们评估我们的方法在三个大规模的数据集:蒙特利尔视频注释数据集,MPII电影描述数据集和微软视频描述语料库。实验表明,我们的方法可以发现适当的层次表示的输入视频和提高电影描述数据集上的最先进的结果。
2017-04-10 cs.CV
HPFF: Hierarchical Locally Supervised Learning with Patch Feature Fusion
Southeast University(东南大学);East China University of Science and Technology(华东理工大学);University of Shanghai for Science and Technology(上海理工大学);The Hong Kong University of Science and Technology(香港科技大学);Nanyang Technological University(南洋理工大学)
针对传统端到端深度学习内存消耗高、现有局部监督学习模块交互弱且辅助网络占显存的问题,提出融合分层局部监督与补丁特征融合的HPFF模型,在多数据集上实现性能与显存效率的双重提升。
2024-07-09 cs.CV
FuseFormer: Fusing Fine-Grained Information in Transformers for Video Inpainting
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学);SenseTime Research(商汤科技研究院);Zhejiang University(浙江大学);School of CST, Xidian University(西安电子科技大学计算机科学与技术学院)
Transformer作为一种强大而灵活的远程关系建模体系结构,在视觉任务中得到了广泛的研究。然而,当用于需要细粒度表示的视频修复时,现有的方法仍然遭受由于硬补丁分裂而产生的细节模糊边缘。在这里,我们的目标是解决这个问题,提出FuseFormer,一个Transformer模型设计的视频修复通过细粒度的功能融合的基础上,新的软分割和软组合操作。软分割将特征图分割成具有给定重叠间隔的多个块。相反,软合成通过将不同的块拼接成整个特征图来操作,其中重叠区域中的像素被求和。这两个模块首先用于Transformer层之前的标记化和Transformer层之后的去标记化,以实现标记和特征之间的有效映射。因此,子块级信息交互被启用以用于相邻块之间的更有效的特征传播,从而为视频中的孔洞区域合成生动的内容。此外,在FuseFormer中,我们精心将软合成和软分割插入前馈网络,使1D线性层具有建模2D结构的能力。并且,子块级特征融合能力进一步增强。在定量和定性评估中,我们提出的FuseFormer超越了最先进的方法。并对其优越性进行了详细的分析。
2021-09-07 cs.CV
Zoom-VQA: Patches, Frames and Clips Integration for Video Quality Assessment
Kuaishou Technology(快手科技)
本文提出 Zoom-VQA 架构,通过块注意力、帧金字塔对齐和片段集成三个组件在块、帧、片段三个层级感知时空特征,在多个 VQA 基准上取得领先结果。
2023-04-13 cs.CV
Not Every Patch is Needed: Towards a More Efficient and Effective Backbone for Video-based Person Re-identification
Singapore University of Technology and Design(新加坡科技设计大学);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团);School of Computing and Communications, Lancaster University(兰卡斯特大学计算与通信学院)
本文提出一种面向基于视频的行人重识别的高效骨干网络,通过引入 patch 选择机制和伪帧全局上下文,在大幅降低计算成本的同时保持或提升了识别准确率。
2025-01-28 cs.CV
Real-Time Anomalous Behavior Detection and Localization in Crowded Scenes
在本文中,我们提出了一个准确和实时的【形】异常检测和定位在拥挤的场景,并提出了两个描述符来表示异常行为的视频。我们认为视频是一组立方体补丁。基于异常发生的低可能性,以及视频中正常补丁中结构的冗余性,考虑两个(全局和局部)视图来对视频进行建模。我们的算法有两个组成部分,(1)表示补丁使用局部和全局描述符,和(2)建模的训练补丁使用一个新的表示。我们有两个高斯模型的所有训练补丁方面的全球和局部描述符。局部和全局特征基于相邻块之间的结构相似性和以无监督方式学习的特征。我们提出了一种融合策略,将这两个描述符作为我们系统的输出。实验结果表明,我们的算法执行像一个国家的最先进的方法在几个标准的数据集,但甚至是更有效的时间。
2016-01-02 cs.CV
Video-based Hierarchical Species Classification for Longline Fishing Monitoring
University of Washington(华盛顿大学);National Oceanic and Atmospheric Administration(美国国家海洋和大气管理局);Pacific States Marine Fisheries Commission(太平洋各州海洋渔业委员会)
延绳钓捕捞电子监测的目的是监测渔船的捕鱼活动,无论是为了遵守法规还是为了计算渔获量。基于视频的层次分类允许廉价和有效的鱼种识别的渔获物从延绳钓捕捞,鱼类在捕捞过程中受到严重的变形和自我封闭。更重要的是,分层分类的灵活性通过提供不同层次的置信度得分来减轻人工审查的费力工作。一些相关的工作或者使用级联模型进行分层分类,或者对每个图像进行预测,或者预先预测数据集的一个重叠的分层数据结构。然而,与渔业科学家提供的一个已知的非重叠的分层数据结构,我们的方法强制执行的分层数据结构,并介绍了一个有效的培训和推理策略,基于视频的渔业数据。我们的实验表明,所提出的方法优于经典的平面分类系统显着和我们的消融研究证明我们的贡献在CNN模型设计,训练策略,和基于视频的推理方案的分层鱼类物种分类任务。
2021-02-06 cs.CV
Video Joint Modelling Based on Hierarchical Transformer for Co-summarization
University of Melbourne(墨尔本大学);Monash University(莫纳什大学);Tsinghua University(清华大学)
视频摘要旨在自动生成视频摘要(故事板或视频略读),以便于大规模视频检索和浏览。现有的视频摘要方法大多是对单个视频进行摘要,忽略了相似视频之间的相关性。然而,这样的相关性对于视频理解和视频摘要也是有用的。为了解决这个问题,我们提出了基于分层Transformer的视频联合建模(VJMHT)的共同摘要,它考虑到视频之间的语义依赖关系。具体而言,VJMHT由两层Transformer组成:第一层从相似视频的单个镜头中提取语义表示,而第二层执行镜头级视频联合建模以聚合跨视频语义信息。通过这种方式,完整的跨视频高级模式被显式地建模和学习,用于单个视频的摘要。此外,基于transformer的视频表示重建,以最大限度地提高摘要和原始视频之间的高层次相似性。大量的实验进行了验证所提出的模块的有效性和VJMHT的F-措施和基于等级的评价方面的优越性。
2022-06-29 cs.CV
HiCM$^2$: Hierarchical Compact Memory Modeling for Dense Video Captioning
Kyung Hee University(庆熙大学);Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究所(ETRI))
针对密集视频描述任务,提出受人类认知启发的层次化紧凑记忆模型,通过记忆事件聚类与大语言模型总结构建高效层次化记忆及读取模块,在YouCook2和ViTT数据集上达到最先进性能。
2024-12-19 cs.CV
Cross-Modal and Hierarchical Modeling of Video and Text
U. of Southern California(南加州大学);Netflix(网飞)
视觉数据和文本数据是由多粒度的信息组成的。视频可以描述由多个片段或镜头组成的复杂场景,其中每个片段或镜头描述语义上连贯的事件或动作。同样,一个段落可能包含不同主题的句子,这些句子共同传达了一个连贯的信息或故事。在本文中,我们调查的建模技术,这样的层次顺序数据,其中有多个模态之间的对应关系。具体来说,我们引入层次序列嵌入(HSE),一个通用的模型,用于将不同模态的序列数据嵌入到层次语义空间中,具有显式或隐式的对应信息。我们对大规模的视频和段落检索数据集进行了实证研究,并证明了所提出的方法的优越性能。此外,我们研究了我们学到的嵌入应用于下游任务时的有效性。我们展示了它在zero-shot动作识别和视频描述中的实用性。
2018-10-16 cs.CV