Boosting neural video codecs by exploiting hierarchical redundancy
Qualcomm AI Research(高通人工智能研究院)
在视频压缩中,通过经由运动和残差补偿重新使用来自先前解码的帧的像素来提高编码效率。我们在视频帧中定义了两个等级的分层冗余:1)一阶:像素空间中的冗余,即,跨相邻帧的像素值的相似性,这是使用运动和残差补偿有效地捕获的,2)二阶:由于自然视频中的平滑运动而导致的运动和残差图中的冗余。虽然大多数现有的神经视频编码文献解决了一阶冗余,我们解决了通过预测器捕获神经视频编解码器中的二阶冗余的问题。我们介绍了通用的运动和残差预测,学习从以前解码的数据外推。这些预测器是轻量级的,可以与大多数神经视频编解码器一起使用,以提高其率失真性能。此外,虽然RGB是神经视频编码文献中的主要色彩空间,但我们介绍了神经视频编解码器的一般修改,以包含YUV 420色彩空间并报告YUV 420结果。我们的实验表明,使用我们的预测器与一个著名的神经视频编解码器导致38%和34%的比特率节省RGB和YUV420色彩空间上测量的UVG数据集。
2022-09-16 cs.CV cs.LG cs.MM
Boosting Adversarial Transferability with Learnable Patch-wise Masks
Beihang University(北京航空航天大学);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
本文提出一种可学习的块级掩码方法,通过修剪模型特定判别区域来缓解对源模型的过拟合,利用差分进化算法优化掩码,使梯度更具通用性,从而显著提升对抗样本在多种防御方法下的可迁移性。
2023-09-11 cs.CV
AnomalyDINO: Boosting Patch-based Few-shot Anomaly Detection with DINOv2
Ruhr University Bochum(波鸿鲁尔大学);University of Hamburg(汉堡大学)
本文提出无需训练的纯视觉方法 AnomalyDINO,基于 DINOv2 与补丁级深度最近邻实现少样本异常检测和分割,并在 MVTec-AD 上取得先进性能。
2025-03-13 cs.CV
Visual Token Codec: Unleashing Spatial Redundancy for ViT Feature Coding
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Pengcheng Laboratory(鹏城实验室);Ant Group(蚂蚁集团)
针对ViT特征编码忽略二维补丁网格结构的问题,提出双路径视觉令牌编解码器VTC,在DINOv2、SAM3的分类等任务上,码率降低15.7-37.4倍且性能达未压缩的90%,表现优于基线。
2026-08-11 cs.CV
Large-scale Global Low-rank Optimization for Computational Compressed Imaging
Beijing Institute of Technology(北京理工大学);Westlake University(西湖大学);University of Arizona(亚利桑那大学)
计算重建在计算机视觉和计算摄影中起着至关重要的作用。大多数传统的优化和深度学习技术都在探索局部信息以进行重建。近年来,非局部低秩(NLR)重建在提高精度和泛化能力方面取得了显著的成就。然而,计算成本抑制了NLR寻求全局结构相似性,这必然使其陷入精度和效率之间的权衡,并阻止其高维大规模任务。为了解决这个问题,我们在这里报告的全球低秩(GLR)优化技术,实现了高效的大规模重建与全球自相似性。受深度学习中自注意机制的启发,GLR通过特征检测而不是传统的均匀选择来提取样本图像块。这直接产生关键补丁使用结构特征,以避免繁重的计算冗余。此外,它通过基于神经的卷积在整个图像上执行补丁匹配,并行生成全局相似性热图,而不是传统的顺序块匹配。因此,GLR将补丁分组效率提高了一个数量级以上。我们实验证明GLR的有效性的时间,频率和频谱维度,包括不同的计算成像模式的压缩时间成像,磁共振成像,多光谱滤波器阵列去马赛克。这项工作展示了深度学习策略和迭代优化的内在融合的优越性,并打破了各种大规模重建任务的准确性和效率之间权衡的持续困境。
2023-01-08 cs.CV eess.IV physics.optics
RaP: Redundancy-aware Video-language Pre-training for Text-Video Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
视频语言预训练方法主要采用稀疏采样技术来减轻视频的时间冗余。稀疏采样虽然有效,但仍然存在模态间冗余:视觉冗余和文本冗余。与高度概括的文本相比,稀疏采样帧通常包含与文本无关的部分,称为视觉冗余。稀疏采样也可能错过与某些文本部分相对应的重要帧,从而导致文本冗余。模态间冗余导致视频和文本信息的不匹配,阻碍了模型更好地学习跨模态的共享语义。为了缓解这一问题,我们提出了冗余感知的视频语言预训练。通过计算跨模态最小相异度,设计了视频补丁和文本标记的冗余度量。然后,我们惩罚高冗余的视频补丁和文本令牌,通过一个建议的冗余意识对比学习。我们在四个基准数据集MSRVTT,MSVD,DiDeMo和LSMDC上评估了我们的方法,与以前的最先进的结果相比,取得了显着的改进。我们的代码可从https://github.com/caskcsg/VLP/tree/main/RaP获得。
2022-10-13 cs.AI cs.CV
Mutual Enhancement Between Global Tokens and Patch Tokens: From Theory to Practice
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China(认知与决策智能复杂系统重点实验室,自动化研究所,中国科学院,北京,中国);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出TaTok框架,通过引入全局标记和动态令牌过滤算法,解决现有方法中信息不足和冗余问题,提升图像令牌化效果和推理速度。
2026-05-11 cs.AI cs.CV
FlashGaze: Training-Free Multi-Scale Patch Pruning For Efficient Video Understanding
Peking University(北京大学);Canva Research(Canva 研究院);Sun Yat-sen University(中山大学)
FlashGaze提出无训练的多尺度补丁剪枝方法,在ViT编码前利用像素差异和四叉树动态规划减少时空冗余,在保持98%精度的同时实现最高5.4倍编码加速和17倍预填充加速,并降低1.8倍内存使用。
2026-10-06 cs.CV
Patch Craft: Video Denoising by Deep Modeling and Patch Matching
The Technion(以色列理工学院);Google Research(谷歌研究院)
自然图像的非局部自相似特性已被广泛地用于解决各种图像处理问题。当涉及到视频序列时,由于时间冗余,利用这种力量甚至更有益。在图像和视频去噪的背景下,许多面向经典的算法采用自相似性,将数据分成重叠的补丁,收集相似的数据组并以某种方式将它们处理在一起。随着卷积神经网络(CNN)的出现,基于补丁的框架已经被抛弃。大多数CNN去噪器对整个图像进行操作,仅通过使用大的接收场来隐式地利用非局部关系。这项工作提出了一种新的方法,用于在视频去噪的背景下利用自相似性,同时仍然依赖于常规的卷积架构。我们介绍了一个概念的补丁工艺帧-人工帧,是类似于真正的,建立平铺匹配补丁。我们的算法用补丁工艺帧来增强视频序列,并将它们馈送到CNN。我们证明了所提出的方法获得的去噪性能的大幅提升。
2021-10-30 cs.CV
Boosting Fine-Grained Visual Anomaly Detection with Coarse-Knowledge-Aware Adversarial Learning
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Big Data Analysis and Processing(广东省大数据分析与处理重点实验室);The Hong Kong Polytechnic University(香港理工大学);Pazhou Lab(琶洲实验室)
本文提出一种粗粒度知识感知对抗学习方法,通过收集少量粗标注异常数据并对齐重建特征与正常特征分布,抑制自编码器对异常的重建,提升细粒度视觉异常检测与定位精度,在医学和工业数据集上验证了有效性。
2024-12-17 cs.AI cs.CV cs.LG
Boosting Monocular Depth Estimation Models to High-Resolution via Content-Adaptive Multi-Resolution Merging
Simon Fraser University(西蒙菲莎大学);Adobe Research(Adobe研究院)
神经网络在从单个图像估计深度方面显示出很强的能力。然而,推断的深度图远低于100万像素的分辨率,并且通常缺乏细粒度的细节,这限制了它们的实用性。我们的方法建立在我们对输入分辨率和场景结构如何影响深度估计性能的分析之上。我们证明了一致的场景结构和高频细节之间存在权衡,并使用简单的深度合并网络合并低分辨率和高分辨率估计以利用这种二元性。我们提出了一个双估计方法,提高了整个图像的深度估计和补丁选择方法,增加了局部细节的最终结果。我们证明,通过合并不同分辨率的估计与不断变化的上下文,我们可以使用预先训练的模型生成具有高细节水平的数百万像素深度图。
2021-05-28 cs.CV
OptiPrune: Boosting Prompt-Image Consistency with Attention-Guided Noise and Dynamic Token Selection
School of Computational Science \& Education Software, Guangzhou University, 510006, Guangzhou, PR China
OptiPrune提出统一框架,结合注意力引导的分布感知初始噪声优化与基于相似性的Token剪枝,在降低计算成本的同时提升文本到图像扩散模型的提示-图像一致性。
2025-07-01 cs.CV
Prototypical Information Bottlenecking and Disentangling for Multimodal Cancer Survival Prediction
Beihang University(北京航空航天大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出PIBD框架,通过原型信息瓶颈模块解决模态内冗余、原型信息解缠模块解决模态间冗余,在多模态癌症生存预测中提取紧凑判别性信息,并在五个癌症基准数据集上验证了优越性。
2024-02-26 cs.CV
Adaptive Focus for Efficient Video Recognition
Tsinghua University(清华大学)
在本文中,我们探讨了视频识别中的空间冗余,旨在提高计算效率。据观察,视频的每帧中信息量最大的区域通常是一个小的图像块,它在帧间平滑地移动。因此,我们将补丁定位问题建模为顺序决策任务,并提出了一种基于强化学习的高效空间自适应视频识别(AdaFocus)方法。具体来说,首先采用一个轻量级的ConvNet来快速处理完整的视频序列,其特征被一个循环策略网络用来定位最相关的任务区域。然后,所选择的补丁推断的高容量网络的最终预测。在离线推理期间,一旦生成了信息补丁序列,大部分计算可以并行完成,并且在现代GPU设备上是高效的。此外,我们证明了所提出的方法可以很容易地通过进一步考虑时间冗余,例如,动态跳过不太有价值的帧。在五个基准数据集上进行了广泛的实验,ActivityNet,FCVID,Mini-Kinetics,Something-Something V1和V2,证明我们的方法比竞争基线更有效。代码可在https://github.com/blackfeather-wang/AdaFocus上获得。
2021-08-18 cs.CV cs.LG eess.IV
evMLP: An Efficient Event-Driven MLP Architecture for Vision
Institute of Artificial Intelligence and Robotics(人工智能与机器人研究所)
evMLP是一种全MLP视觉架构,通过事件驱动机制仅处理视频中变化的补丁,在保持输出一致性的同时降低计算成本,并在ImageNet和视频数据集上验证了高效性。
2026-09-16 cs.CV
NIRVANA: Neural Implicit Representations of Videos with Adaptive Networks and Autoregressive Patch-wise Modeling
University of Maryland(马里兰大学);Snap Inc(Snap公司)
隐式神经表示(INR)最近被证明是高质量视频压缩的强大工具。然而,现有的作品是有限的,因为它们没有明确地利用视频中的时间冗余,导致编码时间长。此外,这些方法具有固定的架构,不能扩展到更长的视频或更高的分辨率。为了解决这些问题,我们提出了NIRVANA,它将视频视为一组帧,并将单独的网络适配到每个组,执行分片预测。这种设计在空间和时间维度上在每个组内共享计算,从而减少视频的编码时间。视频表示是自回归建模的,网络适合使用来自前一组模型的权重初始化的当前组。为了进一步提高效率,我们在训练过程中对网络参数进行量化,不需要事后修剪或量化。与以前在基准UVG数据集上的工作相比,NIRVANA将编码质量从37.36提高到37.70(就PSNR而言),编码速度提高了12倍,同时保持相同的压缩率。与之前的视频INR作品相比,这些作品需要更大的分辨率和更长的视频,我们表明我们的算法非常灵活,并且由于其补丁和自回归设计而自然扩展。此外,我们的方法实现可变比特率的压缩,通过适应不同的帧间运动的视频。NIRVANA实现了6倍的解码速度,并可与更多GPU进行良好的扩展,使其适用于各种部署场景。
2022-12-30 cs.CV
Boosting Resolution Generalization of Diffusion Transformers with Randomized Positional Encodings
Kling Team, Kuaishou Technology(快手科技 Kling Team)
本文提出RPE-2D,通过随机化位置编码提升扩散变换器的分辨率泛化能力,实现高分辨率和低分辨率图像生成的无缝过渡。
2026-01-07 cs.CV
Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing
UC Berkeley(伯克利大学);MIT(麻省理工学院);Clarifai(Clarifai公司);NVIDIA(英伟达公司)
AutoGaze通过自回归选择视频中的关键块,减少冗余并提升处理效率,使大语言模型能处理长视频并取得更优表现。
2026-03-12 cs.CV
Deep Boosting Robustness of DNN-based Image Watermarking via DBMark
Southern University of Science and Technology(南方科技大学);Hunan University(湖南大学);Changsha University of Science and Technology(长沙理工大学)
图像水印是一种将信息隐藏到图像中的技术,该图像可以承受失真,同时要求编码图像在感知上与原始图像相同。基于深度神经网络(DNN)的数字水印技术取得了令人瞩目的进展。在各种失真下具有更高的鲁棒性是数字图像水印技术的永恒追求。在本文中,我们提出了DBMARK,一种新的端到端数字图像水印框架,以深入提高基于DNN的图像水印的鲁棒性。关键的新颖性是可逆神经网络(INN)和有效的水印特征生成的协同作用。该框架通过有效的基于神经网络的消息处理器生成具有冗余和纠错能力的水印特征,并与INN强大的信息嵌入和提取能力相结合,实现了更高的鲁棒性和不可见性。神经网络强大的学习能力使消息处理器能够适应各种失真。此外,我们建议将水印信息嵌入到离散小波变换(DWT)域中,并设计低-低(LL)子带损失以增强不可见性。大量的实验结果表明,所提出的框架相比,国家的最先进的在各种失真,如辍学,裁剪,裁剪,高斯滤波器,JPEG压缩的优越性。
2022-11-16 cs.CR cs.CV
Generative Video Compression with One-Dimensional Latent Representation
University of Science and Technology of China(中国科学技术大学);Communication University of China(通信大学);Microsoft Research Asia(微软亚洲研究院);University of Newcastle(新castle大学)
本文提出GVC1D方法,通过一维潜在表示替代二维网格,减少空间和时间冗余,实现更高效的视频压缩。
2026-03-16 cs.CV
R2-Trans:Fine-Grained Visual Categorization with Redundancy Reduction
Huazhong University of Science and Technology(华中科技大学);University of Florida(佛罗里达大学);Shenzhen Research Institute, Huazhong University of Science and Technology(华中科技大学深圳研究院)
细粒度视觉分类(FGVC)旨在区分相似的子类别,其主要挑战是大的类内差异和微妙的类间差异。现有的FGVC方法通常选择由训练好的模型发现的判别区域,这容易忽略其他潜在的判别信息。另一方面,ViT中图像块序列之间的大量交互使得产生的类令牌包含大量冗余信息,这也可能影响FGVC的性能。在本文中,我们提出了一种新的方法FGVC,它可以同时利用部分但足够的判别信息的环境线索,也压缩冗余信息类令牌相对于目标。具体而言,我们的模型计算高权重区域在一个批次中的比例,自适应地调整掩蔽阈值,实现适度提取输入空间中的背景信息。此外,我们还使用信息瓶颈~(IB)的方法来指导我们的网络在特征空间中学习一个最小的充分表示。在三个广泛使用的基准数据集上的实验结果验证了该方法的性能优于其他最先进的方法和基线模型。
2022-04-21 cs.AI cs.CV
MAR: Masked Autoencoders for Efficient Action Recognition
Huazhong University of Science and Technology(华中科技大学);Alibaba Group(阿里巴巴集团)
视频识别的标准方法通常是对完整的输入视频进行识别,由于视频中广泛存在的时空冗余,这是效率低下的。掩蔽视频建模的最新进展,即,VideoMAE已经显示了普通视觉Transformer(ViT)在仅给定有限视觉内容的情况下补充时空上下文的能力。受此启发,我们提出了掩蔽动作识别(MAR),它通过丢弃一部分补丁并仅对一部分视频进行操作来减少冗余计算。MAR包含以下两个不可缺少的组件:单元运行掩蔽和桥接分类器。具体而言,为了使ViT能够容易地感知可见斑块之外的细节,提出了细胞运行掩蔽以保持视频中的时空相关性,这确保了相同空间位置处的斑块可以依次观察以便于重建。此外,我们注意到,虽然部分观察到的功能可以重建语义明确的不可见的补丁,他们无法实现准确的分类。为了解决这一问题,提出了一种桥接分类器,以弥合用于重建的ViT编码特征与专门用于分类的特征之间的语义差距。我们提出的MAR减少了53%的计算成本的ViT和广泛的实验表明,MAR始终优于现有的ViT模型具有显着的利润率。特别是,我们发现通过MAR训练的ViT-Large在Kinetics-400和Something-Something v2数据集上的令人信服的边缘上优于通过标准训练方案训练的ViT-Huge,而我们的ViT-Large的计算开销仅为ViT-Huge的14.5%。
2022-07-24 cs.CV
T-SEA: Transfer-based Self-Ensemble Attack on Object Detection
Peking University(北京大学)
与基于查询的黑盒攻击相比,基于传输的黑盒攻击不需要被攻击模型的任何信息,从而保证了攻击的秘密性。然而,大多数现有的基于转移的方法依赖于集成多个模型来提高攻击的可转移性,这是时间和资源密集型的,更不用说在同一任务上获得不同模型的困难。为了解决这一问题,本文重点研究了基于单模型转移的目标检测黑盒攻击方法,利用一个模型实现对多个黑盒检测器的高转移性对抗攻击。具体来说,我们首先观察现有方法的补丁优化过程,并通过稍微调整其训练策略,提出了一个增强的攻击框架。然后,我们类比补丁优化与常规模型优化,提出了一系列的自集成方法的输入数据,攻击模型,和对抗补丁,有效地利用有限的信息,防止补丁过拟合。实验结果表明,该框架可以应用于多种经典的基础攻击方法(例如,PGD和MIM),以大大提高优化补丁在多个主流检测器上的黑盒可传输性,同时提高白盒性能。我们的代码可在https://github.com/VDIGPKU/T-SEA上获得。
2022-11-16 cs.AI cs.CV
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022: Team HNU-FPV Technical Report
Hunan University(湖南大学)
在这份报告中,我们介绍了我们提交给2022年EPIC-Kitchener无监督领域自适应(UDA)挑战赛的技术细节。现有的UDA方法将从整个视频片段中提取的全局特征跨源域和目标域对齐,但在视频识别中遭受特征匹配的空间冗余。出于观察,在大多数情况下,在每个视频帧中的一个小的图像区域可以提供足够的信息的动作识别任务,我们建议利用信息图像区域进行有效的域对齐。具体来说,我们首先使用轻量级CNN来提取输入双流视频帧的全局信息,并通过基于可微插值的选择策略来选择信息丰富的图像块。然后通过现有的视频自适应方法处理来自视频帧的全局信息和来自图像块的局部信息,即,TA 3 N,以便执行源域和目标域的特征对齐。我们的方法(没有模型集成)在EPIC-KITCHENS-100的测试集上在今年的团队中排名第四。
2022-07-07 cs.CV
Raformer: Redundancy-Aware Transformer for Video Wire Inpainting
Tianjin University(天津大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);the University of Sheffield(谢菲尔德大学)
针对视频电线修复中电线细长且常与背景交叉的挑战,本文提出了WRV2数据集和冗余感知Transformer(Raformer)方法,通过冗余感知注意力模块和软特征对齐模块选择性绕过冗余信息,在多个数据集上优于现有最先进方法。
2024-04-24 cs.AI cs.CV
See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection
University of Haifa(海法大学);CSAIL, MIT(MIT计算机科学与人工智能实验室)
通过随机补丁选择提升自动驾驶策略的鲁棒性和泛化能力,实现更高效且更稳健的端到端自动驾驶
2026-01-15 cs.CV cs.LG cs.RO
Delving Deeper: Hierarchical Visual Perception for Robust Video-Text Retrieval
Zhejiang University(浙江大学)
HVP-Net通过提取和细化视觉编码器的多层特征,提升视频-文本检索的鲁棒性,实现新的最佳性能。
2026-01-19 cs.CV cs.MM
Selective Synergistic Learning for Video Object-Centric Learning
KAIST(韩国科学技术院);Sungkyunkwan University(成均馆大学)
提出选择性协同学习(SSync),通过伪标签线性复杂度选择性蒸馏可靠线索,避免错误传播,提升视频对象分解质量并作为即插即用模块。
2026-06-16 cs.AI cs.CV
FAST-VQA: Efficient End-to-end Video Quality Assessment with Fragment Sampling
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院);Tetras AI(Tetras人工智能公司)
目前的深度视频质量评估(VQA)方法在评估高分辨率视频时通常具有较高的计算成本。这种成本阻碍了他们通过端到端培训学习更好的视频质量相关表示。现有的方法通常考虑朴素采样以减少计算成本,例如,裁剪和裁剪。然而,它们显然破坏了视频中与质量相关的信息,因此对于学习VQA的良好表示不是最佳的。因此,迫切需要为VQA设计一种新的质量保持抽样方案。在本文中,我们提出了网格小补丁采样(GMS),它允许考虑本地质量的采样补丁在其原始分辨率和覆盖全局质量的上下文关系,通过均匀网格中采样的小补丁。这些小补丁拼接和对齐的时间,命名为片段。我们进一步构建了片段注意力网络(FANet),专门设计用于容纳片段作为输入。由片段和FANet组成,所提出的用于VQA的片段样本Transformer(FAST-VQA)能够实现高效的端到端深度VQA,并学习有效的视频质量相关表示。它将最先进的精度提高了约10%,同时在1080 P高分辨率视频上减少了99.5%的FLOP。新学习的视频质量相关表示也可以转移到较小的VQA数据集中,从而提高这些场景中的性能。大量的实验表明,FAST-VQA在保持高效率的同时,对各种分辨率的输入都有良好的性能。我们在https://github.com/timothyhtimothy/FAST-VQA上发布代码。
2022-07-06 cs.CV cs.MM
Uni-AdaFocus: Spatial-temporal Dynamic Computation for Video Recognition
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);China Mobile Research Institute(中国移动研究院)
本文提出Uni-AdaFocus,一种结合空间、时间和样本级动态计算的视频识别框架,通过轻量级编码器和策略网络定位关键区域,并兼容高效骨干网络,显著提升计算效率。
2024-12-15 cs.AI cs.CV cs.LG