Learning to Compress Unmanned Aerial Vehicle (UAV) Captured Video: Benchmark and Analysis
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
在过去的十年中,无人机(UAV)由于其灵活、广泛和动态的空间感知能力而引起了越来越多的关注。无人机捕获的视频量随着无人机上安装的传感器的进步而产生的比特率的增加而呈指数级增长,这为设备上的无人机存储和空地数据传输带来了新的挑战。现有的大多数视频压缩方案都是针对自然场景设计的,没有考虑到无人机视频的纹理和视角特性。在这项工作中,我们首先对无人机视频编码领域的现状进行了详细分析。然后,我们建议建立一个新的任务,学习无人机视频编码,并建立一个全面和系统的基准这样一个任务,提出了一个全面的审查高质量的无人机视频数据集和基准,并提供了广泛的率失真效率比较学习和传统的编解码器后。最后,我们讨论了无人机视频编码的挑战。预计该基准将加速无人机平台上视频编码的研究和开发。
2023-01-15 cs.CV eess.IV
MABe22: A Multi-Species Multi-Task Benchmark for Learned Representations of Behavior
Caltech(加州理工学院);Northwestern University(西北大学);AICrowd(AICrowd平台);JAX Labs(JAX实验室);Zhejiang University(浙江大学);IRLAB Therapeutics(IRLAB治疗公司);University of New South Wales(新南威尔士大学);Ghent University(根特大学);Janelia(珍妮莉亚研究所);Saarland University(萨尔大学)
本文提出MABe22多智能体多物种视频与轨迹基准,通过小鼠、甲虫-蚂蚁和果蝇数据及下游任务评估自监督行为表征质量,发现人类动作方法不完全适用于动物数据。
2023-06-30 cs.AI cs.CV cs.LG
Video Tracking Using Learned Hierarchical Features
Nanyang Technological University(南洋理工大学);Advanced Digital Science Center(先进数字科学中心);City University of Hong Kong(香港城市大学)
在本文中,我们提出了一种方法来学习视觉对象跟踪的层次特征。首先,我们离线学习功能强大的辅助视频序列不同的运动模式。通过两层卷积神经网络学习分层特征。在堆叠结构中嵌入时间慢度约束使得学习的特征对复杂的运动变换具有鲁棒性,这对于视觉对象跟踪是重要的。然后,给定一个目标视频序列,我们提出了一个领域自适应模块,根据特定的目标对象在线适应预先学习的特征。在深度特征学习模块的两个层中进行适配,以便包括特定目标对象的外观信息。因此,学习的层次特征可以对目标对象的复杂运动变换和外观变化具有鲁棒性。我们将我们的特征学习算法集成到三种跟踪方法中。实验结果表明,使用我们学习的层次特征,可以实现显着的改善,特别是在视频序列与复杂的运动变换。
2015-11-25 cs.CV
Learned Video Codec with Enriched Reconstruction for CLIC P-frame Coding
National Chiao Tung University(国立交通大学)
本文提出了一种基于学习的视频编解码器,专门用于学习图像压缩挑战赛(CLIC,CVPRWorkshop)2020 P帧编码。更具体地说,我们设计了一个压缩器网络与细化网络编码残差信号和运动矢量。此外,对于运动估计,我们引入了一个分层的,基于注意力的ME-Net。为了验证我们的设计,我们对模块和不同的输入格式进行了广泛的消融研究。我们的视频编解码器通过在解码器端使用CLIC P帧挑战赛指定的完美参考帧来展示其性能。实验结果表明,我们提出的编解码器是非常有竞争力的挑战顶级表演者的质量指标。
2020-12-14 cs.CV
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Google(谷歌)
我们利用无监督学习的深度,自我运动,和相机的本质,以提高单图像语义分割的性能,通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号,从而显著提高其质量,或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
Video Person Re-Identification using Learned Clip Similarity Aggregation
IIT Kanpur(印度理工学院坎普尔分校);NEC Labs America(NEC美国研究院)
我们解决了基于视频的人员重新识别的挑战性任务。最近的工作表明,分裂成剪辑的视频序列,然后聚合剪辑的相似性是适当的任务。我们表明,使用一个学习的剪辑相似性聚合功能,可以过滤出硬剪辑对,例如,在人是不清楚可见,是在一个具有挑战性的姿势,或在两个剪辑的姿势太不同,是信息。这允许该方法专注于对任务信息量更大的剪辑对。我们还介绍了使用3D CNN进行基于视频的重新识别,并通过执行与以前的作品等效的操作来显示其有效性,这些作品除了RGB之外还使用光流,而仅使用RGB输入。我们在三个具有挑战性的公共基准上给出了定量结果,并显示出更好或有竞争力的表现。我们还验证了我们的方法定性。
2019-10-17 cs.CV
MotionVideoGAN: A Novel Video Generator Based on the Motion Space Learned from Image Pairs
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学)
得益于强大的图像生成器提供的高质量渲染,视频生成取得了快速进展。我们把视频合成任务看作是生成一系列共享相同内容但运动不同的图像。然而,大多数基于预训练图像生成器的视频合成框架将内容和运动生成分开处理,导致生成的视频不切实际。因此,我们设计了一个新的框架来建立运动空间,旨在实现视频生成的内容一致性和快速收敛。我们提出了MotionVideoGAN,这是一种新的视频生成器,它基于预训练图像对生成器学习的运动空间合成视频。首先,我们提出了一个名为MotionStyleGAN的图像对生成器来生成共享相同内容并产生各种运动的图像对。然后,我们设法获取运动代码来编辑生成的图像对中的一个图像,并保持另一个不变。运动代码帮助我们在运动空间内编辑图像,因为编辑后的图像与图像对中的另一个未改变的图像共享相同的内容。最后,我们介绍了一个潜在的代码生成器,以产生潜在的代码序列,使用运动代码的视频生成。我们的方法在用于无条件视频生成评估的最复杂的视频数据集UCF 101上实现了最先进的性能。
2023-03-06 cs.CV
A Rate-Quality Model for Learned Video Coding
National Yang Ming Chiao Tung University, Taiwan(阳明交通大学);VNU University of Engineering and Technology, Vietnam(越南工程技术大学)
针对学习型视频编码的码率-质量关系建模需求,提出基于RQNet与最小二乘帧间融合的参数化R-Q模型,可在线自适应参数,在低额外复杂度下实现比基线方法更小的码率偏差。
2025-08-31 cs.CV
Large-Scale Video Classification with Feature Space Augmentation coupled with Learned Label Relations and Ensembling
Axon(Axon公司);Stanford University(斯坦福大学)
本文介绍了Axon AI对第二届YouTube-8 M视频理解挑战赛的解决方案,在私有测试集上实现了88.733%的最终全局平均精度(GAP)(在394个团队中排名第三,不考虑模型大小约束),并且使用满足大小要求的模型实现了87.287%。分别训练了属于3个不同家族的两组7个个体模型。然后,从这些多个模型中聚集对训练数据的推理结果,并将其馈送到训练满足模型大小要求的紧凑模型。为了进一步提高性能,我们在特征空间中探索并采用了数据过采样/欠采样,在训练过程中利用标签关系增加了一个正则化项,并学习了用于集成不同个体模型的权重。
2018-09-21 cs.CV
Switch-a-View: View Selection Learned from Unlabeled In-the-wild Videos
UT Austin(德克萨斯大学奥斯汀分校);University of Utah(犹他大学)
提出SWITCH-A-VIEW模型,通过伪标签前置任务从无标注教学视频学习视角选择规律,应用于多视角视频编排,并在HowTo100M和Ego-Exo4D上验证优势。
2025-04-22 cs.CV
End-to-End Rate-Distortion Optimization for Bi-Directional Learned Video Compression
Koc University(科奇大学)
传统的视频压缩方法采用线性变换和块运动模型,并且由于端到端优化问题的组合性质,运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习视频压缩允许同时对所有非线性模块、量化参数和熵模型进行端到端的率失真优化训练。虽然先前关于学习视频压缩的工作考虑了基于在成对的连续帧上平均的成本的端到端优化来训练顺序视频编解码器,但是在常规视频压缩中众所周知的是,分层双向编码优于顺序压缩。在本文中,我们提出了第一次端到端优化的分层,双向运动补偿学习的编解码器通过积累代价函数在固定大小的图片组(GOP)。实验结果表明,我们提出的学习双向{ \it GOP编码器}的率失真性能优于最先进的端到端优化学习顺序压缩的预期。
2021-05-26 cs.CV eess.IV
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich(苏黎世联邦理工学院);Julius Maximilian University of Würzburg(维尔茨堡朱利叶斯·马克西米利安大学);KU Leuven(荷语鲁汶大学)
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器,最重要的是,我们提出了一个递归条件搜索,它根据空间和时间特征,包括递归单元中的潜在表示,时间运动和隐藏状态,对原始视频与压缩视频进行判断。通过这种方式,对抗性训练推动生成的视频不仅在空间上具有照片般的真实感,而且在时间上与地面实况一致,并且在视频帧之间具有连贯性。实验结果表明,学习PLVC模型压缩视频具有良好的感知质量在低比特率,它优于官方HEVC测试模型(HM 16.20)和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布:https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
AlphaVC: High-Performance and Efficient Learned Video Compression
Huawei Technologies(华为技术有限公司)
近年来,视频压缩技术得到了广泛的关注,并呈现出快速发展的趋势,取得了可喜的成果。然而,以前的工作仍然受到一些关键问题,并有一个性能差距,与传统的压缩标准,广泛使用的PSNR度量。在本文中,我们提出了几种技术,以有效地提高性能。首先,为了解决累积误差的问题,我们在GoP中引入条件I帧作为第一帧,这稳定了重建质量并节省了比特率。其次,为了有效地提高帧间预测的准确性,而不增加解码器的复杂性,我们提出了一个像素到特征的运动预测方法在编码器端,帮助我们获得高质量的运动信息。第三,我们提出了一种基于概率的熵跳过方法,它不仅带来了性能的增益,但也大大减少了熵编码的运行时间。基于这些强大的技术,本文提出了AlphaVC,一种高性能和高效的学习视频压缩方案。据我们所知,AlphaVC是第一个在所有常见测试数据集上超过最新压缩标准VVC的E2 E AI编解码器,其PSNR(-28.2%BD速率节省)和MSSSIM(-52.2%BD速率节省),并且具有非常快的编码(0.001x VVC)和解码(1.69x VVC)速度。
2022-07-29 cs.CV
High Visual-Fidelity Learned Video Compression
Huawei Technologies(华为技术有限公司)
针对现有学习型视频压缩方法忽略感知质量、直接引入感知损失存在问题的情况,提出含置信度特征重建与周期性补偿损失的HVFVC框架,仅用50%比特率就实现优于VVC标准的感知质量。
2023-10-07 cs.CV eess.IV
Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With Motion Refinement and Frame-Level Bit Allocation
Koç University(科奇大学);KUIS AI Center(KUIS人工智能中心)
本文介绍了改进和新的补充,我们最近的工作,端到端的优化分层双向视频压缩,以进一步推进国家的最先进的学习视频压缩。作为一种改进,我们结合了运动估计和预测模块,并压缩改进的残差运动矢量,以提高率失真性能。作为新的补充,我们适应了增益单元提出的图像压缩灵活速率的视频压缩在两个方面:第一,增益单元使一个单一的编码器模型在多个率失真操作点操作;第二,我们利用增益单元控制帧内编码与双向编码帧之间的比特分配,通过微调相应的模型,真正灵活的速率学习视频编码。实验结果表明,我们获得了最先进的率失真性能超过所有现有技术的学习视频编码。
2022-06-27 cs.CV eess.IV
Geometric Transformation-Embedded Mamba for Learned Video Compression
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University(人机混合增强智能国家重点实验室,人工智能与机器人研究院,西安交通大学);School of Information and Communications Engineering, Xi'an Jiaotong University(信息与通信工程学院,西安交通大学)
本文提出了一种基于嵌入几何变换的Mamba模块和局部性细化网络,实现高效学习视频压缩,提升低比特率下的感知质量和时间一致性。
2026-03-09 cs.CV
Unlocking Masked Autoencoders as Loss Function for Image and Video Restoration
Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学);Nankai University(南开大学)
随着深度学习的出现,图像和视频恢复实现了显著的飞跃。深度学习范式的成功在于三个关键组成部分:数据、模型和损失。目前,对前两者的研究较多,而对损失函数的研究较少。问题"是事实上的优化功能,例如,$L_1$、$L_2$和感知损失最佳?“,我们探索了损失的潜力,并提高了我们的信念”“学习的损失函数赋予了神经网络用于图像和视频分解的学习能力”。具体地说,我们站在掩蔽的自编码器(MAE)的肩膀上,并将其公式化为“学习的损失函数”,因为预先训练的MAE先天地继承了图像推理的先验。我们从三个角度研究了我们的信念的有效性:1)从任务定制的MAE到本地MAE,2)从图像任务到视频任务,3)从Transformer结构到卷积神经网络结构。跨多个图像和视频任务的广泛实验,包括图像去噪、图像超分辨率、图像增强、引导图像超分辨率、视频去噪和视频增强,证明了学习的损失函数引入的一致性能改进。此外,学习的损失函数是优选的,因为它可以在训练期间直接插入到现有网络中,而不涉及推理阶段中的计算。代码将公开提供。
2023-03-29 cs.CV
Efficient Bayer-Domain Video Computer Vision with Fast Motion Estimation and Learned Perception Residual
SIGS, Tsinghua University(清华大学信号与系统系);New York University(纽约大学)
针对视频视觉系统计算负担重的问题,本文提出前后端联合优化的拜耳域高效框架,通过移除传统ISP、并行运动估计、轻量残差网络优化,实现显著加速且性能损失极小。
2025-11-14 cs.CV
Versatile Learned Video Compression
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
学习的视频压缩方法已经证明了很大的希望,赶上传统的视频编解码器在其率失真(R-D)的性能。然而,现有的学习视频压缩方案受到预测模式和固定网络框架的绑定的限制。它们不能支持各种帧间预测模式,因此不适用于各种场景。在本文中,为了打破这一限制,我们提出了一个通用的学习视频压缩(VLVC)框架,使用一个模型来支持所有可能的预测模式。具体地,为了实现通用压缩,我们首先构建运动补偿模块,其应用多个3D运动矢量场(即,体素流)用于时空空间中的加权三线性扭曲。体素流传达时间参考位置的信息,这有助于将帧间预测模式与框架设计解耦。其次,在多参考帧预测的情况下,我们应用一个流预测模块来预测准确的运动轨迹与统一的多项式函数。我们表明,流量预测模块可以大大降低体素流的传输成本。实验结果表明,我们提出的VLVC不仅支持各种设置下的通用压缩,而且是第一个端到端学习视频压缩方法,在MS-SSIM方面优于最新的VVC/H.266标准参考软件。
2022-01-05 cs.CV eess.IV
Complexity Reduction of Learned In-Loop Filtering in Video Coding
在视频编码中,在存储用于输出的帧之前,对重构的视频帧应用环路滤波器以增强它们的感知质量。传统的环路滤波器是通过手工制作的方法获得的。最近,基于利用注意力机制的卷积神经网络的学习过滤器已被证明可以改进传统技术。然而,这些解决方案通常在计算上更加昂贵,限制了它们在实际应用中的潜力。该方法使用了一种新的稀疏性和结构化修剪的组合,用于降低学习的环路内滤波器的复杂性。这是通过三步训练过程完成的,即幅度引导的权重修剪、不重要的神经元识别和移除以及微调。通过初步的测试,我们发现,网络参数可以显着减少,对网络性能的影响最小。
2022-03-17 cs.CV eess.IV
Projection-Aware End-to-End Learned Video Compression for 360-Degree Video
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
该研究探讨投影格式对360度视频端到端神经压缩的影响,评估7种投影格式,发现投影效率依赖于编解码器,为学习型360度视频压缩的投影选择提供指导。
2026-09-07 cs.CV
Content-Adaptive Motion Rate Adaption for Learned Video Compression
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文介绍了一种学习视频压缩的在线运动速率自适应方案,其目的是实现对单个测试序列的内容自适应编码,以减轻训练数据和测试数据之间的域间隙。它的特征在于被称为$α$映射的补丁级比特分配映射,以空间自适应方式在用于运动和帧间编码的比特率之间进行权衡。我们优化的$α$ -地图通过在线反向传播计划在推理时间。此外,我们纳入了前瞻机制,考虑其对未来帧的影响。大量的实验结果证实,所提出的计划,当集成到一个有条件的学习视频编解码器,是能够适应运动比特率有效地,表现出很大的改善率失真性能,特别是在测试序列具有复杂的运动特性。
2023-02-13 cs.CV eess.IV
Video Coding Using Learned Latent GAN Compression
InterDigital(InterDigital公司)
本文提出了一种新的人脸视频压缩方法。我们利用StyleGAN等GANs的生成能力来表示和压缩视频,包括帧内和帧间压缩。每一帧都在StyleGAN的潜在空间中进行反转,从中学习最佳压缩。为此,使用归一化流模型来学习非对称潜在表示,其中熵模型可以针对图像编码进行优化。此外,我们提出了一个新的感知损失,比其他同行更有效。最后,还在先前构造的潜在表示中学习用于具有残差的视频帧间编码的熵模型。我们的方法(SGANC)简单,训练速度更快,与VTM,AV1和最近的深度学习技术等最先进的编解码器相比,图像和视频编码取得了更好的效果。特别是,它大大减少了在低比特率的感知失真。
2022-07-12 cs.CV eess.IV stat.ML
Can Learned Frame-Prediction Compete with Block-Motion Compensation for Video Coding?
Koç University(科奇大学)
鉴于学习视频预测的最新进展,我们研究了一个简单的视频编解码器是否可以与基于块运动补偿的标准视频编解码器竞争,该编解码器使用预先训练的深度模型,基于先前编码/解码的帧进行下一帧预测,而不发送任何运动辅助信息。给定学习帧预测的帧差由标准静止图像(帧内)编解码器编码。实验结果表明,在10个MPEG测试视频上,复杂度对称的简单编解码器的率失真性能平均优于x264编解码器,但尚未达到x265编解码器的水平。这个结果证明了学习帧预测(LFP)的强大功能,因为与运动补偿不同,LFP不使用来自当前图片的信息。分析了使用L1、L2或L2和对抗性损失的组合训练对预测性能和压缩效率的影响。
2020-07-17 cs.CV cs.LG eess.IV
Deep Learned Frame Prediction for Video Compression
Graduate School of Sciences and Engineering(科学与工程研究生院)
运动补偿是任何视频压缩算法中最基本的方法之一。视频帧预测是类似于运动补偿的任务。近年来,帧预测的任务由深度神经网络(DNN)承担。在这篇论文中,我们创建了一个DNN来执行学习的帧预测,并实现了一个包含我们的DNN的编解码器。我们针对两个不同的目标使用两种方法来训练我们的网络。首先,我们训练我们的网络仅基于均方误差(MSE),旨在获得最高的PSNR值在帧预测和视频压缩。其次,我们使用对抗训练来产生视觉上更真实的帧预测。对于帧预测,我们将我们的方法与帧差和16x16块运动补偿的基线方法进行了比较。对于视频压缩,我们还将x264视频编解码器纳入比较。我们表明,在帧预测中,对抗性训练产生的帧看起来更清晰,更逼真,与基于MSE的训练相比,但在视频压缩中,它的表现一直较差。这证明,即使对抗性训练对于生成更令人愉悦的视频帧很有用,但它们不应该用于视频压缩。此外,我们使用MSE训练的网络可以产生准确的帧预测,并且在定量结果中,对于这两个任务,它在所有视频中产生了可比的结果,并且平均优于其他方法。更具体地说,学习帧预测优于其他方法的率失真性能的情况下,高运动视频,而我们的方法的率失真性能是有竞争力的x264在低运动视频。
2018-11-27 cs.CV eess.IV
Hierarchical B-frame Video Coding for Long Group of Pictures
Huawei Technologies(华为技术有限公司)
针对学习型随机访问视频压缩评估不全面、性能待提升的问题,提出结合长序列训练、分层码率分配与推理内容自适应的端到端编解码器,在多项指标上优于现有方案。
2024-06-24 cs.CV
Spatial Decomposition and Temporal Fusion based Inter Prediction for Learned Video Compression
University of Science and Technology of China(中国科学技术大学)
针对学习型视频压缩中局部区域运动不一致与遮挡导致帧间预测不准的问题,提出基于空间分解与时间融合的帧间预测方法,性能优于H.266/VVC参考软件。
2024-01-29 cs.CV eess.IV
Adversarial Distortion for Learned Video Compression
Qualcomm AI Research, Qualcomm Technologies, Inc.(高通人工智能研究院,高通技术公司);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通人工智能研究院,高通技术荷兰有限公司);University of California San Diego(加州大学圣迭戈分校)
在本文中,我们提出了一种新的对抗有损视频压缩模型。在极低的比特率,标准的视频编码方案遭受不愉快的重建文物,如阻塞,振铃等现有的学习神经的方法来视频压缩已经取得了合理的成功,降低比特率的有效传输,并在一定程度上减少文物的影响。然而,它们在极端压缩下仍然倾向于产生模糊的结果。在本文中,我们提出了一种深度对抗学习的视频压缩模型,该模型可以最大限度地减少辅助对抗失真目标。我们发现,相对于传统的质量指标(如MS-SSIM和PSNR),这种对抗性目标与人类感知质量判断的相关性更好。我们的实验使用一个国家的最先进的学习视频压缩系统表现出减少感知文物和重建的细节丢失,特别是在极高的压缩。
2021-06-18 cs.CV cs.LG eess.IV
The Practice of Averaging Rate-Distortion Curves over Testsets to Compare Learned Video Codecs Can Cause Misleading Conclusions
Codeway AI Research(Codeway AI研究院);Koç University(科克大学)
本文证明在测试集上平均率失真曲线会误导学习型视频编解码器的性能评估,建议社区报告每序列RD曲线并基于每序列指标平均值计算性能,以确保比较公平准确。
2024-12-24 cs.CV cs.MM eess.IV
ViewCLR: Learning Self-supervised Video Representation for Unseen Viewpoints
Stony Brook University(石溪大学)
学习自监督视频表示主要集中在从简单的数据增强方案产生的判别实例。然而,学习的表示往往无法推广到看不见的相机视点。为此,我们提出了Viewbatch,它学习对相机视点变化不变性的自监督视频表示。我们引入了一个视图生成器,可以被认为是一个可学习的增强任何自我监督的预文本任务,生成潜在的观点表示的视频。ViewView使潜在视点表示与其来自原始视点的表示之间的相似性最大化,使得学习的视频编码器能够在看不见的相机视点上进行概括。在包括NTU RGB + D数据集在内的跨视图基准数据集上的实验表明,Viewbatch是一种最先进的视点不变自监督方法。
2021-12-07 cs.CV
End-to-End Rate-Distortion Optimized Learned Hierarchical Bi-Directional Video Compression
Koç University(科奇大学)
传统的视频压缩(VC)方法基于运动补偿变换编码,并且由于端到端优化问题的组合性质,运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习VC允许同时对非线性变换、运动和熵模型进行端到端的率失真(R-D)优化训练。大多数关于学习VC的工作考虑基于在连续帧对上平均的R-D损失的顺序视频编解码器的端到端优化。在常规VC中众所周知,分层双向编码优于顺序压缩,因为其能够使用过去和未来的参考帧。本文提出了一种学习分层双向视频编解码器(LHBDC),结合了分层运动补偿预测和端到端优化的好处。实验结果表明,我们取得了最好的R-D结果,报告学习VC计划的PSNR和MS-SSIM。与传统的视频编解码器相比,我们的端到端优化编解码器的R-D性能在PSNR和MS-SSIM以及MS-SSIM中的HM 16.23参考软件方面优于x265和SVT-HEVC编码器(“非常慢”预设)。我们目前的消融研究表明,由于提出的新工具,如学习掩蔽,流场子采样,和时间流矢量预测的性能增益。复制我们的结果的模型和说明可以在https://github.com/makinyilmaz/LHBDC/中找到
2021-12-17 cs.CV eess.IV
Collaborative Spatio-temporal Feature Learning for Video Action Recognition
Hikvision Research Institute(海康威视研究院)
时空特征学习对于视频中的动作识别至关重要。现有的深度神经网络模型要么独立地学习空间和时间特征(C2D),要么与无约束参数联合学习(C3D)。在本文中,我们提出了一种新的神经操作,通过对可学习参数施加权重共享约束来协同编码时空特征。特别是,我们沿着体积视频数据的三个正交视图执行2D卷积,分别学习空间外观和时间运动线索。通过共享不同视图的卷积核,空间和时间特征可以协同学习,从而相互受益。随后通过加权求和来融合互补特征,加权求和的系数是端到端学习的。我们的方法在大规模基准测试中实现了最先进的性能,并在2018年的Moments in Time Challenge中获得了第一名。此外,基于不同视图的学习系数,我们能够量化空间和时间特征的贡献。这一分析揭示了模型的可解释性,也可能指导未来的视频识别算法的设计。
2019-03-04 cs.CV
Video Reconstruction from a Single Motion Blurred Image using Learned Dynamic Phase Coding
Tel Aviv University(特拉维夫大学)
从一幅运动模糊图像重建视频是一个具有挑战性的问题,它可以提高现有摄像机的能力。最近,有几项工作使用传统成像和深度学习解决了这一任务。然而,由于方向模糊性和噪声敏感性,这种纯数字方法固有地受到限制。一些工作提出使用非传统的图像传感器来解决这些限制,然而,这样的传感器是非常罕见和昂贵的。为了用更简单的方法规避这些限制,我们提出了一种混合光学数字视频重建方法,只需要简单的修改现有的光学系统。我们使用一个学习的动态相位编码的镜头光圈在图像采集过程中编码的运动轨迹,作为先验信息的视频重建过程。所提出的计算相机产生一个尖锐的帧突发的场景在不同的帧速率从一个单一的编码运动模糊图像,使用图像到视频卷积神经网络。我们目前的优势和改进的性能相比,现有的方法,使用模拟和现实世界的相机原型。我们扩展我们的光学编码也视频帧内插和噪声视频提出了强大的和改进的结果。
2022-12-18 cs.CV eess.IV
Image-to-Video Person Re-Identification by Reusing Cross-modal Embeddings
Wuhan University of Technology(武汉理工大学)
图像到视频人重新识别通过来自由非重叠相机捕获的大量行人视频的探测图像来识别目标人。尽管取得了很大的进展,它仍然是具有挑战性的多模态场景,即图像和视频之间的匹配。目前,最先进的方法主要集中在特定的任务数据,忽略了不同的,但相关的任务的额外信息。在本文中,我们提出了一个端到端的神经网络框架,用于图像到视频的人重新识别,通过利用从额外的信息学习的跨模态嵌入。具体地说,来自图像描述和视频描述模型的跨模态嵌入被重用,以帮助学习的特征被投影到一个协调的空间中,在那里可以直接计算相似度。此外,固定模型重用方法的训练步骤被集成到我们的框架中,它可以包含有益的信息,并最终使目标网络独立于现有的模型。除此之外,我们提出的框架采用CNN和LSTM来提取视觉和时空特征,并结合识别和验证模型的优势来提高学习特征的区分能力。实验结果表明,我们的框架在缩小异构数据之间的差距,并获得明显的改善,在图像到视频的人重新识别的有效性。
2018-10-22 cs.CV
Advancing Learned Video Compression with In-loop Frame Prediction
ETH Zurich(苏黎世联邦理工学院);Julius Maximilian University of Würzburg(维尔茨堡朱利叶斯·马克西米利安大学);KU Leuven(鲁汶大学)
近年来,人们对端到端学习视频压缩越来越感兴趣。大多数以前的作品探索的时间冗余检测和压缩的运动图向目标帧翘曲的参考帧。然而,它未能充分利用历史先验的顺序参考框架。在本文中,我们提出了一种先进的学习视频压缩(ALVC)的方法与环路帧预测模块,它能够有效地预测目标帧从先前压缩的帧,而不消耗任何比特率。预测帧可以作为比先前压缩的帧更好的参考,因此它有利于压缩性能。所提出的环内预测模块是端到端视频压缩的一部分,并且在整个框架中被联合优化。我们分别提出了用于压缩P帧和B帧的循环和双向环内预测模块。实验表明,我们的ALVC方法在学习视频压缩的最先进的性能。在PSNR方面,我们还优于x265的默认分层B模式,并在MS-SSIM上击败了SSIM调整的x265的最慢模式。项目页面:https://github.com/RenYang-home/ALVC。
2022-11-18 cs.CV eess.IV
Non-Adversarial Video Synthesis with Learned Priors
University of California, Riverside(加州大学河滨分校);IBM Research AI(IBM研究AI部门)
视频合成中的大多数现有工作都集中在使用对抗学习生成视频。尽管这些方法取得了成功,但它们通常需要输入参考帧,或者无法从给定的数据分布生成不同的视频,可以生成的视频质量几乎没有均匀性。与这些方法不同的是,我们专注于从潜在噪声向量生成视频的问题,没有任何参考输入帧。为此,我们开发了一种新的方法,通过非对抗学习联合优化输入潜在空间,递归神经网络和生成器的权重。优化输入潜在空间以及网络权重使我们能够在受控环境中生成视频,即,我们可以忠实地生成模型在学习过程中看到的所有视频以及新的未看到的视频。在三个具有挑战性和多样性的数据集上进行的大量实验充分证明,与现有的最先进的方法相比,我们的方法可以生成质量更高的视频。
2020-04-17 cs.CV eess.IV
ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Artificial Intelligence, Ningbo University(宁波大学人工智能学院);National University of Singapore(新加坡国立大学);Zhejiang University of Technology(浙江工业大学);School of Information Engineering, Zhongnan University of Economics and Law(中南财经政法大学信息工程学院)
ENCORE是结合事件相机与RGB帧的学习型视频压缩框架,通过CMR、SERIC、EAR模块细化运动,在多数据集上实现了BD-rate节省的性能提升。
2026-07-31 cs.CV
ELITE: Efficient Gaussian Head Avatar from a Monocular Video via Learned Initialization and TEst-time Generative Adaptation
Dept. of Electrical Engineering, POSTECH(POSTECH电子工程系);School of Computing, KAIST(韩国科学技术院计算机学院);UNIST(全南大学);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息研究所)
ELITE通过学习初始化和测试时生成适应,高效生成高斯头人偶,实现高保真和强野外泛化,合成速度比2D方法快60倍。
2026-01-15 cs.CV
Learned Video Compression with Residual Prediction and Loop Filter
Waseda Research Institute for Science and Engineering(早稻田大学理工学研究所);Fudan University(复旦大学)
在本文中,我们提出了一个学习视频编解码器与残差预测网络(RP-网)和特征辅助环路滤波器(LF-网)。对于RP-Net,我们利用先前多帧的残差来进一步消除当前帧残差的冗余。对于LF-Net,使用来自残差解码网络和运动补偿网络的特征来辅助重建质量。为了降低复杂性,使用轻型ResNet结构作为RP-Net和LF-Net的主干。实验结果表明,我们可以节省约10%的BD率相比,以前学习的视频压缩框架。此外,由于ResNet主干,我们可以实现更快的编码速度。该项目可在https://github.com/chaoliu18/RPLVC上查阅。
2021-08-19 cs.CV cs.MM eess.IV
HODOR: High-level Object Descriptors for Object Re-segmentation in Video Learned from Static Images
RWTH Aachen University(亚琛工业大学);Carnegie Mellon University(卡内基梅隆大学)
用于视频对象分割(VOS)的现有最先进的方法学习帧之间的低级像素到像素对应以跨视频传播对象掩模。这需要大量的密集注释的视频数据,这是昂贵的注释,并且由于视频内的帧高度相关而在很大程度上是冗余的。有鉴于此,我们提出HODOR:一种新的方法,有效地利用注释的静态图像理解对象的外观和场景上下文来处理VOS。我们编码的对象实例和场景信息从图像帧到强大的高级描述符,然后可以用来重新分割这些对象在不同的帧。因此,与没有视频注释的现有方法相比,HODOR在DAVIS和YouTube-VOS基准测试中实现了最先进的性能。在没有任何架构修改的情况下,HODOR还可以通过利用循环一致性从单个注释视频帧周围的视频上下文中学习,而其他方法依赖于密集的时间一致的注释。源代码可从以下网址获得:https://github.com/Ali2500/HODOR
2022-07-15 cs.AI cs.CV
Deep Image-to-Video Adaptation and Fusion Networks for Action Recognition
Sun Yat-Sen University(中山大学);Xidian University(西安电子科技大学);Northwestern Polytechnical University(西北工业大学)
现有的用于视频中动作识别的深度学习方法需要大量标记的视频进行训练,这是劳动密集型和耗时的。对于同一个动作,从不同媒体类型学习的知识,例如,视频和图像可以是相关的和互补的。然而,由于视频和图像之间的域转移和异构特征表示,在图像上训练的分类器的性能可能会显着下降时,直接部署到视频。在本文中,我们提出了一种名为深度图像到视频自适应和融合网络(DIVAFN)的新方法,通过使用视频关键帧作为桥梁从图像中传输知识来增强视频中的动作识别。DIVAFN是一个统一的深度学习模型,它将领域不变表示学习和跨模态特征融合集成到一个统一的优化框架中。具体来说,我们设计了一个有效的跨模态相似性度量,以减少图像,关键帧和视频之间的模态转移。然后,我们采用自动编码器架构,其隐藏层被约束为动作类名的语义表示。通过这种方式,当采用自编码器将来自不同域的学习特征投影到同一空间时,可以获得更紧凑、信息量更大且具有区分性的表示。最后,从这三个自编码器的学习语义特征表示的级联用于训练分类器,用于视频中的动作识别。在四个真实世界数据集上的综合实验表明,我们的方法优于一些最先进的领域自适应和动作识别方法。
2019-11-25 cs.CV
Entropy-Coded MS-VQ-VAE with Learned Priors for Ultra-Low Bitrate Video Compression
Portland State University Department of Computer Science(波特兰州立大学计算机科学系)
研究基于连续潜在表示的视频编解码器在低比特率下的问题,利用离散潜在表示和学习的自回归先验突破限制,在MS-VQ-VAE架构上优化,实现超低比特率且质量优于H.265。
2026-07-07 cs.CV
Latent-INR: A Flexible Framework for Implicit Representations of Videos with Discriminative Semantics
University of Maryland, College Park(马里兰大学帕克分校)
本文提出 Latent-INR 框架,通过逐帧潜变量字典与视频特定超网络解耦视频 INR 的空间与时间方面,使学习到的潜变量可与 CLIP、VideoLlama 等大模型对齐,从而在保持压缩效率的同时赋予视频隐式表示判别语义,支持检索、对话和插值等任务。
2024-08-05 cs.CV
Learned Video Compression via Heterogeneous Deformable Compensation Network
The Hong Kong Polytechnic University(香港理工大学)
提出基于异构可变形补偿策略(HDCVC)的学习型视频压缩框架,通过估计内容自适应的异构可变形核偏移和设计SNCDN与多帧增强重建模块,在压缩性能上优于近期先进方法。
2023-06-29 cs.CV cs.MM eess.IV
Learned Video Compression via Joint Spatial-Temporal Correlation Exploration
Nanjing University(南京大学);Horizon Robotics(地平线机器人)
传统的视频压缩技术已经发展了几十年,以追求更高的编码效率。有效的时间信息表示在视频编码中起着关键作用。因此,在本文中,我们建议利用时间相关性使用一阶光流和二阶流预测。我们提出了一个一阶段的学习方法来封装流的量化功能,从连续的帧,然后熵编码的联合时空先验条件下的自适应上下文,以利用二阶相关性。使用ConvLSTM递归地将联合先验嵌入到自回归空间邻居、同位超元素和时间邻居中。我们评估我们的方法,低延迟的情况下,高效率视频编码(H.265/HEVC),H.264/AVC和另一个学习的视频压缩方法,以下常见的测试设置。我们的工作提供了最先进的性能,在所有流行的测试序列中具有一致的增益。
2019-12-13 cs.CV cs.MM eess.IV
Learned Video Compression
WaveOne, Inc.(WaveOne公司)
我们提出了一种新的视频编码算法,学习端到端的低延迟模式。在这种情况下,我们的方法在几乎整个比特率范围内都优于所有现有的视频编解码器。据我们所知,这是第一个基于ML的方法。我们评估我们的方法对不同分辨率的标准视频压缩测试集,并对所有主流的商业编解码器的基准,在低延迟模式。在标准清晰度视频上,相对于我们的算法,HEVC/H.265,AVC/H.264和VP 9通常会产生高达60%的代码。在高清1080 p视频上,H.265和VP 9通常会产生高达20%的代码,而H.264则会增加35%。此外,我们的方法不会受到阻塞伪影和像素化的影响,从而产生视觉上更令人愉悦的视频。我们提出两个主要贡献。第一种是用于视频压缩的新颖架构,其(1)概括运动估计以执行除简单平移之外的任何学习的补偿,(2)不是严格依赖于先前传输的参考帧,而是维持由模型学习的任意信息的状态,以及(3)使得能够联合压缩所有传输的信号(诸如光流和残差)。其次,我们提出了一个基于ML的空间速率控制的框架:即,跨空间为每个帧分配可变比特率的机制。这是视频编码的关键组件,据我们所知,它还没有在机器学习环境中开发出来。
2018-11-16 cs.CV cs.LG eess.IV
Learned Scalable Video Coding For Humans and Machines
School of Engineering Science, Simon Fraser University(西蒙菲莎大学工程科学学院)
提出一种端到端可学习的可扩展视频编解码器,基础层支持机器视觉任务,增强层结合基础层支持人类观看的输入重建,基于条件编码实现更优压缩增益,在四个数据集上性能优于现有方案。
2024-11-17 cs.CV eess.IV
Key Frame Proposal Network for Efficient Pose Estimation in Videos
Northeastern University(东北大学);Motorola Solutions, Inc.(摩托罗拉系统公司)
视频中的人体姿态估计依赖于本地信息,要么独立地估计每个帧,要么跨帧跟踪姿态。在本文中,我们提出了一种新的方法相结合的局部方法与全球背景。我们引入了一个轻量级的,无监督的,关键帧建议网络(K-FPN)来选择信息帧和一个学习字典来恢复这些帧的整个姿势序列。K-FPN加速了姿态估计,并对具有遮挡、运动模糊和照明变化的坏帧提供了鲁棒性,而学习的字典提供了全局动态上下文。在Penn Action和sub-JHMDB数据集上的实验表明,该方法具有较高的准确率和较好的加速性能。
2020-07-30 cs.CV
DejaVid: Encoder-Agnostic Learned Temporal Matching for Video Classification
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对现有大型视频编码器平均池化忽略时序特征、时序建模需重训的问题,提出编码器无关的DejaVid方法,将视频转为多元时间序列并学习逐帧特征权重,以极小参数和训练成本显著提升多数据集分类准确率。
2025-06-14 cs.CV
Reducing The Mismatch Between Marginal and Learned Distributions in Neural Video Compression
InterDigital, Inc.(交互数字公司)
在过去的四年中,我们见证了端到端可训练图像压缩模型的成功。与数十年的增量工作相比,这些机器学习(ML)技术学习了压缩技术的所有组件,这解释了它们的实际优势。然而,端到端ML模型尚未达到传统视频编解码器(如VVC)的性能。可能的解释是:缺乏数据来解释时间冗余,或者神经模型中潜在的密度估计效率低下。后一个问题可以通过潜在的边缘分布和学习的先验分布之间的差异来定义。这种不匹配,称为熵模型的摊销间隙,扩大了压缩数据的文件大小。在本文中,我们提出了三个国家的最先进的ML视频压缩方法评估摊销差距。其次,我们提出了一种有效的和通用的方法来解决摊销差距,并表明它导致$2\%$之间的改进,$5\%$,而不影响重建质量。
2022-10-12 cs.CV eess.IV
Open-Domain Sign Language Translation Learned from Online Video
TTI-Chicago(芝加哥丰田技术研究院)
现有的手语翻译工作-即从手语视频翻译成书面语言的句子-主要集中在(1)在受控环境中收集的数据或(2)特定领域的数据,这限制了对现实世界设置的适用性。在本文中,我们介绍了OpenASL,这是一个从在线视频网站(例如,YouTube)。OpenASL包含来自200多个签名者的多个领域的288小时ASL视频,是迄今为止最大的公开可用ASL翻译数据集。为了解决现实环境中的手语翻译的挑战,没有掩饰,我们提出了一套技术,包括标志搜索作为预训练和融合的口形和手形特征的借口任务。所提出的技术在翻译质量上产生了一致的和大的改进,超过了基于先前工作的基线模型。我们的数据和代码可在https://github.com/chevalierNoir/OpenASL上公开获取
2022-11-19 cs.CL cs.CV
TokenLearner: What Can 8 Learned Tokens Do for Images and Videos?
Google Research(谷歌研究院);Stony Brook University(石溪大学)
在本文中,我们介绍了一种新的视觉表示学习,它依赖于少数自适应学习的令牌,这是适用于图像和视频理解任务。我们的方法不是依靠手工设计的分割策略来获得视觉标记,而是处理大量密集采样的补丁来引起注意,而是学习挖掘视觉数据中的重要标记。这导致高效且有效地找到一些重要的视觉标记,并且使得能够在视频的较长时间范围内或图像中的空间内容上对这些标记之间的成对注意力进行建模。我们的实验在几个具有挑战性的图像和视频识别任务的基准测试中表现出强大的性能。重要的是,由于我们的令牌是自适应的,我们在显著减少计算量的情况下实现了有竞争力的结果。我们在ImageNet上获得了与最先进技术相当的结果,同时计算效率更高。我们还证实了该方法在多个视频数据集上的有效性,包括Kinetics-400,Kinetics-600,Charades和AViD。该代码可从以下网址获得:https://github.com/google-research/scenic/tree/main/scenic/projects/token_learner
2022-04-03 cs.CV cs.LG
Bidirectional Learned Facial Animation Codec for Low Bitrate Talking Head Videos
Hosei University(法政大学)
针对单向面部动画编码依赖单关键帧、难以处理大幅头部运动的问题,提出结合过去与未来关键帧的双向学习型编解码器,在说话人头部视频上较最新方法和VVC分别降低55%与35%比特率。
2025-03-12 cs.CV eess.IV
MaCLR: Motion-aware Contrastive Learning of Representations for Videos
AWS AI Labs(亚马逊云科技人工智能实验室);Meta AI
我们提出了一种新的方法来显式地执行跨模态自监督视频表示学习视觉和运动模态。与以前的视频表示学习方法主要集中在从RGB输入中隐式地学习运动线索相比,Mastery丰富了RGB视频剪辑的标准对比学习目标,具有运动路径和视觉路径之间的跨模态学习目标。我们表明,用我们的Mastery方法学习的表示更侧重于前景运动区域,从而更好地推广到下游任务。为了证明这一点,我们在五个数据集上评估了Major的动作识别和动作检测,并在所有数据集上展示了最先进的自监督性能。此外,我们还证明了在UCF 101和HMDB 51动作识别上,Mastery表示可以与完全监督学习的表示一样有效,甚至在VidSitu和SSv2上的动作识别以及AVA上的动作检测方面优于监督表示。
2022-07-20 cs.CV