A pipeline for multiple orange detection and tracking with 3-D fruit relocalization and neural-net based yield regression in commercial citrus orchards
Embrapa Digital Agriculture（巴西农业研究公司数字农业）
本研究提出一种视频果实计数流水线，结合CNN检测、帧间跟踪、3-D重定位和神经网络回归，在商业柑橘园中实现高精度产量预测，决定系数达0.85。
2023-12-27 cs.CV
VideoReloc: Long-Term Indoor Video Relocalization against a Kilobyte-Scale Semantic Scene Graph
Technical University of Munich（慕尼黑工业大学）；Huawei Hilbert Research Center (Dresden)（华为希尔伯特研究中心（德累斯顿））
VideoReloc利用自适应视频片段和语义场景图，通过假设优先注册与方向细化，实现光照和家具变化下的长时室内重定位，以100 kB地图达到高成功率。
2026-09-21 cs.CV
VidLoc: A Deep Spatio-Temporal Model for 6-DoF Video-Clip Relocalization
University of Oxford（牛津大学）；University of Warwick（华威大学）
机器学习技术，即卷积神经网络（CNN）和回归森林，最近在执行单目图像的6-DoF定位方面显示出很大的前景。然而，在大多数情况下，图像序列，而不是只有单个图像，是容易获得的。在这个程度上，没有一个提出的基于学习的方法利用时间平滑度的有价值的约束，通常导致每帧误差大于相机运动的情况。在本文中，我们提出了一个经常性的模型进行6自由度定位的视频剪辑。我们发现，即使只考虑短序列（20帧），姿态估计平滑和定位误差可以大大减少。最后，我们考虑从我们的模型中获得概率姿态估计的方法。我们在开放的真实世界自动驾驶和室内定位数据集上评估了我们的方法。
2017-07-31 cs.CV
S3E-GNN: Sparse Spatial Scene Embedding with Graph Neural Networks for Camera Relocalization
Midea Robozone Inc（美的机器人公司）；Massachusetts Institute of Technology（麻省理工学院）
摄像机重定位是同时定位与地图构建（SLAM）系统的关键组成部分。本文提出了一种基于学习的方法，命名为稀疏空间场景嵌入与图神经网络（S3 E-GNN），作为一个端到端的框架，有效和强大的相机重新定位。S3 E-GNN由两个模块组成。在编码模块中，训练的S3 E网络将RGB图像编码成嵌入代码，以隐式地表示空间和语义嵌入代码。利用从SLAM系统获得的嵌入代码和相关联的姿态，每个图像被表示为姿态图中的图节点。在GNN查询模块中，姿态图被转换以形成用于相机重定位的嵌入聚合参考图。我们在具有挑战性的环境中收集各种场景数据集来进行实验。我们的研究结果表明，由于基于学习的嵌入和GNN驱动的场景匹配机制，S3 E-GNN方法在相机重定位方面优于传统的词袋（BoW）。
2022-05-12 cs.AI cs.CV cs.RO
U-BEV: Height-aware Bird's-Eye-View Segmentation and Neural Map-based Relocalization
BayerLab, Huawei Zurich Research Center（华为苏黎世研究中心拜耳实验室）；MPI for Informatics（马克斯·普朗克信息学研究所）；BayerLab, Huawei（华为拜耳实验室）
U-BEV提出一种多高度层U-Net架构的BEV分割方法，结合可微模板匹配器实现神经地图重定位，在nuScenes上显著提升精度与召回率。
2025-03-29 cs.CV
EgoNN: Egocentric Neural Network for Point Cloud Based 6DoF Relocalization at the City Scale
提出了一种基于深度神经网络的旋转三维激光雷达点云全局和局部描述子提取方法。该描述符可用于两阶段6DoF重定位。首先，通过在地理标记的点云数据库中找到具有最接近的全局描述符的候选者来检索课程位置。然后，通过匹配局部描述符并使用诸如RANSAC的鲁棒估计器来估计查询点云和数据库点云之间的6DoF姿态。我们的方法具有基于稀疏体素化表示的简单的全卷积架构。它可以有效地提取一个全局描述符和一组关键点与局部描述符从大型点云与数万点。我们的代码和预训练模型在项目网站上公开提供。
2021-10-24 cs.CV
Hybrid Structure-from-Motion and Camera Relocalization for Enhanced Egocentric Localization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
本研究提出EgoLoc-v1流水线，通过融合SfM与相机重定位的混合策略及模型集成优化VQ3D任务的相机位姿估计，整体成功率较现有最优方法EgoLoc提升1.5%，并开源了代码。
2024-07-10 cs.CV
Relative Geometry-Aware Siamese Neural Network for 6DOF Camera Relocalization
六自由度摄像机重定位是自主驾驶和导航的重要组成部分。深度学习最近已经成为解决这个问题的一种有前途的技术。在本文中，我们提出了一种新的相对几何感知的连体神经网络，通过显式地利用图像之间的相对几何约束来增强基于深度学习的方法的性能。我们执行多任务学习，并同时预测绝对和相对姿势。我们在姿态和特征域中正则化共享权重的孪生网络，以确保估计的姿态是全局和局部正确的。我们采用度量学习和设计一种新的自适应度量距离损失学习的功能，能够区分来自不同位置的视觉相似的图像构成。我们评估了所提出的方法在公共室内和室外基准和实验结果表明，我们的方法可以显着提高定位性能。此外，进行了广泛的消融评价，以证明损失函数的不同项的有效性。
2019-01-21 cs.CV
Camera Relocalization in Shadow-free Neural Radiance Fields
Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Beihang University（北京航空航天大学）
本文提出一种两阶段流水线，利用哈希编码NeRF和动态低通滤波及梯度平均技术，在光照变化下实现相机重定位，达到最先进性能。
2024-05-23 cs.CV cs.RO
Progressive Fourier Neural Representation for Sequential Video Compilation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
提出渐进式傅里叶神经表示（PFNR），通过傅里叶空间稀疏编码和权重冻结迁移，实现多视频顺序编码中的持续累积与无损解码，在UVG8/17和DAVIS50基准上超越持续学习基线。
2024-02-07 cs.AI cs.CV cs.LG
Neural Generation of Blocks for Video Coding
SoundHound（声hound公司）
经过良好训练的生成神经网络（GNN）在压缩静态图像的视觉信息方面非常有效，但对于大多数视频内容来说，它不如帧间和帧内预测那么有效。然而，对于进入帧的内容，例如在平移或缩小期间，以及具有曲线、不规则形状或精细细节的内容，通过GNN生成可以提供更好的压缩效率（更低的速率失真）。本文提出了在特定时间对视频比特流中GNN的内容特定的学习参数进行编码，并使用GNN为特定范围的块和帧生成内容。要生成的块仅仅是生成比帧间或帧内预测更有效的压缩的块。这种方法最大化了学习参数中包含的信息的有用性。
2020-10-05 cs.LG cs.MM eess.IV
Neural video codecs quality assessment dataset and benchmark
AI Center, Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学人工智能中心）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
针对神经视频编解码器（NVCs）时间压缩范式的质量评估需求，该研究构建了含NVCs与传统编解码器压缩视频的大规模主观数据集，通过众包成对比较获取评分，为相关视频质量指标的开发与基准测试提供了资源。
2026-09-01 cs.CV
Learning Video-Story Composition via Recurrent Neural Network
Dalian University of Technology（大连理工大学）；University of California, Merced（加州大学默塞德分校）；NEC Labs America（美国电气股份有限公司实验室）；NVIDIA Research（英伟达研究院）
在本文中，我们提出了一种基于学习的方法来组成一个视频故事，从一组视频剪辑描述的活动或经验。我们通过循环神经网络（RNN）从真实视频中学习视频剪辑之间的一致性，该网络联合采用时空语义和运动动力学来生成平滑和相关的组合。我们进一步重新排列RNN生成的结果，通过子模块排名优化过程使整个视频故事与故事情节结构兼容。视频故事数据集上的实验结果表明，该算法优于国家的最先进的方法。
2018-01-31 cs.CV
Video retrieval based on deep convolutional neural network
Beijing Institution of Technology（北京理工大学）
近年来，随着网络视频的迅猛增长，快速视频检索的研究受到越来越多的关注。作为图像哈希技术的扩展，传统的视频哈希方法主要依赖于手工制作的特征，并将实值特征转换为二进制哈希码。由于视频提供的视觉信息远比图像丰富和复杂，因此从视频中提取特征比从图像中提取特征更具挑战性。因此，需要高级语义特征来表示视频，而不是低级手工制作的方法。本文提出了一种深度卷积神经网络来提取高层语义特征，然后将二进制哈希函数集成到该框架中以实现端到端的优化。特别地，我们的方法还结合了三元组损失函数，它保留了视频和分类损失函数的相对相似性和差异作为优化目标。在两个公开数据集上进行了实验，结果表明，与其他最先进的视频检索方法相比，我们提出的方法的优越性。
2017-12-01 cs.CV
Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文探讨了利用卷积神经网络和循环神经网络对视频中的活动进行分类和时间定位的不同方法，并提出了一种实现方法。作为第一步，已经使用最先进的3D卷积神经网络从视频帧中提取特征。这些特征被输入到循环神经网络中，该网络以简单而灵活的方式解决活动分类和时间定位任务。已经测试了不同的架构和配置，以实现所提供的视频数据集的最佳性能和学习。此外，还研究了对训练好的网络输出进行不同类型的后处理，以在视频活动的时间定位上取得更好的结果。本论文中开发的神经网络提供的结果已提交给CVPR的ActivityNet Challenge 2016，使用简单灵活的架构实现了有竞争力的结果。
2017-03-02 cs.CV
Hierarchical Recurrent Neural Network for Video Summarization
Northwestern Polytechnical University（西北工业大学）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）
利用视频帧或子镜头之间的时间相关性对于视频摘要任务非常重要。实际上，RNN擅长于时间依赖建模，并且在许多基于视频的任务中取得了压倒性的性能，例如视频描述和分类。然而，RNN不足以处理视频摘要任务，因为传统的RNN，包括LSTM，只能处理短视频，而摘要任务中的视频通常持续时间较长。为了解决这个问题，本文提出了一种用于视频摘要的分层循环神经网络，称为H-RNN。具体地说，它有两层，其中第一层用于编码从原始视频中剪切的短视频子镜头，并且每个子镜头的最终隐藏状态被输入到第二层，用于计算其作为关键子镜头的置信度。与传统的RNN相比，H-RNN更适合于视频摘要，因为它可以利用帧之间的长时间依赖性，同时，计算操作显着减少。两个流行的数据集，包括组合数据集和VTW数据集的结果表明，所提出的H-RNN优于最先进的。
2019-04-28 cs.CV
Forensic Video Steganalysis in Spatial Domain by Noise Residual Convolutional Neural Network
Netherlands Forensic Institute（荷兰法医研究所）；Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出使用噪声残差卷积神经网络在空间域进行取证视频隐写分析，通过构建视频隐写数据集训练模型，实验检测率达99.96%，验证了CNN方法在视频隐写取证中的有效性。
2023-05-29 cs.CR cs.CV
VRS-NeRF: Visual Relocalization with Sparse Neural Radiance Field
University of Cambridge（剑桥大学）；Toyota Motor Europe（丰田汽车欧洲公司）
针对现有视觉重定位方法精度与效率难以兼顾的问题，提出基于稀疏神经辐射场的VRS-NeRF框架，结合显式几何地图与隐式学习地图，在保证接近分层方法精度的同时大幅提升效率、减小地图体积。
2024-04-14 cs.CV cs.RO
CROSSFIRE: Camera Relocalization On Self-Supervised Features from an Implicit Representation
Noah’s Ark IoV team, Huawei France（华为法国诺亚方舟IoV团队）；Mines Paris, PSL University, Centre for robotics（巴黎综合理工学院（PSL大学）机器人中心）
本研究提出CROSSFIRE相机重定位算法，以神经辐射场作为场景隐式地图，基于体渲染得到的自监督场景专用密集局部特征实现单目RGB相机的实时高精度重定位，适配动态光照室外环境且易集成到体积神经渲染器。
2023-08-22 cs.CV
fMRI2Face: A Full-HD fMRI-Video Dataset and Geometry-Guided Neural Decoding Framework for Dynamic Human Face Reconstruction
Fudan University（复旦大学）；Westlake University（西湖大学）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Xmov（未提及通用中文名，可音译为艾莫夫）
该研究提出fMRI-Face数据集及fMRI2Face框架，用于从大脑活动重建动态人脸。框架从大脑活动中获取两种互补神经控制，经整合实现高保真面部视频重建，实验显示其性能优于基线，为动态面部感知研究提供了新平台和基准。
2026-07-27 cs.CV
Unsupervised Metric Relocalization Using Transform Consistency Loss
University of Colorado（科罗拉多大学）；Amazon（亚马逊公司）
训练网络执行度量重新定位传统上需要准确的图像对应。在实践中，这些是通过限制域覆盖，采用额外的传感器，或捕获大型多视图数据集。相反，我们提出了一个自我监督的解决方案，它利用了一个关键的见解：在地图内定位查询图像应该产生相同的绝对姿态，而不管用于注册的参考图像。在这种直觉的指导下，我们得到了一个新的变换一致性损失。使用这个损失函数，我们训练一个深度神经网络来推断密集的特征和显著性图，以在动态环境中执行鲁棒的度量重定位。我们在合成和真实世界的数据上评估了我们的框架，表明我们的方法在有限的地面实况信息可用时优于其他监督方法。
2020-11-01 cs.CV cs.RO
Improving Efficiency of DNN-based Relocalization Module for Autonomous Driving with Server-side Computing
本文提出一种基于边缘云协作的自动驾驶相机重新定位框架，通过将DNN部分模块卸载到服务器并评估不同切分方案的推理时间，有效降低了车载端计算负担，实验验证了其有效性。
2023-12-01 cs.CV cs.RO
Scene Coordinate Regression with Angle-Based Reprojection Loss for Camera Relocalization
Aalto University（阿尔托大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
基于图像的摄像机重定位是计算机视觉和机器人学中的一个重要问题。最近的工作利用卷积神经网络（CNN）来为查询图像中的像素回归它们在场景中的对应3D世界坐标。然后使用预测的坐标通过基于RANSAC的优化方案求解最终姿态。通常，CNN是用地面实况场景坐标训练的，但也已经表明，该网络可以通过最小化单视图重投影损失来自动发现3D场景几何形状。然而，由于重投影损失的不足，网络需要仔细初始化。在本文中，我们提出了一种新的角度为基础的重投影损失，它解决了原来的重投影损失的问题。有了这个新的损失函数，网络可以在没有仔细初始化的情况下进行训练，系统达到了更精确的结果。新的损失还使我们能够利用可用的多视图约束，这进一步提高了性能。
2018-09-30 cs.CV
Representing 3D sparse map points and lines for camera relocalization
Ritsumeikan University（立命馆大学）
提出用轻量网络统一表示3D点线特征，通过transformer、图注意力和MLP回归地图，在室内外相机重定位中超越现有方法。
2024-02-28 cs.CV
PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization
University of Cambridge（剑桥大学）
提出了一种鲁棒的、实时的单目六自由度重定位系统。我们的系统训练一个卷积神经网络，以端到端的方式从单个RGB图像中回归6自由度相机姿态，而不需要额外的工程或图形优化。该算法可以在室内和室外实时的运行，每帧计算时间为5 ms。它获得约2米和6度的精度为大规模的室外场景和0.5米和10度的精度室内。这是使用高效的23层深度convnet实现的，证明convnet可以用于解决复杂的图像平面回归问题。这通过利用来自大规模分类数据的迁移学习而成为可能。我们展示了convnet从高级别特征定位，并且对困难的照明，运动模糊和基于点的SIFT注册失败的不同相机固有特性具有鲁棒性。此外，我们展示了如何产生的姿态功能，推广到其他场景，让我们回归姿态只有几十个训练样本。PoseNet代码、数据集和在线演示可在我们的项目网页http://mi.eng.cam.ac.uk/projects/relocalisation/上找到
2016-02-18 cs.CV cs.NE cs.RO
R3GS: Gaussian Splatting for Robust Reconstruction and Relocalization in Unconstrained Image Collections
Beijing Digital Native Digital City Research Center（北京数字原生数字城市研究中心）
本研究提出R3GS框架，通过混合表示、瞬态物体抑制、天空处理及光照鲁棒重定位技术，在无约束图像集的3D重建与重定位任务上实现了优于基线的性能，同时提升了效率并降低存储需求。
2025-05-21 cs.CV cs.GR cs.LG
Learning to Navigate the Energy Landscape
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
在本文中，我们提出了一种新的和有效的架构来解决计算机视觉的问题，使用“综合分析”。合成分析涉及重构误差的最小化，重构误差通常是潜在目标变量的非凸函数。现有技术的方法采用混合方案，其中使用像随机森林或卷积神经网络这样的有区别地训练的预测器来初始化局部搜索算法。虽然这些方法已被证明可以产生有希望的结果，但它们经常陷入局部最优。我们的方法超越了传统的混合体系结构，不仅提出了多个准确的初始解，但也定义了一个导航结构的解决方案空间，可用于非常有效的无梯度局部搜索。我们证明了我们的方法在解决RGB相机重新定位这一具有挑战性的问题上的有效性。为了使RGB摄像机重新定位问题特别具有挑战性，我们引入了一个新的3D环境数据集，该数据集明显大于其他公开数据集。我们的实验表明，所提出的方法是能够实现国家的最先进的相机重新定位的结果。我们还证明了我们的方法的普遍性手姿态估计和图像检索任务。
2016-03-18 cs.CV
TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation
Temple University（天普大学）；Stony Brook University（石溪大学）
摄像机姿态估计或摄像机重新定位是许多计算机视觉任务（诸如视觉里程计、从运动恢复结构运动恢复结构（SfM）和SLAM）中的核心。在本文中，我们提出了一个神经网络的方法与图形Transformer骨干，即transCamP，以解决相机重新定位问题。与姿势回归主要由光度一致性指导的先前工作相比，TransCamP有效地将图像特征、相机姿势信息和帧间相对相机运动融合到编码的图形属性中，并且相反地朝向图形一致性和准确性进行训练，从而产生显著更高的计算效率。通过利用具有边缘特征的图Transformer层并启用张量化邻接矩阵，TransCamP动态捕获全局注意力，从而赋予姿态图以不断演变的结构，以实现更高的鲁棒性和准确性。此外，可选的时间Transformer层主动增强了顺序输入的时空帧间关系。对各种公共基准的拟议网络的评估表明，TransCamP优于最先进的方法。
2021-05-28 cs.CV
VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution
USTC（中国科学技术大学）；UC San Diego（加州大学圣地亚哥分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；UT Austin（德克萨斯大学奥斯汀分校）；U of Oregon（俄勒冈大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
视频通常将流式和连续视觉数据记录为离散的连续帧。由于高保真视频的存储成本昂贵，因此大多数视频都以相对较低的分辨率和帧速率存储。空时视频超分辨率（STVSR）的最新工作是将时间插值和空间超分辨率结合在一个统一的框架中。然而，它们中的大多数仅支持固定的上采样尺度，这限制了它们的灵活性和应用。在这项工作中，而不是以下的离散表示，我们提出了视频隐式神经表示（VideoINR），我们展示了它的应用STVSR。学习的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明，VideoINR在常见的上采样尺度上与最先进的STVSR方法实现了竞争性能，并且在连续和训练分布尺度上显著优于先前的工作。我们的项目页面位于http://zeyuan-chen.com/VideoINR/。
2022-06-09 cs.CV cs.LG eess.IV
Kunster -- AR Art Video Maker -- Real time video neural style transfer on mobile devices
Netguru S.A.（Netguru股份公司）
神经风格迁移是深度学习研究的一个著名分支，有许多有趣的工作和两个主要缺点。该领域的大多数作品很难被非专业用户使用，并且需要大量的硬件资源。在这项工作中，我们提出了一个解决这两个问题。我们已经将神经风格转移应用于实时视频（每秒超过25帧），该视频能够在移动设备上运行。我们还研究了实现时间相干性的工作，并提出了微调已经训练好的模型以实现稳定视频的想法。此外，我们还分析了常见的深度神经网络架构对移动设备性能的影响，包括层数和过滤器。在实验部分，我们提出了我们的工作与iOS设备的结果，并讨论了目前的Android设备中存在的问题，以及未来的可能性。最后，我们给出了风格化的定性结果和在iPhone 11 Pro和iPhone 6s上测试的性能的定量结果。所提出的工作被纳入Kunster - AR艺术视频制作应用程序可在苹果的应用程序商店。
2020-05-07 cs.CV cs.LG eess.IV
Recurrent Neural Networks for video object detection
Technical University of Munich（慕尼黑工业大学）
图像中的目标检测有很多科学工作要做。对于许多应用，例如自动驾驶，必须进行分类的实际数据是视频。本文比较了不同的方法，特别是那些使用循环神经网络来检测视频中的对象。我们基于特征的方法，不同的帧的特征图饲料到经常性的单位，框级方法，饲料与类概率的边界框到经常性的单位和方法，使用流网络之间的区别。这项研究表明，比较方法的共同成果，如包括时间上下文到目标检测的好处，并为视频目标检测网络的国家的结论和指导方针。
2020-10-29 cs.CV cs.LG eess.IV
A Neural Network based Framework for Effective Laparoscopic Video Quality Assessment
Université Sorbonne Paris Nord（索邦巴黎北大学）；Institut Galilée（伽利略研究所）；NTNU（挪威科技大学）
视频质量评估是医学影像领域中一个具有重要意义的挑战性问题。例如，在腹腔镜手术中，所获取的视频数据遭受不同种类的失真，这不仅阻碍手术性能，而且影响手术导航和机器人手术中的后续任务的执行。出于这个原因，我们在本文中提出了基于神经网络的失真分类以及质量预测的方法。更准确地说，基于残差网络（ResNet）的方法首先开发了同时排序和分类任务。然后，通过使用额外的全连接神经网络（FCNN），扩展该架构以使其适合质量预测任务。为了训练整体架构（ResNet和FCNN模型），研究了迁移学习和端到端学习方法。在一个新的腹腔镜视频质量数据库上进行的实验结果表明，与最近的传统方法和基于深度学习的方法相比，所提出的方法是有效的。
2022-04-14 cs.CV cs.LG eess.IV
Boosting neural video codecs by exploiting hierarchical redundancy
Qualcomm AI Research（高通人工智能研究院）
在视频压缩中，通过经由运动和残差补偿重新使用来自先前解码的帧的像素来提高编码效率。我们在视频帧中定义了两个等级的分层冗余：1）一阶：像素空间中的冗余，即，跨相邻帧的像素值的相似性，这是使用运动和残差补偿有效地捕获的，2）二阶：由于自然视频中的平滑运动而导致的运动和残差图中的冗余。虽然大多数现有的神经视频编码文献解决了一阶冗余，我们解决了通过预测器捕获神经视频编解码器中的二阶冗余的问题。我们介绍了通用的运动和残差预测，学习从以前解码的数据外推。这些预测器是轻量级的，可以与大多数神经视频编解码器一起使用，以提高其率失真性能。此外，虽然RGB是神经视频编码文献中的主要色彩空间，但我们介绍了神经视频编解码器的一般修改，以包含YUV 420色彩空间并报告YUV 420结果。我们的实验表明，使用我们的预测器与一个著名的神经视频编解码器导致38%和34%的比特率节省RGB和YUV420色彩空间上测量的UVG数据集。
2022-09-16 cs.CV cs.LG cs.MM
NeRV: Neural Representations for Videos
University of Maryland, College Park（马里兰大学学院市分校）；Facebook AI
我们提出了一种新的视频神经表示（NeRV），它在神经网络中编码视频。与将视频视为帧序列的传统表示不同，我们将视频表示为以帧索引为输入的神经网络。给定帧索引，NeRV输出相应的RGB图像。NeRV中的视频编码是简单地将神经网络拟合到视频帧，解码过程是简单的前馈操作。作为一种图像级隐式表示，NeRV输出整个图像，与像素级隐式表示相比，显示出更高的效率，编码速度提高了25倍至70倍，解码速度提高了38倍至132倍，同时实现了更好的视频质量。有了这样的表示，我们可以将视频视为神经网络，简化了几个与视频相关的任务。例如，传统的视频压缩方法受到专门为该任务设计的长而复杂的流水线的限制。相比之下，使用NeRV，我们可以使用任何神经网络压缩方法作为视频压缩的代理，并实现与传统的基于帧的视频压缩方法（H. 264，HEVC \etc）相当的性能。除了压缩，我们还展示了NeRV在视频去噪方面的推广。源代码和预训练模型可以在https://github.com/haochen-rye/NeRV.git上找到。
2021-10-26 cs.CV eess.IV
Learning Cross-Video Neural Representations for High-Quality Frame Interpolation
Washington University in St. Louis（圣路易斯华盛顿大学）
本文考虑的问题，时间视频插值，其目标是合成一个新的视频帧给定的两个邻居。我们提出跨视频神经表示（CURE）作为第一个基于神经场（NF）的视频插值方法。NF指的是最近一类用于复杂3D场景的神经表示的方法，这些方法在计算机视觉中取得了广泛的成功和应用。CURE将视频表示为由基于坐标的神经网络参数化的连续函数，其输入是时空坐标，输出是相应的RGB值。CURE引入了一种新的架构，该架构根据输入帧来调节神经网络，以便在合成视频中实现时空一致性。这不仅提高了最终的插值质量，还使CURE能够在多个视频中学习先验。实验结果表明，CURE在多个基准数据集上的视频插值性能达到了最先进的水平。
2022-02-28 cs.CV eess.IV
Efficient Adaptation of Neural Network Filter for Video Compression
Nokia Technologies（诺基亚技术）
我们提出了一种有效的微调方法，神经网络滤波器，适用于后处理伪影去除步骤中的视频编码管道。在编码器侧执行微调，以使神经网络适应正在编码的特定内容。为了最大化PSNR增益并最小化比特率开销，我们建议仅微调卷积层的偏差。所提出的方法实现收敛速度比传统的微调方法，使其适合于实际应用。权重更新可以被包括在由现有视频编解码器生成的视频比特流中。我们表明，我们的方法实现了高达9.7%的平均BD速率增益相比，国家的最先进的通用视频编码（VVC）标准编解码器的7个测试序列。
2020-08-13 cs.CV cs.LG cs.MM
NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style Transfer
Sobey Digital Technology Co., Ltd（索贝数码科技股份有限公司）；Peng Cheng Laboratory（鹏城实验室）
视频真实感风格转换是生成具有与风格图像相似的真实感风格同时保持时间一致性的视频所期望的。然而，现有的方法通过逐帧进行真实感风格转换来获得风格化的视频序列，这是低效的，并且不能保证风格化视频的时间一致性。为了解决这个问题，我们使用基于神经网络的3D视频传输表（LUT）的逼真的视频传输，实现效率和效果之间的平衡。我们首先训练一个神经网络，用于在大规模数据集上生成真实感风格化的3D LUT;然后，当对特定视频进行真实感风格转换时，我们选择视频中的关键帧和风格图像作为数据源，并对神经网络进行微调;最后，我们查询由微调的神经网络生成的3D LUT以获得视频中的颜色，从而产生超快的照片级真实感风格转换，即使处理8 K视频也需要不到2毫秒每帧。实验结果表明，该方法不仅实现了任意风格图像的真实感风格转换，而且在视觉质量和一致性方面优于现有方法。项目页面：https://semchan.github.io/NLUT_Project。
2023-03-17 cs.CV eess.IV
Implicit Neural Video Compression
Qualcomm AI Research（高通人工智能研究院）
我们提出了一种方法来压缩全分辨率视频序列与隐式神经表示。每个帧被表示为将坐标位置映射到像素值的神经网络。我们使用一个单独的隐式网络来调制坐标输入，这使得帧之间的有效运动补偿。与一个小的残差网络一起，这使我们能够相对于前一帧有效地压缩P帧。我们通过使用学习的整数量化存储网络权重来进一步降低比特率。我们的方法，我们称之为隐式像素流（IPF），在已建立的神经视频编解码器上提供了几个简化：它不需要接收器访问预训练的神经网络，不使用昂贵的基于插值的扭曲操作，并且不需要单独的训练数据集。我们证明了神经隐式压缩图像和视频数据的可行性。
2021-12-21 cs.CV cs.LG
Implicit Neural Representation for Videos Based on Residual Connection
Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究院）
针对视频隐式神经表示的帧细节重建不足问题，提出将低分辨率帧作为残差连接的方法，在49个视频的46个样本上PSNR优于现有方法HNeRV。
2024-06-15 cs.CV eess.IV
C3: High-performance and low-complexity neural compression from a single image or video
Google DeepMind（谷歌DeepMind）
提出 C3 单样本神经压缩方法，通过为每张图像或视频单独过拟合小模型并改进 COOL-CHIC，在 CLIC2020 和 UVG 上以极低解码 MACs 匹配 VTM 与 VCT 的 RD 性能。
2023-12-05 cs.CV cs.LG eess.IV
NVC-1B: A Large Neural Video Coding Model
University of Science and Technology of China（中国科学技术大学）
本文探索构建首个参数超10亿的大型神经视频编码模型NVC-1B，通过逐步扩大基线模型各编码模块规模并对比CNN、混合CNN-Transformer及Transformer架构的影响，最终实现了显著优于基线的最先进视频压缩性能。
2024-07-28 cs.CV eess.IV
Video Action Recognition Via Neural Architecture Searching
University of Oulu（奥卢大学）；Xi'an Jiaotong University（西安交通大学）
深度神经网络在视频分析和理解方面取得了巨大成功。然而，设计一个高性能的神经架构需要大量的努力和专业知识。在本文中，我们首次尝试让算法自动设计神经网络的视频动作识别任务。具体地说，时空网络是在一个可微的空间建模的有向无环图，从而可以执行基于梯度的策略来搜索最佳的架构。尽管如此，它是计算昂贵的，因为计算负担，以评估每个架构的候选人仍然是沉重的。为了缓解这个问题，我们，对于视频输入，引入一个时间段的方法，以减少计算成本，而不会丢失全局视频信息。对于该体系结构，我们通过引入伪3D算子在一个有效的搜索空间中进行探索。实验表明，在具有挑战性的UCF101数据集上，我们的架构在从头开始训练协议下的性能优于流行的神经架构，令人惊讶的是，其参数只有手动设计的1%左右。
2019-07-10 cs.CV cs.LG
NERV++: An Enhanced Implicit Neural Video Representation
Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；Technology Innovation Institute（技术创新研究院）
本文提出增强型隐式神经视频表示NeRV++，通过SCRBs、上采样块与双线性跳跃连接提升率失真性能，并在多个数据集上取得接近自编码器编码的竞争力结果。
2024-02-28 cs.CV eess.IV
Overfitting the Data: Compact Neural Video Delivery via Content-aware Feature Modulation
Beijing University of Posts and Telecommunications（北京邮电大学）；Intel Labs China（英特尔中国实验室）
互联网视频交付在过去几年中经历了巨大的爆炸式增长。然而，视频传输系统的质量在很大程度上取决于互联网的带宽。最近，深度神经网络（DNN）被用来提高视频传输的质量。这些方法将视频划分为块，并将LR视频块和对应的内容感知模型流式传输到客户端。客户端运行模型的推理以超解析LR块。因此，大量的模型被流式传输以便递送视频。在本文中，我们首先仔细研究了不同块的模型之间的关系，然后我们巧妙地设计了一个联合训练框架以及内容感知特征调制（CaFM）层来压缩这些模型用于神经视频传输。{ \bf通过我们的方法，每个视频块仅需要少于$1\% $的原始参数来进行流传输，从而实现更好的SR性能。}我们进行了广泛的实验，在各种SR骨干，视频时间长度和缩放因子，以证明我们的方法的优势。此外，我们的方法也可以被看作是一种新的视频编码方法。我们的初步实验取得了更好的视频质量相比，商业H.264和H.265标准在相同的存储成本，显示了巨大的潜力，所提出的方法。代码可在：\url{https://github.com/Neural-video-delivery/CaFM-Pytorch-ICCV2021}
2021-09-17 cs.CV eess.IV
Learning Order Parameters from Videos of Dynamical Phases for Skyrmions with Neural Networks
Beijing Normal University（北京师范大学）；Drexel University（德雷塞尔大学）；Beijing Computational Science Research Center（北京计算科学研究中心）
识别动态现象的能力（例如，从视频中提取物理事件的动态过程（动态阶段），进而抽象物理概念，揭示物理规律，是人类智能的核心。本文的主要目的是使用神经网络分类的动态阶段的一些视频，并证明神经网络可以学习物理概念。为此，我们采用多个神经网络来识别基于粒子的skyrmion模型的静态阶段（图像格式）和动态阶段（视频格式）。结果表明，神经网络在没有任何先验知识的情况下，不仅可以正确地对这些相进行分类，而且可以预测出与模拟结果一致的相边界。我们进一步提出了一个参数可视化方案来解释神经网络已经学到了什么。我们发现，神经网络可以学习两个序参数的动态阶段的视频和预测的临界值的两个序参数。最后，我们证明了只需要两个序参数来识别skyrmion动态相位的视频。结果表明，这种参数可视化方案可以用来确定需要多少序参量才能完全识别输入相位。我们的工作揭示了未来使用神经网络在发现新的物理概念和揭示未知的物理定律从视频。
2020-12-02 cs.CV cs.LG
Optical Flow Regularization of Implicit Neural Representations for Video Frame Interpolation
Kobe University（神户大学）
最近的工作表明，隐式神经表征（INR）的能力进行有意义的表示信号的衍生物。在这项工作中，我们利用这一属性来执行视频帧插值（VFI）明确约束的导数的INR，以满足光流约束方程。我们只使用目标视频及其光流在有限的运动范围上实现了最先进的VFI，而不需要从额外的训练数据中学习插值算子。我们进一步表明，约束INR导数不仅可以更好地插值中间帧，而且还提高了窄网络的能力，以适应观察到的帧，这表明潜在的应用视频压缩和INR优化。
2022-06-22 cs.CV cs.LG
NeuralLVC: Neural Lossless Video Compression via Masked Diffusion with Temporal Conditioning
Università di Pisa（比萨大学）；Università degli Studi di Firenze（佛罗伦萨大学）
NeuralLVC通过结合掩码扩散与I/P帧架构，实现损失视频压缩，利用时间冗余性，实验表明其在Xiph CIF序列中优于H.264和H.265无损压缩。
2026-09-09 cs.CV eess.IV
Neural Video Compression using GANs for Detail Synthesis and Propagation
Google Research（谷歌研究院）
我们提出了第一个基于生成对抗网络（GANs）的神经视频压缩方法。在用户研究中，我们的方法显著优于以前的神经和非神经视频压缩方法，为神经方法的视觉质量提供了新的最先进的技术。我们表明，GAN损失是至关重要的，以获得这种高的视觉质量。两个组件使GAN损失有效：我们i）通过将生成器调节到从扭曲的先前重建中提取的潜在值来合成细节，然后ii）用高质量流传播该细节。我们发现，用户研究需要比较方法，即，我们的定量指标都不能预测所有的研究。我们详细介绍了网络设计的选择，并与用户研究消融他们。
2022-07-12 cs.CV eess.IV
Neural Compression-Based Feature Learning for Video Restoration
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
如何有效地利用时间特征是视频恢复的关键，但具有挑战性。时间特征通常包含各种噪声和不相关的信息，它们可能会干扰当前帧的恢复。本文提出了学习噪声鲁棒的特征表示，以帮助视频恢复。我们的灵感来自于神经编解码器是一种天然的去噪器。在神经网络编解码器中，为了节省比特率，更倾向于丢弃噪声和不相关的内容，这些内容难以预测，但需要花费大量比特。因此，我们设计了一个神经压缩模块来滤除噪声，并保留最有用的信息，用于视频恢复的特征。为了实现对噪声的鲁棒性，我们的压缩模块采用了空间通道量化机制，以自适应地确定潜在的每个位置的量化步长。实验表明，我们的方法可以显着提高视频去噪的性能，其中我们获得了0.13 dB的改善，比BasicVSR++只有0.23倍的FLOP。同时，我们的方法也得到了SOTA结果的视频去噪和去雾。
2022-03-18 cs.CV eess.IV
MNeRV: A Multilayer Neural Representation for Videos
The Institute of China-Germany Artificial Intelligence, Wuyi university（五邑大学中德人工智能研究院）；College of Mathematics and Physics, North China Electric Power University（华北电力大学数理学院）
针对现有视频神经表示NeRV解码层数少导致参数冗余、限制回归能力的问题，提出多层神经表示MNeRV及配套编解码器与模块，以更少参数实现更优重建质量，并在下游任务中展现良好性能。
2024-07-10 cs.CV eess.IV
Multi-velocity neural networks for gesture recognition in videos
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的动作识别深度神经网络，除了分类之外，它还自适应地学习最佳动作速度。虽然深度神经网络在图像理解任务方面已经成熟，但我们仍在探索网络拓扑和功能，以处理更丰富的视频剪辑环境。在这里，我们解决了动作识别中的多速度问题，并在已知和新收集的数据集上提供了手势识别的最新结果。我们进一步为我们的半监督网络提供了训练步骤，适合从只有一小部分标记示例的大型未标记数据集中学习。
2016-03-22 cs.CV cs.LG
Semi-supervised 3D Video Information Retrieval with Deep Neural Network and Bi-directional Dynamic-time Warping Algorithm
Northwestern University（西北大学）
本文提出一种半监督深度学习算法，结合卷积循环网络与双向动态时间规整，实现基于视觉内容的二维和三维视频检索，并在多个公开数据集上优于现有最先进模型。
2023-09-03 cs.CV cs.LG
Efficient Meta-Tuning for Content-aware Neural Video Delivery
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Intel Labs China（英特尔中国研究院）；OPPO Research Institute（OPPO研究院）
最近，深度神经网络（DNN）被用于减少带宽并提高互联网视频传输的质量。现有方法在服务器上为每个视频块训练相应的内容感知超分辨率（SR）模型，并且将低分辨率（LR）视频块连同SR模型一起流传输到客户端。尽管它们取得了令人鼓舞的结果，但网络训练的巨大计算成本限制了它们的实际应用。在本文中，我们提出了一种名为有效的元调整（EMT），以减少计算成本。EMT不是从头开始训练，而是将元学习模型适应于输入视频的第一块。对于后续的块，通过自适应模型的梯度掩蔽，对部分参数进行微调。为了实现EMT的进一步加速，我们提出了一种新的采样策略，从视频帧中提取最具挑战性的补丁。所提出的策略是高效的，带来的额外成本微不足道。我们的方法显著降低了计算成本，并实现了更好的性能，为将神经视频传输技术应用于实际应用铺平了道路。我们进行了大量的实验，基于各种有效的SR架构，包括ESPCN，SRCNN，FSRCNN和EDSR-1，证明我们的工作的泛化能力。代码在\url{https://github.com/Neural-video-delivery/EMT-Pytorch-ECCV2022}发布。
2022-07-20 cs.CV eess.IV
Scalable Neural Video Representations with Learnable Positional Features
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Pohang University of Science and Technology (POSTECH)（浦项科技大学）
使用基于坐标的神经表示（CNRs）对复杂信号的简洁表示已经取得了很大进展，最近的几项努力集中在扩展它们以处理视频。这里，主要的挑战是如何（a）缓解训练CNR中的计算效率低下，以（b）实现高质量的视频编码，同时（c）保持参数效率。为了同时满足所有要求（a），（b）和（c），我们提出了具有可学习位置特征（NVP）的神经视频表示，这是一种通过引入“可学习位置特征”有效地将视频摊销为潜在代码的新型CNR。具体来说，我们首先提出了一个CNR架构的基础上设计的2D潜在的关键帧来学习跨每个时空轴的共同的视频内容，这大大提高了所有这三个要求。然后，我们建议利用现有的强大的图像和视频编解码器作为计算/存储器高效的压缩过程的潜在代码。我们证明了NVP在流行的UVG基准上的优越性;与现有技术相比，NVP不仅训练速度快2倍（不到5分钟），而且即使使用少$>$ 8倍的参数，其编码质量也超过了34.07 $\rightarrow$ 34.57（用PSNR度量测量）。我们还展示了NVP的有趣特性，例如，视频修补、视频帧插值等。
2022-10-13 cs.CV cs.LG
