Secrets in Computing Optical Flow by Convolutional Networks
The Australian National University(澳大利亚国立大学)
卷积神经网络(CNN)在计算机视觉领域有着广泛的应用。尤其是在分类方面。最近,FlowNet和一些使用CNN进行光学估计的工作显示了CNN在进行逐像素回归方面的潜在能力。我们提出了几种可以估计光流的CNN网络结构,并充分揭示了这些结构之间的内在差异。
2017-10-04 cs.CV
EV-FlowNet: Self-Supervised Optical Flow Estimation for Event-based Cameras
University of Pennsylvania(宾夕法尼亚大学)
基于事件的相机在基于帧的相机受到影响的各种情况下(诸如高速运动和高动态范围场景)已经显示出很大的前景。然而,开发用于事件测量的算法需要一类新的手工算法。深度学习在为视觉社区中的许多问题提供无模型解决方案方面取得了巨大成功,但现有网络的开发考虑到了基于帧的图像,并且不存在用于监督训练的图像所具有的丰富的事件标记数据。针对这些问题,我们提出了EV-FlowNet,这是一种新型的自监督深度学习管道,用于基于事件的相机的光流估计。特别是,我们引入了一个给定的事件流,这是一个自我监督的神经网络作为唯一的输入馈入基于图像的表示。在给定来自网络的估计流量的情况下,与事件同时从同一相机捕获的对应灰度图像然后被用作监督信号以在训练时间提供损失函数。我们表明,由此产生的网络是能够准确地预测光流的事件,只有在各种不同的场景,与基于图像的网络的性能竞争。该方法不仅可以精确估计密集光流,而且还提供了一个框架,其他自监督的方法转移到基于事件的域。
2018-08-13 cs.CV cs.RO
ST-FlowNet: An Efficient Spiking Neural Network for Event-Based Optical Flow Estimation
Clinical Hospital of Chengdu Brain Science Institute(成都脑科学研究院临床医院);MOE Key Lab for NeuroInformation(教育部神经信息关键实验室);China-Cuba Belt and Road Joint Laboratory on Neurotechnology and Brain-Apparatus Communication(中 cuba 带路神经技术与脑-装置通信联合实验室);School of Life Science and Technology, University of Electronic Science and Technology of China(电子科技大学生命科学与技术学院);School of Artificial Intelligence, Chongqing University of Education(重庆教育学院人工智能学院);Sichuan Academy of Medical Sciences and Sichuan Provincial People’s Hospital(四川省医学科学院和四川省人民医院);Research Unit of NeuroInformation (2019RU035), Chinese Academy of Medical Sciences(神经信息研究单位(2019RU035),中国医学科学院)
本文提出专为基于事件数据光流估计设计的ST-FlowNet架构,集成ConvGRU模块增强跨模态特征与时间对齐,并结合BISNN等方法从预训练ANN推导SNN以简化参数选择,在三个基准数据集上实现优于现有方法的精确光流估计且具备高能效。
2025-04-27 cs.CV cs.NE q-bio.NC
Finding Correspondences for Optical Flow and Disparity Estimations using a Sub-pixel Convolution-based Encoder-Decoder Network
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
深度卷积神经网络(DCNN)最近在光流和视差估计等低级计算机视觉问题中显示出了有希望的结果,但仍有很大的空间进一步提高其性能。在本文中,我们提出了一种新的基于亚像素卷积的编码器-解码器网络的光流和视差估计,它可以扩展FlowNetS和DispNet通过使用超像素卷积块代替反卷积层。通过在解码器级上使用亚像素细化和估计而不是去卷积,即使在参数数量减少的情况下,我们也可以显著提高对光流和视差的估计精度。我们展示了我们提出的网络的有监督的端到端训练,用于光流和视差估计,以及用于单目深度和姿态估计的无监督的端到端训练。为了验证我们提出的网络的有效性,我们进行了密集的实验(i)光流和视差估计,(ii)单眼深度和姿态估计。在整个广泛的实验中,我们提出的网络在估计精度和训练时间方面优于FlowNetS和DispNet等基线。
2018-10-07 cs.CV cs.LG
A Lightweight Optical Flow CNN - Revisiting Data Fidelity and Regularization
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
四十多年来,大多数解决的问题,光流估计使用变分方法。随着机器学习的发展,最近的一些工作试图使用卷积神经网络(CNN)来解决这个问题,并显示出有希望的结果。FlowNet 2是最先进的CNN,需要超过1.6亿个参数才能实现准确的流量估计。我们的LiteFlowNet 2在Sintel和KITTI基准测试中优于FlowNet 2,同时模型尺寸小25.3倍,运行速度快3.1倍。LiteFlowNet 2建立在传统方法的基础上,类似于变分方法中的数据保真度和正则化。我们计算光流的空间金字塔制定SPyNet,但通过一个新的轻量级级联流推理。它通过早期校正并无缝结合描述符匹配来提供高流量估计准确性。流正则化通过特征驱动的局部卷积来改善异常值和模糊流边界的问题。我们的网络还拥有一个有效的金字塔特征提取结构,并包含特征扭曲,而不是像FlowNet 2和SPyNet中实践的图像扭曲。与LiteFlowNet相比,LiteFlowNet 2将Sintel Clean的光流精度提高了23.3%,Sintel Final提高了12.8%,KITTI 2012提高了19.6%,KITTI 2015提高了18.8%,同时速度提高了2.2倍。我们的网络协议和训练模型在https://github.com/twhui/LiteFlowNet2上公开提供。
2020-03-15 cs.CV
Layered Optical Flow Estimation Using a Deep Neural Network with a Soft Mask
Illinois Institute of Technology(伊利诺伊理工学院)
使用分层表示进行运动估计具有能够处理不连续性和遮挡的优点。在本文中,我们学习通过将分层运动表示与深度学习相结合来估计光流。代替预先分割的图像层,所提出的方法自动生成一个分层表示的光流使用建议的软掩模模块。软掩模模块的基本组成部分是最大输出和融合操作,这使得光流的不相交分层表示和更准确的流量估计。我们表明,通过使用掩码的运动估计结果在输出层的输入功能的二次函数。所提出的软掩模模块可以添加到任何现有的光流估计网络,通过替换它们的流输出层。在这项工作中,我们使用FlowNet作为基础网络,我们添加软掩码模块。由此产生的网络进行了测试,在三个著名的基准与监督和无监督的流量估计任务。评价结果表明,与原FlowNet相比,该网络取得了更好的效果。
2018-05-09 cs.CV
A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation
University of Freiburg(弗赖堡大学);Technical University of Munich(慕尼黑工业大学)
最近的工作表明,光流估计可以用公式表示为监督学习任务,并且可以用卷积网络成功地解决。所谓的FlowNet的训练是由一个大型的合成生成的数据集实现的。本文将基于卷积网络的光流估计的概念扩展到视差和场景流估计。为此,我们提出了三个合成立体视频数据集,具有足够的现实主义,变化和大小,成功地训练大型网络。我们的数据集是第一个能够训练和评估场景流方法的大规模数据集。除了数据集之外,我们还提出了一个用于实时视差估计的卷积网络,该网络提供了最先进的结果。通过结合流量和视差估计网络并对其进行联合训练,我们展示了使用卷积网络的第一个场景流量估计。
2015-12-07 cs.CV cs.LG stat.ML
How Do Neural Networks Estimate Optical Flow? A Neuropsychology-Inspired Study
Delft University of Technology(代尔夫特理工大学)
端到端训练的卷积神经网络在光流估计方面取得了突破。最新的进展集中在通过改进架构和在公开可用的MPI-Sintel数据集上设置新的基准来改进光流估计。相反,在本文中,我们研究了深度神经网络如何估计光流。更好地理解这些网络的功能对于(i)评估它们对未知输入的泛化能力以及(ii)提出改进其性能的建议非常重要。对于我们的研究,我们专注于FlowNetS,因为它是用于光流估计的编码器-解码器神经网络的原型。此外,我们使用的过滤器识别方法,发挥了重要作用,在揭示运动过滤器存在于动物大脑中的神经心理学研究。该方法表明,在最深层的FlowNetS的过滤器是敏感的各种运动模式。我们不仅发现了动物大脑中的平移过滤器,而且由于人工神经网络中更容易测量,我们甚至揭示了扩张,旋转和遮挡过滤器。此外,我们发现在网络的细化部分和感知填充过程中发生在哺乳动物初级视觉皮层的相似之处。
2021-06-02 cs.CV cs.LG eess.IV
Self-Supervised Approach for Facial Movement Based Optical Flow
American University of Sharjah(沙迦美国大学);Monash University(莫纳什大学);Indian Institute of Technology Ropar(印度理工学院罗巴尔校区)
计算光流是计算机视觉中的一个基本问题。然而,基于深度学习的光流技术对于诸如在面部中发现的那些非刚性运动表现不佳,这主要是由于缺乏表示精细面部运动的训练数据。我们假设,学习光流的面部运动数据将提高质量的预测流的脸。这项工作的目的有三个方面:(1)探索自我监督技术,以生成人脸图像的光流地面真相;(2)计算基线结果的影响,使用人脸数据训练卷积神经网络(CNN)预测光流;和(3)使用学习的光流在微表情识别,以证明其有效性。我们使用BP 4D-Spontaneous数据集中的面部关键点生成光流地面实况。生成的光流用于训练FlowNetS架构,以在生成的数据集上测试其性能。在人脸图像上训练的FlowNetS的性能超过了其他光流CNN架构,证明了它的有用性。将我们的光流特征与其他基于STSTNet微表情分类器的方法进行了比较,结果表明,利用本文方法得到的光流特征在人脸表情分析中具有良好的应用前景。
2021-05-04 cs.CV cs.NE
Event-based Temporally Dense Optical Flow Estimation with Sequential Learning
Purdue University(普渡大学)
本文提出将光流估计视为序列问题,利用LSTM和SNN两种循环网络实现100Hz的时间密集光流估计,相比基线EV-FlowNet误差降低13%,且SNN能耗仅为LSTM的1.5%。
2023-10-12 cs.CV eess.IV
Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and Stereo Matching
The Chinese University of Hong Kong(香港中文大学);Huya AI(虎牙AI)
在本文中,我们提出了一个统一的方法来联合学习光流和立体匹配。我们的第一个直觉是立体匹配可以建模为光流的特殊情况,我们可以利用立体视频背后的3D几何来指导这两种形式的对应关系的学习。然后,我们将这些知识纳入最先进的自监督学习框架,并训练一个单一的网络来估计流量和立体声。其次,我们揭示了以前的自监督学习方法中的瓶颈,并提出创建一组新的具有挑战性的代理任务来提高性能。这两种见解产生了一个单一的模型,在KITTI 2012和2015基准测试中,该模型在所有现有的无监督流和立体方法中达到了最高的准确性。更值得注意的是,我们的自监督方法甚至优于几种最先进的完全监督方法,包括KITTI 2012上的PWC-Net和FlowNet 2。
2020-04-05 cs.CV cs.LG
What Matters in Unsupervised Optical Flow
Robotics at Google(谷歌机器人团队);Google AI(谷歌人工智能)
我们系统地比较和分析了一组无监督光流的关键组成部分,以确定光度损失,遮挡处理和平滑正则化是最有效的。除了这项研究,我们还对无监督流模型进行了一些新的改进,例如成本体积归一化,在遮挡掩模处停止梯度,在对流场进行上采样之前鼓励平滑,以及使用图像缩放进行持续的自我监督。通过将我们的调查结果与我们改进的模型组件相结合,我们能够提出一种新的无监督流技术,该技术的性能显着优于以前的无监督最先进技术,并在KITTI 2015数据集上与监督FlowNet2相当,同时也比相关方法简单得多。
2020-08-14 cs.CV cs.LG eess.IV
Cubes3D: Neural Network based Optical Flow in Omnidirectional Image Scenes
Chemnitz University of Technology(开姆尼茨工业大学)
利用卷积神经网络(CNN)进行光流估计已经成功地解决了计算机视觉的各种任务。在本文中,我们适应了一个国家的最先进的方法,光流估计全向图像。我们研究了CNN架构,以确定鱼眼图像的几何形状引起的高运动变化。进一步定性地分析了非刚性物体的纹理对运动矢量的影响。为了评估结果,我们综合创建地面实况运动场。地面实况包含具有静态背景的立方体。我们通过指示常见的错误度量来测试预先训练的FlowNet 2.0架构的变化。我们产生竞争力的结果与不均匀纹理的运动物体上的前景的运动。
2018-05-22 cs.CV
PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume
NVIDIA(英伟达)
我们提出了一个紧凑但有效的光流CNN模型,称为PWC-Net。PWC-Net是根据简单而完善的原则设计的:金字塔处理,扭曲和使用成本卷。投射在可学习的特征金字塔中,PWC-Net使用当前光流估计来扭曲第二图像的CNN特征。然后,它使用扭曲的特征和第一图像的特征来构建成本体积,该成本体积由CNN处理以估计光流。PWC-Net的尺寸比最近的FlowNet 2模型小17倍,并且更容易训练。此外,它在MPI Sintel final pass和KITTI 2015 benchmark上的性能优于所有已发布的光流方法,在Sintel分辨率(1024 x436)图像上运行约35 fps。我们的模型可在https://github.com/NVlabs/PWC-Net上获得。
2018-06-25 cs.CV
3D-FlowNet: Event-based optical flow estimation with 3D representation
Nantes Université(南特大学);Ecole Centrale de Nantes(南特中央理工学院);CNRS LS2N(法国国家科学研究中心南特数字科学实验室)
基于事件的相机可以超越基于帧的相机的限制,用于重要任务,例如在低照明条件下自动驾驶汽车导航期间的高速运动检测。事件摄像机的高时间分辨率和高动态范围使其能够在快速运动和极端光线情况下工作。然而,传统的计算机视觉方法,例如深度神经网络,并不适合于处理事件数据,因为它们是异步和离散的。此外,传统的事件数据的二维编码表示方法,牺牲了时间分辨率。在本文中,我们首先通过将其扩展到三维来改进2D编码表示,以更好地保留事件的时间分布。然后,我们提出了3D-FlowNet,一种新的网络架构,可以处理的3D输入表示和输出光流估计根据新的编码方法。采用自监督训练策略来补偿基于事件的相机的标记数据集的缺乏。最后,建议的网络进行训练和评估与多车辆立体事件摄像机(MVSEC)数据集。结果表明,我们的3D-FlowNet优于最先进的方法,训练时间更少(30与Spike-FlowNet的100相比)。
2022-01-28 cs.AI cs.CV
Detection Defenses: An Empty Promise against Adversarial Patch Attacks on Optical Flow
Institute for Visualization and Interactive Systems, University of Stuttgart(斯图加特大学可视化与交互系统研究所)
本文检验了针对光流的检测并移除对抗性补丁防御方法 ILP 和 LGS,发现它们不仅降低良性场景下的光流质量,还损害除 FlowNetC 外所有测试方法的鲁棒性,揭示了现有防御无法兑现其安全承诺。
2023-11-02 cs.CV cs.LG
FDFlowNet: Fast Optical Flow Estimation using a Deep Lightweight Network
Shanghai Jiao Tong University(上海交通大学)
使用深度神经网络估计光流已经取得了重大进展。高级深度模型实现精确的流量估计,通常具有相当大的计算复杂性和耗时的训练过程。在这项工作中,我们提出了一个轻量级的,但有效的实时光流估计模型,称为FDFlowNet(快速深流网)。我们在具有挑战性的KITTI和Sintel基准测试中实现了更好或类似的精度,同时比PWC-Net快2倍。这是通过精心设计的结构和新提出的组件实现的。我们首先介绍了一个U形网络,用于构建多尺度特征,与金字塔网络相比,该网络有利于具有全局感受野的上层。在每个尺度上,提出了一种具有膨胀卷积的部分全连接结构用于流量估计,与顺序连接和密集连接结构相比,该结构在速度,精度和参数数量之间获得了良好的平衡。实验表明,我们的模型实现了最先进的性能,同时是快速和轻量级的。
2020-06-22 cs.CV
Hallucinating Dense Optical Flow from Sparse Lidar for Autonomous Vehicles
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(工业机器人与信息研究所(CSIC-UPC))
在本文中,我们提出了一种新的方法来估计密集的光流从稀疏的激光雷达数据上获得的自主车辆。当图像由于例如恶劣天气条件或夜间而不可靠时,这旨在用作任何基于图像的光流系统的直接替代。为了从离散距离数据推断高分辨率2D流,我们设计了一个三块结构的多尺度滤波器,它结合了多个中间目标,无论是在激光雷达和图像域。为了训练这个网络,我们引入了一个数据集,其中包含Kitti数据集的大约20K个激光雷达样本,我们使用FlowNet2计算的基于伪地面实况图像的光流对其进行了增强。我们证明了我们的方法对基蒂的有效性,并表明,尽管使用低分辨率和稀疏测量的激光雷达,我们可以回归密集的光流地图,这是在与那些估计与基于图像的方法。
2018-08-30 cs.CV
HPLFlowNet: Hierarchical Permutohedral Lattice FlowNet for Scene Flow Estimation on Large-scale Point Clouds
Stanford University(斯坦福大学);University of California, Davis(加州大学戴维斯分校);TuSimple(图森未来)
我们提出了一种新的深度神经网络架构,用于直接对大规模3D点云进行端到端场景流估计。受双边卷积层(BCL)的启发,我们提出了新的DownBCL,UpBCL和CorrBCL操作,从非结构化点云恢复结构信息,并融合来自两个连续点云的信息。操作离散和稀疏的permutohedral格点,我们的架构设计是节俭的计算成本。我们的模型可以有效地处理一对点云帧,每帧最多86K个点。我们的方法在FlyingThings3D和KITTI Scene Flow 2015数据集上实现了最先进的性能。此外,在合成数据上训练,我们的方法对真实世界的数据和不同的点密度表现出很强的泛化能力,而无需微调。
2019-06-12 cs.CV cs.LG eess.IV
Investigation on Combining 3D Convolution of Image Data and Optical Flow to Generate Temporal Action Proposals
Fraunhofer IOSB(弗劳恩霍夫研究所)
在本文中,两个流架构的几个变种的时间动作建议生成长,未修剪的视频。受利用3D卷积结合双流网络并基于单流时间动作建议(SST)架构的人类动作识别领域的最新进展的启发,随后研究了四种不同的双流架构,其利用一个流上的图像序列和另一个流上的光流的图像序列。这四个架构融合了模型中不同深度的两个单独的流;对于每个流,系统地研究了广泛的参数,并根据经验确定了最佳参数化。在THUMOS'14数据集上的实验表明,所有四种双流结构都能够优于原始的单流SST,并达到最先进的结果。另外的实验表明,通过将以前使用的Brox方法与FlowNet 2交换并且仍然实现改进,改进不限于计算光流的单一方法。
2019-03-14 cs.CV
Automatic Generation of Dense Non-rigid Optical Flow
University of Amsterdam(阿姆斯特丹大学);DUniversum(3DUniversum);Google Research(谷歌研究院)
到目前为止,几乎不存在任何具有来自真实世界图像的非刚性运动的密集光流的大规模数据集。原因主要在于导出地面实况光流所需的设置:一系列具有沿其轨迹的已知相机姿势的图像,以及来自纹理场景的精确3D模型。人工注释不仅对于大型数据库来说过于繁琐,而且几乎不能对精确的光流做出贡献。为了避免需要手动注释,我们提出了一个框架,自动生成光流从现实世界的视频。该方法从视频帧中提取并匹配对象以计算初始约束,并对感兴趣的对象施加变形以获得密集的光流场。我们提出了几种方法来增加的光流的变化。大量的实验结果表明,在我们自动生成的光流上进行训练的效果优于使用FlowNet-S、LiteFlowNet、PWC-Net和RAFT在刚性合成数据上进行训练的方法。我们的光流生成框架的数据集和实现在https://github.com/lhoangan/arap_flow上发布
2021-09-07 cs.CV
FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for Optical Flow Estimation
光流估计是视频分析领域中一个重要而又具有挑战性的问题。卷积神经网络的不同语义级别/层的特征可以提供不同粒度的信息。为了利用这些灵活而全面的信息,我们提出了一种半监督的特征金字塔相关和残差重建网络(FPCR-Net),用于从帧对中估计光流。它包括两个主要模块:金字塔相关映射和残差重建。金字塔相关性映射模块利用全局/局部块的多尺度相关性,通过聚合不同尺度的特征来形成多级成本体积。残差重构模块的目标是重构每一级中更精细光流的子带高频残差。基于金字塔相关映射,我们进一步提出了一个相关-扭曲-归一化(CWN)模块,以有效地利用相关依赖。实验结果表明,该方案实现了最先进的性能,在平均端点误差(AEE)方面的改进,与竞争基线方法-FlowNet 2,LiteFlowNet和PWC-Net在Sintel数据集的最终通过上,分别为0.80,1.15和0.10。
2021-11-23 cs.CV
SRFlow: A Dataset and Regularization Model for High-Resolution Facial Optical Flow via Splatting Rasterization
School of Automation, Guangdong University of Technology(广东工业大学自动化学院)
SRFlow提出高分辨率面部光流数据集和模型,通过定制正则化损失提升光流估计精度和微表情识别性能。
2026-01-10 cs.CV
Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation
Peking University(北京大学)
事件相机为视觉感知提供了有前途的替代方案,特别是在高速和高动态范围场景中。最近,许多深度学习方法在为许多基于事件的问题(例如光流估计)提供有前途的解决方案方面取得了巨大成功。然而,现有的深度学习方法没有从建筑设计的角度很好地解决时态信息的重要性,无法有效地提取时空特征。另一种利用脉冲神经网络的研究受到更深层次结构的训练问题的困扰。为了解决这些问题,提出了一种新的输入表示法,该表示法捕获事件的时间分布以用于信号增强。此外,我们介绍了一个时空递归的编码-解码神经网络架构的事件为基础的光流估计,它利用卷积门控递归单元提取特征映射从一系列的事件图像。此外,我们的架构允许一些传统的基于帧的核心模块,如相关层和迭代残差细化方案,被纳入。该网络在多车辆立体事件相机数据集上进行端到端的自监督学习训练。我们已经证明,它优于所有现有的国家的最先进的方法,由一个很大的利润。代码链接是https://github.com/ruizhao26/STE-FlowNet。
2022-04-05 cs.CV
CapsFlow: Optical Flow Estimation with Capsule Networks
Indian Institute of Science(印度科学学院)
本文提出CapsFlow,利用胶囊网络建模物体姿态并通过简单线性运算估计光流,在小规模数据集上超越FlowNetC和PWC-Net。
2023-12-02 cs.CV
Real-Time End-to-End Action Detection with Two-Stream Networks
University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);Canadian Institute for Advanced Research(加拿大高级研究所)
二流网络在解决动作检测问题方面非常成功。然而,使用双流网络的先前工作分别训练两个流,这阻止了网络利用两个流之间的冗余。此外,与视觉流不同,光流计算的主要形式通常不会最大限度地利用GPU并行性。提出了一种实时的【形】端到端的可训练双流网络用于动作检测。首先,我们集成了光流计算在我们的框架中使用Flownet2。第二,我们对两个流进行早期融合,并对整个管道进行端到端的联合训练。最后,为了更好地初始化网络,我们使用最近发布的大规模Kinetics数据集对框架进行预训练,将动作识别的任务转移到动作检测。我们的实验结果表明,训练管道联合端到端微调的光流的目标,动作检测显着提高检测性能。此外,我们观察到使用Kinetics预训练的参数进行初始化时的改进。最后,我们表明,通过集成光流计算,我们的框架是更有效的,运行在实时的【形】速度(高达31 fps)。
2018-02-23 cs.CV
Deep Dynamic Scene Deblurring from Optical Flow
SenseTime Research(商汤科技研究院);Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院);Nanjing University of Science and Technology(南京理工大学);School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院)
去模糊不仅可以提供视觉上更舒适的图像,使摄影更方便,而且可以提高目标检测和跟踪的性能。然而,从图像中去除动态场景模糊是一项重要的任务,因为很难对非均匀模糊进行数学建模。几种方法首先使用单个或多个图像来估计光流(其被视为模糊核的近似),然后采用非盲去模糊算法来重建清晰图像。然而,这些方法不能以端到端的方式进行训练,并且通常在计算上是昂贵的。本文研究了利用多尺度空间变递归神经网络(RNN)的光流去除动态场景模糊的方法。我们利用FlowNets从不同尺度的两个连续图像中估计光流。估计的光流提供不同尺度的RNN权重,使得权重可以更好地帮助RNN去除特征空间中的模糊。最后,我们开发了一个卷积神经网络(CNN)来恢复清晰的图像从去模糊功能。在基准数据集上的定量和定性评估表明,该方法在精度,速度和模型大小方面优于最先进的算法。
2023-01-18 cs.CV
Moving Object Proposals with Deep Learned Optical Flow for Video Object Segmentation
Umass Amherst(马萨诸塞大学阿默斯特分校)
提出一种结合无监督光流估计网络UnFlow和全卷积SegNet的神经网络架构,通过在DAVIS数据集上微调预训练模型,实现高效准确的视频运动对象分割。
2024-02-14 cs.CV cs.LG
Spatio-Temporal State Space Model For Efficient Event-Based Optical Flow
Advanced Research and Innovation Center (ARIC), Khalifa University, Abu Dhabi, UAE(高级研究与创新中心(ARIC),哈利法大学,阿布扎比,阿联酋);Department of Computer Science, Khalifa University of Science and Technology, Abu Dhabi, UAE(计算机科学系,哈利法科学技术大学,阿布扎比,阿联酋)
提出 STSSM 模块及新网络,利用状态空间模型捕获事件数据时空相关性,在 DSEC 上以显著更低计算量和更快推理实现有竞争力的光流估计。
2025-06-09 cs.CV
2D LiDAR Map Prediction via Estimating Motion Flow with GRU
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
在机器人导航和路径规划中,预测下一时刻的二维LiDAR地图是一个重要的问题。为了解决这个问题,我们求助于相邻地图之间的运动流,因为运动流是处理和分析动态数据的有力工具,在视频处理中称为光流。然而,与视频不同,视频在每帧中包含丰富的视觉特征,2D LiDAR地图缺乏独特的局部特征。为了缓解这一挑战,我们建议基于深度神经网络来估计运动流,这是受到其在估计视频的光流方面的强大表示学习能力的启发。为此,我们设计了一个基于门控递归单元的递归神经网络,称为LiDAR-FlowNet。由于递归神经网络可以对时间动态信息进行编码,因此我们的LiDAR-FlowNet可以仅从当前帧和先前帧估计当前地图和未知下一个地图之间的运动流。进一步设计了一种自监督策略来有效地对LiDAR-FlowNet模型进行训练,而不需要人工标注训练数据。利用估计的运动流,可以直接预测下一时刻的2D LiDAR地图。实验结果验证了我们的LiDAR-FlowNet以及所提出的训练策略的有效性。预测LiDAR地图的结果也显示了我们基于运动流的方法的优势。
2019-02-19 cs.CV cs.RO
Optical-Flow Wingbeat Counting in MuJoCo: A Comparison of Convolutional, Spiking, and Attention-Based Temporal Models
Universiti Sains Malaysia(马来西亚理科大学)
本研究在MuJoCo中评估了基于光流的翼拍计数,比较卷积、脉冲和注意力时间模型,结果表明因果光流计数可行,但架构排名未定。
2026-09-16 cs.CV
A Multi-stream Convolutional Neural Network for Micro-expression Recognition Using Optical Flow and EVM
Southeast University(东南大学)
微表情(ME)识别在广泛的应用中发挥着至关重要的作用,特别是在公共安全和心理治疗方面。目前,传统的方法过分依赖于机器学习设计,识别时间短、强度低,识别率不足以满足实际应用的需要。另一方面,一些基于深度学习的方法也由于数据库不平衡等问题而无法获得高准确率。为了解决这些问题,我们设计了一个多流卷积神经网络(MSCNN)的ME识别本文。具体来说,我们采用EVM和光流放大和可视化的细微运动变化的ME和提取的光流图像的掩模。然后,我们添加到MSCNN的掩模,光流图像,和灰度图像。之后,为了克服数据库的不平衡性,在神经网络的稠密层后加入了随机过采样器。最后,广泛的实验进行了两个公共ME数据库:CASME II和SAMM。与许多最近的国家的最先进的方法相比,我们的方法取得了更有前途的识别结果。
2020-11-10 cs.CV eess.IV
Hidden Two-Stream Convolutional Networks for Action Recognition
University of California at Merced(加州大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学)
分析人类动作的视频涉及理解视频帧之间的时间关系。最先进的动作识别方法依赖于传统的光流估计方法来预先计算CNN的运动信息。这种两阶段的方法在计算上是昂贵的,存储要求高,并且不是端到端可训练的。在本文中,我们提出了一种新的CNN架构,隐式捕获相邻帧之间的运动信息。我们将我们的方法命名为隐藏双流CNN,因为它只将原始视频帧作为输入,并直接预测动作类,而无需显式计算光流。我们的端到端方法比其两阶段基线快10倍。在UCF 101、HMDB 51、THUMOS 14和ActivityNet v1.2四个具有挑战性的动作识别数据集上的实验结果表明,我们的方法明显优于以前的最佳实时方法。
2018-10-30 cs.CV cs.LG cs.MM
Optical Flow augmented Semantic Segmentation networks for Automated Driving
CDV AI Research(CDV人工智能研究院);Valeo Vision Systems(法雷奥视觉系统公司);Valeo R&D DVS(法雷奥研发DVS中心);Nile University(尼罗河大学)
运动是自动驾驶系统中的主要线索。通常计算光流以检测移动对象并使用三角测量来估计深度。在本文中,我们的动机是利用现有的密集光流,以提高性能的语义分割。为了提供一个系统的研究,我们构建了四种不同的架构,使用RGB,流,RGBF级联和两个流RGB +流。我们使用最先进的流量估计器FlowNet v2在两个汽车数据集上评估这些网络,即Virtual KITTI和Cityscapes。我们还利用虚拟KITTI中的地面实况光流作为一个理想的估计器和标准的Farneback光流算法来研究噪声的影响。在Virtual KITTI中使用流地面实况,双流架构实现了最佳结果,IoU提高了4%。正如预期的那样,卡车、货车和汽车等移动物体的IoU分别增加了38%、28%和6%。FlowNet的平均IoU提高了2.4%,移动物体的改善幅度更大,卡车、货车和汽车分别提高了26%、11%和5%。在Cityscapes中,流动增强为摩托车和训练等移动物体提供了改善,IoU增加了17%和7%。
2019-01-11 cs.CV cs.LG stat.ML
CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers
Hamlyn Centre for Robotic Surgery, Imperial College London(伦敦帝国理工学院哈姆林外科机器人中心);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出 CathFlow,一种基于 AiAReSeg、光流伪标签和 CACTUSS 共同域的自监督导管分割架构,可在无标注超声数据上训练,并在合成数据与硅主动脉幻影数据上验证。
2024-09-10 cs.CV eess.IV
Breaking of brightness consistency in optical flow with a lightweight CNN network
State Key Laboratory of Intelligent Manufacturing Equipment and Technology(智能制造装备与技术国家重点实验室);School of Mechanical Science and Engineering, Huazhong University of Science and Technology(华中科技大学机械科学与工程学院)
针对HDR环境下光流亮度一致性失效问题,提出轻量级CNN提取光照鲁棒特征,以特征一致性替代亮度一致性,实现鲁棒光流,在HDR数据集上平移误差降低93%。
2024-05-27 cs.CV
Two-stream Flow-guided Convolutional Attention Networks for Action Recognition
National University of Singapore(新加坡国立大学)
本文提出了一种用于视频中动作识别的双流流引导卷积注意力网络。其中心思想是,光流,当适当补偿相机运动,可以用来引导注意到人类前景。因此,我们开发了从时间网络(在流上训练)到空间网络(在RGB帧上训练)的交叉链接层。这些交叉链接层引导空间流更多地关注人类前景区域,并且较少受背景杂波的影响。在UCF 101、HMDB 51和Hollywood2数据集上,我们的方法获得了很好的性能。
2017-08-30 cs.CV
4D Spatio-Temporal Convolutional Networks for Object Position Estimation in OCT Volumes
Hamburg University of Technology(汉堡工业大学)
跟踪和定位目标是计算机辅助手术中的核心问题。光学相干层析成像(OCT)由于其高的空间和时间分辨率,可以用作光学跟踪系统。最近,3D卷积神经网络(CNN)已经显示出使用单个体积OCT图像进行标记对象的姿态估计的有前途的性能。虽然这种方法仅依赖于空间信息,但OCT允许OCT图像体积的时间流以高体积速率捕获对象的运动。在这项工作中,我们系统地将3D CNN扩展到4D时空CNN,以评估附加时间信息对标记对象跟踪的影响。在各种架构中,我们的结果表明,使用OCT体积流并采用4D时空卷积,与使用3D CNN的单体积处理相比,平均绝对误差降低了30%。
2020-07-02 cs.CV eess.IV
Patient-Specific Domain Adaptation for Fast Optical Flow Based on Teacher-Student Knowledge Transfer
Leibniz Universität Hannover(汉诺威莱布尼茨大学)
快速运动反馈在移动组织的计算机辅助手术(CAS)中至关重要。安全关键视觉应用中的图像辅助需要对组织运动进行密集跟踪。这可以使用光流(OF)来完成。高处理速率下的准确运动预测可提高患者安全性。当前的深度学习OF模型显示了常见的速度与准确性的权衡。为了在高处理速率下实现高精度,我们提出了对快速模型进行患者特定的微调。这最大限度地减少了训练和应用数据之间的域差距,同时将目标域减少到较低复杂度的快速模型的能力。我们建议在手术室术前获得训练序列。我们通过师生学习来处理缺失的地面事实。使用教师模型FlowNet2的流量估计,我们在患者特定领域专门设计了一个快速学生模型FlowNet2S。对来自Hamlyn数据集的序列进行评价。我们的学生模型在微调后表现出非常好的性能。跟踪精度与教师模型相当,速度提高了6倍。可在几分钟内进行微调,使其适用于手术室。我们的方法允许使用以前不适合这项任务的实时模型。该方法为CAS中改进的患者特异性运动估计奠定了基础。
2020-07-09 cs.CV
Origami: A 803 GOp/s/W Convolutional Network Accelerator
ETH Zurich(苏黎世联邦理工学院)
越来越多的计算机视觉和图像/视频处理挑战正在使用深度卷积神经网络来解决,从而在对象识别和检测、语义分割、动作识别、光流和超分辨率方面获得最先进的结果。这些算法的硬件加速对于在嵌入式和移动计算机视觉系统中采用这些改进是必不可少的。我们提出了一个新的架构,设计和实施,以及第一次报告的硅测量这样的加速器,优于以前的工作在功率,面积和I/O效率。所制造的器件在UMC 65 nm技术的3.09 mm^2硅上提供高达196 GOp/s的功率,并可实现803 GOp/s/W的功率效率。大幅降低的带宽要求使其成为首个可扩展到TOp/s性能的架构。
2016-01-19 cs.AI cs.CV cs.LG
Learning Spatiotemporal Features for Infrared Action Recognition with 3D Convolutional Neural Networks
Raytheon BBN Technologies(雷神BBN技术公司)
与可见光谱相机相比,红外(IR)成像具有实现更鲁棒的动作识别系统的潜力,这是由于对照明条件和外观变化的敏感性较低。虽然从可见光谱成像收集的视频上的动作识别任务受到了很大的关注,但红外视频中的动作识别却很少被探索。我们的目标是利用成像数据在这种方式的动作识别任务。在这项工作中,我们提出了一种新的双流三维卷积神经网络(CNN)的架构,通过引入区分码层和相应的区分码损失函数。提出的网络处理红外图像和基于红外的光流场序列。我们在可见光谱Sports-1 M动作数据集上预训练3D CNN模型,并在红外动作识别(InfAR)数据集上对其进行微调。据我们所知,这是3D CNN首次应用于IR域中的动作识别。我们对应用于不同3D CNN输出的不同融合方案(加权平均、单层和双层神经网络)进行了详细分析。实验结果表明,我们的方法可以在InfAR数据集上实现最先进的平均精度(AP)性能:(1)所提出的双流3D CNN实现了最佳报告的77.5% AP,以及(2)我们应用于光流场的3D CNN模型实现了最佳报告的单流75.42% AP。
2017-05-18 cs.AI cs.CV cs.LG
Normalized Convolution Upsampling for Refined Optical Flow Estimation
Linköping University(林雪平大学)
光流是一项回归任务,其中卷积神经网络(CNN)取得了重大突破。然而,由于使用成本体积和金字塔表示,这需要大量的计算。通过以四分之一的分辨率产生流量预测来缓解这一问题,在测试期间使用双线性插值对流量预测进行上采样。因此,精细的细节通常会丢失,需要后处理来恢复它们。我们提出了归一化卷积上采样器(NCUP),这是一种有效的联合上采样方法,可以在光流CNN的训练过程中产生全分辨率流。我们提出的方法将上采样任务制定为稀疏问题,并采用归一化卷积神经网络来解决它。当使用粗到细的光流CNN(PWCNet)进行端到端训练时,我们评估了我们的上采样器与现有的联合上采样方法,我们表明它在FlyingChairs数据集上的性能优于所有其他方法,同时具有至少一个数量级的参数。此外,我们使用递归光流CNN(RAFT)测试了我们的上采样器,并且我们在Sintel基准测试中获得了最先进的结果,误差减少了约6%,并且在KITTI数据集上达到了标准,同时参数减少了7.5%(参见图1)。最后,我们的上采样器在不同的数据集上训练和评估时,表现出比RAFT更好的泛化能力。
2021-02-13 cs.CV
Low-Latency Human Action Recognition with Weighted Multi-Region Convolutional Neural Network
University of Science and Technology of China(中国科学技术大学);HERE Technologies(HERE科技公司)
时空背景对于理解视频中的人类行为至关重要。最近最先进的基于卷积神经网络(ConvNet)的动作识别系统经常涉及3D时空ConvNet过滤器,将视频分块为固定长度的片段和长短期记忆(LSTM)网络。这样的架构被设计为利用短期和长期时间上下文两者,但是还需要累积预定义数量的视频帧(例如,为3D ConvNet过滤器构建视频剪辑,为LSTM生成足够的输入)。针对需要对快速变化的动作场景进行低延迟在线预测的应用,本文提出了一种新的动作识别系统。被称为"加权多区域卷积神经网络"(WMR ConvNet),所提出的系统是无LSTM的,并且基于2D ConvNet,其不需要用于3D ConvNet滤波的视频帧的累积。与纯粹基于RGB帧和光流帧的早期2D ConvNet不同,WMR ConvNet被设计为同时捕获多个空间和短期时间线索(例如,人的姿势、背景中对象的出现)与主区域(前景)和次区域(主要是背景)。在UCF101和HMDB51数据集上,所提出的WMR ConvNet在竞争的低延迟算法中实现了最先进的性能。此外,WMR ConvNet的性能甚至优于基于3D ConvNet的C3D算法,后者需要视频帧累积。在去除光流ConvNet流的消融研究中,消融的WMR ConvNet仍然优于竞争算法。
2018-05-08 cs.CV
3D Convolutional with Attention for Action Recognition
Chowis(超维斯公司);Gwangju Institute of Science and Technology(光州科学技术院);Monitorapp(Monitorapp公司)
人体动作识别是计算机视觉中具有挑战性的任务之一。当前的动作识别方法使用计算昂贵的模型来学习动作的时空依赖性。分别利用RGB通道和光流的模型、使用双流融合技术的模型以及由卷积神经网络(CNN)和长短期记忆(LSTM)网络组成的模型是这种复杂模型的几个示例。此外,微调这种复杂的模型在计算上也是昂贵的。本文提出了一种用于学习这种依赖关系的深度神经网络架构,该架构由3D卷积层、全连接(FC)层和注意力层组成,该架构更易于实现,并在UCF-101数据集上具有竞争力的性能。该方法首先通过3D-CNN学习动作的空间和时间特征,然后注意力机制帮助模型将注意力定位到识别的基本特征。
2022-06-05 cs.CV
ActionFlowNet: Learning Motion Representation for Action Recognition
University of Maryland, College Park(马里兰大学帕克分校);Allen Institute for AI(艾伦人工智能研究所);Comcast Labs, DC(康卡斯特实验室(华盛顿特区))
即使卷积神经网络(CNN)在各种视觉识别任务中的最新进展,最先进的动作识别系统仍然依赖于手工制作的运动特征(诸如光流)来实现最佳性能。我们提出了一个多任务学习模型MifFlowNet,直接从原始像素训练单流网络,以联合估计光流,同时用卷积神经网络识别动作,在单个模型中捕获外观和运动。此外,我们还提供了了解如何学习的光流的质量影响的动作识别。与在没有外部大规模数据和额外光流输入的情况下训练的最先进的基于CNN的动作识别模型相比,我们的模型显著提高了动作识别的准确性,提高了31%。在没有对大型外部标记数据集进行预训练的情况下,我们的模型通过充分利用运动信息,实现了与使用ImageNet和Sport-1 M等大型标记数据集训练的模型相竞争的识别准确性。
2018-02-16 cs.CV
Representation Flow for Action Recognition
Indiana University(印第安纳大学)
在本文中,我们提出了一个受光流算法启发的卷积层来学习运动表示。我们的表示流层是一个完全可微的层,旨在捕获卷积神经网络内任何表示通道的“流”,以进行动作识别。其用于迭代流优化的参数与其他CNN模型参数一起以端到端的方式学习,从而最大化动作识别性能。此外,我们新引入的概念,通过堆叠多个表示流层学习“流的流”表示。我们进行了广泛的实验评估,证实了它的优势,比以前的识别模型,使用传统的光流在计算速度和性能。代码/型号可在这里:https://piergiaj.github.io/rep-flow-site/
2019-08-01 cs.CV
Unsupervised convolutional neural networks for motion estimation
Queen Mary University of London(伦敦玛丽女王大学)
用于运动估计的传统方法将一对图像之间的运动场F估计为使预先设计的成本函数最小化的运动场。在本文中,我们提出了一种直接的方法和训练卷积神经网络(CNN),当在测试时,给定一对图像作为输入,它在其输出层产生一个密集的运动场F。在缺乏允许经典监督训练的具有地面真实运动的大型数据集的情况下,我们建议以无监督的方式训练网络。在训练期间优化的所提出的成本函数基于经典的光流约束。后者相对于运动场是可微分的,因此允许误差反向传播到网络的先前层。我们的方法进行了测试合成和真实的图像序列,并执行类似的国家的最先进的方法。
2016-01-22 cs.CV
FlowCaps: Optical Flow Estimation with Capsule Networks For Action Recognition
IHPC, A*STAR(新加坡科技研究局高性能计算研究所)
胶囊网络(CapsNets)最近显示出在大多数计算机视觉任务中表现出色的前景,特别是与场景理解有关的任务。在本文中,我们探讨了CapsNet在光流估计方面的能力,卷积神经网络(CNN)已经优于其他方法。我们提出了一种基于CapsNet的架构,称为FlowCaps,它试图a)通过对光流估计至关重要的更细粒度、运动特定和更可解释的编码来实现更好的对应匹配,b)执行更好的可推广的光流估计,c)利用更少的地面实况数据,以及d)与CNN对应物相比,在实现良好性能方面显着降低计算复杂性。
2020-11-08 cs.CV
SegFlow: Joint Learning for Video Object Segmentation and Optical Flow
Tsinghua University(清华大学);University of California, Merced(加州大学默塞德分校)
本文提出了一种端到端的可训练网络SegFlow,用于同时预测视频中的逐像素对象分割和光流。提出的SegFlow有两个分支,其中对象分割和光流的有用信息在一个统一的框架中双向传播。分割分支是基于一个完全卷积网络,这已被证明是有效的图像分割任务,和光流分支利用FlowNet模型。统一框架迭代地离线训练以学习通用概念,并针对特定对象进行在线微调。在视频对象分割和光流数据集上进行的大量实验表明,引入光流提高了分割的性能,反之亦然,对最先进的算法。
2017-09-20 cs.CV
SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping
Robotics at Google(谷歌机器人技术部);Waymo(韦莫)
我们提出了SMURF,一种用于光流的无监督学习的方法,该方法通过$36\%$到$40\%$(超过先前的最佳方法UFlow)在所有基准上提高了最先进的水平,甚至优于几种有监督的方法,如PWC-Net和FlowNet 2。我们的方法集成了监督光流,即RAFT模型的架构改进,无监督学习的新思想,包括序列感知的自我监督损失,处理帧外运动的技术,以及从多帧视频数据中有效学习的方法,同时仍然只需要两个帧进行推理。
2021-05-14 cs.CV
Semi-Blind Spatially-Variant Deconvolution in Optical Microscopy with Local Point Spread Function Estimation By Use Of Convolutional Neural Networks
Idiap Research Institute(伊迪亚普研究所);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一种半盲,空间变化的反卷积技术,旨在光学显微镜,结合了局部估计步骤的点扩散函数(PSF)和反卷积使用空间变化,正则化Richardson-Lucy算法。为了以计算上易于处理的方式找到局部PSF图,我们训练卷积神经网络来对合成模糊图像块执行光学参数模型的回归。我们反卷积合成和实验获得的数据,并实现了平均1.00 dB的图像信噪比的改善,相比其他反卷积算法。
2019-05-17 cs.CV cs.LG
Self-Configurable Stabilized Real-Time Detection Learning for Autonomous Driving Applications
Korea University(高丽大学);University of Central Florida(中佛罗里达大学)
在自动驾驶环境中,同时保证实时的【形】和准确的目标检测至关重要。然而,现有的目标检测神经网络系统的特征在于计算时间和准确性之间的权衡,使得优化这样的权衡是必要的。幸运的是,在许多自动驾驶环境中,图像以连续的形式出现,这为使用光流提供了机会。在本文中,我们提高性能的目标检测神经网络利用光流估计。此外,我们提出了一个李雅普诺夫优化框架的时间平均性能最大化的稳定性。该算法自适应地确定是否使用光流来适应动态车辆环境,从而在保证车辆排队稳定性的同时保证车辆时均性能最大化。为了验证的关键思想,我们进行了各种目标检测神经网络和光流估计网络的数值实验。此外,我们展示了自配置的稳定检测与YOLOv 3-tiny和FlowNet 2-S,这是实时的【形】目标检测网络和光流估计网络,分别。在演示中,我们提出的框架提高了3.02%的准确性,检测到的对象的数量由59.6%,和计算能力的队列稳定性。
2022-09-29 cs.CV cs.SY eess.SY
EventHPE: Event-based 3D Human Pose and Shape Estimation
University of Alberta(阿尔伯塔大学);Shandong University(山东大学);Celepixel Technology;University of Guelph(圭尔夫大学);Nanyang Technological University(南洋理工大学)
事件相机是一种新兴的图像传感器,用于捕获运动物体的动态作为事件,这激发了我们的工作,估计三维人体姿态和形状的事件信号。另一方面,事件有其独特的挑战:事件信号最擅长捕捉局部运动,而不是捕捉静态的身体姿势。这让我们提出了一种两阶段的深度学习方法,称为EventHPE。第一阶段,FlowNet,通过无监督学习来训练以从事件推断光流。事件和光流都与人体动力学密切相关,在第二阶段将其作为ShapeNet的输入,以估计3D人体形状。为了缓解基于图像的流(光流)和基于形状的流(人体形状的顶点移动)之间的差异,通过利用两种流都源自相同的人体运动这一事实,引入了一种新的流相干性损失。一个内部的基于事件的3D人体数据集被策划,带有3D姿势和形状注释,这是迄今为止我们所知的最大的一个。对DHP19数据集和我们的内部数据集的实证评估证明了我们的方法的有效性。
2021-08-15 cs.CV
Optical Flow Super-Resolution Based on Image Guidence Using Convolutional Neural Network
Tsinghua University(清华大学)
用于光流估计的卷积神经网络模型通常输出低分辨率(LR)光流场。为了获得相应的全图像分辨率,插值和变分方法是最常见的选择,这并不能有效地改善结果。在各种卷积神经网络(CNN)结构在单图像超分辨率(SISR)任务中取得成功的基础上,提出了一种端到端卷积神经网络,以用于光流估计的第一帧为指导,从初始LR光流重建高分辨率光流场。我们的光流超分辨率(OFSR)问题不同于一般的SISR问题在两个主要方面。首先,光流比图像包含更少的纹理信息,使得SISR CNN结构不能直接用于我们的OFSR问题。其次,初始LR光流数据包含估计误差,而用于SISR的LR图像数据通常是HR基础事实的双三次下采样、模糊和噪声版本。通过两种不同的光流估计方法对该方法进行了评价,结果表明,该方法不仅能获得完整的图像分辨率,而且能产生更精确的光流场(在FlyingChairs上精度提高15%,在MPI Sintel上精度提高13%),边缘更清晰。
2018-09-03 cs.CV