FlowCaps: Optical Flow Estimation with Capsule Networks For Action Recognition
IHPC, A*STAR(新加坡科技研究局高性能计算研究所)
胶囊网络(CapsNets)最近显示出在大多数计算机视觉任务中表现出色的前景,特别是与场景理解有关的任务。在本文中,我们探讨了CapsNet在光流估计方面的能力,卷积神经网络(CNN)已经优于其他方法。我们提出了一种基于CapsNet的架构,称为FlowCaps,它试图a)通过对光流估计至关重要的更细粒度、运动特定和更可解释的编码来实现更好的对应匹配,b)执行更好的可推广的光流估计,c)利用更少的地面实况数据,以及d)与CNN对应物相比,在实现良好性能方面显着降低计算复杂性。
2020-11-08 cs.CV
Unsupervised Learning for Optical Flow Estimation Using Pyramid Convolution LSTM
Sun Yat-sen University(中山大学)
目前大多数基于卷积神经网络(CNN)的光流估计方法都集中在使用地面真值在合成数据集上学习光流,这是不实用的。在本文中,我们提出了一个无监督的光流估计框架PCLNet。它使用具有相邻帧重建约束的金字塔卷积LSTM(ConvLSTM),这允许从任何视频片段灵活地估计多帧光流。此外,通过解耦运动特征学习和光流表示,我们的方法避免了复杂的捷径连接使用现有的框架,同时提高了光流估计的准确性。此外,不同于那些使用专门的CNN架构来捕获运动的方法,我们的框架直接从通用CNN的特征中学习光流,因此可以很容易地嵌入到任何基于CNN的框架中用于其他任务。大量的实验表明,该方法不仅能有效、准确地估计光流,而且在动作识别上也取得了相当的性能。
2019-07-26 cs.CV
FlowDA: Unsupervised Domain Adaptive Framework for Optical Flow Estimation
Huazhong University of Science and Technology(华中科技大学)
FlowDA提出一种基于均值教师和课程学习的无监督域自适应框架,显著提升光流估计在真实场景中的性能。
2023-12-28 cs.CV
STaRFlow: A SpatioTemporal Recurrent Cell for Lightweight Multi-Frame Optical Flow Estimation
ONERA, Université Paris-Saclay(法国国家航空航天研究中心,巴黎萨克雷大学)
提出了一种基于CNN的轻量级多帧光流估计算法。我们的解决方案通过重复使用通用的“STaR”(时空递归)单元,在空间尺度和时间上引入了双重递归。它包括(i)基于传送学习特征而不是光流估计的时间递归;(ii)与光流估计耦合的遮挡检测过程,因此使用非常有限数量的额外参数。由此产生的STaRFlow算法在MPI Sintel和Kitti 2015上提供了最先进的性能,并且与具有可比结果的所有其他方法相比,所涉及的参数明显较少。
2020-07-10 cs.CV
Continual Occlusions and Optical Flow Estimation
Czech Technical University in Prague(布拉格捷克理工大学)
解决了两个光流估计问题:i)遮挡估计和处理,以及ii)来自长于两帧的图像序列的估计。所提出的ContinualFlow方法在流动之前估计遮挡,避免使用被遮挡破坏的流动进行估计。我们发现,提供遮挡掩模作为额外的输入流量估计提高了标准的性能指标超过25%的KITTI和Sintel。作为第二个贡献,一种新的方法,将信息从过去的帧到流量估计。先前的帧流用作遮挡估计的输入,并且用作遮挡区域(即,没有视觉对应的那些区域)中的先验。通过继续使用以前的帧流,ContinualFlow性能在KITTI上进一步提高了18%,在Sintel上提高了7%,在KITTI和Sintel上实现了最佳性能。
2018-11-05 cs.CV
PRAFlow_RVC: Pyramid Recurrent All-Pairs Field Transforms for Optical Flow Estimation in Robust Vision Challenge 2020
Northwestern Polytechnical University(西北工业大学)
光流估计是一项重要的计算机视觉任务,其目的是估计两帧图像之间的密集对应关系。RAFT(Recurrent All Pairs Field Transforms)是当前光流估计的最新技术。它具有良好的泛化能力,并在多个基准测试中取得了优异的成绩。为了进一步提高算法的鲁棒性,实现精确的光流估计,提出了基于金字塔网络结构的PRAFlow(Pyramid Recurrent All-Pairs Flow)算法。由于计算的限制,我们提出的网络结构只使用两个金字塔层。在每一层,RAFT单元用于估计当前分辨率下的光流。我们的模型在多个模拟和真实图像数据集上进行了训练,使用相同的模型和参数提交给多个排行榜,并在ECCV 2020研讨会的光流任务中获得第二名:鲁棒视觉挑战赛。
2020-09-14 cs.CV
Joint Self-supervised Depth and Optical Flow Estimation towards Dynamic Objects
Jiangnan University(江南大学)
针对帧间监督深度估计中动态物体的不确定性问题,提出深度与光流联合估计框架,通过自适应运动分割、独立预测合成深度及重合成光流计算误差,在相关数据集上取得更优或有竞争力的性能。
2023-09-07 cs.CV eess.IV
Deep 360$^\circ$ Optical Flow Estimation Based on Multi-Projection Fusion
Victoria University of Wellington(惠灵顿维多利亚大学);Adobe Research(Adobe研究院)
光流计算在视频处理流水线的早期阶段是必不可少的。本文重点讨论了这一领域中较少探索的问题,即使用深度神经网络进行360 $^\circ$光流估计,以支持日益流行的VR应用。为了解决应用卷积神经网络时全景表示的失真问题,我们提出了一种新的多投影融合框架,该框架融合了使用不同投影方法训练的模型预测的光流。它学习组合不同投影下的光流结果中的互补信息。我们还建立了第一个大规模的全景光流数据集,以支持神经网络的训练和全景光流估计方法的评估。在我们数据集上的实验结果表明,我们的方法优于现有方法和其他为处理360°内容而开发的替代深度网络。
2022-07-27 cs.CV
STC-Flow: Spatio-temporal Context-aware Optical Flow Estimation
在本文中,我们提出了一个时空上下文网络,STC流,光流估计。与以往的局部金字塔特征提取和多级相关的光流估计方法不同,我们提出了一个上下文关系探索架构,通过捕获丰富的空间和时间维度的长程依赖关系。具体来说,STC-Flow包含三个关键上下文模块--金字塔空间上下文模块、时间上下文相关模块和递归残差上下文上采样模块,分别在特征提取、相关和流重构的各个阶段建立关联。实验结果表明,该方法在Sintel数据集和KITTI 2012/2015数据集上均达到了基于两帧的方法的最佳性能.
2020-11-03 cs.CV
A Framework for Real-Time Face and Facial Feature Tracking using Optical Flow Pre-estimation and Template Tracking
LIACS, Leiden University(莱顿大学LIACS(莱顿高级计算机科学研究所))
这项工作提出了一个框架,用于跟踪头部运动和捕捉运动的嘴和两个眉毛在实时的【形】。我们提出了一个头部跟踪器,这是一个组合的光流和基于模板的跟踪器。光流头部跟踪器的估计被用作微调头部估计的模板跟踪器的起始点。该方法与重新更新光流点一起防止头部跟踪器漂移。这种结合与我们的切换方案,使我们的跟踪器非常强大的快速运动和运动模糊。我们还提出了一种方法来减少头部部分遮挡的影响。在光流和基于模板的跟踪器中,我们识别并排除遮挡点。
2010-12-31 cs.CV
Occlusions, Motion and Depth Boundaries with a Generic Network for Disparity, Optical Flow or Scene Flow Estimation
University of Freiburg(弗莱堡大学)
遮挡在视差和光流估计中起着重要作用,因为在遮挡区域中匹配成本不可用,并且遮挡指示深度或运动边界。此外,遮挡是相关的运动分割和场景流估计。在本文中,我们提出了一个有效的基于学习的方法来估计遮挡面积联合视差或光流。估计的遮挡和运动边界明显改善了最先进的水平。此外,我们提出的网络与流行的KITTI基准和良好的通用性能的最先进的性能。利用估计的遮挡,我们还显示了改进的运动分割和场景流估计的结果。
2018-08-08 cs.CV
Layered Optical Flow Estimation Using a Deep Neural Network with a Soft Mask
Illinois Institute of Technology(伊利诺伊理工学院)
使用分层表示进行运动估计具有能够处理不连续性和遮挡的优点。在本文中,我们学习通过将分层运动表示与深度学习相结合来估计光流。代替预先分割的图像层,所提出的方法自动生成一个分层表示的光流使用建议的软掩模模块。软掩模模块的基本组成部分是最大输出和融合操作,这使得光流的不相交分层表示和更准确的流量估计。我们表明,通过使用掩码的运动估计结果在输出层的输入功能的二次函数。所提出的软掩模模块可以添加到任何现有的光流估计网络,通过替换它们的流输出层。在这项工作中,我们使用FlowNet作为基础网络,我们添加软掩码模块。由此产生的网络进行了测试,在三个著名的基准与监督和无监督的流量估计任务。评价结果表明,与原FlowNet相比,该网络取得了更好的效果。
2018-05-09 cs.CV
Optical Flow-based 3D Human Motion Estimation from Monocular Video
TU Braunschweig(不伦瑞克工业大学)
我们提出了一种生成的方法来估计三维人体运动和身体形状从单目视频。假设从一个初始姿态开始的光流约束随后的人体运动,我们利用流找到时间上相干的人体姿势的运动序列。我们估计人体运动计算流场和人工流渲染器的输出之间的差异最小化。需要单个初始化步骤来估计多个帧上的运动。几个正则化函数随着时间的推移增强了鲁棒性。我们的测试场景表明,光流有效地规范了单目视频中人体形状和运动估计的欠约束问题。
2017-03-21 cs.CV
Optical Flow Estimation in 360$^\circ$ Videos: Dataset, Model and Application
Illinois Tech(伊利诺伊理工学院);Texas State University(德克萨斯州立大学);Tesla Inc(特斯拉公司);Cisco Research(思科研究院)
光流估计一直是计算机视觉领域中一个长期存在的基本问题。然而,尽管透视视频中的光流估计取得了进展,但360 $^\circ$视频对应物仍处于起步阶段,这主要是由于基准数据集的短缺以及未能适应360 $^\circ$视频的全向性质。我们提出了第一个感知逼真的360 $^\circ$视野视频基准数据集,即FLOW 360,具有40个不同的视频和4,000个视频帧。然后,我们进行全面的特征分析和广泛的比较与现有的数据集,体现FLOW 360的感知现实主义,独特性和多样性。此外,我们提出了一种新的连体表示学习框架的全向流(SLOF)估计,这是通过一个混合的损失,结合连体对比和光流损失的对比方式进行训练。通过对输入全向帧的随机旋转训练模型,我们提出的对比方案适应了360 $^\circ$视频中光流估计的全向性质,从而显著降低了预测误差。通过将我们的连体学习方案和全向光流估计扩展到以自我为中心的活动识别任务,进一步证明了学习方案是有效的,其中分类准确率提高到$\sim$ 26%。综上所述,我们从基准数据集、学习模型和实际应用的角度研究了360 $^\circ$视频中的光流估计问题。FLOW 360数据集和代码可在https://siamlof.github.io上获得。
2023-01-27 cs.CV
MVFlow: Deep Optical Flow Estimation of Compressed Videos with Motion Vector Prior
Fudan University(复旦大学)
针对压缩视频光流估计忽略压缩信息的问题,提出利用运动矢量先验的MVFlow模型,通过Motion-Vector Converting Module将运动矢量转换至光流域,并构建四个相关数据集,在降低1.09 AEPE或节省52%时间上展现了优越性。
2023-08-04 cs.CV
Comparison of Optimization Methods in Optical Flow Estimation
Carnegie Mellon University(卡内基梅隆大学)
光流估计是计算机视觉中一个广为人知的问题,由Gibson,J.J(1950)引入来描述人对刺激物体的视觉感知。光流模型的估计可以通过求解不同时间轴上感兴趣区域的运动矢量来实现。本文假定相邻两帧之间的速度变化是均匀的,用传统的Lucas-Kanade(1981)方法求解光流问题。该方法执行模板和翘曲回到模板上的目标帧之间的误差的最小化。求解最小化步骤需要具有不同收敛速度和误差的优化方法。我们探讨了一阶和二阶优化方法,并将其结果与Lucas-Kanade的Gauss-Newton方法进行了比较。我们通过合成对象生成了105个10,500帧的视频,并从真实世界的镜头中生成了10个1,000帧的视频。我们的实验结果可以作为Lucas-Kanade方法的调整参数。
2016-05-02 cs.CV
Full Flow: Optical Flow Estimation By Global Optimization over Regular Grids
Stanford University(斯坦福大学);Intel Labs(英特尔实验室)
提出了一种全局优化的光流估计方法。该方法优化了一个经典的光流目标在整个空间的离散网格之间的映射。不使用描述符匹配。映射空间的高度规则结构使得能够进行优化,从而将算法的内部循环的计算复杂性从二次降低到线性,并且支持数万个节点到数万个位移的有效匹配。我们表明,一个经典的霍恩-Schunck型目标在规则的网格在一个单一的分辨率的一次全局优化是足够的初始化连续插值和实现最先进的性能具有挑战性的现代基准。
2016-04-12 cs.CV
A Fusion Approach for Multi-Frame Optical Flow Estimation
Georgia Tech(佐治亚理工学院);NVIDIA(英伟达);UC Merced(加州大学默塞德分校);UC Irvine(加州大学欧文分校)
迄今为止,性能最好的光流估计方法仅考虑成对的连续帧。虽然优雅和吸引力,使用两个以上的框架的想法还没有产生最先进的结果。我们提出了一个简单的,但有效的融合方法多帧光流,从长期的时间线索的好处。我们的方法首先扭曲的光流从以前的帧到当前,从而产生多个合理的估计。然后将这些估计值所携带的互补信息融合到一个新的光流场中。在撰写本文时,我们的方法在MPI Sintel和KITTI 2015基准测试中排名第一。我们的模型将在https://github.com/NVlabs/PWC-Net上提供。
2018-11-29 cs.CV
FDFlowNet: Fast Optical Flow Estimation using a Deep Lightweight Network
Shanghai Jiao Tong University(上海交通大学)
使用深度神经网络估计光流已经取得了重大进展。高级深度模型实现精确的流量估计,通常具有相当大的计算复杂性和耗时的训练过程。在这项工作中,我们提出了一个轻量级的,但有效的实时光流估计模型,称为FDFlowNet(快速深流网)。我们在具有挑战性的KITTI和Sintel基准测试中实现了更好或类似的精度,同时比PWC-Net快2倍。这是通过精心设计的结构和新提出的组件实现的。我们首先介绍了一个U形网络,用于构建多尺度特征,与金字塔网络相比,该网络有利于具有全局感受野的上层。在每个尺度上,提出了一种具有膨胀卷积的部分全连接结构用于流量估计,与顺序连接和密集连接结构相比,该结构在速度,精度和参数数量之间获得了良好的平衡。实验表明,我们的模型实现了最先进的性能,同时是快速和轻量级的。
2020-06-22 cs.CV
Robust Optical Flow Estimation of Double-Layer Images under Transparency or Reflection
Beijing Institute of Technology(北京理工大学);Australian National University(澳大利亚国立大学);Yale-NUS College(耶鲁-新加坡国立大学学院)
本文讨论了两帧光流估计中一个具有挑战性的、经常遇到的、尚未得到适当研究的问题。也就是说,输入帧是两个成像层的复合--一个是场景的所需背景层,另一个是由于透明度或反射而分散注意力、可能移动的层。在这种情况下,传统的亮度恒定性约束-大多数现有的光流方法的基石-将不再有效。在本文中,我们提出了一个强大的解决方案,这个问题。所提出的方法执行光流估计和图像层分离。它利用了一个广义的双层亮度一致性约束连接这两个任务,并利用他们两个的先验。在合成数据和真实图像上的实验证实了该方法的有效性。据我们所知,这是第一次尝试处理通用的光流领域的两帧图像包含透明度或反射。
2016-05-06 cs.CV
A massively parallel multi-level approach to a domain decomposition method for the optical flow estimation with varying illumination
LMIA(LMIA实验室)
我们考虑一种变分方法来求解变照度下的光流问题。我们应用正则化参数的自适应控制,这使我们能够保留计算流的边缘和精细特征。为了降低高分辨率图像估计的复杂性和计算时间,我们实现了一个多层次的并行方法的基础上的区域分解与Schwarz重叠方法。第二级并行使用大规模并行求解器MUMPS。我们进行了一些数值模拟,以显示我们的方法的效率,并验证它对经典和现实世界的图像序列。
2015-08-12 cs.CV
Fast and Accurate Optical Flow based Depth Map Estimation from Light Fields
Trinity College Dublin(都柏林圣三一学院)
深度图估计是计算机视觉中的关键任务,并且最近出现了利用光场的新方法,因为与基于立体图像或多视图的常见方法相比,这种新的成像模态捕获关于光线的角方向的更多信息。本文在现有的光流估计方法的基础上,提出了一种新的基于光场的深度估计方法。将光流估计器应用于沿光场的角度维度拍摄的图像序列,这产生若干视差图估计。考虑到准确性和效率,我们选择特征流方法作为我们的光流估计。由于其时空边缘感知滤波特性,我们获得的不同视差图估计非常一致,这允许快速简单的聚合步骤来创建单个视差图,然后可以将其转换为深度图。由于视差图估计是一致的,我们还可以从每个视差估计创建深度图,然后在3D空间中聚合不同的深度图以创建单个密集深度图。
2020-08-11 cs.CV
Asymmetric Bilateral Phase Correlation for Optical Flow Estimation in the Frequency Domain
Kingston University London(伦敦金斯顿大学)
我们解决的问题,在频域中操作的图像中的运动估计。提出了一种方法,该方法扩展了相位相关来处理区域中存在的多个运动。我们的方案是基于一种新的双边相位相关(BLPC)技术,该技术采用了双边滤波器的概念和原理,通过考虑到值和距离的差异,以非常类似于高斯卷积的方式保留运动边界。光流通过在基于当前运动差异选择的某些位置处应用所提出的方法来获得,然后在多尺度迭代框架中执行非均匀插值。几个著名的数据集与无地面实况的实验表明,我们的计划优于最近提出的国家的最先进的相位相关的光流方法。
2018-11-01 cs.CV
ProbFlow: Joint Optical Flow and Uncertainty Estimation
TU Darmstadt(达姆施塔特工业大学);University of Mannheim(曼海姆大学)
光流估计由于无纹理区域、运动边界、遮挡等而仍然具有挑战性。因此,所估计的流量在整个图像上不是同样可靠的。为此,事后的信心措施已被引入,以评估每像素的流的可靠性。我们克服了人工分离的光流和置信度估计,通过引入一种方法,联合预测光流和其潜在的不确定性。从常见的基于能量的公式开始,我们依赖于给定图像的流的相应后验分布。我们推导出一个变分推理方案的平均场的基础上,它结合了能量最小化的最佳实践。沿着流在每个像素处获得作为变分分布的(边缘)熵的不确定性度量。我们证明了我们的概率方法的灵活性,将其应用到两个不同的能源和两个基准。我们不仅获得流的结果,是具有竞争力的基本能量最小化方法,但也是一个可靠的不确定性措施,显着优于现有的事后方法。
2017-08-22 cs.CV
DenVisCoM: Dense Vision Correspondence Mamba for Efficient and Real-time Optical Flow and Stereo Estimation
Machine Intelligence Group, Birla Institute of Technology and Science, Pilani, Hyderabad Campus, India(机智人工智能组,比拉理工学院,比拉理工学院,海得拉巴校区,印度);Université Côte d’Azur, Inria, France(蔚蓝大学,法国国家信息与自动化研究所)
DenVisCoM通过结合Mamba和Transformer模块,实现高效实时的光流和立体视觉估计。
2026-02-02 cs.CV
MirrorFlow: Exploiting Symmetries in Joint Optical Flow and Occlusion Estimation
TU Darmstadt(达姆施塔特工业大学)
光流估计是计算机视觉中研究最多的问题之一,然而最近的基准数据集继续揭示当今方法的问题领域。闭塞仍然是主要挑战之一。在本文中,我们提出了一个对称的光流方法来解决众所周知的鸡和蛋之间的关系光流和闭塞。在对比许多国家的最先进的方法,认为闭塞离群值,可能在后处理过程中过滤掉,我们强调联合闭塞推理的重要性,在优化,并显示如何利用闭塞作为一个重要的线索,估计光流。我们的模型的主要特点是充分利用对称性的特点,光流和闭塞在两个连续的图像。具体地说,通过利用能量中的前向-后向一致性和遮挡-解除遮挡对称性,我们的模型联合估计了前向和后向的光流,以及两个视图中一致的遮挡图。我们在标准基准测试中表现出显着的性能优势,特别是从闭塞-解除闭塞对称性。在具有挑战性的KITTI数据集上,我们报告了迄今为止最准确的两帧结果。
2017-08-17 cs.CV
On Optical Flow Models for Variational Motion Estimation
本文探讨了基于总变分的正则化方法在运动估计中的应用,重点分析了光学流模型的不同变体及优化方法,并提出通过反问题视角评估运动估计质量的框架。
2015-12-01 cs.CV cs.NA math.NA
Towards Anytime Optical Flow Estimation with Event Cameras
Zhejiang University(浙江大学);Hunan University(湖南大学)
针对事件光流真值帧率低的问题,提出 Unified Voxel Grid 表示、EVA-Flow 随时估计网络和 RFWL 无监督损失,实现 5ms 延迟、200Hz 稠密光流与强泛化。
2025-05-13 cs.CV cs.RO eess.IV
Fast Event-based Optical Flow Estimation by Triplet Matching
Keio University(庆应义塾大学);Technische Universität Berlin(柏林工业大学);Einstein Center Digital Future(爱因斯坦数字未来中心);Science of Intelligence Excellence Cluster(科学智能卓越集群)
本文提出一种基于三元组匹配的逐事件光流估计方法,仅用三个事件即可在标准CPU上以超过10 kHz运行,并在公开基准上达到与事件包方法相当的精度。
2022-12-23 cs.CV cs.RO eess.SP
Semi-Blind Spatially-Variant Deconvolution in Optical Microscopy with Local Point Spread Function Estimation By Use Of Convolutional Neural Networks
Idiap Research Institute(伊迪亚普研究所);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一种半盲,空间变化的反卷积技术,旨在光学显微镜,结合了局部估计步骤的点扩散函数(PSF)和反卷积使用空间变化,正则化Richardson-Lucy算法。为了以计算上易于处理的方式找到局部PSF图,我们训练卷积神经网络来对合成模糊图像块执行光学参数模型的回归。我们反卷积合成和实验获得的数据,并实现了平均1.00 dB的图像信噪比的改善,相比其他反卷积算法。
2019-05-17 cs.CV cs.LG
DualRefine: Self-Supervised Depth and Pose Estimation Through Iterative Epipolar Sampling and Refinement Toward Equilibrium
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Mechatronics, Systems, and Control Laboratory(机电一体化、系统与控制实验室);Vehicular Systems Design and Control Lab(车辆系统设计与控制实验室)
提出 DualRefine,利用深度均衡模型框架和对极几何反馈回路迭代耦合精修深度与位姿,在 KITTI 上超过已有自监督基线。
2024-04-05 cs.CV
Estimation of Clinical Workload and Patient Activity using Deep Learning and Optical Flow
Monash University(蒙纳士大学);Eastern Health(东部健康中心)
使用热成像的非接触式监测越来越多地被提议用于监测住院患者的病情恶化,最近用于检测COVID-19大流行期间的发烧和感染。在这封信中,我们提出了一种新的方法来估计病人的运动和观察临床工作量使用类似的技术设置,但结合开源目标检测算法(YOLOv 4)和光流。患者运动估计用于近似患者的激动和镇静,而工人运动被用作护理人员工作量的替代。通过比较重症监护室记录的患者视频中的32000多帧,与临床工作人员记录的临床躁动评分,说明了性能。
2022-02-09 cs.CV cs.HC cs.LG
$\mathrm{F^2Depth}$: Self-supervised Indoor Monocular Depth Estimation via Optical Flow Consistency and Feature Map Synthesis
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);Qingdao Research Institute of Beihang University(北京航空航天大学青岛研究院);School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院)
本文提出自监督室内单目深度估计框架F²Depth,通过微调光流网络并结合光流一致性损失与特征图合成损失监督深度学习,在NYU Depth V2及零样本泛化实验中验证了其有效性和泛化能力。
2024-03-27 cs.CV
LS-VO: Learning Dense Optical Subspace for Robust Visual Odometry Estimation
University of Perugia(佩鲁贾大学)
这项工作提出了一种新的深度网络架构来解决相机自我运动估计问题。运动估计网络通常从图像序列开始学习类似于光流(OF)场的特征。这个OF可以用一个低维的潜在空间来描述。以前的研究已经展示了如何找到这个空间的线性近似。我们建议使用自动编码器网络来找到OF流形的非线性表示。此外,我们建议学习潜在空间与估计任务,使学习的OF功能成为一个更强大的描述OF输入。我们称这种新颖的架构为LS-VO。实验表明,LS-VO实现了相当大的提高性能相对于基线,而估计网络的参数的数量只略有增加。
2017-12-12 cs.CV cs.RO
Optical Flow Super-Resolution Based on Image Guidence Using Convolutional Neural Network
Tsinghua University(清华大学)
用于光流估计的卷积神经网络模型通常输出低分辨率(LR)光流场。为了获得相应的全图像分辨率,插值和变分方法是最常见的选择,这并不能有效地改善结果。在各种卷积神经网络(CNN)结构在单图像超分辨率(SISR)任务中取得成功的基础上,提出了一种端到端卷积神经网络,以用于光流估计的第一帧为指导,从初始LR光流重建高分辨率光流场。我们的光流超分辨率(OFSR)问题不同于一般的SISR问题在两个主要方面。首先,光流比图像包含更少的纹理信息,使得SISR CNN结构不能直接用于我们的OFSR问题。其次,初始LR光流数据包含估计误差,而用于SISR的LR图像数据通常是HR基础事实的双三次下采样、模糊和噪声版本。通过两种不同的光流估计方法对该方法进行了评价,结果表明,该方法不仅能获得完整的图像分辨率,而且能产生更精确的光流场(在FlyingChairs上精度提高15%,在MPI Sintel上精度提高13%),边缘更清晰。
2018-09-03 cs.CV
GNEP Based Dynamic Segmentation and Motion Estimation for Neuromorphic Imaging
George Mason University(乔治梅森大学)
本文针对神经形态事件相机,提出基于广义纳什均衡的框架,利用异步事件流的时空信息实现动态分割与运动估计,并给出存在性准则和多层优化求解方法,实验验证其有效性。
2023-07-08 cs.CV cs.GT math.OC