CGCV:Context Guided Correlation Volume for Optical Flow Neural Networks
Jilin University（吉林大学）
光流从一对视频帧中计算视在运动，是场景运动估计的关键工具。关联体是光流计算神经元模型的核心组成部分。它估计跨帧特征之间的成对匹配成本，然后用于解码光流。然而，传统的相关体积经常是嘈杂的，离群倾向，和敏感的运动模糊。我们观察到，虽然最近的RAFT算法也采用了传统的相关量，其额外的上下文编码器提供了语义上的代表性功能的流解码器，隐式地补偿相关量的不足。然而，这种上下文编码器的好处几乎没有被讨论或利用。在本文中，我们首先调查的RAFT的上下文编码器的功能，然后提出了一个新的上下文引导相关体积（CGCV）通过门控和提升计划。CGCV可以与基于RAFT的流计算方法通用地集成以增强性能，特别是在存在运动模糊、散焦模糊和大气效应的情况下有效。通过将所提出的CGCV与先前的全局运动聚合（GMA）方法相结合，以0.5%的额外参数的微小代价，GMA在KITTI 2015 Leader Board上的排名提升了23个位置，在Sintel Leader Board上提升了3个位置。此外，在类似的模型大小，我们的相关量达到竞争力或优越的性能，以最先进的同行监督模型，采用Transformers或图形推理，通过广泛的实验验证。
2022-12-20 cs.CV
PRAFlow_RVC: Pyramid Recurrent All-Pairs Field Transforms for Optical Flow Estimation in Robust Vision Challenge 2020
Northwestern Polytechnical University（西北工业大学）
光流估计是一项重要的计算机视觉任务，其目的是估计两帧图像之间的密集对应关系。RAFT（Recurrent All Pairs Field Transforms）是当前光流估计的最新技术。它具有良好的泛化能力，并在多个基准测试中取得了优异的成绩。为了进一步提高算法的鲁棒性，实现精确的光流估计，提出了基于金字塔网络结构的PRAFlow（Pyramid Recurrent All-Pairs Flow）算法。由于计算的限制，我们提出的网络结构只使用两个金字塔层。在每一层，RAFT单元用于估计当前分辨率下的光流。我们的模型在多个模拟和真实图像数据集上进行了训练，使用相同的模型和参数提交给多个排行榜，并在ECCV 2020研讨会的光流任务中获得第二名：鲁棒视觉挑战赛。
2020-09-14 cs.CV
Rethinking Optical Flow from Geometric Matching Consistent Perspective
Fudan University（复旦大学）；Zhejiang Normal University（浙江师范大学）
光流估计是一个尚未解决的具有挑战性的问题。最近基于深度学习的光流模型已经取得了相当大的成功。然而，这些模型通常在标准光流数据上从头开始训练网络，这限制了它们鲁棒和几何匹配图像特征的能力。在本文中，我们提出了一个反思以前的光流估计。我们特别利用几何图像匹配（GIM）作为光流估计（MatchFlow）的预训练任务，具有更好的特征表示，因为GIM与光流估计具有一些共同的挑战，并且具有大量标记的真实世界数据。因此，匹配静态场景有助于学习具有一致位移的对象和场景的更基本的特征相关性。具体而言，所提出的MatchFlow模型采用了在MegaDepth上预训练的基于四叉树注意力的网络来提取粗特征以用于进一步的流回归。大量的实验表明，我们的模型具有很好的跨数据集推广。我们的方法实现了11.5%和10.1%的错误减少从GMA的Sintel干净的通过和KITTI测试集。在匿名提交时，我们的MatchFlow（G）在Sintel干净和最终通过上享有最先进的性能，与已发布的方法相比，具有可比的计算和内存占用。代码和模型将在https://github.com/DQiaole/MatchFlow上发布。
2023-03-15 cs.CV
GMFlow: Learning Optical Flow via Global Matching
Monash University（莫纳什大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
基于学习的光流估计一直以具有用于流回归的卷积的成本体积的流水线为主，其固有地限于局部相关性，因此难以解决大位移的长期挑战。为了缓解这一问题，最先进的框架RAFT逐渐提高其预测质量，通过使用大量的迭代细化，实现显着的性能，但引入线性增加的推理时间。为了实现高精度和高效率，我们通过将光流重新表述为全局匹配问题来完全改造占主导地位的流回归流水线，该全局匹配问题通过直接比较特征相似性来识别对应关系。具体来说，我们提出了一个GMFlow框架，它由三个主要组成部分：一个自定义的Transformer的功能增强，相关性和softmax层的全局特征匹配，和一个自我注意流传播层。我们进一步引入了一个细化步骤，在更高的特征分辨率下重用GMFlow进行残差流预测。我们的新框架在具有挑战性的Sintel基准测试中优于31个改进的RAFT，同时仅使用一个改进并且运行更快，这表明了准确和有效的光流估计的新范例。代码可在https://github.com/haofeixu/gmflow上获得。
2022-07-17 cs.CV
Normalized Convolution Upsampling for Refined Optical Flow Estimation
Linköping University（林雪平大学）
光流是一项回归任务，其中卷积神经网络（CNN）取得了重大突破。然而，由于使用成本体积和金字塔表示，这需要大量的计算。通过以四分之一的分辨率产生流量预测来缓解这一问题，在测试期间使用双线性插值对流量预测进行上采样。因此，精细的细节通常会丢失，需要后处理来恢复它们。我们提出了归一化卷积上采样器（NCUP），这是一种有效的联合上采样方法，可以在光流CNN的训练过程中产生全分辨率流。我们提出的方法将上采样任务制定为稀疏问题，并采用归一化卷积神经网络来解决它。当使用粗到细的光流CNN（PWCNet）进行端到端训练时，我们评估了我们的上采样器与现有的联合上采样方法，我们表明它在FlyingChairs数据集上的性能优于所有其他方法，同时具有至少一个数量级的参数。此外，我们使用递归光流CNN（RAFT）测试了我们的上采样器，并且我们在Sintel基准测试中获得了最先进的结果，误差减少了约6%，并且在KITTI数据集上达到了标准，同时参数减少了7.5%（参见图1）。最后，我们的上采样器在不同的数据集上训练和评估时，表现出比RAFT更好的泛化能力。
2021-02-13 cs.CV
The Devil in the Details: Simple and Effective Optical Flow Synthetic Data Generation
POSTECH（浦项科技大学）
本文提出通过组合基本操作生成简单有效的光流合成数据，并利用遮挡掩码抑制梯度作为课程学习初始状态，使 RAFT 在 MPI Sintel 和 KITTI 2015 上超越原始模型。
2023-08-14 cs.CV
From Contrast to Consistency: Rethinking Event-based Continuous-Time Optical Flow Estimation
Xidian University（西安电子科技大学）
提出一种基于时空结构一致性（STSC）的混合监督框架，结合双向互补多尺度架构和课程引导混合训练策略，在连续时间和标准光流估计中达到最先进性能。
2026-05-26 cs.CV
CLIP-FLow: Contrastive Learning by semi-supervised Iterative Pseudo labeling for Optical Flow Estimation
OPPO US Research Center（OPPO美国研究中心）；Innopeak Technology（Innopeak科技公司）
合成数据集通常用于预训练端到端光流网络，因为缺乏大量标记的真实场景数据。但是，当从合成场景移动到真实场景时，准确性会发生重大下降。我们如何更好地将从合成领域学到的知识转移到真实领域？为此，我们提出了CLIP-FLow，一个半监督迭代伪标记框架，将预训练知识转移到目标实域。我们利用大规模的、未标记的真实数据来促进迁移学习，并监督迭代更新的伪真实标签，弥合合成和真实之间的领域差距。此外，我们提出了一个对比流损失的参考功能和扭曲功能的伪地面真相流，以进一步提高准确的匹配和抑制由于运动，遮挡，或嘈杂的伪标签的不匹配。我们采用RAFT作为主干，并获得4.11%的F1-所有误差，即从RAFT（5.10%）减少19%的误差，并在KITTI 2015基准提交时排名2位$^{nd}$。我们的框架也可以扩展到其他模型，例如CRAFT，在KITTI 2015基准上将F1-all误差从4.79%降低到4.66%。
2022-12-03 cs.CV
A qualitative investigation of optical flow algorithms for video denoising
JOANNEUM RESEARCH - DIGITAL（格拉茨数字研究中心（JOANNEUM RESEARCH - DIGITAL））；Graz, Austria（奥地利格拉茨）
良好的光流估计在媒体行业、工业检测和汽车等应用领域的视频分析和恢复算法中至关重要。在这项工作中，我们调查如何以及光流算法进行定性时，集成到一个国家的最先进的视频去噪算法。将考虑经典的光流算法（例如TV-L1）以及最近的基于深度学习的算法（如RAFT或BMBC）。对于定性调查，我们将采用具有挑战性特征的现实内容（噪声内容，大运动等）。而不是大多数出版物中使用的标准图像。
2022-04-19 cs.CV
AutoFlow: Learning a Better Training Set for Optical Flow
Google Research（谷歌研究院）
合成数据集在预训练光流的CNN模型中起着关键作用，但它们的生成非常困难，并且难以适应新的应用。为了自动化这个过程，我们提出了AutoFlow，这是一种简单有效的方法来渲染光流的训练数据，可以优化目标数据集上模型的性能。AutoFlow采用分层的方法来渲染合成数据，其中每个层的运动、形状和外观都由可学习的超参数控制。实验结果表明，AutoFlow在PWC-Net和RAFT的预训练中都达到了最先进的精度。我们的代码和数据可在https://autoflow-google.github.io上获得。
2021-04-29 cs.CV
Rethinking Motion Representation: Residual Frames with 3D ConvNets for Better Action Recognition
The University of Tokyo（东京大学）
最近，3D卷积网络在动作识别方面表现良好。但仍需要光流流来保证较好的性能，其成本非常高。在本文中，我们提出了一种快速，但有效的方法来提取运动特征，从视频利用残留帧作为输入数据在三维ConvNets。通过用残差帧替换传统的堆叠RGB帧，在从头开始训练时，UCF 101和HMDB 51数据集上的top-1精度可以提高20.5%和12.5%。由于残留帧包含的对象外观信息很少，我们进一步使用2D卷积网络来提取外观特征，并将它们与残留帧的结果相结合，形成一个双路径解决方案。在三个基准数据集上，我们的双路径解决方案比使用额外的光流方法的性能更好或相当，特别是在Mini-kinetics数据集上优于最先进的模型。进一步的分析表明，使用3D ConvNets的残差帧可以提取更好的运动特征，并且我们的残差帧输入路径是对现有RGB帧输入模型的很好补充。
2020-01-16 cs.CV
RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching
Princeton University（普林斯顿大学）
介绍了一种基于光流网络RAFT的新的立体校正深度架构RAFT-Stereo。我们引入了多级卷积GRU，它可以更有效地在图像中传播信息。RAFT-Stereo的修改版本可以执行精确的实时推理。RAFT-stereo在Middlebury排行榜上排名第一，在1 px误差上优于第二好的方法29%，并且优于ETH 3D双视图立体基准的所有已发表工作。代码可在https://github.com/princeton-vl/RAFT-Stereo上获得。
2021-09-15 cs.CV
FlowSeek: Optical Flow Made Easier with Depth Foundation Models and Motion Bases
Department of Computer Science and Engineering (DISI)（计算机科学与工程系）；Advanced Research Center on Electronic System (ARCES)（电子系统高级研究中心）；University of Bologna（博洛尼亚大学）
本研究提出光流框架FlowSeek，结合光流网络设计进展、单图像深度基础模型与低维运动参数化，仅用单块消费级GPU训练，硬件成本更低，且在多个数据集上实现跨数据集泛化性的显著提升。
2025-09-05 cs.CV
Efficient All-Pairs Correlation Volume Sampling for Optical Flow Estimation
DisneyResearch|Studios（迪士尼研究与工作室）；ETH Zürich（苏黎世联邦理工学院）
提出一种内存和计算高效的算法，实现全对相关性体素采样的精确数学运算，在保持低内存占用的同时显著提升速度，并应用于高分辨率光流估计达到最优性能。
2026-05-26 cs.CV cs.LG
HMAFlow: Learning More Accurate Optical Flow via Hierarchical Motion Field Alignment
Kanazawa University（金泽大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Jilin University（吉林大学）
提出HMAFlow光流估计方法，通过分层运动场对齐模块和相关性自注意力模块并重建4D代价体积，显著提升了小物体等复杂场景下的泛化性能和估计精度。
2024-11-15 cs.AI cs.CV
WAFT: Warping-Alone Field Transforms for Optical Flow
Department of Computer Science（计算机科学系）；Princeton University（普林斯顿大学）
WAFT通过高分辨率变形替代传统成本体积，实现更高效的光流估计，在多个基准测试中取得最佳性能，并显著提升速度。
2026-02-06 cs.CV
Automatic Generation of Dense Non-rigid Optical Flow
University of Amsterdam（阿姆斯特丹大学）；DUniversum（3DUniversum）；Google Research（谷歌研究院）
到目前为止，几乎不存在任何具有来自真实世界图像的非刚性运动的密集光流的大规模数据集。原因主要在于导出地面实况光流所需的设置：一系列具有沿其轨迹的已知相机姿势的图像，以及来自纹理场景的精确3D模型。人工注释不仅对于大型数据库来说过于繁琐，而且几乎不能对精确的光流做出贡献。为了避免需要手动注释，我们提出了一个框架，自动生成光流从现实世界的视频。该方法从视频帧中提取并匹配对象以计算初始约束，并对感兴趣的对象施加变形以获得密集的光流场。我们提出了几种方法来增加的光流的变化。大量的实验结果表明，在我们自动生成的光流上进行训练的效果优于使用FlowNet-S、LiteFlowNet、PWC-Net和RAFT在刚性合成数据上进行训练的方法。我们的光流生成框架的数据集和实现在https://github.com/lhoangan/arap_flow上发布
2021-09-07 cs.CV
DIP: Deep Inverse Patchmatch for High-Resolution Optical Flow
Megvii（旷视科技）；Tencent（腾讯）
最近，密集相关体方法在光流中实现了最先进的性能。然而，相关体积计算需要大量的存储器，这使得在高分辨率图像上的预测变得困难。在本文中，我们提出了一种新的基于Patchmatch的框架工作的高分辨率光流估计。具体来说，我们介绍了第一个基于端到端Patchmatch的深度学习光流。该算法利用Patchmatch的传播和局部搜索机制，以较少的内存获得高精度的结果。此外，提出了一种新的逆传播算法，将复杂的传播运算解耦，从而大大减少了多次迭代的计算量。在提交时，我们的方法在流行的KITTI 2015基准测试的所有指标中排名第一，在已发布的光流方法中，在Sintel清洁基准测试的EPE中排名第二。实验表明，该方法具有较强的跨数据集泛化能力，F1-all达到13.73%，比KITTI 2015上发表的最佳结果17.4%降低了21%。更重要的是，我们的方法在高分辨率数据集DAVIS上显示了良好的细节保持效果，并且比RAFT少消耗2倍的内存。
2022-04-01 cs.CV
Removing Cost Volumes from Optical Flow Estimators
Department of Computer Science, Technical University of Darmstadt（达姆施塔特技术大学计算机科学系）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）
本文提出一种训练策略，在训练中逐步移除光流估计器的代价体，以提升推理速度并降低内存需求，在保持最先进精度的同时实现1.2倍加速和6倍内存缩减。
2025-10-15 cs.CV
SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping
Robotics at Google（谷歌机器人技术部）；Waymo（韦莫）
我们提出了SMURF，一种用于光流的无监督学习的方法，该方法通过$36\%$到$40\%$（超过先前的最佳方法UFlow）在所有基准上提高了最先进的水平，甚至优于几种有监督的方法，如PWC-Net和FlowNet 2。我们的方法集成了监督光流，即RAFT模型的架构改进，无监督学习的新思想，包括序列感知的自我监督损失，处理帧外运动的技术，以及从多帧视频数据中有效学习的方法，同时仍然只需要两个帧进行推理。
2021-05-14 cs.CV
EDCFlow: Exploring Temporally Dense Difference Maps for Event-based Optical Flow Estimation
Southeast University（东南大学）
EDCFlow提出利用时间密集差分图与代价体互补，通过注意力多尺度差分层和自适应融合，实现高分辨率、低复杂度的基于事件光流估计，并可作为RAFT类方法的即插即用细化模块。
2025-06-04 cs.CV
Global Matching with Overlapping Attention for Optical Flow Estimation
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；SenseTime Research（商汤科技研究院）
光流估计是计算机视觉中的一项基本任务。最近使用深度神经网络的直接回归方法实现了显着的性能改进。然而，它们不能明确地捕获长期运动对应，因此不能有效地处理大的运动。在本文中，受传统匹配优化方法的启发，在基于能量的优化之前引入匹配来处理大位移，我们在直接回归之前引入了一个简单但有效的全局匹配步骤，并开发了一个基于学习的匹配优化框架，即GMFlowNet。在GMFlowNet中，通过在4D成本卷上应用argmax来有效地计算全局匹配。此外，为了提高匹配质量，我们提出了基于块的重叠注意提取大的上下文特征。大量的实验表明，GMFlowNet的性能大大优于RAFT，这是最流行的优化方法，并且在标准基准测试中达到了最先进的性能。由于匹配和重叠注意力，GMFlowNet在无纹理区域和大运动的预测方面取得了重大改进。我们的代码可在https://github.com/xiaofeng94/GMFlowNet上公开获取
2022-03-21 cs.CV
RAFT-3D: Scene Flow using Rigid-Motion Embeddings
Princeton University（普林斯顿大学）
我们解决场景流的问题：给定一对立体或RGB-D视频帧，估计像素级3D运动。我们介绍了RAFT-3D，一个新的场景流的深度架构。RAFT-3D基于为光流开发的RAFT模型，但迭代地更新像素级SE 3运动的密集场，而不是2D运动。RAFT-3D的一个关键创新是刚性运动嵌入，它表示将像素软分组为刚性对象。刚性运动嵌入的积分是Dense-SE 3，这是一个可微层，可以强制嵌入的几何一致性。实验结果表明，RAFT-3D算法具有较好的性能。在FlyingThings 3D上，在双视图评估下，我们将最佳发布准确率（d < 0.05）从34.3%提高到83.7%。在KITTI上，我们实现了5.77的错误，优于最好的方法（6.31），尽管没有使用对象实例监督。代码可在https://github.com/princeton-vl/RAFT-3D上获得。
2021-04-06 cs.CV
Memory-Efficient Optical Flow via Radius-Distribution Orthogonal Cost Volume
Huazhong University of Science and Technology（华中科技大学）
提出MeFlow方法，通过循环局部正交代价卷积将2D搜索空间动态分解为两个1D正交空间，结合自注意力和多尺度查找策略，实现高分辨率光流估计的内存高效化。
2025-03-04 cs.CV
BAT: Learning Event-based Optical Flow with Bidirectional Adaptive Temporal Correlation
针对现有事件相机光流方法受事件空间稀疏性限制性能不足的问题，本文提出含双向时间相关性等三项设计的BAT框架，在DSEC-Flow基准取得第一，未来光流预测性能显著优于E-RAFT。
2025-11-16 cs.CV
MS-RAFT-3D: A Multi-Scale Architecture for Recurrent Image-Based Scene Flow
University of Stuttgart（斯图加特大学）
本文提出MS-RAFT-3D多尺度架构，将光流分层思想推广到图像场景流，在KITTI和Spring上分别超越现有方法8.7%和65.8%。
2025-06-02 cs.CV
MambaFlow: A Mamba-Centric Architecture for End-to-End Optical Flow Estimation
本文提出MambaFlow，首次将Mamba架构用于端到端光流估计，通过PolyMamba双Mamba特征增强和PulseMamba自回归光流解码，在Sintel等基准上取得优于SEA-RAFT的精度，并具备资源受限设备部署潜力。
2025-08-18 cs.CV
CRAFT: Cross-Attentional Flow Transformer for Robust Optical Flow
Institute of High Performance Computing, A*STAR（A*STAR高性能计算研究所）；Institute for Infocomm Research, A*STAR（A*STAR资讯通信研究院）
光流估计旨在通过识别两幅图像之间的对应像素来找到2D运动场。尽管基于深度学习的光流方法取得了巨大进步，但准确估计具有运动模糊的大位移仍然是一个挑战。这主要是因为相关体积，像素匹配的基础，被计算为两个图像的卷积特征的点积。卷积特征的局部性使得计算的相关性容易受到各种噪声的影响。在具有运动模糊的大位移上，噪声相关性可能导致估计流量的严重误差。为了克服这一挑战，我们提出了一个新的架构“交叉注意流Transformer”（CRAFT），旨在振兴相关体积计算。在CRAFT中，语义平滑Transformer层转换一个帧的特征，使它们更具全局性和语义稳定性。此外，点积相关性被替换为Transformer跨帧注意。该层通过查询和关键字投影过滤掉特征噪声，并计算更准确的相关性。在Sintel（Final）和KITTI（前台）基准测试中，CRAFT实现了最先进的性能。此外，为了测试不同模型对大运动的鲁棒性，我们设计了一种图像移位攻击，该攻击将输入图像移位以生成大的人工运动。在这种攻击下，CRAFT比两种代表性的方法RAFT和GMA表现得更鲁棒。CRAFT的代码可在https://github.com/askerlee/craft上获得。
2022-03-31 cs.CV
TMA: Temporal Motion Aggregation for Event-based Optical Flow
Tongji University（同济大学）；Technical University of Munich（慕尼黑工业大学）
针对事件光流方法将事件流静态化而忽视时间连续性的问题，本文提出TMA，通过事件切分、线性查找和运动模式聚合利用细粒度时序运动信息，在DSEC-Flow和MVSEC上显著提升精度并降低推理时间。
2023-08-21 cs.CV
High Resolution Multi-Scale RAFT (Robust Vision Challenge 2022)
Institute for Visualization and Interactive Systems, University of Stuttgart, Germany（视觉与交互系统研究所，斯图加特大学，德国）；Institute of Information Security, University of Stuttgart, Germany（信息安全部，斯图加特大学，德国）
本文提出赢得 Robust Vision Challenge 2022 的光流方法 MS-RAFT+，通过利用额外精细尺度估计光流并采用按需代价计算和调整的微调方案，实现了高分辨率多尺度光流估计并在比赛中总排名第一。
2022-10-30 cs.CV
Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition
TU Berlin（柏林工业大学）；htw saar（萨尔应用技术大学）
本文提出一种面部微运动局部拉格朗日放大方法，通过RAFT光流微调、时空双重稀疏分解及三角剖分前向变形策略，实现高效准确的微表情运动放大。
2024-01-15 cs.CV
Complementing Brightness Constancy with Deep Networks for Optical Flow Prediction
EDF R&D（法国电力公司研发部）；Conservatoire National des Arts et Métiers（法国国立工艺学院）；SINCLAIR AI Lab（SINCLAIR人工智能实验室）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
用于光流估计的最新方法依赖于深度学习，其需要复杂的顺序训练方案以在真实世界数据上达到最佳性能。在这项工作中，我们介绍了COMBO深度网络，该网络明确利用了传统方法中使用的亮度恒定（BC）模型。由于BC是一个近似的物理模型违反了几种情况下，我们建议训练一个物理约束的网络补充数据驱动的网络。我们在物理先验和数据驱动的补充之间引入了一个独特而有意义的流分解，包括BC模型的不确定性量化。我们推导出一个联合训练方案，用于学习分解的不同组成部分，以确保在监督和半监督的情况下进行最佳合作。实验表明，COMBO可以提高最先进的监督网络（如RAFT）的性能，在几个基准测试中达到最先进的结果。我们强调COMBO如何利用BC模型并适应其局限性。最后，我们证明了我们的半监督方法可以显着简化训练过程。
2022-07-12 cs.CV stat.ML
X-RAFT: Cross-Modal Non-Rigid Registration of Blue and White Light Neurosurgical Hyperspectral Images
Department of Surgical \& Interventional Engineering, School of Biomedical Engineering \& Imaging Sciences, King's College London, London SE1 7EH Department of Neurosurgery, King's College London Hospital NHS Foundation Trust, London SE5 9RS, UK. Department of Imaging Chemistry \& Biology, School of Biomedical Engineering \& Imaging Sciences, King's College London, London SE1 7EH, UK.
X-RAFT通过跨模态输入优化，实现蓝光和白光神经外科高光谱图像的非刚性注册，提升定量荧光测量精度。
2025-07-10 cs.CV
Local Attention Transformers for High-Detail Optical Flow Upsampling
Delft University of Technology（代尔夫特理工大学）
针对现有光流凸上采样方法的局限性，研究提出解耦权重、增加上下文特征、用局部注意力Transformer替代凸掩码及改进训练方案的方法，在多个主流光流模型上实现了端点误差降低。
2024-12-09 cs.CV
FlowPainter: Inpainting Optical Flow via Confidence-Guided Completion
Nankai University（南开大学）；The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
研究光流估计问题，提出FlowPainter框架，结合迭代优化和扩散估计范式，用轻量级置信度感知网络区分区域，通过置信度引导完成光流修复，实验表明其在可比训练下精度高、收敛快。
2026-07-14 cs.AI cs.CV
MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）
提出内存高效的多帧光流方法MEMFOF，通过简化相关性体积和高分辨率训练协议，在原生1080p下训练仅需28.5GB内存，在多个基准上达到SOTA并大幅降低内存开销。
2025-06-29 cs.AI cs.CV cs.MM
RAFT-MSF: Self-Supervised Monocular Scene Flow using Recurrent Optimizer
Shanghai Jiao Tong University（上海交通大学）
从单目相机学习场景流仍然是一个具有挑战性的任务，由于其不适定性以及缺乏注释的数据。自监督方法展示了从未标记数据中学习场景流估计，但它们的准确性落后于（半）监督方法。在本文中，我们介绍了一个自我监督的单目场景流方法，大大提高了以前的方法的准确性。基于RAFT，一个最先进的光流模型，我们设计了一个新的解码器，迭代更新三维运动场和视差图同时进行。此外，我们还提出了一种增强的上采样层和视差初始化技术，总体上进一步提高了7.2%的准确度。我们的方法在所有自监督单目场景流方法中达到了最先进的精度，精度提高了34.2%。我们的微调模型优于以前最好的半监督方法，运行时间快228倍。代码将公开提供。
2022-05-03 cs.CV cs.LG cs.RO
Optical Flow Based Motion Detection for Autonomous Driving
运动检测是自动驾驶的一项基本但具有挑战性的任务。在高速公路等特定场景中，必须格外关注远程对象，以便更好地进行控制决策。针对远距离车辆，以光流场信息为输入，训练神经网络模型进行运动状态分类。实验结果表明，该方法具有较高的准确性，表明了该方法的可行性和应用前景。经过训练的模型也达到了附近车辆的可接受性能。我们的工作在PyTorch中实现。使用开放工具，包括nuScenes，FastFlowNet和RAFT。可视化视频可在https://www.youtube.com/playlist?上获得列表=PLVVrWgq4OrlBnRebmkGZO1iDHEksMHKGk。
2022-03-03 cs.CV
Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks
Delft University of Technology（代尔夫特理工大学）
类脑计算领域承诺极低功率和低延迟感测和处理。将学习算法从传统人工神经网络（ANN）转移到脉冲神经网络（SNN）的挑战迄今为止阻止了它们应用于大规模复杂回归任务。此外，实现真正的异步和完全神经形态的管道，最大限度地实现上述好处涉及重新思考该管道获取和积累信息的方式。在感知的情况下，尖峰信号将在事件摄像机和SNN之间按原样一个接一个地传递，这意味着信息的所有时间整合都必须发生在网络内部。在本文中，我们将解决这两个问题。我们专注于学习的复杂任务，以估计光流从基于事件的相机输入在一个自我监督的方式，并修改国家的最先进的人工神经网络训练管道编码最小的时间信息在其输入。此外，我们重新制定了基于事件的光流的自监督损失函数，以提高其凸性。我们使用所提出的管道对各种类型的递归ANN和SNN进行实验。关于SNN，我们研究的元素，如参数初始化和优化，替代梯度形状，自适应神经元机制的影响。我们发现，初始化和代理梯度宽度在稀疏输入的学习中起着至关重要的作用，而包含自适应性和可学习的神经元参数可以提高性能。我们表明，所提出的人工神经网络和SNN的性能与当前最先进的人工神经网络的自我监督方式训练的性能相当。
2021-10-25 cs.AI cs.CV cs.LG
OpenMoCap: Rethinking Optical Motion Capture under Real-world Occlusion
Tsinghua University（清华大学）
针对真实遮挡下光学运动捕捉性能下降问题，本文提出CMU-Occlu遮挡数据集和基于标记点-关节链推理的OpenMoCap模型，实现鲁棒运动求解并优于现有方法。
2025-08-18 cs.AI cs.CV
Rethinking the modeling of the instrumental response of telescopes with a differentiable optical model
AIM, CEA, CNRS（法国原子能和替代能源委员会、法国国家科学研究中心、天体物理仪器与模型实验室）；Université Paris-Saclay（巴黎萨克雷大学）；Université de Paris（巴黎大学）
我们提出了一个范式转变的数据驱动建模的仪器响应领域的望远镜。通过在建模框架中加入可微光学正演模型，将数据驱动的建模空间从像素空间转变为波前空间。这允许将大量复杂性从仪器响应转移到正演模型中，同时能够适应观测，保持数据驱动。我们的框架允许一种方法来构建强大的模型，这些模型是物理激励的，可解释的，并且不需要特殊的校准数据。我们表明，对于空间望远镜的简化设置，与现有的数据驱动方法相比，该框架代表了真正的性能突破，重建误差在观测分辨率下降低了5倍，在3倍超分辨率下降低了10倍以上。我们成功地模型的仪器的响应，仅使用嘈杂的宽带聚焦观测的色变化。
2021-12-15 astro-ph.IM cs.CV physics.optics
Open-DDVM: A Reproduction and Extension of Diffusion Model for Optical Flow Estimation
Fudan University（复旦大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文首次开源复现了 Google 的 DDVM 光流估计扩散模型，通过研究关键设计选择，在 40k 公开数据和 4 块 GPU 上训练，达到了与闭源模型相当的性能。
2023-12-04 cs.CV
Rethinking Genomic Modeling Through Optical Character Recognition
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
提出OpticalDNA框架，将DNA渲染为视觉布局，利用视觉语言模型进行OCR式基因组理解，实现高保真压缩和长序列高效处理，在450k碱基序列上以近20倍更少有效token超越基线模型。
2026-06-05 cs.AI cs.CL cs.CV
Rethinking data-driven point spread function modeling with a differentiable optical model
AIM（天体物理与方法研究所）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Université de Paris（巴黎大学）
在天文学中，即将出现的带有宽视场光学仪器的空间望远镜具有空间变化的点扩散函数（PSF）。特定的科学目标需要在没有提供PSF的直接测量的目标位置处对PSF进行高保真估计。尽管PSF的观测在视场（FOV）的某些位置可用，但是它们是欠采样的、有噪声的，并且被集成到仪器的通带中的波长中。PSF建模代表了一个具有挑战性的不适定问题，因为它需要从降级的观测中构建模型，该模型可以推断FOV中任何波长和位置处的超分辨PSF。我们的模型，创造了WaveDiff，提出了一个范式转变的数据驱动建模的点扩散函数领域的望远镜。我们改变了数据驱动的建模空间从像素的波前，通过添加一个可微的光学前向模型的建模框架。这种变化允许复杂性从仪器响应转移到正演模型中。所提出的模型依赖于随机梯度下降来估计其参数。我们的框架为构建强大的、物理驱动的模型铺平了道路，这些模型不需要特殊的校准数据。本文在空间望远镜的简化设置中演示了WaveDiff模型。拟议的框架相对于现有的最先进的数据驱动方法而言是一个性能突破。像素重建误差在观察分辨率下降低6倍，在3倍超分辨率下降低44倍。椭圆度误差减小至少20倍，尺寸误差减小250倍以上。通过仅使用噪声宽带聚焦观测，我们成功地捕获了由于衍射引起的PSF色度变化。代码可在https://github.com/tobias-liaudat/wf-psf获得。
2023-01-23 astro-ph.IM cs.CV
FlowNAS: Neural Architecture Search for Optical Flow Estimation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；University of California, Merced（加州大学默塞德分校）
现有的光流估计器通常采用通常为图像分类设计的网络架构作为编码器来提取每像素特征。然而，由于任务之间的自然差异，为图像分类设计的架构对于流量估计可能是次优的。为了解决这个问题，我们提出了一种名为FlowNAS的神经架构搜索方法，以自动找到更好的编码器架构进行流估计任务。我们首先设计一个合适的搜索空间，包括各种卷积运算符，并构建一个权重共享的超级网络，有效地评估候选架构。然后，为了更好地训练超级网络，我们提出了特征对齐蒸馏，它利用经过良好训练的流量估计器来指导超级网络的训练。最后，利用资源受限的进化算法来找到最优架构（即，子网络）。实验结果表明，继承自超网络的权值结构在KITTI上实现了4.67%的F1-all错误，RAFT基线减少了8.4%，超过了最先进的手工模型GMA和AGFlow，同时降低了模型复杂度和延迟。源代码和训练模型将在https://github.com/VDIGPKU/FlowNAS上发布。
2022-07-04 cs.CV
Static in Frames, Dynamic in Events: Rethinking Features in Event Cameras as Motion Cues
Delft University of Technology（代尔夫特理工大学）
本文将事件相机特征视为运动线索，分析了结构张量特征值与时空密度值，结合局部几何特征增强运动估计，在DSEC基准上提升了光流网络的准确性，数据稀缺与低容量模型增益显著。
2026-08-12 cs.CV
Rethinking Diffusion Model-Based Video Super-Resolution: Leveraging Dense Guidance from Aligned Features
Beihang University（北京航空航天大学）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）
本文提出DGAF-VSR方法，通过优化对齐和补偿机制提升视频超分辨率的感知质量、保真度和时间一致性。
2026-03-27 cs.CV
Learning Optical Flow, Depth, and Scene Flow without Real-World Labels
Toyota Research Institute（丰田研究院）
自监督单目深度估计使机器人能够从原始视频流中学习3D感知。这种可扩展的方法利用投影几何和自我运动来通过视图合成进行学习，假设世界主要是静态的。自动驾驶和人机交互中常见的动态场景违反了这一假设。因此，它们需要明确地建模动态对象，例如通过估计逐像素3D运动，即场景流。然而，深度和场景流的同时自监督学习是不适定的，因为存在导致相同3D点的无限多个组合。在本文中，我们提出了草案，一种新的方法，能够联合学习深度，光流，场景流相结合的合成数据与几何自我监督。在RAFT架构的基础上，我们学习光流作为一个中间任务，通过三角测量引导深度和场景流学习。我们的算法还利用跨任务的时间和几何一致性损失来改善多任务学习。我们的DRAFT架构在标准KITTI基准的自监督单眼设置中同时建立了所有三项任务的最新技术水平。项目页面：https://sites.google.com/tri.global/draft。
2022-06-10 cs.CV cs.LG
Unifying Flow, Stereo and Depth Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Tübingen（图宾根大学）；Sydney AI Center（悉尼人工智能中心）；The University of Sydney（悉尼大学）；Monash University（莫纳什大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出统一公式与单一Transformer模型，将光流、立体匹配和深度估计统一为密集对应匹配问题，利用交叉注意力提升特征质量，实现跨任务迁移，并在多个基准上超越或媲美现有方法。
2023-07-26 cs.CV
Learning Dense Flow Field for Highly-accurate Cross-view Camera Localization
Nanjing University of Science and Technology（南京理工大学）；ShanghaiTech University（上海科技大学）
本文提出一种端到端方法，通过学习地面与卫星图像间的稠密像素流场，在像素级特征度量下实现高精度三自由度相机定位，在多个数据集上显著降低定位误差。
2023-12-27 cs.CV
FocusFlow: Boosting Key-Points Optical Flow Estimation for Autonomous Driving
Zhejiang University（浙江大学）；Shanghai SUPREMIND Technology Company Ltd.（上海超目科技有限公司）；Hunan University（湖南大学）
FocusFlow通过显式学习关键点先验，结合条件点控制损失和条件控制编码器，显著提升自动驾驶场景中关键点光流估计精度，并广泛兼容现有光流方法。
2023-09-22 cs.CV cs.RO eess.IV
