Key Frame Proposal Network for Efficient Pose Estimation in Videos
Northeastern University(东北大学);Motorola Solutions, Inc.(摩托罗拉系统公司)
视频中的人体姿态估计依赖于本地信息,要么独立地估计每个帧,要么跨帧跟踪姿态。在本文中,我们提出了一种新的方法相结合的局部方法与全球背景。我们引入了一个轻量级的,无监督的,关键帧建议网络(K-FPN)来选择信息帧和一个学习字典来恢复这些帧的整个姿势序列。K-FPN加速了姿态估计,并对具有遮挡、运动模糊和照明变化的坏帧提供了鲁棒性,而学习的字典提供了全局动态上下文。在Penn Action和sub-JHMDB数据集上的实验表明,该方法具有较高的准确率和较好的加速性能。
2020-07-30 cs.CV
Towards Accurate Human Pose Estimation in Videos of Crowded Scenes
National University of Singapore(新加坡国立大学);YITU Technology(依图科技)
拥挤场景下基于视频的人体姿态估计是一个具有挑战性的问题,由于遮挡,运动模糊,尺度变化和视点变化等,现有的方法总是无法处理这个问题,因为(1)缺乏使用的时间信息;(2)缺乏训练数据在拥挤场景。在本文中,我们专注于提高人体姿态估计在拥挤的场景中的视频从利用时间上下文和收集新的数据的角度。特别是,我们首先遵循自上而下的策略来检测人,并对每帧进行单人姿态估计。然后,我们改进了基于帧的姿态估计与时间上下文推导出的光流。具体来说,对于一帧,我们从先前帧中向前发送历史姿势,并从后续帧中向后发送未来姿势到当前帧,从而实现视频中稳定且准确的人体姿势估计。此外,为了提高训练集的多样性,我们从互联网上挖掘了与HIE数据集相似的新场景数据。通过这种方式,我们的模型在13个视频中的7个上实现了最佳性能,并且在HIE挑战的测试数据集上实现了56.33的平均w\_AP。
2020-10-21 cs.CV
Thin-Slicing Network: A Deep Structured Model for Pose Estimation in Videos
ETH Zurich(苏黎世联邦理工学院)
深度ConvNets已被证明对从单个图像中估计人类姿势的任务是有效的。然而,在基于视频的情况下出现了一些具有挑战性的问题,例如自遮挡、运动模糊和在训练数据集中很少或没有示例的不常见姿势。时间信息可以提供关于身体关节位置的额外线索,并有助于缓解这些问题。在本文中,我们提出了一个深度结构化的模型来估计一系列的人体姿势在无约束的视频。该模型可以以端到端的方式有效地训练,并且能够同时表示身体关节的外观及其时空关系。关于人体的领域知识被明确纳入网络提供有效的先验规则化的骨架结构,并执行时间的一致性。建议的端到端的架构进行评估的两个广泛使用的基准(Penn行动数据集和JHMDB数据集)的基于视频的姿态估计。我们的方法明显优于现有的最先进的方法。
2017-03-31 cs.CV
Video-based Pose-Estimation Data as Source for Transfer Learning in Human Activity Recognition
TU Dortmund University(多特蒙德工业大学)
人体活动识别(HAR)使用身体上的设备识别特定的人类活动在不受约束的环境中。HAR是具有挑战性的,由于人的运动的内部和内部的变化;此外,从身体上的设备注释的数据集是稀缺的。这个问题主要是由于数据创建的困难,即,记录,昂贵的注释,以及缺乏对人类活动的标准定义。以前的工作表明,迁移学习是一个很好的策略,解决方案与稀缺的数据。然而,带注释的身体上设备数据集的稀缺性仍然存在。本文提出使用用于人体姿态估计的数据集作为迁移学习的源;具体而言,它部署了来自视频数据集的人体关节的注释像素坐标序列,用于HAR和人体姿态估计。我们在四个基于基准视频的源数据集上预训练了一个深度架构。最后,对三个提高HAR性能的体上设备数据集进行了评估。
2022-12-02 cs.CV
3D human pose estimation in video with temporal convolutions and semi-supervised training
ETH Zürich(苏黎世联邦理工学院);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
在这项工作中,我们证明了视频中的3D姿势可以有效地估计与完全卷积模型的基础上,在2D关键点的膨胀时间卷积。我们还介绍了反向投影,这是一种简单有效的半监督训练方法,它利用了未标记的视频数据。我们从未标记视频的预测2D关键点开始,然后估计3D姿势,最后反向投影到输入的2D关键点。在监督设置中,我们的全卷积模型在Human3.6M上的每个关节平均位置误差为6 mm,比文献中的最佳结果高出11%,并且该模型在HumanEva-I上也显示出显着的改进。此外,反向投影的实验表明,它在标记数据稀缺的半监督设置中的表现优于以前的最先进的结果。代码和模型可在https://github.com/facebookresearch/VideoPose3D上获得
2019-03-29 cs.CV
Kinematic-aware Hierarchical Attention Network for Human Pose Estimation in Videos
Korea University(高丽大学)
先前基于视频的人体姿态估计方法已经通过利用连续帧的聚合特征显示出有希望的结果。然而,大多数方法妥协的准确性,以减轻抖动或不充分理解人类运动的时间方面。此外,遮挡增加了连续帧之间的不确定性,这导致不平滑的结果。为了解决这些问题,我们设计了一个架构,利用关键点运动学功能与以下组件。首先,我们有效地捕捉时间特征,利用个别关键点的速度和加速度。其次,所提出的分层Transformer编码器聚合时空依赖性,并细化从现有估计器估计的2D或3D输入姿态。最后,我们在编码器生成的精确输入姿势和解码器的最终姿势之间提供在线交叉监督,以实现联合优化。我们展示了全面的结果,并验证了我们的模型在各种任务中的有效性:2D姿态估计,3D姿态估计,人体网格恢复,稀疏注释的多人姿态估计。我们的代码可在https://github.com/KyungMinJin/HANet上获得。
2022-11-29 cs.CV
Learning Dynamical Human-Joint Affinity for 3D Pose Estimation in Videos
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of California, Irvine(加利福尼亚大学尔湾分校);Shanghai AI Laboratory(上海人工智能实验室)
图卷积网络(GCN)已成功用于视频中的3D人体姿态估计。然而,它往往是建立在固定的人体关节亲和力,根据人体骨骼。这可能会降低GCN处理视频中复杂的时空姿态变化的适应能力。为了缓解这个问题,我们提出了一种新的动态图网络(DG-Net),它可以动态地识别人体关节的亲和力,并估计3D姿态自适应学习空间/时间的联合关系从视频。与传统的图卷积不同,我们引入动态空间/时间图卷积(DSG/DTG)来发现每个视频样本的空间/时间人体关节亲和力,这取决于该视频中人体关节之间的空间距离/时间运动相似性。因此,它们可以有效地理解哪些关节在空间上更接近和/或具有一致的运动,以在将2D姿态提升到3D姿态时减少深度模糊性和/或运动不确定性。我们对三个流行的基准进行了广泛的实验,例如,Human3.6M、HumanEva-I和MPI-INF-3DHP,其中DG-Net以更少的输入帧和模型大小优于许多最近的SOTA方法。
2021-09-15 cs.CV
An End-to-End Framework for Video Multi-Person Pose Estimation
University of Science and Technology of China(中国科学技术大学)
针对现有视频多人姿态估计两阶段方法时空维度割裂、推理效率低的问题,提出端到端框架VEPE,通过三类时空Transformer组件及实例一致性机制优化估计与跟踪,在Posetrack数据集上性能优于多数两阶段模型且推理效率提升300%。
2025-09-01 cs.CV
End-to-End Multi-Person Pose Estimation with Pose-Aware Video Transformer
Zhejiang Gongshang University(浙江工商大学)
本文提出了一种端到端的多人体姿态估计方法,通过姿态感知视频变换器网络实现高效准确的多帧姿态估计。
2025-12-02 cs.CV
Efficient Uncertainty Estimation for Semantic Segmentation in Videos
National Tsing Hua University(国立清华大学);Umbo Computer Vision(Umbo计算机视觉)
深度学习中的不确定性估计最近变得更加重要。如果我们不知道一个深度学习模型对决策是否确定,它就无法应用于实际应用中。一些文献提出了贝叶斯神经网络,它可以估计的不确定性,通过蒙特卡洛辍学(MC辍学)。但是,MC dropout需要将模型转发$N$次,这导致$N$慢$N$次。对于自动驾驶汽车系统等实时应用,需要尽可能快地获得预测和不确定性,因此MC丢弃变得不切实际。在这项工作中,我们提出了基于区域的时间聚合(RTA)的方法,利用视频中的时间信息来模拟采样过程。我们使用提拉米苏主干的RTA方法比使用提拉米苏主干的MC丢弃($N=5$)快10倍。此外,通过我们的RTA方法获得的不确定性估计与MC dropout在像素级和帧级度量上的不确定性估计相当。
2018-07-29 cs.CV
SpatioTemporal Learning for Human Pose Estimation in Sparsely-Labeled Videos
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);College of Computer Science and Technology, Zhejiang Gongshang University(浙江工商大学计算机科学与技术学院);School of Computing, National University of Singapore(新加坡国立大学计算学院);Zhejiang University(浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院)
提出STDPose框架,通过Dynamic-Aware Mask和时空表示聚合系统在稀疏标注视频中学习时空动态,解决长程依赖与特征互补问题,仅用26.7%标注数据即达竞争性能并创下新基准。
2025-01-25 cs.CV
Flowing ConvNets for Human Pose Estimation in Videos
University of Oxford(牛津大学);University of Leeds(利兹大学)
这项工作的目标是在视频中的人体姿态估计,其中多帧可用。我们研究了一种ConvNet架构,该架构能够通过使用光流将多个帧中的信息相结合来受益于时间上下文。为此,我们提出了一种具有以下新颖性的网络架构:(i)比先前研究的更深的网络,用于回归热图;(ii)学习隐式空间模型的空间融合层;(iii)光流用于对齐来自相邻帧的热图预测;以及(iv)最终参数池化层,用于学习将对齐的热图组合成池化置信图。我们表明,这种架构优于其他一些,包括一个只在输入层使用光流,一个直接回归关节坐标,一个预测热图没有空间融合。新架构在三个视频姿态估计数据集上的表现远远优于现有技术,包括Wild数据集中非常具有挑战性的Poses,并且优于其他在单图像FLIC基准上不使用图形模型的深度方法(以及Chen & Yuille和Tompson等人在高精度区域)。
2015-11-08 cs.CV
Enhanced 3D Human Pose Estimation from Videos by using Attention-Based Neural Network with Dilated Convolutions
University of Dayton(代顿大学)
注意力机制为学习具有增强的隐式时间一致性的空间模型提供了顺序预测框架。在这项工作中,我们展示了一个系统的设计(从2D到3D)如何将传统的网络和其他形式的约束纳入注意力框架,以学习姿势估计任务的长期依赖关系。本文的贡献是提供了一个系统的方法来设计和训练基于注意力的模型,用于端到端的姿态估计,具有灵活性和可扩展性的任意视频序列作为输入。我们实现了这一点,通过一个多尺度结构的扩张卷积适应时间感受野。此外,所提出的架构可以很容易地适应一个因果模型,使实时性能。任何现成的2D姿态估计系统,例如Mocap库,都可以以自组织方式轻松集成。我们的方法实现了最先进的性能,并通过将Human3.6M数据集上的平均每个关节位置误差降低到33.4 mm来优于现有方法。
2021-03-04 cs.CV
Motion Guided 3D Pose Estimation from Videos
The Chinese University of Hong Kong(香港中文大学);AWS/Amazon AI(AWS/亚马逊人工智能)
针对单目三维姿态估计问题,提出了一种新的损失函数,称为运动损失。在计算运动损失时,引入了一种简单而有效的关键点运动表示,称为成对运动编码。设计了一种新的图卷积网络结构-U形GCN(UGCN)。它捕获短期和长期运动信息,以充分利用运动损失的额外监督。我们在两个大规模的基准测试:Human3.6M和MPI-INF-3DHP上进行了运动损失的UGCN训练实验。我们的模型远远超过其他最先进的模型。它还展示了强大的能力,产生平滑的3D序列和恢复关键点运动。
2020-04-29 cs.CV
Leveraging Motion Estimation for Efficient Bayer-Domain Video Convolutional Networks
本文提出 MEVC 框架,消除 ISP 并将滑动窗口运动估计集成至卷积层,直接在 Bayer 域加速视频视觉任务,在多基准上 FLOPs 减少超 70% 且精度损失极小。
2026-10-12 cs.CV eess.IV
IVT: An End-to-End Instance-guided Video Transformer for 3D Pose Estimation
University of Science and Technology Beijing(北京科技大学);Baidu Inc.(百度公司)
视频三维人体姿态估计的目的是从视频中定位人体关节的三维坐标。最近的基于变换的方法集中于从序列2D姿态捕获时空信息,这不能有效地建模上下文深度特征,因为视觉深度特征在2D姿态估计步骤中丢失。在本文中,我们简化的范例到一个端到端的框架,实例引导的视频Transformer(IVT),这使得学习时空上下文的深度信息,有效地从视觉特征和预测3D构成直接从视频帧。特别地,我们首先将视频帧制定为一系列实例引导的令牌,每个令牌负责预测人类实例的3D姿态。这些标记包含身体结构信息,因为它们是通过从人体中心到相应身体关节的关节偏移的指导来提取的。然后,这些令牌被发送到IVT学习时空上下文深度。此外,我们提出了一个跨尺度的实例引导的注意力机制来处理多人之间的变化尺度。最后,通过坐标回归从实例引导的令牌解码每个人的3D姿势。三个广泛使用的三维位姿估计基准上的实验表明,所提出的IVT达到了最先进的性能。
2022-08-06 cs.AI cs.CV
Maximum Likelihood Speed Estimation of Moving Objects in Video Signals
University of Parma(帕尔马大学)
用于运动分析的视频处理解决方案是许多计算机视觉应用中的关键任务,从人类活动识别到对象检测。特别地,速度估计算法在诸如街道监视和环境监视的上下文中可能是相关的。在大多数现实场景中,感兴趣的框架对象到图像平面上的投影很可能受到主要与透视变换或周期性行为相关的动态变化的影响。因此,先进的速度估计技术需要依赖于能够处理潜在的几何修改的鲁棒的目标检测算法。所提出的方法是由一系列的预处理操作,其目的是减少或忽略影响感兴趣的对象的透视效果,其次是基于最大似然(ML)的原则,其中的前景物体的速度估计的估计阶段。事实上,ML估计方法代表了一种综合的统计工具,可以用来获得可靠的结果。一组真实的视频记录,并与块匹配运动估计算法的性能进行了评估。实验结果表明,该方法具有良好的鲁棒性。
2021-12-02 cs.CV eess.IV
MAEPose: Self-Supervised Spatiotemporal Learning for Human Pose Estimation on mmWave Video
University College London(伦敦大学学院)
提出MAEPose,一种直接处理毫米波频谱视频的掩码自编码方法,通过自监督时空学习实现鲁棒的人体姿态估计,在三个数据集上优于现有方法。
2026-06-03 cs.AI cs.CV
Bootstrapped Self-Supervised Training with Monocular Video for Semantic Segmentation and Depth Estimation
Massachusetts Institute of Technology(麻省理工学院)
对于部署在世界各地的机器人来说,希望具有自主学习的能力,以改善其初始预设知识。我们将其形式化为自举自监督学习问题,其中系统最初在标记数据集上进行监督训练,并且我们寻找一种自监督训练方法,该方法随后可以仅使用未标记数据在监督训练基线上改进系统。在这项工作中,我们利用单目视频中帧之间的时间一致性来执行这种自举式自我监督训练。我们表明,一个训练有素的国家的最先进的语义分割网络可以通过我们的方法进一步改善。此外,我们还证明了自举自监督训练框架可以帮助网络比纯监督训练或自监督训练更好地学习深度估计。
2021-08-01 cs.CV cs.RO
A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video
Guangdong University of Technology(广东工业大学);Chinese University of Hong Kong(香港中文大学)
时空信息是解决三维位姿估计中遮挡和深度模糊的关键。以前的方法集中在嵌入固定长度的时空信息的时间上下文或本地到全局架构。到目前为止,还没有有效的建议,同时和灵活地捕捉变化的时空序列,并有效地实现实时3D姿态估计。在这项工作中,我们通过注意力机制对局部和全局空间信息进行建模,提高了人体骨骼中运动学约束的学习:姿势、局部运动学连接和对称性。为了适应单帧和多帧的估计,膨胀的时间模型被用来处理不同的骨架序列。此外,重要的是,我们仔细设计了空间语义与时间依赖的交织,以实现协同效应。为此,我们提出了一个简单而有效的图形注意力时空卷积网络(GAST-Net),它由交织的时间卷积和图形注意力块组成。在两个具有挑战性的基准数据集(Human3.6M和HumanEva-I)和YouTube视频上的实验表明,我们的方法有效地减轻了深度模糊和自遮挡,推广到上半身估计,并在2D到3D视频姿态估计上取得了有竞争力的性能。代码、视频和补充信息请访问:\href{http://www.juanrojas.net/gast/}{http://www.juanrojas.net/gast/}
2020-10-20 cs.CV cs.RO eess.IV
Every Frame Counts: Joint Learning of Video Segmentation and Optical Flow
Renmin University of China(中国人民大学);The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
视频语义分割的一个主要挑战是缺乏标记数据。在大多数基准数据集中,视频剪辑中只有一帧被注释,这使得大多数监督方法无法利用其余帧的信息。为了充分利用视频中的时空信息,许多先前的工作使用预先计算的光流,编码的时间一致性,以改善视频分割。然而,视频分割和光流估计仍然被认为是两个独立的任务。在本文中,我们提出了一个新的框架,联合视频语义分割和光流估计。语义分割带来语义信息来处理遮挡以用于更鲁棒的光流估计,而非遮挡的光流提供精确的像素级时间对应以保证分割的时间一致性。此外,我们的框架能够通过联合训练来利用视频中的标记帧和未标记帧,而在推理中不需要额外的计算。大量实验表明,该模型使视频语义分割和光流估计相互受益,在相同的设置下,两种任务的性能均优于现有方法。
2019-11-28 cs.CV cs.LG eess.IV
Self-Supervised 3D Human Pose Estimation in Static Video Via Neural Rendering
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Imperial College London(伦敦帝国理工学院)
从二维图像中推断三维人体姿态是计算机视觉领域的一个具有挑战性和长期存在的问题,该问题具有许多应用,包括运动捕获、虚拟现实、监控或运动和医学步态分析。我们提出了一种方法来估计3D姿态从2D视频包含一个人和一个静态的背景,而不需要任何手动地标注释的初步结果。我们通过制定一个简单而有效的自我监督任务来实现这一点:我们的模型需要重建视频的随机帧,给定来自另一个时间点的帧和转换后的人体形状模板的渲染图像。对于优化至关重要的是,我们基于光线投射的渲染管道是完全可区分的,仅基于重建任务实现端到端训练。
2022-10-10 cs.AI cs.CV cs.GR
Optical Flow Estimation in 360$^\circ$ Videos: Dataset, Model and Application
Illinois Tech(伊利诺伊理工学院);Texas State University(德克萨斯州立大学);Tesla Inc(特斯拉公司);Cisco Research(思科研究院)
光流估计一直是计算机视觉领域中一个长期存在的基本问题。然而,尽管透视视频中的光流估计取得了进展,但360 $^\circ$视频对应物仍处于起步阶段,这主要是由于基准数据集的短缺以及未能适应360 $^\circ$视频的全向性质。我们提出了第一个感知逼真的360 $^\circ$视野视频基准数据集,即FLOW 360,具有40个不同的视频和4,000个视频帧。然后,我们进行全面的特征分析和广泛的比较与现有的数据集,体现FLOW 360的感知现实主义,独特性和多样性。此外,我们提出了一种新的连体表示学习框架的全向流(SLOF)估计,这是通过一个混合的损失,结合连体对比和光流损失的对比方式进行训练。通过对输入全向帧的随机旋转训练模型,我们提出的对比方案适应了360 $^\circ$视频中光流估计的全向性质,从而显著降低了预测误差。通过将我们的连体学习方案和全向光流估计扩展到以自我为中心的活动识别任务,进一步证明了学习方案是有效的,其中分类准确率提高到$\sim$ 26%。综上所述,我们从基准数据集、学习模型和实际应用的角度研究了360 $^\circ$视频中的光流估计问题。FLOW 360数据集和代码可在https://siamlof.github.io上获得。
2023-01-27 cs.CV
Instantaneous Physiological Estimation using Video Transformers
Carnegie Mellon University(卡内基梅隆大学)
基于视频的生理信号估计主要限于预测窗口间隔中的情节分数。虽然这些间歇值是有用的,但它们提供了患者生理状态的不完整图像,并且可能导致对危急状况的延迟检测。我们提出了一个视频Transformer,用于从人脸视频中估计瞬时心率和呼吸率。生理信号通常被空间和时间上的对准误差混淆。为了克服这一点,我们制定了频域中的损失。我们在大规模生命体征视觉(V4V)基准上评估了该方法。它优于基于浅层和深度学习的瞬时呼吸率估计方法。在心率估计的情况下,它实现了每分钟13.0次心跳的瞬时MAE。
2022-02-24 cs.CV
Align3R: Aligned Monocular Depth Estimation for Dynamic Videos
HKUST(香港科技大学);HKU(香港大学);ShanghaiTech(上海科技大学);WHU(武汉大学);TAMU(德克萨斯农工大学);NTU(南洋理工大学);CUHK(香港中文大学)
本文提出 Align3R,利用并微调 DUSt3R 对齐动态视频各帧的单目深度,再联合优化重建深度与相机位姿,实现优于基线的时间一致性。
2024-12-05 cs.CV
FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation
Warsaw University of Technology(华沙工业大学)
视频帧间插值问题是图像处理领域的一个重要课题。正确增加记录中的帧数,同时保持平滑移动,可以提高播放视频序列的质量,实现更有效的压缩并创建慢动作记录。本文提出了FastRIFE算法,该算法是对RIFE(实时的【形】中间流估计)模型的速度改进。新的方法进行了检查,并与其他最近发表的算法进行比较。所有源代码都可以在https://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videos上获得
2021-06-01 cs.CV
Self-Attention Dense Depth Estimation Network for Unrectified Video Sequences
Indian Institute of Technology Patna(巴特那印度理工学院)
3D场景的密集深度估计具有许多应用,主要在机器人和监视中。LiDAR和雷达传感器是实时深度估计的硬件解决方案,但这些传感器产生稀疏的深度图,有时不可靠。近年来,针对使用单个2D图像来处理深度估计的研究受到了很多关注。基于深度学习的自监督深度估计方法从纠正的立体和单目视频帧中显示出有希望的结果。我们提出了一个基于自我注意力的深度和自我运动网络的未校正的图像。我们还将相机的不可微失真引入训练管道。我们的方法进行竞争力相比,其他既定的方法,使用校正图像的深度估计。
2020-05-28 cs.CV
Globally Consistent Video Depth and Pose Estimation with Efficient Test-Time Training
National Taiwan University(国立台湾大学)
密集深度和姿态估计是各种视频应用的重要先决条件。传统的解决方案受到稀疏特征跟踪的鲁棒性和视频中摄像机基线不足的影响。因此,最近的方法在估计密集深度之前利用基于学习的光流和深度。然而,以前的作品需要大量的计算时间或产生次优的深度结果。本文提出了一种全局一致的从运动中学习视频运动恢复结构(SfM)的方法GCVD。GCVD将紧凑的姿态图集成到基于CNN的优化中,以通过有效的关键帧选择机制实现全局一致的估计。它可以提高基于学习的方法的鲁棒性,具有流引导的关键帧和良好的深度先验。实验结果表明,GCVD优于国家的最先进的方法在深度和姿态估计。此外,运行时实验表明,它提供了强大的效率,在短期和长期的视频与全球一致性提供。
2022-08-04 cs.CV
Recurrent Video Deblurring with Blur-Invariant Motion Estimation and Pixel Volumes
POSTECH(浦项科技大学)
为了成功地进行视频去模糊,利用相邻帧的信息是必不可少的。大多数现有技术的视频去模糊方法采用视频帧之间的运动补偿来聚合来自多个帧的信息,这可以帮助对目标帧进行去模糊。然而,以前的去模糊方法所采用的运动补偿方法不是模糊不变的,因此,它们的精度是有限的模糊帧与不同的模糊量。为了缓解这个问题,我们提出了两种新的方法,通过有效地聚合来自多个视频帧的信息来去模糊视频。首先,我们提出了模糊不变的运动估计学习,以提高模糊帧之间的运动估计精度。其次,对于运动补偿,我们使用包含候选尖锐像素的像素体积来解决运动估计误差,而不是通过扭曲估计运动来对齐帧。我们结合这两个过程,提出了一个有效的经常性的视频去模糊网络,充分利用去模糊的前帧。实验表明,与最近使用深度学习的方法相比,我们的方法在定量和定性方面都达到了最先进的性能。
2021-08-23 cs.CV
StereoDiff: Stereo-Diffusion Synergy for Video Depth Estimation
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Pennsylvania(宾夕法尼亚大学)
StereoDiff将立体匹配与视频深度扩散协同,针对视频静态和动态区域分别采用对应技术,在真实世界动态视频深度基准上实现了当前最优的零样本估计性能。
2026-08-25 cs.CV
Optical Flow-based 3D Human Motion Estimation from Monocular Video
TU Braunschweig(不伦瑞克工业大学)
我们提出了一种生成的方法来估计三维人体运动和身体形状从单目视频。假设从一个初始姿态开始的光流约束随后的人体运动,我们利用流找到时间上相干的人体姿势的运动序列。我们估计人体运动计算流场和人工流渲染器的输出之间的差异最小化。需要单个初始化步骤来估计多个帧上的运动。几个正则化函数随着时间的推移增强了鲁棒性。我们的测试场景表明,光流有效地规范了单目视频中人体形状和运动估计的欠约束问题。
2017-03-21 cs.CV
BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Korea University(高丽大学);Dongguk University(东国大学)
视频内插通过合成两个连续帧之间的中间帧来增加视频序列的时间分辨率。本文提出了一种基于深度学习的双向运动估计视频插值算法。首先,我们开发了双边运动网络的双边成本量,以准确地估计双边运动。然后,我们近似双向运动来预测不同类型的双边运动。然后,我们使用估计的双边运动来扭曲两个输入帧。接下来,我们开发了动态滤波器生成网络来生成动态混合滤波器。最后,我们使用动态混合滤波器组合变形帧以生成中间帧。实验结果表明,该算法优于国家的最先进的视频插值算法在几个基准数据集。
2020-07-17 cs.CV
4D Human Body Capture from Egocentric Video via 3D Scene Grounding
Georgia Institute of Technology(佐治亚理工学院);ETH Zürich(苏黎世联邦理工学院);Zhejiang University(浙江大学)
我们介绍了一种新的任务,重建的时间序列的第二人称三维人体网格从单目自我中心的视频。以自我为中心的视频的独特视角和快速体现的相机运动为人体捕捉增加了额外的技术障碍。为了解决这些挑战,我们提出了一种简单而有效的基于优化的方法,该方法利用整个视频序列的2D观察和人类场景交互约束来估计第二人称人类姿势,形状和全局运动,这些运动基于从自我中心视图捕获的3D环境。我们进行详细的消融研究,以验证我们的设计选择。此外,我们比较我们的方法与以前的国家的最先进的方法从单目视频的人体运动捕捉,并表明我们的方法估计更准确的人体姿势和形状下具有挑战性的自我中心的设置。此外,我们证明了我们的方法产生更逼真的人的场景交互。
2021-10-15 cs.CV
Exploiting temporal consistency for real-time video depth estimation
Northwestern Polytechnical University(西北工业大学);University of Adelaide(阿德莱德大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室)
最近,通过利用来自深度卷积神经网络(CNN)的分层特征,来自静态图像的深度估计的准确性已经显著提高。与静态图像相比,视频帧之间存在大量的信息,可以利用这些信息来提高深度估计的性能。在这项工作中,我们专注于探索时间信息从单目视频的深度估计。具体来说,我们利用卷积长短期记忆(CLSTM)的优势,提出了一种新的时空CSLTM(ST-CLSTM)结构。我们的ST-CLSTM结构不仅可以捕获空间特征,而且可以捕获连续视频帧之间的时间相关性/一致性,计算成本可以忽略不计。此外,为了保持估计的深度帧之间的时间一致性,我们应用生成对抗学习方案并设计了时间一致性损失。时间一致性损失与空间损失相结合,以端到端的方式更新模型。通过利用时间信息,我们构建了一个视频深度估计框架,该框架实时的【形】运行并生成视觉上令人愉快的结果。此外,我们的方法是灵活的,可以推广到大多数现有的深度估计框架。代码可在:https://tinyurl.com/STCLSTM
2019-08-10 cs.CV
Less is More: Consistent Video Depth Estimation with Masked Frames Modeling
Huazhong University of Science and Technology(华中科技大学);Adobe Research(奥多比研究院)
时间一致性是视频深度估计的关键挑战。以前的工作是基于额外的光流或相机姿势,这是耗时的。相比之下,我们用较少的信息获得一致性。由于视频本身存在严重的时间冗余,丢失的帧可以从相邻的帧中恢复。受此启发,我们提出了帧掩蔽网络(FMNet),一个时空Transformer网络预测的基础上,他们的相邻帧掩蔽帧的深度。通过重构掩蔽的时间特征,FMNet可以学习内在的帧间相关性,从而实现一致性。与现有技术相比,实验结果表明,我们的方法实现了可比的空间精度和更高的时间一致性,没有任何额外的信息。我们的工作提供了一个新的角度一致的视频深度估计。我们的官方项目页面是https://github.com/RaymondWang987/FMNet。
2022-08-18 cs.CV
Learning Gaze Transitions from Depth to Improve Video Saliency Estimation
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们介绍了一种新的深度感知视频显着性方法来预测人类的注意力集中时,观看RGBD视频在常规的2D屏幕上。我们训练一个生成卷积神经网络,该网络在给定前一帧的固定图的情况下预测一帧的显著图。在这种情况下,显著性估计是非常重要的,因为在不久的将来,3D视频内容将很容易获得,但很难显示。一方面,这可以通过具有3D能力的采集设备的显著改进来解释。另一方面,尽管3D显示技术取得了相当大的进步,但大多数3D显示器仍然价格昂贵,需要佩戴特殊的眼镜。为了评估我们的方法的性能,我们提出了一个新的全面的RGBD视频的眼睛注视地面实况数据库。我们的实验表明,将深度集成到视频显著性计算中是有益的。我们证明了我们的方法优于最先进的视频显着性方法,实现了15%的相对改善。
2016-03-11 cs.CV
Simultaneous Stereo Video Deblurring and Scene Flow Estimation
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
由于摄像机和动态对象之间的大的相对运动以及大的深度变化,用于户外场景的视频经常显示令人不快的模糊效果。现有的作品通常专注于单眼视频去模糊。在本文中,我们提出了一种新的方法去模糊立体视频。特别是,我们利用分段平面假设的场景和利用场景流信息去模糊的图像。与使用预先计算的场景流的现有方法[31]不同,我们提出了一个单一的框架来联合估计场景流和去模糊图像,其中来自场景流估计和模糊信息的运动线索可以相互加强,并产生比传统场景流估计或立体去模糊方法更好的结果。我们在两个可用的数据集上对我们的方法进行了广泛的评估,并在流量估计和消除模糊效应方面取得了显着的改进。
2017-04-11 cs.CV
Revisiting Optical Flow Estimation in 360 Videos
Department of Computer Science, Texas State University, USA(德克萨斯州立大学计算机科学系,美国(注:原机构名中Department of Computer Science属于系级别,按要求提取到大学级别,即Texas State University,美国德克萨斯州立大学))
随着高质量、低成本的360可穿戴设备的出现,360视频分析已经成为该领域的一个重要研究课题。在本文中,我们提出了一种新的LiteFlowNet360架构的360视频光流估计。我们将LiteFlowNet360设计为一个从透视视频域到360视频域的领域自适应框架。我们从内核Transformer网络(KTN)的启发简单的内核变换技术,以应付固有的失真,在360视频所造成的球到平面投影。首先,我们在特征金字塔网络中应用卷积层的增量变换,并表明推理层和正则化层的进一步变换并不重要,因此减少了网络在大小和计算成本方面的增长。其次,我们通过以监督的方式使用增强数据进行训练来改进网络。我们执行数据增强投影图像在一个球体和重新投影到一个平面。第三,我们训练LiteFlowNet360在自我监督的方式使用目标域360视频。实验结果表明,360视频光流估计使用所提出的新架构的可喜成果。
2020-10-15 cs.CV
Video-based estimation of pain indicators in dogs
Utrecht University(乌得勒支大学);Ankara University(安卡拉大学);Boğaziçi University(海峡大学)
狗主人通常能够识别行为线索,揭示他们的狗的主观状态,如疼痛。但是自动识别疼痛状态是非常具有挑战性的。本文提出了一种新的基于视频的双流深度神经网络方法来解决这个问题。我们提取和预处理身体关键点,并从视频的关键点和RGB表示中计算特征。我们提出了一种方法来处理自遮挡和丢失的关键点。我们还提出了一个独特的基于视频的狗的行为数据集,由兽医专业人员收集,并注释疼痛的存在,并报告良好的分类结果与所提出的方法。这项研究是基于机器学习的狗疼痛状态估计的第一批工作之一。
2022-11-26 cs.CV
Video-Based Hand Pose Estimation for Remote Assessment of Bradykinesia in Parkinson's Disease
University of Florida(佛罗里达大学)
该研究针对远程医疗场景下姿态估计用于帕金森病运动迟缓评估的准确性缺口,测试7种手部姿态模型在本地与流媒体录制的手指敲击测试视频中的表现,发现流媒体场景下模型准确性与特征可靠性显著下降,本地录制可用于自动评估。
2023-08-28 cs.CV
Overcoming Small Data Limitations in Video-Based Infant Respiration Estimation
Northeastern University(东北大学)
本文提出了一种基于视频的婴儿呼吸估计方法,通过引入新的标注数据集和可重复的处理流程,解决了小数据限制问题,并建立了相关基准。
2025-12-07 cs.CV
Edge-aware Consistent Stereo Video Depth Estimation
K|Lens GmbH(K|Lens有限公司);Saarland Informatics Campus(萨尔兰信息学园区);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));MPI Informatics(马克斯·普朗克信息学研究所)
针对视频深度估计的一致性与细节模糊问题,提出面向立体视频的边缘感知深度估计方法,结合左右一致性损失、SLAM位姿估计与边缘保持损失,实现准确的稠密深度估计。
2023-05-04 cs.CV
Towards Consistent Video Geometry Estimation
Zhejiang University(浙江大学);Tongyi Lab, Alibaba Group(阿里云实验室);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
提出ViGeo,一种基于纯Transformer架构的前馈基础模型,通过动态分块注意力机制和基于补全的数据精炼框架,实现视频序列中空间密集且时间一致的几何(深度、法线、点图)估计,在在线、离线及长视频任务中达到最先进性能。
2026-07-17 cs.CV
Detect-and-Track: Efficient Pose Estimation in Videos
Facebook;The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Dartmouth College(达特茅斯学院)
本文研究了复杂多人视频中人体关键点的估计和跟踪问题。我们提出了一个非常轻量级但非常有效的方法,建立在人体检测和视频理解的最新进展。我们的方法分两个阶段运行:帧或短剪辑中的关键点估计,然后是轻量级跟踪以生成链接到整个视频的关键点预测。对于帧级姿态估计,我们使用Mask R-CNN以及我们自己提出的该模型的3D扩展进行了实验,该模型利用小片段的时间信息来生成更鲁棒的帧预测。我们进行了广泛的烧蚀实验,新发布的多人视频姿态估计基准,PoseTrack,以验证我们的模型的各种设计选择。我们的方法在使用多对象跟踪精度(MOTA)指标的验证上实现了55.2%的准确度,在测试集上实现了51.8%的准确度,并在ICCV 2017 PoseTrack关键点跟踪挑战赛上实现了最先进的性能。
2018-05-02 cs.CV
MVFlow: Deep Optical Flow Estimation of Compressed Videos with Motion Vector Prior
Fudan University(复旦大学)
针对压缩视频光流估计忽略压缩信息的问题,提出利用运动矢量先验的MVFlow模型,通过Motion-Vector Converting Module将运动矢量转换至光流域,并构建四个相关数据集,在降低1.09 AEPE或节省52%时间上展现了优越性。
2023-08-04 cs.CV
Learning Variational Motion Prior for Video-based Motion Capture
Tencent PCG(腾讯平台与内容事业群);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
从单目视频中捕获运动对于我们人类在虚拟现实(VR)和增强现实(AR)中自然地体验和彼此交互是基础和关键的。然而,由于缺乏有效的运动先验建模,现有的方法仍然难以处理涉及自遮挡和复杂姿势的具有挑战性的情况。本文提出了一种新颖的基于视频的运动捕捉变分运动先验(VMP)学习方法来解决上述问题。而不是直接建立视频和运动域之间的对应关系,我们建议学习一个通用的潜在空间,用于捕获所有自然运动的先验分布,作为后续基于视频的运动捕获任务的基础。为了提高先验空间的泛化能力,我们提出了一种基于变换的变分自编码器,在基于标记的3D mocap数据上进行预训练,并使用一种新的样式映射块来提高生成质量。之后,一个单独的视频编码器被附加到预训练的运动生成器上,用于对特定于任务的视频数据集进行端到端的微调。与现有的运动先验模型相比,我们的VMP模型作为一个运动整流器,可以有效地减少时间抖动和故障模式,在逐帧姿态估计,导致时间稳定和视觉逼真的运动捕捉结果。此外,我们的基于VMP的框架模型在序列级别的运动,并可以直接生成运动剪辑在向前通过,实现实时运动捕捉推理过程中。在公共数据集和野外视频上的广泛实验证明了我们框架的有效性和泛化能力。
2022-10-28 cs.CV
MEMC-Net: Motion Estimation and Motion Compensation Driven Neural Network for Video Interpolation and Enhancement
Shanghai Jiao Tong University(上海交通大学);University of California, Merced(加州大学默塞德分校)
在过去的几十年中,运动估计(ME)和运动补偿(MC)已被广泛用于经典的视频帧内插系统。近年来,提出了许多基于卷积神经网络的数据驱动帧内插方法。然而,现有的基于学习的方法通常估计流量或补偿内核,从而限制了计算效率和插值精度的性能。在这项工作中,我们提出了一个运动估计和补偿驱动的神经网络的视频帧内插。提出了一种新的自适应扭曲层,用于集成光流和插值核来合成目标帧像素。这一层是完全可微的,使得流量和核估计网络都可以联合优化。所提出的模型受益于运动估计和补偿方法的优点,而不使用手工制作的功能。与现有的方法相比,我们的方法是计算效率高,能够产生更具视觉吸引力的结果。此外,所提出的MEMC-Net可以无缝地适应于几个视频增强任务,例如,超分辨率、去噪和去块。广泛的定量和定性评估表明,该方法表现良好,对国家的最先进的视频帧插值和增强算法在广泛的数据集。
2019-09-05 cs.CV
Self-Attentive 3D Human Pose and Shape Estimation from Videos
University of Toronto(多伦多大学);eBay Inc.(eBay公司);Amazon(亚马逊);University of California at Merced(加州大学默塞德分校)
我们考虑的任务,估计三维人体姿势和形状的视频。虽然现有的基于帧的方法已经取得了重大进展,但这些方法独立地应用于每个图像,从而经常导致不一致的预测。在这项工作中,我们提出了一个基于视频的学习算法的三维人体姿态和形状估计。我们的方法的关键见解是双重的。首先,为了解决时间预测不一致的问题,我们利用视频中的时间信息,并提出了一个自我关注模块,该模块联合考虑跨帧的短距离和长距离依赖关系,从而产生时间上一致的估计。其次,我们用预测模块对人体运动进行建模,该模块允许相邻帧之间的过渡平滑。我们在3DPW,MPI-INF-3DHP和Human3.6M数据集上评估了我们的方法。大量的实验结果表明,我们的算法对国家的最先进的方法表现良好。
2021-09-07 cs.CV
Consistent Video Depth Estimation
University of Washington(华盛顿大学);Virginia Tech(弗吉尼亚理工大学);Facebook(脸书)
我们提出了一种算法重建密集的,几何一致的深度为所有像素在单目视频。我们利用传统的结构从运动重建建立视频中的像素的几何约束。与经典重建中的ad-hoc先验不同,我们使用基于学习的先验,即,卷积神经网络训练用于单图像深度估计。在测试时,我们对该网络进行微调,以满足特定输入视频的几何约束,同时保留其在受约束较少的视频部分中合成合理深度细节的能力。我们通过定量验证表明,我们的方法实现了更高的精度和更高程度的几何一致性比以前的单目重建方法。从视觉上看,我们的结果似乎更稳定。我们的算法是能够处理具有挑战性的手持捕获的输入视频与适度的动态运动。重建质量的提高使几个应用程序,如场景重建和先进的基于视频的视觉效果。
2020-08-26 cs.CV
A Maximum A Posteriori Estimation Framework for Robust High Dynamic Range Video Synthesis
Pennsylvania State University(宾夕法尼亚州立大学);Pukyong National University(釜庆国立大学)
从多个低动态范围(LDR)曝光合成高动态范围(HDR)图像继续被积极地研究。由于潜在的成本效益,对HDR视频合成的扩展是当前显著感兴趣的主题。对于HDR视频,严格的实际挑战以视频帧之间的对象的准确对应性估计的形式呈现。特别地,由不良曝光和变化的强度导致的数据丢失使得传统的光流方法非常不准确。我们避免了精确的对应估计,提出了一种统计方法,通过最大后验(MAP)估计,并在适当的统计假设和先验和模型的选择,我们减少了它的目标帧的前景和背景的解决方案的优化问题。我们通过秩最小化获得背景,并通过一种新的多尺度自适应核回归技术来估计前景,该技术通过求解无约束优化问题来隐式地捕获局部结构和时间运动。在真实和合成数据集上的大量实验结果表明,在主观和客观评估下,我们的算法比当前最先进的方法更能够提供高质量的HDR视频。此外,一个彻底的复杂性分析表明,我们的算法实现了更好的复杂性和性能的权衡比传统的方法。
2016-12-08 cs.CV
UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation
The University of Hong Kong(香港大学);Beihang University(北京航空航天大学);VAST
本研究提出UniGeo方法,通过选择全局坐标系几何属性、重用位置编码和联合训练,利用视频扩散模型的内在一致性实现视频一致几何估计,性能卓越且可泛化至动态场景。
2025-05-30 cs.CV
Face2Face: Real-time Face Capture and Reenactment of RGB Videos
University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);Stanford University(斯坦福大学)
我们提出了Face2Face,一种用于单目目标视频序列的实时的面部再现的新方法(例如,Youtube视频)。源序列也是一个单目视频流,捕捉生活与商品摄像头。我们的目标是动画的面部表情的目标视频的源演员和重新渲染操作输出视频中的照片逼真的方式。为此,我们首先解决了约束不足的问题,从单目视频的面部身份恢复的非刚性基于模型的捆绑。在运行时间,我们跟踪面部表情的源和目标视频使用密集的光度一致性措施。然后通过源和目标之间快速有效的变形转移来实现重演。从目标序列中检索与重新定向的表情最佳匹配的嘴部内部,并将其扭曲以产生准确的拟合。最后,我们令人信服地重新渲染合成的目标面上的相应的视频流,使其无缝融合与现实世界的照明。我们在现场设置中演示了我们的方法,其中Youtube视频是实时的。
2020-07-29 cs.CV
V-Nutri: Dish-Level Nutrition Estimation from Egocentric Cooking Videos
Indiana University(印第安纳大学);The University of Sydney(悉尼大学)
本文提出V-Nutri框架,结合预训练视觉模型和轻量级融合模块,利用烹饪过程关键帧提升菜品营养估计精度。
2026-04-13 cs.CV
BASKET: A Large-Scale Video Dataset for Fine-Grained Skill Estimation
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出BASKET,一个含4,477小时视频、32,232名球员和20项细粒度技能的大规模篮球视频数据集,用于技能评估,并发现现有视频模型在此任务上显著落后于人类基线。
2025-03-26 cs.CV