GenAI-Bench: Evaluating and Improving Compositional Text-to-Visual Generation
Carnegie Mellon University(卡内基梅隆大学);Meta
该研究基于GenAI-Bench评估文本到视觉模型的组合生成能力,发现VQAScore指标优于现有方法,可通过黑盒排序提升生成效果,并发布含超8万条人类评分的基准以推动相关研究。
2024-11-03 cs.AI cs.CL cs.CV
Internal Video Inpainting by Implicit Long-range Propagation
The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一个新的框架,采用内部学习策略的视频修复。与以前的方法不同,使用光流跨帧上下文传播来修补未知区域,我们表明,这可以通过将卷积神经网络拟合到已知区域来隐式实现。此外,为了处理具有模糊背景或长期遮挡的具有挑战性的序列,我们设计了两个正则化项来保留高频细节和长期时间一致性。在DAVIS数据集上的大量实验表明,该方法在定量和定性上都达到了最先进的修复质量。我们进一步将所提出的方法扩展到另一个具有挑战性的任务:学习从视频中移除对象,在4K视频中仅在一帧中给出单个对象掩码。
2021-08-17 cs.CV
LiFT: Leveraging Human Feedback for Text-to-Video Model Alignment
Fudan University(复旦大学);Shanghai Academy of Artificial Intelligence for Science(上海科学人工智能研究院);Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究院)
本文提出首个利用人类反馈进行文本到视频模型对齐的方法LiFT,通过构建含约1万条标注的数据集LiFT-HRA训练奖励模型LiFT-Critic,并最大化奖励加权似然优化T2V模型,使微调后的CogVideoX-2B在全部16项指标上超越CogVideoX-5B。
2025-03-05 cs.CV
MatAnyone: Stable Video Matting with Consistent Memory Propagation
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
针对复杂背景下视频抠图不稳的问题,提出MatAnyone框架,通过区域自适应记忆融合实现一致传播,并配以新数据集和训练策略,在真实场景中取得超越现有方法的稳健准确结果。
2025-03-25 cs.CV
Explainable AI-Powered Framework for Video-Based Skill Assessment in Cataract Surgery
K.N. Toosi University of Technology(霍加托西大学);Faculties of Electrical and Computer Engineering(电气与计算机工程学院);Applied Robotics and AI Solutions (ARAS)(应用机器人与人工智能解决方案(ARAS))
本研究针对外科劳动力短缺和传统培训局限,提出可解释AI驱动的白内障手术视频技能评估框架,基于2000条最大数据集,87%准确率,指标与专家评估强相关。
2026-08-19 cs.AI cs.CV
Deep Recurrent Neural Network with Multi-scale Bi-directional Propagation for Video Deblurring
Xian Jiaotong University(西安交通大学);ByteDance Intelligent Creation Lab(字节跳动智能创作实验室);Nanjing University of Science and Technology(南京理工大学)
现有的视频去模糊方法的成功主要源于隐式或显式估计相邻帧之间的对准以用于潜在视频恢复。然而,由于模糊效应的影响,从模糊的相邻帧估计对准信息不是一个简单的任务。不准确的估计会干扰后续的帧恢复。我们提出了一种简单有效的多尺度双向传播深度递归神经网络(RNN-MBP),而不是估计对齐信息,以有效地传播和收集来自未对齐相邻帧的信息,从而更好地进行视频去模糊。具体来说,我们构建了一个多尺度双向传播(MBP)模块,其中包含两个U-Net RNN单元,可以通过将它们集成到不同尺度来直接利用来自未对齐的相邻隐藏状态的帧间信息。此外,为了更好地评估所提出的算法和现有的最先进的方法对现实世界的模糊场景,我们还创建了一个真实世界的模糊视频数据集(RBVD)的一个精心设计的数字视频采集系统(DVAS),并使用它作为训练和评估数据集。大量的实验结果表明,所提出的RBVD数据集有效地提高了现有算法对真实世界的模糊视频的性能,所提出的算法表现良好,对国家的最先进的方法在三个典型的基准测试。该代码可在https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP上获得。
2021-12-09 cs.CV eess.IV
SiamParseNet: Joint Body Parsing and Label Propagation in Infant Movement Videos
The Pennsylvania State University(宾夕法尼亚州立大学);Xi’an University of Architecture and Technology(西安建筑科技大学)
对婴儿运动录像进行一般运动评估是早期发现脑瘫的有效方法。自动身体解析是计算机辅助GMA的关键一步,其中婴儿身体部位随着时间的推移被分割和跟踪以进行运动分析。然而,由于IMV中的大量帧,获取用于基于视频的身体解析的完全注释的数据特别昂贵。在本文中,我们提出了一个半监督的身体解析模型,称为SiamParseNet(SPN),以半监督的方式共同学习单帧身体解析和帧之间的标签传播。连体结构的SPN包括一个共享的特征编码器,后面是两个独立的分支:一个用于帧内身体部位分割,一个用于帧间标签传播。这两个分支是联合训练的,将来自相同视频的成对帧作为其输入。提出了一种自适应训练过程,该过程在使用仅标记帧的输入对和使用标记帧和未标记帧的输入之间交替训练模式。在测试过程中,我们采用了多源推理机制,其中测试帧的最终结果是通过分割分支或通过从附近的关键帧传播获得的。我们在部分标记的IMV数据集上进行了大量的实验,其中SPN优于所有现有技术,证明了我们所提出的方法的有效性。
2020-07-16 cs.CV
Deep Architectures for Content Moderation and Movie Content Rating
Graduate School of Informatics, METU(中东技术大学信息学研究生院)
基于内容对视频进行评级是对视频年龄类别进行分类的重要步骤。电影内容评级和电视节目评级是专业委员会建立的两种最常见的评级体系。然而,由委员会手动审查和评估场景/电影内容是一项繁琐的工作,并且随着在线视频内容的数量不断增长而变得越来越困难。因此,期望的解决方案是使用基于计算机视觉的视频内容分析技术来使评估过程自动化。在本文中,相关的工作进行了总结,动作识别,多模态学习,电影类型分类,敏感内容检测的内容审核和电影内容评级的背景下。该项目的网页可在https://github.com/fcakyon/content-moderation-deep-learning上查阅。
2022-12-12 cs.CV cs.LG
MHP-VOS: Multiple Hypotheses Propagation for Video Object Segmentation
Huazhong University of Science and Technology(华中科技大学);Tencent AI Lab(腾讯人工智能实验室)
我们解决的问题,半监督视频对象分割(VOS),其中感兴趣的对象的掩模在输入视频的第一帧。为了处理具有挑战性的情况下,对象被遮挡或丢失,以前的工作依赖于贪婪的数据关联策略,为每个帧单独作出决定。在本文中,我们提出了一种新的方法来推迟决策的目标对象在每一帧中,直到一个全局视图可以建立与整个视频被考虑。我们的方法是在相同的精神作为多假设跟踪(MHT)方法,使几个关键的适应VOS问题。我们采用的限界框(bbox)的假设跟踪树的形成,和多个假设是通过传播到检测到的bbox提案在门控区域内的前bbox从第一帧中的初始对象掩模开始。门控区域由门控方案确定,该方案考虑了更全面的运动模型,而不是传统MHT中的简单卡尔曼滤波模型。为了进一步设计更定制的算法为VOS量身定制,我们开发了一种新的掩模传播分数,而不是外观相似性分数,可能是脆弱的,由于大变形。掩码传播分数与运动分数一起确定树修剪期间假设之间的亲和力。最后,一种新的掩模合并策略被用来处理对象之间的掩模冲突。在具有挑战性的数据集上进行的大量实验证明了该方法的有效性,特别是在对象丢失的情况下。
2019-04-17 cs.AI cs.CV
Exploring Spatiotemporal Feature Propagation for Video-Level Compressive Spectral Reconstruction: Dataset, Model and Benchmark
本文提出PG-SVRT模型,通过时空特征传播提升视频级压缩光谱重建性能,构建DynaSpec数据集并验证其有效性
2026-02-28 cs.CV
Semantics through Time: Semi-supervised Segmentation of Aerial Videos with Iterative Label Propagation
University Politehnica of Bucharest(布加勒斯特理工大学);Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所)
语义分割是机器人导航和安全的关键任务。然而,当前的监督方法需要大量的逐像素注释来产生准确的结果。标签是一个繁琐和耗时的过程,阻碍了低空无人机应用的进展。本文通过引入SegProp(一种新的基于迭代流的方法)向自动注释迈出了重要一步,该方法与空间和时间上的谱聚类直接相关,将语义标签传播到缺乏人类注释的帧。标签进一步用于半监督学习场景。由于缺乏大型视频航空数据集,我们还引入了Ruralscapes,这是一个新的数据集,具有高分辨率(4K)图像和每50帧手动注释的密集标签-据我们所知,这是同类中最大的。我们的新型SegProp自动注释剩余的98%未标记的帧,准确率超过90%(F测量),显著优于其他最先进的标签传播方法。此外,当将其他方法作为模块集成到SegProp的迭代标签传播循环中时,我们实现了对基线标签的显着提升。最后,我们在完全半监督设置中测试SegProp:我们在SegProp自动标记的训练帧上训练几个最先进的深度神经网络,并在全新的视频上测试它们。我们令人信服地证明,每一次,一个显着的改善监督的情况下。
2020-10-02 cs.CV
EduGage: A Multimodal Dataset and Benchmark for Sensor-Based Momentary Assessment of Engagement in Self-Guided Video Learning
School of Interactive Computing, Georgia Institute of Technology(佐治亚理工学院交互计算学院);College of Computing, Georgia Institute of Technology(佐治亚理工学院计算机学院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院)
本文提出EduGage方法与数据集,通过可穿戴和摄像头设备收集生理和运动信号,评估学习者参与度,实验显示多模态建模在参与度评估中有效,且轻量级的生理与行为信号组合优于全多模态设备。
2026-10-08 cs.CV cs.HC
Nonverbal Immediacy Analysis in Education: A Multimodal Computational Model
Technische Universität Berlin(柏林工业大学);University of Potsdam(波茨坦大学);Science of Intelligence (SCIoI), Cluster of Excellence(卓越集群“智能科学”(SCIoI))
本研究提出一种整合多模态行为线索的计算模型,用于评估教师非言语即时性,经德国课堂数据集验证,模型与人类评分及教育成果有相关性,为教育行为客观评估提供新支持。
2024-07-24 cs.AI cs.CV cs.HC
Elevating Flow-Guided Video Inpainting with Reference Generation
Adobe Research(奥多比研究院)
本研究提出结合生成式参考生成与一次性像素拉取的视频修复框架,构建HQVI基准,在多数据集上实现更优效果且支持2K以上高分辨率视频处理。
2024-12-12 cs.CV
ViDAS: Vision-based Danger Assessment and Scoring
SRM Institute of Science and Technology(SRM科学技术学院);Vellore Institute of Technology(韦洛尔理工学院)
ViDAS数据集包含100个带人类危险评分和时间戳的YouTube视频,利用LLM独立评估并引入MSE分数进行元评估,证明LLM在危险评估中具有类人潜力。
2024-10-01 cs.CV
CHUG: Crowdsourced User-Generated HDR Video Quality Dataset
为填补真实世界UGC-HDR视频质量评估数据集的空白,本文提出首个大规模众包数据集CHUG,包含5,992个视频和211,848个感知评分,为分析UGC特定失真及推动无参考HDR-VQA研究提供了基准。
2025-10-10 cs.AI cs.CV
Deep 3D-CNN for Depression Diagnosis with Facial Video Recording of Self-Rating Depression Scale Questionnaire
Harbin Engineering University(哈尔滨工程大学);Suzhou Fanhan Information Technology Company(苏州凡汉信息技术公司);Sun Yat-sen University(中山大学);Southern Marine Science and Engineering Guangdong Laboratory (Zhanjiang)(南方海洋科学与工程广东省实验室(湛江));Marine Biomedical Research Institute of Guangdong(广东海洋生物医药研究院);Harvard Medical School(哈佛医学院)
抑郁自评量表(SDS)问卷通常用于有效的抑郁症初步筛查。另一方面,不受控制的自我管理措施可能容易受到漫不经心或不诚实的反应的影响,从而产生与临床医生管理的诊断不同的结果。面部表情(FE)和行为是重要的,在临床医生管理的评估,但他们在自我管理的评价低估。我们使用一个新的数据集的200名参与者来证明自我评价问卷的有效性,并在这项研究中伴随着问题的视频记录。我们提供了一个端到端的系统来处理面部视频记录,该系统以问卷答案和响应时间为条件,自动从SDS评估和相关视频中解释悲伤。我们修改了用于时间特征提取的3D-CNN,并比较了各种最先进的时间建模技术。我们的系统的优越性能显示了面部视频记录与SDS评分相结合,更准确的自我诊断的有效性。
2021-07-22 cs.CV
A Video-Based Method for Objectively Rating Ataxia
Massachusetts Institute of Technology(麻省理工学院);Yale University(耶鲁大学);Massachusetts General Hospital(麻省总医院)
对于许多运动障碍,例如帕金森病和共济失调,临床医生使用数字疾病评定量表视觉评估疾病进展。这些测试是主观的,耗时的,必须由专业人员管理。这可能是有问题的,当专家是不可用的,或当病人不是由同一个临床医生一贯评价。我们提出了一种自动化的方法来量化运动障碍的严重程度共济失调患者,只使用视频记录。我们考虑了指鼻测试的视频,这是一种常见的运动任务,在常规临床检查过程中用作共济失调进展评估的一部分。我们的方法使用基于神经网络的姿态估计和光流技术来跟踪视频记录中患者的手的运动。我们提取描述运动质量的特征,例如速度和性能变化。使用专家临床医生提供的标签,我们训练一个监督学习模型,该模型根据简明共济失调评定量表(BARS)预测严重程度。我们的系统的性能是一组共济失调专家的平均误差和相关性,和我们的系统的预测一致的评价者之间的变异范围内。这项工作证明了使用计算机视觉和机器学习来产生一致的和临床上有用的运动障碍测量的可行性。
2017-09-07 cs.CV
Video-Based MPAA Rating Prediction: An Attention-Driven Hybrid Architecture Using Contrastive Learning
Department of Electrical and Computer Engineering(电气与计算机工程系)
针对视频年龄分级需求,提出结合对比学习与LRCN-注意力混合架构的MPAA自动分级方法,在上下文对比学习框架下达到88%准确率,并部署为实时Web应用。
2025-09-08 cs.CV cs.LG
Interpreting Depression From Question-wise Long-term Video Recording of SDS Evaluation
Harbin Engineering University(哈尔滨工程大学);Sun Yat-sen University(中山大学);Affiliated Hospital of Guangdong Medical University(广东医科大学附属医院);Southern Marine Science and Engineering Guangdong Laboratory (Zhanjiang)(南方海洋科学与工程广东省实验室(湛江));Marine Biomedical Research Institute of Guangdong(广东海洋生物医药研究院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Harvard Medical School(哈佛医学院);Suzhou Fanhan Information Technology Co., Ltd(苏州凡瀚信息技术有限公司)
抑郁自评量表(SDS)是一种常用的抑郁症初筛工具。然而,不可控的自我管理措施很容易受到漫不经心或欺骗性回答的影响,并产生与临床医生管理的汉密尔顿抑郁量表(HDRS)和最终诊断不同的结果。临床上,面部表情(FE)和行动发挥了至关重要的作用,在临床医生管理的评价,而FE和行动是unexplored自我管理的评价。在这项工作中,我们收集了一个新的数据集,200名受试者的证据的有效性自评问卷与相应的问题明智的视频记录。为了从SDS评估和配对视频中自动解释抑郁,我们提出了一个长期可变长度视频的端到端分层框架,该框架也以问卷结果和回答时间为条件。具体来说,我们诉诸于一个层次模型,利用3D CNN的局部时间模式探索和冗余意识的自我注意力(RAS)计划的问题明智的全球功能聚合。针对冗余的长期FE视频处理,我们的RAS能够有效地利用问题集内每个视频片段的相关性,以强调区分性信息,并基于特征成对亲和力消除冗余。然后,将问题视频特征与问卷分数连接起来,以进行最终的抑郁检测。我们的全面评估也显示了融合SDS评估及其视频记录的有效性,以及我们的框架相对于传统的最先进的时间建模方法的优越性。
2021-06-25 cs.AI cs.CV cs.LG
Extraction and Summarization of Explicit Video Content using Multi-Modal Deep Learning
University of Southern California(南加州大学)
提出一种基于多模态深度学习的自动化流水线,用于提取视频中的显式内容片段并生成文本摘要以判定年龄适宜性,最后通过标准指标验证了其有效性。
2023-11-21 cs.CL cs.CV cs.LG
KonVid-150k: A Dataset for No-Reference Video Quality Assessment of Videos in-the-Wild
University of Konstanz(康斯坦茨大学)
视频质量评估(VQA)方法专注于特定的退化类型,通常是在一小组参考视频上人为引起的。因此,大多数传统的VQA方法在野外表现不佳。深度学习方法由于现有VQA数据集的小尺寸和多样性而取得了有限的成功,无论是人工的还是真实扭曲的。我们引入了一个新的野生VQA数据集,它更大,更多样化:KonVid-150 k。它包括一个粗略注释的153,841个视频,每个视频有5个质量评级,以及1,596个视频,每个视频至少有89个评级。此外,我们提出了新的高效的VQA方法(MLSP-VQA)依赖于多层次的空间汇集的深功能(MLSP)。与深度迁移学习方法相比,它们非常适合大规模培训。我们的最佳方法MLSP-VQA-FF将常用的KoNViD-1 k野外基准数据集上的Spearman秩序相关系数(SRCC)性能指标提高到0.82。它超越了现有最好的深度学习模型(0.80 SRCC)和手工制作的基于特征的方法(0.78 SRCC)。我们进一步研究了替代方法在不同级别的标签噪声和数据集大小下的表现,表明MLSP-VQA-FF是野外视频的整体最佳方法。最后,我们证明了在KonVid-150 k上训练的MLSP-VQA模型为KoNViD-1 k、LIVE-VQC和LIVE-Qualcomm的交叉测试性能提供了最新的技术水平,SRCC分别为0.83、0.75和0.64。对于KoNViD-1 k和LIVE-VQC,这种数…
2021-03-01 cs.CV cs.MM eess.IV
Deep Video Color Propagation
ETH Zurich(苏黎世联邦理工学院);Disney Research(迪士尼研究院)
用于视频中的颜色传播的传统方法依赖于连续视频帧之间的某种形式的匹配。使用外观描述符,颜色,然后传播空间和时间。然而,这些方法在计算上是昂贵的,并且不利用场景的语义信息。在这项工作中,我们提出了一个用于颜色传播的深度学习框架,该框架结合了局部策略和全局策略,该局部策略用于逐帧传播颜色以确保时间稳定性,该全局策略使用语义在更长范围内进行颜色传播。我们的评估表明,我们的策略优于现有的视频和图像的颜色传播方法,以及神经照片逼真的风格转移方法。
2018-08-09 cs.CV
Video Propagation Networks
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心)
我们提出了一种通过视频数据向前传播信息的技术。该方法在概念上是简单的,并且可以应用于需要基于视频内容传播结构化信息(诸如语义标签)的任务。我们提出了一个“视频传播网络”,以自适应的方式处理视频帧。该模型是在线应用的:它向前传播信息,而不需要访问未来的帧。特别是,我们结合了两个组件,一个时间双边网络的密集和视频自适应过滤,其次是空间网络,以改善功能和增加的灵活性。我们目前的视频对象分割和语义视频分割的实验,并表现出更高的性能相比,以前最好的特定于任务的方法,同时具有良好的运行时间。此外,我们展示了我们的方法在灰度视频中的颜色传播的一个例子回归任务。
2017-04-11 cs.CV
A Cascaded Neural Network System For Rating Student Performance In Surgical Knot Tying Simulation
New Jersey Institute of Technology(新泽西理工学院);Robert Wood Johnson Hospital(罗伯特·伍德·约翰逊医院)
本文提出一种级联神经网络系统,仅从视频评估医学生外科打结表现,利用预训练卷积网络提取特征并配合时间网络建模,在五折交叉验证中取得优于现有方法的F1分数和平均精度。
2023-12-09 cs.CV eess.IV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University(南洋理工大学)
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中,我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明,通过增强传播和对齐的经常性框架,可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是,我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB,参数数量相似。除了视频超分辨率之外,BasicVSR++还可以很好地推广到其他视频恢复任务,如压缩视频增强。在NTIRE 2021中,BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Detecting Temporally Consistent Objects in Videos through Object Class Label Propagation
用于检测移动或静态视频对象的对象提案需要解决诸如速度、存储器复杂性和时间一致性之类的问题。我们提出了一个有效的视频对象建议(VOP)生成方法,并显示其有效性,学习一个更好的视频对象检测器。使用所提出的VOP学习的基于深度学习的视频对象检测器在Youtube对象数据集上实现了最先进的检测性能。我们进一步提出了一个集群的VOPs,可以有效地用于检测对象的视频流的方式。与应用基于逐帧卷积神经网络(CNN)的目标检测相反,我们提出的称为视频使能器中的对象粗糙标签传播(OVERLESS)的方法只需要通过对象建议的流聚类和类别标签传播来对每个视频帧中的所有候选建议的一小部分进行分类。源代码将很快提供。
2016-01-20 cs.CV
Deep Video Prior for Video Consistency and Propagation
The Hong Kong University of Science and Technology(香港科技大学)
将图像处理算法独立地应用于每个视频帧通常导致所得视频中的时间不一致性。为了解决这个问题,我们提出了一种新的和一般的方法盲视频时间一致性。我们的方法只直接在一对原始和处理过的视频上训练,而不是在一个大的数据集上训练。与大多数以前的方法不同,我们证明了时间一致性可以通过在具有深度视频先验(DVP)的视频上训练卷积神经网络来实现。此外,一个精心设计的迭代重新加权的训练策略,提出了解决具有挑战性的多模态不一致性问题。我们证明了我们的方法的有效性7计算机视觉任务的视频。大量的定量和感知实验表明,我们的方法在盲视频时间一致性方面比最先进的方法获得了更优越的性能。我们进一步扩展DVP的视频传播,并证明其有效性传播三种不同类型的信息(颜色,艺术风格,对象分割)。提出了一种基于伪标签的渐进传播策略,以提高DVP在视频传播中的性能。我们的源代码可在https://github.com/ChenyangLEI/deep-video-prior上公开获取。
2022-01-27 cs.AI cs.CV
Multimodal Large Language Models as Synthetic Participants in Video-Based Studies: An Evaluation
University of California, Berkeley(加州大学伯克利分校)
本研究评估多模态大语言模型在视频感知任务中模拟人类主观评分的表现,发现模型存在偏差且与人类一致性有限。
2026-05-01 cs.AI cs.CV cs.CY
QueryProp: Object Query Propagation for High-Performance Video Object Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
视频目标检测一直是计算机视觉中一个重要而又具有挑战性的课题。传统的方法主要集中在设计图像级或框级的特征传播策略,以利用时间信息。本文认为,一个更有效的和高效的特征传播框架,视频对象检测器可以获得改善的准确性和速度。为此,本文研究了对象级特征传播,并提出了一个高性能视频目标检测的对象查询传播(QueryProp)框架。QueryProp包含两种传播策略:1)从稀疏关键帧到密集非关键帧进行查询传播,减少非关键帧上的冗余计算; 2)从先前关键帧到当前关键帧进行查询传播,通过时间上下文建模提高特征表示。为了进一步促进查询传播,自适应传播门的设计,以实现灵活的关键帧选择。我们在ImageNet VID数据集上进行了广泛的实验。QueryProp实现了与最先进的方法相当的准确性,并取得了不错的准确性/速度权衡。代码可在https://github.com/hf1995/QueryProp上获得。
2022-07-22 cs.CV
ProPainter: Improving Propagation and Transformer for Video Inpainting
Nanyang Technological University(南洋理工大学)
针对视频修复中传播机制和Transformer的局限性,提出ProPainter框架,通过双域传播和掩码引导的稀疏视频Transformer提升修复性能与效率。
2023-09-07 cs.CV
An Empirical Study of Propagation-based Methods for Video Object Segmentation
ByteDance AI Lab(字节跳动人工智能实验室)
虽然基于传播的方法已经实现了视频对象分割的最先进的性能,但文献缺乏使用相同设置的不同方法的公平比较。在本文中,我们进行了实证研究的传播为基础的方法。我们从统一的角度看待这些方法,并对核心方法、输入线索、多目标组合和训练策略进行了详细的消融研究。经过精心设计,我们改进的端到端内存网络在DAVIS 2017 val集上实现了76.1的全局平均值。
2019-07-30 cs.CV
Temporal Knowledge Propagation for Image-to-Video Person Re-identification
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
在许多人身份重识别(Person Re-ID)场景中,图库集合由大量的监控视频组成,而查询对象只是一幅图像,因此需要在图像和视频之间进行身份重识别。与视频相比,静态人物图像缺乏时间信息。此外,图像和视频特征之间的信息不对称增加了图像和视频匹配的难度。为了解决这个问题,我们提出了一种新的时间知识传播(TKP)的方法,传播的时间知识学习的视频表示网络的图像表示网络。具体来说,给定输入视频,我们强制图像表示网络在共享特征空间中拟合视频表示网络的输出。利用反向传播技术,可以通过传递时间知识来增强图像特征,从而缓解信息不对称问题。通过额外的分类和集成的三重损失,我们的模型可以学习表达性和区分性的图像和视频特征,用于图像到视频的重新识别。大量的实验证明了我们的方法的有效性,在两个广泛使用的数据集上的总体结果大大超过了最先进的方法。代码可在:https://github.com/guxinqian/TKP
2019-10-10 cs.CV
Image Diffusion Models Exhibit Emergent Temporal Propagation in Videos
Dept. of CSE, Korea University(计算机科学与工程系,韩国大学)
本文提出DRIFT框架,利用预训练图像扩散模型和SAM引导的掩码细化,实现视频中鲁棒的零样本物体跟踪。
2025-11-25 cs.CV
Butterfly: Multiple Reference Frames Feature Propagation Mechanism for Neural Video Compression
Peking University(北京大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
在神经视频压缩中,使用更多的参考帧可以显著提高压缩效率。然而,在低延迟场景中,大多数现有的神经视频压缩框架通常使用前一帧作为参考。或者少数框架只采用简单的多参考帧传播机制,以前面的多个参考帧为参考。本文提出了一种更合理的多参考帧传播机制用于神经视频压缩,称为蝶形多参考帧传播机制(Butterfly),它允许更有效的多参考帧特征融合。这样,我们可以为上下文编码模块生成更准确的时间上下文条件先验。此外,当解码帧的数量不满足所需的参考帧的数量时,我们复制最近的参考帧来满足要求,这比复制最远的参考帧要好。实验结果表明,我们的方法可以显着优于以前的最先进的(SOTA),我们的神经编解码器可以实现-7.6%的比特率节省HEVC D类数据集相比,我们的基础单参考帧模型具有相同的压缩配置。
2023-03-06 cs.CV cs.MM eess.IV
Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation
Facebook AI(脸书人工智能研究院)
我们介绍了一种方法,同时分类,分割和跟踪对象实例的视频序列。我们的方法名为MaskProp,通过添加掩码传播分支将流行的Mask R-CNN适应视频,该分支将帧级对象实例掩码从每个视频帧传播到视频剪辑中的所有其他帧。这使得我们的系统能够预测剪辑级实例轨道相对于对象实例分割在中间帧的剪辑。剪辑级实例轨道生成密集的序列中的每一帧,最后聚合产生视频级对象的实例分割和分类。我们的实验表明,我们的剪辑级实例分割,使我们的方法在视频中的运动模糊和对象遮挡鲁棒。MaskProp在YouTube-VIS数据集上实现了最佳报告准确性,优于ICCV 2019年视频实例分割挑战赛冠军,尽管它更简单,使用的标记数据数量级更少(130万与1B图像和860 K与14 M边界框)。
2021-07-09 cs.CV
Autoregression-free video prediction using diffusion model for mitigating error propagation
IEEE
本文提出首个基于扩散模型的无自回归(ARFree)视频预测框架,通过直接从上下文帧预测未来帧并引入运动预测模块与训练方法,有效缓解误差传播,在两个基准数据集上优于多种先进方法。
2025-05-30 cs.CV
Context Propagation from Proposals for Semantic Video Object Segmentation
Nokia Technologies, Finland(诺基亚技术公司)
该研究提出一种语义视频对象分割新方法,从视频对象候选区域提取语义上下文并传播,结合条件随机场推断超像素标签,提升了视觉歧义消解的鲁棒性。
2024-07-08 cs.CV
Content Adaptive and Error Propagation Aware Deep Video Compression
Shanghai Jiao Tong University(上海交通大学);The University of Sydney(悉尼大学)
近年来,基于学习的视频压缩方法受到越来越多的关注。然而,以前的作品遭受的错误传播,由于在帧间预测编码的重建误差的积累。同时,以前的基于学习的视频编解码器也不能适应不同的视频内容。为了解决这两个问题,我们提出了一个内容自适应和错误传播意识的视频压缩系统。具体来说,我们的方法采用了联合训练策略,考虑多个连续帧的压缩性能,而不是一个单一的帧。基于学习的长期时间信息,我们的方法有效地消除了重建帧中的错误传播。更重要的是,我们在系统中设计了一个在线编码器更新方案,而不是使用传统压缩系统中的手工编码模式。该方法根据率失真准则更新编码器的参数,但在推理阶段保持解码器不变。因此,编码器是适应不同的视频内容,并通过减少训练和测试数据集之间的域间隙,实现更好的压缩性能。我们的方法简单而有效,在基准数据集上优于最先进的基于学习的视频编解码器,而不会增加模型大小或降低解码速度。
2020-03-25 cs.CV eess.IV
Transfer of Representations to Video Label Propagation: Implementation Factors Matter
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Web Services(亚马逊云科技)
这项工作研究了密集标签在视频中传播的特征表示,重点是最近提出的方法,学习视频对应使用自监督信号,如着色或时间周期一致性。在文献中,这些方法已经用一系列不一致的设置进行了评估,这使得很难辨别趋势或公平地比较性能。从一个统一的制定标签传播算法,包括大多数现有的变化,我们系统地研究了重要的实施因素的影响,特征提取和标签传播。在此过程中,我们报告了适当调整的监督和无监督静态图像基线的准确性,这些基线比以前的作品中发现的要高。我们还证明,增强基于视频的对应线索与基于静态图像的可以进一步提高性能。然后,我们尝试在DAVIS基准上对最近的基于视频的方法进行公平比较,显示最佳方法收敛到接近我们强大的ImageNet基线的性能水平,尽管使用了各种专门的基于视频的损失和训练细节。对JHMDB和VIP数据集的其他比较证实了当前方法的相似性能。我们希望这项研究将有助于改善评估实践,并更好地告知未来的研究方向在时间对应。
2022-03-10 cs.CV
Mask Propagation Network for Video Object Segmentation
ByteDance AI Lab(字节跳动人工智能实验室)
在这项工作中,我们提出了一个掩码传播网络来处理视频分割问题的指导实例分割的概念。与大多数基于MaskTrack的视频分割方法类似,该方法将前一帧的掩码概率图和当前帧的外观作为输入,并预测当前帧的掩码概率图。具体来说,我们采用基于Xception主干的DeepLab v3+模型作为预测管道中的概率图预测器。此外,我们的网络采用实例的感兴趣区域和由前一帧和当前帧之间的光流扭曲的新掩模概率作为输入,而不是完整图像和原始掩模概率。我们还集成了修改后的One-Shot视频分割网络来进行最终预测,以便检索和分割丢失的实例。
2018-10-24 cs.CV
Fast Vehicle Detection and Tracking on Fisheye Traffic Monitoring Video using CNN and Bounding Box Propagation
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对十字路口交通监控鱼眼视频,设计了一种快速的车辆检测与跟踪算法。我们使用ICIP 2020 VIP Cup数据集,并采用YOLOv5作为目标检测基础模型。该数据集的夜间视频非常具有挑战性,基础模型的检测准确率(AP50)约为54%。我们基于帧间限界框传播的概念设计了一种可靠的汽车检测和跟踪算法,可提供17.9个百分点(pp)和6.2个百分点。分别针对夜间和白天视频的基础模型的准确度提高。为了加快速度,灰度帧差用于片段中的中间帧,这可以使处理速度加倍。
2022-07-13 cs.CV
Find First, Track Next: Decoupling Identification and Propagation in Referring Video Object Segmentation
GenGenAI;Yonsei University(延世大学)
针对指代表达视频目标分割中多模态特征纠缠导致的目标识别歧义和跨帧传播不一致问题,本文提出 FindTrack 解耦框架,通过自适应关键帧选择与专用传播模块提升性能,并在公开基准上取得最优结果。
2025-07-26 cs.CV
Kalman-Inspired Feature Propagation for Video Face Super-Resolution
S-Lab, Nanyang Technological University(新加坡南洋理工大学S-Lab)
针对视频人脸超分辨率中细节重建与时间一致性难以兼顾的问题,提出KEEP框架,借助卡尔曼滤波思想循环传播历史恢复特征以稳定人脸先验,并验证其跨帧细节一致性。
2024-08-09 cs.CV
Semantic Video Segmentation by Gated Recurrent Flow Propagation
Lund University(隆德大学)
语义视频分割是具有挑战性的,因为为了构建准确的模型,需要处理和标记大量的数据。在本文中,我们提出了一种深度的端到端可训练的视频分割方法,该方法能够利用未标记数据中的信息来改进语义估计。我们的模型结合了卷积架构和时空Transformer递归层,它们能够通过光流在时间上传播标记信息,并根据其局部估计的不确定性进行自适应门控。流、识别和门控时间传播模块可以端到端地联合训练。我们的模型的时间,门控经常流传播组件可以插入到任何静态语义分割架构,并把它变成一个弱监督的视频处理。我们在具有挑战性的CityScapes和Camvid数据集中进行了大量实验,并基于多个深度架构,结果表明,所产生的模型可以利用未标记的时间帧,紧挨着标记的时间帧,以提高视频分割的准确性和时间标记的一致性,无需额外的注释成本,只需很少的额外计算。
2017-10-02 cs.CV
Improving Semantic Segmentation via Video Propagation and Label Relaxation
University of California at Merced(加州大学默塞德分校);Nvidia Corporation(英伟达公司)
语义分割需要大量的逐像素注释来学习准确的模型。在本文中,我们提出了一种基于视频预测的方法,通过合成新的训练样本来扩大训练集,以提高语义分割网络的准确性。我们利用视频预测模型预测未来帧的能力,以便预测未来的标签。还提出了一种联合传播策略,以减轻合成样本中的错位。我们证明了在由合成样本增强的数据集上训练分割模型可以显著提高准确性。此外,我们引入了一种新的边界标签松弛技术,使训练鲁棒注释噪声和沿对象边界的传播伪影。我们提出的方法在Cityscapes上实现了83.5%的最新mIoU,在CamVid上实现了82.9%。我们的单个模型,没有模型集成,在KITTI语义分割测试集上实现了72.8%的mIoU,超过了2018年ROB挑战赛的获奖作品。我们的代码和视频可以在https://nv-adlr.github.io/publication/2018-Segmentation上找到。
2019-07-03 cs.AI cs.CV cs.MM
Efficient MRF Energy Propagation for Video Segmentation via Bilateral Filters
在多媒体应用中,从视频中分割出目标是一项具有挑战性的任务。根据应用,自动或交互式方法是理想的;然而,无论应用类型如何,视频对象分割的有效计算对于时间关键型应用至关重要;具体而言,移动和交互式应用需要接近实时的效率。在本文中,我们从效率的角度来解决视频分割的问题。我们最初重新定义的问题,视频对象分割的MRF能量沿时域的传播。为此,提出了一种新颖而有效的方法,通过双边滤波器在整个帧中传播MRF能量,而不使用任何全局纹理,颜色或形状模型。最近提出的双指数过滤器是利用效率,而一种新的技术也被开发来动态地解决图形切割的变化,在一般的线性过滤方案的非格图。这些改进的实验自动和交互式视频分割方案。此外,除了效率,分割质量也测试定量和定性。事实上,对于一些具有挑战性的示例,在不损失分割质量的情况下观察到显著的时间效率。
2014-10-27 cs.CV
Fast User-Guided Video Object Segmentation by Interaction-and-Propagation Networks
Yonsei University(延世大学);Adobe Research(奥多比研究院)
我们提出了一种用于交互式视频对象分割的深度学习方法。我们的方法是建立在两个核心操作,互动和传播,每个操作是由卷积神经网络进行。这两个网络在内部和外部都是连接的,这样网络就可以联合训练并相互交互,以解决复杂的视频对象分割问题。我们提出了一种新的多轮训练方案,用于交互式视频对象分割,以便网络可以学习如何理解用户的意图并在训练过程中更新不正确的估计。在测试时,我们的方法产生高质量的结果,并且运行速度足够快,可以与用户交互工作。我们在2018年DAVIS挑战赛的交互式赛道基准上对所提出的方法进行了定量评估。我们在速度和准确性上都明显优于其他竞争方法。我们还证明了我们的方法可以很好地与真实的用户交互。
2019-05-02 cs.CV
Switchable Temporal Propagation Network
NVIDIA(英伟达);UC Merced(加州大学默塞德分校);Dalian University of Technology(大连理工大学)
视频在帧之间包含高度冗余的信息。这种冗余在视频压缩和编码中已经被广泛研究,但是对于更高级的视频处理较少探索。在本文中,我们提出了一个可学习的统一框架,用于传播视频图像的各种视觉属性,包括但不限于颜色,高动态范围(HDR)和分割信息,其中属性仅适用于少数关键帧。我们的方法是基于一个时间传播网络(TPN),该模型的过渡相关的亲和力之间的一对帧在一个纯粹的数据驱动的方式。我们从理论上证明了TPN的两个基本因素:(a)通过将全局变换矩阵正则化为正交,可以在传播过程中很好地保留属性的“风格能量”;(b)这种正则化可以通过所提出的可切换TPN实现,并在帧对上进行双向训练。我们将可切换TPN应用于三个任务:基于几个颜色关键帧对灰度视频进行着色,从低动态范围(LDR)视频和几个HDR帧生成HDR视频,以及从视频中的第一帧传播分割掩码。实验结果表明,我们的方法是显着更准确和更有效的比国家的最先进的方法。
2018-05-04 cs.CV
Decoupling Features in Hierarchical Propagation for Video Object Segmentation
Zhejiang University(浙江大学);Baidu Research(百度研究院);CCAI(之江实验室)
本文主要研究了一种更为有效的分层传播的半监督视频对象分割方法。基于视觉Transformer,最近开发的关联对象与Transformers(AOT)的方法引入层次传播到视觉操作系统,并显示出良好的效果。分层传播可以将信息从过去的帧逐渐传播到当前帧,并将当前帧的特征从对象不可知转移到对象特定。然而,特定于对象的信息的增加将不可避免地导致在深层传播层中对象不可知的视觉信息的丢失。为了解决这个问题,进一步促进视觉嵌入的学习,本文提出了一种分层传播中的解耦特征(DeAOT)方法。首先,DeAOT通过在两个独立的分支中处理对象不可知和特定于对象的嵌入来避免它们的分层传播。其次,为了补偿双分支传播的额外计算,我们提出了一个用于构建分层传播的有效模块,即,门控传播模块,这是精心设计的单头注意。大量的实验表明,DeAOT在准确性和效率方面都明显优于AOT。在YouTube-VOS上,DeAOT在22.4fps时可以达到86.0%,在53.4fps时可以达到82.0%。在没有测试时间增强的情况下,我们在四个基准测试中实现了新的最先进的性能,即,YouTube-VOS(86.2%)、DAVIS 2017(86.2%)、DAVIS 2016(92.9%)和VOT 2020(0.622)。项目页面:https://github.com/z-x-yang/AOT。
2022-11-28 cs.CV
GeoSAM-3D: Geodesic Prompt Propagation for Open-Vocabulary 3D Scene Segmentation from Monocular Video
University of Minnesota, Twin Cities(明尼苏达大学,双城分校)
提出GeoSAM-3D方法,利用冻结的视觉基础模型和单目3D高斯泼溅重建,通过可微分的图-测地线传播核在场景图上传播用户提示,实现从单目视频的开放词汇3D场景分割。
2026-05-30 cs.AI cs.CV
LaverNet: Lightweight All-in-one Video Restoration via Selective Propagation
College of Computer Science, Sichuan University(四川大学计算机学院)
LaverNet通过选择性传播机制实现轻量级一体化视频修复,以高效模型处理多种退化问题。
2025-12-18 cs.CV
Reliable Propagation-Correction Modulation for Video Object Segmentation
Huangzhong University of Science & Technology(华中科技大学);Microsoft Research Asia(微软亚洲研究院)
误差传播是在线半监督视频对象分割中的一个普遍而关键的问题。我们的目标是通过具有高可靠性的校正机制来抑制错误传播。关键的洞察力是解开传统的掩模传播过程中的可靠线索的校正。我们引入了两个调制器,传播和校正调制器,分别根据本地时间相关性和可靠的参考对目标帧嵌入进行通道级重新校准。具体来说,我们组装的调制器与级联的传播校正方案。这避免了传播调制器对可靠校正调制器的影响的覆盖。虽然具有地面实况标签的参考帧提供了可靠的线索,但它可能与目标帧非常不同,并引入不确定或不完整的相关性。我们通过补充可靠的特征补丁来增强参考线索,从而为调制器提供更全面和更具表现力的对象表示。此外,一个可靠性过滤器的设计,以检索可靠的补丁,并通过他们在随后的帧。我们的模型在YouTube-VOS18/19和DAVIS17-Val/Test基准测试中达到了最先进的性能。大量的实验表明,校正机制提供了相当大的性能增益,充分利用可靠的指导。代码可在:www.example.com.
2021-12-06 cs.CV
MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation
ByteDance Inc.(字节跳动公司)
MagicProp提出两阶段扩散视频编辑框架,先编辑单帧外观,再通过PropDPM自回归传播,兼顾编辑灵活性与时间一致性。
2023-09-02 cs.CV