An Overview of Color Transfer and Style Transfer for Images and Videos
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
图像或视频外观特征(例如,颜色、纹理、色调、亮度等)反映了一个人对图像或视频的视觉感知和直接印象。给定源图像(视频)和目标图像(视频),图像(视频)颜色转移技术旨在处理源图像或视频的颜色(注意,源图像或视频在一些文献中也被称为参考图像或视频),以使其看起来像目标图像或视频的颜色,即,将目标图像或视频的外观转换为源图像或视频的外观,从而可以改变人们对源图像或视频的感知。作为颜色转移的扩展,风格转移是指通过风格转移模型,利用风格样本或图像集以艺术家的风格渲染目标图像或视频的内容。作为一个新兴的研究领域,风格迁移的研究引起了大量研究者的关注。经过几十年的发展,它已经成为一个高度跨学科的研究与多种艺术表现风格可以实现。本文概述了过去几年来色彩转移和风格转移的方法。
2022-07-19 cs.CV cs.GR
Prompt-based Consistent Video Colorization
University of Firenze(佛罗伦萨大学);University of Pisa(比萨大学)
本文提出基于提示的自动化视频着色方法,利用语言和分割信息指导,通过光流和修正步骤实现时间稳定和高质量着色。
2025-11-27 cs.AI cs.CV
MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation
ByteDance Inc.(字节跳动公司)
MagicProp提出两阶段扩散视频编辑框架,先编辑单帧外观,再通过PropDPM自回归传播,兼顾编辑灵活性与时间一致性。
2023-09-02 cs.CV
Generative Video Propagation
Adobe Research(奥多比研究院);The Hong Kong University of Science and Technology(香港科技大学);SmartMore(世茂);The Chinese University of Hong Kong(香港中文大学)
本文提出生成式视频传播框架 GenProp,通过选择性内容编码与图像到视频生成模型统一处理视频编辑、插入、移除和跟踪任务,并在多种视频任务上取得领先性能。
2024-12-27 cs.CV
VCGAN: Video Colorization with Hybrid Generative Adversarial Network
City University of Hong Kong(香港城市大学);TCL Corporate Research Hong Kong(TCL香港企业研究院);Tencent Holdings Ltd(腾讯控股有限公司);SenseTime Group Limited(商汤集团有限公司)
提出VCGAN混合生成对抗网络,通过全局与占位符特征提取器及密集长期损失,实现高质量且时间一致的视频着色。
2023-05-07 cs.CV cs.MM
Video Colorization with Pre-trained Text-to-Image Diffusion Models
The Chinese University of Hong Kong(香港中文大学);Caritas Institute of Higher Education(明爱专上学院)
提出 ColorDiffuser,将预训练文本到图像潜在扩散模型适配于视频着色,并通过颜色传播注意力与交替采样增强帧间一致性,实现优于现有方法的着色效果。
2023-06-02 cs.AI cs.CV cs.GR
LVCD: Reference-based Lineart Video Colorization with Diffusion Models
City University of Hong Kong(香港城市大学);WeChat, Tencent Inc.(腾讯公司微信业务)
提出首个基于视频扩散模型的参考线稿视频着色框架,通过Sketch-guided ControlNet和Reference Attention实现时间一致且支持大幅运动的长视频着色,性能显著优于现有方法。
2024-09-19 cs.CV cs.GR
BridgeIV: Bridging Customized Image and Video Generation through Test-Time Autoregressive Identity Propagation
Mohamed bin Zayed University of Artificial Intelligence(莫扎伊德·本·泽亚德人工智能大学);Sun Yat-sen University(孙中山大学);University of Toronto(多伦多大学)
针对定制化文本到视频生成中的身份一致性难题,本文提出自回归结构与纹理传播模块STPM,并结合测试时奖励优化TTRO细化细节,显著提升视频帧间一致性。
2025-05-11 cs.CV
NCST: Neural-based Color Style Transfer for Video Retouching
Sichuan University-Pittsburgh Institute(四川大学匹兹堡学院);Sobey Media Intelligence Laboratory(索贝媒体智能实验室);University of Electronic Science and Technology of China(电子科技大学)
针对现有视频颜色风格迁移神经网络方法过程不透明、用户可控性弱的问题,提出NCST方法,通过训练并微调网络生成可解释的色彩调整参数,实现更高质量的迁移且支持用户手动微调。
2024-11-01 cs.CV cs.NE eess.IV
FFP-300K: Scaling First-Frame Propagation for Generalizable Video Editing
FDU(阜新大学);Tencent YouTu Lab(腾讯优图实验室);Shanghai Innovation Institute(上海创新研究院)
FFP-300K通过构建大规模数据集和改进框架,实现了无指导的首帧传播,提升视频编辑的稳定性和性能。
2026-01-16 cs.CV
Improving Video Generation for Multi-functional Applications
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们的目标是改进最先进的视频生成对抗网络(GANs),以期实现多功能应用。我们改进的视频GAN模型不分离前景和背景,也不分离动态和静态模式,而是学习联合生成整个视频片段。因此,我们的模型可以被训练来生成-并从-一组广泛的视频中学习,没有任何限制。这是通过设计一个强大的单流视频生成架构,扩展了最先进的Wasserstein GAN框架,允许更好的收敛。实验结果表明,我们改进的视频GAN模型在多个具有挑战性的数据集上的性能优于现有的视频生成模型。此外,我们证明了我们的模型的优越性,成功地将其扩展到三个具有挑战性的问题:视频着色,视频修复和未来预测。据我们所知,这是第一个使用GANs对视频片段进行着色和修补的工作。
2018-03-14 cs.CV
Recoding Color Transfer as a Color Homography
University of East Anglia(东安格利亚大学);University of Edinburgh(爱丁堡大学)
颜色转移是一种图像编辑过程,它调整图片的颜色以匹配目标图片的颜色主题。自然的颜色转移不仅匹配颜色样式,而且还防止由于图像压缩、噪声和梯度平滑度变化而导致的转移后伪影。最近发现的颜色单应性定理证明,在光度观察条件的变化的颜色是由单应性。在本文中,我们提出了一种基于颜色单应性的颜色转移分解,它将颜色转移编码为色度偏移和阴影调整的组合。阴影调整的一个强大的形式被证明是一个全球性的阴影曲线,相同的阴影单应性可以应用于其他地方。我们的实验表明,建议的颜色转移分解提供了一个非常接近许多流行的颜色转移方法。我们的方法的优点是,学习的颜色转移可以应用于许多其他图像(例如,视频中的其他帧),而不是帧到帧的基础。我们展示了两个应用程序的颜色传输增强和视频颜色分级重新应用。这种简单的颜色传递模型对未来的颜色传递算法设计也很重要。
2016-08-04 cs.CV
Neural Video Compression using GANs for Detail Synthesis and Propagation
Google Research(谷歌研究院)
我们提出了第一个基于生成对抗网络(GANs)的神经视频压缩方法。在用户研究中,我们的方法显著优于以前的神经和非神经视频压缩方法,为神经方法的视觉质量提供了新的最先进的技术。我们表明,GAN损失是至关重要的,以获得这种高的视觉质量。两个组件使GAN损失有效:我们i)通过将生成器调节到从扭曲的先前重建中提取的潜在值来合成细节,然后ii)用高质量流传播该细节。我们发现,用户研究需要比较方法,即,我们的定量指标都不能预测所有的研究。我们详细介绍了网络设计的选择,并与用户研究消融他们。
2022-07-12 cs.CV eess.IV
ColoristaNet for Photorealistic Video Style Transfer
Fudan University(复旦大学)
真实感风格转换的目的是将图像的艺术风格转换到输入图像或视频上,同时保持真实感。在本文中,我们认为这是在现有的算法中的摘要统计匹配方案,导致不切实际的风格化。为了避免使用流行的革兰氏损失,我们提出了一个自我监督的风格转移框架,其中包括一个风格删除部分和一个风格恢复部分。样式去除网络去除原始图像样式,并且样式恢复网络以监督的方式恢复图像样式。同时,针对现有特征转换方法存在的问题,提出了解耦的实例规范化方法,将特征转换分解为风格白化和重新风格化。它在ColoristaNet中工作得很好,可以在保持照片真实感的同时有效地传输图像风格。为了确保时间一致性,我们还结合了光流方法和ConvLSTM来嵌入上下文信息。实验结果表明,与现有的风格化算法相比,ColoristaNet能够获得更好的风格化效果。
2022-12-21 cs.CV cs.LG eess.IV
Seen-to-Scene: Keep the Seen, Generate the Unseen for Video Outpainting
Yonsei University(延世大学);GenGenAI
本文提出Seen-to-Scene框架,结合传播和生成方法提升视频外推画布的时空一致性与视觉真实性,通过流传播和参考引导的潜在传播提高效率和可靠性。
2026-04-16 cs.AI cs.CV cs.LG
FlowChroma -- A Deep Recurrent Neural Network for Video Colorization
University of Moratuwa(莫拉图瓦大学)
提出基于深度循环编码器-解码器架构的FlowChroma视频着色框架,利用语义特征提取与时空融合层维持帧间一致性,有效减少颜色闪烁。
2023-05-23 cs.CV
Reference-Based Video Colorization with Spatiotemporal Correspondence
Sony Corporation(索尼公司)
我们提出了一种新的基于参考的视频彩色化框架与时空对应。基于参考的方法对参考用户输入颜色帧的灰度帧进行着色。现有的方法遭受对象之间的颜色泄漏和平均颜色的出现,来自空间中的非局部语义对应。为了解决这个问题,我们只从参考帧上的区域扭曲颜色,这些区域在时间上受到对应关系的限制。我们传播掩模的时间对应,使用两种互补的跟踪方法:现成的实例跟踪高性能分割,和新提出的密集跟踪各种类型的对象。通过限制时间相关区域的参考颜色,我们的方法在整个视频传播忠实的颜色。实验表明,我们的方法优于国家的最先进的方法定量和定性。
2020-11-25 cs.CV
VanGogh: A Unified Multimodal Diffusion-based Framework for Video Colorization
USTC(中国科学技术大学);HKU(香港大学);HKUST(香港科技大学)
本文提出 VanGogh 多模态扩散视频上色框架,通过 Dual Qformer 融合、深度引导、光流损失及色彩注入等机制,实现可控且时序稳定的高保真上色。
2025-01-16 cs.CV
Consistent Video Colorization via Palette Guidance
Shanghai Jiao Tong University(上海交通大学)
针对视频上色中颜色不饱和与时间不一致问题,提出基于Stable Video Diffusion的生成流程,设计调色板颜色引导器提供颜色指导并增强跨序列稳定性,实验证明其能生成生动稳定颜色且超越现有方法。
2025-01-31 cs.CV
Temporal Consistent Automatic Video Colorization via Semantic Correspondence
Beijing University of Posts and Telecommunications(北京邮电大学)
提出一种结合语义对应的自动视频着色框架,通过参考图像和前一帧双重监督,提升长程时序一致性,在NTIRE 2023挑战赛中获第三名。
2023-05-13 cs.CV
L-C4: Language-Based Video Colorization for Creative and Consistent Color
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);International Digital Economy Academy(国际数字经济学院)
针对现有视频上色方法创意受限、时间一致性差的问题,提出基于语言引导的L-C4方法,通过跨模态预融合、时间可变形注意力等模块实现创意且时序一致的视频上色,性能优于相关方法。
2024-11-03 cs.CV
Video Propagation Networks
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心)
我们提出了一种通过视频数据向前传播信息的技术。该方法在概念上是简单的,并且可以应用于需要基于视频内容传播结构化信息(诸如语义标签)的任务。我们提出了一个“视频传播网络”,以自适应的方式处理视频帧。该模型是在线应用的:它向前传播信息,而不需要访问未来的帧。特别是,我们结合了两个组件,一个时间双边网络的密集和视频自适应过滤,其次是空间网络,以改善功能和增加的灵活性。我们目前的视频对象分割和语义视频分割的实验,并表现出更高的性能相比,以前最好的特定于任务的方法,同时具有良好的运行时间。此外,我们展示了我们的方法在灰度视频中的颜色传播的一个例子回归任务。
2017-04-11 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University(南洋理工大学)
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中,我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明,通过增强传播和对齐的经常性框架,可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是,我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB,参数数量相似。除了视频超分辨率之外,BasicVSR++还可以很好地推广到其他视频恢复任务,如压缩视频增强。在NTIRE 2021中,BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Detecting Temporally Consistent Objects in Videos through Object Class Label Propagation
用于检测移动或静态视频对象的对象提案需要解决诸如速度、存储器复杂性和时间一致性之类的问题。我们提出了一个有效的视频对象建议(VOP)生成方法,并显示其有效性,学习一个更好的视频对象检测器。使用所提出的VOP学习的基于深度学习的视频对象检测器在Youtube对象数据集上实现了最先进的检测性能。我们进一步提出了一个集群的VOPs,可以有效地用于检测对象的视频流的方式。与应用基于逐帧卷积神经网络(CNN)的目标检测相反,我们提出的称为视频使能器中的对象粗糙标签传播(OVERLESS)的方法只需要通过对象建议的流聚类和类别标签传播来对每个视频帧中的所有候选建议的一小部分进行分类。源代码将很快提供。
2016-01-20 cs.CV
Color Mismatches in Stereoscopic Video: Real-World Dataset and Deep Correction Method
Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学)
本文针对立体视频左右视图颜色不匹配问题,构建了基于分束器拍摄的真实世界数据集,并提出一种利用立体对应关系的深度多尺度神经网络进行颜色校正,在传统数据集上验证有效但在真实数据上仍有改进空间。
2024-08-08 cs.CV
BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization
Nanjing University of Science and Technology(南京理工大学);Communication University of China(中国传媒大学)
如何有效地探索参考样本的颜色并将其传播到每帧的彩色化是基于样本的视频彩色化的关键。在本文中,我们提出了一个有效的BiSTNet探索颜色的参考样本,并利用它们来帮助视频彩色化的双向时间特征融合的指导下,语义图像先验。我们首先在深特征空间中建立每帧与参考样本之间的语义对应关系,以探索参考样本的颜色信息。然后,为了更好地传播参考样本的颜色到每个帧中,并避免不准确的匹配颜色从样本,我们开发了一个简单而有效的双向时间特征融合模块,以更好地着色每个帧。我们注意到,在视频中的重要对象的边界周围通常存在渗色伪影。为了克服这个问题,我们进一步开发了一个混合专家块来提取语义信息,用于建模帧的对象边界,以便语义图像先验可以更好地指导着色过程,以获得更好的性能。此外,我们开发了一个多尺度的递归块,以从粗到细的方式逐步着色帧。大量的实验结果表明,所提出的BiSTNet表现良好,对国家的最先进的方法对基准数据集。我们的代码将在\url{https://yyang181.github.io/BiSTNet/}上提供
2022-12-05 cs.CV
Semantic Palette-Guided Color Propagation
School of Computer Technology and Application, Qinghai University, Xining, China(计算机技术与应用学院,青海大学,西宁,中国);Qinghai Provincial Laboratory for Intelligent Computing and Application, Xining, China(青海省智能计算与应用实验室,西宁,中国)
本文提出语义调色板引导的颜色传播方法,通过提取语义调色板并优化能量函数,将局部颜色编辑以内容感知方式准确传播到相似语义区域,实现高效像素级编辑。
2025-06-02 cs.CV
QueryProp: Object Query Propagation for High-Performance Video Object Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
视频目标检测一直是计算机视觉中一个重要而又具有挑战性的课题。传统的方法主要集中在设计图像级或框级的特征传播策略,以利用时间信息。本文认为,一个更有效的和高效的特征传播框架,视频对象检测器可以获得改善的准确性和速度。为此,本文研究了对象级特征传播,并提出了一个高性能视频目标检测的对象查询传播(QueryProp)框架。QueryProp包含两种传播策略:1)从稀疏关键帧到密集非关键帧进行查询传播,减少非关键帧上的冗余计算; 2)从先前关键帧到当前关键帧进行查询传播,通过时间上下文建模提高特征表示。为了进一步促进查询传播,自适应传播门的设计,以实现灵活的关键帧选择。我们在ImageNet VID数据集上进行了广泛的实验。QueryProp实现了与最先进的方法相当的准确性,并取得了不错的准确性/速度权衡。代码可在https://github.com/hf1995/QueryProp上获得。
2022-07-22 cs.CV
Text Recognition in Scene Image and Video Frame using Color Channel Selection
Institute of Engineering & Management, Kolkata(加尔各答工程与管理学院);Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Indian Statistical Institute, Kolkata(印度统计学院加尔各答分校)
近年来,自然场景图像和视频帧中的文本识别由于其复杂性和挑战性越来越受到研究者的关注。由于图像和视频帧内的文本的低分辨率、模糊效果、复杂的背景、不同的字体、颜色和变化的对齐方式等,在这种情况下文本识别是困难的。目前的方法大多采用二值化算法将图像转换为二值图像,然后进行OCR识别。本文提出了一种基于颜色通道选择的文本识别方法。在该方法中,首先,颜色通道的自动选择,然后选择颜色通道的文本识别。我们的文本识别框架是基于隐马尔可夫模型(HMM),它使用金字塔直方图的方向梯度特征提取选定的颜色通道。从每个滑动窗口的颜色通道,我们的颜色通道选择方法分析从滑动窗口的图像属性,然后应用多标签支持向量机(SVM)分类器选择的颜色通道,将提供最佳的识别结果在滑动窗口。已经发现,针对每个滑动窗口的这种颜色通道选择比针对整个单词图像考虑单个颜色通道更有成效。分析了五种不同的特征用于基于多标记支持向量机的颜色通道选择,其中基于小波变换的特征优于其他特征。我们的框架已经在不同的公开场景/视频文本图像数据集上进行了测试。对于梵文脚本,我们收集了自己的数据集。实验结果表明,该方法具有较好的性能.
2017-07-27 cs.CV
ProPainter: Improving Propagation and Transformer for Video Inpainting
Nanyang Technological University(南洋理工大学)
针对视频修复中传播机制和Transformer的局限性,提出ProPainter框架,通过双域传播和掩码引导的稀疏视频Transformer提升修复性能与效率。
2023-09-07 cs.CV
Background Modelling using Octree Color Quantization
GITAM University(甘地技术与管理大学)
通过假设视频中最频繁出现的颜色或视频的区域,我提出了一种新的算法来检测视频中的前景对象。检测前景对象的过程是复杂的,因为在视频中可能存在摇摆的树、背景的对象四处移动或照明变化。为了处理这种复杂性,许多人提出了严重依赖于昂贵的浮点运算的解决方案。在本文中,我使用了一种称为八叉树的数据结构,它只使用二进制运算来实现。传统上八叉树用于颜色量化,但在本文中,我使用它作为一种数据结构来存储视频中最频繁出现的颜色。对于开始的几个视频帧中的每一个,我使用该帧的所有颜色构建了一个八叉树。接下来,我通过删除低于一定高度的节点来修剪所有树,并根据从该节点到其父节点的拓扑路径为叶节点赋予颜色。因此,两个不同八叉树中的任何两个叶节点,如果从它们到根的拓扑路径相同,则表示相同的颜色。接下来,我将所有这些独立的树合并为一棵树,只保留那些从根到自身的拓扑路径在所有树中最常见的节点。由结果树中的叶节点表示的颜色将是视频的开始视频帧中最频繁出现的颜色。因此,输入帧的任何颜色,如果不接近合并树的叶节点所表示的任何颜色,都可以被认为属于前景对象。由于八叉树只使用二进制运算来构造,因此与其他领先的算法相比,它的速度非常快。
2015-03-12 cs.CV
An Empirical Study of Propagation-based Methods for Video Object Segmentation
ByteDance AI Lab(字节跳动人工智能实验室)
虽然基于传播的方法已经实现了视频对象分割的最先进的性能,但文献缺乏使用相同设置的不同方法的公平比较。在本文中,我们进行了实证研究的传播为基础的方法。我们从统一的角度看待这些方法,并对核心方法、输入线索、多目标组合和训练策略进行了详细的消融研究。经过精心设计,我们改进的端到端内存网络在DAVIS 2017 val集上实现了76.1的全局平均值。
2019-07-30 cs.CV
Temporal Knowledge Propagation for Image-to-Video Person Re-identification
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
在许多人身份重识别(Person Re-ID)场景中,图库集合由大量的监控视频组成,而查询对象只是一幅图像,因此需要在图像和视频之间进行身份重识别。与视频相比,静态人物图像缺乏时间信息。此外,图像和视频特征之间的信息不对称增加了图像和视频匹配的难度。为了解决这个问题,我们提出了一种新的时间知识传播(TKP)的方法,传播的时间知识学习的视频表示网络的图像表示网络。具体来说,给定输入视频,我们强制图像表示网络在共享特征空间中拟合视频表示网络的输出。利用反向传播技术,可以通过传递时间知识来增强图像特征,从而缓解信息不对称问题。通过额外的分类和集成的三重损失,我们的模型可以学习表达性和区分性的图像和视频特征,用于图像到视频的重新识别。大量的实验证明了我们的方法的有效性,在两个广泛使用的数据集上的总体结果大大超过了最先进的方法。代码可在:https://github.com/guxinqian/TKP
2019-10-10 cs.CV
Person Retrieval in Surveillance Video using Height, Color and Gender
Ahmedabad University(艾哈迈达巴德大学);L. D. College of Engineering(L.D.工程学院)
一个人通常被描述的属性,如身高,建立,衣服的颜色,衣服的类型,和性别。这些属性被称为软生物特征。它们弥合了监控视频中人物描述和人物检索之间的语义鸿沟。本文提出了一种基于深度学习的线性过滤方法,用于使用身高、衣服颜色和性别进行人物检索。所提出的方法使用Mask R-CNN进行逐像素的人分割。它消除了背景杂波,并提供了精确的边界周围的人。使用AlexNet对颜色和性别模型进行了微调,并在SoftBioSearch数据集上对该算法进行了测试。在复杂的条件下,使用语义查询进行人物检索,取得了很好的准确率。
2018-09-24 cs.CV
Can We See Photosynthesis? Magnifying the Tiny Color Changes of Plant Green Leaves Using Eulerian Video Magnification
Assiut University(艾斯尤特大学);York University(约克大学);University of London(伦敦大学);San Francisco State University(旧金山州立大学)
植物的生命力是通过实验室实验和特殊的科学仪器来证明的。在本文中,我们的目的是检测程度的动画的植物的基础上,使用欧拉视频放大率的植物的绿叶中的小的颜色变化的放大。在受控环境下捕获视频,例如,使用三脚架和直流(DC)光源,减少相机移动并最大限度地减少光线波动;我们的目标是尽可能减少外部因素。然后稳定所获取的视频,并使用所提出的算法来减少照明变化。最后,利用欧拉放大来放大光不变视频上的颜色变化。所提出的系统不需要任何专用仪器,因为它使用具有规则帧速率的数码相机。对自然叶片和塑料叶片的放大颜色变化的结果表明,与塑料叶片相比,活绿叶具有颜色变化。因此,我们可以认为,叶子的颜色变化是由于生物操作,如光合作用。到目前为止,这可能是第一个专注于视觉解释的工作,没有任何特殊用途的仪器的植物的一些生物操作。
2017-08-29 cs.CV
Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation
Facebook AI(脸书人工智能研究院)
我们介绍了一种方法,同时分类,分割和跟踪对象实例的视频序列。我们的方法名为MaskProp,通过添加掩码传播分支将流行的Mask R-CNN适应视频,该分支将帧级对象实例掩码从每个视频帧传播到视频剪辑中的所有其他帧。这使得我们的系统能够预测剪辑级实例轨道相对于对象实例分割在中间帧的剪辑。剪辑级实例轨道生成密集的序列中的每一帧,最后聚合产生视频级对象的实例分割和分类。我们的实验表明,我们的剪辑级实例分割,使我们的方法在视频中的运动模糊和对象遮挡鲁棒。MaskProp在YouTube-VIS数据集上实现了最佳报告准确性,优于ICCV 2019年视频实例分割挑战赛冠军,尽管它更简单,使用的标记数据数量级更少(130万与1B图像和860 K与14 M边界框)。
2021-07-09 cs.CV
High-Speed FHD Full-Color Video Computer-Generated Holography
本文针对高速全彩视频CGH中色彩串扰与计算低效问题,提出SGDDM频谱引导深度分复用和HoloMamba轻量级Mamba-Unet架构,实现1080p全彩全息视频超260 FPS生成,较先前最优方法快2.6倍以上。
2025-08-27 cs.CV
Internal Video Inpainting by Implicit Long-range Propagation
The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一个新的框架,采用内部学习策略的视频修复。与以前的方法不同,使用光流跨帧上下文传播来修补未知区域,我们表明,这可以通过将卷积神经网络拟合到已知区域来隐式实现。此外,为了处理具有模糊背景或长期遮挡的具有挑战性的序列,我们设计了两个正则化项来保留高频细节和长期时间一致性。在DAVIS数据集上的大量实验表明,该方法在定量和定性上都达到了最先进的修复质量。我们进一步将所提出的方法扩展到另一个具有挑战性的任务:学习从视频中移除对象,在4K视频中仅在一帧中给出单个对象掩码。
2021-08-17 cs.CV
Context Propagation from Proposals for Semantic Video Object Segmentation
Nokia Technologies, Finland(诺基亚技术公司)
该研究提出一种语义视频对象分割新方法,从视频对象候选区域提取语义上下文并传播,结合条件随机场推断超像素标签,提升了视觉歧义消解的鲁棒性。
2024-07-08 cs.CV
Transfer of Representations to Video Label Propagation: Implementation Factors Matter
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Web Services(亚马逊云科技)
这项工作研究了密集标签在视频中传播的特征表示,重点是最近提出的方法,学习视频对应使用自监督信号,如着色或时间周期一致性。在文献中,这些方法已经用一系列不一致的设置进行了评估,这使得很难辨别趋势或公平地比较性能。从一个统一的制定标签传播算法,包括大多数现有的变化,我们系统地研究了重要的实施因素的影响,特征提取和标签传播。在此过程中,我们报告了适当调整的监督和无监督静态图像基线的准确性,这些基线比以前的作品中发现的要高。我们还证明,增强基于视频的对应线索与基于静态图像的可以进一步提高性能。然后,我们尝试在DAVIS基准上对最近的基于视频的方法进行公平比较,显示最佳方法收敛到接近我们强大的ImageNet基线的性能水平,尽管使用了各种专门的基于视频的损失和训练细节。对JHMDB和VIP数据集的其他比较证实了当前方法的相似性能。我们希望这项研究将有助于改善评估实践,并更好地告知未来的研究方向在时间对应。
2022-03-10 cs.CV
Mask Propagation Network for Video Object Segmentation
ByteDance AI Lab(字节跳动人工智能实验室)
在这项工作中,我们提出了一个掩码传播网络来处理视频分割问题的指导实例分割的概念。与大多数基于MaskTrack的视频分割方法类似,该方法将前一帧的掩码概率图和当前帧的外观作为输入,并预测当前帧的掩码概率图。具体来说,我们采用基于Xception主干的DeepLab v3+模型作为预测管道中的概率图预测器。此外,我们的网络采用实例的感兴趣区域和由前一帧和当前帧之间的光流扭曲的新掩模概率作为输入,而不是完整图像和原始掩模概率。我们还集成了修改后的One-Shot视频分割网络来进行最终预测,以便检索和分割丢失的实例。
2018-10-24 cs.CV
Color inference from semantic labeling for person search in videos
Polytechnique Montréal(蒙特利尔高等理工学院);Arcturus Networks
我们提出了一个可解释的模型来生成语义颜色标签的人搜索。在这种情况下,人是从他们的语义部分,如帽子,衬衫等描述的人搜索包括在这些描述的基础上寻找的人。在这项工作中,我们的目标是提高人们的颜色标签的准确性。我们的目标是处理人类感知的高度可变性。现有的解决方案是基于手工制作的功能或学习的功能是无法解释的。此外,他们中的大多数只关注有限的颜色。我们提出了一种基于二叉搜索树和一个大的同行标记的颜色名称数据集的方法。这使我们能够合成人类对颜色的感知。使用语义分割和我们的颜色标记方法,我们标记段的行人与他们相关的颜色。我们评估了我们的解决方案上的人搜索数据集,如PCN,并显示精度高达80.4%。
2020-04-06 cs.CV
Fast Vehicle Detection and Tracking on Fisheye Traffic Monitoring Video using CNN and Bounding Box Propagation
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对十字路口交通监控鱼眼视频,设计了一种快速的车辆检测与跟踪算法。我们使用ICIP 2020 VIP Cup数据集,并采用YOLOv5作为目标检测基础模型。该数据集的夜间视频非常具有挑战性,基础模型的检测准确率(AP50)约为54%。我们基于帧间限界框传播的概念设计了一种可靠的汽车检测和跟踪算法,可提供17.9个百分点(pp)和6.2个百分点。分别针对夜间和白天视频的基础模型的准确度提高。为了加快速度,灰度帧差用于片段中的中间帧,这可以使处理速度加倍。
2022-07-13 cs.CV
Deep Line Art Video Colorization with a Few References
North China Electric Power University(华北电力大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Cardiff University(卡迪夫大学);Victoria University of Wellington(惠灵顿维多利亚大学)
根据参考图像的颜色对线条艺术图像进行着色是动画制作中的一个重要阶段,该过程耗时且繁琐。在本文中,我们提出了一个深度架构,以自动颜色线艺术视频与给定的参考图像相同的颜色风格。我们的框架包括一个颜色变换网络和一个时间约束网络。颜色变换网络将目标艺术线条图像以及一个或多个参考图像的艺术线条图像和彩色图像作为输入,并且生成对应的目标彩色图像。为了应对目标艺术线条图像和参考彩色图像之间的较大差异,我们的架构利用非局部相似性匹配来确定目标图像和参考图像之间的区域对应关系,用于将局部颜色信息从参考图像转换到目标。为了确保全局颜色风格的一致性,我们进一步将自适应实例归一化(AdaIN)与从嵌入器提取的描述参考的全局颜色风格的风格嵌入向量获得的变换参数结合起来。时间约束网络将参考图像和目标图像按时间顺序放在一起,通过3D卷积学习时空特征,保证目标图像和参考图像的时间一致性。我们的模型可以实现更好的着色结果,通过微调的参数,只有少量的样本时,处理一个新的风格的动画。为了评估我们的方法,我们构建了一个线条艺术着色数据集。实验表明,我们的方法实现了最好的性能线艺术视频着色相比,国家的最先进的方法和其他基线。
2020-03-30 cs.CV
Generative Adversarial Networks for Video-to-Video Domain Adaptation
Tencent(腾讯)
来自多中心的内窥镜视频通常具有不同的成像条件,例如,颜色和照明,这使得在一个领域训练的模型通常不能很好地推广到另一个领域。领域自适应是解决这一问题的潜在解决方案之一。然而,很少有现有的工作集中在翻译的视频数据。在这项工作中,我们提出了一种新的生成对抗网络(GAN),即视频GAN,跨不同的域传输基于视频的数据。由于视频的帧可能具有相似的内容和成像条件,因此所提出的VideoGAN具有X形状生成器以在翻译期间保持视频内的一致性。此外,一个损失函数,即颜色直方图损失,提出了调整每个翻译帧的颜色分布。来自不同中心的两个结肠镜数据集,即,采用CVC-Clinic和ETIS-Larib对VideoGAN的领域自适应性能进行了评估。实验结果表明,我们的VideoGAN生成的适应性结肠镜视频可以显着提高分割精度,即,在多中心数据集上,结肠直肠息肉的改善率为5%。由于我们的VideoGAN是一个通用的网络架构,我们还使用CamVid驱动视频数据集在云到阳光的翻译任务上评估了它的性能。综合实验表明,我们的VideoGAN可以大大缩小域差距。
2020-04-17 cs.CV
Two Decades of Colorization and Decolorization for Images and Videos
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
彩色化是一个计算机辅助的过程,其目的是为灰色图像或视频赋予颜色。它可用于增强黑白图像,包括黑白照片,老式胶片和科学成像结果。脱色是将彩色图像或视频转换为灰度图像或视频。灰度图像或视频是指仅具有亮度信息而没有颜色信息的图像或视频。它是诸如模式识别、图像分割和图像增强等一些下游图像处理应用的基础。与图像去噪不同,视频去噪不仅要考虑视频帧内图像对比度的保持,还要尊重视频帧间的时空一致性。研究人员致力于发展脱色方法,以平衡时空一致性和算法效率。随着数码相机和手机的普及,图像和视频的彩色化和脱色越来越受到研究者的重视。本文综述了近二十年来图像和视频彩色化和脱色方法的研究进展。
2022-07-18 cs.CV cs.GR
ColorMNet: A Memory-based Deep Spatial-Temporal Feature Propagation Network for Video Colorization
Nanjing University of Science and Technology(南京理工大学)
本文提出 ColorMNet,通过基于记忆的远距帧特征传播、大型预训练视觉模型引导的特征估计和局部时空注意力,提升视频着色效果。
2024-04-09 cs.CV
Stereo Matching With Color-Weighted Correlation, Hierarchical Belief Propagation And Occlusion Handling
本文设计了一种立体匹配算法,对视差、不连续性和遮挡进行了细致的处理。该算法采用基于能量最小化的全局匹配立体模型。全局能量包括两项,首先是数据项,其次是平滑项。在许多分层循环置信传播算法的应用中,数据项通过颜色加权相关来近似,然后在遮挡和低纹理区域进行细化。在Middlebury数据集上对实验结果进行了评估,结果表明,我们的算法是所有算法中表现最好的
2017-08-30 cs.CV
Find First, Track Next: Decoupling Identification and Propagation in Referring Video Object Segmentation
GenGenAI;Yonsei University(延世大学)
针对指代表达视频目标分割中多模态特征纠缠导致的目标识别歧义和跨帧传播不一致问题,本文提出 FindTrack 解耦框架,通过自适应关键帧选择与专用传播模块提升性能,并在公开基准上取得最优结果。
2025-07-26 cs.CV
Kalman-Inspired Feature Propagation for Video Face Super-Resolution
S-Lab, Nanyang Technological University(新加坡南洋理工大学S-Lab)
针对视频人脸超分辨率中细节重建与时间一致性难以兼顾的问题,提出KEEP框架,借助卡尔曼滤波思想循环传播历史恢复特征以稳定人脸先验,并验证其跨帧细节一致性。
2024-08-09 cs.CV
Semantic Video Segmentation by Gated Recurrent Flow Propagation
Lund University(隆德大学)
语义视频分割是具有挑战性的,因为为了构建准确的模型,需要处理和标记大量的数据。在本文中,我们提出了一种深度的端到端可训练的视频分割方法,该方法能够利用未标记数据中的信息来改进语义估计。我们的模型结合了卷积架构和时空Transformer递归层,它们能够通过光流在时间上传播标记信息,并根据其局部估计的不确定性进行自适应门控。流、识别和门控时间传播模块可以端到端地联合训练。我们的模型的时间,门控经常流传播组件可以插入到任何静态语义分割架构,并把它变成一个弱监督的视频处理。我们在具有挑战性的CityScapes和Camvid数据集中进行了大量实验,并基于多个深度架构,结果表明,所产生的模型可以利用未标记的时间帧,紧挨着标记的时间帧,以提高视频分割的准确性和时间标记的一致性,无需额外的注释成本,只需很少的额外计算。
2017-10-02 cs.CV
Skin-color based videos categorization
Sarhad University of Science and Information Technology(萨哈德科技与信息技术大学);RWTH Aachen(亚琛工业大学);UET Mardan(马尔丹工程大学)
在专门的网站上,人们可以上传视频并与世界其他地方分享。目前,这些视频是在用户社区的帮助下手动分类的。在本文中,我们提出了一种颜色空间与贝叶斯网络方法相结合的鲁棒检测肤色,然后自动视频分类。实验结果表明,该方法对基于肤色的视频分类具有较好的效果.
2012-04-09 cs.AI cs.CV
Low-Cost Compressive Sensing for Color Video and Depth
Duke University(杜克大学)
对传统的现成彩色摄像机进行简单且廉价的(低功率和低带宽)修改,从该修改中,我们为每个原始测量帧恢复{多个}彩色帧,并且每个恢复的帧可以聚焦在不同的深度。对于每个测量帧的多个帧的恢复通过高速编码成为可能,通过单个编码孔径的平移来表现;廉价的平移通过将二进制代码安装在压电设备上来构成。为了同时恢复深度信息,经由可变电压以高速调制{液体}透镜。因此,在上述编码过程期间,液体透镜允许相机将焦点扫过多个深度。除了设计和实现的摄像头,快速恢复是通过一个随时算法利用小波/DCT系数的组稀疏性。
2014-02-27 cs.CV
MatAnyone: Stable Video Matting with Consistent Memory Propagation
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
针对复杂背景下视频抠图不稳的问题,提出MatAnyone框架,通过区域自适应记忆融合实现一致传播,并配以新数据集和训练策略,在真实场景中取得超越现有方法的稳健准确结果。
2025-03-25 cs.CV