STORM-GAN: Spatio-Temporal Meta-GAN for Cross-City Estimation of Human Mobility Responses to COVID-19
University of Iowa（爱荷华大学）；University of Maryland（马里兰大学）；Worcester Polytechnic Institute（伍斯特理工学院）；University of Pittsburgh（匹兹堡大学）
在COVID-19大流行期间，人员流动性估计至关重要，因为其对政策制定者进行非药物干预具有重要指导意义。虽然深度学习方法在具有丰富训练数据的任务上优于传统估计技术，但由于数据的非平稳性、有限的观察和复杂的社会背景，不断演变的流行病对解决这一问题提出了重大挑战。现有的移动性估计工作要么集中在单个城市，要么缺乏跨城市和时间段的时空依赖性建模的能力。为了解决这些问题，我们第一次尝试通过一个深层的元生成框架来解决跨城市的人类流动性估计问题。我们提出了一个时空Meta-生成对抗网络（STORM-GAN）模型，该模型估计了在一组与COVID-19相关的社会和政策条件下的动态人类流动响应。通过一种新的基于时空任务的图（STTG）嵌入，STORM-GAN能够从估计任务的时空分布中学习共享知识，并在有限的训练样本下快速适应新的城市和时间段。STTG嵌入组件旨在捕捉城市之间的相似性，以减轻跨任务的异质性。在真实数据上的实验结果表明，该方法可以大大提高估计性能，优于基线。
2023-01-20 cs.AI cs.LG
Lower Dimensional Kernels for Video Discriminators
The University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）；FiveAI
这项工作提出了一个用于视频生成对抗网络（GANs）的鉴别器的分析。我们发现，无约束的视频流架构诱导高曲率的损失面，使优化困难。我们还表明，这种曲率变得更加极端的视频鉴别器的最大内核尺寸的增加。有了这些观察结果，我们提出了一系列有效的低维视频鉴别器GANs（LDVD GANs）。所提出的鉴别器系列提高了它们所应用的视频GAN模型的性能，并在复杂和多样化的数据集（如UCF-101）上表现出良好的性能。特别是，我们证明了它们可以将Temporal-GAN的性能提高一倍，并在单个GPU上提供最先进的性能。
2019-12-18 cs.CV cs.LG eess.IV
GAN-Based Multi-View Video Coding with Spatio-Temporal EPI Reconstruction
Fuzhou University（福州大学）
针对多视点视频编码比特率高、重建精度低的问题，提出基于GAN的时空EPI重建方法，通过提取隐编码作边信息、联合约束重建代价与熵，显著提升率失真性能。
2023-05-05 cs.CV eess.IV
MeVGAN: GAN-based Plugin Model for Video Generation with Applications in Colonoscopy
Jagiellonian University（雅盖隆大学）；Marian Smoluchowski Institute of Physics, Jagiellonian University（玛丽安·斯莫卢霍夫斯基物理研究所，雅盖隆大学）；Skopia Medical Center（斯科皮亚医疗中心）
针对高分辨率视频生成内存需求大的问题，提出采用插件式架构的MeVGAN，基于预训练2D图像GAN加简单神经网络构建噪声轨迹生成视频，可生成高质量合成结肠镜视频用于虚拟培训模拟器。
2023-11-07 cs.CV eess.IV
Temporal Shift GAN for Large Scale Video Generation
University of Freiburg（弗莱堡大学）
视频生成模型在过去几年中变得越来越流行，然而今天使用的标准2D架构缺乏自然的时空建模能力。在本文中，我们提出了一个网络架构的视频生成模型的时空一致性，而不诉诸昂贵的3D架构。该架构有利于相邻时间点之间的信息交换，这提高了所生成的帧的高级结构以及低级细节两者的时间一致性。该方法实现了最先进的定量性能，如UCF-101数据集上的初始得分所衡量的，以及更好的定性结果。我们还引入了一个新的定量测量（S3），使用下游任务进行评估。此外，我们提出了一个新的多标签数据集MaisToy，这使我们能够评估模型的泛化能力。
2020-11-10 cs.CV cs.LG eess.IV
Neural Video Compression using GANs for Detail Synthesis and Propagation
Google Research（谷歌研究院）
我们提出了第一个基于生成对抗网络（GANs）的神经视频压缩方法。在用户研究中，我们的方法显著优于以前的神经和非神经视频压缩方法，为神经方法的视觉质量提供了新的最先进的技术。我们表明，GAN损失是至关重要的，以获得这种高的视觉质量。两个组件使GAN损失有效：我们i）通过将生成器调节到从扭曲的先前重建中提取的潜在值来合成细节，然后ii）用高质量流传播该细节。我们发现，用户研究需要比较方法，即，我们的定量指标都不能预测所有的研究。我们详细介绍了网络设计的选择，并与用户研究消融他们。
2022-07-12 cs.CV eess.IV
Sphere-GAN: a GAN-based Approach for Saliency Estimation in 360° Videos
Department of Information Engineering University of Padova（信息工程系 佩鲁贾大学）
本文提出Sphere-GAN，一种基于球面卷积生成对抗网络的360°视频显著性检测模型，实验证明其在公共数据集上准确预测显著性图的能力优于现有最先进模型。
2025-09-15 cs.CV cs.MM eess.IV
S2A: Wasserstein GAN with Spatio-Spectral Laplacian Attention for Multi-Spectral Band Synthesis
Space Applications Centre（空间应用中心）；Indian Space Research Organisation（印度空间研究组织）
对抗学习与卫星图像处理的交叉是遥感领域的一个新兴领域。在这项研究中，我们打算使用对抗学习来解决高分辨率多光谱卫星图像的合成。在注意机制发现的指导下，我们通过空间-光谱拉普拉斯注意来调节波段合成过程。此外，我们使用具有梯度惩罚范数的Wasserstein GAN来改善对抗学习的训练和稳定性。在这方面，我们引入了一个新的代价函数的空间注意力和域适应损失的基础上的搜索。我们批判性地分析了定性和定量的结果相比，国家的最先进的方法，广泛采用的评价指标。我们在三种不同传感器（LISS-3，LISS-4和WorldView-2）的数据集上进行的实验表明，注意力学习的表现优于最先进的方法。使用所提出的方法，我们提供了一个额外的数据产品与现有的高分辨率波段一致。此外，我们还合成了4000多个覆盖各种地形的高分辨率场景，以分析科学保真度。最后，我们展示了合成谱带在现实世界中的合理大规模应用。
2020-04-08 cs.CV eess.IV
VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs
Meta Reality Labs Research（Meta现实实验室）；KAUST（阿卜杜拉国王科技大学）
我们介绍了VIVE 3D，这是一种新颖的方法，它将基于图像的3D GANs的功能扩展到视频编辑，并且能够以保持身份和时间一致的方式表示输入视频。我们提出了两个新的组成部分。首先，我们介绍了一种新的GAN反演技术，专门针对3D GANs，通过联合嵌入多帧和优化相机参数。其次，除了传统的语义面部编辑（例如年龄和表情）之外，我们是第一个展示通过3D GANs的固有属性和我们的光流引导合成技术将头部与背景视频结合起来的头部新视图的编辑。我们的实验表明，VIVE3D从一系列相机视点生成高保真度的面部编辑，这些视点以时间和空间一致的方式与原始视频合成。
2023-03-28 cs.CV cs.GR cs.LG
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
FutureGAN: Anticipating the Future Frames of Video Sequences using Spatio-Temporal 3d Convolutions in Progressively Growing GANs
Technical University of Munich（慕尼黑工业大学）
我们介绍了一种新的编码器-解码器GAN模型，未来GAN，预测未来帧的视频序列的条件下，过去的帧序列。在训练过程中，网络只接收原始像素值作为输入，而不依赖于额外的约束或数据集特定的条件。为了捕获视频序列的空间和时间分量，在所有编码器和解码器模块中使用时空3d卷积。此外，我们利用现有的逐步增长的GAN（PGGAN）的概念，实现高质量的结果，生成高分辨率的单一图像。FutureGAN模型将这一概念扩展到视频预测的复杂任务。我们在三个不同的数据集上进行了实验，MovingMNIST，KTH Action和Cityscapes。我们的研究结果表明，该模型学习表示将输入序列的信息有效地转换为所有三个数据集的合理未来序列。FutureGAN框架的主要优点是，它适用于各种不同的数据集，而无需额外的更改，同时实现稳定的结果，与视频预测中的最新技术竞争。我们的代码可在https://github.com/TUM-LMF/FutureGAN上获得。
2018-11-26 cs.CV
Video Content Swapping Using GAN
Carnegie Mellon University（卡内基梅隆大学）
视频生成是计算机视觉中一个有趣的问题。深度生成模型在数据增强、动画特效、AR/VR等领域有着广泛的应用，随着深度学习技术的发展，人们提出了许多深度生成模型来解决这一问题。这些深度生成模型可以在线利用所有未标记的图像和视频，因为它可以以无监督的方式学习深度特征表示。这些模型还可以生成不同类型的图像，具有很大的视觉应用价值。然而，生成视频将更具挑战性，因为我们不仅需要建模视频中对象的外观，还需要建模它们的时间运动。在这项工作中，我们将把视频中的任何帧分解为内容和姿势。我们首先使用预先训练的人体姿势检测从视频中提取姿势信息，并使用生成模型基于内容代码和姿势代码合成视频。
2021-11-21 cs.CV cs.LG
Multi-level Wavelet-based Generative Adversarial Network for Perceptual Quality Enhancement of Compressed Video
Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
在过去的几年里，通过深度学习来提高视频质量已经取得了快速的发展。现有的方法主要集中在提高压缩视频的客观质量，而忽略了其感知质量。在本文中，我们专注于提高压缩视频的感知质量。我们的主要观察是，提高感知质量主要依赖于恢复小波域中的高频子带。因此，我们提出了一种新的生成式对抗网络（GAN）的基础上，多级小波包变换（WPT），以提高压缩视频的感知质量，这被称为多级小波基GAN（MW-GAN）。在MW-GAN中，我们首先应用具有金字塔架构的运动补偿来获得时间信息。然后，我们提出了一个小波重构网络与小波密集残差块（WDRB）恢复高频细节。此外，通过WPT添加MW-GAN的对抗性损失，以进一步鼓励视频帧的高频细节恢复。实验结果证明了该方法的优越性。
2020-08-02 cs.CV eess.IV
Dynamics Transfer GAN: Generating Video by Transferring Arbitrary Temporal Dynamics from a Source Video to a Single Target Image
KAIST（韩国科学技术院）
在本文中，我们提出了动态传输GAN;一种基于生成对抗学习的视频序列生成新方法。从目标图像获取所生成的视频序列的空间构造。所生成的视频序列的动态从源视频序列导入，具有任意运动，并施加到目标图像上。为了保持目标图像的空间结构，源视频序列的外观被抑制，并且在被施加到目标图像上之前仅获得动态。这是使用所提出的外观抑制动态特征来实现的。此外，生成的视频序列的空间和时间的离散性通过两个离散性网络进行了验证。一个验证器验证所生成的帧外观的保真度，而另一个验证所生成的视频序列的动态一致性。通过实验验证了该方法生成的视频序列的质量。实验结果表明，动态转换GAN在生成输出视频序列时，成功地将源视频序列的任意动态特性转换到目标图像上。实验结果还表明，动态传输GAN保持目标图像的空间结构（外观），同时生成空间和时间一致的视频序列。
2017-12-10 cs.CV
Facial Expression Video Generation Based-On Spatio-temporal Convolutional GAN: FEV-GAN
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；Faculty Of Sciences（理学院）
提出FEV-GAN，基于时空卷积GAN，采用双图像编码器提取身份和空间特征，生成六种基本面部表情视频，有效提升图像质量和身份保持能力。
2022-10-20 cs.CV
Pose-Guided Sign Language Video GAN with Dynamic Lambda
Beuth University of Applied Sciences Berlin（柏林博伊特应用科学大学）
我们提出了一种使用GANs合成手语视频的新方法。我们扩展了Stoll等人以前的工作。通过使用Soft-Gated Warping-GAN的人类语义解析器来生成由区域级空间布局指导的逼真视频。合成目标姿态提高了对独立和对比签名者的性能。因此，我们使用高度异构的MS-ASL数据集评估了我们的系统，该数据集具有超过200个签名者，导致SSIM为0.893。此外，我们引入了一个周期性的加权方法的发电机，重新激活的训练，并导致定量更好的结果。
2021-05-06 cs.CV
Network state Estimation using Raw Video Analysis: vQoS-GAN based non-intrusive Deep Learning Approach
HCL Technologies（HCL技术公司）
基于内容的提供商将诸如视频数据的实时的复杂信号从一个区域传输到另一个区域。在此传输过程中，信号通常最终失真或降级，其中视频中存在的实际信息丢失。这通常发生在流媒体视频服务应用中。因此，需要知道在接收器侧发生的降级水平。这种视频降级可以通过网络状态参数如数据率和分组丢失值来估计。我们提出的解决方案vQoS GAN（视频服务质量生成对抗网络）可以使用半监督生成对抗网络算法的深度学习方法从降级的接收视频数据中估计网络状态参数。一个强大而独特的深度学习网络模型设计已经用视频数据以及数据率和丢包类标签进行了训练，并达到了95%以上的训练准确率。所提出的半监督生成对抗网络还可以将退化的视频数据重建为其原始形式，以获得更好的最终用户体验。
2022-03-22 cs.LG cs.MM eess.IV
ERA: Entity Relationship Aware Video Summarization with Wasserstein GAN
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）
视频摘要旨在通过生成简洁、简短的摘要来简化大规模视频浏览，这些摘要不同于原始视频，但很好地代表了原始视频。由于视频标注的缺乏，近年来视频摘要的研究主要集中在无监督的方法上，其中基于GAN的方法最为流行。这种类型的方法包括一个摘要器和一个编译器。只有当从该摘要重构的视频不能被解码器与原始视频区分开时，来自摘要器的摘要视频才被假定为最终输出。这种基于GAN的方法的主要问题是两个方面。首先，以这种方式概括的视频是具有低冗余的原始视频的子集，并且包含高优先级事件/实体。这种总结标准是不够的。二是GAN框架的训练不稳定。本文提出了一种新的实体关系感知的视频摘要方法（ERA），以解决上述问题。更具体地说，我们引入了一个对抗时空网络来构建实体之间的关系，我们认为在摘要中也应该给予高度优先级。通过引入Wasserstein GAN和两个新提出的视频补丁/分数和损失来解决GAN训练问题。此外，分数和损失还可以减轻模型对变化的视频长度的敏感性，这是当前大多数视频分析任务的固有问题。我们的方法大大提高了目标基准数据集的性能，并超过了当前排行榜排名1的最先进的CSNet（TVSum上的F1分数增加了2.1%，SumMe上的F1分数增加了3.1%）。我们希望我们简单而有效的方法将有助于未来的无监督视频摘要的研究。
2021-09-06 cs.CV
Video Coding Using Learned Latent GAN Compression
InterDigital（InterDigital公司）
本文提出了一种新的人脸视频压缩方法。我们利用StyleGAN等GANs的生成能力来表示和压缩视频，包括帧内和帧间压缩。每一帧都在StyleGAN的潜在空间中进行反转，从中学习最佳压缩。为此，使用归一化流模型来学习非对称潜在表示，其中熵模型可以针对图像编码进行优化。此外，我们提出了一个新的感知损失，比其他同行更有效。最后，还在先前构造的潜在表示中学习用于具有残差的视频帧间编码的熵模型。我们的方法（SGANC）简单，训练速度更快，与VTM，AV1和最近的深度学习技术等最先进的编解码器相比，图像和视频编码取得了更好的效果。特别是，它大大减少了在低比特率的感知失真。
2022-07-12 cs.CV eess.IV stat.ML
HSTR-Net: High Spatio-Temporal Resolution Video Generation For Wide Area Surveillance
Ozyegin University（奥兹耶金大学）；Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）
广域监控有着广泛的应用，而目标跟踪是一项重要的任务，通常需要高时空分辨率（HSTR）的视频来提高精度。本文提出了使用多个视频源生成HSTR视频作为基于参考的超分辨率（RefSR）的扩展。一个馈入以低帧速率（HSLF）以高空间分辨率俘获视频，而另一馈入同时针对同一场景俘获低空间分辨率及高帧速率（LSHF）视频。主要目的是从HSLF和LSHF视频的融合中创建HSTR视频。在本文中，我们提出了一种端到端的可训练深度网络，该网络通过组合来自两个视频源的输入来执行光流估计和帧重建。所提出的架构提供了显着改善现有的视频帧插值和RefSR技术的客观PSNR和SSIM指标。
2022-04-09 cs.CV eess.IV
STRPM: A Spatiotemporal Residual Predictive Model for High-Resolution Video Prediction
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peking University（北京大学）
虽然许多视频预测方法在低分辨率（64 $\sim$ 128）视频中获得了良好的性能，但针对高分辨率（512 $\sim$ 4K）视频的预测模型尚未得到充分探索，由于对高质量视频的需求不断增加，这更有意义。与低分辨率视频相比，高分辨率视频包含更丰富的外观（空间）信息和更复杂的运动（时间）信息。在本文中，我们提出了一个时空残差预测模型（STRPM）的高分辨率视频预测。一方面，我们提出了一个时空编解码方案，以保持更多的时空信息的高分辨率视频。通过这种方式，可以极大地保留每个帧的外观细节。另一方面，我们设计了一个残差预测记忆（RPM），它专注于建模的时空残差特征（STRF）之间的前一帧和未来的帧，而不是整个帧，这可以极大地帮助捕获复杂的运动信息在高分辨率视频。此外，建议RPM可以监督空间编码器和时间编码器，以提取不同的特征，在空间域和时间域，分别。此外，所提出的模型使用具有学习感知损失（LP损失）的生成对抗网络（GANs）进行训练，以提高预测的感知质量。实验结果表明，与现有的各种方法相比，STRPM可以产生更令人满意的结果。
2022-03-30 cs.CV cs.LG
D-GAN: Deep Generative Adversarial Nets for Spatio-Temporal Prediction
The Hong Kong Polytechnic University（香港理工大学）
出租车需求、交通流量、区域降雨等城市应用的时空数据具有内在的随机性和不可预测性。最近，提出了基于深度学习的ST预测模型来学习数据的ST特征。然而，仍然非常具有挑战性的是：（1）充分地学习复杂的和非线性的ST关系;（2）对ST数据量中的高变化进行建模，因为它固有地是动态的，随时间变化（即，不规则），并受到许多外部因素的高度影响，如恶劣天气，事故，交通管制，PoI等;以及（3）由于可能存在许多复杂的外部因素可以影响准确性，并且不可能明确地列出它们。为了解决上述问题，在本文中，我们提出了一种新的基于深度生成对抗网络的模型（命名为D-GAN），通过以无监督的方式隐式学习ST特征表示来进行更准确的ST预测。D-GAN采用基于GAN的结构，联合学习数据的生成和变分推理。更具体地说，D-GAN由两个主要部分组成：（1）一个深度ST特征学习网络，用于通过隐式分布建模来对ST相关性和语义变化以及数据中的变化和不规则性的潜在因素进行建模;（2）一个融合模块，用于合并外部因素以实现更好的推理。据我们所知，没有先前的工作研究ST预测问题，通过深层隐式生成模型和在无监督的方式。在两个真实世界数据集上进行的大量实验表明，D-GAN比传统的以及基于深度学习的ST预测方法获得了更准确的结果。
2021-05-29 cs.LG stat.ML
Mocycle-GAN: Unpaired Video-to-Video Translation
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
无监督图像到图像翻译是在没有任何成对训练样本的情况下将图像从一个域翻译到另一个域的任务，并且倾向于更适用于实际应用。然而，这种合成从图像到图像到视频到视频的扩展并不是微不足道的，特别是在捕获视频中的时空结构时。困难源于这样的方面，即不仅在每个帧中的视觉外观，而且连续帧之间的运动应该是真实的和一致的跨变换。这促使我们探索视频合成中的外观结构和时间连续性。在本文中，我们提出了一个新的运动引导循环GAN，被称为Mocycle-GAN，新颖地将运动估计集成到不成对的视频翻译。从技术上讲，MoCycle-GAN利用了三种类型的约束：区分合成帧和真实帧的对抗性约束，鼓励帧和运动的逆平移的循环一致性，以及验证连续帧之间运动传输的运动平移。视频到标签和标签到视频翻译进行了广泛的实验，并报告了优越的结果相比，国家的最先进的方法。更值得注意的是，我们定性地展示了我们的Moycle-GAN的花到花和环境条件转移。
2019-08-26 cs.CV cs.MM
HDRVideo-GAN: Deep Generative HDR Video Reconstruction
Indian Institute of Technology（印度理工学院）；University of Colorado（科罗拉多大学）
高动态范围（HDR）视频提供比标准低动态范围（LDR）视频更逼真的视觉体验。尽管在HDR成像方面取得了重大进展，但使用传统的现成相机捕获高质量的HDR视频仍然是一项具有挑战性的任务。现有方法完全依赖于使用相邻LDR序列之间的密集光流来重建HDR帧。然而，当应用于具有噪声帧的交替曝光时，它们会导致颜色和曝光随时间的不一致。在本文中，我们提出了一个端到端的基于GAN的框架，用于从交替曝光的LDR序列重建HDR视频。我们首先从噪声LDR视频中提取干净的LDR帧，交替曝光，并在自监督设置中训练去噪网络。使用光流，我们然后将相邻的交替曝光帧与参考帧对齐，然后在完全对抗的环境中重建高质量的HDR帧。为了进一步提高生成帧的鲁棒性和质量，我们在训练过程中将基于时间稳定性的正则化项与基于内容和风格的损失一起纳入代价函数。实验结果表明，我们的框架实现了最先进的性能，并产生了优于现有方法的视频质量的HDR帧。
2021-11-03 cs.CV eess.IV
CVEGAN: A Perceptually-inspired GAN for Compressed Video Enhancement
Bristol Vision Institute, University of Bristol（布里斯托大学布里斯托视觉研究所）
本文提出CVEGAN，通过Mul2Res、ERNB、ECBAM及ReSphereGAN感知训练增强压缩视频，并在HM16.20的PP和SRA任务中取得显著编码增益。
2020-11-26 cs.CV eess.IV
Improving Video Generation for Multi-functional Applications
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们的目标是改进最先进的视频生成对抗网络（GANs），以期实现多功能应用。我们改进的视频GAN模型不分离前景和背景，也不分离动态和静态模式，而是学习联合生成整个视频片段。因此，我们的模型可以被训练来生成-并从-一组广泛的视频中学习，没有任何限制。这是通过设计一个强大的单流视频生成架构，扩展了最先进的Wasserstein GAN框架，允许更好的收敛。实验结果表明，我们改进的视频GAN模型在多个具有挑战性的数据集上的性能优于现有的视频生成模型。此外，我们证明了我们的模型的优越性，成功地将其扩展到三个具有挑战性的问题：视频着色，视频修复和未来预测。据我们所知，这是第一个使用GANs对视频片段进行着色和修补的工作。
2018-03-14 cs.CV
A Survey on Super Resolution for video Enhancement Using GAN
Army Institute of Technology（陆军技术学院）
本文综述了基于生成对抗网络的图像与视频超分辨率方法，涵盖递归学习、新型损失函数、帧率增强和注意力模型集成等技术，并讨论了其在监控与医学成像等领域的应用及未来挑战。
2023-12-30 cs.CV cs.LG cs.MM
Video to Video Generative Adversarial Network for Few-shot Learning Based on Policy Gradient
Northwestern University（西北大学）；Allstate Insurance Company（好事达保险公司）
本文提出 RL-V2V-GAN，结合策略梯度、ConvLSTM 与细粒度时空 GAN，实现无需成对输入的无监督条件视频到视频合成，并在少样本目标域中生成时间连贯视频。
2024-10-28 cs.CV cs.LG
Abnormal Event Detection in Urban Surveillance Videos Using GAN and Transfer Learning
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工学院））
城市监控视频中的异常事件检测（AED）面临着多重挑战。与其他计算机视觉问题不同，AED不仅仅依赖于帧的内容。它还取决于对象的外观及其在场景中的移动。已经提出了各种方法来解决AED问题。其中，基于深度学习的方法显示出最好的结果。本文基于深度学习方法，通过处理时空数据，提供了一种有效的方法来检测和定位视频中的异常事件。本文使用生成对抗网络（GANs），并在预训练的卷积神经网络（CNN）上执行迁移学习算法，从而产生准确有效的模型。通过对视频的光流信息进行处理，进一步提高了模型的效率。本文在AED问题的两个基准数据集（UCSD Peds1和UCSD Peds2）上进行了实验，并将结果与其他方法进行了比较。比较是基于各种标准，如曲线下面积（AUC）和真阳性率（TPR）。实验结果表明，该方法能有效地检测和定位人群场景中的异常事件。
2020-11-19 cs.CV cs.LG
Conditional Video Generation Using Action-Appearance Captions
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
由于最近的生成对抗网络（GANs），自动视频生成领域得到了推动。然而，大多数现有的方法不能使用文本字幕来控制所生成的视频的内容，在很大程度上失去了它们的有用性。这特别影响人类视频，因为它们的动作和外观种类繁多。本文提出了条件流和纹理GAN（CFT-GAN），一种基于GAN的视频生成方法从动作外观字幕。我们提出了一种通过编码字幕（例如，“一个穿蓝色牛仔裤的男人正在打高尔夫球”）。我们的CFT-GAN使用这样的标题来为每帧生成光流（动作）和纹理（外观）。结果，输出视频以合理的方式反映在字幕中指定的内容。此外，为了训练我们的方法，我们构建了一个新的数据集，用于生成带有字幕的人类视频。我们通过消融研究和用户研究定性和定量地评估了所提出的方法。结果表明，CFT-GAN能够成功地生成包含字幕中指示的动作和外观的视频。
2018-12-05 cs.CV
Inference-based GAN Video Generation
Department of Computer Science, University of York（计算机科学系，约克大学）
本文提出了一种基于对抗的VAE-GAN混合结构，通过马尔可夫链框架实现长视频生成，解决时序扩展难题。
2025-12-31 cs.AI cs.CV
Application of Video-to-Video Translation Networks to Computational Fluid Dynamics
近年来，人工智能尤其是深度学习的演进令人瞩目，其对各个领域的应用也在快速增长。在本文中，我报告了生成对抗网络（GANs），特别是视频到视频翻译网络，在计算流体动力学（CFD）模拟中的应用结果。本研究的目的是减少计算流体力学模拟与GANs的计算成本。本研究中的GANs架构是图像到图像翻译网络（所谓的“pix 2 pix”）和长短期记忆（LSTM）的组合。结果表明，高成本和高精度的模拟（高分辨率的计算网格）的结果可以估计从低成本和低精度的模拟（低分辨率的网格）。特别地，通过GANs从低分辨率网格的情况下再现高分辨率网格的情况下的密度分布的时间演化，并且从由GANs生成的图像估计的密度不均匀性以良好的精度恢复了地面实况。定性和定量的比较，所提出的方法与几个超分辨率算法的结果。
2021-09-12 cs.CV cs.LG physics.flu-dyn
DCNGAN: A Deformable Convolutional-Based GAN with QP Adaptation for Perceptual Quality Enhancement of Compressed Video
Xidian University（西安电子科技大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种基于可变形卷积的生成对抗网络（DCNGAN），用于压缩视频的感知质量增强。DCNGAN也是自适应的量化参数（QP）。与光流相比，可变形卷积更有效和高效地对齐帧。可变形卷积可以对多个帧进行操作，从而利用更多的时间信息，这有利于增强压缩视频的感知质量。代替以成对方式对齐帧，可变形卷积可以同时处理多个帧，这导致较低的计算复杂度。实验结果表明，提出的DCNGAN优于其他国家的最先进的压缩视频质量增强算法。
2022-01-28 cs.CV cs.MM eess.IV
Dual Motion GAN for Future-Flow Embedded Video Prediction
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum 公司）
视频中的未来帧预测是无监督视频表示学习的一个有前途的途径。视频帧是基于视频中的外观和运动动态由来自先前帧的固有像素流自然生成的。然而，现有的方法集中于直接使像素值产生幻觉，从而导致模糊的预测。在本文中，我们开发了一个双运动生成对抗网络（GAN）架构，该架构通过双学习机制学习明确执行未来帧预测，以与视频中的像素流保持一致。原始未来帧预测和双重未来流预测形成闭环，生成相互提供信息的反馈信号以用于更好的视频预测。为了使合成的未来帧和流与现实不可区分，提出了一种双重对抗训练方法，以确保未来流预测能够帮助推断现实的未来帧，而未来帧预测反过来导致现实的光流。我们的双运动GAN还使用基于变分自编码器的新的概率运动编码器来处理不同像素位置中的自然运动不确定性。大量的实验表明，所提出的双运动GAN显着优于国家的最先进的方法合成新的视频帧和预测未来的流量。我们的模型在不同的视觉场景中具有很好的泛化能力，在无监督视频表示学习中表现出了优越性。
2017-08-03 cs.CV
Label-Conditioned Next-Frame Video Generation with Neural Flows
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
最近的最先进的视频生成系统采用生成对抗网络（GANs）或变分自编码器（VAE）来产生新颖的视频。然而，VAE模型在面对输入的次优条件时通常会产生模糊的输出，并且已知GANs对于大的输出大小是不稳定的。此外，这些模型的输出视频难以评估，部分原因是GAN损失函数不是收敛的准确度量。在这项工作中，我们建议使用一种名为Glow的最先进的神经流生成器来生成基于文本标签的视频，一次一帧。神经流模型比标准GANs更稳定，因为它们只优化单个交叉熵损失函数，这是单调的，避免了GAN极大极小目标的循环收敛问题。此外，我们还展示了如何在外部环境中调节Glow，同时仍然保留每个“流”层的可逆性质。最后，我们通过计算交叉熵来评估所提出的Glow模型，以通过消融研究比较所提出的模型的多个版本。我们展示生成的视频并讨论未来的改进。
2019-10-16 cs.CV cs.LG stat.ML
Learning to Generate Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）
在低数据条件下训练GANs仍然是一个挑战，因为过度拟合通常会导致记忆或训练分歧。在这项工作中，我们引入了One-Shot GAN，它可以学习从一个训练集生成样本，小到一个图像或一个视频。我们提出了一个两个分支，内容和布局分支的设计，以判断内部内容分别从场景布局的现实主义。这允许合成具有不同内容和布局的视觉上合理的、新颖的场景组成，同时保留原始样本的上下文。与以前的单图像GAN模型相比，One-Shot GAN实现了更高的多样性和合成质量。它也不限于单一图像设置，在单一视频的介绍设置中成功学习。
2021-05-12 cs.CV cs.LG
Conditional COT-GAN for Video Prediction with Kernel Smoothing
London School of Economics（伦敦政治经济学院）；ETH Zurich（苏黎世联邦理工学院）
因果最优运输（COT）是在经典的最优运输问题上施加时间因果约束的结果，它自然地产生了一个新的概念，即路径空间上分布之间的距离。Xu等人（2020）首次将COT理论应用于顺序学习，其中COT-GAN被引入作为对抗算法，用于训练优化的隐式生成模型以产生顺序数据。依靠（Xu et al.，2020年），本文的贡献是双重的。首先，我们开发了一个适合序列预测的COT-GAN的条件版本。这意味着现在使用数据集来了解序列在观察其过去演变的情况下将如何演变。其次，我们通过核平滑修改经验测量来改进收敛结果（Pflug and Pichler（2016））。所得到的内核条件COT-GAN算法与视频预测的应用程序进行说明。
2022-01-27 cs.AI cs.CV cs.LG
Generative modeling of spatio-temporal weather patterns with extreme event conditioning
University of Warwick（华威大学）；TUM（慕尼黑工业大学）；LSE（伦敦政治经济学院）；DLR（德国航空航天中心）
深度生成模型越来越多地用于获得地理空间数据领域的见解，例如，for climate气候data数据.然而，大多数现有的方法与时间快照或假设1D时间序列，很少有能够同时捕获时空过程。除此之外，地球系统的数据往往表现出高度不规则和复杂的模式，例如由极端天气事件造成的。由于气候变化，这些现象只会越来越频繁。在这里，我们提出了一种新的基于GAN的方法，用于生成以检测到的极端事件为条件的时空天气模式。我们的方法增强了GAN生成器和编码的极端天气事件分割掩模。这些分割掩码可以使用现有的事件检测框架从原始输入创建。因此，我们的方法是高度模块化的，可以与自定义GAN架构相结合。我们强调我们提出的方法在实验中与现实世界的地面辐射和纬向风数据的适用性。
2021-04-26 cs.AI cs.CV cs.LG
Temporally coherent video anonymization through GAN inpainting
Audi AG（奥迪股份公司）；Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学）
这项工作解决了自然视频流中的时间相干人脸匿名化问题。我们提出了JaGAN，一个两阶段的系统，首先在视频的所有单独帧中检测和屏蔽带有黑色图像块的人脸。第二阶段利用隐私保护的视频生成对抗网络，旨在用人工生成的人脸修补丢失的图像补丁。我们的初步实验表明，基于图像的生成模型是不能够修复补丁显示时间连贯的外观在相邻的视频帧。为了解决这个问题，我们介绍了一个新策划的视频集合，这是公开提供给研究界随着本文。我们还介绍了身份不变分数IdI作为一种手段来量化相邻帧之间的时间相干性。
2021-06-04 cs.AI cs.CV cs.LG
Evaluation of the Spatio-Temporal features and GAN for Micro-expression Recognition System
Feng Chia University（逢甲大学）；NTUNHS（台湾新竹护理健康大学）；Xiamen University Malaysia（厦门大学马来西亚分校）；Xiamen University（厦门大学）
由于人工智能的发展和进步，在人脸表情识别系统中建立了大量的工作。与此同时，微表情的检测和分类也是近年来各个研究领域的研究热点。在本文中，我们首先回顾了传统的基于光流识别系统的过程，包括面部标志注释，光流引导的图像计算，特征提取和情感类别分类。其次，提出了一些改进特征提取部分的方法，如利用GAN生成更多的图像样本。特别地，计算光流的几个变化，以生成最佳图像，从而导致高识别精度。接下来，GAN，一个生成器和鉴别器的组合，用于生成新的“假”图像，以增加样本大小。第三，提出了一种改进的卷积神经网络。为了验证所提出的方法的有效性，结果进行了评估自发微表达数据库，即SMIC，CASME II和SAMM。本文报告了F1分数和准确性性能指标。
2019-04-03 cs.CV
Conditional MoCoGAN for Zero-Shot Video Generation
Chiba University（千叶大学）
我们提出了一个条件生成对抗网络（GAN）模型的zero-shot视频生成。在这项研究中，我们探讨了zero-shot条件生成设置。换句话说，我们从缺少类的训练样本中生成看不见的视频。该任务是条件数据生成的扩展。其关键思想是学习GAN的潜在空间中的解纠缠表示。为了实现这一目标，我们基于我们的模型的运动和内容分解的GAN和条件GAN的图像生成。我们构建模型以找到更好的解纠缠表示并生成高质量的视频。我们证明了我们提出的模型的有效性，通过实验上的魏茨曼动作数据库和MUG面部表情数据库。
2021-09-13 cs.CV
RoboSwap: A GAN-driven Video Diffusion Framework For Unsupervised Robot Arm Swapping
Ludwig-Maximilians-Universität München (LMU Munich)（慕尼黑路德维希-马克西米利安大学）；Huawei Heisenberg Research Center（华为海森堡研究中心）；Technische Universität München (TUM)（慕尼黑技术大学）；Albert-Ludwigs-Universität Freiburg（弗赖堡阿尔伯特-路易斯-大学）
针对机器人学习中跨具身数据稀缺的问题，提出无监督框架RoboSwap，通过结合GAN与扩散模型，在非配对数据上实现机械臂替换，提升了视频结构连贯性与运动一致性。
2025-10-04 cs.CV
Fast video object segmentation with Spatio-Temporal GANs
Computer Vision Lab, ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；Institut de Robotica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
从数据中学习描述性时空对象模型对于半监督视频对象分割任务至关重要。大多数现有方法主要依赖于基于第一帧处的参考掩模（有时通过光流或先前掩模辅助）来估计分割掩模的模型。然而，这些模型，是容易失败的快速外观变化或闭塞，由于其在建模的时间组件的限制。另一方面，最近，其他方法使用卷积LSTM来学习长期特征，以利用来自所有先前视频帧的信息。即使这些模型实现了更好的时间表示，它们仍然必须针对每个新的视频序列进行微调。在本文中，我们提出了一个中间的解决方案，并设计了一种新的GAN架构，FastGAN，学习时空对象模型在有限的时间窗口。为了实现这一点，我们将所有繁重的计算负载集中到训练阶段，其中两个批评者在最后K帧上执行空间和时间掩模一致性。然后在测试时，我们只使用一个相对较轻的回归，这大大减少了推理时间。因此，我们的方法结合了高弹性，突然的几何和光度对象的变化与效率在测试时（不需要微调，也没有后处理）。我们证明，我们的方法的准确性与具有挑战性的YouTube-VOS和DAVIS数据集上的最先进技术相当，同时以32 fps的速度运行，比最接近的竞争对手快4倍。
2019-03-28 cs.CV
GAC-GAN: A General Method for Appearance-Controllable Human Video Motion Transfer
Zhejiang University（浙江大学）；Guangdong Provincial People’s Hospital（广东省人民医院）；Guangdong Academy of Medical Sciences（广东省医学科学院）
人体视频运动传输在多媒体、计算机视觉和图形学等领域有着广泛的应用。近年来，由于生成对抗网络（GANs）的快速发展，该领域取得了重大进展。然而，几乎所有现有的基于GAN的作品都倾向于解决从人体运动到视频场景的映射，场景外观在训练模型中单独编码。因此，每个训练的模型只能生成具有特定场景外观的视频，需要训练新的模型来生成新的外观。此外，现有的作品缺乏外观控制的能力。例如，用户必须提供穿着新衣服或在新背景下表演的视频记录，以使其合成视频中的衣服或背景发生变化，这极大地限制了应用的灵活性。在本文中，我们提出了GAC-GAN，外观可控的人类视频运动传输的一般方法。为了实现通用外观合成，我们建议在条件输入中包括外观信息。因此，一旦经过训练，我们的模型就可以通过改变输入的外观信息来生成新的外观。为了实现外观控制，我们首先获得外观可控的条件输入，然后利用两级GAC-GAN生成相应的外观可控的输出，其中我们利用ACGAN损失和阴影提取模块分别用于输出前景和背景外观控制。我们进一步构建了一个包含大量舞蹈视频的独舞数据集，用于训练和评估。实验结果表明，我们提出的GAC-GAN不仅可以支持外观可控的人类视频运动传输，而且可以实现比现有技术更高的视频质量。
2020-02-09 cs.CV cs.GR cs.MM
Stitch it in Time: GAN-Based Facial Editing of Real Videos
The Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）
生成对抗网络在其潜在空间内编码丰富语义的能力已被广泛用于面部图像编辑。然而，事实证明，用视频复制他们的成功具有挑战性。缺乏高质量的面部视频集，并且使用视频引入了一个需要克服的基本障碍-时间一致性。我们认为，这种障碍在很大程度上是人为的。源视频已经是时间相干的，并且与该状态的偏差部分地由于编辑流水线中对各个组件的不小心处理而出现。我们利用StyleGAN的自然对齐和神经网络学习低频函数的趋势，并证明它们提供了强一致的先验。我们借鉴这些见解，并提出了一个框架，在视频中的面部语义编辑，展示了显着的改进，目前的最先进的。我们的方法产生有意义的面部操作，保持更高程度的时间一致性，并可以应用于具有挑战性的，高品质的，说话的头部视频，目前的方法的斗争。
2022-01-21 cs.CV cs.GR cs.LG
I2V-GAN: Unpaired Infrared-to-Visible Video Translation
Beijing Institute of Technology（北京理工大学）；Yantai IRay Technologies Lt. Co.（烟台艾睿光电科技有限公司）
人类的视力经常受到复杂环境因素的不利影响，特别是在夜视场景中。因此，红外摄像机通常通过检测周围环境中的红外辐射来帮助增强视觉效果，但由于缺乏详细的语义信息，红外视频是不受欢迎的。在这种情况下，通过克服红外和可见光领域之间固有的巨大差距，强烈需要从红外域到可见光对应物的有效视频到视频转换方法。为了解决这个具有挑战性的问题，我们提出了一个红外到可见光（I2 V）视频转换方法I2 V-GAN生成细粒度和时空一致的可见光视频由给定的未配对的红外视频。从技术上讲，我们的模型利用了三种类型的约束：1）对抗性约束，以生成与真实帧相似的合成帧，2）循环一致性，引入感知损失，以实现有效的内容转换和风格保留，以及3）跨域和域内的相似性约束，以在细粒度级别上增强空间和时间空间中的内容和运动一致性。此外，目前公开可用的红外和可见光数据集主要用于目标检测或跟踪，并且一些由不连续的图像组成，不适合视频任务。因此，我们为I2 V视频翻译提供了一个新的数据集，称为IRVI。具体来说，它有12个连续的车辆和监控场景的视频剪辑，红外和可见光视频可以分为24352帧。综合实验结果表明，I2 V-GAN在翻译流畅度更高、语义细节更精细的I2 V视频时优于SOTA方法。代码和IRVI数据集可在https://github.com/BIT-DA/I2V-GAN上获得。
2021-08-04 cs.CV
Adversarially-Refined VQ-GAN with Dense Motion Tokenization for Spatio-Temporal Heatmaps
University of Wyoming（怀俄明大学）
本文提出一种对抗精炼VQ-GAN与密集运动标记化方法，用于压缩时空热图并保留人体运动细粒度轨迹，在CMU Panoptic数据集上相比dVAE显著提升SSIM并降低时间不稳定性，同时揭示了2D与3D运动所需的最优码本规模。
2025-09-23 cs.AI cs.CV
SUPR-GAN: SUrgical PRediction GAN for Event Anticipation in Laparoscopic and Robotic Surgery
MIT（麻省理工学院）；Massachusetts General Hospital（麻省总医院）；Olympus Corporation（奥林巴斯公司）
对手术工作流程的理解是人工智能（AI）和机器学习（ML）具有协助术中决策和风险缓解潜力的基础。在这项工作中，我们超越了单纯的识别过去的手术阶段，到未来的手术步骤和规范之间的过渡预测。我们使用一种新的生成对抗网络（GAN）制定未来的手术阶段轨迹的条件下，从腹腔镜胆囊切除术（LC）视频过去的视频帧，并将其与最先进的方法进行比较，手术视频分析和替代预测方法。我们证明了GAN制定的有效性，通过推断和预测的进展LC视频。我们量化了水平精度的权衡，并探索了平均性能，以及更具挑战性的性能，以及阶段之间的临床相关转换。此外，我们进行了一项调查，要求16名不同专业和教育水平的外科医生定性评估预测的手术阶段。
2022-03-09 cs.CV
SVS-GAN: Leveraging GANs for Semantic Video Synthesis
Institute of Signal Processing and System Theory, University of Stuttgart（斯图加特大学信号处理与系统理论研究所）；Mercedes-Benz AG（梅赛德斯-奔驰股份公司）
本文提出专为语义视频合成设计的 SVS-GAN，通过三金字塔 SPADE 生成器、U-Net 图像判别器及 OASIS 等定制损失提升时序一致性，并在 Cityscapes 和 KITTI-360 上超越现有方法。
2024-09-09 cs.CV
GANs N' Roses: Stable, Controllable, Diverse Image to Image Translation (works for videos too!)
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们将展示如何学习一个映射，该映射将从人脸图像派生的内容代码和随机选择的样式代码映射到动漫图像。我们从我们对风格和内容的简单而有效的定义中得出了一个对抗性的损失。这种对抗性的损失保证了地图的多样性--一个单一的内容代码可以产生非常广泛的动画。在合理的假设下，地图不仅是多样的，而且还正确地表示了动画的概率，条件是输入面。相比之下，目前的多模态生成程序不能捕捉动画中出现的复杂风格。大量的定量实验支持了这一观点。大量的定性结果表明，该方法可以产生更多样化的风格比SOTA比较。最后，我们证明了我们的内容和风格的形式化允许我们执行视频到视频的翻译，而无需对视频进行培训。
2021-06-11 cs.CV cs.GR cs.LG
Recycle-GAN: Unsupervised Video Retargeting
Carnegie Mellon University（卡内基梅隆大学）；Facebook Reality Lab（Facebook现实实验室）
我们介绍了一种用于无监督视频重定向的数据驱动方法，该方法将内容从一个域转换到另一个域，同时保留域的本地风格，即，如果约翰·奥利弗的演讲的内容要被传送给斯蒂芬·科尔伯特，则所生成的内容/演讲应当是斯蒂芬·科尔伯特的风格。我们的方法结合了空间和时间信息以及内容翻译和风格保存的对抗性损失。在这项工作中，我们首先研究的优势，使用时空约束的空间约束有效重定向。然后，我们展示了所提出的方法，在空间和时间的问题，如面对面的翻译，花到花，风和云的合成，日出和日落的信息。
2018-08-15 cs.CV cs.GR cs.LG
Diverse Video Generation from a Single Video
Weizmann Institute of Science（魏茨曼科学研究所）
GANs能够执行生成和操纵任务，并在单个视频上进行训练。然而，这些单视频GANs需要不合理的时间量来对单个视频进行训练，使得它们几乎不切实际。在本文中，我们质疑的必要性，一个GAN从一个单一的视频生成，并介绍了各种生成和操作任务的非参数基线。我们恢复经典的时空补丁最近邻方法，并使其适应一个可扩展的无条件生成模型，没有任何学习。这个简单的基线在视觉质量和真实感方面令人惊讶地优于单视频GANs（通过定量和定性评估证实），并且不成比例地更快（运行时间从几天减少到几秒）。我们的方法很容易扩展到全高清视频。我们还使用相同的框架来演示视频类比和时空重定向。这些观察结果表明，经典方法在这些任务中的表现明显优于重型深度学习机器。这为单视频生成和操作任务设定了一个新的基准，同样重要的是--使从单个视频生成多种视频第一次成为可能。
2022-05-11 cs.CV
Domain Adaptive Person Search via GAN-based Scene Synthesis for Cross-scene Videos
Dalian Maritime University（大连海事大学）
本文针对真实监控视频中行人图像稀少且背景衣着单一导致特征判别性不足的问题，提出基于GAN的场景合成模型和辅助身份查询模块，通过在线学习协同合成与原始图像，在CUHK-SYSU和PRW上验证了行人搜索性能的提升。
2023-08-08 cs.CV
Unsupervised RGBD Video Object Segmentation Using GANs
Kyungpook National University（庆北国立大学）；Information Technology University (ITU)（信息技术大学）；University of Warwick（华威大学）
视频对象分割是许多高级视觉应用中的基本步骤。大多数现有的算法都是基于手工制作的特征，如HOG，超像素分割或基于纹理的技术，而最近发现深度特征更有效。现有的算法观察性能下降的存在下的挑战，如照明变化，阴影，和颜色伪装。为了应对这些挑战，我们提出了一种基于融合的运动对象分割算法，利用颜色以及深度信息，使用GAN，以达到更高的精度。我们的目标是在真实环境中，在具有挑战性的背景场景中分割移动对象。为了解决这个问题，GAN以无监督的方式独立于具有挑战性的视频序列对颜色和深度信息进行训练。在测试过程中，经过训练的GAN生成的背景与测试样本中的背景相似。然后将生成的背景样本与测试样本进行比较，以分割移动对象。最终结果通过融合两种模态（RGB和深度）中的对象边界来计算。我们提出的算法与公开数据集上的五种最先进的方法的比较表明，我们的算法在具有挑战性的真实场景中用于视频中的移动对象分割的强度。
2018-11-05 cs.CV
