StyleMaster: Stylize Your Video with Artistic Generation and Translation
Hong Kong University of Science and Technology（香港科技大学）；KuaiShou Technology（快手科技）
针对现有视频风格生成方法风格偏差大、内容泄露、视频迁移效果差的问题，提出StyleMaster方法，通过优化风格提取、引入对比学习和轻量运动适配器，显著提升风格相似度与时序连贯性，性能优于同类方法。
2024-12-10 cs.CV
VISTA: Triplet-Supervised Video Style Transfer with Diffusion Transformers
Show Lab, National University of Singapore（新加坡国立大学Show实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Lovart AI（Lovart人工智能）
本文提出VISTA方法，通过引入大规模三元组数据和基于扩散变换器的框架，解决视频风格迁移中风格、内容和运动的联合建模与解耦问题，实现了高质量的风格迁移效果。
2026-05-17 cs.CV
ColoristaNet for Photorealistic Video Style Transfer
Fudan University（复旦大学）
真实感风格转换的目的是将图像的艺术风格转换到输入图像或视频上，同时保持真实感。在本文中，我们认为这是在现有的算法中的摘要统计匹配方案，导致不切实际的风格化。为了避免使用流行的革兰氏损失，我们提出了一个自我监督的风格转移框架，其中包括一个风格删除部分和一个风格恢复部分。样式去除网络去除原始图像样式，并且样式恢复网络以监督的方式恢复图像样式。同时，针对现有特征转换方法存在的问题，提出了解耦的实例规范化方法，将特征转换分解为风格白化和重新风格化。它在ColoristaNet中工作得很好，可以在保持照片真实感的同时有效地传输图像风格。为了确保时间一致性，我们还结合了光流方法和ConvLSTM来嵌入上下文信息。实验结果表明，与现有的风格化算法相比，ColoristaNet能够获得更好的风格化效果。
2022-12-21 cs.CV cs.LG eess.IV
Real-time Localized Photorealistic Video Style Transfer
Boston University（波士顿大学）；Google Research（谷歌研究院）；Google（谷歌）
我们提出了一种新的算法，用于将图像的语义上有意义的局部区域的艺术风格转移到目标视频的局部区域，同时保持其照片真实感。局部区域可以通过使用视频分割算法完全自动地从图像中选择，或者从随意的用户指导（例如涂鸦）中选择。我们的方法基于深度神经网络架构，灵感来自于最近在真实感风格转换方面的工作，是实时的【形】，并且可以在任意输入上工作，而无需在不同艺术风格数据集上进行运行时优化。通过使用嘈杂的语义标签增强我们的视频数据集，并联合优化风格，内容，掩码和时间损失，我们的方法可以处理输入中的各种缺陷，并生成时间上连贯的视频，而不会产生视觉伪影。我们在各种风格的图像和目标视频上演示了我们的方法，包括同时将不同风格转移到多个对象上的能力，以及及时在风格之间平滑过渡的能力。
2020-10-20 cs.CV
MVStylizer: An Efficient Edge-Assisted Video Photorealistic Style Transfer System for Mobile Phones
Duke University（杜克大学）；Quantil Inc.（Quantil公司）
最近的研究在实现图像的神经风格转移方面取得了很大进展，这意味着将图像转换为期望的风格。许多用户开始用手机记录自己的日常生活，然后编辑并与其他用户分享拍摄的图像和视频。然而，直接将现有的风格转移方法应用于视频，即，逐帧传送视频的风格需要非常大量的计算资源。在手机上进行视频的风格转移在技术上仍然是负担不起的。为了应对这一挑战，我们提出了MVStylizer，一个有效的边缘辅助逼真的视频风格传输系统的手机。与逐帧执行风格化不同，只有原始视频中的关键帧由边缘服务器上预先训练的深度神经网络（DNN）处理，而其余的风格化中间帧则由我们设计的基于光流的帧插值算法在手机上生成。还提出了一个元平滑模块，同时将风格化帧放大到任意分辨率，并去除这些放大帧中与风格转移相关的失真。此外，为了不断提高边缘服务器上DNN模型的性能，我们采用联合学习方案，利用从移动客户端收集的数据不断重新训练边缘服务器上的每个DNN模型，并与云服务器上的全局DNN模型同步。这种方案有效地利用了从各种移动客户端收集的数据的多样性，并有效地提高了系统性能。我们的实验表明，MVStylizer可以生成具有更好的视觉质量的风格化的视频相比，国家的最先进的方法，同时实现75.5 $\times$加速1920 $\times$ 1080视频。
2020-06-01 cs.CV cs.LG eess.IV
Learning Long-Term Style-Preserving Blind Video Temporal Consistency
L'Or\'eal Research
当试图独立地将图像训练算法应用于视频中的连续帧时，往往会出现有害的闪烁。最先进的后处理技术，旨在促进时间一致性，生成其他时间伪影，并在视觉上改变视频的风格。我们提出了一个后处理模型，不知道应用于视频的转换（例如，风格转移，使用GANs的图像操作等），以循环神经网络的形式。我们的模型使用乒乓过程及其相应的损失进行训练，最近引入了GAN视频生成，以及一种新颖的风格保留感知损失。前者改善了长期的时间一致性学习，而后者促进了风格的保持。我们在DAVIS和videvo.net数据集上评估了我们的模型，并表明我们的方法提供了关于闪烁去除的最先进的结果，并且比以前的方法更好地保持了视频的整体风格。
2021-03-12 cs.CV
Evolvement Constrained Adversarial Learning for Video Style Transfer
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；JD Finance AI Lab（京东金融人工智能实验室）；GE Global Research（通用电气全球研究中心）
视频风格转移对于诸如增强现实、非真实感渲染和交互式游戏之类的应用是有用的组件。许多现有的方法使用光流来保持合成视频的时间平滑性。然而，光流的估计对遮挡和快速运动敏感。因此，在这项工作中，我们引入了一种新的进化同步损失计算的进化，以取代光流。使用这种进化同步损失，我们建立了一个对抗学习框架，称为视频风格传输生成对抗网络（VST-GAN），它改进了MGAN图像风格传输方法，以实现更有效的视频风格传输。我们对我们的方法进行了广泛的实验评估，并显示了对最先进方法的定量和定性改进。
2018-11-06 cs.CV
StyleFaceV: Face Video Generation via Decomposing and Recomposing Pretrained StyleGAN3
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
真实感生成式人脸视频合成一直是计算机视觉和图形学领域的研究热点。然而，现有的人脸视频生成方法往往会产生低质量的帧与漂移的面部身份和不自然的运动。为了应对这些挑战，我们提出了一个名为StyleFaceV的原则性框架，该框架可以生成具有生动动作的高保真身份保留人脸视频。我们的核心见解是分解外观和姿势信息，并在StyleGAN 3的潜在空间中重新组合它们，以产生稳定和动态的结果。具体来说，StyleGAN3为高保真面部图像生成提供了强大的先验知识，但潜在空间本质上是纠缠的。通过仔细研究其潜在的属性，我们提出了我们的分解和重组设计，允许面部外观和动作的解开组合。此外，一个时间相关的模型是建立在分解的潜在特征，并采样合理的运动序列，能够生成逼真的和时间上连贯的人脸视频。特别是，我们的管道是在静态图像和高质量的视频数据，这是更高的数据效率的联合训练策略进行训练。大量的实验表明，我们的框架实现了国家的最先进的人脸视频生成结果的定性和定量。值得注意的是，即使没有高分辨率的训练视频，StyleFaceV也能够生成逼真的$1024\times1024$面部视频。
2022-08-16 cs.CV
Inversion-Free Video Style Transfer with Trajectory Reset Attention Control and Content-Style Bridging
Nanjing University（南京大学）
本文提出轨迹重置注意力控制TRAC与风格介质概念，构建免调优框架，在降低计算成本的同时实现图像和视频的高质量、内容保持的风格迁移。
2025-03-10 cs.CV
ReCoNet: Real-time Coherent Video Style Transfer Network
The University of Hong Kong（香港大学）；Deepwise AI Lab（深睿人工智能实验室）
基于卷积神经网络的图像风格传输模型在应用于视频时通常会出现高时间不一致性。已有的一些视频风格转换模型可以提高时间一致性，但它们不能同时保证快速的处理速度、良好的感知风格质量和高的时间一致性。在本文中，我们提出了一种新的实时的【形】视频风格转移模型，ReCoNet，它可以生成时间上连贯的风格转移视频，同时保持良好的感知风格。一种新的亮度扭曲约束被添加到输出级的时间损失，以捕获连续帧之间的亮度变化，并增加风格化的稳定性下的照明效果。我们还提出了一种新的特征图级的时间损失，以进一步提高可追踪对象的时间一致性。实验结果表明，我们的模型表现出优异的性能，定性和定量。
2018-11-01 cs.CV
An Overview of Color Transfer and Style Transfer for Images and Videos
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
图像或视频外观特征（例如，颜色、纹理、色调、亮度等）反映了一个人对图像或视频的视觉感知和直接印象。给定源图像（视频）和目标图像（视频），图像（视频）颜色转移技术旨在处理源图像或视频的颜色（注意，源图像或视频在一些文献中也被称为参考图像或视频），以使其看起来像目标图像或视频的颜色，即，将目标图像或视频的外观转换为源图像或视频的外观，从而可以改变人们对源图像或视频的感知。作为颜色转移的扩展，风格转移是指通过风格转移模型，利用风格样本或图像集以艺术家的风格渲染目标图像或视频的内容。作为一个新兴的研究领域，风格迁移的研究引起了大量研究者的关注。经过几十年的发展，它已经成为一个高度跨学科的研究与多种艺术表现风格可以实现。本文概述了过去几年来色彩转移和风格转移的方法。
2022-07-19 cs.CV cs.GR
Artistic style transfer for videos
University of Freiburg（弗莱堡大学）
在过去，以某种艺术风格手动重新绘制图像需要专业的艺术家和很长的时间。一个人做一个视频序列是超出想象的。如今，计算机提供了新的可能性。我们提出了一种方法，将风格从一个图像（例如，绘画）到整个视频序列。我们利用最新的进展，在静态图像中的风格转移，并提出新的初始化和损失函数适用于视频。这使我们能够生成一致和稳定的风格化视频序列，即使在大运动和强遮挡的情况下。我们表明，所提出的方法明显优于简单的基线定性和定量。
2016-10-19 cs.CV
StyleCrafter: Enhancing Stylized Text-to-Video Generation with Style Adapter
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
针对文本生成视频模型风格表达难、保真度低的问题，提出StyleCrafter方法，通过风格适配器结合图像预训练与微调迁移，实现参考图像引导的高质量风格化视频生成，性能优于现有方法。
2024-09-12 cs.AI cs.CV
AnimateLCM: Computation-Efficient Personalized Style Video Generation without Personalized Video Data
Avolution AI；SenseTime Research（商汤科技研究院）
本文提出AnimateLCM方法，通过双层解耦学习策略，在无需个性化视频数据的情况下，将视频扩散模型的生成时间从25秒降至约1秒，同时保持性能并提升训练效率。
2024-10-16 cs.CV cs.LG
Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style Transfer
UCAS（中国科学院大学）；Institute of Automation, CAS（中国科学院自动化研究所）
本文提出Style-A-Video，一种零样本视频风格化方法，利用生成式预训练Transformer和图像潜扩散模型，通过改进引导条件、采样优化和时间一致性模块，实现文本控制的视频风格迁移，在保持内容的同时降低资源消耗。
2023-05-09 cs.CV cs.MM
Coherent Online Video Style Transfer
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
训练前馈网络的快速神经风格的图像传输被证明是成功的。然而，逐帧处理视频的幼稚扩展容易产生闪烁结果。我们提出了第一个用于在线视频风格传输的端到端网络，该网络近实时地生成时间上连贯的风格化视频序列。两个关键的想法包括一个有效的网络，通过纳入短期的一致性，并传播短期的一致性，以长期，这确保了在更长的时间内的一致性。我们的网络可以包含不同的图像风格化网络。我们表明，所提出的方法明显优于每帧基线定性和定量。此外，它可以实现与基于优化的视频风格传输在视觉上相当的一致性，但在运行时快三个数量级。
2017-03-28 cs.CV
Kunster -- AR Art Video Maker -- Real time video neural style transfer on mobile devices
Netguru S.A.（Netguru股份公司）
神经风格迁移是深度学习研究的一个著名分支，有许多有趣的工作和两个主要缺点。该领域的大多数作品很难被非专业用户使用，并且需要大量的硬件资源。在这项工作中，我们提出了一个解决这两个问题。我们已经将神经风格转移应用于实时视频（每秒超过25帧），该视频能够在移动设备上运行。我们还研究了实现时间相干性的工作，并提出了微调已经训练好的模型以实现稳定视频的想法。此外，我们还分析了常见的深度神经网络架构对移动设备性能的影响，包括层数和过滤器。在实验部分，我们提出了我们的工作与iOS设备的结果，并讨论了目前的Android设备中存在的问题，以及未来的可能性。最后，我们给出了风格化的定性结果和在iPhone 11 Pro和iPhone 6s上测试的性能的定量结果。所提出的工作被纳入Kunster - AR艺术视频制作应用程序可在苹果的应用程序商店。
2020-05-07 cs.CV cs.LG eess.IV
Two Birds, One Stone: A Unified Framework for Joint Learning of Image and Video Style Transfers
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北德克萨斯大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对图像和视频风格迁移需分别训练模型的问题，提出统一框架UniST，通过域交互变换器实现联合学习，利用视频时间信息与图像纹理相互促进，并采用轴向多头自注意力提升效率，在两项任务上均优于现有方法。
2023-09-02 cs.CV
Name Your Style: An Arbitrary Artist-aware Image Style Transfer
Caritas Institute of Higher Education（明爱高等教育学院）；The Hong Kong Polytechnic University（香港理工大学）；École Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；IP Paris（巴黎理工学院）
针对传统图像风格迁移需参考风格图像灵活性不足的问题，提出文本驱动的TxST方法，结合CLIP对比训练与交叉注意力模块，实现任意艺术家风格迁移，性能优于现有最优方法。
2024-12-07 cs.CV eess.IV
Artistic style transfer for videos and spherical images
University of Freiburg（弗莱堡大学）
以某种艺术风格手动重新绘制图像需要专业艺术家很长时间。单独为视频序列做这件事是超乎想象的。我们提出了两种计算方法，从一个图像（例如，绘画）的风格转移到整个视频序列。在我们的第一种方法中，我们采用Gatys等人基于能量最小化的原始图像风格转移技术来适应视频。我们引入了新的初始化方法和新的损失函数，即使在大运动和强遮挡的情况下，也能生成一致和稳定的风格化视频序列。我们的第二种方法制定视频风格化作为一个学习问题。我们提出了一个深度网络架构和训练程序，使我们能够以一致和稳定的方式，几乎实时的对任意长度的视频进行风格化。我们表明，所提出的方法明显优于简单的基线定性和定量。最后，我们提出了一种方法，以适应这些方法也360度的图像和视频，因为它们出现与最近的虚拟现实硬件。
2018-08-05 cs.CV
TeleStyle: Content-Preserving Style Transfer in Images and Videos
TeleAI
TeleStyle通过课程持续学习框架实现图像和视频内容保持的风格迁移，提升风格相似性和内容一致性，达到最佳性能。
2026-01-28 cs.CV
Arbitrary Style Transfer with Structure Enhancement by Combining the Global and Local Loss
University of Macau（澳门大学）
任意风格转移通过仅使用一个训练的网络来生成结合了内容图像的结构和艺术品的艺术风格的艺术图像。该方法中使用的图像表示包括内容结构表示和风格模式表示，风格模式表示通常是预先训练好的分类网络中高层的特征表示。然而，传统的分类网络是为分类而设计的，通常集中在高层特征上，而忽略了其他特征。因此，风格化的图像将风格元素均匀地分布在整个图像中，并使整体图像结构无法识别。为了解决这个问题，我们提出了一种新的任意风格的传输方法与结构增强相结合的全局和局部损失。局部结构细节由Lapstyle表示，全局结构由图像深度控制。实验结果表明，我们的方法可以生成更高质量的图像与令人印象深刻的视觉效果，在几个常见的数据集上，与其他国家的最先进的方法相比。
2022-07-23 cs.CV eess.IV
Arbitrary Style Guidance for Enhanced Diffusion-Based Text-to-Image Generation
Baidu Research (USA)（百度研究院（美国））
基于扩散的文本到图像生成模型，如GLIDE和DALLE-2，最近获得了广泛的成功，因为它们在将复杂的文本输入转换为高质量和广泛多样性的图像方面具有卓越的性能。特别是，他们被证明是非常强大的创建各种格式和风格的图形艺术。虽然当前的模型支持指定油画或铅笔画等样式格式，但很难指定颜色分布和笔触等细粒度样式特征，因为它们是基于给定文本输入从条件分布中随机选取的。在这里，我们提出了一种新的风格指导方法，以支持生成图像使用任意风格指导的参考图像。该生成方法不需要单独的样式传递模型来生成期望的样式，同时保持由文本输入控制的所生成的内容中的图像质量。另外，可以在没有风格参考的情况下应用引导方法，表示为自风格引导，以生成更多样化风格的图像。实验结果表明，该方法在各种图像艺术形式、图像内容类型和扩散模型下都具有较好的鲁棒性和有效性。
2022-11-14 cs.CV eess.IV
DreamStyle: A Unified Framework for Video Stylization
Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室）
DreamStyle通过统一框架支持文本、风格图像和第一帧引导的视频风格化，提升风格一致性和视频质量。
2026-01-06 cs.CV
StyleLipSync: Style-based Personalized Lip-sync Video Generation
AITRICS；KAIST（韩国科学技术院）
提出StyleLipSync，基于StyleGAN潜在空间和姿态感知遮罩生成身份无关的唇形同步视频，并通过少样本自适应方法增强未见人脸特征。
2024-02-12 cs.AI cs.CV cs.LG
Third Time's the Charm? Image and Video Editing with StyleGAN3
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Adobe Research（Adobe研究院）；Tel-Aviv University（特拉维夫大学）
StyleGAN可以说是最有趣和研究最充分的生成模型之一，在图像生成，反转和操作方面表现出令人印象深刻的性能。在这项工作中，我们探索了最近的StyleGAN 3架构，将其与其前身进行了比较，并研究了其独特的优势以及缺点。特别是，我们证明了虽然StyleGAN 3可以在未对齐的数据上进行训练，但仍然可以使用对齐的数据进行训练，而不会妨碍生成未对齐图像的能力。接下来，我们对StyleGAN 3不同潜在空间的解纠缠的分析表明，常用的W/W+空间比StyleGAN 2的对应空间更纠缠，强调了使用StyleSpace进行细粒度编辑的好处。考虑到图像反转，我们观察到现有的基于编码器的技术在对未对齐的数据进行训练时会遇到困难。因此，我们提出了一种编码方案，只训练对齐的数据，但仍然可以反转未对齐的图像。最后，我们介绍了一种新的视频反转和编辑工作流程，该工作流程利用了微调的StyleGAN 3生成器的功能，以减少纹理粘连并扩大编辑视频的视野。
2022-01-31 cs.CV
StyleFool: Fooling Video Classification Systems via Style Transfer
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；CSIRO’s Data61（联邦科学与工业研究组织数据61）；Swinburne University of Technology（斯威本科技大学）
本文提出 StyleFool，一种基于风格迁移的黑盒视频对抗攻击方法，通过色彩主题邻近性选择风格图像并结合无梯度优化，在 UCF-101 和 HMDB-51 上以更少查询次数和更强防御鲁棒性超越现有攻击。
2024-04-01 cs.CR cs.CV
StyleTalker: One-shot Style-based Audio-driven Talking Head Video Generation
Graduate School of AI, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院人工智能研究生院）
提出StyleTalker，一种基于单张参考图像的音频驱动说话头视频生成模型，通过对比唇形同步判别器、条件序列变分自编码器和归一化流增强的自回归先验，实现精确唇形同步、逼真头部姿态和眨眼，支持运动可控和纯音频驱动两种生成方式，性能优于现有方法。
2024-03-15 cs.CV cs.LG eess.AS
Optical Flow Distillation: Towards Efficient and Stable Video Style Transfer
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；University of Sydney（悉尼大学）
视频风格传输技术激发了移动设备上许多令人兴奋的应用。然而，它们的效率和稳定性仍然远远不能令人满意。为了提高跨帧的传输稳定性，尽管光流具有高计算复杂性（例如，占用超过97%的推理时间），但其被广泛采用。提出了一种基于知识蒸馏范式的轻量级视频风格传输网络。我们采用两个教师网络，其中一个采取光流在推理过程中，而另一个没有。这两个教师网络之间的输出差异突出了光流所做的改进，然后采用光流来提取目标学生网络。此外，低秩蒸馏损失被用来稳定学生网络的输出，通过模仿输入视频的秩。大量的实验表明，我们的学生网络没有光流模块仍然能够生成稳定的视频，运行速度比教师网络快得多。
2020-07-22 cs.CV
Universal Photorealistic Style Transfer: A Lightweight and Adaptive Approach
University of Southern California（南加州大学）；USC Institute for Creative Technologies（南加州大学创意技术研究所）
本文提出通用逼真风格迁移框架UPST，通过轻量级StyleNet和实例自适应优化，无需预训练即可在高分辨率图像和视频上实现色调准确、低内存占用的逼真风格迁移。
2024-11-20 cs.CV eess.IV
StyleHEAT: One-Shot High-Resolution Editable Talking Face Generation via Pre-trained StyleGAN
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
单镜头说话人脸生成的目标是从任意的人像图像合成高质量的说话人脸视频，由视频或音频片段驱动。一个具有挑战性的质量因素是输出视频的分辨率：更高的分辨率传达更多的细节。在这项工作中，我们研究了预训练的StyleGAN的潜在特征空间，并发现了一些优秀的空间变换特性。根据观察结果，我们探索了使用预训练的StyleGAN突破训练数据集分辨率限制的可能性。我们提出了一种基于预训练的StyleGAN的新型统一框架，该框架实现了一组强大的功能，即，高分辨率视频生成，通过驱动视频或音频进行分离控制，以及灵活的面部编辑。我们的框架首次将合成的说话人脸的分辨率提高到1024*1024，即使训练数据集的分辨率较低。我们设计了一个基于视频的运动生成模块和一个基于音频的运动生成模块，它们可以单独或联合插入到框架中来驱动视频生成。预测的运动被用来转换StyleGAN的视觉动画的潜在特征。为了补偿变换失真，我们提出了一个校准网络，以及一个域的损失，以细化功能。此外，我们的框架允许两种类型的面部编辑，即，通过GAN反演进行全局编辑，并基于3D变形模型进行直观编辑。综合实验表明，优越的视频质量，灵活的可控性和可编辑性超过国家的最先进的方法。
2022-03-17 cs.CV
MoStGAN-V: Video Generation with Temporal Motion Styles
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出 MoStGAN-V，通过引入时间依赖的运动风格和 MoStAtt 运动风格注意力调制机制，解决了视频生成中时间一致性和运动多样性的问题，在四个基准上达到 SOTA。
2023-04-05 cs.CV
VToonify: Controllable High-Resolution Portrait Video Style Transfer
Nanyang Technological University（南洋理工大学）
生成高质量的艺术人像视频是计算机图形学和视觉中一项重要且令人向往的任务。虽然基于StyleGAN已经提出了一系列成功的人像图像卡通化模型，但这些面向图像的方法在应用于视频时具有明显的局限性，例如固定的帧大小，人脸对齐的要求，丢失非面部细节和时间不一致性。在这项工作中，我们研究了具有挑战性的可控的高分辨率人像视频风格转移通过引入一种新的VToonify框架。具体来说，VToonify利用StyleGAN的中分辨率和高分辨率层，根据编码器提取的多尺度内容特征渲染高质量的艺术肖像，以更好地保留帧细节。由此产生的全卷积架构接受可变大小视频中的非对齐面部作为输入，有助于在输出中完成具有自然运动的面部区域。我们的框架与现有的基于StyleGAN的图像toonification模型兼容，将其扩展到视频toonification，并继承了这些模型的吸引人的功能，以实现对颜色和强度的灵活风格控制。这项工作提出了两个实例化的VToonify建立在Toonify和DualStyleGAN为基础的收集和基于范例的肖像视频风格转移，分别。大量的实验结果表明，我们提出的VToonify框架在生成高质量和时间连贯的艺术肖像视频与灵活的风格控制现有的方法的有效性。
2022-09-30 cs.CV cs.GR cs.LG
Comixify: Transform video into a comics
Warsaw University of Technology（华沙理工大学）
在本文中，我们提出了一个解决方案，将视频转换为漫画。我们使用基于生成对抗网络（GANs）的神经风格算法来完成这项任务。最近在神经风格转移领域的几项研究表明，以另一幅图像的风格制作一幅图像是可行的。在本文中，我们在这些工作的基础上，通过视频混合的工作应用程序扩展了现有的一组风格转换用例。为此，我们训练了一个端到端的解决方案，该解决方案将输入视频转换为两个阶段的漫画。在第一阶段，我们提出了一种最先进的关键帧提取算法，该算法从视频中选择帧的子集，以提供最全面的视频上下文，并使用图像美学估计引擎过滤这些帧。在第二阶段，选定的关键帧的风格被转换成漫画。为了提供最美观的结果，我们选择了最先进的风格传输解决方案，并在此基础上实现了我们自己的ComixGAN框架。我们工作的最后一个贡献是一个基于Web的视频comixification的工作应用程序，可在http://comixify.ii.pw.edu.pl上获得。
2018-12-09 cs.CV
Audio-driven High-resolution Seamless Talking Head Video Editing via StyleGAN
School of Film, Xiamen University（厦门大学电影学院）；Xiamen Unisound Intelligence Technology Co.,Ltd.（厦门云知声智能科技股份有限公司）
针对现有音频驱动说话人头部视频编辑方法视觉效果差的问题，提出结合音频到面部关键点模块与基于StyleGAN的关键点编辑模块的方法，可生成高视觉质量的高分辨率无缝情绪编辑视频。
2024-07-08 cs.CV
One Style is All you Need to Generate a Video
IBENS, Ecole Normale Supérieure（巴黎高等师范学院IBENS）
本文提出一种基于风格的条件视频生成模型，通过可学习正弦基构建时间生成器，实现动作动态与图像内容的解耦，支持独立操控和跨身份运动迁移，并显著提升视频生成质量。
2023-10-27 cs.AI cs.CV
Depth-Aware Arbitrary Style Transfer Using Instance Normalization
Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）；Plekhanov Russian University of Economics（普列汉诺夫俄罗斯经济大学）
风格转换是将一个图像与另一个图像的风格中的某些内容一起呈现的过程，表示该风格。Liu等人（2017）的最新研究表明，Gatys等人（2016）和Johnson等人（2016）的传统风格转移方法无法再现内容图像的深度，这对人类感知至关重要。他们建议通过优化的损失函数中的额外正则化器来保留深度图，从而强制保留深度图。然而，这些传统方法要么计算效率低，要么需要为每种风格训练单独的神经网络。Huang等人（2017）的AdaIN方法允许在不训练单独模型的情况下有效地传输任意风格，但无法再现内容图像的深度图。我们提出了一个扩展这种方法，允许深度图保存应用变量风格化强度。定性分析和用户评价研究结果表明，该方法提供了更好的风格化，比原来的AdaIN风格转移方法。
2020-07-08 cs.CV eess.IV
ToonifyGB: StyleGAN-based Gaussian Blendshapes for 3D Stylized Head Avatars
Graduate Institute of Networking and Multimedia（网络与多媒体研究生院）
ToonifyGB通过改进的StyleGAN生成风格化视频并结合高斯混合形状，实现高效渲染多样化风格化的3D头身人偶。
2026-01-23 cs.CV
One-Shot Face Video Re-enactment using Hybrid Latent Spaces of StyleGAN2
University of Maryland（马里兰大学）
虽然最近的研究已经在StyleGAN的高保真肖像生成的帮助下逐步克服了单次面部视频再现的低分辨率约束，但这些方法依赖于以下中的至少一个：显式2D/3D先验、基于光流的变形作为运动描述符、现成的编码器等，这限制了它们的性能（例如，不一致的预测、不能捕捉精细的面部细节和附件、差的概括、伪像）。我们提出了一个端到端的框架，同时支持面部属性编辑，面部运动和变形，以及面部身份控制视频生成。它采用混合潜在空间，将给定帧编码为一对潜在：身份潜在$\mathcal{W}_{ID}$和面部变形潜在$\mathcal{S}_F$，它们分别位于StyleGAN 2的$W+$和$SS$空间中。因此，结合了$W+$令人印象深刻的可编辑性-失真权衡和$SS$的高解缠结特性。这些混合潜伏期采用StyleGAN 2生成器在$1024^2$上实现高保真度面部视频重演。此外，该模型支持生成具有其他基于潜在的语义编辑（例如，胡子、年龄、化妆等）。对国家的最先进的方法进行定性和定量分析表明所提出的方法的优越性。
2023-02-15 cs.CV
LocalStyleFool: Regional Video Style Transfer Attack Using Segment Anything Model
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shandong University（山东大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61部）；Ping An Technology（平安科技）；Shenzhen Institute of Information Technology（深圳信息职业技术学院）
提出 LocalStyleFool，利用 SAM 进行区域分割与跟踪，将基于风格迁移的扰动叠加到选定区域，提升了对抗攻击的自然性与高分辨率下的可扩展性，同时保持欺骗率和查询效率。
2024-03-27 cs.CV
Real Face Video Animation Platform
Harbin Institute of Technology（哈尔滨工业大学）；Li Auto（理想汽车）；Space AI（星纪元智能）
针对现有模型生成夸张动漫风格人脸表现力不足的问题，提出基于Gradio的真实人脸视频动画平台，支持多模型实时将真实人脸转换为动漫风格，并利用多模型处理HDTF数据集构建了动漫人脸视频数据集。
2024-07-12 cs.CV
StyleInV: A Temporal Style Modulated Inversion Network for Unconditional Video Generation
Nanyang Technological University（南洋理工大学）
本文提出StyleInV，一种基于学习反转网络的运动生成器，通过时序调制编码器生成平滑潜变量，实现无需重型判别器的长时高分辨率无条件视频生成，并支持风格迁移。
2023-08-31 cs.AI cs.CV
VidStyleODE: Disentangled Video Editing via StyleGAN and NeuralODEs
Koç University（科克大学）；Imperial College London（伦敦帝国学院）；Adobe Research（奥多比研究院）；Iskenderun Technical University（伊斯肯德伦技术大学）；Hacettepe University（哈杰泰佩大学）
本文提出VidStyleODE，将视频内容编码到StyleGAN潜在空间并用神经常微分方程建模运动动态，实现外观与运动的解耦，支持文本引导编辑、运动操控、图像动画及视频插值与外推。
2025-03-10 cs.CV
StyleGAN-V: A Continuous Video Generator with the Price, Image Quality and Perks of StyleGAN2
KAUST（阿卜杜拉国王科技大学）；Snap Inc.（色拉布公司）
视频显示连续的事件，但大多数$-$（如果不是所有$-$）视频合成框架在时间上离散地处理它们。在这项工作中，我们认为他们应该是$-$时间连续信号的视频，并扩展神经表示的范例，以建立一个连续时间的视频发生器。为此，我们首先通过位置嵌入的镜头设计连续运动表示。然后，我们探索了在非常稀疏的视频上训练的问题，并证明了一个好的生成器可以通过每个剪辑使用2帧来学习。在此之后，我们重新思考传统的图像+视频鉴别器对，并设计了一个整体的鉴别器，通过简单地连接帧的特征来聚合时间信息。这降低了训练成本，并为发生器提供了更丰富的学习信号，从而首次能够直接在1024个$^2$视频上进行训练。我们在StyleGAN 2的基础上构建我们的模型，在相同的分辨率下进行训练，同时实现几乎相同的图像质量，这只是${\approx}5\%$更昂贵。此外，我们的潜在空间具有类似的属性，使我们的方法可以在时间上传播的空间操作。我们可以以任意高的帧速率生成任意长的视频，而以前的工作努力以固定速率生成甚至64帧。我们的模型进行了测试，四个现代256 $^2$和一个1024 $^2$分辨率的视频合成基准。就纯粹的指标而言，它的平均表现${\approx}30\%$优于最接近的亚军。项目网址：https://universome.github.io。
2022-05-31 cs.AI cs.CV cs.LG
PQDAST: Depth-Aware Arbitrary Style Transfer for Games via Perceptual Quality-Guided Distillation
The University of Sheffield（谢菲尔德大学）
针对游戏管线中任意风格迁移的内存与速度瓶颈，提出PQDAST，采用感知质量引导蒸馏与FLIP评估器压缩模型，结合深度和时间感知的合成数据训练，注入渲染管线，在保持风格质量的同时显著提升时间一致性。
2025-02-24 cs.CV eess.IV
UniVST: A Unified Framework for Training-free Localized Video Style Transfer
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University, China（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学，中国）；Rakuten Asia Pte. Ltd.；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）
本文针对现有扩散方法无法局部迁移视频风格的问题，提出免训练的UniVST框架，通过点匹配掩码传播、AdaIN引导局部风格化和滑动窗口平滑方案，实现了更优的局部视频风格迁移效果。
2025-11-18 cs.CV
OmniTalker: One-shot Real-time Text-Driven Talking Audio-Video Generation With Multimodal Style Mimicking
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
OmniTalker提出双分支扩散Transformer框架，首次实现一次性实时文本驱动的说话音视频联合生成，可同时模仿语音与面部风格并保持音视频同步。
2025-06-03 cs.CV
StyleVideoGAN: A Temporal Generative Model using a Pretrained StyleGAN
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
生成对抗模型（GANs）在静态图像的视觉质量以及时间相关性的学习方面继续取得进步。然而，很少有作品能够将这两种有趣的功能结合起来用于视频内容的合成：大多数方法需要大量的训练数据集来学习时间相关性，同时其输出的分辨率和视觉质量相当有限。我们提出了一种新的方法，视频合成问题，有助于大大提高视觉质量，并大大减少生成视频所需的训练数据和资源的量。我们的配方分离的空间域，其中各个帧被合成，从时间域，其中产生的运动。对于空间域，我们使用预训练的StyleGAN网络，其潜在空间允许控制其训练对象的外观。该模型的表达能力使我们能够将训练视频嵌入StyleGAN潜在空间。然后，我们的时间架构不是在RGB帧序列上训练，而是在StyleGAN潜在代码序列上训练。StyleGAN空间的有利性质简化了时间相关性的发现。我们证明，它足以训练我们的时间架构上只有10分钟的镜头1主题约6小时。训练后，我们的模型不仅可以为训练对象生成新的肖像视频，还可以为任何可以嵌入StyleGAN空间的随机对象生成新的肖像视频。
2021-11-30 cs.CV
VAST: Vivify Your Talking Avatar via Zero-Shot Expressive Facial Style Transfer
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Microsoft（微软）；Shanghai Jiao Tong University（上海交通大学）
本文提出VAST模型，通过风格编码器、混合表情解码器和变分风格增强器，实现从任意视频提示零样本迁移表情风格，生成更生动真实的说话头像。
2024-11-20 cs.CV
Arbitrary Style Transfer with Style-Attentional Networks
Artificial Intelligence Research Institute, Korea（韩国人工智能研究院）
任意风格转换的目的是将内容图像与图像的风格合成，以创建以前从未见过的第三个图像。最近的任意风格传输算法发现，它具有挑战性的内容结构和风格模式的平衡。此外，由于基于补丁的机制，同时维护全局和局部样式模式是困难的。在本文中，我们介绍了一种新的风格注意力网络（SANet），有效地和灵活地整合当地的风格模式，根据内容图像的语义空间分布。一个新的身份损失函数和多层次的特征嵌入，使我们的SANet和解码器，以保持尽可能多的内容结构，同时丰富的风格模式。实验结果表明，我们的算法合成的风格化的图像在实时的质量比那些产生的国家的最先进的算法。
2019-05-23 cs.CV
Characterizing and Improving Stability in Neural Style Transfer
Stanford University（斯坦福大学）
图像风格转换的最新进展集中在提高风格化图像的质量和方法的速度上。然而，实时方法非常不稳定，导致应用于视频时出现可见闪烁。在这项工作中，我们的特点是这些方法的不稳定性，通过检查的解决方案集的风格转移目标。我们表明，Gram矩阵表示风格的轨迹是负相关的方法的稳定性。然后，我们提出了一种用于实时视频风格传输的递归卷积网络，该网络包含时间一致性损失，并克服了先前方法的不稳定性。我们的网络可以应用于任何分辨率，在测试时不需要光流，并实时生成高质量，时间一致的风格化视频。
2017-05-05 cs.CV
Disco-LoRA: Disentangled Composition of Content, Style, and Motion for Multi-concept Video Customization
Nanjing University of Posts and Telecommunications（南京邮电大学）；Hefei University of Technology（合肥工业大学）；Peng Cheng Laboratory（鹏城实验室）
提出Disco-LoRA框架，通过两阶段解耦和重组内容、风格和运动概念，实现多概念视频定制，并采用Z-score正则化协调LoRA权重分布。
2026-06-26 cs.AI cs.CV
Automatic Non-Linear Video Editing Transfer
Google Research（谷歌研究院）
我们提出了一种自动的方法，提取源视频中的编辑风格，并将编辑应用到匹配的视频素材中。我们基于计算机视觉的技术考虑了每个输入视频片段的帧、内容类型、回放速度和照明。通过应用这些功能的组合，我们展示了一种有效的方法，自动传输的视觉和时间风格从专业编辑的视频看不见的原始素材。我们使用真实世界的视频评估了我们的方法，这些视频总共包含3872个各种编辑风格的视频镜头，包括不同的主题、相机运动和灯光。我们报告了来自调查参与者的反馈，他们审查了我们的一组结果。
2021-05-14 cs.CV
StyleAvatar: Real-time Photo-realistic Portrait Avatar from a Single Video
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
针对人脸重演中2D GAN方法质量高但面部细粒度控制不足的问题，提出基于StyleGAN的StyleAvatar方法，通过组合表征、滑动窗口增强等实现实时高保真表情可控的人像头像生成，性能优于现有方法并落地了实时系统。
2023-05-01 cs.CV
