Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
针对现有视频风格化方法存在的一致性差、视觉质量不足的问题,本文提出基于扩散模型的Diffutoon卡通着色方法,将问题拆解为四个子任务,可生成高分辨率长时长动漫风格视频并支持提示编辑,效果优于开源及闭源基线,已开源相关代码。
2024-01-29 cs.CV
VISTA: Triplet-Supervised Video Style Transfer with Diffusion Transformers
Show Lab, National University of Singapore(新加坡国立大学Show实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Lovart AI(Lovart人工智能)
本文提出VISTA方法,通过引入大规模三元组数据和基于扩散变换器的框架,解决视频风格迁移中风格、内容和运动的联合建模与解耦问题,实现了高质量的风格迁移效果。
2026-05-17 cs.CV
Interactive Control over Temporal Consistency while Stylizing Video Streams
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究院);Digital Masterpieces GmbH(Digital Masterpieces有限公司)
提出一种实时视频流风格化方法,在全高清分辨率下通过轻量级光流网络和局部全局一致性特征的自适应组合,实现交互式时间一致性控制,优于现有方法。
2023-06-29 cs.CV cs.GR
Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style Transfer
UCAS(中国科学院大学);Institute of Automation, CAS(中国科学院自动化研究所)
本文提出Style-A-Video,一种零样本视频风格化方法,利用生成式预训练Transformer和图像潜扩散模型,通过改进引导条件、采样优化和时间一致性模块,实现文本控制的视频风格迁移,在保持内容的同时降低资源消耗。
2023-05-09 cs.CV cs.MM
SOYO: A Tuning-Free Approach for Video Style Morphing via Style-Adaptive Interpolation in Diffusion Models
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
SOYO提出一种免调优的扩散模型视频风格渐变框架,通过注意力注入、AdaIN及自适应采样调度器解决多风格过渡中的结构不连续与风格突变问题,实现平滑稳定的视频风格渐变。
2025-03-10 cs.CV
Single Trajectory Distillation for Accelerating Image and Video Style Transfer
Xiaohongshu(小红书);ShanghaiTech University(上海科技大学)
针对扩散风格化多步去噪计算开销大的问题,提出单轨迹蒸馏STD,通过轨迹库存储教师轨迹状态并结合非对称对抗损失,在图像和视频风格化上取得更好的风格相似度与美学效果。
2024-12-25 cs.CV
DiffSynth: Latent In-Iteration Deflickering for Realistic Video Synthesis
School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院);School of Information, Xiamen University(厦门大学信息学院);Alibaba Group(阿里巴巴集团)
本文提出 DiffSynth,通过潜在迭代内去闪烁框架和 patch blending 算法将图像扩散模型改造为视频合成流程,有效抑制闪烁并提升视频一致性,适用于多种视频合成任务。
2023-08-10 cs.CV cs.MM
TeleStyle: Content-Preserving Style Transfer in Images and Videos
TeleAI
TeleStyle通过课程持续学习框架实现图像和视频内容保持的风格迁移,提升风格相似性和内容一致性,达到最佳性能。
2026-01-28 cs.CV
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley(加州大学伯克利分校);FAIR, Meta(Meta FAIR研究院);University of Michigan(密歇根大学)
提出基于自监督的视听声景风格化方法,利用latent diffusion模型和自然视频中的重复声音事件,将目标场景的声音特性迁移至输入语音,并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
LILAC: Long-sequence Incremental Low-latency Arbitrary Motion Stylization via Streaming VAE-Diffusion with Causal Decoding
LILAC通过潜在空间流式架构与因果解码,将离线动作风格化扩展到在线实时场景,实现长序列任意风格化,兼顾质量与响应速度。
2025-10-17 cs.CV cs.LG
UniVST: A Unified Framework for Training-free Localized Video Style Transfer
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University, China(中国教育部多媒体可信感知与高效计算重点实验室,厦门大学,中国);Rakuten Asia Pte. Ltd.;School of Computing, National University of Singapore(新加坡国立大学计算机学院);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
本文针对现有扩散方法无法局部迁移视频风格的问题,提出免训练的UniVST框架,通过点匹配掩码传播、AdaIN引导局部风格化和滑动窗口平滑方案,实现了更优的局部视频风格迁移效果。
2025-11-18 cs.CV
HiCAST: Highly Customized Arbitrary Style Transfer with Adapter Enhanced Diffusion Models
Harbin Institute of Technology(哈尔滨工业大学);Baidu Research(百度研究院);Baidu Inc.(百度公司);University of Chinese Academy of Sciences(中国科学院大学);ETH Zurich(苏黎世联邦理工学院)
HiCAST基于潜在扩散模型并引入风格适配器,通过多级风格信息对齐实现高度定制化的任意风格迁移,并扩展至视频任务以提升跨帧一致性,性能优于现有方法。
2024-01-11 cs.AI cs.CV
MagicEdit: High-Fidelity and Temporally Coherent Video Editing
ByteDance Inc.(字节跳动公司)
本研究提出文本引导视频编辑方法MagicEdit,通过训练时显式解耦内容、结构与运动信号的学习,实现高保真且时间连贯的视频编辑,支持风格化、局部编辑等多种下游任务。
2023-08-28 cs.CV
FreeViS: Training-free Video Stylization with Inconsistent References
Johns Hopkins University(约翰霍普金斯大学);Adobe Research(Adobe研究院)
针对视频风格化存在的时间一致性差、训练成本高的问题,提出免训练框架FreeViS,通过整合多参考图到预训练I2V模型、结合高频补偿与光流运动线索,实现了高保真、强时间连贯的风格化效果,性能优于现有基线。
2025-10-02 cs.CV
Coherent Online Video Style Transfer
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
训练前馈网络的快速神经风格的图像传输被证明是成功的。然而,逐帧处理视频的幼稚扩展容易产生闪烁结果。我们提出了第一个用于在线视频风格传输的端到端网络,该网络近实时地生成时间上连贯的风格化视频序列。两个关键的想法包括一个有效的网络,通过纳入短期的一致性,并传播短期的一致性,以长期,这确保了在更长的时间内的一致性。我们的网络可以包含不同的图像风格化网络。我们表明,所提出的方法明显优于每帧基线定性和定量。此外,它可以实现与基于优化的视频风格传输在视觉上相当的一致性,但在运行时快三个数量级。
2017-03-28 cs.CV
ColoristaNet for Photorealistic Video Style Transfer
Fudan University(复旦大学)
真实感风格转换的目的是将图像的艺术风格转换到输入图像或视频上,同时保持真实感。在本文中,我们认为这是在现有的算法中的摘要统计匹配方案,导致不切实际的风格化。为了避免使用流行的革兰氏损失,我们提出了一个自我监督的风格转移框架,其中包括一个风格删除部分和一个风格恢复部分。样式去除网络去除原始图像样式,并且样式恢复网络以监督的方式恢复图像样式。同时,针对现有特征转换方法存在的问题,提出了解耦的实例规范化方法,将特征转换分解为风格白化和重新风格化。它在ColoristaNet中工作得很好,可以在保持照片真实感的同时有效地传输图像风格。为了确保时间一致性,我们还结合了光流方法和ConvLSTM来嵌入上下文信息。实验结果表明,与现有的风格化算法相比,ColoristaNet能够获得更好的风格化效果。
2022-12-21 cs.CV cs.LG eess.IV
Towards 4D Human Video Stylization
University of California, Merced(加州大学默塞德分校);University of Alberta(阿尔伯塔大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Snap Inc.(Snap公司)
本文提出基于双NeRF与几何引导三平面表示的4D人体视频风格化框架,可在统一框架中实现风格迁移、新视角合成与人体动画,并在纹理风格化和时间一致性上优于现有方法。
2023-12-07 cs.CV
ReCoNet: Real-time Coherent Video Style Transfer Network
The University of Hong Kong(香港大学);Deepwise AI Lab(深睿人工智能实验室)
基于卷积神经网络的图像风格传输模型在应用于视频时通常会出现高时间不一致性。已有的一些视频风格转换模型可以提高时间一致性,但它们不能同时保证快速的处理速度、良好的感知风格质量和高的时间一致性。在本文中,我们提出了一种新的实时的【形】视频风格转移模型,ReCoNet,它可以生成时间上连贯的风格转移视频,同时保持良好的感知风格。一种新的亮度扭曲约束被添加到输出级的时间损失,以捕获连续帧之间的亮度变化,并增加风格化的稳定性下的照明效果。我们还提出了一种新的特征图级的时间损失,以进一步提高可追踪对象的时间一致性。实验结果表明,我们的模型表现出优异的性能,定性和定量。
2018-11-01 cs.CV
Artistic style transfer for videos and spherical images
University of Freiburg(弗莱堡大学)
以某种艺术风格手动重新绘制图像需要专业艺术家很长时间。单独为视频序列做这件事是超乎想象的。我们提出了两种计算方法,从一个图像(例如,绘画)的风格转移到整个视频序列。在我们的第一种方法中,我们采用Gatys等人基于能量最小化的原始图像风格转移技术来适应视频。我们引入了新的初始化方法和新的损失函数,即使在大运动和强遮挡的情况下,也能生成一致和稳定的风格化视频序列。我们的第二种方法制定视频风格化作为一个学习问题。我们提出了一个深度网络架构和训练程序,使我们能够以一致和稳定的方式,几乎实时的对任意长度的视频进行风格化。我们表明,所提出的方法明显优于简单的基线定性和定量。最后,我们提出了一种方法,以适应这些方法也360度的图像和视频,因为它们出现与最近的虚拟现实硬件。
2018-08-05 cs.CV
LAPIG: Language Guided Projector Image Generation with Surface Adaptation and Stylization
Southwest University(西南大学);Stony Brook University(石溪大学)
LAPIG提出一种语言引导的投影仪图像生成方法,通过投影表面适应和风格化,利用双网络模拟补偿过程,结合内容与饱和度损失,实现低伪影的表面风格变换。
2025-06-23 cs.CV cs.MM
Stand-In: A Lightweight and Plug-and-Play Identity Control for Video Generation
WeChat Vision, Tencent Inc.(腾讯微信视觉实验室);VCIP, CS, Nankai University(南开大学计算机科学与技术学院)
本文提出Stand-In框架,通过引入条件图像分支和受限自注意力机制,实现轻量级身份控制,仅用1%额外参数和2000训练对即可提升视频质量和身份保持性,并支持多种视频生成任务。
2026-03-20 cs.CV
StyleMotif: Multi-Modal Motion Stylization using Style-Content Cross Fusion
Roblox(罗布乐思公司)
StyleMotif提出一种风格化运动潜在扩散模型,通过风格-内容交叉融合机制,从多模态输入中提取风格线索,生成兼具内容多样性和风格准确性的运动,超越现有方法。
2025-03-27 cs.AI cs.CL cs.CV
Text-Driven Stylization of Video Objects
Aarhus University(奥胡斯大学);University of Copenhagen(哥本哈根大学)
我们处理的任务,风格化的视频对象在一个直观的和语义的方式后,用户指定的文本提示。这是一项具有挑战性的任务,因为所得到的视频必须满足多个属性:(1)它必须在时间上一致,并避免抖动或类似的伪影,(2)所得到的风格化必须保留对象的全局语义及其细粒度细节,以及(3)它必须遵守用户指定的文本提示。为此,我们的方法根据两个目标文本对视频中的对象进行风格化。第一个目标文本提示符描述全局语义,第二个目标文本提示符描述局部语义。为了修改对象的样式,我们利用CLIP的表示能力来获得(1)局部目标文本和一组局部风格化视图之间的相似性得分,以及(2)全局目标文本和一组风格化全局视图之间的相似性得分。我们使用预训练的图谱分解网络以时间一致的方式传播编辑。我们证明,我们的方法可以生成一致的风格变化随着时间的推移,各种对象和视频,坚持目标文本的规范。我们还展示了如何改变目标文本的特异性和增强文本与一组前缀的结果在风格化与不同层次的细节。完整的结果在我们的项目网页:https://sloeschcke.github.io/Text-Driven-Stylization-of-Video-Objects/
2022-06-27 cs.CV
Context-Preserving Two-Stage Video Domain Translation for Portrait Stylization
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
本文针对人像风格化在视频域中时间不连贯的问题,提出一种上下文保持的两阶段视频转换框架,在保持源视频上下文的同时实现实时风格化,每帧仅需0.011秒且参数量仅5.6M。
2023-05-30 cs.CV
Photorealistic Style Transfer via Wavelet Transforms
Clova AI Research(克洛娃人工智能研究院);NAVER Corp(NAVER公司)
最近的风格转移模型提供了有前途的艺术成果。然而,给定照片作为参考样式,现有方法受到空间失真或不切实际的伪影的限制,这在真实照片中不应该发生。我们引入了一个理论上健全的网络架构,显着提高照片写实主义和忠实地转移的风格校正。我们方法的关键成分是小波变换,它自然适合深度网络。我们提出了一种基于白化和着色变换(WCT $^2$)的小波校正转移,允许特征在风格化过程中保留其结构信息和VGG特征空间的统计特性。这是第一款也是唯一一款可以在4.7秒内生成$1024\times1024$分辨率图像的端到端型号,无需任何后期处理即可提供令人愉悦的逼真质量。最后但并非最不重要的是,我们的模型提供了一个稳定的视频风格化没有时间限制。我们的代码、生成的图像和预训练的模型都可以在https://github.com/ClovaAI/WCT2上找到。
2019-09-29 cs.CV
UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文提出免调优框架 UniEdit,利用预训练文本到视频生成器及运动参考、重建分支与时空注意力注入,统一支持视频运动和外观编辑,并在实验中超过现有方法。
2024-04-07 cs.CV
Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration
Show Lab, National University of Singapore(新加坡国立大学Show实验室);University of Oxford(牛津大学);Lovart AI(Lovart人工智能)
本研究提出 Soap2Soap 框架,通过多智能体协作实现长 cinematic 视频重制,解决视频到视频生成中长期一致性与叙事保真度的问题。
2026-05-17 cs.CV
EchoStyle: Unlocking High-Fidelity Video Stylization with Reverse Data Synthesis
The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团);Xi’an Jiaotong University(西安交通大学)
提出EchoStyle框架,通过构建视频到视频架构、自动反向合成数据集V-Style20k和初始跟随模式机制,解决视频风格化中的内容泄露、数据稀缺和长视频适应性问题,实现高质量任意长度视频风格化。
2026-08-11 cs.AI cs.CV
Stereoscopic Neural Style Transfer
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);MSR Asia(微软亚洲研究院)
本文首次尝试立体神经风格转移,这是对3D电影或AR/VR新兴需求的回应。我们首先仔细检查应用现有的单眼风格转移方法,立体图像的左,右视图分别。这表明在最终的风格化结果中不能很好地保持原始视差一致性,这会导致观看者的3D疲劳。为了解决这个问题,我们将一个新的视差损失到广泛采用的风格损失函数,通过强制执行非遮挡区域的双向视差约束。对于一个实际的实时解决方案,我们提出了第一个前馈网络,通过联合训练风格化子网络和视差子网络,并将它们集成在一个特征级中间域。我们的视差子网络也是第一个同时进行双向视差和遮挡掩模估计的端到端网络。最后,我们的网络被有效地扩展到立体视频,同时考虑时间相干性和视差一致性。我们将表明,所提出的方法明显优于基线算法的定量和定性。
2018-05-20 cs.CV
A Content Transformation Block For Image Style Transfer
Heidelberg Collaboratory for Image Processing, IWR, Heidelberg University(海德堡大学图像处理器协作实验室(Heidelberg Collaboratory for Image Processing, IWR, Heidelberg University), 海德堡大学图像处理器协作实验室(IWR), 海德堡大学(Heidelberg University))
风格转移最近受到了很多关注,因为它允许研究图像理解和合成中的基本挑战。最近的工作显着提高了颜色和纹理的表示和计算速度和图像分辨率。然而,图像内容的显式转换大多被忽视:虽然艺术风格影响图像的形式特征,如颜色,形状或纹理,但它也会变形,添加或删除内容细节。本文明确地集中在内容和风格感知的风格化的内容图像。因此,我们在编码器和解码器之间引入了内容转换模块。此外,我们利用类似的内容出现在照片和风格样本,以了解如何风格改变内容的细节,我们推广到其他类的细节。此外,这项工作提出了一种新的归一化层的高分辨率图像合成的关键。我们的模型的鲁棒性和速度,使视频风格化的实时和高清晰度。我们进行了广泛的定性和定量评估,以证明我们的方法的有效性。
2020-03-18 cs.CV
Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);CUHK-SenseTime Joint Lab(香港中文大学-商汤科技联合实验室)
Zero-shot艺术风格转换是一个重要的图像合成问题,旨在将任意风格的图像转换为内容图像。然而,现有方法中的泛化和效率之间的权衡阻碍了高质量的实时zero-shot风格的传输。在本文中,我们解决了这个难题,并提出了一个高效而有效的Avatar-Net,使视觉上合理的多尺度传输任意风格。我们的方法的关键成分是一个风格装饰,使内容功能的语义对齐的风格特征从任意的风格图像,这不仅整体上匹配他们的特征分布,但也保留详细的风格模式的装饰功能。通过将该模块嵌入到融合多尺度风格抽象的图像重建网络中,Avatar-Net在一次前馈中为任何风格图像呈现多尺度风格化。通过多种风格融合、视频风格化等一系列应用,验证了该方法在生成高质量风格化图像方面的有效性和高效性。
2018-05-22 cs.CV
ToonifyGB: StyleGAN-based Gaussian Blendshapes for 3D Stylized Head Avatars
Graduate Institute of Networking and Multimedia(网络与多媒体研究生院)
ToonifyGB通过改进的StyleGAN生成风格化视频并结合高斯混合形状,实现高效渲染多样化风格化的3D头身人偶。
2026-01-23 cs.CV
Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation
提出混合模型Show-1,结合基于像素和潜在空间的扩散模型进行文本到视频生成,实现精确文本对齐与高效率,达到最先进性能。
2025-05-30 cs.CV
StyleMaster: Stylize Your Video with Artistic Generation and Translation
Hong Kong University of Science and Technology(香港科技大学);KuaiShou Technology(快手科技)
针对现有视频风格生成方法风格偏差大、内容泄露、视频迁移效果差的问题,提出StyleMaster方法,通过优化风格提取、引入对比学习和轻量运动适配器,显著提升风格相似度与时序连贯性,性能优于同类方法。
2024-12-10 cs.CV
AnimeAgent: Is the Multi-Agent via Image-to-Video models a Good Disney Storytelling Artist?
UESTC;vivo Mobile Communication Co. Ltd(vivo移动通信有限公司)
AnimeAgent通过基于图像到视频的多智能体框架,提升自定义分镜生成的 consistency、prompt fidelity 和 stylization,首次解决静态扩散模型的动态表现力不足问题。
2026-02-24 cs.CV
V-Stylist: Video Stylization via Collaboration and Reflection of MLLM Agents
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出多智能体视频风格化系统V-Stylist,通过视频解析、风格树搜索和多轮自我反思协作处理复杂转场与开放风格描述,并构建TVSBench,性能达到SOTA。
2025-03-15 cs.AI cs.CV
Control-DINO: Feature Space Conditioning for Controllable Image-to-Video Diffusion
Huawei Technologies, Switzerland(华为技术(瑞士));Huawei Technologies, Austria(华为技术(奥地利));Graz University of Technology, Austria(格拉茨技术大学)
本文提出Control-DINO,通过解耦外观与其他特征,实现对视频扩散模型的可控生成,提升生成渲染的可控性。
2026-07-03 cs.CV
StructuReiser: A Structure-preserving Video Stylization Method
CTU in Prague(布拉格捷克技术大学);FEE(电气工程学院);Google(谷歌)
本研究提出新型视频风格化方法StructuReiser,通过用户提供的关键帧实现视频转换,在保留目标视频结构与原始特征的同时提升控制度与一致性,还支持实时推理和自定义编辑,适用于交互式创意场景。
2024-10-07 cs.CV cs.GR
CLIPGaussian: Universal and Multimodal Style Transfer Based on Gaussian Splatting
Jagiellonian University(雅盖隆大学);IDEAS Research Institute(IDEAS研究院)
针对高斯溅射表征的复杂风格迁移难题,提出首个支持多模态、文本/图像引导的统一风格迁移框架CLIPGaussian,可插件化集成、无需大模型或重训练,实现色彩几何联合优化与时序一致,风格保真与一致性表现更优。
2025-10-24 cs.CV
StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation
KAIST, Visual Media Lab(韩国科学技术院,视觉媒体实验室)
StyleMM提出通过文本引导的图像翻译风格化人脸图像来微调3DMM生成模型,在保留身份、对齐和表情属性的同时实现可控、可动画化的风格化三维人脸生成,并在多样性和风格化能力上优于现有方法。
2025-08-15 cs.AI cs.CV cs.GR
STALP: Style Transfer with Auxiliary Limited Pairing
Czech Technical University in Prague(布拉格捷克理工大学);Adobe Research(Adobe研究院)
我们提出了一种基于实例的图像风格化方法,该方法使用一对源图像和其风格化的对应物。我们演示了如何训练一个图像翻译网络,可以执行实时语义有意义的风格转移到一组目标图像与源图像相似的内容。我们的方法的一个关键附加值是它还考虑了训练过程中目标图像的一致性。虽然这些没有程式化的对应物,我们限制翻译,以保持神经反应的统计数据与从程式化的源中提取的数据兼容。与使用类似输入的并发技术相比,我们的方法更好地保留了源样式的重要视觉特征,并且可以提供时间稳定的结果,而无需显式处理时间一致性。我们展示了它的实际效用,包括视频风格化,风格转移到dumeramas,面孔和3D模型的各种应用程序。
2021-10-20 cs.CV cs.GR
Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models
KAIST(韩国国立科学技术院);NTU Singapore(南洋理工大学);Adobe Research(Adobe研究)
帧引导通过帧级信号实现无训练的视频生成控制,支持多种任务如关键帧引导、风格化和循环,无需训练即可生成高质量视频。
2026-03-03 cs.AI cs.CV
CoinVE-200K: A Large-Scale High-Quality Dataset for Compositional Instruction-Guided Video Editing
Tencent(腾讯)
本文提出用于组合式指令引导视频编辑的大规模高质量数据集CoinVE-200K,构建基准CoinVE-Bench及22B参数模型CoinVE-Edit,在基准测试中表现优异。
2026-08-26 cs.CV
Still-Moving: Customized Video Generation without Customized Video Data
Google DeepMind(谷歌DeepMind);Tel Aviv University(特拉维夫大学);Weizmann Institute of Science(魏茨曼科学研究所);Technion(以色列理工学院)
针对定制化视频生成缺乏对应视频数据的问题,本研究提出Still-Moving框架,借助空间与运动适配器,仅用定制T2I模型的静态图像数据即可实现T2V模型的定制化,在多类生成任务中实现空间与运动先验的无缝融合。
2024-07-11 cs.CV
Kunster -- AR Art Video Maker -- Real time video neural style transfer on mobile devices
Netguru S.A.(Netguru股份公司)
神经风格迁移是深度学习研究的一个著名分支,有许多有趣的工作和两个主要缺点。该领域的大多数作品很难被非专业用户使用,并且需要大量的硬件资源。在这项工作中,我们提出了一个解决这两个问题。我们已经将神经风格转移应用于实时视频(每秒超过25帧),该视频能够在移动设备上运行。我们还研究了实现时间相干性的工作,并提出了微调已经训练好的模型以实现稳定视频的想法。此外,我们还分析了常见的深度神经网络架构对移动设备性能的影响,包括层数和过滤器。在实验部分,我们提出了我们的工作与iOS设备的结果,并讨论了目前的Android设备中存在的问题,以及未来的可能性。最后,我们给出了风格化的定性结果和在iPhone 11 Pro和iPhone 6s上测试的性能的定量结果。所提出的工作被纳入Kunster - AR艺术视频制作应用程序可在苹果的应用程序商店。
2020-05-07 cs.CV cs.LG eess.IV
A Style-Aware Content Loss for Real-time HD Style Transfer
Heidelberg University(海德堡大学)
最近,风格转移备受关注。虽然这些研究的大部分目的都是为了加速处理,但从原则性的艺术历史角度来看,这些方法仍然缺乏:一种风格不仅仅是一幅图像或一位艺术家,但以前的工作仅限于一种风格的一个实例,或者没有从更多的图像中获益。此外,以前的工作依赖于RGB图像领域的直接艺术比较或在ImageNet上预训练的CNN,这需要数百万个标记的对象边界框,并且可能会引入额外的偏差,因为它是在没有艺术考虑的情况下组装的。为了规避这些问题,我们提出了一种风格感知的内容丢失,它与深度编码器-解码器网络联合训练,用于图像和视频的实时的【形】高分辨率风格化。我们提出了一个定量的衡量标准来评估一个风格化的图像的质量,也有艺术历史学家排名补丁从我们的方法对那些从以前的工作。这些和我们的定性结果,从小图像补丁到百万像素风格的图像和视频,表明我们的方法更好地捕捉到了风格影响内容的微妙本质。
2018-07-28 cs.CV
Portrait Video Editing Empowered by Multimodal Generative Priors
University of Science and Technology of China(中国科学技术大学)
提出PortraitGen肖像视频编辑方法,通过构建动态3D Gaussian场和Neural Gaussian Texture机制,结合多模态生成先验与表情指导,实现了高一致性、超100FPS且支持文本与图像驱动等多种编辑应用的高质量视频编辑。
2024-09-20 cs.CV cs.GR
Disco-LoRA: Disentangled Composition of Content, Style, and Motion for Multi-concept Video Customization
Nanjing University of Posts and Telecommunications(南京邮电大学);Hefei University of Technology(合肥工业大学);Peng Cheng Laboratory(鹏城实验室)
提出Disco-LoRA框架,通过两阶段解耦和重组内容、风格和运动概念,实现多概念视频定制,并采用Z-score正则化协调LoRA权重分布。
2026-06-26 cs.AI cs.CV
CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer
Huazhong University of Science and Technology(华中科技大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Beijing University of Posts and Telecommunications(北京邮电大学)
在本文中,我们的目标是设计一个通用的风格转移方法,能够执行艺术,照片般逼真,和视频风格转移联合,在训练过程中看不到视频。以前的单帧方法假设对整个图像有很强的约束以保持时间一致性,这在许多情况下可能会被违反。相反,我们做了一个温和的和合理的假设,即全球不一致是由当地的不一致,并设计了一个通用的对比一致性保持损失(CCPL)适用于当地补丁。CCPL可以在风格转换过程中保持内容源的一致性,而不会降低风格化。此外,它拥有一个邻居调节机制,从而大大减少了局部失真和相当大的视觉质量改善。除了在多功能风格转换方面的卓越性能外,它还可以轻松扩展到其他任务,例如图像到图像的翻译。此外,为了更好地融合内容和风格特征,我们提出了简单协方差变换(SCT),以有效地对齐内容特征的二阶统计量与风格特征。实验表明,所得到的模型的有效性,多功能的风格转移时,武装与CCPL。
2022-07-19 cs.CV
StyleCrafter: Enhancing Stylized Text-to-Video Generation with Style Adapter
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
针对文本生成视频模型风格表达难、保真度低的问题,提出StyleCrafter方法,通过风格适配器结合图像预训练与微调迁移,实现参考图像引导的高质量风格化视频生成,性能优于现有方法。
2024-09-12 cs.AI cs.CV
FlowVid: Taming Imperfect Optical Flows for Consistent Video-to-Video Synthesis
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta GenAI(Meta生成式人工智能部门)
本文提出FlowVid,一种通过联合空间条件与光流线索并容忍光流不完美的视频到视频合成框架,支持灵活编辑,生成速度快且质量高。
2023-12-29 cs.CV cs.MM
Ref-NPR: Reference-Based Non-Photorealistic Radiance Fields for Controllable Scene Stylization
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技)
当前的3D场景风格化方法使用任意的样式引用来将纹理和颜色作为样式进行传递,缺乏有意义的语义对应。我们引入基于参考的非真实感辐射场(Ref-NPR)来解决这个限制。该可控方法使用辐射场以单个风格化的2D视图作为参考来风格化3D场景。我们提出了一种基于风格化参考视图的射线配准过程,以获得新视图中的伪射线监督。然后,我们利用内容图像中的语义对应关系来填充具有感知相似风格的遮挡区域,从而产生非真实感和连续的新颖视图序列。我们的实验结果表明,Ref-NPR优于现有的场景和视频风格化方法的视觉质量和语义对应。代码和数据可在项目页面https://ref-npr.github.io上公开获取。
2023-03-26 cs.CV
MVStylizer: An Efficient Edge-Assisted Video Photorealistic Style Transfer System for Mobile Phones
Duke University(杜克大学);Quantil Inc.(Quantil公司)
最近的研究在实现图像的神经风格转移方面取得了很大进展,这意味着将图像转换为期望的风格。许多用户开始用手机记录自己的日常生活,然后编辑并与其他用户分享拍摄的图像和视频。然而,直接将现有的风格转移方法应用于视频,即,逐帧传送视频的风格需要非常大量的计算资源。在手机上进行视频的风格转移在技术上仍然是负担不起的。为了应对这一挑战,我们提出了MVStylizer,一个有效的边缘辅助逼真的视频风格传输系统的手机。与逐帧执行风格化不同,只有原始视频中的关键帧由边缘服务器上预先训练的深度神经网络(DNN)处理,而其余的风格化中间帧则由我们设计的基于光流的帧插值算法在手机上生成。还提出了一个元平滑模块,同时将风格化帧放大到任意分辨率,并去除这些放大帧中与风格转移相关的失真。此外,为了不断提高边缘服务器上DNN模型的性能,我们采用联合学习方案,利用从移动客户端收集的数据不断重新训练边缘服务器上的每个DNN模型,并与云服务器上的全局DNN模型同步。这种方案有效地利用了从各种移动客户端收集的数据的多样性,并有效地提高了系统性能。我们的实验表明,MVStylizer可以生成具有更好的视觉质量的风格化的视频相比,国家的最先进的方法,同时实现75.5 $\times$加速1920 $\times$ 1080视频。
2020-06-01 cs.CV cs.LG eess.IV
3D Multi-View Stylization with Pose-Free Correspondences Matching for Robust 3D Geometry Preservation
本文提出一种无需姿态信息或显式3D表示的多视角风格化方法,通过复合目标结合外观迁移与几何保持,提升3D任务的鲁棒性。
2026-03-22 cs.CV