Highly Detailed and Temporal Consistent Video Stylization via Synchronized Multi-Frame Diffusion
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Caritas Institute of Higher Education(明爱专上学院)
提出同步多帧扩散框架,通过自去噪起始阶段基于光流共享帧间信息,实现高细节和时间一致的视频风格化,效果优于现有方法。
2023-11-24 cs.CV
EchoStyle: Unlocking High-Fidelity Video Stylization with Reverse Data Synthesis
The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团);Xi’an Jiaotong University(西安交通大学)
提出EchoStyle框架,通过构建视频到视频架构、自动反向合成数据集V-Style20k和初始跟随模式机制,解决视频风格化中的内容泄露、数据稀缺和长视频适应性问题,实现高质量任意长度视频风格化。
2026-08-11 cs.AI cs.CV
FastBlend: a Powerful Model-Free Toolkit Making Video Stylization Easier
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
FastBlend是一个无模型工具包,通过补丁匹配的混合与插值模式解决视频风格化中的一致性问题,无需修改扩散模型,实验证明其在去闪烁和视频合成上优于现有方法。
2023-11-15 cs.CV
Interactive Video Stylization Using Few-Shot Patch-Based Training
Czech Technical University in Prague(捷克布拉格技术大学);Snap Inc.(Snap公司)
在本文中,我们提出了一种基于学习的方法,基于关键帧的视频风格化,允许艺术家传播的风格从几个选定的关键帧到序列的其余部分。它的主要优点是所得到的风格化在语义上是有意义的,即,根据艺术家的意图,将运动物体的特定部分风格化。与以前的风格转换技术相比,我们的方法不需要任何冗长的预训练过程,也不需要大型训练数据集。我们演示了如何从零开始训练一个外观翻译网络,只使用几个程式化的样本,同时隐式地保持时间的一致性。这就产生了一个视频风格化框架,它支持实时推理、并行处理和对任意输出帧的随机访问。它还可以合并来自多个关键帧的内容,而无需执行显式混合操作。我们展示了它在各种交互式场景中的实际效用,用户在选定的关键帧上绘制,并将其风格转移到现有的录制序列或实时视频流中。
2020-04-29 cs.CV cs.GR
V-Stylist: Video Stylization via Collaboration and Reflection of MLLM Agents
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出多智能体视频风格化系统V-Stylist,通过视频解析、风格树搜索和多轮自我反思协作处理复杂转场与开放风格描述,并构建TVSBench,性能达到SOTA。
2025-03-15 cs.AI cs.CV
StructuReiser: A Structure-preserving Video Stylization Method
CTU in Prague(布拉格捷克技术大学);FEE(电气工程学院);Google(谷歌)
本研究提出新型视频风格化方法StructuReiser,通过用户提供的关键帧实现视频转换,在保留目标视频结构与原始特征的同时提升控制度与一致性,还支持实时推理和自定义编辑,适用于交互式创意场景。
2024-10-07 cs.CV cs.GR
InStyle: Instant Appearance Stylization of 3D Shapes
University of Amsterdam(阿姆斯特丹大学);Bosch Center for AI(博世人工智能中心)
GaussianBlender通过解耦潜在空间实现文本驱动的3D风格化,提供即时高保真风格化并超越传统方法。
2026-10-07 cs.CV
StyleCity: Large-Scale 3D Urban Scenes Stylization
The Hong Kong University of Science and Technology(香港科技大学)
StyleCity是首个视觉与文本驱动的3D城市场景纹理风格化系统,通过神经纹理场和扩散模型实现语义感知风格化及360度天空生成,支持任意分辨率烘焙,显著简化虚拟制作流程。
2024-07-16 cs.CV
Context-Aware Text-Based Binary Image Stylization and Synthesis
Peking University(北京大学);Institute of Computer Science and Technology(计算机科学技术研究所)
在这项工作中,我们提出了一个新的框架,基于文本的二进制图像的风格化。首先,我们的方法风格化的基于笔划的几何形状,如文本,符号和图标在目标二进制图像的基础上输入的风格图像。第二,探讨了程式化几何形状和背景图像的构成。为了完成这项任务,我们提出了保持易读性的结构和纹理转移算法,逐步缩小二进制图像和风格图像之间的视觉差异。然后,风格化之后是上下文感知的布局设计算法,其中采用无缝性和美学的线索来确定背景中形状的最佳布局。给定布局,二值图像无缝嵌入到背景下的上下文感知的边界约束下的纹理合成。根据二值图像的内容,我们的方法可以应用到许多领域。我们表明,所提出的方法是能够解决无监督的文本风格化问题,并优于国家的最先进的风格转移方法在自动艺术排版创作。此外,在视觉-文本合成、图标/符号绘制和结构引导的图像修补等多个任务上的大量实验表明了该方法的有效性。
2018-10-09 cs.CV
Morpheus: Text-Driven 3D Gaussian Splat Shape and Color Stylization
Niantic(Niantic公司);UCL(伦敦大学学院)
针对现有新视角合成风格化难以改变几何的问题,提出自回归 3D Gaussian Splatting 方法,利用可控 RGBD 扩散模型与深度引导一致性机制实现文本驱动的形状和颜色风格化。
2025-03-18 cs.CV
X-Mesh: Towards Fast and Accurate Text-driven 3D Stylization via Dynamic Textual Guidance
Xiamen University(厦门大学);Contemporary Amperex Technology Co., Limited (CATL)(宁德时代新能源科技股份有限公司(CATL))
提出X-Mesh框架,通过文本引导动态注意力模块(TDAM)在顶点特征提取时动态整合目标文本指导,实现更准确、更快的3D风格化,并引入MIT-30基准与自动化指标解决评估问题。
2023-08-04 cs.CV
HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出HyperStyle3D,利用超网络在单次前向传播中调控3D感知GAN生成器参数,并以CLIP提供文本引导,实现无需3D数据和风格图像的多风格、细粒度3D肖像风格化。
2023-04-19 cs.CV
ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation Fields
Durham university(杜伦大学);IHPC, A*STAR(新加坡科技研究局高性能计算研究院);Tencent Jarvis Research Center(腾讯Jarvis研究中心)
针对现有3D NeRF风格迁移需逐风格重训练的问题,提出零样本风格化方法ConRF,通过映射CLIP特征到预训练VGG风格空间并结合3D体表示,实现文本/图像引导的全局或局部3D场景风格化,视觉效果优于现有方法。
2024-03-06 cs.CV
Text2Scene: Text-driven Indoor Scene Stylization with Part-aware Details
Seoul National University(首尔国立大学)
Text2Scene提出一种基于参考图像和文本描述,通过几何分割与部件级纹理细节添加,为多对象虚拟场景自动生成逼真且保持结构上下文的纹理的实用可扩展方法。
2023-08-31 cs.CV
TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes
Nankai University(南开大学)
本文提出TeMO框架,通过DGA跨模态图对齐多物体点与文本名词短语,并结合CGC粗细粒度对比监督,实现高质量文本驱动的多物体3D网格风格化。
2023-12-07 cs.CV
TET-GAN: Text Effects Transfer via Stylization and Destylization
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
文本效果转移技术自动使文本更加引人注目。然而,以前的风格转换方法要么研究一般风格的模型,这不能处理沿着纹理的高度结构化的文本效果,要么需要手动设计用于文本效果的精细匹配标准。在本文中,我们专注于使用深度神经特征的强大表征能力来实现文本效果转移。为此,我们提出了一种新的纹理效果传输GAN(TET-GAN),它包括一个风格化子网络和一个去风格化子网络。其关键思想是训练我们的网络来完成风格转移和风格去除的目标,这样它就可以学会解开和重组文本效果图像的内容和风格特征。为了支持我们网络的训练,我们提出了一个新的文本效果数据集,其中包含多达64种专业设计的样式,837个字符。我们表明,解开的功能表示使我们能够使用一个网络传输或删除任意字形上的所有这些样式。此外,灵活的网络设计使TET-GAN能够通过只需要一个示例的一次性学习有效地扩展到新的文本样式。我们证明了所提出的方法在生成高质量的风格化文本的国家的最先进的方法的优越性。
2018-12-27 cs.CV
MeshBrush: Painting the Anatomical Mesh with Neural Stylization for Endoscopy
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
针对内窥镜仿真视频缺乏时间一致性的问题,本文提出 MeshBrush 神经网格风格化方法,结合可微渲染、逐顶点纹理与 I2I 模型生成高保真且时序一致的逼真视频。
2024-09-09 cs.CV eess.IV
Ref-NPR: Reference-Based Non-Photorealistic Radiance Fields for Controllable Scene Stylization
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技)
当前的3D场景风格化方法使用任意的样式引用来将纹理和颜色作为样式进行传递,缺乏有意义的语义对应。我们引入基于参考的非真实感辐射场(Ref-NPR)来解决这个限制。该可控方法使用辐射场以单个风格化的2D视图作为参考来风格化3D场景。我们提出了一种基于风格化参考视图的射线配准过程,以获得新视图中的伪射线监督。然后,我们利用内容图像中的语义对应关系来填充具有感知相似风格的遮挡区域,从而产生非真实感和连续的新颖视图序列。我们的实验结果表明,Ref-NPR优于现有的场景和视频风格化方法的视觉质量和语义对应。代码和数据可在项目页面https://ref-npr.github.io上公开获取。
2023-03-26 cs.CV
Scene-Conditional 3D Object Stylization and Composition
University of Oxford(牛津大学)
提出一种场景条件化框架,通过可微光线追踪与扩散模型先验对3D资产纹理和光照进行优化,实现融入2D场景的风格化与逼真组合。
2025-05-01 cs.CV
DEADiff: An Efficient Stylization Diffusion Model with Disentangled Representations
University of Science and Technology of China(中国科学技术大学);ByteDance Inc.(字节跳动公司)
针对现有风格迁移方法损害文本可控性的问题,提出DEADiff模型,通过风格语义解耦机制和非重建学习,实现风格化效果与文本可控性的最优平衡。
2024-03-12 cs.CV
Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
针对现有视频风格化方法存在的一致性差、视觉质量不足的问题,本文提出基于扩散模型的Diffutoon卡通着色方法,将问题拆解为四个子任务,可生成高分辨率长时长动漫风格视频并支持提示编辑,效果优于开源及闭源基线,已开源相关代码。
2024-01-29 cs.CV
VISTA: Triplet-Supervised Video Style Transfer with Diffusion Transformers
Show Lab, National University of Singapore(新加坡国立大学Show实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Lovart AI(Lovart人工智能)
本文提出VISTA方法,通过引入大规模三元组数据和基于扩散变换器的框架,解决视频风格迁移中风格、内容和运动的联合建模与解耦问题,实现了高质量的风格迁移效果。
2026-05-17 cs.CV
3DStyleGLIP: Part-Tailored Text-Guided 3D Neural Stylization
Kyung Hee University(庆熙大学);Korea University(高丽大学)
针对现有3D风格化方法仅支持整体风格化、缺乏细粒度可控性的问题,提出3DStyleGLIP框架,利用GLIP的视觉-语言嵌入空间实现文本引导的部件级3D风格化,提升3D内容创作的定制灵活性。
2024-12-09 cs.CV cs.GR
Interactive Control over Temporal Consistency while Stylizing Video Streams
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究院);Digital Masterpieces GmbH(Digital Masterpieces有限公司)
提出一种实时视频流风格化方法,在全高清分辨率下通过轻量级光流网络和局部全局一致性特征的自适应组合,实现交互式时间一致性控制,优于现有方法。
2023-06-29 cs.CV cs.GR
Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style Transfer
UCAS(中国科学院大学);Institute of Automation, CAS(中国科学院自动化研究所)
本文提出Style-A-Video,一种零样本视频风格化方法,利用生成式预训练Transformer和图像潜扩散模型,通过改进引导条件、采样优化和时间一致性模块,实现文本控制的视频风格迁移,在保持内容的同时降低资源消耗。
2023-05-09 cs.CV cs.MM
NeRF-Art: Text-Driven Neural Radiance Fields Stylization
City University of Hong Kong(香港城市大学);The Hong Kong Polytechnic University(香港理工大学);Snap Inc.(Snap公司);Netflix(奈飞);Microsoft Cloud AI(微软云人工智能部门)
神经辐射场(NeRF)作为一种强有力的三维场景表示方法,能够从多视点图像中合成高质量的新视点。然而,风格化NeRF仍然具有挑战性,特别是在模拟同时改变外观和几何形状的文本引导风格时。在本文中,我们提出了NeRF-Art,这是一种文本引导的NeRF风格化方法,它可以通过简单的文本提示操作预训练的NeRF模型的风格。与以前的方法,要么缺乏足够的几何变形和纹理细节,或需要网格来指导风格化,我们的方法可以将3D场景的目标风格,其特征在于所需的几何形状和外观变化,没有任何网格的指导。这是通过引入一种新的全局-局部对比学习策略,结合方向约束,同时控制目标风格的轨迹和强度来实现的。此外,我们采用了一种权重正则化方法,有效地抑制了在几何风格化过程中密度场变换时容易出现的云状伪影和几何噪声。通过对各种风格的大量实验,我们证明了我们的方法是有效的和强大的单视图风格化质量和跨视图的一致性。代码和更多结果可以在我们的项目页面中找到:https://cassiepython.github.io/nerfart/。
2022-12-15 cs.CV cs.GR
Block-wise LoRA: Revisiting Fine-grained LoRA for Effective Personalization and Stylization in Text-to-Image Generation
Huawei Cloud Computing Technologies Co., Ltd(华为云计算技术有限公司)
针对文本生成图像现有高效微调方法难以兼顾有效个性化与风格化的问题,提出分块LoRA对SD不同模块细粒度微调,实现图像贴合提示、保留目标特征且符合目标风格,经实验验证有效。
2024-03-12 cs.AI cs.CV
DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Kuaishou Technology(快手科技)
本文提出 DiffStyler 双重扩散架构,通过逐步融合文本风格引导和基于内容图像的可学习噪声,控制内容与风格平衡并保留结构,实验证明其优于基线方法。
2023-12-18 cs.CV cs.GR
CapTalk: Text-Guided Stylization and Speech-Driven 3D Head Animation
The University of Tokyo(东京大学);Snap Research, Snap Inc.;RIKEN AIP(理化学研究所AIP)
提出CapTalk框架,通过文本描述控制说话风格和情感,结合语音驱动生成同步唇动和面部表情,支持动态情感变化。
2026-05-28 cs.CV
MOSAIC: Multi-Object Segmented Arbitrary Stylization Using CLIP
IIT Hyderabad(印度理工学院海得拉巴分校)
本文提出 MOSAIC 方法,利用 CLIP 和视觉 Transformer 实现文本引导的多对象分割与任意风格化,首次解决对象级精细风格控制问题,并通过实验证明其高质量生成与泛化能力。
2023-09-24 cs.CV eess.IV
Single Trajectory Distillation for Accelerating Image and Video Style Transfer
Xiaohongshu(小红书);ShanghaiTech University(上海科技大学)
针对扩散风格化多步去噪计算开销大的问题,提出单轨迹蒸馏STD,通过轨迹库存储教师轨迹状态并结合非对称对抗损失,在图像和视频风格化上取得更好的风格相似度与美学效果。
2024-12-25 cs.CV
Improved 3D Scene Stylization via Text-Guided Generative Image Editing with Region-Based Control
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所)
本文提出了一种改进的3D场景风格化方法,通过文本引导和基于区域的控制,提升风格一致性和视图一致性。
2026-03-02 cs.CV cs.GR
TeleStyle: Content-Preserving Style Transfer in Images and Videos
TeleAI
TeleStyle通过课程持续学习框架实现图像和视频内容保持的风格迁移,提升风格相似性和内容一致性,达到最佳性能。
2026-01-28 cs.CV
3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models
School of Computer Science, Fudan University(复旦大学计算机科学学院);University of Science and Technology of China(中国科学技术大学);HiDream.ai Inc.(HiDream.ai 公司)
针对文本驱动3D风格化的细粒度控制难题,提出3DStyle-Diffusion模型,结合2D扩散模型的几何与外观引导实现高质量细粒度3D网格风格化,还构建了对应数据集与评估协议。
2023-11-09 cs.CV cs.MM
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley(加州大学伯克利分校);FAIR, Meta(Meta FAIR研究院);University of Michigan(密歇根大学)
提出基于自监督的视听声景风格化方法,利用latent diffusion模型和自然视频中的重复声音事件,将目标场景的声音特性迁移至输入语音,并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
Instruct-Video2Avatar: Video-to-Avatar Generation with Instructions
本文提出Instruct-Video2Avatar,结合图像条件扩散模型、视频风格化和可变形神经辐射场,从单目RGB视频与文本指令生成可动画的照片级真实3D头部化身,并在实验中优于现有方法。
2023-06-05 cs.CV
A Fast Text-Driven Approach for Generating Artistic Content
Adobe Research(Adobe研究)
本文提出一种无限制的文本驱动艺术生成框架,支持多样风格与结构控制,并通过艺术超分辨率模块增强细节,提升生成速度与质量。
2025-08-06 cs.CV cs.MM
CleanStyle: Plug-and-Play Style Conditioning Purification for Text-to-Image Stylization
AGI Lab, Westlake University(西lake大学AGI实验室)
CleanStyle通过动态抑制风格嵌入的尾部成分,提升文本到图像风格化任务中提示保真度和视觉质量。
2026-02-24 cs.CV
Text2Mesh: Text-Driven Neural Stylization for Meshes
University of Chicago(芝加哥大学);Tel Aviv University(特拉维夫大学)
在这项工作中,我们开发了直观的控件来编辑3D对象的样式。我们的框架,Text2Mesh,通过预测符合目标文本提示的颜色和局部几何细节来风格化3D网格。我们考虑使用固定的网格输入(内容)与学习的神经网络,我们称之为神经风格的场网络耦合的3D对象的解纠缠表示。为了修改风格,我们获得一个文本提示(描述风格)和一个程式化的网格之间的相似性得分,通过利用CLIP的代表性力量。Text2Mesh既不需要预先训练的生成模型,也不需要专门的3D网格数据集。它可以处理低质量的网格(非流形,边界等)。具有任意亏格,并且不需要UV参数化。我们证明了我们的技术的能力,在各种各样的3D网格合成无数的风格。
2021-12-06 cs.CL cs.CV cs.GR
TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition
South China University of Technology(华南理工大学);DexForce Co. Ltd.(德擎科技有限公司);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
通过风格化生成三维内容是计算机视觉和图形学研究中一个很有前途但又具有挑战性的问题。在这项工作中,我们专注于风格化的真实感外观渲染的任意拓扑结构的给定表面网格。受最近对比图像预训练(CLIP)模型的跨模态监督的推动,我们提出了TANGO,它根据文本提示以照片般逼真的方式传输给定3D形状的外观风格。从技术上讲,我们建议解开的外观风格的空间变化的双向反射分布函数,局部几何变化,和照明条件,这是共同优化,通过监督的CLIP损失,由一个球形高斯基于微分渲染。因此,TANGO通过自动预测反射效果,即使是裸露的低质量网格,也可以实现照片级逼真的3D风格转换,而无需在特定任务的数据集上进行训练。大量的实验表明,TANGO优于现有的文本驱动的3D风格传输方法的照片级质量,3D几何形状的一致性,和鲁棒性时,风格化低质量的网格。我们的代码和结果可以在我们的项目网页https://cyw-3d.github.io/tango/上找到。
2022-11-03 cs.AI cs.CV
3D Paintbrush: Local Stylization of 3D Shapes with Cascaded Score Distillation
University of Chicago(芝加哥大学);Snap Research(Snap 研究院)
本文提出3D Paintbrush,通过级联分数蒸馏(CSD)在网格上自动生成局部语义区域的纹理,同时优化定位与风格化,提升纹理细节和分辨率,适用于多种形状。
2023-11-16 cs.CV cs.GR
Occlusion-robust Stylization for Drawing-based 3D Animation
School of Electrical Engineering, KAIST(电气工程学院,韩国科学技术院)
针对基于手绘的3D动画中风格化网络因训练与推理的姿态差距导致遮挡下风格质量下降的问题,提出利用光流提供抗遮挡边缘引导的OSF框架,实现单阶段推理,速度提升2.4倍、内存降低2.1倍。
2025-08-01 cs.CV cs.GR
CLIP-Actor: Text-Driven Recommendation and Stylization for Animating Human Meshes
POSTECH(浦项科技大学);Yonsei University(延世大学)
我们提出了CLIP-Actor,一个文本驱动的运动推荐和神经网格风格化系统,用于人体网格动画。CLIP-Actor通过推荐运动序列和优化网格样式属性,使3D人体网格动画符合文本提示。我们建立了一个文本驱动的人体运动推荐系统,利用大规模的人体运动数据集的语言标签。给定自然语言提示,CLIP-Actor以由粗到细的方式建议符合文本的人体运动。然后,我们的新的zero-shot神经风格优化详细化和纹理化推荐的网格序列,以符合时间一致和姿态不可知的方式提示。这是独特的,因为先前的工作未能生成合理的结果时,艺术家设计的网格的姿势不符合从一开始的文本。我们进一步提出了时空视图增强和掩码加权嵌入注意力,通过利用多帧人体运动和拒绝渲染不良的视图来稳定优化过程。我们证明了CLIP-Actor仅从自然语言提示中产生具有详细几何形状和纹理的运动中的合理的和人类可识别的风格的3D人体网格。
2022-07-21 cs.AI cs.CV cs.GR
Owner3D: Ownership-Guided Style Writing for Training-Free Localized 3D Stylization
College of Computer Science, Sichuan University(四川大学计算机学院)
本研究针对LRM中本地化3D风格化的风格泄漏与边界模糊问题,提出无训练框架Owner3D,通过所有权引导风格写入、边界双槽及表面优先纹理读出实现更优的风格保真与外观保留。
2026-08-17 cs.CV
HiCAST: Highly Customized Arbitrary Style Transfer with Adapter Enhanced Diffusion Models
Harbin Institute of Technology(哈尔滨工业大学);Baidu Research(百度研究院);Baidu Inc.(百度公司);University of Chinese Academy of Sciences(中国科学院大学);ETH Zurich(苏黎世联邦理工学院)
HiCAST基于潜在扩散模型并引入风格适配器,通过多级风格信息对齐实现高度定制化的任意风格迁移,并扩展至视频任务以提升跨帧一致性,性能优于现有方法。
2024-01-11 cs.AI cs.CV
Mixture of Style Experts for Diverse Image Stylization
VCIP, CS, Nankai University(南开大学计算机学院视觉与图像处理实验室);NKIARI, Shenzhen Futian(深圳福田南开大学新一代人工智能研究院);Tianjin University(天津大学);vivo BlueImage Lab(vivo蓝心影像实验室)
本文提出StyleExpert框架,基于MoE模型实现语义感知的图像风格化,通过统一编码器和动态门控机制处理多层级语义风格,实验表明其在保持语义和材质细节方面优于现有方法。
2026-03-29 cs.CV
LLM-Enabled Style and Content Regularization for Personalized Text-to-Image Generation
School of Software, Shandong University(软件学院,山东大学);Shandong Research Institute of Shandong University(山东大学山东研究院);Inspur Technology(Inspur技术公司)
针对个性化文本到图像生成中风格化不足和内容不准确的问题,本文提出风格细化和内容保持策略,利用视觉推理提示优化风格嵌入并保持模型泛化能力,实验证明该方法生成效果更优。
2025-04-19 cs.CV
StyleMamba : State Space Model for Efficient Text-driven Image Style Transfer
Imperial College London(帝国理工学院);Dell Research UK(戴尔英国研究院);LUT School of Engineering Sciences(拉彭兰塔理工大学工程科学学院)
针对文本引导图像风格迁移训练与推理成本高的问题,本文提出基于条件状态空间模型的 StyleMamba,并结合掩码与二阶梯度方向损失,显著降低迭代次数和推理时间。
2024-05-08 cs.AI cs.CV
ColoristaNet for Photorealistic Video Style Transfer
Fudan University(复旦大学)
真实感风格转换的目的是将图像的艺术风格转换到输入图像或视频上,同时保持真实感。在本文中,我们认为这是在现有的算法中的摘要统计匹配方案,导致不切实际的风格化。为了避免使用流行的革兰氏损失,我们提出了一个自我监督的风格转移框架,其中包括一个风格删除部分和一个风格恢复部分。样式去除网络去除原始图像样式,并且样式恢复网络以监督的方式恢复图像样式。同时,针对现有特征转换方法存在的问题,提出了解耦的实例规范化方法,将特征转换分解为风格白化和重新风格化。它在ColoristaNet中工作得很好,可以在保持照片真实感的同时有效地传输图像风格。为了确保时间一致性,我们还结合了光流方法和ConvLSTM来嵌入上下文信息。实验结果表明,与现有的风格化算法相比,ColoristaNet能够获得更好的风格化效果。
2022-12-21 cs.CV cs.LG eess.IV
StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation
KAIST, Visual Media Lab(韩国科学技术院,视觉媒体实验室)
StyleMM提出通过文本引导的图像翻译风格化人脸图像来微调3DMM生成模型,在保留身份、对齐和表情属性的同时实现可控、可动画化的风格化三维人脸生成,并在多样性和风格化能力上优于现有方法。
2025-08-15 cs.AI cs.CV cs.GR
Intelligent Artistic Typography: A Comprehensive Review of Artistic Text Design and Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文综述艺术文本生成,涵盖风格化与语义排版的方法、应用、数据集及未来方向,并提供了模型资源列表。
2024-07-20 cs.AI cs.CV cs.GR
Scale-Separated Conditioning for Style-Encoder-Free Diffusion Stylization
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院);Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Department of Computer Science, Brown University(布朗大学计算机科学系)
本研究提出无风格编码器的扩散风格化框架SEFS,通过单张图像低分辨率裁剪形成风格令牌,在未配对单张图像上训练,提升艺术风格化的内容一致性等性能,代码将公开。
2026-08-21 cs.AI cs.CV
LISA: Localized Image Stylization with Audio via Implicit Neural Representation
NVIDIA Corporation(英伟达公司);KAIST(韩国科学技术院);Korea University(高丽大学)
我们提出了一个新的框架,本地化图像风格化与音频(LISA)进行音频驱动的本地化图像风格化。声音常常提供关于场景的特定上下文的信息,并且与场景或对象的某个部分密切相关。然而,现有的图像风格化作品集中于使用图像或文本输入来风格化整个图像。基于音频输入对图像的特定部分进行风格化是自然的,但具有挑战性。在这项工作中,我们提出了一个框架,用户提供一个音频输入本地化的声源在输入图像和另一个本地风格化的目标对象或场景。LISA首先通过利用CLIP嵌入空间,使用视听定位网络生成精细的定位地图。然后,我们利用隐式神经表示(INR)以及预测的定位图来基于声音信息对目标对象或场景进行风格化。所提出的INR可以操纵本地化像素值以与所提供的音频输入语义一致。通过一系列的实验,我们表明,该框架优于其他音频引导的风格化方法。此外,LISA构造简洁的定位地图,并根据给定的音频输入自然地操纵目标对象或场景。
2022-11-21 cs.CV cs.MM cs.SD
UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文提出免调优框架 UniEdit,利用预训练文本到视频生成器及运动参考、重建分支与时空注意力注入,统一支持视频运动和外观编辑,并在实验中超过现有方法。
2024-04-07 cs.CV