HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出HyperStyle3D,利用超网络在单次前向传播中调控3D感知GAN生成器参数,并以CLIP提供文本引导,实现无需3D数据和风格图像的多风格、细粒度3D肖像风格化。
2023-04-19 cs.CV
Realtime Data-Efficient Portrait Stylization Based On Geometric Alignment
The University of Tokyo(东京大学);Meituan.co.ltd(美团科技);Hefei Normal University(合肥师范学院)
本文提出基于几何对齐的轻量级肖像风格化方法,通过整合可微TPS模块提升训练效率,实现2倍数据效率和100倍计算复杂度降低,支持移动设备实时推理。
2026-02-15 cs.CV
Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting
ShanghaiTech University(上海科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出免训练框架 Portrait Diffusion,利用扩散模型注意力融合与 Chain-of-Painting 渐进重绘,实现无需微调的细致人脸风格化。
2023-12-03 cs.CV
ZePo: Zero-Shot Portrait Stylization with Faster Sampling
SIST, ShanghaiTech University(上海科技大学SIST);Institute of Automation, CAS(中国科学院自动化研究所)
针对现有扩散模型人像风格化方法速度慢的问题,提出无需逆扩散的ZePo框架,借助潜一致性模型特征与风格增强注意力控制,仅四步采样实现高效高保真的零样本人像风格化。
2024-08-10 cs.CV
MagicStyle: Portrait Stylization Based on Reference Image
Honor(荣耀(品牌))
针对人像参考图像风格化中细节保留与风格迁移难兼顾的问题,提出含CSDI和FFF两阶段的MagicStyle方法,通过存储并融合自注意力特征实现风格化,经实验验证有效。
2024-09-12 cs.CV
Context-Preserving Two-Stage Video Domain Translation for Portrait Stylization
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
本文针对人像风格化在视频域中时间不连贯的问题,提出一种上下文保持的两阶段视频转换框架,在保持源视频上下文的同时实现实时风格化,每帧仅需0.011秒且参数量仅5.6M。
2023-05-30 cs.CV
DCT-Net: Domain-Calibrated Translation for Portrait Stylization
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
介绍了一种用于Few-Shot人像风格化的图像翻译架构DCT-Net。给定有限的样式范例($\sim$ 100),新架构可以产生高质量的样式转移结果,其具有合成高保真内容的高级能力和处理复杂场景(例如,闭塞和附件)。此外,它通过一个由部分观察训练的优雅评估网络(即,程式化的头)。基于少样本学习的风格转换是具有挑战性的,因为由于仅由几个训练样本形成的有偏分布,所学习的模型可以容易地在目标域中变得过拟合。本文旨在通过采用“先校准,后翻译”的核心思想,探索局部聚焦翻译的增强全局结构来应对这一挑战。具体而言,建议的DCT-Net由三个模块组成:一个内容适配器借用强大的源照片之前校准目标样本的内容分布;一个几何扩展模块,使用仿射变换释放空间语义约束;和一个纹理翻译模块,利用校准的分布产生的样本来学习细粒度的转换。实验结果表明,该方法在头部风格化方面优于现有技术,在自适应变形的全图像平移方面也是有效的。
2022-07-06 cs.CV
Exemplar-Based 3D Portrait Stylization
City University of Hong Kong(香港城市大学);University of Southern California(南加利福尼亚大学);Snap Inc.(Snap公司)
基于范例的肖像风格化具有广泛的吸引力和高度的期望。尽管最近取得了成功,但它仍然具有挑战性,特别是在考虑纹理和几何风格时。在本文中,我们提出了第一个框架一次性三维肖像风格转移,它可以生成三维人脸模型与几何夸张和纹理风格化,同时保持身份从原始内容。它只需要一个任意样式的图像,而不是一个特定样式的训练样本的大集合,提供完全参数化和分离的几何和纹理输出,并使进一步的图形应用与3D表示。该框架包括两个阶段。在第一个几何风格转换阶段,我们使用面部标志平移来捕获粗糙的几何风格,并引导密集的3D人脸几何形状的变形。在第二个纹理风格转换阶段,我们专注于执行风格转换上的规范纹理,采用可微分渲染器优化纹理在多视图框架。实验结果表明,我们的方法取得了良好的效果,不同的艺术风格,并优于现有的方法。我们还通过各种2D和3D图形应用程序证明了我们的方法的优点。项目页面是https://halfjoe.github.io/projs/3DPS/index.html。
2021-04-29 cs.CV cs.GR
Portrait Video Editing Empowered by Multimodal Generative Priors
University of Science and Technology of China(中国科学技术大学)
提出PortraitGen肖像视频编辑方法,通过构建动态3D Gaussian场和Neural Gaussian Texture机制,结合多模态生成先验与表情指导,实现了高一致性、超100FPS且支持文本与图像驱动等多种编辑应用的高质量视频编辑。
2024-09-20 cs.CV cs.GR
EdgeRelight360: Text-Conditioned 360-Degree HDR Image Generation for Real-Time On-Device Video Portrait Relighting
Qualcomm AI Research(高通人工智能研究)
该研究提出EdgeRelight360方法,基于HDR10标准用扩散模型实现文本生成360度HDRI贴图,可在移动设备端侧实时完成视频人像补光,兼顾隐私与低时延,为多类实时视频应用提供新方案。
2024-04-15 cs.CV
Fast Deep Matting for Portrait Animation on Mobile Phone
National Lab of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);North China University of Technology(北方工业大学)
图像抠图在图像和视频编辑中起着重要的作用。然而,图像抠图的公式化本质上是不适定的。传统的抠图方法通常采用交互的方式来处理图像的三重图和笔画问题,无法在手机上实时运行。在本文中,我们提出了一个实时的自动深抠图方法的移动设备。通过利用密集连接的块和扩张卷积,设计了一个轻型全卷积网络来预测肖像图像的粗糙二进制掩码。并进一步设计了一个边缘保持和自适应抠图的羽化块,用于学习引导滤波器并将二值掩模转换为alpha抠图。最后,在移动设备上搭建了一个基于快速深度抠图的人像自动动画系统,该系统无需任何交互,可以实现15 fps的实时抠图。实验结果表明,该方法取得了可比的结果与国家的最先进的抠图求解器。
2017-07-26 cs.CV
MVStylizer: An Efficient Edge-Assisted Video Photorealistic Style Transfer System for Mobile Phones
Duke University(杜克大学);Quantil Inc.(Quantil公司)
最近的研究在实现图像的神经风格转移方面取得了很大进展,这意味着将图像转换为期望的风格。许多用户开始用手机记录自己的日常生活,然后编辑并与其他用户分享拍摄的图像和视频。然而,直接将现有的风格转移方法应用于视频,即,逐帧传送视频的风格需要非常大量的计算资源。在手机上进行视频的风格转移在技术上仍然是负担不起的。为了应对这一挑战,我们提出了MVStylizer,一个有效的边缘辅助逼真的视频风格传输系统的手机。与逐帧执行风格化不同,只有原始视频中的关键帧由边缘服务器上预先训练的深度神经网络(DNN)处理,而其余的风格化中间帧则由我们设计的基于光流的帧插值算法在手机上生成。还提出了一个元平滑模块,同时将风格化帧放大到任意分辨率,并去除这些放大帧中与风格转移相关的失真。此外,为了不断提高边缘服务器上DNN模型的性能,我们采用联合学习方案,利用从移动客户端收集的数据不断重新训练边缘服务器上的每个DNN模型,并与云服务器上的全局DNN模型同步。这种方案有效地利用了从各种移动客户端收集的数据的多样性,并有效地提高了系统性能。我们的实验表明,MVStylizer可以生成具有更好的视觉质量的风格化的视频相比,国家的最先进的方法,同时实现75.5 $\times$加速1920 $\times$ 1080视频。
2020-06-01 cs.CV cs.LG eess.IV
Real-time Identity Defenses against Malicious Personalization of Diffusion Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Sea AI Lab(Sea AI实验室)
针对扩散模型个性化带来的身份复制风险,提出实时身份防御器(RID),通过单次前向传播生成对抗扰动,实现毫秒级防御并兼顾保护效果,可部署于边缘设备。
2025-01-19 cs.CV