SwiftAvatar: Efficient Auto-Creation of Parameterized Stylized Character on Arbitrary Avatar Engines
Beijing University of Posts and Telecommunications（北京邮电大学）；Douyin Vision（抖音视觉）
参数化风格化角色的创建涉及对众多参数的仔细选择，这些参数也被称为可以由化身引擎解释的“化身向量”。然而，现有的自动为用户创建化身的无监督化身向量估计方法通常由于逼真的面部和风格化的化身图像之间的域间隙而无法工作。为此，我们提出了SwiftAvatar，一种新颖的化身自动创建框架，显然优于以前的作品。SwiftAvatar引入了双域生成器，可以使用共享的潜在代码创建成对的真实面孔和化身图像。然后，通过使用化身向量对从引擎渲染的化身图像执行GAN反转，潜在代码可以与化身向量成对地桥接。通过这种方式，我们能够尽可能多地合成高质量的配对数据，包括化身向量及其对应的真实面孔。我们还提出了语义增强，以提高合成的多样性。最后，在合成对上训练轻量级化身向量估计器以实现高效的自动创建。我们的实验证明了SwiftAvatar在两个不同的化身引擎上的有效性和效率。SwiftAvatar的优越性和优越的灵活性也在主观和客观评价中得到了验证。
2023-02-17 cs.AI cs.CV
Portrait Stylization: Artistic Style Transfer with Auxiliary Networks for Human Face Stylization
University of São Paulo（圣保罗大学）；Instituto de Ciências Matemáticas e de Computação（数学与计算机科学研究所）
针对图像风格迁移中 VGG-19 等通用分类器难以保留人脸几何与表情特征的问题，本文引入辅助预训练人脸识别模型的嵌入，引导算法将内容图像的人脸个体特征传播至最终风格化结果。
2023-09-23 cs.CV
3D Face Style Transfer with a Hybrid Solution of NeRF and Mesh Rasterization
Amazon（亚马逊）
本文提出一种结合NeRF和网格光栅化的三阶段混合框架，通过提取网格优化与条件颜色网络，解决了3D人脸风格迁移中的多视角一致性与收敛性问题，实现了高质量且风格可控的3D风格迁移。
2023-11-22 cs.CV
StyO: Stylize Your Face in Only One-shot
University of Chinese Academy of Sciences（中国科学院大学）；Meitu Inc.（美图公司）
针对单样本人脸风格化中几何变化与内容保留难兼顾的问题，提出基于LDM的StyO模型，通过IDL解耦内容风格、FCC精细控制重组，在多风格绘画上实现优于SOTA的效果。
2024-12-13 cs.CV
ChatAnyone: Stylized Real-time Portrait Video Generation with Hierarchical Motion Diffusion Model
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
提出ChatAnyone框架，通过分层运动扩散模型和显式手部控制，实现风格化实时上半身人像视频生成，支持4090 GPU上30fps的交互式聊天。
2025-03-27 cs.CV
Style Transfer With Adaptation to the Central Objects of the Scene
SAS（赛仕软件）
风格转换是指将一幅图像的某些内容转换成另一幅图像的风格，例如将一张全家福照片转换成某位著名画家的绘画风格。经典的风格转换算法的缺点是它将风格统一地施加在内容图像的各个部分上，这会干扰内容图像上的中心对象，例如人脸或文本，并且使它们无法识别。本文提出了一种新的风格转换算法，该算法自动检测内容图像上的中心对象，生成空间重要性掩码，并不均匀地施加风格：中心对象被风格化较少以保持其可识别性，图像的其他部分被风格化以保持风格。三种方法的自动中央目标检测提出和评价定性和通过用户评价研究。这两个比较表明，更高的质量的风格化相比，经典的风格转移方法。
2019-06-04 cs.CV
FaceShot: Bring Any Character into Life
Tongji University（同济大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University of Science and Technology（南京理工大学）
本文提出免训练肖像动画框架FaceShot，通过外观引导和坐标重定向模块生成精确关键点序列，结合预训练动画模型，突破风格化角色限制，在CharacBench上超越SOTA。
2025-03-02 cs.CV
STALP: Style Transfer with Auxiliary Limited Pairing
Czech Technical University in Prague（布拉格捷克理工大学）；Adobe Research（Adobe研究院）
我们提出了一种基于实例的图像风格化方法，该方法使用一对源图像和其风格化的对应物。我们演示了如何训练一个图像翻译网络，可以执行实时语义有意义的风格转移到一组目标图像与源图像相似的内容。我们的方法的一个关键附加值是它还考虑了训练过程中目标图像的一致性。虽然这些没有程式化的对应物，我们限制翻译，以保持神经反应的统计数据与从程式化的源中提取的数据兼容。与使用类似输入的并发技术相比，我们的方法更好地保留了源样式的重要视觉特征，并且可以提供时间稳定的结果，而无需显式处理时间一致性。我们展示了它的实际效用，包括视频风格化，风格转移到dumeramas，面孔和3D模型的各种应用程序。
2021-10-20 cs.CV cs.GR
ObjMST: An Object-Focused Multimodal Style Transfer Framework
Ashoka University（阿肖克大学）；Indian Institute of Technology, BHU（印度理工学院（瓦拉纳西））
ObjMST提出以对象为中心的多模态风格迁移框架，通过风格特定掩码方向性CLIP损失和显著到关键映射机制，分别对显著对象与周围元素进行风格监督并实现无缝融合。
2025-03-06 cs.CV
OMGTex: One-stage Multi-style Facial Texture Reconstruction without Geometry Guidance
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院）；Guangdong Provincial Key Laboratory of Future Networks of Intelligence（广东省未来网络智能化重点实验室）；FNii-Shenzhen（FNii-深圳）
提出OMGTex，一种端到端的扩散框架，无需3D几何先验，直接从多风格面部图像重建高质量、可编辑的UV纹理，通过梯度引导推理和语义感知训练实现鲁棒重建与编辑。
2026-05-25 cs.CV
Diffusion-driven GAN Inversion for Multi-Modal Face Image Generation
Yonsei University（延世大学）；LG Electronics（LG电子）；Queen Mary University of London（伦敦玛丽女王大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
提出扩散驱动的 GAN 反演框架，通过映射与风格调制网络融合扩散模型多模态特征，实现文本和结构条件下的真实感2D、多视图及3D人脸生成。
2024-05-07 cs.CV
Identity-preserving Face Recovery from Stylized Portraits
Data61/CSIRO（联邦科学与工业研究组织Data61）；Australian National University（澳大利亚国立大学）
给定一幅艺术肖像，恢复保留主体身份的潜在照片级真实面部是具有挑战性的，因为面部细节在艺术肖像中经常被扭曲或完全丢失。我们开发了一种保留身份的肖像人脸恢复（IFRP）方法，该方法利用了风格去除网络（SRN）和判别网络（DN）。我们的SRN，由一个自动编码器与残留块嵌入跳过连接，被设计为将特征图的风格化图像的特征图的相应的照片级真实感的脸。由于空间Transformer网络（STNN），SRN自动补偿风格化肖像的未对齐，以输出对齐的逼真人脸图像。为了确保身份保留，我们通过距离度量来促进恢复的和地面真实的面孔共享相似的视觉特征，该距离度量比较从预训练的FaceNet网络中提取的恢复的和地面真实的面孔的特征。DN具有多个卷积层和全连接层，其作用是强制恢复的人脸与真实人脸相似。因此，我们可以从未对齐的肖像中恢复高质量的照片级真实感人脸，同时保留图像中人脸的身份。通过对大规模合成数据集和手绘草图数据集进行广泛的评估，我们证明了我们的方法实现了卓越的人脸恢复，并达到了最先进的结果。此外，我们的方法可以恢复逼真的脸从看不见的风格化的肖像，艺术绘画，手绘草图。
2019-04-07 cs.CV
Identity-preserving Face Recovery from Portraits
Australian National University（澳大利亚国立大学）；Data61/CSIRO（数据61/联邦科学与工业研究组织）
从艺术肖像中恢复潜在的真实感人脸有助于人类感知和面部分析。然而，恢复过程中，可以保持身份是具有挑战性的，因为真实的面孔的细节可能会扭曲或失去风格化的图像。在本文中，我们提出了一个新的身份保持人脸恢复从肖像（IFRP）恢复潜在的真实感人脸未对齐风格化的肖像。我们的IFRP方法由两个部分组成：风格去除网络（SRN）和判别网络（DN）。SRN被设计成将风格化图像的特征图转换为对应的真实感人脸的特征图。通过将空间Transformer网络嵌入到SRN中，该方法可以自动补偿风格化人脸的错位，并输出对齐的真实人脸图像。DN的作用是强制恢复的人脸与真实人脸相似。为了确保身份保护，我们通过距离度量来促进恢复的和地面真实的面孔共享相似的视觉特征，该距离度量比较从预训练的VGG网络中提取的恢复的和地面真实的面孔的特征。我们评估我们的方法上的大规模合成数据集的真实和风格化的人脸对，并达到最先进的结果。此外，我们的方法可以从以前看不见的风格化的肖像，原始绘画和人类绘制的草图恢复逼真的面孔。
2018-02-05 cs.CV
Reference-Based 3D-Aware Image Editing with Triplanes
Bilkent University（比尔肯特大学）；Netflix（奈飞）；Eyeline Studios（艾莱恩工作室）
针对3D感知、高质量、基于参考的图像编辑缺乏集成框架的问题，本研究提出整合编码、自动定位、三平面特征空间解耦和融合学习的新方法，在多领域实现出色编辑效果，性能优于相关方法。
2025-04-15 cs.CV
AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer Learning
ByteDance Inc（字节跳动公司）；National University of Singapore（新加坡国立大学）
虽然在自动化2D肖像风格化方面已经取得了实质性的进展，但从单个用户照片中获得令人钦佩的3D肖像风格化仍然是一个未解决的挑战。这里的一个主要障碍是缺乏高质量的程式化3D训练数据。在本文中，我们提出了一个新的框架\emph{AgileGAN3D}，可以产生三维艺术吸引力和个性化的肖像与详细的几何。新的风格化可以用几个（大约20个）未配对的2D样本来获得。我们首先利用现有的2D风格化功能，\emph{style prior creation}，以产生大量的增强2D风格样本。这些增强的样本是用精确的相机姿势标签以及成对的真实人脸图像生成的，这对于下游的3D风格化任务至关重要。利用3D感知GAN模型的最新进展，我们在预训练的3D GAN生成器上执行\emph{guided transfer learning}，以生成多视图一致的风格化渲染。为了实现三维GAN反演，可以保持主体的身份，我们将\emph{multi-view consistency loss}在我们的编码器的训练。我们的产品线展示了将用户照片转化为各种3D艺术肖像的强大能力。定性结果和定量评价已进行，以显示我们的方法的优越性能。代码和预训练模型将被发布用于复制目的。
2023-03-24 cs.CV
FaceStudio: Put Your Face Everywhere in Seconds
Tencent（腾讯）
本文提出FaceStudio，通过直接前馈机制与融合风格图像、面部图像和文本提示的混合引导框架，在无需微调或多张参考图的情况下快速生成高保真身份保持人物图像。
2023-12-06 cs.AI cs.CV
Style2Talker: High-Resolution Talking Head Generation with Emotion Style and Art Style
Shanghai Jiao Tong University（上海交通大学）
针对现有说话头生成忽略情感与艺术风格的问题，本文提出Style2Talker方法，通过两阶段风格化结合自动标注的情感文本，实现高表现力的高分辨率说话头生成，效果优于现有最优方法。
2024-03-12 cs.CV
SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation
Tencent AI Lab（腾讯人工智能实验室）；Ant Group（蚂蚁集团）
通过人脸图像和一段语音音频生成说话的头部视频仍然包含许多挑战。即不自然的头部运动、扭曲的表情和身份修改。我们认为，这些问题主要是因为从耦合的2D运动场的学习。另一方面，明确地使用3D信息也遭受僵硬表达和不连贯视频的问题。我们提出了SadTalker，它生成3D运动系数（头部姿势，表达）的3DMM从音频和隐式调制一种新的3D感知的面部渲染说话的头部生成。为了学习真实的运动系数，我们显式地单独建模音频和不同类型的运动系数之间的连接。准确地说，我们提出了ExpNet，通过提取系数和3D渲染的面部来从音频中学习准确的面部表情。对于头部姿态，我们通过一个条件VAE设计PoseVAE来合成不同风格的头部运动。最后，将生成的3D运动系数映射到建议的人脸渲染的无监督3D关键点空间，并合成最终视频。我们进行了广泛的实验，以证明我们的方法在运动和视频质量方面的优越性。
2023-03-13 cs.CV
Detecting Dataset Abuse in Fine-Tuning Stable Diffusion Models for Text-to-Image Synthesis
Nanjing University（南京大学）
本文针对Stable Diffusion模型微调中的数据集滥用问题，提出一种数据集水印框架，通过两种关键策略实现未经授权使用的检测与数据泄露追踪，仅需修改2%数据即可达到高检测精度，并具备鲁棒性和可迁移性。
2024-09-27 cs.CV
LeGO: Leveraging a Surface Deformation Network for Animatable Stylized Face Generation with One Example
KAIST（韩国科学技术院）
提出基于表面变形网络与MAGE编码器的方法，利用可微渲染和方向性CLIP损失实现高度可动画的3D人脸程式化生成，支持多样拓扑结构输出。
2024-03-22 cs.CV cs.GR
Generalizable Face Landmarking Guided by Conditional Face Warping
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Key Laboratory of Artificial Intelligence, Ministry of Education, Shanghai（上海 教育部人工智能重点实验室）
提出基于条件人脸变形的范式，利用真实和风格化人脸学习泛化性人脸标志点检测器，通过交替优化最小化差异和预测误差，在多个数据集上优于现有域自适应方法。
2024-04-21 cs.AI cs.CV
AnimeAgent: Is the Multi-Agent via Image-to-Video models a Good Disney Storytelling Artist?
UESTC；vivo Mobile Communication Co. Ltd（vivo移动通信有限公司）
AnimeAgent通过基于图像到视频的多智能体框架，提升自定义分镜生成的 consistency、prompt fidelity 和 stylization，首次解决静态扩散模型的动态表现力不足问题。
2026-02-24 cs.CV
LogoStyleFool: Vitiating Video Recognition Systems via Logo Style Transfer
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Fan Gongxiu Honors College, Beijing University of Technology（北京工业大学樊恭烋荣誉学院）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文提出LogoStyleFool，一种在黑盒视频识别场景下通过区域标志风格迁移与强化学习加扰动优化实现高效且语义保持的攻击框架，性能优于现有补丁攻击并具备一定抗防御能力。
2024-04-01 cs.CR cs.CV
Exemplar-Based 3D Portrait Stylization
City University of Hong Kong（香港城市大学）；University of Southern California（南加利福尼亚大学）；Snap Inc.（Snap公司）
基于范例的肖像风格化具有广泛的吸引力和高度的期望。尽管最近取得了成功，但它仍然具有挑战性，特别是在考虑纹理和几何风格时。在本文中，我们提出了第一个框架一次性三维肖像风格转移，它可以生成三维人脸模型与几何夸张和纹理风格化，同时保持身份从原始内容。它只需要一个任意样式的图像，而不是一个特定样式的训练样本的大集合，提供完全参数化和分离的几何和纹理输出，并使进一步的图形应用与3D表示。该框架包括两个阶段。在第一个几何风格转换阶段，我们使用面部标志平移来捕获粗糙的几何风格，并引导密集的3D人脸几何形状的变形。在第二个纹理风格转换阶段，我们专注于执行风格转换上的规范纹理，采用可微分渲染器优化纹理在多视图框架。实验结果表明，我们的方法取得了良好的效果，不同的艺术风格，并优于现有的方法。我们还通过各种2D和3D图形应用程序证明了我们的方法的优点。项目页面是https://halfjoe.github.io/projs/3DPS/index.html。
2021-04-29 cs.CV cs.GR
Stylized Face Sketch Extraction via Generative Prior with Limited Data
KAIST（韩国科学技术院）；Technical University of Munich（慕尼黑工业大学）
提出StyleSketch方法，利用StyleGAN先验和少量数据（16对样本）提取高分辨率风格化人脸素描，优于现有方法，并支持跨域扩展与语义编辑。
2024-03-17 cs.CV cs.GR
Realtime Data-Efficient Portrait Stylization Based On Geometric Alignment
The University of Tokyo（东京大学）；Meituan.co.ltd（美团科技）；Hefei Normal University（合肥师范学院）
本文提出基于几何对齐的轻量级肖像风格化方法，通过整合可微TPS模块提升训练效率，实现2倍数据效率和100倍计算复杂度降低，支持移动设备实时推理。
2026-02-15 cs.CV
FantasyStyle: Controllable Stylized Distillation for 3D Gaussian Splatting
FantasyStyle通过可控风格化蒸馏和多视图频率一致性，解决3DGS风格迁移中的多视图不一致和内容泄漏问题，提升风格化质量与视觉真实感。
2025-12-03 cs.CV
MW-GAN: Multi-Warping GAN for Caricature Generation with Multi-Style Geometric Exaggeration
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
给定输入的人脸照片，漫画生成的目标是产生风格化的、夸张的漫画，这些漫画与照片共享相同的身份。它要求在保持输入的同一性的同时，风格转换和丰富多样的形状夸张。为了解决这个具有挑战性的问题，我们提出了一个新的框架称为多Warping GAN（MW-GAN GAN），包括一个风格网络和一个几何网络，分别进行风格转移和几何夸张。我们通过双向设计将图像的风格和地标与相应的潜码空间联系起来，从而生成具有任意风格和几何夸张的漫画，这些漫画可以通过随机抽取潜码或从给定的漫画样本中指定。此外，我们将身份保持损失应用到图像空间和地标空间，从而大大提高了生成的漫画的质量。实验结果表明，MW-GAN生成的漫画具有更好的质量比现有的方法。
2021-12-19 cs.CV cs.GR cs.LG
RealCompo: Balancing Realism and Compositionality Improves Text-to-Image Diffusion Models
Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）；Southeast University（东南大学）；Stanford University（斯坦福大学）；Tsinghua University（清华大学）
本文提出无需训练的文本到图像生成框架RealCompo，通过新颖的平衡器在去噪过程中动态结合文本到图像模型与空间感知图像扩散模型的优势，有效提升了多对象组合生成的真实性与组合性。
2024-10-14 cs.AI cs.CV cs.LG
StyGazeTalk: Learning Stylized Generation of Gaze and Head Dynamics
Beihang University（北京航空航天大学）
StyGazeTalk 通过多模态框架生成风格化的 gaze 和 head 动态，提升 3D 面部生成的现实感。
2026-01-01 cs.CV cs.GR
Context-Preserving Two-Stage Video Domain Translation for Portrait Stylization
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
本文针对人像风格化在视频域中时间不连贯的问题，提出一种上下文保持的两阶段视频转换框架，在保持源视频上下文的同时实现实时风格化，每帧仅需0.011秒且参数量仅5.6M。
2023-05-30 cs.CV
Generating Animatable 3D Cartoon Faces from Single Portraits
University of California Berkeley（加州大学伯克利分校）；Cardiff University（卡迪夫大学）；Tsinghua University（清华大学）
本文提出从单张肖像生成可动画化3D卡通人脸的新框架，通过StyleGAN风格化、两阶段重建和语义保持绑定，在准确性、美观性和相似性上优于现有方法，并支持实时面部动画。
2023-07-04 cs.CV
Recovering Faces from Portraits with Auxiliary Facial Attributes
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
从艺术肖像中恢复逼真的面部是一项具有挑战性的任务，因为在艺术作品中，关键的面部细节往往会被扭曲或完全丢失。为了处理这种损失，我们提出了一个属性引导的人脸恢复从肖像（AFRP），利用人脸恢复网络（FRN）和判别网络（DN）。FRN包括一个自动编码器与残留块嵌入跳过连接，并在自动编码器的瓶颈处将面部属性向量纳入到输入肖像的特征图中。DN具有多个卷积层和全连接层，其作用是强制FRN生成真实的面部图像，其对应的面部属性由输入属性向量决定。%利用空间Transformer网络，FRN自动补偿人像的未对准。%，并生成对齐的面部图像。为了保持身份，我们将恢复的和地面真实的面孔强加给他们，以共享相似的视觉特征。具体地，DN确定恢复的图像是否看起来像真实的面部，并检查从恢复的图像中提取的面部属性是否与给定的属性一致。%我们的方法可以从未对齐的肖像中恢复高质量的真实感人脸，同时保留人脸图像的身份，并且可以重建具有所需属性的真实感人脸图像。我们的方法可以从看不见的风格化肖像，艺术绘画和手绘草图中恢复具有所需属性的真实感身份保留人脸。在大规模的合成和草图数据集上，我们证明了我们的人脸恢复方法达到了最先进的结果。
2019-04-07 cs.CV
Snapmoji: Instant Generation of Animatable Dual-Stylized Avatars
Snap Inc.；MIT（麻省理工学院）；Rutgers University（罗格斯大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
Snapmoji 通过双风格化技术实现快速生成可动画的双风格化 avatar，提升 avatar 生成的效率和灵活性。
2026-03-06 cs.CV cs.GR
Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing
Beijing University of Posts and Telecommunications（北京邮电大学）；Kuaishou Technology（快手科技）；University of Oulu（奥卢大学）
随着各种呈现攻击的不断出现，广义人脸反欺骗（FAS）受到越来越多的关注。大多数现有的方法实现领域泛化（DG）的完整表示。然而，不同的图像统计可能具有FAS任务的独特属性。在这项工作中，我们将完整的表示分为内容和样式。提出了一种新的混洗风格组装网络（SSAN），提取和重组不同的内容和风格特征的风格化的特征空间。然后，为了获得一个广义的表示，对比学习策略的发展，强调活跃相关的风格信息，而抑制特定领域的。最后，在推理过程中使用正确集合的表示来区分真实和欺骗。另一方面，尽管表现不错，但由于数据量和分布的差异，学术界和工业界之间仍然存在差距。因此，一个新的大规模的基准FAS建立进一步评估算法的性能在现实中。现有的和建议的基准定性和定量的结果表明，我们的方法的有效性。这些代码将在https://github.com/wangzhuo2019/SSAN上提供。
2022-03-18 cs.CV
FPGA: Flexible Portrait Generation Approach
Honor Device Co., Ltd（荣耀终端有限公司）
针对肖像生成中低分辨率人脸和多身份控制难题，提出FPGA系统，含MMF训练策略和DIIR推理框架，并构建IDZoom数据集，实现高效可控生成，推理速度在L20上低于2.5秒。
2025-02-23 cs.CV
MimicTalk: Mimicking a personalized and expressive 3D talking face in minutes
ByteDance（字节跳动）；Zhejiang University（浙江大学）
提出MimicTalk，利用与人物无关的NeRF通用模型，通过静态-动态混合适配和上下文风格化音频到动作模型，在15分钟内高效生成个性化且富有表现力的3D说话人脸。
2024-10-15 cs.CV
MienCap: Realtime Performance-Based Facial Animation with Live Mood Dynamics
Shanghai Jiaotong University（上海交通大学）；Netease Fuxi AI Lab（网易伏羲AI实验室）；Edinburgh Napier University（爱丁堡纳皮尔大学）
本文提出MienCap系统，结合混合变形与机器学习，实现非实时和实时的基于表演的面部动画，生成几何一致且感知有效的角色表情，并在识别度、强度和吸引力上优于商业产品Faceware。
2025-08-06 cs.CV cs.GR
Stylizing Face Images via Multiple Exemplars
City University of Hong Kong（香港城市大学）；Tencent AI Lab（腾讯人工智能实验室）；South China University of Technology（华南理工大学）；University of Science and Technology of China（中国科学技术大学）；University of California at Merced（加州大学默塞德分校）
我们解决的问题，转让的风格的头像照片，以面对的图像。当样本不包含用于给定照片的足够的风格化面部组件时，使用单个样本的现有方法导致不准确的结果。在这项工作中，我们提出了一个算法来stylestruous人脸图像使用多个样本包含不同的主题在同一风格。使用马尔可夫随机场（MRF）建立输入照片和多个样本之间的补丁对应关系，该MRF通过拉普拉斯堆栈实现精确的局部能量传输。由于使用来自多个样本的图像块，目标图像上的面部组件的边界不可避免地不一致。通过使用边缘保持滤波器的后处理步骤来去除伪影。实验结果表明，该算法始终产生视觉上令人愉快的结果。
2017-08-28 cs.CV cs.GR cs.MM
Generate and Edit Your Own Character in a Canonical View
Korea University（高丽大学）
最近，从单个用户给定的肖像合成个性化的字符已经受到了显著的关注，因为社交媒体和虚拟实境的急剧普及。输入图像并不总是正面视图，因此获取或预测3D建模或其他应用的规范视图是重要的。虽然生成模型的发展使得肖像的风格化成为可能，但在规范视图中获得风格化的图像仍然是一个具有挑战性的任务。已经有几项关于面部正面化的研究，但是当输入不在真实图像域中时，它们的性能显著降低，例如，卡通或绘画。在正面化之后的风格化也会导致退化的输出。在本文中，我们提出了一个新的和统一的框架，产生典型的风格化的肖像。通过提出一个潜在映射器，我们分析并发现了在StyleGAN的潜在空间中的前端化映射，以同时进行风格化和前端化。此外，我们的模型可以使用未标记的2D图像集进行训练，而无需任何3D监督。实验结果证明了该方法的有效性。
2022-07-11 cs.CV cs.GR
Imitating Arbitrary Talking Style for Realistic Audio-DrivenTalking Face Synthesis
Tsinghua University（清华大学）；HiSilicon Company（海思公司）
人们说话的方式多种多样。对于同一篇演讲，不同的谈话风格表现出显着差异的面部和头部姿势的运动。例如，“激动”的风格通常说话时张大嘴巴，而“庄严”的风格则更规范，很少表现出夸张的动作。由于不同风格之间的巨大差异，有必要将说话风格纳入音频驱动的说话人脸合成框架。在本文中，我们提出了注入风格到说话的脸合成框架，通过模仿任意说话风格的特定参考视频。具体而言，我们系统地研究了我们收集的\textit{Ted-HD}数据集的谈话风格和构造风格代码作为三维变形模型~（3DMM）参数的几个统计量。之后，我们设计了一个潜在风格融合（LSF）模型，通过模仿风格码的说话风格来合成风格化的说话人脸。我们强调了我们的框架的以下新特性：（1）它不需要任何风格的注释，说话风格是在一个无监督的方式从说话视频在野外学习。(2)它可以从任意视频中模仿任意样式，并且样式代码也可以插值以生成新的样式。大量的实验表明，所提出的框架有能力合成更自然，更有表现力的说话风格相比，基线方法。
2021-10-30 cs.CV cs.GR cs.MM
PersonaTalk: Bring Attention to Your Persona in Visual Dubbing
Bytedance（字节跳动）
本文提出基于注意力的两阶段视觉配音框架 PersonaTalk，通过风格感知音频编码与双注意力面部渲染，在准确口型同步的同时保留说话者风格和面部细节。
2024-09-09 cs.AI cs.CV cs.GR
