Character-Adapter: Prompt-Guided Region Control for High-Fidelity Character Customization
Fuxi AI Lab, NetEase Inc.(网易伏羲人工智能实验室)
本文提出Character-Adapter即插即用框架,通过提示引导分割和动态区域级适配器保留参考角色细节并缓解概念混淆,实现高保真一致角色生成,性能较其他方法提升24.8%。
2024-09-29 cs.AI cs.CV
Efficient Portrait Matte Creation With Layer Diffusion and Connectivity Priors
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
本研究利用 Layer Diffusion 模型生成人像前景,并引入连通性感知方法精修伪影,构建了大规模数据集 LD-Portrait-20K,显著提升了深度人像及视频 matting 模型的性能。
2025-01-27 cs.CV
Portrait3D: Text-Guided High-Quality 3D Portrait Generation Using Pyramid Representation and GANs Prior
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Yale University(耶鲁大学);ETH Zürich(苏黎世联邦理工学院);OPPO US Research Center(OPPO美国研究中心)
针对现有文本到3D人像生成方法仅依赖几何先验导致的雅努斯问题、过平滑等缺陷,提出Portrait3D框架,结合金字塔三网格表示与GAN先验,通过扩散蒸馏和迭代优化生成高质量3D人像。
2024-04-16 cs.CV
High-Fidelity Relightable Monocular Portrait Animation with Lighting-Controllable Video Diffusion Model
Sichuan University(四川大学);College of Computer Science, Sichuan University(四川大学计算机学院)
本文提出光照可控视频扩散模型(LCVD),通过分离内在与外在特征子空间,实现高保真可重照明肖像动画,在光照真实性、图像质量和视频一致性上超越现有方法。
2025-02-27 cs.CV
EMO: Emote Portrait Alive -- Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions
Institute for Intelligent Computing, Alibaba Group(阿里巴巴集团智能计算研究所)
本文提出EMO框架,通过直接音频到视频的扩散合成方法,无需3D模型或面部标志点,即可生成高表现力、身份一致的说话和唱歌肖像视频,显著超越现有方法。
2024-08-08 cs.CV
DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
University of Science and Technology of China(中国科学技术大学);Central Media Technology Institute, Huawei(华为中央媒体技术研究所);Nanjing University(南京大学)
DeX-Portrait通过显式和潜在运动表示生成解耦且表达性的肖像动画,提升动画质量和可控性。
2025-12-17 cs.CV
IC-Portrait: In-Context Matching for View-Consistent Personalized Portrait
ETH Zurich(苏黎世联邦理工学院);ZMO AI Inc.(ZMO人工智能公司);Zhejiang University(浙江大学);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室)
提出IC-Portrait框架,通过光照感知拼接和视角一致适应两个子任务,利用预训练扩散模型的上下文匹配能力,显著提升了个性化人像生成的身份保真度和视角一致性,并展现出3D感知重照明能力。
2025-01-31 cs.CV
One-Shot Identity-Preserving Portrait Reenactment
University of Southern California(南加州大学);USC Institute for Creative Technologies(南加州大学创意技术研究所);Pinscreen
我们提出了一个基于深度学习的框架,用于从目标的单张图片(一次拍摄)和驾驶主体的视频中进行肖像重现。现有的面部重现方法遭受身份不匹配,并产生不一致的身份时,目标和驾驶主体是不同的(跨主题),特别是在一个镜头设置。在这项工作中,我们的目标是解决身份保护跨主题的肖像重演从一张照片。我们介绍了一种新的技术,可以解开身份的表情和姿势,即使当司机的身份是非常不同的目标,允许身份保留肖像重演。这是通过一种新的地标解纠缠网络(LD-Net)实现的,该网络预测个性化的面部地标,将目标的身份与来自不同主体的表情和姿势相结合。为了处理来自看不见的主体的肖像重现,我们还引入了基于特征字典的生成对抗网络(FD-GAN),该网络将2D地标本地转换为个性化肖像,从而在大的姿势和表情变化下实现一次性肖像重现。我们通过广泛的消融研究验证了我们的身份解开能力的有效性,我们的方法产生一致的身份跨主题肖像重演。我们的综合实验表明,我们的方法显着优于国家的最先进的单图像面部重现方法。我们将发布我们的代码和模型用于学术用途。
2020-04-26 cs.CV
FG-Portrait: 3D Flow Guided Editable Portrait Animation
National University of Singapore(新加坡国立大学);University of Warwick(沃里克大学);Imperial College London(伦敦帝国理工学院);University of Surrey(萨里大学)
本文提出FG-Portrait,通过3D流引导的方法实现高质量的肖像动画生成,结合3D几何信息和扩散模型,提升驱动运动与源肖像的对应精度,并支持用户对表情和头部姿态的编辑。
2026-03-24 cs.CV
Make the Most of Everything: Further Considerations on Disrupting Diffusion-based Customization
School of Cyber Science and Engineering, Wuhan University(武汉大学网络安全学院)
针对扩散模型图像定制带来的隐私与操纵风险,本文提出两阶段对抗攻击 DADiff,联合提示级与图像级干扰并优化注意力和时间步梯度,显著提升多种现实场景下的反定制效果。
2025-03-18 cs.CV
Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting
ShanghaiTech University(上海科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出免训练框架 Portrait Diffusion,利用扩散模型注意力融合与 Chain-of-Painting 渐进重绘,实现无需微调的细致人脸风格化。
2023-12-03 cs.CV
CAP4D: Creating Animatable 4D Portrait Avatars with Morphable Multi-View Diffusion Models
University of Toronto(多伦多大学);Vector Institute(矢量研究所);LG Electronics(LG电子)
CAP4D提出一种可变形多视图扩散模型,从1至100张参考图像重建逼真4D人像头像并实时动画化,在单、少、多图像重建中达到最先进性能,弥合了单图与多视图技术的视觉保真度差距。
2024-12-16 cs.CV
ChatAnyone: Stylized Real-time Portrait Video Generation with Hierarchical Motion Diffusion Model
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
提出ChatAnyone框架,通过分层运动扩散模型和显式手部控制,实现风格化实时上半身人像视频生成,支持4090 GPU上30fps的交互式聊天。
2025-03-27 cs.CV
SimAC: A Simple Anti-Customization Method for Protecting Face Privacy against Text-to-Image Synthesis of Diffusion Models
University of Science and Technology of China(中国科学技术大学);Alibaba Cloud(阿里云)
针对扩散模型定制化技术引发的隐私问题,提出SimAC方法,通过分析时间步选择与频域感知关系及去噪过程不同层特征,设计自适应贪婪搜索和特征优化框架,有效提升身份干扰,保护用户隐私。
2026-06-23 cs.CV
Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation
HKUST(香港科技大学);Tencent(腾讯);Hunyuan(混元);Tsinghua University(清华大学)
本文提出Follow-Your-Emoji框架,通过表情感知关键点和面部细粒度损失,在Stable Diffusion上实现身份一致、表情可控且时间稳定的自由风格肖像动画,并构建EmojiBench基准验证其优越性。
2024-06-07 cs.CV
PersonaLive! Expressive Portrait Image Animation for Live Streaming
University of Macau(澳门大学);GVC Lab, Great Bay University(大湾大学GVC实验室)
PersonaLive通过多阶段训练方法实现了实时面部动画生成,提升了效率和稳定性,达到7-22倍的速度提升。
2025-12-12 cs.CV
PhyCustom: Towards Realistic Physical Customization in Text-to-Image Generation
Nanyang Technological University(南洋理工大学);Goertek Alpha Labs(歌尔声学Alpha实验室);Tencent(腾讯)
PhyCustom通过引入两个新正则化损失,提升文本到图像生成中对物理概念的真实定制能力。
2025-12-01 cs.CV
Towards Robust Defense against Customization via Protective Perturbation Resistant to Diffusion-based Purification
MAIS & NLPR, Institute of Automation, Chinese Academy of Sciences(自动化研究所、中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院、中国科学院大学)
本文提出AntiPure保护性扰动方法,通过分块频率引导和错误时间步引导两种机制,使扰动在扩散净化后仍能存留并破坏恶意定制化,在净化-定制化工作流中实现了最小感知差异和最大失真。
2025-09-19 cs.CV
PortraitBooth: A Versatile Portrait Model for Fast Identity-preserved Personalization
Xiamen University(厦门大学);Tencent(腾讯);Nanjing University(南京大学)
针对扩散模型个性化需微调、身份失真及表情单一的问题,提出无需微调的 PortraitBooth,结合人脸识别主体嵌入、动态身份保持与情感感知交叉注意力,实现高效、高保真且表情可编辑的单/多主体文本生成图像。
2023-12-11 cs.CV
Customize-A-Video: One-Shot Motion Customization of Text-to-Video Diffusion Models
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(奥多比研究院);Yonsei University(延世大学)
针对单样本视频运动定制问题,提出Customize-A-Video框架,利用时间注意力层的LoRA建模参考视频运动,并通过外观吸收器解耦时空信息,实现即插即用的定制视频生成与编辑。
2024-08-28 cs.CV
Pixel Cube: Diffusion-based Portrait Video Relighting Through Realistic Lighting Reproduction
George Mason University(乔治·马歇尔大学);LightThought LLC;Columbia University(哥伦比亚大学)
提出一种基于扩散的方法,利用混合训练数据集和HDR环境图控制,实现动态肖像视频的真实感重光照,保持时间一致性和身份特征。
2026-06-05 cs.CV
Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency
ByteDance(字节跳动);Zhejiang University(浙江大学)
提出纯音频条件视频扩散模型 Loopy,通过片段间和片段内时间模块及音频到隐空间模块利用长期运动信息,学习自然运动模式并提升音画相关性,无需手动指定空间运动模板,生成更逼真高质量的肖像视频。
2025-04-04 cs.CV
Modular Customization of Diffusion Models via Blockwise-Parameterized Low-Rank Adaptation
CUHK(香港中文大学);HKUST(香港科技大学);HKU(香港大学);Huawei(华为);SmartMore(思谋科技)
本文提出BlockLoRA方法,通过随机输出擦除和分块LoRA参数化解决扩散模型多概念即时合并中的身份丢失与相互干扰问题,可高保真合并15个概念。
2025-03-11 cs.CV
Orthogonal Adaptation for Modular Customization of Diffusion Models
Stanford University(斯坦福大学);Snap Research(Snap公司研究院)
针对多个独立定制扩散模型难以高效合并的问题,提出 Orthogonal Adaptation,通过约束残差权重正交实现无额外开销的多概念联合生成,并在身份保持与效率上优于基线。
2024-12-04 cs.CV
Structure-Guided Diffusion Models for High-Fidelity Portrait Shadow Removal
School of Computer Science and Engineering, Sun Yat-sen University, China(中山大学计算机科学与工程学院);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China(教育部人工智能与先进计算重点实验室)
本文提出一种基于扩散模型的人像阴影去除方法,通过提取阴影无关结构图引导图像修复扩散模型去除阴影,并利用梯度指导训练细节恢复模型,在基准数据集上显著优于现有方法。
2025-07-14 cs.CV
Generative Portrait Shadow Removal
Adobe Inc.(奥多比公司);Adobe Research(奥多比研究院)
针对人像阴影去除这一不适定问题,提出基于组合重利用框架训练的扩散模型生成式方法,搭配引导上采样网络保留细节,构建高保真数据集,可有效去除各类阴影且保留细节与光照,对真实场景对象鲁棒。
2024-10-07 cs.CV
MegActor-$Σ$: Unlocking Flexible Mixed-Modal Control in Portrait Animation with Diffusion Transformer
MEGVII Technology(旷视科技);The University of Hong Kong(香港大学)
提出MegActor-$Σ$,一种混合模态条件扩散Transformer,通过模态解耦控制与幅度调整策略平衡音视觉模态控制强度,仅用公开数据集训练即超越私有数据集方法,实现灵活生动的肖像动画生成。
2024-08-27 cs.CV
MVPortrait: Text-Guided Motion and Emotion Control for Multi-view Vivid Portrait Animation
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学)
MVPortrait提出两阶段文本引导框架,首次以FLAME为中间表示,实现多视角肖像动画的运动与情感控制,并兼容文本、语音和视频驱动。
2025-03-25 cs.CV
RealisID: Scale-Robust and Fine-Controllable Identity Customization via Local and Global Complementation
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
提出RealisID方法,通过局部和全局分支协作实现尺度鲁棒且精细可控的身份定制,解决小人脸保真度、人脸属性控制及多人定制等问题。
2024-12-22 cs.CV
ConceptMaster: Multi-Concept Video Customization on Diffusion Transformer Models Without Test-Time Tuning
Sun Yat-sen University(中山大学);Kuaishou Technology(快手科技);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tsinghua University(清华大学)
针对多概念视频定制中的身份混淆与高质量数据稀缺问题,提出无需测试时调优的 ConceptMaster,通过独立注入解耦嵌入并构建数据与评估流程,显著提升多身份视频生成质量。
2025-05-13 cs.CV
First Frame Is the Place to Go for Video Content Customization
University of Maryland(马里兰大学);USC(南加州大学);MIT(麻省理工学院);NVIDIA(NVIDIA公司)
本文揭示视频生成模型将首帧视为概念记忆缓冲区,通过少量训练示例实现鲁棒且通用的视频内容定制。
2026-03-23 cs.CV
X-Actor: Emotional and Expressive Long-Range Portrait Acting from Audio
Bytedance Intelligent Creation USA(字节跳动智能创作美国)
X-Actor提出两阶段解耦生成流水线,利用自回归扩散模型预测面部运动潜在标记,实现从音频和单图生成情感丰富、长距离电影级肖像表演,达到最先进水平。
2025-08-04 cs.CV
TurboPortrait3D: Single-step diffusion-based fast portrait novel-view synthesis
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs(Meta现实实验室)
本研究提出TurboPortrait3D方法,结合前馈图像转数字人流水线与单步多视角一致扩散模型,辅以合成数据预训练加真实图像微调的策略,实现低延迟、高质量且身份保留的单图人像新视角合成。
2025-10-27 cs.CV
Real-time One-Step Diffusion-based Expressive Portrait Videos Generation
HKU(香港大学);Hedra Inc(赫德拉公司);NUS(新加坡国立大学)
提出 OSA-LCM 模型,通过化身判别器和编辑微调架构实现单步采样的实时高表现力人像视频生成,速度提升 10 倍且优于现有开源模型。
2024-12-18 cs.CV
JoyVASA: Portrait and Animal Image Animation with Diffusion-Based Audio-Driven Facial Dynamics and Head Motion Generation
JD Health International Inc.(JD健康国际公司)
本文提出JoyVASA,一种基于扩散模型的音频驱动面部动画方法,通过解耦面部表示和独立于角色身份的运动生成,实现更长视频和动物面部的无缝动画。
2026-04-16 cs.CV
Knot Forcing: Taming Autoregressive Video Diffusion Models for Real-time Infinite Interactive Portrait Animation
Tongyi Lab, Alibaba Group(通义实验室,阿里集团)
Knot Forcing通过分块生成、时间结模块和提前运行机制,解决实时肖像动画中的时间一致性、误差累积和长期一致性问题,实现高保真、低延迟的无限交互动画。
2025-12-29 cs.CV
Dynamic Neural Portraits
Imperial College London(帝国理工学院);Huawei Technologies(华为技术有限公司)
我们提出了动态神经画像,一种新的方法来解决全头重演的问题。我们的方法通过明确控制头部姿势,面部表情和眼睛凝视来生成照片般逼真的视频肖像。我们提出的架构不同于现有的方法,这些方法依赖于基于GAN的图像到图像转换网络,将3D人脸渲染转换为照片级逼真的图像。相反,我们建立我们的系统上的二维坐标为基础的MLP与可控的动态。我们采用基于2D的表示的直觉,而不是最近的3D NeRF类系统,源于这样一个事实,即视频肖像是由单目固定摄像机捕获的,因此,只有一个单一的视点的场景是可用的。首先,我们将我们的生成模型设定在表情融合形状上,尽管如此,我们表明我们的系统也可以成功地由音频特征驱动。我们的实验表明,所提出的方法比最近基于NeRF的重演方法快270倍,我们的网络在分辨率高达1024 x 1024的情况下实现了24 fps的速度,同时在视觉质量方面优于以前的作品。
2022-11-25 cs.CV
Learning Feature-Preserving Portrait Editing from Generated Pairs
University of Washington(华盛顿大学);ByteDance(字节跳动)
本文提出一种基于自动生成配对数据的训练方法,利用Multi-Conditioned Diffusion Model和推理时的编辑掩码引导,在实现高质量人像编辑的同时有效保留主体特征。
2024-07-29 cs.CV
Multi-party Collaborative Attention Control for Image Customization
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Department of Radiology, The First Affiliated Hospital of Army Medical University(中国人民解放军军医大学第一附属医院放射科)
本文提出无需调优的多方协作注意力控制方法 MCA-Ctrl,结合文本与复杂视觉条件,通过自注意力协调并行扩散过程并引入主体定位模块,在零样本图像定制化中优于现有方法。
2025-04-02 cs.CV
PuLID: Pure and Lightning ID Customization via Contrastive Alignment
ByteDance Inc.(字节跳动公司)
本研究提出免调优文生图身份定制方法PuLID,通过结合Lightning T2I分支与标准扩散分支、引入对比对齐损失和精准身份损失,在保证高身份保真度的同时降低对原模型的干扰,在身份保真度和可编辑性上表现优异,且能保持图像元素一致性。
2024-10-31 cs.CV
HomeDiffusion: Zero-Shot Object Customization with Multi-View Representation Learning for Indoor Scenes
Alibaba Group(阿里巴巴集团)
针对零样本对象定制中细节失真和姿态不协调问题,提出HomeDiffusion,利用多视角图像和扩散模型,在指定区域生成与背景和谐的对象,并通过交叉注意力保持细节。
2026-06-29 cs.CV
Qffusion: Controllable Portrait Video Editing via Quadrant-Grid Attention Learning
International Digital Economy Academy (IDEA)(国际数字经济学院)
该研究提出双帧引导框架 Qffusion,通过象限网格排列与自注意力联合建模外观和时序,并以 QGP 递归推理实现稳定、任意长度的可控人像视频编辑。
2025-07-26 cs.CV
DiffPortrait3D: Controllable Diffusion for Zero-Shot Portrait View Synthesis
University of Southern California(南加利福尼亚大学);ByteDance Inc.(字节跳动公司)
本研究提出DiffPortrait3D条件扩散模型,利用2D扩散先验结合解耦控制、跨视角注意力及3D感知噪声生成,实现单张人像零样本3D一致新视图合成,在多基准上达SOTA效果。
2024-03-19 cs.CV
Unlock Pose Diversity: Accurate and Efficient Implicit Keypoint-based Spatiotemporal Diffusion for Audio-driven Talking Portrait
University of Liverpool(利物浦大学);Ant Group(蚂蚁集团);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Duke Kunshan University(昆山杜克大学);Ricoh Software Research Center(理光软件研究中心)
针对音频驱动单图像说话人像生成中身份保持、细节还原、姿态多样性与效率难以兼顾的问题,提出KDTalker,融合无监督隐式3D关键点与时空扩散注意力,实现准确唇形同步和高质量多样化动画。
2025-03-17 cs.CV
VideoMage: Multi-Subject and Motion Customization of Text-to-Video Diffusion Models
National Taiwan University(台湾大学);NVIDIA(英伟达)
VideoMage提出统一框架,通过主体与运动LoRA及外观无关运动学习,实现多主体交互运动的视频定制,实验证明其生成连贯可控视频优于现有方法。
2025-03-27 cs.CV
AlignIT: Enhancing Prompt Alignment in Customization of Text-to-Image Models
Adobe Research(奥多比研究院)
针对文本到图像模型定制中生成结果与提示不对齐的问题,本文提出后处理算法AlignIT,通过仅注入目标概念的键和值并保持其他标记不变,可直接嵌入现有定制方法,在保持定制质量的同时显著提升提示对齐性能。
2024-06-28 cs.CV
Real-Time Generation of Streamable Talking Portrait Video with Reference-Guided Deep Compression VAEs
Microsoft Research(微软研究院);Microsoft AI(微软人工智能)
提出一种结合因果视频VAE和自回归潜在去噪模型的流式说话人肖像视频生成框架,通过参考图像引导实现实时高质量生成。
2026-06-01 cs.CV
LoRACLR: Contrastive Adaptation for Customization of Diffusion Models
ETH Zürich(苏黎世联邦理工学院);TU Munich(慕尼黑技术大学);Google(谷歌);Virginia Tech(弗吉尼亚理工大学)
针对多个个性化 LoRA 模型组合时的属性纠缠与重复训练问题,本文提出 LoRACLR,通过对比目标对齐并融合权重空间,实现无需额外微调的高质量多概念图像生成。
2025-09-29 cs.CV
Portrait Stylization: Artistic Style Transfer with Auxiliary Networks for Human Face Stylization
University of São Paulo(圣保罗大学);Instituto de Ciências Matemáticas e de Computação(数学与计算机科学研究所)
针对图像风格迁移中 VGG-19 等通用分类器难以保留人脸几何与表情特征的问题,本文引入辅助预训练人脸识别模型的嵌入,引导算法将内容图像的人脸个体特征传播至最终风格化结果。
2023-09-23 cs.CV
MagicStyle: Portrait Stylization Based on Reference Image
Honor(荣耀(品牌))
针对人像参考图像风格化中细节保留与风格迁移难兼顾的问题,提出含CSDI和FFF两阶段的MagicStyle方法,通过存储并融合自注意力特征实现风格化,经实验验证有效。
2024-09-12 cs.CV
T-LoRA: Single Image Diffusion Model Customization Without Overfitting
T-LoRA通过时间步依赖的低秩适应框架实现单张图像扩散模型定制化,有效避免过拟合,提升概念保真度与文本对齐的平衡。
2026-01-23 cs.CV
SkyReels-A1: Expressive Portrait Animation in Video Diffusion Transformers
Cranberry-Lemon University(蔓越莓柠檬大学)
针对现有肖像动画方法存在的身份失真、背景不稳定等问题,提出基于视频扩散Transformer的SkyReels-A1框架,通过表情感知条件模块、面部图像-文本对齐模块及多阶段训练,提升运动迁移精度、身份保留与时间连贯性,适用于虚拟化身等领域。
2025-02-15 cs.CV
ZePo: Zero-Shot Portrait Stylization with Faster Sampling
SIST, ShanghaiTech University(上海科技大学SIST);Institute of Automation, CAS(中国科学院自动化研究所)
针对现有扩散模型人像风格化方法速度慢的问题,提出无需逆扩散的ZePo框架,借助潜一致性模型特征与风格增强注意力控制,仅四步采样实现高效高保真的零样本人像风格化。
2024-08-10 cs.CV
Realtime Data-Efficient Portrait Stylization Based On Geometric Alignment
The University of Tokyo(东京大学);Meituan.co.ltd(美团科技);Hefei Normal University(合肥师范学院)
本文提出基于几何对齐的轻量级肖像风格化方法,通过整合可微TPS模块提升训练效率,实现2倍数据效率和100倍计算复杂度降低,支持移动设备实时推理。
2026-02-15 cs.CV