Training for Identity, Inference for Controllability: A Unified Approach to Tuning-Free Face Personalization
Sun Yat-sen University(中山大学);East China Normal University(华东师范大学);Guangdong University of Technology(广东工业大学);The Hong Kong Polytechnic University(香港理工大学)
UniID提出了一种无需调优的面部个性化统一方法,通过整合文本嵌入和适配器方法,实现高保真身份和灵活文本可控性。
2025-12-03 cs.CV
TextBoost: Boosting Text Encoder for Personalized Text-to-Image Generation
KAIST(韩国科学技术院)
本文提出TextBoost,一种高效的文本到图像扩散模型单次个性化方法,通过仅微调文本编码器提升计算和存储效率,并保持语义完整性,从而实现更快收敛和更低存储需求,同时保持高质量生成。
2026-05-19 cs.CV
Block-wise LoRA: Revisiting Fine-grained LoRA for Effective Personalization and Stylization in Text-to-Image Generation
Huawei Cloud Computing Technologies Co., Ltd(华为云计算技术有限公司)
针对文本生成图像现有高效微调方法难以兼顾有效个性化与风格化的问题,提出分块LoRA对SD不同模块细粒度微调,实现图像贴合提示、保留目标特征且符合目标风格,经实验验证有效。
2024-03-12 cs.AI cs.CV
ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);ByteDance Inc.(字节跳动公司)
本文针对文本到图像个性化微调中的概念语义漂移与组合能力下降问题,提出 ClassDiffusion,通过语义保持损失显式约束概念空间,提升图像及个性化视频生成的组合表现。
2025-03-14 cs.CV
CatVersion: Concatenating Embeddings for Diffusion-Based Text-to-Image Personalization
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
CatVersion 通过在扩散模型文本编码器的特征密集空间上拼接 Keys 和 Values 嵌入来学习个性化概念与基类之间的差距,以残差形式保留先验知识并恢复个性化概念,同时提出基于掩码的改进 CLIP 对齐分数,实现更忠实和稳健的文本到图像个性化。
2023-11-30 cs.CV
Finetuning-Free Personalization of Text to Image Generation via Hypernetworks
Samsung AI Center Mountain View(三星AI中心山景)
本文提出一种基于超网络的免微调文本到图像生成个性化方法,通过端到端训练目标和输出正则化直接从主体图像预测LoRA权重,并引入HM-CFG增强组合泛化,无需逐主体优化即实现了高主体保真度与提示对齐。
2025-11-05 cs.CV
AnyStory: Towards Unified Single and Multiple Subject Personalization in Text-to-Image Generation
Institute for Intelligent Computing, Alibaba Tongyi Lab(智能计算研究院,阿里通义实验室)
本文提出AnyStory统一方法,通过“先编码后路由”机制结合ReferenceNet与CLIP视觉编码器及实例感知路由器,解决了文本到图像生成中单一与多主体高保真个性化难题。
2025-05-01 cs.CV
Nested Attention: Semantic-aware Attention Values for Concept Personalization
Snap Research(Snap研究部);Tel Aviv University(特拉维夫大学)
本文提出嵌套注意力机制,通过查询相关的主体值注入交叉注意力层,在保持身份一致性的同时提升文本提示对齐,并支持多领域主体组合。
2025-01-02 cs.CV cs.GR cs.LG
Zero-Shot Dynamic Concept Personalization with Grid-Based LoRA
Snap Research(Snap研究)
针对动态概念个性化依赖逐实例微调的问题,提出基于 2×2 视频网格训练 Grid-LoRA 适配器并结合 Grid Fill 模块的零样本框架,实现单次前向传播下对未见概念的高质量视频编辑与合成。
2025-07-23 cs.CV cs.GR cs.LG
CoRe: Context-Regularized Text Embedding Learning for Text-to-Image Personalization
Sun Yat-sen University(中山大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出上下文正则化方法CoRe,通过正则化提示词中的上下文token来增强新概念文本嵌入的学习,有效平衡了文本到图像个性化中的身份保持与文本对齐,提升了泛化能力并可作为测试时优化技术。
2024-08-28 cs.CV
Efficient Personalization of Quantized Diffusion Model without Backpropagation
Seoul National University(首尔大学);INMC & IPAI(INMC与IPAI)
针对量化扩散模型个性化微调内存消耗大的问题,提出基于零阶优化的无反量化个性化方法,结合子空间梯度去噪与部分均匀时间步采样,仅靠前向传播实现与现有方法相当的性能,最高降低8.2倍训练内存。
2025-03-19 cs.AI cs.CV
SubZero: Composing Subject, Style, and Action via Zero-Shot Personalization
Qualcomm AI Research(高通人工智能研究部门);Qualcomm Technologies, Inc.(高通技术公司)
SubZero提出免微调框架,通过新颖约束和正交化时间聚合及定制投影器,实现任意主体、风格与动作的零样本组合,显著优于现有方法。
2025-02-27 cs.CV
FreeLoRA: Enabling Training-Free LoRA Fusion for Autoregressive Multi-Subject Personalization
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Shanghai Innovation Institute(上海创新研究院);School of Computer Science, Fudan University(复旦大学计算机学院)
FreeLoRA提出一种免训练的多主体个性化图像生成框架,通过全令牌调优适配各主体LoRA模块,并在推理时采用主体感知激活实现多模块融合,在主体保真度和提示一致性上表现优异。
2025-07-02 cs.CV
Hollowed Net for On-Device Personalization of Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究部);Seoul National University(首尔大学)
该研究提出基于LoRA的Hollowed Net方法,通过临时移除扩散U-Net部分深层形成中空结构,实现端侧文本到图像扩散模型的高效个性化,既降低训练内存至推理级,又保持或提升性能。
2024-11-02 cs.AI cs.CV cs.GR
HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models
Google Research(谷歌研究院)
HyperDreamBooth提出一种超网络,从单张人脸图像快速生成个性化权重并结合快速微调,在约20秒内实现与DreamBooth同等质量的面部个性化,速度提升25倍且模型缩小1万倍。
2024-10-16 cs.AI cs.CV cs.GR
Identity Encoder for Personalized Diffusion
本文提出基于身份编码器的个性化扩散模型方法,用少量参考图像即可生成任意身份的新图像,显著降低计算与存储开销,并在生成和重建任务上优于微调方法。
2023-04-14 cs.CV
PortraitBooth: A Versatile Portrait Model for Fast Identity-preserved Personalization
Xiamen University(厦门大学);Tencent(腾讯);Nanjing University(南京大学)
针对扩散模型个性化需微调、身份失真及表情单一的问题,提出无需微调的 PortraitBooth,结合人脸识别主体嵌入、动态身份保持与情感感知交叉注意力,实现高效、高保真且表情可编辑的单/多主体文本生成图像。
2023-12-11 cs.CV
Imagine yourself: Tuning-Free Personalized Image Generation
GenAI, Meta(GenAI部门,元公司)
本研究提出免调参的个性化图像生成模型Imagine yourself,通过合成数据、并行注意力和多阶段微调,提升身份保持、文本忠实度与视觉质量,超越现有方法。
2024-09-20 cs.AI cs.CV
Tuning Just Enough: Lightweight Backdoor Attacks on Multi-Encoder Diffusion Models
Computer Science Department, TU Darmstadt, Germany(图恩大学计算机科学系);Hessian Center for Artificial Intelligence (hessian.AI), Darmstadt, Germany(海德堡人工智能中心)
针对多编码扩散模型的轻量级后门攻击研究,通过仅调优少量参数实现有效攻击,揭示多编码器设置下的新漏洞。
2026-03-04 cs.CV cs.LG
SwiftPie: Lightning-fast Subject-driven Image Personalization via One step Diffusion
Qualcomm AI Research(高通人工智能研究)
SwiftPie提出一种一步扩散模型,实现快速主体驱动图像生成,通过双分支身份注入机制和掩码引导重缩放策略,提升生成效率和质量。
2026-05-02 cs.CV
Inject Where It Matters: Training-Free Spatially-Adaptive Identity Preservation for Text-to-Image Personalization
iFLYTEK;Aegon THTF
SpatialID通过无需训练的空间自适应方法,有效提升文本到图像个性化中的身份保持与文本一致性。
2026-02-15 cs.CV
Low-Rank Continual Personalization of Diffusion Models
Warsaw University of Technology(华沙理工大学);IDEAS NCBR
本文研究扩散模型在连续个性化任务中的适配器干扰与遗忘问题,提出并比较多种 LoRA 适配器初始化、合并及选择性更新策略,证明其可改善持续学习的稳定性与可塑性。
2025-03-13 cs.LG
A Neural Space-Time Representation for Text-to-Image Personalization
Tel Aviv University(特拉维夫大学)
本文提出一种神经时空表示方法,通过小型神经映射器在去噪时间步与 U-Net 层构成的联合空间中隐式编码个性化概念,并引入文本旁路和重要性排序,实现紧凑、高保真且可编辑的文本到图像个性化生成。
2023-05-24 cs.CV
Face2Diffusion for Fast and Editable Face Personalization
The University of Tokyo(东京大学)
针对现有文生图扩散模型人脸个性化方法过拟合导致难以兼顾身份相似度与可编辑性的问题,提出含多尺度身份编码器等三个组件的Face2Diffusion方法,显著优化了身份与文本保真度的权衡。
2024-03-08 cs.CV
DreamEdit3D: Personalization of Multi-View Diffusion Models for 3D Editing
Technical University of Munich(慕尼黑技术大学)
本文提出DreamEdit3D,通过自然语言实现多视角扩散模型的3D编辑个性化,通过提取语义组件并学习不同组件的token嵌入,实现多视角一致的高质量3D编辑。
2026-05-16 cs.CV
TriLoRA: Integrating SVD for Advanced Style Personalization in Text-to-Image Generation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Southeast University(东南大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Shaanxi Normal University(陕西师范大学)
本文提出TriLoRA方法,将奇异值分解(SVD)集成到LoRA参数更新策略中,以提升文本到图像生成模型的微调效率、输出稳定性和风格个性化能力,在保持资源效率的同时显著改善生成质量与泛化性能。
2024-06-13 cs.CV
PersGuard: Preventing Malicious Personalization in Text-to-Image Diffusion Models via Model Backdoors
Institute of Information Engineering, Chinese Academy of Sciences(信息工程研究所,中国科学院);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);BraneMatrix AI;School of Cyber Science and Technology, Shenzhen Campus, Sun Yat-sen University(中山大学深圳校区计算机科学与技术学院)
研究针对文本到图像扩散模型个性化引发的隐私问题,提出PersGuard框架,通过在模型发布前嵌入保护后门,结合统一优化问题制定后门注入,经实验验证其在隐私保护方面优于现有基于扰动的方法。
2026-07-16 cs.AI cs.CV
Mix-Opt: Mixed Optimization for Memory-Efficient Personalization of Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究)
针对文本到图像扩散模型的内存高效个性化需求,提出结合低分辨率反向传播与高分辨率零阶优化的选择性框架,辅以时间步感知策略,在降内存的同时实现有竞争力的设备端个性化性能。
2026-11-18 cs.CV cs.LG
ChronoLock: Protecting Videos from Unauthorized Text-to-Video Personalization
Nanyang Technological University(南洋理工大学);Jilin University(吉林大学);The University of Manchester(曼彻斯特大学)
针对文本到视频个性化中的未经授权微调风险,提出ChronoLock框架,通过扰动时间去噪轨迹破坏运动学习过程,有效降低运动模仿质量。
2026-06-23 cs.CV
Reverse Personalization
University of Trento(特伦托大学);University of Oulu(奥卢大学)
本文提出反向个性化框架,通过条件扩散反向技术实现面部匿名化,支持属性可控的匿名化,平衡身份移除、属性保留和图像质量。
2025-12-28 cs.CV
MM-Diff: High-Fidelity Image Personalization via Multi-Modal Condition Integration
Alibaba Group(阿里巴巴集团)
提出无调优图像个性化框架MM-Diff,通过视觉编码器提取CLS和patch嵌入并结合多模态交叉注意力机制,辅以交叉注意力图约束,实现单/多主体高保真图像的快速生成。
2024-03-22 cs.AI cs.CV
WarmFed: Federated Learning with Warm-Start for Globalization and Personalization Via Personalized Diffusion Models
本文提出WarmFed,通过预训练初始化实现全球化与个性化模型的协同优化,采用LoRA生成个性化扩散模型,并结合服务器端微调与动态自我蒸馏提升模型鲁棒性。
2025-03-05 cs.CV cs.LG
CRAFT-LoRA: Content-Style Personalization via Rank-Constrained Adaptation and Training-Free Fusion
AGI Lab, Westlake University(西莱大学AGI实验室);George Washington University(乔治华盛顿大学);The University of Queensland(昆士兰大学)
CRAFT-LoRA通过秩约束适应与无训练融合实现内容-风格个性化,提升生成稳定性与语义控制灵活性。
2026-03-02 cs.CV
LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization
Leonardo AI Research Lab(莱昂纳多人工智能研究实验室);Lucid Simulations, Corp.(Lucid Simulations公司);Precigenetics Inc(Precigenetics公司);SimpleBerry Research Lab(SimpleBerry研究实验室);University of California, Merced(加州大学默塞德分校)
针对扩散模型个性化中 LoRA/PEFT 训练仍需数千步的问题,本文提出用超网络直接生成 LoRA 权重,并引入感兴趣区域先验,实现零样本、近瞬时的高质量个性化。
2024-12-03 cs.LG
HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enhancement
Hong Kong University of Science and Technology(香港科技大学)
研究以人为对象的视频个性化问题,提出HOMIE框架,统一处理主体间和主体内输入设置。通过更好的MLLM集成策略、自注意力中的全局多模态引导及模态参考嵌入,在多任务中达最优性能。
2026-07-22 cs.CV
Educational Question Mining At Scale: Prediction, Analysis and Personalization
Microsoft Research Cambridge(微软研究院剑桥分部)
在线教育平台使教师能够共享大量的教育资源,如问题,以形成练习和测验给学生。由于有大量可用的问题,重要的是要有一种自动化的方法来量化它们的属性,并为学生智能地选择它们,从而实现有效和个性化的学习体验。在这项工作中,我们提出了一个框架,从大规模的教育问题挖掘见解。我们利用最先进的贝叶斯深度学习方法,特别是部分变分自动编码器(p-VAE),来分析真实学生对大量问题的答案。基于p-VAE,我们提出了两个新的指标,量化问题的质量和难度,分别,和个性化的策略,以自适应地选择问题的学生。我们将我们提出的框架应用于现实世界的数据集,该数据集包含来自在线教育平台的数万个问题和数千万个答案。我们的框架不仅展示了有前途的结果,在统计指标,但也获得了高度一致的结果与领域专家的评价。
2021-03-01 cs.CY cs.LG stat.AP
Personalized Image Generation for Recommendations Beyond Catalogs
University of Michigan(密歇根大学)
REBECA通过直接学习隐含反馈信号实现高效个性化图像生成,无需微调扩散模型,提升大规模用户群体的个性化效果。
2025-11-25 cs.AI cs.IR cs.LG
Memory-Efficient Fine-Tuning Diffusion Transformers via Dynamic Patch Sampling and Block Skipping
Qualcomm AI Research(高通人工智能研究);KAIST(韩国科学技术院)
本文提出DiT-BlockSkip框架,通过动态补丁采样和块跳过减少内存使用,提升扩散变换器微调效率,实现设备端部署。
2026-03-21 cs.AI cs.CV
SEAL: Semantic-aware Single-image Sticker Personalization with a Large-scale Sticker-tag Dataset
SEAL通过引入语义感知的单图贴纸个性化方法,解决扩散模型在贴纸个性化中的视觉纠缠和结构刚性问题,利用StickerBench数据集实现属性级控制,提升身份保持与上下文可控性。
2026-09-07 cs.CV
No Way To Steal My Face: Proactive Defense Against Identity-Preserving Personalized Generation
Nanjing University of Information Science and Technology(南京信息工程大学)
针对扩散模型个性化生成的人脸隐私问题,提出可防御两类个性化方法的IDGuardian框架,通过破坏身份提取与注入阶段实现身份保护,且具备鲁棒性与泛化性。
2026-10-14 cs.CR cs.CV
Improving generative adversarial network inversion via fine-tuning GAN encoders
Chongqing University of Technology(重庆理工大学);Macau University of Science and Technology(澳门科技大学);University College London(伦敦大学学院)
针对现有GAN反演方法性能有限、泛化性差的问题,提出一种自监督预训练与微调GAN编码器的方法,通过自适应模块适配多架构,实现主流GAN上更优的高质量图像重建。
2024-12-12 cs.CV eess.IV
IDDM: Identity-Decoupled Personalized Diffusion Models with a Tunable Privacy-Utility Trade-off
The Hong Kong Polytechnic University(香港理工大学)
本文提出IDDM模型,通过在个性化流程中集成身份解耦,实现授权个性化的同时降低公开生成的身份可链接性,可调隐私-效用权衡。
2026-06-07 cs.CV
DynamicID: Zero-Shot Multi-ID Image Personalization with Flexible Facial Editability
Xi’an Jiaotong University(西安交通大学);Film AI Lab, Western Movie Group(西方电影集团影视人工智能实验室)
DynamicID提出免调优框架,通过语义激活注意力和身份-运动重构器实现高保真、灵活可编辑的单/多身份个性化图像生成,并构建VariFace-10k数据集以降低数据依赖。
2025-07-21 cs.AI cs.CV
Movie Weaver: Tuning-Free Multi-Concept Video Personalization with Anchored Prompts
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta GenAI(元宇宙生成式人工智能部门)
针对现有视频个性化方法难以实现多概念整合且易出现身份融合的问题,提出Movie Weaver,通过锚定提示和概念嵌入解决多概念关联与顺序编码问题,实现免调优多概念视频个性化并在身份保留和质量上优于现有方法。
2025-02-04 cs.CV cs.GR cs.LG
Omni-Attribute: Open-vocabulary Attribute Encoder for Visual Concept Personalization
Snap Inc.;UC Merced(加州大学默塞德分校);CMU(卡内基梅隆大学)
本文提出Omni-Attribute,通过联合设计数据与模型,学习高保真属性特定表示,解决现有方法中属性混杂的问题,提升开放词汇属性检索与生成性能。
2026-04-30 cs.CV
Towards Low-Energy Adaptive Personalization for Resource-Constrained Devices
Imperial College London(伦敦帝国学院);University of York(约克大学)
本文提出目标块微调(TBFT)框架,将数据漂移分为输入、特征和输出三级并分别微调模型前、中、后块,在资源受限设备上以更低能耗实现更优个性化性能。
2024-03-29 cs.CV cs.LG
Mod-Adapter: Tuning-Free and Versatile Multi-concept Personalization via Modulation Adapter
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Kolors Team, Kuaishou Technology(快手科技Kolors团队);Shenzhen Loop Area Institute, Shenzhen, China(深圳循环区研究所);Guangdong Key Laboratory of Big Data Analysis and Processing, Guangzhou, China(广东大数据分析与处理重点实验室);South China University of Technology, Guangzhou, China(华南理工大学)
本文提出Mod-Adapter方法,通过调制适配器实现无需微调的多概念个性化,有效定制物体和抽象概念,提升生成质量。
2026-02-20 cs.CV
CRAFT: Constrained Reward via Attention Fine-Tuning for Subject Personalization without Composed Targets
DGIST(大邱科技研究院);Baidu, Inc.(百度公司);KAIST(韩国科学技术院)
本文提出无需组合目标监督的CRAFT框架,通过LoRA适配器微调参考感知MMDiT,仅用1万张参考样本,在XVerseBench上实现图像主题个性化的最先进性能,且可迁移至其他骨干网络。
2026-08-17 cs.CV
Anti-Persona: Disrupting Unauthorized Identity Binding and Recognition in Personalized Vision--Language Models
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Michigan State University(密歇根州立大学)
针对个性化视觉-语言模型中的身份绑定与识别隐私风险,提出基于身份原型扰动破坏的图像级防御方法Anti-Persona,在保持视觉保真度下实现高达95%的保护率。
2026-10-02 cs.CV
Personalize Your Gaussian: Consistent 3D Scene Personalization from a Single Image
Nanyang Technological University(南洋理工大学);Hong Kong University of Science and Technology(香港科学与技术大学)
本文提出CP-GS框架,通过逐步传播单视角参考外观到新视角,有效缓解视角偏差,实现高质量3D场景个性化。
2025-12-24 cs.CV
Imperfect Vision Encoders: Efficient and Robust Tuning for Vision-Language Models
University of Cambridge(剑桥大学);Toyota Motor Europe(丰田汽车欧洲公司)
针对开源VLMs依赖冻结CLIP编码器导致图像理解错误传播的问题,提出一种选择性局部更新视觉编码器的高效鲁棒微调方法,在修正错误的同时保持整体鲁棒性并支持持续少样本更新。
2024-07-23 cs.AI cs.CL cs.CV
Training-Free VLM Personalization via Calibrated Residual Decoding
本文提出无训练校准残差解码框架,通过构建三类证据条件估计个性化边际贡献,经实验在多数据集上提升了VLM的个性化多模态理解性能。
2026-08-25 cs.AI cs.CV
MetaWriter: Personalized Handwritten Text Recognition Using Meta-Learned Prompt Tuning
Department of Computer Science and Software Engineering, Concordia University(计算机科学与软件工程系,康科迪亚大学)
提出MetaWriter框架,通过元学习优化的提示调优和自监督辅助任务,实现高效个性化手写识别,仅更新<1%参数,在RIMES和IAM基准上超越现有方法且参数减少20倍。
2025-05-26 cs.CV
Personalized Large Vision-Language Models
University at Buffalo(布法罗大学);New York University(纽约大学)
PLVM通过预训练视觉编码器Aligner将指代概念与查询图像对齐,使LVLMs能在对话中持续低成本地添加新概念,实现更可定制且指代友好的个性化交互。
2024-12-23 cs.CV