LocRef-Diffusion:Tuning-Free Layout and Appearance-Guided Generation
MetaX
本文提出无需调优的LocRef-Diffusion模型,通过Layout-net和appearance-net分别控制实例位置与外观,在COCO和OpenImages上实现了布局与外观引导生成的最先进性能。
2024-11-22 cs.AI cs.CV
Adams Bashforth Moulton Solver for Inversion and Editing in Rectified Flow
Li Auto(利亚 Auto);Harbin Institute of Technology(哈尔滨工业大学);University of New South Wales(新南威尔士大学);Tsinghua University(清华大学)
本文提出ABM求解器,通过多步预测校正和自适应步长调整提升rectified流模型的求解精度和编辑质量,无需额外训练。
2026-01-26 cs.CV
Training-Free Text-Guided Image Editing with Visual Autoregressive Model
Snap Research(Snap研究院);Nanyang Technological University(南洋理工大学);UT Austin(德克萨斯大学奥斯汀分校)
提出基于VAR的免训练文本引导图像编辑框架,通过缓存机制和自适应掩码策略实现精确局部编辑,无需显式反演,在速度与质量上超越现有扩散及修正流方法。
2025-03-31 cs.AI cs.CV
Pose-Guided High-Resolution Appearance Transfer via Progressive Training
Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Tencent(腾讯);HKUST(香港科技大学)
我们提出了一种新型的姿势引导外观转移网络,用于以前所未有的图像分辨率(1024 * 1024)将给定的参考外观转移到目标姿势,分别给出参考人和目标人的图像。没有使用3D模型。相反,我们的网络利用密集的局部描述符,包括局部感知损失和局部判别器来细化细节,以从粗到细的方式逐步训练,以产生高分辨率输出,忠实地保留服装纹理和几何形状的复杂外观,同时无缝地产生幻觉,包括那些具有非遮挡的外观。我们的渐进式编码器-解码器架构可以在多个尺度上学习输入图像中固有的参考外观。在Human3.6M数据集、DeepFashion数据集和我们从YouTube收集的数据集上进行的大量实验结果表明,我们的模型可以生成高质量的图像,这些图像可以进一步用于有用的应用,例如人与人之间的服装转移和姿势引导的人类视频生成。
2022-11-25 cs.CV
SteerFlow: Steering Rectified Flows for Faithful Inversion-Based Image Editing
The Hong Kong University of Science and Technology(香港科技大学);VinUniversity
SteerFlow通过引入隐式直线化求解器和轨迹插值,提升图像编辑的源保真度,实验表明其在FLUX.1-dev和Stable Diffusion 3.5 Medium上表现更优。
2026-04-02 cs.CV
TumorGen: Boundary-Aware Tumor-Mask Synthesis with Rectified Flow Matching
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Massachusetts General Hospital and Harvard Medical School(哈佛医学院麻省总医院)
提出TumorGen,一种基于整流流匹配的边界感知3D肿瘤掩码合成方法,通过边界框替代二值掩码、同时合成潜变量与掩码及VAE细化边界,在提升计算效率的同时保持病理准确性,优于现有方法。
2025-05-30 cs.CV eess.IV
SlimFlow: Training Smaller One-Step Diffusion Models with Rectified Flow
ETH Zurich(苏黎世联邦理工学院);UT Austin(德克萨斯大学奥斯汀分校)
本文提出SlimFlow框架,通过退火重流和流引导蒸馏联合压缩推理步数与模型尺寸,训练出参数量15.7M、FID 5.02的单步扩散模型,在CIFAR10上超越先前最先进模型,并在ImageNet和FFHQ上达到与大型模型相当的性能。
2024-07-18 cs.CV
Optimal Transport for Rectified Flow Image Editing: Unifying Inversion-Based and Direct Methods
Department of Computer Science, University of Bucharest(计算机科学系,布加勒斯特大学)
本文提出统一最优传输框架,同时改进整流流图像编辑中基于反演和无需求逆两类方法,在重建保真度、结构保持与编辑可控性上均取得显著提升。
2025-09-20 cs.CV
Erased, But Not Forgotten: Erased Rectified Flow Transformers Still Remain Unsafe Under Concept Attack
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院未来区块链与隐私计算北京高精尖创新中心);University of Science and Technology of China(中国科学技术大学);National University of Defense Technology(国防科技大学);GigaAI(极佳科技);National University of Singapore(新加坡国立大学)
本文提出ReFlux,首个针对最新修正流T2I框架评估概念擦除鲁棒性的攻击方法,通过反注意力优化和动态引导策略,验证了概念擦除在修正流变换器中的有效性。
2026-04-08 cs.CV
FocusOPD: Structure-Guided On-Policy Distillation for Diffusion Models
University of Science and Technology of China(中国科学技术大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
FocusOPD针对扩散模型在线策略蒸馏的特征不匹配问题,提出限制在深层和早期去噪步骤的令牌级方向特征对齐,在多项生成任务基准上提升了性能。
2026-10-16 cs.CV
SlerpFlow: Spherical Trajectory Correction for Rectified Flow Inversion
研究针对基于整流流的图像生成中反演难题,提出SlerpFlow方法,基于流形假设,整合球形线性插值校正流速度方向,缓存校正速度,实现高精度反演,提升重建保真度与编辑语义对齐,无需额外训练。
2026-07-24 cs.CV
Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching
Zhejiang University(浙江大学)
本文提出基于整流流匹配的V2A模型Frieren,通过非自回归向量场估计、通道级跨模态融合及reflow与一步蒸馏,实现高质量、高同步且高效的视频到音频生成。
2025-01-04 cs.CV cs.MM cs.SD
Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model
Department of Industrial Engineering(工业工程系)
提出FPDM框架,通过对比学习显式对齐融合源-姿态嵌入与目标图像嵌入,并作为条件信号生成,解决姿态引导人物图像合成中纹理保真度和一致性问题。
2026-05-23 cs.AI cs.CV
Adaptive Appearance Rendering
Simon Fraser University(西蒙菲莎大学)
我们提出了一种方法来生成所需的外观和姿势的人的图像。姿态和外观的分解表示对于处理所生成的图像中的复合可变性是必要的。因此,我们开发了一种基于姿态和外观的中间表示的方法:我们的姿态引导外观渲染网络首先使用编码器-解码器神经网络对目标的姿态进行编码。然后,通过使用全卷积网络学习自适应外观滤波器来编码目标的外观。最后,将这些滤波器放置在编码器-解码器神经网络中完成渲染。我们证明了我们的模型可以生成优于最先进方法的图像和视频,并且可以在图像和视频生成中处理姿势引导的外观渲染。
2021-04-24 cs.CV
Layout2Scene: 3D Semantic Layout Guided Scene Generation via Geometry and Appearance Diffusion Priors
The Shenzhen Campus of Sun Yat-sen University, Sun Yat-sen University(中山大学深圳校区,中山大学);National University of Defense Technology(国防科技大学)
针对文本条件3D场景生成缺乏精确位置控制的问题,本文提出Layout2Scene,利用语义布局并结合两阶段几何与外观扩散先验优化,生成更逼真、可灵活精确编辑的3D场景。
2025-01-05 cs.CV
SD3.5-Flash: Distribution-Guided Distillation of Generative Flows
Stability AI;SketchX, University of Surrey(SketchX,大学)
SD3.5-Flash通过分布匹配蒸馏修正流模型,采用时间步共享和分裂时间步微调,实现消费级设备上的高效少步高质量图像生成,并优于现有方法。
2025-09-25 cs.AI cs.CV
PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction
Jilin University(吉林大学);Nanyang Technological University(南洋理工大学)
提出PGAHum框架,通过融合SMPL先验的隐式几何表示、先验引导采样和迭代后向变形策略,实现高保真可驱动人体的高质量几何重建与逼真新颖视图合成。
2024-04-22 cs.CV
Video Anomaly Detection with Motion and Appearance Guided Patch Diffusion Model
Huazhong University of Science and Technology(华中科技大学)
针对现有视频异常检测扩散模型忽略异常形态、未兼顾小目标及外观运动偏差的问题,提出带运动与外观条件的补丁扩散模型,在四个数据集上表现优于多数现有方法。
2024-12-12 cs.CV
Text Guided Person Image Synthesis
Zhejiang University(浙江大学);Nanjing University(南京大学)
提出了一种基于自然语言描述的人物图像视觉外观(姿态和属性)处理方法。我们的方法可以归结为两个阶段:1)文本引导的姿势生成和2)视觉外观转移图像合成。在第一阶段,我们的方法推断出一个合理的目标人体姿势的基础上的文本。在第二阶段,我们的方法合成一个现实和外观转移的人的形象,根据文本结合目标姿态。我们的方法从文本中提取了足够的信息,并建立了图像空间和语言空间之间的映射,使生成和编辑图像对应的描述成为可能。我们进行了大量的实验,以揭示我们的方法的有效性,以及使用VQA感知得分作为评估方法的度量。它首次表明,我们可以自动编辑的自然语言描述的人的形象。
2019-04-10 cs.CV
LineArt: A Knowledge-guided Training-free High-quality Appearance Transfer for Design Drawing with Diffusion Model
KTH Royal Institute of Technology(瑞典皇家理工学院);Jilin University(吉林大学);Tokyo Institute of Technology(东京工业大学);Japan Advanced Institute of Science and Technology (JAIST)(日本先进科学技术学院)
LineArt提出一种免训练、知识引导的外观迁移框架,通过多频率线条融合和两阶段绘画,在保持结构准确的同时提升设计图纸渲染的精度与真实感,并引入ProLines数据集验证其优于现有方法。
2024-12-16 cs.CV
MPFlow: Multi-modal Posterior-Guided Flow Matching for Zero-Shot MRI Reconstruction
1 Hawkes Institute, UCL \, 2 Dept. of Medical Physics;Biomedical Engineering, UCL 3 Dept. of Computer Science, UCL 4 Centre for AI, DS\&AI, AstraZeneca, UK
提出MPFlow框架,利用自监督预训练PAMRI学习跨模态共享表示,在推理时通过数据一致性和特征对齐引导采样,减少幻觉并提升零样本MRI重建效率。
2026-09-25 cs.AI cs.CV
Pose Guided Human Video Generation
CUHK-SenseTime Joint Lab(香港中文大学-商汤联合实验室);SenseTime Research(商汤科技研究院);Carnegie Mellon University(卡内基梅隆大学)
由于生成对抗网络的出现,视频合成技术取得了突破性的进展。然而,现有的方法缺乏一个适当的表示来显式地控制视频中的动态。另一方面,人体姿态可以内在地和可解释地表示运动模式,并且施加几何约束而不管外观如何。在本文中,我们提出了一种姿势指导的方法来合成人类视频在一个解开的方式:合理的运动预测和连贯的外观生成。在第一阶段中,姿态序列生成对抗网络(PSGAN)以对抗方式学习以产生以类别标签为条件的姿态序列。在第二阶段中,语义一致的生成对抗网络(SCGAN)从姿势生成视频帧,同时保留输入图像中的连贯外观。通过在高特征级别上执行生成的姿势和地面真实姿势之间的语义一致性,我们的SCGAN对噪声或异常姿势具有鲁棒性。在人体动作和人脸数据集上的大量实验表明,该方法优于其他国家的艺术。
2018-07-30 cs.CV
MFC-RFNet: A Multi-scale Guided Rectified Flow Network for Radar Sequence Prediction
Yibin University(宜宾大学);Chongqing University of Technology(重庆理工大学)
本文提出MFC-RFNet,通过多尺度通信与引导特征融合解决雷达序列预测中的多尺度演变、帧间特征错位和长程时空上下文建模问题,提升预测精度与空间保真度。
2026-04-17 cs.AI cs.CV
TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation
研究实时长格式数字人生成问题,提出TaoMate框架,通过锚点引导、内存桥接等方法,在保持稳定外观和视听同步下,实现少步联合音频-视频生成,且能跨块并行执行加速自回归推理。
2026-07-28 cs.CV
IGNOR: Image-guided Neural Object Rendering
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学)
我们提出了一种学习的图像引导渲染技术,它结合了基于图像的渲染和基于GAN的图像合成的优点。我们的方法的目标是为虚拟和增强现实应用(例如,虚拟陈列室、虚拟游览和观光、历史文物的数字化检查)。我们工作的一个核心组成部分是处理视图相关效果。具体来说,我们直接训练对象特定的深度神经网络来合成对象的视图相关外观。作为输入数据,我们使用对象的RGB视频。该视频用于通过多视图立体视觉重建对象的代理几何。基于该3D代理,捕获的视图的外观可以被扭曲成新的目标视图,如在经典的基于图像的渲染中那样。这种扭曲假设漫反射表面,在依赖于视图的效果(如镜面反射高光)的情况下,它会导致伪影。为此,我们提出了一种深度神经网络,它可以预测视图相关的效果。基于这些估计,我们能够将观察到的图像转换为漫射图像。这些漫射图像可以投影到其他视图中。在目标视图中,我们的管道重新插入新的视图相关效果。为了将多个重新投影的图像合成为最终输出,我们学习了一个输出照片级逼真结果的合成网络。使用这种图像引导的方法,网络不必在“记住”对象外观上分配容量,而是学习如何组合捕获图像的外观。我们证明了我们的方法的有效性,定性和定量的合成以及真实的数据。
2020-01-15 cs.CV
Vinedresser3D: Agentic Text-guided 3D Editing
The Hong Kong University of Science and Technology(香港科学与技术大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Vinedresser3D通过多模态大语言模型和潜在空间编辑技术实现高质量文本引导的3D编辑,提升编辑精度与一致性。
2026-02-23 cs.CV
I Dream My Painting: Connecting MLLMs and Diffusion Models via Prompt Generation for Text-Guided Multi-Mask Inpainting
University of Bari Aldo Moro(巴里阿尔多·莫罗大学)
本文提出多掩码修复新任务,通过微调多模态大语言模型自动生成多区域提示,并结合修正交叉注意力的Stable Diffusion实现文本引导的精确修复,在绘画数据集上验证了其创意性与准确性。
2024-12-06 cs.CV
ORSIFlow: Saliency-Guided Rectified Flow for Optical Remote Sensing Salient Object Detection
1University of Electronic Science;2Hainan University, Haikou, China;3China University of Mining \& Technology (Beijing), Beijing, China
ORSIFlow提出了一种基于显著性的校正流框架,将光学遥感显著物体检测转化为确定性潜在流生成问题,通过冻结变分自编码器构建紧凑潜在空间,提升推理效率,并设计显著特征判别器和校准器以增强显著性意识,实验表明其在多个公开基准上实现了最先进的性能。
2026-10-23 cs.CV
Pose Guided Person Image Generation with Hidden p-Norm Regression
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一种新的方法来解决姿态引导的人的图像生成任务。我们假设姿态和外观信息之间的关系可以通过隐藏空间中的简单矩阵运算来描述。基于这一假设,我们的方法估计一个姿态不变的特征矩阵为每个身份,并使用它来预测目标的外观条件下的目标姿态。估计过程被公式化为隐空间中的p-范数回归问题。通过利用该回归问题的解的微分,可以以端到端的方式训练整个框架的参数。虽然大多数以前的作品只适用于监督训练和单镜头生成场景,但我们的方法可以很容易地适应无监督训练和多镜头生成。在具有挑战性的Market-1501数据集上进行的大量实验表明,我们的方法在所有上述变体场景中都具有竞争力的性能。
2021-02-19 cs.CV
Pose-driven Attention-guided Image Generation for Person Re-Identification
Queensland University of Technology (QUT)(昆士兰科技大学)
人物再识别是多摄像机监控系统中不同视角下的目标图像匹配问题。人物重新识别的主要挑战之一是摄像机网络中的姿势变化,这会显著影响人物的外观。现有的开发数据缺乏足够的姿势变化来进行人员重新识别系统的有效训练。为了解决这个问题,在本文中,我们提出了一个端到端的姿势驱动的注意力引导生成对抗网络,生成多个姿势的人。我们建议通过一个注意力机制来注意学习和转移主体姿势。提出了一种语义一致性损失,以保持在姿势转移过程中的人的语义信息。为了确保精细的图像细节在姿态转换之后是真实的,使用外观缩放,同时使用姿态缩放来确保所传输的图像的姿态将与目标姿态完全相同。我们表明,通过将所提出的方法在一个人的重新识别框架,现实的姿势转移图像和国家的最先进的重新识别结果可以实现。
2021-04-28 cs.AI cs.CV cs.LG
TruePose: Human-Parsing-guided Attention Diffusion for Full-ID Preserving Pose Transfer
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Institute of High Performance Computing (IHPC)(高性能计算研究所);Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心)
TruePose提出人体解析引导的注意力扩散方法,通过孪生UNet、HPFA和CAA模块在姿态迁移中同时保持面部与服装外观,实验证明其优于13种基线方法。
2025-02-05 cs.AI cs.CV
AniGAN: Style-Guided Generative Adversarial Networks for Unsupervised Anime Face Generation
ByteDance(字节跳动);National Tsing Hua University(国立清华大学);Shenzhen University(深圳大学)
在本文中,我们提出了一个新的框架,将一个肖像照片脸到动画外观。我们的目标是合成动画的脸是风格一致的给定的参考动画脸。然而,与典型的翻译任务不同,这种动画面部翻译是具有挑战性的,因为动画面部之间的外观的复杂变化。现有的方法往往无法转移的风格的参考动画的脸,或引入显着的文物/扭曲的局部形状,其生成的脸。我们提出了AniGAN,一种新型的基于GAN的翻译器,可以合成高质量的动画面部。具体而言,提出了一种新的生成器架构,同时传输颜色/纹理风格和转换局部面部形状到动画类似的对应物的基础上的风格的参考动画脸,同时保持全局结构的源照片脸。我们提出了一个双分支学习的分布和域共享的分布,帮助生成视觉上令人愉快的动画脸,并有效地减轻文物。大量的实验selfie 2anime和一个新的face 2anime数据集定性和定量地证明了我们的方法比国家的最先进的方法的优越性。新的数据集可在https://github.com/bing-li-ai/AniGAN上获得。
2021-03-29 cs.AI cs.CV
Semantix: An Energy Guided Sampler for Semantic Style Transfer
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学);University of Oxford(牛津大学);The University of Sydney(悉尼大学)
本文提出Semantix,一种免训练的能量引导采样器,利用预训练扩散模型实现基于语义对应的图像和视频风格迁移,通过风格、空间和语义距离引导,超越现有方法。
2025-03-28 cs.CV
DriveEditor: A Unified 3D Information-Guided Framework for Controllable Object Editing in Driving Scenes
Huazhong University of Science and Technology(华中科技大学);National Key Laboratory of Multispectral Information Intelligent Processing Technology(多光谱信息智能处理技术国家重点实验室);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
DriveEditor提出统一的扩散框架,通过三维边界框位置控制和单参考图像外观保持模块,实现驾驶视频中物体的重新定位、替换、删除和插入,并在nuScenes上验证了高保真可控编辑能力。
2024-12-30 cs.CV
Single-Image 3D Human Digitization with Shape-Guided Diffusion
Kuwait University(科威特大学);Meta;University of Maryland(马里兰大学)
提出一种利用形状引导扩散模型,从单张图像生成一致、高分辨率、照片级真实的三维人体网格的方法,优于现有技术。
2023-11-15 cs.CV
PhysReflect: Geometry and Perception Guided Diffusion for Physically-Plausible Mirror Reflections
Harbin Institute of Technology(哈尔滨工业大学)
PhysReflect提出几何与感知引导的扩散框架,通过几何损失和感知损失直接监督镜面反射,在合成和真实基准上超越现有方法,提升反射的物理合理性。
2026-09-22 cs.AI cs.CV
MUST-GAN: Multi-level Statistics Transfer for Self-driven Person Image Generation
University of Chinese Academy of Sciences(中国科学院大学)
姿态引导的人物图像生成通常涉及使用成对的源-目标图像来监督训练,这显著增加了数据准备工作并限制了模型的应用。为了解决这个问题,我们提出了一种新的多级统计传输模型,该模型将多层次的外观特征从人的图像中分离出来,并将其与姿势特征合并,以重建源人图像本身。因此,源图像可以被用作自驱动的人的图像生成的监督。具体来说,我们的模型从外观编码器中提取多层次的特征,并通过注意力机制和属性统计来学习最佳的外观表示。然后,我们将它们转移到姿势引导的生成器中进行外观和姿势的重新融合。我们的方法允许灵活的操作的人的外观和构成属性,以执行姿势转移和服装风格转移任务。在DeepFashion数据集上的实验结果表明,与最先进的监督和无监督方法相比,我们的方法具有优越性。此外,我们的方法在野外也表现良好。
2021-04-09 cs.CV
UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文提出免调优框架 UniEdit,利用预训练文本到视频生成器及运动参考、重建分支与时空注意力注入,统一支持视频运动和外观编辑,并在实验中超过现有方法。
2024-04-07 cs.CV
R-DMesh: Video-Guided 3D Animation via Rectified Dynamic Mesh Flow
Huazhong University of Science and Technology(华中科技大学);Tencent Hunyuan(腾讯混元)
本文提出R-DMesh框架,通过校正动态网格流解决视频引导3D动画中的姿态对齐问题,并实现高保真的4D网格生成。
2026-06-27 cs.CV cs.GR cs.LG
ReLo-IRR: Reflection-Guided LoRA Framework for Image Reflection Removal
School of Artificial Intelligence, South China Normal University(南方科技大学人工智能学院);University of Science and Technology of China(中国科学技术大学)
针对单图像反射去除问题,提出基于整流流模型的ReLo-IRR框架。设计轻量级估计器预测反射强度描述符,引入时间条件机制,联合建模反射强度和去噪动态,有效抑制不同反射条件。
2026-07-07 cs.CV
Real-Time Generation of Streamable Talking Portrait Video with Reference-Guided Deep Compression VAEs
Microsoft Research(微软研究院);Microsoft AI(微软人工智能)
提出一种结合因果视频VAE和自回归潜在去噪模型的流式说话人肖像视频生成框架,通过参考图像引导实现实时高质量生成。
2026-06-01 cs.CV
Physics-Guided Rectified Flow for Low-light RAW Image Enhancement
School of Physics, Northeast Normal University(东北师范大学物理学院)
本文提出PGRF,一种结合物理噪声模型与修正流生成框架的低光RAW图像增强方法,通过逐像素噪声模拟克服全局校准局限,并在自建LLID数据集上取得显著改进。
2025-09-10 cs.CV eess.IV
Prompt-Guided Dual Latent Steering for Inversion Problems
Nanjing University of Posts and Telecommunications(南京邮电大学);University of Washington(华盛顿大学);University of Alberta(阿尔伯塔大学)
本文提出免训练的提示引导双潜在控制方法PDLS,将反演分解为结构路径与语义路径,并用LQR闭式解动态引导生成轨迹,在多种反演任务上同时提升重建保真度与语义一致性。
2025-09-23 cs.CV
MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion
Fudan University(复旦大学);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心);Microsoft Research Asia(微软亚洲研究院);Carnegie Mellon University(卡内基梅隆大学);Huya Inc.(虎牙公司)
本文提出MotionFollower,一种轻量级分数引导扩散模型,通过双分支架构和轻量级信号控制器实现视频运动编辑,在保留外观和背景的同时显著降低GPU内存占用并支持大相机移动。
2024-05-30 cs.CV
ManiTrans: Entity-Level Text-Guided Image Manipulation via Token-wise Semantic Alignment and Generation
Fudan University(复旦大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
现有的文本引导的图像操作方法主要是在虚拟或简单的场景中对图像的外观进行修改或对少数对象进行编辑,离实际应用还很远。在这项工作中,我们研究了一个新的任务,在现实世界中的实体水平上的文本引导的图像操作。该任务提出了三个基本要求,(1)编辑与文本描述一致的实体,(2)保留文本无关区域,以及(3)将操纵的实体自然地合并到图像中。为此,我们提出了一种新的基于变换器的框架的基础上的两阶段的图像合成方法,即\textbf{ManiTrans},它不仅可以编辑实体的外观,但也产生新的实体对应的文本指导。我们的框架采用了语义对齐模块来定位要操作的图像区域,以及语义损失来帮助对齐视觉和语言之间的关系。我们在真实数据集、CUB、Oxford和COCO数据集上进行了大量的实验,验证了我们的方法可以区分相关区域和不相关区域,与基线方法相比,可以实现更精确和灵活的操作。项目主页是\url{https://jawang19.github.io/manitrans}。
2022-04-09 cs.CV
Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Guangdong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(机器智能与先进计算教育部重点实验室);Pazhou Lab (HuangPu)(琶洲实验室(黄埔))
本文提出由粗到细潜在扩散方法CFLD,通过纯图像训练范式、感知精化解码器和混合粒度注意力模块解耦外观与姿态控制,在DeepFashion上取得领先的人物图像合成效果。
2024-04-09 cs.CV
A Variational U-Net for Conditional Appearance and Shape Generation
Heidelberg Collaboratory for Image Processing(海德堡图像处理协作实验室);IWR, Heidelberg University, Germany(德国海德堡大学IWR研究所(注:根据机构粒度要求,提取到大学级别,此处IWR为海德堡大学下属研究机构,整体保留原机构名及大学级别信息))
深度生成模型在图像合成中表现出了出色的性能。然而,在空间变形的情况下,结果会恶化,因为它们直接生成对象的图像,而不是对其固有形状和外观的复杂相互作用进行建模。我们提出了一个有条件的U-网的形状引导图像生成,条件上的输出的变分自编码器的外观。该方法在图像上进行端到端的训练,而不需要具有不同姿势或外观的相同对象的样本。实验表明,该模型能够实现条件图像的生成和传输.因此,可以从查询图像中保留形状或外观,同时自由地改变另一个。此外,由于其随机潜在表示,外观可以被采样,同时保持形状。在对COCO、DeepFashion、鞋子、Market-1501和手袋的定量和定性实验中,该方法显示出比最先进的方法有显著的改进。
2018-04-12 cs.CV
HumanRef: Single Image to 3D Human Generation via Reference-Guided Diffusion
City University of Hong Kong(香港城市大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出HumanRef框架,通过参考引导得分蒸馏采样和区域感知注意力,从单张图像生成几何精细、纹理真实且视角一致的三维人体模型,性能优于现有方法。
2023-11-28 cs.CV
Highly Detailed and Temporal Consistent Video Stylization via Synchronized Multi-Frame Diffusion
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Caritas Institute of Higher Education(明爱专上学院)
提出同步多帧扩散框架,通过自去噪起始阶段基于光流共享帧间信息,实现高细节和时间一致的视频风格化,效果优于现有方法。
2023-11-24 cs.CV
Mask-guided cross-image attention for zero-shot in-silico histopathologic image generation with a diffusion model
AstraZeneca Computational Pathology GmbH(阿斯利康计算病理学有限公司);AstraZeneca(阿斯利康)
针对现有外观迁移扩散模型不适用于病理图像的问题,提出基于分割掩码的类别特异性AdaIN特征匹配引导方法,实现零样本高保真免疫组化图像生成,可减少75%上皮分割任务的训练标注量。
2025-01-15 cs.CV
LaFIn: Generative Landmark Guided Face Inpainting
Tianjin University(天津大学);Wuhan University(武汉大学);Tencent AI Lab(腾讯人工智能实验室);Stony Brook University(石溪大学)
在野外环境下,由于人脸的姿态、表情、遮挡等变化很大,因此对人脸图像进行修补是一项具有挑战性的工作。一个好的修复算法应该保证输出的真实感,包括眼睛、鼻子和嘴巴之间的拓扑结构,以及姿态、性别、种族、表情等属性的一致性。针对这些问题,研究了一种有效的基于深度学习的策略,该策略由人脸特征点预测子网和图像修补子网组成。具体而言,给定部分观察,地标预测器旨在提供不完整面部的结构信息(例如拓扑关系和表情),而修复器则以预测的地标为条件来生成合理的外观(例如性别和种族)。在CelebA-HQ和CelebA数据集上进行实验,以揭示我们设计的有效性,并在定性和定量方面证明其优于最先进的替代品。此外,我们假设高质量的完整人脸及其地标可以用作增强数据,以进一步提高(任何)地标预测器的性能,这在300 W和WFLW数据集上的实验结果得到了证实。
2019-11-26 cs.CV
Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM
Stanford University(斯坦福大学);Adobe Research(奥多比研究实验室)
本文提出Human-LRM,一种无需模板先验的扩散引导前馈模型,利用LRM和Stable Diffusion从单视图重建三维人体,增强遮挡细节,性能优于现有方法。
2024-03-14 cs.CV
Appearance Harmonization for Single Image Shadow Removal
Tsinghua University(清华大学);Adobe Systems Inc.(奥多比系统公司)
阴影通常会在照片中产生不需要的伪影,去除它们可能非常具有挑战性。以前的阴影去除方法通常会产生与图像其余部分在视觉上不一致的去阴影区域。在这项工作中,我们提出了一个全自动的阴影区域协调的方法,提高了外观的兼容性,通常由以前的方法产生的去阴影区域。它是基于阴影引导的基于块的图像合成方法,使用从非阴影区域采样的块重建阴影区域。然后基于重建置信度对结果进行细化,以处理独特的图像模式。大量的阴影去除结果和比较表明了我们的改进的有效性。对基准数据集的定量评估表明,我们的自动阴影协调方法有效地改进了最新技术。
2016-03-21 cs.CV
Render In-between: Motion Guided Video Synthesis for Action Interpolation
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
对人类活动的视频进行上采样是一项有趣但具有挑战性的任务,具有从游戏到娱乐和体育广播的许多潜在应用。在这种情况下合成视频帧的主要困难源于人体运动的高度复杂性和非线性性质以及身体的复杂外观和纹理。我们建议解决这些问题的运动指导帧上采样框架,能够产生逼真的人体运动和外观。利用大规模运动捕捉数据集(AMASS)训练一种新的运动模型来推断帧间的非线性骨骼运动。高帧速率姿态预测然后由神经渲染流水线使用以产生全帧输出,同时考虑姿态和背景一致性。我们的管道只需要低帧率视频和未配对的人体运动数据,但不需要高帧率视频进行训练。此外,我们还为此任务贡献了第一个评估数据集,该数据集由高质量和高帧率的人类活动视频组成。与最先进的视频插值技术相比,我们的方法产生了更好的质量和准确性,这是显而易见的像素级,分布度量和比较用户评价的最先进的结果之间的帧。我们的代码和收集的数据集可以在https://git.io/Render-In-Between上找到。
2021-11-01 cs.CV