DrawVideo: Grounded and Faithful Multi-Shot Video Generation from Storyboard Keyframe Sketches
The University of Sydney（悉尼大学）；Charles Sturt University（查尔斯·斯特劳特大学）
提出 DrawVideo 框架，通过草图引导的故事板分解长视频为可控镜头，结合分层生成策略实现结构可控、外观一致的长视频生成。
2026-10-06 cs.AI cs.CV cs.GR
AnchoredDream: Zero-Shot 360° Indoor Scene Generation from a Single View via Geometric Grounding
School of Software, Tsinghua University（清华大学软件学院）；Wuhan University（武汉大学）
AnchoredDream通过几何约束和外观-几何互促机制，实现从单视角零样本生成高质量360°室内场景。
2026-01-26 cs.CV
GroundShot: Visually Consistent Multi-Shot Long Video Generation via Entity-Grounded Shot Scheduling
Fudan University（复旦大学）；Baidu（百度）
提出GroundShot框架，通过在线构建实体级视觉记忆并调度镜头生成顺序，无需训练即可提升多镜头视频中实体的一致性。
2026-07-21 cs.AI cs.CV
Zero-to-Hero: Zero-Shot Initialization Empowering Reference-Based Video Appearance Editing
Zhejiang University（浙江大学）；Alibaba Cloud Computing（阿里云 computing）
本文提出Zero-to-Hero方法，通过解耦编辑过程为锚点帧编辑与外观传播两阶段，利用原始帧对应关系引导注意力机制实现零样本初始化，并引入视频恢复模型解决成像退化问题，在PSNR上提升2.6 dB。
2025-05-29 cs.AI cs.CV
Two-Stream Appearance Transfer Network for Person Image Generation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Purdue University（普渡大学）
姿势引导人物图像生成装置，用于以输入人物图像和期望姿势为条件来生成照片真实感人物图像。该任务需要根据目标姿态对源图像进行空间操纵。然而，广泛用于图像生成和翻译的生成对抗网络（GANs）依赖于空间局部和翻译等变算子，即，卷积、池化和解池化，无法处理大的图像变形。本文介绍了一种新的双流外观传输网络（2s-ATN），以应对这一挑战。它是一个多级体系结构，由源流和目标流组成。每一级都有一个外观转换模块和多个双流特征融合模块。前者先找到两个流特征图之间的密集对应关系，然后将表观信息从源流传递到目标流。后者在两个流之间交换本地信息，并补充非本地外观传输。定量和定性的实验结果表明，该算法能够有效地处理大的空间变形和遮挡，同时保持图像的外观细节。它在两个广泛使用的基准测试中优于现有技术。
2020-11-09 cs.CV
Fine-grained Appearance Transfer with Diffusion Models
Huazhong University of Science & Technology（华中科技大学）；Zhejiang University（浙江大学）
本文提出一种基于扩散模型预测 $x_0$ 空间的细粒度外观迁移框架，通过语义对齐、掩码式特征迁移和潜在偏差集成，在无需重训练的情况下实现跨类别和领域的精细外观迁移。
2023-11-27 cs.CV
DiffFAE: Advancing High-fidelity One-shot Facial Appearance Editing with Space-sensitive Customization and Semantic Preservation
Tencent Youtu Laboratory（腾讯优图实验室）；Nanjing University（南京大学）；Zhejiang University（浙江大学）；VIVO（维沃（vivo））；Fudan University（复旦大学）
本文提出DiffFAE，一个单阶段高效扩散框架，通过空间敏感物理定制和区域响应语义组合模块及一致性正则化，解决面部外观编辑中的保真度低、属性保留差和推理效率低问题，实现最先进性能。
2024-03-26 cs.CV
Do As I Do: Transferring Human Motion and Appearance between Monocular Videos with Spatial and Temporal Constraints
Universidade Federal de Minas Gerais (UFMG)（米纳斯吉拉斯联邦大学）；INRIA（法国国家信息与自动化研究所）
从真实演员的图像中创建合理的虚拟演员仍然是计算机视觉和计算机图形学的关键挑战之一。无标记的人体运动估计和形状建模从图像在野外带来了这一挑战的前列。虽然最近在视图合成和图像到图像转换方面取得了进展，但目前可用的公式仅限于转移风格，而不考虑角色的运动和形状，这些运动和形状本质上是混合在一起的，以产生合理的人形。在本文中，我们提出了一个统一的配方，从单目视频，考虑所有这些方面的外观和重定向人体运动。我们的方法在最初记录的不同背景下合成了人们的新视频。与最近的外观转移方法不同，我们的方法考虑了身体形状，外观和运动约束。使用公开的真实视频包含硬条件的几个实验进行评估。我们的方法能够传递人类运动和外观，优于最先进的方法，同时保留必须保持的运动的特定特征（例如，脚接触地板，手接触特定对象），并保持最佳的视觉质量和外观指标，如结构相似性（SSIM）和学习感知图像块相似性（LPIPS）。
2020-01-21 cs.CV
GuideFlow3D: Optimization-Guided Rectified Flow For Appearance Transfer
Stanford University（斯坦福大学）；ENPC, IP Paris（巴黎理工学院）
针对图像或文本条件下几何差异较大的3D外观迁移难题，提出免训练的优化引导校正流GuideFlow3D，通过周期性部件感知与自相似性损失引导采样，并以GPT排名和用户研究验证其效果。
2025-10-17 cs.AI cs.CV cs.GR
BootPIG: Bootstrapping Zero-shot Personalized Image Generation Capabilities in Pretrained Diffusion Models
Salesforce AI Research（Salesforce AI研究院）
本文提出 BootPIG 架构，通过独立 UNet 和合成数据训练，在约 1 小时内为预训练扩散模型赋予零样本个性化图像生成能力，效果优于现有零样本方法。
2024-01-25 cs.AI cs.CV cs.GR
MUST-GAN: Multi-level Statistics Transfer for Self-driven Person Image Generation
University of Chinese Academy of Sciences（中国科学院大学）
姿态引导的人物图像生成通常涉及使用成对的源-目标图像来监督训练，这显著增加了数据准备工作并限制了模型的应用。为了解决这个问题，我们提出了一种新的多级统计传输模型，该模型将多层次的外观特征从人的图像中分离出来，并将其与姿势特征合并，以重建源人图像本身。因此，源图像可以被用作自驱动的人的图像生成的监督。具体来说，我们的模型从外观编码器中提取多层次的特征，并通过注意力机制和属性统计来学习最佳的外观表示。然后，我们将它们转移到姿势引导的生成器中进行外观和姿势的重新融合。我们的方法允许灵活的操作的人的外观和构成属性，以执行姿势转移和服装风格转移任务。在DeepFashion数据集上的实验结果表明，与最先进的监督和无监督方法相比，我们的方法具有优越性。此外，我们的方法在野外也表现良好。
2021-04-09 cs.CV
3-D Material Style Transfer for Reconstructing Unknown Appearance in Complex Natural Materials
University of Florida（佛罗里达大学）
我们提出了一个3-D材料风格转移框架重建无形的（或褪色）复杂的自然材料的外观属性。我们的算法解决了将外观属性从一个对象转移到另一个相同材料的对象时，两个对象都具有复杂的，不对应的颜色模式的技术挑战。例如，蛋壳、外骨骼和矿物质的图案是由高度随机的有机和无机化合物层组成的。这些材料构成了一个挑战，因为确定表面颜色的化合物的分布在物体之间和局部图案区域内发生变化。我们的解决方案适应外观观察样本的材料属性分布的目标对象的材料属性分布，以重建其未知的外观。我们使用测量的反射率在3-D的双光谱纹理记录不断变化的材料属性分布。我们的球谐函数的新实现使用化学和生物学原理来学习样本中颜色（色调和饱和度）与材料成分和浓度之间的关系。编码的关系被转换为目标的属性分布，用于颜色恢复和材料分配。定量和定性的评价方法表明，我们复制的颜色模式更准确地比方法，只依赖于形状的对应关系和粗糙的感知差异。我们展示了我们的工作在灭绝化石中重建颜色，恢复褪色的文物和生成合成纹理的应用。
2021-12-31 cs.CV
AnimateZero: Video Diffusion Models are Zero-Shot Image Animators
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；HKUST（香港科技大学）
本文提出 AnimateZero，通过复用 T2I 潜变量特征控制外观，并用位置校正窗口注意力控制时间对齐，使预训练 AnimateDiff 无需训练即可实现零样例图像动画。
2023-12-06 cs.CV
MVAgent: Multi-Agent Video Generation via Consistent Condition Construction and Shot-Level Policy Optimization
University of Exeter（埃克塞特大学）；Alibaba Group（阿里巴巴集团）
MVAgent通过多智能体协作构建一致条件，并采用镜头级策略优化（Trunk-GDPO），解决多镜头视频生成中的外观、布局和状态一致性问题，在ViMax-Bench上取得最优跨镜头一致性。
2026-09-28 cs.CV
Eye-for-an-eye: Appearance Transfer with Semantic Correspondence in Diffusion Models
Yonsei University（延世大学）
本文针对无需训练的外观迁移任务，提出在扩散模型中依据密集语义对应显式重排特征，解决自注意力查询-键相似度难以建立语义对应的问题，并在未对齐图像上实现更好的结构保持与颜色迁移。
2025-10-19 cs.AI cs.CV
Master: Meta Style Transformer for Controllable Zero-Shot and Few-Shot Artistic Style Transfer
Peking University（北京大学）；National University of Singapore（新加坡国立大学）；Baidu Inc.（百度公司）；Tencent AI Lab（腾讯人工智能实验室）
本文提出 Master 风格迁移 Transformer，通过跨层参数共享、内容特征可学习缩放及元学习微调，实现可控零样本与文本引导少样本艺术风格迁移。
2023-04-24 cs.CV
Mask-guided cross-image attention for zero-shot in-silico histopathologic image generation with a diffusion model
AstraZeneca Computational Pathology GmbH（阿斯利康计算病理学有限公司）；AstraZeneca（阿斯利康）
针对现有外观迁移扩散模型不适用于病理图像的问题，提出基于分割掩码的类别特异性AdaIN特征匹配引导方法，实现零样本高保真免疫组化图像生成，可减少75%上皮分割任务的训练标注量。
2025-01-15 cs.CV
A Shape-Aware Retargeting Approach to Transfer Human Motion and Appearance in Monocular Videos
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；INRIA（法国国家信息与自动化研究所）
在人类演员的视频之间传输人类运动和外观仍然是计算机视觉的关键挑战之一。尽管最近的图像到图像翻译方法取得了进展，但有几个传输上下文，其中大多数基于端到端学习的重定向方法仍然表现不佳。只有在遵守严格的设置时，才能确保将人类外观从一个演员转移到另一个演员，这通常是考虑到他们的训练制度的特殊性而建立的。在这项工作中，我们提出了一种基于混合图像的渲染技术，具有竞争力的视觉重定向质量相比，最先进的神经渲染方法的基础上的形状感知方法。该公式利用用户的身体形状到重定向，同时考虑在3D和2D图像域中的运动的物理约束。我们还提出了一个新的视频重定向基准数据集，该数据集由带有注释的人体运动的不同视频组成，以评估合成人的视频的任务，该任务可以用作改进跟踪该领域进展的共同基础。该数据集及其评估协议旨在评估更一般和更具挑战性的条件下的重定向方法。我们的方法在几个实验中进行了验证，包括公开的视频演员具有不同的形状，运动类型和相机设置。数据集和重定向代码可在https://www.verlab.dcc.ufmg.br/retargeting-motion上向社区公开。
2021-04-28 cs.CV
Dynamics Transfer GAN: Generating Video by Transferring Arbitrary Temporal Dynamics from a Source Video to a Single Target Image
KAIST（韩国科学技术院）
在本文中，我们提出了动态传输GAN;一种基于生成对抗学习的视频序列生成新方法。从目标图像获取所生成的视频序列的空间构造。所生成的视频序列的动态从源视频序列导入，具有任意运动，并施加到目标图像上。为了保持目标图像的空间结构，源视频序列的外观被抑制，并且在被施加到目标图像上之前仅获得动态。这是使用所提出的外观抑制动态特征来实现的。此外，生成的视频序列的空间和时间的离散性通过两个离散性网络进行了验证。一个验证器验证所生成的帧外观的保真度，而另一个验证所生成的视频序列的动态一致性。通过实验验证了该方法生成的视频序列的质量。实验结果表明，动态转换GAN在生成输出视频序列时，成功地将源视频序列的任意动态特性转换到目标图像上。实验结果还表明，动态传输GAN保持目标图像的空间结构（外观），同时生成空间和时间一致的视频序列。
2017-12-10 cs.CV
EM-Vid: Training-Free Entity-Centric Memory for Efficient and Consistent Multi-Shot Video Generation
Max Planck Institute for Informatics（马克斯·普朗克研究所）；Adobe Research（Adobe研究）
提出一种以实体为中心的潜在补丁记忆机制，通过稀疏令牌条件化和预算更新策略，实现多镜头视频生成中实体外观一致性与计算效率的平衡。
2026-05-22 cs.AI cs.CV
D3T-GAN: Data-Dependent Domain Transfer GANs for Few-shot Image Generation
Zhejiang University（浙江大学）
Few-Shot图像生成是一个重要而又具有挑战性的问题，其目的是在给定少量样本的情况下，通过训练GAN模型来生成真实感强的图像。Few-Shot生成的典型解决方案是将经过良好训练的GAN模型从数据丰富的源域转移到数据匮乏的目标域。在本文中，我们提出了一种新的自监督传输方案，称为D3 T-GAN，解决了Few-Shot图像生成中的跨域GANs传输。具体来说，我们设计了两个单独的策略，分别在生成器和鉴别器之间转移知识。为了在生成器之间传递知识，我们进行了一个数据依赖的转换，该转换将目标样本投影并重建到源生成器空间中。然后，我们执行从转换后的样本到生成的样本的知识转移。为了在鉴别器之间传递知识，我们设计了一个多级鉴别知识蒸馏，从源鉴别器到目标鉴别器。大量的实验表明，我们的方法提高了生成的图像的质量，并实现了最先进的FID分数在常用的数据集。
2022-05-12 cs.CV eess.IV
DiffFashion: Reference-based Fashion Design with Structure-aware Transfer by Diffusion Models
Zhejiang University（浙江大学）；Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院）；Donghua University（东华大学）；Hangzhou Dianzi University（杭州电子科技大学）
近年来，基于图像的人工智能服装设计越来越受到关注。我们专注于一个新的时装设计任务，我们的目标是将参考外观图像转移到服装图像，同时保留服装图像的结构。这是一项具有挑战性的任务，因为没有可用于新设计的输出时尚图像的参考图像。虽然基于扩散的图像转换或神经风格转换（NST）实现了灵活的风格转换，但是在反向扩散期间通常难以真实地保持图像的原始结构，特别是当参考外观图像与普通服装外观相差很大时。为了解决这个问题，我们提出了一种新的基于扩散模型的无监督结构感知传输方法，从给定的服装图像和参考外观图像语义生成新的衣服。具体来说，我们解耦的前景服装自动生成的语义面具的条件标签。在去噪过程中，进一步使用掩模作为指导，以保留结构信息。此外，我们使用预训练的视觉Transformer（ViT）进行外观和结构指导。我们的实验结果表明，所提出的方法优于国家的最先进的基线模型，在服装设计任务中生成更逼真的图像。代码和演示可以在https://github.com/Rem105-210/DiffFashion上找到。
2023-02-14 cs.CV
ZeST: Zero-Shot Material Transfer from a Single Image
University of Oxford（牛津大学）；Stability AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出 ZeST，利用扩散适配器提取示例材质，并结合深度与明暗线索通过预训练修复扩散模型实现单图零样本材质迁移。
2024-04-09 cs.CV
Customize-A-Video: One-Shot Motion Customization of Text-to-Video Diffusion Models
University of Maryland, College Park（马里兰大学帕克分校）；Adobe Research（奥多比研究院）；Yonsei University（延世大学）
针对单样本视频运动定制问题，提出Customize-A-Video框架，利用时间注意力层的LoRA建模参考视频运动，并通过外观吸收器解耦时空信息，实现即插即用的定制视频生成与编辑。
2024-08-28 cs.CV
Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）
Zero-shot艺术风格转换是一个重要的图像合成问题，旨在将任意风格的图像转换为内容图像。然而，现有方法中的泛化和效率之间的权衡阻碍了高质量的实时zero-shot风格的传输。在本文中，我们解决了这个难题，并提出了一个高效而有效的Avatar-Net，使视觉上合理的多尺度传输任意风格。我们的方法的关键成分是一个风格装饰，使内容功能的语义对齐的风格特征从任意的风格图像，这不仅整体上匹配他们的特征分布，但也保留详细的风格模式的装饰功能。通过将该模块嵌入到融合多尺度风格抽象的图像重建网络中，Avatar-Net在一次前馈中为任何风格图像呈现多尺度风格化。通过多种风格融合、视频风格化等一系列应用，验证了该方法在生成高质量风格化图像方面的有效性和高效性。
2018-05-22 cs.CV
Appearance Matching Adapter for Exemplar-based Semantic Image Synthesis in-the-Wild
KAIST（韩国科学技术院）；Korea University（高丽大学）；Hyundai Mobis（现代摩比斯）
本文提出AM-Adapter，通过语义增强的跨图像匹配与分阶段训练，实现单张场景级示例向复杂多对象场景的外观迁移，并取得SOTA效果。
2025-03-18 cs.CV
CineWeaver: Training-Free Reference-Controllable Multi-Shot Long Video Generation for Cinematic Storytelling
Shanghai Jiao Tong University（上海交通大学）；China Telecom（中国电信）；Institute of Artificial Intelligence (TeleAI)（人工智能研究院（电信AI））
CineWeaver是首个无训练的统一框架，通过操控位置编码、注意力模式等，实现参考可控的多镜头长视频生成，产出的电影视频时长较长且质量高。
2026-07-30 cs.CV
4DStyleGaussian: Zero-shot 4D Style Transfer with Gaussian Splatting
提出4DStyleGaussian框架，利用嵌入式4D Gaussian Splatting和可逆神经网络预测4D风格变换矩阵，实现高效、零样本且时空一致的动态场景风格迁移。
2024-10-14 cs.CV
Multi-Frame Content Integration with a Spatio-Temporal Attention Mechanism for Person Video Motion Transfer
Tsinghua University（清华大学）；Tencent（腾讯）；Texas A&M University（得克萨斯农工大学）
现有的人物视频生成方法要么在控制外观和运动方面缺乏灵活性，要么无法保持细节外观和时间一致性。在本文中，我们解决的问题，运动传输生成的人的视频，它提供了外观和运动的控制。具体来说，我们将目标视频中的一个人的运动转移到源视频中的另一个人，同时保留源人的外观。除了像现有的最先进的方法那样只依赖于一个源帧之外，我们提出的方法基于时空注意力机制来整合来自多个源帧的信息，以保留丰富的外观细节。除了用于鼓励帧级保真度的空间插值外，还采用多范围时间插值来强制生成的视频在各个时间范围内类似于真实视频的时间动态。收集了一个具有挑战性的真实世界数据集，其中包含约500个具有复杂和不可预测运动的舞蹈视频剪辑，用于训练和测试。大量的实验表明，该方法可以产生更多的照片真实感和时间一致的人比以前的方法的视频。由于我们的方法将前景和背景的合成分解为两个分支，因此也可以实现灵活的背景替换应用。
2019-08-12 cs.CV
Liquid Warping GAN: A Unified Framework for Human Motion Imitation, Appearance Transfer and Novel View Synthesis
ShanghaiTech University（上海科技大学）；Tencent AI Lab（腾讯人工智能实验室）
我们在一个统一的框架内处理人体运动模仿，外观转移和新颖的视图合成，这意味着模型一旦被训练就可以用来处理所有这些任务。现有的任务特定的方法主要使用2D关键点（姿势）来估计人体结构。然而，他们只表示的位置信息，没有能力来表征个人的个性化形状和模型的肢体旋转。在本文中，我们提出使用一个三维人体网格恢复模块来解开姿势和形状，它不仅可以建模的关节位置和旋转，但也个性化的身体形状的特征。为了保留源信息，如纹理，风格，颜色和人脸身份，我们提出了一个液体Warping GAN与液体Warping块（LWB），传播源信息在图像和特征空间，并合成一个图像的参考。具体地说，源特征提取的去噪卷积自动编码器的特征源身份很好。此外，我们提出的方法能够支持更灵活的多个来源的扭曲。此外，我们建立了一个新的数据集，即模仿者（iPER）数据集，用于评估人体运动模仿，外观转移和新的视图合成。大量的实验表明，我们的方法在几个方面的有效性，如在遮挡情况下的鲁棒性和保持人脸身份，形状一致性和衣服细节。所有代码和数据集均可在https://svip-lab.github.io/project/impersonator.html上获得
2019-10-01 cs.CV cs.LG eess.IV
Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer
Kim Jaechul Graduate School of AI（金在哲人工智能研究生院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出零样本对比损失方法，利用预训练扩散模型中的分块对比损失，在无需微调或辅助网络的情况下实现文本引导的图像风格迁移，并优于现有方法。
2023-04-12 cs.AI cs.CV cs.LG
Inductive and Transductive Few-Shot Video Classification via Appearance and Temporal Alignments
VinAI Research（VinAI研究院）；Retrocausal, Inc.（Retrocausal公司）
我们提出了一种新的方法用于Few-Shot视频分类，它执行外观和时间对齐。特别是，给定一对查询和支持视频，我们通过帧级特征匹配进行外观对齐，以实现视频之间的外观相似性得分，同时利用时间顺序保持先验来获得视频之间的时间相似性得分。此外，我们引入了一个Few-Shot视频分类框架，该框架在多个步骤中利用了上述外观和时间相似性分数，即基于原型的训练和测试以及归纳和转换原型细化。据我们所知，我们的工作是第一个探索转导Few-Shot视频分类。在Kinetics和Something-Something V2数据集上进行的大量实验表明，外观和时间对齐对于具有时间顺序敏感性的数据集（如Something-Something V2）至关重要。我们的方法在这两个数据集上都取得了类似或更好的结果。我们的代码可在https://github.com/VinAIResearch/fsvc-ata上获得。
2022-07-21 cs.CV
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频，通过对比学习来训练双流2D和3D CNN架构，以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应（A3 M）模块，该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务，使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外，与以前的有监督的Few-Shot动作识别方法不同，MetaUVFS既不需要基类标签，也不需要有监督的预训练骨干。因此，我们只需要训练MetaUVFS一次，就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争，有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Appearance-free Action Recognition: Zero-shot Generalization in Humans and a Two-Pathway Model
Hertie Institute, University of Tübingen IMPRS-IS（图宾根大学赫蒂研究所 IMPRS-IS）
研究探讨人类及模型在无外观视频中的动作识别能力，提出双通路模型，结合RGB和光流流，证明运动表征对无外观泛化的重要性。
2026-04-17 cs.CV
A Controllable Appearance Representation for Flexible Transfer and Editing
Universidad de Zaragoza, I3A（萨拉戈萨大学，I3A）
本文提出一种基于自监督FactorVAE的可控外观表示，通过解耦的紧凑潜在空间实现材质外观迁移与细粒度编辑，并利用轻量级IP-Adapter驱动扩散流程完成灵活的外观迁移。
2025-07-17 cs.CV cs.GR
Deep Multi-Shot Network for modelling Appearance Similarity in Multi-Person Tracking applications
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
多目标跟踪的自动化在真实的无约束场景中成为一项艰巨的任务，其中算法必须处理人群，交叉人群，遮挡，消失和视觉相似个体的存在。在这些情况下，传入检测与其对应的身份之间的数据关联可能会错过一些轨道或产生身份切换。为了减少这些跟踪错误，甚至减少它们在进一步帧中的传播，本文提出了一种深度多镜头神经模型，用于测量人观察之间的外观相似度（MS-DoAS）。该模型为个体的外观表示提供了时间一致性，并提供了一个亲和力度量来执行逐帧数据关联，从而允许在线跟踪。该模型经过精心训练，能够管理先前身份切换的存在和处理轨迹中的遗漏观测。为此，设计了一种新的数据生成工具来创建模拟这种情况的训练轨迹。该模型已被证明是一个高的能力，以辨别当一个新的观察对应于一个特定的轨道，实现了97%的分类准确率在硬测试中，模拟跟踪与以前的错误。此外，该模型在监视应用中的跟踪效率已经通过将其集成到检测跟踪算法的逐帧关联中来证明。
2020-04-07 cs.CV
NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs
University College London（伦敦大学学院）；Meta Reality Labs Research（Meta现实实验室）
本文将经典图像类比推广至NeRF，利用预训练2D模型的语义特征实现多视角一致的外观迁移，构建几何与外观的混合匹配空间，优于传统风格化方法且获用户偏好。
2024-02-13 cs.CV cs.GR
Proxy Avatar Meets Low-Rank Caching: Real-Time One-Shot Emotion-Controllable Portrait Animation
该研究提出结合代理化身与低秩缓存的级联框架，解决音频驱动肖像动画的实时性与情感控制问题，实现了情感表达、身份保留及推理效率的提升。
2026-08-04 cs.CV
BlendFields: Few-Shot Example-Driven Facial Modeling
Warsaw University of Technology（华沙理工大学）；University of British Columbia（不列颠哥伦比亚大学）；Microsoft（微软）；Simon Fraser University（西蒙弗雷泽大学）；Google Brain（谷歌大脑）；IDEAS NCBR（IDEAS国家智能研究中心）；Tooploox（Tooploox公司）
提出BlendFields方法，通过混合稀疏极端姿态的外观并利用局部体积变化，实现少样本示例驱动的人脸建模，捕捉细粒度细节并泛化到未见表情及非人脸对象。
2023-05-12 cs.CV cs.GR
Implicit Shape and Appearance Priors for Few-Shot Full Head Reconstruction
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人学与信息工业研究所（西班牙国家研究委员会-加泰罗尼亚理工大学联合机构））；Crisalix SA（克里萨利克斯公司）；Amazon（亚马逊公司）
针对少样本全3D头重建中现有基于坐标的神经表示需大量视图和密集计算的问题，提出融入概率形状与外观先验的方法，结合可并行光线追踪等策略，扩展H3DS数据集，实现高效准确且速度快一个数量级的最先进几何重建。
2025-02-02 cs.CV
Zero-Shot Sketch-Based Image Retrieval with Structure-aware Asymmetric Disentanglement
Shanghai Jiao Tong University（上海交通大学）
基于草图的图像检索（SBIR）的目标是使用手绘草图从自然图像库中检索相同类别的图像。然而，SBIR要求在训练期间看到所有测试类别，这在现实世界的应用中无法保证。因此，我们研究更具挑战性的零镜头SBIR（ZERO-SBIR），其中测试类别不出现在训练阶段。在认识到草图主要包含结构信息，而图像包含额外的外观信息的基础上，尝试通过非对称解缠实现结构感知的检索，提出了结构感知的非对称解缠（STRAD）方法，将图像特征解缠为结构特征和外观特征，而草图特征只投影到结构空间。通过对结构和外观空间的分离，实现了草图域和图像域之间的双向域转换。大量的实验表明，我们的STRAD方法显着优于国家的最先进的方法在三个大规模的基准数据集。
2020-09-18 cs.CV
ReStyle3D: Scene-Level Appearance Transfer with Semantic Correspondences
Stanford University（斯坦福大学）；NVIDIA Research（NVIDIA研究）；Zillow Group（Zillow集团）
ReStyle3D提出了一种场景级外观迁移框架，通过开放词汇分割建立实例级语义对应，结合扩散模型与变形细化网络，实现了精确且多视图一致的场景风格化。
2025-04-25 cs.CV cs.GR
A Novel Unified Architecture for Low-Shot Counting by Detection and Segmentation
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）
针对少样本计数中现有方法过度泛化、假阳性多及代理损失导致计数次优的问题，提出GeCo统一架构，通过密集目标查询泛化原型并设计直接优化检测的计数损失，在总计数MAE上超越领先方法约25%。
2024-11-28 cs.CV
Multi-shot Person Re-identification through Set Distance with Visual Distributional Representation
Carnegie Mellon University（卡内基梅隆大学）
人员重新识别旨在在不同时间和地点识别特定人员。这是具有挑战性的，因为遮挡，照明，并在相机视图的视点变化。近年来，多镜头人物身份识别任务因其更接近于现实世界的应用而受到越来越多的关注。一个好的多镜头人物识别算法的关键是人物外观特征的时间聚集。虽然目前大多数方法都采用池化策略并获得固定大小的向量表示，但这些方法可能会丢失示例之间的匹配证据。在这项工作中，我们提出了视觉分布表示的想法，它解释了从外观特征空间中的未知分布绘制的样本的图像集。该方法基于下游感兴趣任务的监督信号，重塑外观特征空间，并进一步学习每个图像集的未知分布。在多镜头人物re-id的背景下，我们将这个新概念与Wasserstein距离一起应用，并学习两个图像集之间的分布集距离函数。以这种方式，可以以非参数方式自然地发现两个图像集之间的适当对准。我们在两个公共数据集上的实验结果表明，我们提出的方法相比其他国家的最先进的方法的优势。
2018-11-08 cs.CV
Trajectory-aligned Space-time Tokens for Few-shot Action Recognition
University of Maryland, College Park（马里兰大学帕克分校）；GenAI, Meta（Meta GenAI部门）
本文提出轨迹对齐tokens（TATs）解耦运动与外观表示，结合Masked Space-time Transformer在少样本动作识别任务上取得最优结果。
2024-07-25 cs.CV
Pose-Based Sign Language Appearance Transfer
University of Zurich（苏黎世大学）
提出一种在手语骨骼姿态中迁移打手势者外观并保留手语内容的方法，在掩盖身份改进渲染的同时揭示了隐私保护与手语识别性能之间的权衡。
2025-04-29 cs.CL cs.CV
ePillID Dataset: A Low-Shot Fine-Grained Benchmark for Pill Identification
Microsoft Healthcare（微软医疗）
识别处方药是患者和医疗专业人员的一项常见任务;然而，这是一项容易出错的任务，因为许多药丸具有相似的外观（例如白色圆形药丸），这增加了用药错误的风险。在本文中，我们介绍了ePillID，这是药丸图像识别的最大公共基准，由13 k图像组成，代表9804个外观类（4902种药丸类型的两侧）。对于大多数外观类，只有一个参考图像，使其成为一个具有挑战性的低拍摄识别设置。我们提出了我们的实验设置和评估结果的基准上的各种基线模型。使用具有双线性特征的多头度量学习方法的最佳基线表现得非常好;然而，我们的错误分析表明，它们仍然无法区分特别令人困惑的类别。代码和数据可在https://github.com/usuyama/ePillID-benchmark上获得。
2020-09-07 cs.CV cs.IR
Single-Shot Freestyle Dance Reenactment
Facebook AI Research（Facebook人工智能研究）；Tel-Aviv University（特拉维夫大学）
源舞者和目标人之间的运动转移任务是姿势转移问题的特殊情况，其中目标人根据舞者的运动改变他们的姿势。在这项工作中，我们提出了一种新的方法，可以通过任意视频序列重新激活单个图像，在训练过程中看不到。该方法结合了三个网络：（i）分割映射网络，（ii）真实帧渲染网络，以及（iii）面部细化网络。通过将此任务分为三个阶段，我们能够获得一系列新颖的逼真帧，捕捉自然的运动和外观。我们的方法获得了比以前的方法更好的视觉质量，并且能够动画化不同的身体类型和外观，这些身体类型和外观是在具有挑战性的姿势中捕获的，如实验和补充视频所示。
2021-03-21 cs.CV cs.GR cs.LG
A training-free framework for high-fidelity appearance transfer via diffusion transformers
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）；JIUTIAN Research（中移九天）；State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文提出无需训练的扩散变换器框架，通过解耦结构与外观，利用高保真倒置建立内容先验，结合几何先验实现参考图像的动态融合，从而在结构保持和外观保真度上取得最佳性能。
2026-03-24 cs.CV
Dense Intrinsic Appearance Flow for Human Pose Transfer
The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
我们提出了一种新的方法的任务，人体姿势转移，其目的是在合成一个新的图像的人从输入图像的人和目标姿势。我们解决了仅在关键点和由于自遮挡而不可见的像素之间识别的有限对应关系的问题。与现有的方法不同，我们建议估计密集和内在的3D外观流，以更好地引导像素之间的姿势转移。特别是，我们希望仅从参考和目标姿势生成3D流。为此目的训练网络是不平凡的，特别是当3D外观流的注释本质上是稀缺的时。我们解决这个问题，通过流合成阶段。这是通过将3D模型拟合到给定的姿势对并将它们投影回2D平面以计算用于训练的密集外观流来实现的。然后，使用合成的地面实况来训练前馈网络，用于从输入和目标骨架姿势到3D外观流的有效映射。通过外观流程，我们对输入图像执行特征扭曲，并生成目标姿势的照片级真实感图像。在DeepFashion和Market-1501数据集上的广泛结果证明了我们的方法优于现有方法的有效性。我们的代码可在http://mmlab.ie.cuhk.edu.hk/projects/pose-transfer上获得
2019-03-27 cs.CV
Splicing ViT Features for Semantic Appearance Transfer
Weizmann AI Center (WAIC), Dept. of Computer Science and Applied Math, The Weizmann Inst. of Science（魏茨曼科学研究所人工智能中心（WAIC），计算机科学与应用数学系）
我们提出了一种方法，语义转移的视觉外观的一个自然图像到另一个。具体来说，我们的目标是生成一个图像，其中源结构图像中的对象被“涂”上目标外观图像中语义相关对象的视觉外观。我们的方法通过训练生成器来工作，只给出单个结构/外观图像对作为输入。为了将语义信息集成到我们的框架中-解决此任务的关键组件-我们的关键思想是利用预先训练和固定的视觉Transformer（ViT）模型，该模型用作外部语义先验。具体来说，我们从深度ViT特征中提取出结构和外观的新表示，从学习的自我注意模块中解扭它们。然后，我们建立一个目标函数，拼接所需的结构和外观表示，交织在一起的ViT功能的空间。我们的框架，我们称之为“拼接”，不涉及对抗训练，也不需要任何额外的输入信息，如语义分割或对应关系，并且可以生成高分辨率的结果，例如，在HD工作我们在各种野外图像对上展示了高质量的结果，这些图像对在对象数量、姿态和外观方面存在显著变化。
2022-01-02 cs.CV
Can masking background and object reduce static bias for zero-shot action recognition?
Nagoya Institute of Technology（名古屋工业大学）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所（AIST））
本文研究零样本动作识别中的静态偏差，通过掩蔽背景和物体训练CLIP模型，减少对静态外观的依赖，提升动作关注度与性能。
2025-01-22 cs.CV
Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer
Shenzhen University（深圳大学）
深度神经网络（DNN）在图像外观发生偏移时会出现性能下降，特别是在超声（US）图像分割中。在本文中，我们提出了一种新颖而直观的框架来消除外观变化，从而提高DNN的泛化能力。我们的工作有三个亮点。首先，我们遵循通用风格转移的精神，以消除外观变化，这是以前没有探索过的美国图像。在不牺牲图像结构细节的情况下，它可以实现任意风格内容的传输。其次，通过自适应实例归一化块加速，我们的框架实现了临床US扫描所需的实时速度。第三，提出了一种高效的风格图像选择策略，以确保目标风格图像和测试内容图像能够正确匹配。在两个大型美国数据集上的实验表明，我们的方法在使DNN对各种外观变化具有鲁棒性方面优于最先进的方法。
2020-02-14 cs.CV eess.IV
A Low-Shot Object Counting Network With Iterative Prototype Adaptation
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）
本文提出 LOCA 低样本计数网络，通过迭代融合样本形状、外观与图像特征的原型适应模块，提升少样本、单样本及零样本目标计数精度与泛化性。
2023-09-28 cs.CV
