EchoShot: Multi-Shot Portrait Video Generation
Xi’an Jiaotong University（西安交通大学）；Alibaba Cloud（阿里巴巴云）
EchoShot提出原生多镜头肖像视频生成框架，通过镜头感知位置嵌入和PortraitGala数据集，实现身份一致与属性可控，并支持长视频合成。
2025-06-16 cs.CV
MegActor: Harness the Power of Raw Video for Vivid Portrait Animation
MEGVII Technology（旷世科技）
针对原始视频驱动人像动画存在的身份泄漏、背景与面部细节干扰问题，提出MegActor条件扩散模型，通过合成数据、背景编码整合、风格迁移实现效果提升，仅用公开数据集训练即达商业模型水平。
2024-06-18 cs.CV
Face Swap via Diffusion Model
提出基于扩散模型的人脸交换框架，结合IP-Adapter、ControlNet和修复流程，通过DreamBooth-LoRA保证身份一致性，并利用面部引导优化提升对齐质量。
2024-05-29 cs.CV
Customizing Video Portraits via Identity-ActionDecoupling
College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院）；College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；The University of Hong Kong（香港大学）
提出身份-动作解耦框架，通过身份解耦损失和文本对齐损失，无需微调即可生成保持身份一致且表情丰富的视频。
2026-06-23 cs.CV
ID-EA: Identity-driven Text Enhancement and Adaptation with Textual Inversion for Personalized Text-to-Image Generation
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）
提出ID-EA框架，通过ID-Enhancer和ID-Adapter引导文本嵌入与视觉身份嵌入对齐，显著提升个性化肖像生成的身份保持能力，且生成速度比现有方法快约15倍。
2025-07-16 cs.CV
STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits
Imperial College London, UK（伦敦帝国理工学院）；FAU Erlangen–Nürnberg, Germany（埃朗根-纽伦堡大学）
研究提出STARCaster模型，通过重新思考参考和几何范式，采用组合方法及解耦学习，解决语音驱动肖像动画和动态视点控制问题，能有效泛化，超越先前方法。
2026-07-21 cs.CV
SVP: Style-Enhanced Vivid Portrait Talking Head Diffusion Model
Fudan University（复旦大学）；Tencent（腾讯）
针对音频驱动的会说话头像生成中扩散模型方法忽略视频内在风格导致内容缺乏多样性和生动性的问题，提出SVP框架，通过概率风格先验学习和SD模型微调，生成更优视频。
2024-11-28 cs.CV
Teller: Real-Time Streaming Audio-Driven Portrait Animation with Autoregressive Motion Generation
本研究提出首个自回归流式音频驱动人像动画框架Teller，通过面部运动潜变量生成与高效时序优化模块，实现25 FPS实时性能，推理速度远超扩散模型，在小幅运动逼真度上显著优于现有方法。
2025-03-24 cs.CV
LatentKeypointGAN: Controlling Images via Latent Keypoints -- Extended Abstract
University of British Columbia（不列颠哥伦比亚大学）
该研究提出两阶段自监督GAN模型LatentKeypointGAN，通过潜在关键点及外观嵌入实现图像内容的可控生成与编辑，无需标签即可解耦图像的空间与外观因素，适用于多领域图像生成任务。
2022-05-17 cs.CV
SpinMeRound: Consistent Multi-View Identity Generation Using Diffusion Models
Imperial College London（伦敦帝国学院）；FAU Erlangen–Nürnberg（埃森哲-纽伦堡大学）
针对扩散模型生成新视角头部肖像时角度范围受限、面部数据表现不佳的问题，提出SpinMeRound方法，结合多输入视图与身份嵌入，实现360度头部合成且性能优于现有多视角扩散模型。
2025-09-23 cs.CV
X-Streamer: Unified Human World Modeling with Audiovisual Interaction
ByteDance（字节跳动）
X-Streamer提出Thinker-Actor双Transformer架构，统一多模态理解与生成，实现从单张肖像进行实时、长时程的视听交互视频聊天，为数字人类世界建模奠定基础。
2025-09-25 cs.CV
FaceChain: A Playground for Human-centric Artificial Intelligence Generated Content
Alibaba Group（阿里巴巴集团）
针对现有个性化肖像生成存在的面部特征不符、画面扭曲模糊等问题，提出融合多类人脸模型的FaceChain框架，提升生成效率与真实性，还拓展了虚拟试穿等应用并开源。
2023-12-14 cs.AI cs.CV
Conditional Image Generation with PixelCNN Decoders
Google DeepMind（谷歌DeepMind）
这项工作探索了基于PixelCNN架构的新图像密度模型的条件图像生成。该模型可以以任何向量为条件，包括描述性标签或标记，或由其他网络创建的潜在嵌入。当以ImageNet数据库中的类标签为条件时，该模型能够生成代表不同动物，物体，景观和结构的多样化，逼真的场景。当以卷积网络产生的嵌入为条件时，给定一张看不见的人脸图像，它会生成同一个人的各种新肖像，这些肖像具有不同的面部表情、姿势和照明条件。我们还表明，条件PixelCNN可以作为一个强大的解码器在图像自动编码器。此外，所提出的模型中的门控卷积层提高了PixelCNN的对数似然性，以匹配ImageNet上PixelRNN的最新性能，同时大大降低了计算成本。
2016-06-18 cs.CV cs.LG
Deep Learning for Cancer Prognosis Prediction Using Portrait Photos by StyleGAN Embedding
University Hospital Erlangen（埃尔兰根大学医院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学）；Comprehensive Cancer Center Erlangen-EMN（埃尔兰根-EMN综合癌症中心）
首次使用深度学习结合StyleGAN2潜在空间嵌入从人像照片中预测癌症患者生存期，C-index达0.677，证明了2D面部图像的预后价值并消除了外部信息偏差。
2024-07-25 cs.CV eess.IV
LatentKeypointGAN: Controlling Images via Latent Keypoints
University of British Columbia（不列颠哥伦比亚大学）
本文提出 LatentKeypointGAN，一种两阶段 GAN，通过内部条件化空间关键点及其外观嵌入，在无领域知识和监督下实现图像空间与外观因子的解耦，提供可解释的潜在空间以控制图像内容，并支持无监督关键点检测。
2024-10-13 cs.CV
X-NeMo: Expressive Neural Motion Reenactment via Disentangled Latent Attention
Tsinghua University（清华大学）；ByteDance Inc.（字节跳动公司）
本研究提出零样本扩散人像动画流水线X-NeMo，通过提取身份无关一维潜在动作描述符、交叉注意力控制及双GAN监督等设计，缓解身份泄露问题，提升表情表现力，效果优于现有最优基线。
2025-07-30 cs.CV
Identity-preserving Face Recovery from Portraits
Australian National University（澳大利亚国立大学）；Data61/CSIRO（数据61/联邦科学与工业研究组织）
从艺术肖像中恢复潜在的真实感人脸有助于人类感知和面部分析。然而，恢复过程中，可以保持身份是具有挑战性的，因为真实的面孔的细节可能会扭曲或失去风格化的图像。在本文中，我们提出了一个新的身份保持人脸恢复从肖像（IFRP）恢复潜在的真实感人脸未对齐风格化的肖像。我们的IFRP方法由两个部分组成：风格去除网络（SRN）和判别网络（DN）。SRN被设计成将风格化图像的特征图转换为对应的真实感人脸的特征图。通过将空间Transformer网络嵌入到SRN中，该方法可以自动补偿风格化人脸的错位，并输出对齐的真实人脸图像。DN的作用是强制恢复的人脸与真实人脸相似。为了确保身份保护，我们通过距离度量来促进恢复的和地面真实的面孔共享相似的视觉特征，该距离度量比较从预训练的VGG网络中提取的恢复的和地面真实的面孔的特征。我们评估我们的方法上的大规模合成数据集的真实和风格化的人脸对，并达到最先进的结果。此外，我们的方法可以从以前看不见的风格化的肖像，原始绘画和人类绘制的草图恢复逼真的面孔。
2018-02-05 cs.CV
Learning Joint ID-Textual Representation for ID-Preserving Image Synthesis
ByteDance Intelligent Creation（字节跳动智能创作）
提出FaceCLIP多模态编码器，联合身份与文本表示，结合SDXL实现身份保持的图像合成，优于现有方法。
2025-05-21 cs.AI cs.CV
Disentangling 3D from Large Vision-Language Models for Controlled Portrait Generation
Brown University（布朗大学）；Flawless AI；Imperial College London（帝国理工学院伦敦分校）
本研究提出从大视觉语言模型中解耦3D的方法，结合规范化操作与雅可比正则化，实现了3D肖像的文本外观控制与几何控制，且控制变更时肖像保持一致，降低了3D生成的标注与训练成本。
2025-06-16 cs.CV
Adapter Shield: A Unified Framework with Built-in Authentication for Preventing Unauthorized Zero-Shot Image-to-Image Generation
Shanghai Jiao Tong University（上海交通大学）；Shandong University（山东大学）；Hefei University of Technology（合肥工业大学）；East China Normal University（华东师范大学）
Adapter Shield通过集成认证机制的统一框架，防止未经授权的零样本图像生成，实现安全的图像访问控制。
2025-11-25 cs.CV eess.IV
Piecewise Flat Embedding for Image Segmentation
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
本文提出了一种新的多维非线性嵌入--分段平坦嵌入（PFE）--用于图像分割。基于稀疏信号恢复理论，不同通道的分段平坦嵌入试图恢复具有稀疏区域边界和稀疏聚类值散射的分段恒定图像表示。所得到的分段平坦嵌入表现出有趣的特性，如抑制缓慢变化的信号，并提供了一个图像表示具有较高的区域可识别性，这是理想的图像分割或高层次的语义分析任务。我们制定我们的嵌入作为一个变种的拉普拉斯特征映射嵌入$L_{1,p} (0<p\leq1)$正则化项，以促进稀疏的解决方案。首先，我们设计了一个基于Bregman迭代的两阶段数值算法来计算$L_{1,1}$ -正则化分段平坦嵌入。我们进一步推广该算法通过迭代重加权来解决一般的$L_{1,p}$ -正则化问题。为了证明其有效性，我们将PFE集成到两个现有的图像分割框架中，基于聚类的分割和基于轮廓检测的分层分割。四个主要的基准数据集，BSDS 500，MSRC，斯坦福背景数据集，PASCAL上下文的实验表明，分割算法结合我们的嵌入实现显着改善的结果。
2018-05-20 cs.CV eess.IV stat.ML
Single-Image Piece-wise Planar 3D Reconstruction via Associative Embedding
ShanghaiTech University（上海科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
单图像分段平面三维重建的目标是同时分割平面实例和恢复三维平面参数从图像。最新的方法利用卷积神经网络（CNN），并取得了可喜的成果。然而，这些方法仅限于检测具有特定学习顺序的固定数量的平面。为了解决这个问题，我们提出了一种新的两阶段的方法，联想嵌入的基础上，其最近的成功实例分割的启发。在第一阶段，我们训练一个CNN，将每个像素映射到一个嵌入空间，在这个嵌入空间中，来自同一平面实例的像素具有相似的嵌入。然后，通过有效的均值漂移聚类算法对平面区域中的嵌入向量进行分组，得到平面实例。在第二阶段，我们估计每个平面实例的参数，同时考虑像素级和实例级的插值。与所提出的方法，我们能够检测任意数量的平面。在公开数据集上的大量实验验证了该方法的有效性和效率。此外，我们的方法在测试时以30 fps运行，因此可以促进许多实时应用，如视觉SLAM和人机交互。代码可在https://github.com/svip-lab/PlanarReconstruction上获得。
2019-04-24 cs.CV
Efficiently Computing Piecewise Flat Embeddings for Data Clustering and Image Segmentation
Rochester Institute of Technology（罗切斯特理工学院）
图像分割是计算机视觉中的一个热门研究领域，在自动图像处理中有许多应用。最近提出了一种称为分段平坦嵌入（PFE）的技术，用于图像分割; PFE将图像像素数据转换为低维表示，其中相似像素被拉近在一起，不相似像素被推开。这种技术已经显示出有前途的结果，但其原始配方是不计算大图像的可行性。我们提出了两个改进的算法计算PFE：第一，我们重新制定的算法的部分，使各种线性代数运算并行执行;第二，我们提出利用迭代线性求解器（预处理共轭梯度），快速解决线性最小二乘问题，发生在嵌套迭代的内循环。通过这两个计算改进，我们在公开的图像数据库上显示，PFE可以在不牺牲分割性能的情况下加快一个数量级。我们的研究结果使这项技术更实用的大数据集上使用，不仅用于图像分割，但一般的数据聚类问题。
2016-12-20 cs.CV
Pose Invariant Embedding for Deep Person Re-identification
University of Technology Sydney（悉尼科技大学）；CMU（卡内基梅隆大学）；Dalian University of Technology（大连理工大学）
行人失准是一个鲁棒的行人身份识别系统的关键问题，主要由检测器误差和姿态变化引起。在对齐不良的情况下，背景噪声将显著损害特征学习和匹配过程。为了解决这个问题，本文引入了姿态不变嵌入（PIE）作为行人描述符。首先，为了将行人与标准姿势对齐，引入了PoseBox结构，该结构是通过姿势估计和仿射变换生成的。其次，为了减少姿势估计误差和PoseBox构建过程中信息丢失的影响，我们设计了一种PoseBox融合（PBF）CNN架构，该架构将原始图像、PoseBox和姿势估计置信度作为输入。因此，建议的PIE描述符被定义为检索任务的PBF网络的全连接层。在Market-1501、CUHK 03和VIPeR数据集上进行了实验。我们表明，PoseBox单独产生体面的re-ID准确性，当集成在PBF网络，学习PIE描述符产生竞争力的性能相比，国家的最先进的方法。
2017-01-26 cs.CV
Generative Artisan: A Semantic-Aware and Controllable CLIPstyler
The University of Edinburgh（爱丁堡大学）
回想一下，大多数当前的图像风格转移方法需要用户给出特定风格的图像，然后提取该风格特征和纹理以生成图像的风格，但是仍然存在一些问题：用户可能没有参考风格图像，或者可能难以仅用一个图像来概括所期望的风格。最近提出的CLIPstyler已经解决了这个问题，它能够只根据所提供的样式图像的描述来执行样式传输。虽然CLIPstyler在风景或人像单独出现时可以取得很好的表现，但当人与风景共存时，它会模糊人，失去原有的语义。基于这些问题，我们展示了一个新的框架，使用预先训练的CLIP文本图像嵌入模型，并通过FCN语义分割网络引导图像风格转移。具体而言，我们解决了自拍和现实风景中人像过度风格化的问题，增强了人像和风景中风格迁移效果的对比度，使不同语义部分的图像风格迁移程度完全可控。我们的Generative Artisan解决了CLIPstyler的失败案例，并产生了定性和定量的方法，以证明我们在自拍和现实世界的风景与人类主题照片中比CLIPstyler有更好的结果。这一改进使我们的框架商业化的商业场景，如修饰图形软件成为可能。
2022-07-23 cs.AI cs.CV
One Model to Edit Them All: Free-Form Text-Driven Image Manipulation with Semantic Modulations
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；Huya Inc（虎牙公司）
自由形式的文本提示允许用户在图像操作期间方便地描述他们的意图。基于StyleGAN[21]的视觉潜在空间和CLIP[34]的文本嵌入空间，研究重点是如何映射这两个潜在空间以进行文本驱动的属性操作。目前，这两个空间之间的潜在映射是经验设计的，并限制了每个操作模型只能处理一个固定的文本提示。在本文中，我们提出了一种方法命名为自由形式剪辑（FFCLIP），旨在建立一个自动的潜在映射，使一个操作模型处理自由形式的文本提示。我们的FFCLIP有一个跨模态语义调制模块，包含语义对齐和注入。语义对齐通过具有交叉注意力机制的线性变换来执行自动潜在映射。对齐后，我们将文本提示符嵌入的语义注入StyleGAN潜在空间。对于一种类型的图像（例如，“human portrait”），可以学习一个FFCLIP模型来处理自由形式的文本提示。同时，我们观察到，虽然每个训练文本提示只包含一个单一的语义含义，FFCLIP可以利用文本提示与多个语义含义的图像操作。在实验中，我们对三种类型的图像（即，“人的肖像”，“汽车”和“教堂”）。视觉和数值结果表明，FFCLIP有效地产生语义准确和视觉逼真的图像。项目页面：https://github.com/KumapowerLIU/FFCLIP。
2022-10-17 cs.CV
Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval
Microsoft Cognition（微软认知）；USC Institute for Creative Technologies（南加州大学创意技术研究所）
视觉语义嵌入的目的是找到一个共享的潜在空间，相关的视觉和文本实例彼此接近。目前大多数方法都学习将实例映射到共享空间中的单个点的内射嵌入函数。不幸的是，内射嵌入不能有效地处理具有多种可能含义的多义实例;它充其量只能找到不同含义的平均表示。这阻碍了它在真实世界场景中的使用，其中单个实例及其跨模式关联通常是模糊的。在这项工作中，我们介绍了多义实例嵌入网络（PIE-Nets），它通过多头自注意和残差学习将全局上下文与本地引导特征相结合来计算实例的多种多样的表示。为了学习视觉语义嵌入，我们将两个PIE-Net捆绑在一起，并在多实例学习框架中对其进行联合优化。现有的跨模态检索研究主要集中在图文数据上。在这里，我们还解决了一个更具挑战性的视频文本检索案例。为了促进视频文本检索的进一步研究，我们发布了一个新的数据集，其中包含从社交媒体收集的50 K视频句子对，称为MRW（我的反应）。我们使用MS-COCO，TGIF和我们新的MRW数据集在图像-文本和视频-文本检索场景上展示了我们的方法。
2019-07-17 cs.CV
Pixels to Graphs by Associative Embedding
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
图形是图像内容的有用抽象。图形不仅可以表示场景中单个对象的细节，还可以捕捉对象对之间的交互。我们提出了一种用于训练卷积神经网络的方法，使得它接收输入图像并产生完整的图形定义。这是通过使用关联嵌入在单个阶段中端到端完成的。网络学习同时识别构成图的所有元素并将它们拼凑在一起。我们在Visual Genome数据集上进行基准测试，并在场景图生成的挑战性任务上展示了最先进的性能。
2018-03-27 cs.CV cs.LG
BERTgrid: Contextualized Embedding for 2D Document Representation and Understanding
SAP SE（SAP公司）
为了理解通用文档，诸如字体大小、列布局以及通常单词的定位之类的信息可能携带对于解决下游文档智能任务至关重要的语义信息。我们的新BERTgrid基于Katti等人的Chargrid（2018），将文档表示为上下文化的词块嵌入向量的网格，从而使其空间结构和语义可用于处理神经网络。从BERT语言模型检索上下文化嵌入向量。我们将BERTgrid与一个完全卷积的网络结合使用，用于从发票中提取字段的语义实例分割任务。我们证明了它的性能列表行项目和文档标题字段提取。
2019-10-14 cs.CL cs.CV cs.LG
Unsupervised Superpixel Generation using Edge-Sparse Embedding
ETH-Zurich（苏黎世联邦理工学院）
基于像素相对于诸如颜色或空间位置之类的特征的相似性将图像划分成超像素可以显著降低数据复杂性并改进后续的图像处理任务。无监督超像素生成的初始算法仅依赖于局部线索，而没有将重要边缘优先于任意边缘。另一方面，基于无监督深度学习的较新方法要么未能适当地解决超像素边缘粘附性与紧凑性之间的权衡，要么缺乏对所生成的超像素数量的控制。通过在非卷积图像解码器中使用具有强空间相关性的随机图像作为输入，\ie，模糊的噪声图像，我们可以减少预期的对比度数量，并在重构图像中增强平滑、连接的边缘。我们通过将额外的空间信息编码到解码器最后一个隐藏层的分段平滑激活图中来生成边缘稀疏像素嵌入，并使用标准聚类算法来提取高质量的超像素。我们提出的方法在BSDS 500，PASCAL-Context和显微镜数据集上达到了最先进的性能。
2022-11-29 cs.CV
Multimodal Skip-gram Using Convolutional Pseudowords
Binghamton University, SUNY（纽约州立大学宾汉姆顿分校）；Zhejiang University（浙江大学）
这项工作研究了跨多模态数据的代表性映射，使得给定一个模态中的原始数据，立即获得另一个模态中的原始数据的相应语义描述。这种代表性映射可以在广泛的现实世界应用中找到，包括图像/视频检索，对象识别，动作/行为识别以及事件理解和预测。为此，我们引入了一个简化的训练目标，用于学习多模态嵌入使用的跳过语法架构，通过引入卷积“伪词“：嵌入组成的分布式单词表示和图像特征的添加剂组合从卷积神经网络投影到多模态空间。我们提出了广泛的结果，这些嵌入在各种单词相似性基准的代表性属性，以显示这种方法的承诺。
2015-11-29 cs.CL cs.CV
