Adaptive Multiplane Image Generation from a Single Internet Picture
Samsung R&D Institute Brazil（三星巴西研发研究所）；University of São Paulo (USP)（圣保罗大学）；University of Campinas (UNICAMP)（坎皮纳斯大学）
在过去的几年中，一些作品已经解决了从立体图像甚至从单个图片合成新视图的问题。然而，以前的方法是计算昂贵的，特别是对于高分辨率图像。在本文中，我们解决的问题，从一个单一的高分辨率图片生成多平面图像（MPI）。我们提出了自适应MPI表示，它允许渲染新的视图与低计算要求。为此，我们提出了一种自适应切片算法，产生一个MPI与可变数量的图像平面。我们提出了一个新的轻量级的深度估计CNN，这是从一个更大的网络通过知识蒸馏学习。自适应MPI中的遮挡区域也由轻量级CNN修复。我们表明，我们的方法是能够产生高质量的预测与以前的方法相比，少一个数量级的参数。我们的方法的鲁棒性证明了从互联网上具有挑战性的图片。
2020-11-26 cs.CV
Stereo Magnification: Learning View Synthesis using Multiplane Images
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
视图合成问题--从已知图像生成场景的新视图--最近引起了人们的关注，部分原因是在虚拟和增强现实中的引人注目的应用。在本文中，我们探索了一个有趣的视图合成场景：从窄基线立体相机（包括VR相机和现在广泛使用的双镜头相机手机）捕获的图像中推断视图。我们称这个问题为立体放大，并提出了一个学习框架，利用一个新的分层表示，我们称之为多平面图像（MPI）。我们的方法还使用了大量新的数据源来学习视图外推：YouTube上的在线视频。使用从这些视频中挖掘的数据，我们训练一个深度网络，该网络从输入的立体图像对预测MPI。这个推断的MPI然后可以用于合成场景的一系列新颖视图，包括显著超出输入基线外推的视图。我们表明，我们的方法相比，毫不逊色，最近的几个视图合成方法，并展示应用放大窄基线立体图像。
2018-05-24 cs.CV cs.GR
Real-Time Neural Character Rendering with Pose-Guided Multiplane Images
The Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了姿态引导的多平面图像（MPI）合成，可以在真实场景中渲染出具有真实感质量的动画角色。我们使用一个便携式摄像机装置来捕获多视图图像以及移动主体的驱动信号。我们的方法概括了图像到图像的翻译范式，它将人类姿势转换为3D场景表示-可以在自由视点中渲染的MPI，使用多视图捕获作为监督。为了充分培养MPI的潜力，我们提出了深度自适应MPI，它可以使用可变曝光图像进行学习，同时对不准确的相机配准具有鲁棒性。我们的方法展示了优越的新颖的视图合成质量的国家的最先进的方法，具有挑战性的运动的字符。此外，所提出的方法是可推广到新的组合的训练姿势，并可以显式控制。我们的方法实现了这种表现力和动画字符绘制所有实时的，作为一个有前途的解决方案，为实际应用。
2022-04-25 cs.CV
Self-improving Multiplane-to-layer Images for Novel View Synthesis
Samsung AI Center – Moscow（三星人工智能中心莫斯科分部）；Yandex Research（Yandex研究院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
我们提出了一种新的方法，轻量级的新颖的视图合成，推广到一个任意的前向场景。最近的方法是计算昂贵的，需要每个场景的优化，或产生内存昂贵的表示。我们首先用一组正面平行的透明平面表示场景，然后将它们转换为端到端的可变形层。此外，我们采用了前馈细化过程，纠正估计表示从输入视图聚合信息。我们的方法在处理新场景时不需要微调，并且可以处理任意数量的视图而不受限制。实验结果表明，我们的方法在通用度量和人工评估方面优于最近的模型，在推理速度和推理分层几何结构的紧凑性方面具有明显的优势，参见https://samsunglabs.github.io/MLI
2022-10-04 cs.CV cs.GR
Fast and Lightweight Novel View Synthesis with Differentiable Multiplane Image
Universiti Malaya（马来大学）；Wuhan University（武汉大学）
针对现有方法在速度、模型大小和稀疏视角下的不足，提出基于可微多平面图像（MPI）的快速轻量级新视角合成方法，利用点图进行几何初始化并引入一步扩散处理空洞和伪影。
2026-06-01 cs.AI cs.CV
Single-View View Synthesis in the Wild with Learned Adaptive Multiplane Images
Tsinghua University（清华大学）；USTC（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文论述了具有挑战性的任务，合成新的意见，在野外的照片。现有方法已经显示出利用单眼深度估计和具有分层深度表示的颜色修复的有希望的结果。然而，这些方法仍然具有有限的能力来处理具有复杂3D几何形状的场景。我们提出了一种新的方法的基础上的多平面图像（MPI）表示。为了适应不同的场景布局在野外，并解决在生产高维MPI内容的困难，我们设计了一个网络结构，由两个新的模块，一个平面深度调整和深度感知的颜色预测。前者使用RGBD上下文特征和注意力机制来调整初始平面位置。给定调整后的深度值，后者分别预测每个平面的颜色和密度，并通过特征掩蔽策略实现适当的平面间交互。为了训练我们的方法，我们构建大规模的立体训练数据，只使用无约束的单视图图像集合，通过一个简单而有效的翘曲回策略。在合成数据集和真实数据集上的实验表明，我们训练的模型工作得非常好，并取得了最先进的结果。
2022-05-24 cs.CV cs.GR
CMC: Few-shot Novel View Synthesis via Cross-view Multiplane Consistency
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出CMC方法，通过跨输入视图的多平面一致性约束和重复采样相同空间点来缓解少样本NeRF过拟合问题，从而提升新视角合成质量。
2024-02-26 cs.CV cs.GR
Learning multiplane images from single views with self-supervision
AI R&D Lab（AI 研发实验室）；Samsung R&D Institute Brazil（三星巴西研发中心）
从已经捕获的图像生成静态新视图在计算机视觉和图形学中是一项艰巨的任务，特别是当单个输入图像具有诸如人或移动对象的动态部分时。在本文中，我们解决这个问题，提出了一个新的框架，称为CycleMPI，这是能够学习的多平面图像表示从单一的图像通过循环训练策略自我监督。我们的框架不需要立体数据进行训练，因此可以使用来自互联网的大量视觉数据进行训练，即使对于非常具有挑战性的情况，也具有更好的泛化能力。虽然我们的方法不需要立体数据的监督，它达到立体数据集上的结果相当于在一个zero-shot的情况下，最先进的。我们在RealEstate10K和Mannequin Challenge数据集上评估了我们的方法，并在Places II数据集上给出了定性结果。
2021-10-19 cs.CV
Tiled Multiplane Images for Practical 3D Photography
Reality Labs Research, Meta（Meta现实实验室研究部门）
针对单视图3D摄影中MPI层数多、冗余高的问题，提出按局部分块并配置自适应深度平面的TMPI表示，在保持合成质量可比的同时降低计算开销。
2023-09-25 cs.CV
Cross-MPI: Cross-scale Stereo for Image Super-Resolution using Multiplane Images
Tsinghua University（清华大学）；ZhuoHe Tech（卓合科技）；Northeastern University（东北大学）；Beijing Institute of Technology（北京理工大学）；Tianjin University（天津大学）
相机的各种组合丰富了计算摄影，其中基于参考的超分辨率（RefSR）在多尺度成像系统中起着至关重要的作用。然而，现有的RefSR方法不能在大分辨率间隙下实现高保真度超分辨率，例如，8倍放大，由于对底层场景结构的考虑较少。在本文中，我们的目标是解决实际的多尺度相机系统中的RefSR问题的启发多平面图像（MPI）表示。具体来说，我们提出了交叉MPI，一个端到端RefSR网络组成的一个新的平面感知的注意力为基础的MPI机制，多尺度引导上采样模块，以及一个超分辨率（SR）的合成和融合模块。所提出的平面感知注意力机制充分利用隐藏的场景结构进行有效的基于注意力的对应搜索，而不是使用跨尺度立体之间的直接和穷举匹配。进一步结合一个温和的粗到细的指导上采样策略，建议交叉MPI可以实现一个强大的和准确的细节传输。数字合成和光学变焦跨尺度数据的实验结果表明，交叉MPI框架可以实现优于现有的RefSR方法的性能，是一个真正适合实际的多尺度相机系统，即使有大规模的差异。
2021-03-29 cs.CV
Pushing the Boundaries of View Extrapolation with Multiplane Images
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；UC San Diego（加州大学圣地亚哥分校）
我们探讨的问题，从一个狭窄的基线对图像的视图合成，并专注于生成高质量的视图外推合理的disocclusion。我们的方法建立在先前的工作中预测的多平面图像（MPI），它表示场景内容作为一组RGB $α$平面内的一个参考视锥台，并通过投影到目标视点的内容呈现新的意见。我们提出了一个理论分析，显示了如何从MPI渲染的视图的范围，可以线性增加的MPI视差采样频率，以及一种新的MPI预测程序，理论上使视图外推到$4\times$的横向视点移动允许先前的工作。我们的方法改善了限制现有方法可渲染的视图范围的两个具体问题：1）我们通过使用3D卷积网络架构以及随机分辨率训练过程来扩展可以在没有深度离散化伪影的情况下渲染的新视图的范围，以允许我们的模型预测具有增加的视差采样频率的MPI。2)我们减少重复的纹理文物中看到的disocclusions强制执行的约束，隐藏的内容在任何深度的外观必须从可见的内容或后面的深度。请在https://www.youtube.com/watch?上观看我们的结果视频v=aJqAaMNL2m4。
2019-05-01 cs.CV
Embedding Novel Views in a Single JPEG Image
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的方法，用于在单个JPEG图像中嵌入新的视图，同时保持修改后的JPEG图像和恢复的新视图的感知保真度。我们采用流行的新颖的多平面图像（MPI）的视图合成表示。我们的模型首先将32个MPI层（共128个通道）编码成3通道JPEG图像，该图像可以被解码为MPI以呈现新颖的视图，嵌入容量为每像素1024位。我们在公开数据集上进行了实验，结果表明，该方法可以恢复高保真度的新视图从一个稍微修改的JPEG图像。此外，我们的方法是强大的JPEG压缩，颜色调整，和裁剪。我们的源代码将公开。
2021-08-30 cs.CV
DeepView: View Synthesis with Learned Gradient Descent
Google Inc.（谷歌公司）
我们提出了一种新的方法来查看合成使用多平面图像（MPI）。建立在学习梯度下降的最新进展，我们的算法生成一个MPI从一组稀疏的相机的观点。所得到的方法结合了遮挡推理，提高了具有挑战性的场景特征，如对象边界，照明反射，薄结构和具有高深度复杂性的场景的性能。我们证明了我们的方法在两个数据集上实现了高质量的最先进的结果：Kalantari光场数据集和一个新的相机阵列数据集Spaces，我们将其公开。
2019-06-18 cs.CV cs.GR cs.LG
Multi-Plane Neural Radiance Fields for Novel View Synthesis
University of Waterloo（滑铁卢大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
新颖的视图合成是一个长期存在的问题，围绕渲染帧的场景从新颖的相机视点。体积方法提供了一个解决方案，通过明确的三维表示的相机截头体建模闭塞。多平面图像（MPI）是使用不同深度处的前平行平面来表示场景的体积方法，但是遭受导致2D场景表示的深度离散化。另一种方法依赖于隐式3D场景表示。神经辐射场（NeRF）利用神经网络将连续的3D场景结构封装在网络权重内，从而实现真实感合成结果，然而，方法被约束到每个场景的优化设置，这在实践中是低效的。多平面神经辐射场（MINE）为隐式和显式场景表示的组合打开了大门。它支持连续的3D场景表示，特别是在深度维度上，同时利用输入图像特征来避免逐场景优化。目前在这一领域的文献工作的主要缺点是被限制到单视图输入，限制合成能力，以狭窄的视角范围。在这项工作中，我们彻底检查了单视图多平面神经辐射场的性能、概括性和效率。此外，我们提出了一个新的多平面NeRF架构，接受多个视图，以改善合成结果，扩大观看范围。通过提出的注意力感知融合模块，有效地融合了来自输入源帧的特征，以突出来自不同视点的重要信息。实验表明，基于注意力的融合的有效性和我们提出的方法相比，多视图NeRF和MPI技术的有前途的成果。
2023-03-03 cs.CV
MINE: Towards Continuous Depth MPI with NeRF for Novel View Synthesis
ByteDance（字节跳动）；National University of Singapore（新加坡国立大学）
在本文中，我们提出了MINE执行新的视图合成和深度估计通过密集的三维重建从一个单一的图像。我们的方法是通过引入神经辐射场（NeRF）的多平面图像（MPI）的连续深度推广。给定单个图像作为输入，MINE预测任意深度值的4通道图像（RGB和体积密度），以联合重建相机截头体并填充遮挡内容。然后，可以使用可微分渲染将重建和修复的平截头体容易地渲染成新颖的RGB或深度视图。在RealEstate 10 K，KITTI和Flowers光场上的大量实验表明，我们的MINE在新颖的视图合成方面远远优于最先进的技术。在没有注释深度监督的情况下，我们还在iBims-1和NYU-v2上的深度估计中取得了有竞争力的结果。我们的源代码可以在https://github.com/vincentfung13/MINE上找到
2021-07-30 cs.CV cs.GR cs.LG
NeX: Real-time View Synthesis with Neural Basis Expansion
VISTEC
我们提出了NeX，一种基于多平面图像（MPI）增强的新视图合成新方法，可以实时的再现下一级视图相关效果。与使用一组简单RGB $α$平面的传统MPI不同，我们的技术通过将每个像素参数化为从神经网络学习的基函数的线性组合来建模视图相关效果。此外，我们提出了一种混合隐式-显式建模策略，改进了细节，并产生了最先进的结果。我们的方法在基准前向数据集以及我们新引入的数据集上进行了评估，这些数据集旨在测试视图相关建模的极限，具有更具挑战性的效果，例如CD上的彩虹反射。我们的方法在这些数据集上的所有主要指标上都取得了最佳的总体分数，渲染时间比最先进的方法快1000多个$\times$。有关实时的演示，请访问https://nex-mpi.github.io/
2021-04-12 cs.CV cs.GR cs.LG
HyperLoRA: Parameter-Efficient Adaptive Generation for Portrait Synthesis
ByteDance（字节跳动）
针对现有个性化人像合成方法或训练成本高、或生成真实感不足的问题，提出HyperLoRA方法，用自适应插件网络生成LoRA权重，兼具LoRA性能与适配器零样本能力，实现高逼真、高保真且可编辑的零样本个性化人像生成。
2025-03-21 cs.CV
Towards Flexible, Scalable, and Adaptive Multi-Modal Conditioned Face Synthesis
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong Polytechnic University（香港理工大学）；Sun Yat-sen University（中山大学）
本文提出一种结合模态代理的单模态训练方法与熵感知模态自适应调制，解决了多模态条件化人脸合成中可扩展性、灵活性不足及控制强度一刀切的问题，显著提升了合成图像的质量与保真度。
2024-03-21 cs.CV
McCaD: Multi-Contrast MRI Conditioned, Adaptive Adversarial Diffusion Model for High-Fidelity MRI Synthesis
Monash University（莫纳什大学）；Monash Biomedical Imaging, Monash University（莫纳什大学生物医学成像中心）；Imperial College（帝国理工学院）
McCaD提出多对比度MRI条件化自适应对抗扩散模型，通过多尺度特征引导机制和空间特征注意力损失实现高保真MRI合成，在肿瘤和健康数据集上优于现有方法。
2024-09-01 cs.CV
Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis
Tomorrow Advancing Life（好未来）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
语义图像合成是一个具有挑战性的任务，有许多实际应用。尽管在具有空间自适应归一化的语义图像合成中已经取得了显着的进展，并且现有方法在粗略级别的指导（例如，语义类）。然而，语义对象的不同部分（例如，车轮和车窗）在结构和纹理上有很大的不同，由于缺少细粒度的指导，通常不可避免地会导致模糊的合成结果。在本文中，我们提出了一种新的规范化模块，称为基于REtrieval的空间自适应规范化（RESAIL），引入像素级细粒度的指导规范化架构。具体来说，我们首先提出了一个检索范式，找到一个相同的语义类的内容补丁从训练集与最相似的形状，每个测试语义面具。然后，RESAIL被提出来使用检索到的补丁来指导相应区域的特征归一化，并且可以提供像素级的细粒度指导，从而极大地减轻了模糊的合成结果。此外，失真的地面实况图像也被用作基于检索的指导的替代方案，用于特征归一化，进一步有利于模型训练和提高生成图像的视觉质量。在几个具有挑战性的数据集上的实验表明，我们的RESAIL在定量指标、视觉质量和主观评价方面都优于最先进的方法。源代码和预训练模型将公开提供。
2022-04-06 cs.CV
DRAN: Detailed Region-Adaptive Normalization for Conditional Image Synthesis
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ByteDance Inc（字节跳动公司）
针对条件图像合成难以处理细粒度风格的问题，提出新型归一化模块DRAN，通过多级结构和动态门控自适应融合粗细粒度特征，在化妆迁移等任务上显著提升基线模型表现。
2023-06-26 cs.CV
Semantic-shape Adaptive Feature Modulation for Semantic Image Synthesis
Tomorrow Advancing Life（好未来）；Harbin Institute of Technology（哈尔滨工业大学）；Alibaba Group（阿里巴巴集团）；Tianjin University（天津大学）；Peng Cheng Laboratory（鹏城实验室）
近年来语义图像合成技术取得了长足的进步，但如何合成具有丰富细节的真实感图像仍然是一个挑战。以前的大多数方法都集中在利用给定的语义映射，它只是捕获图像的对象级布局。显然，细粒度的部件级语义布局将有利于对象细节的生成，并且可以从对象的形状粗略推断。为了利用部分级布局，我们提出了一个形状感知的位置描述符（SPD）来描述每个像素的位置特征，其中对象形状被显式编码到SPD特征中。此外，一个语义形状自适应特征调制（SAFM）块，提出了结合给定的语义地图和我们的位置特征，以产生自适应调制的功能。大量的实验表明，所提出的SPD和SAFM显着提高了丰富的细节对象的生成。此外，我们的方法在定量和定性评价方面优于SOTA方法。源代码和模型可在https://github.com/cszy98/SAFM上获得。
2022-03-31 cs.CV
ALR-GAN: Adaptive Layout Refinement for Text-to-Image Synthesis
Beijing University of Technology（北京工业大学）；Texas A&M University（德州农工大学）；Dalian University of Technology（大连理工大学）；Xidian University（西安电子科技大学）
本文提出ALR-GAN，通过自适应布局细化模块和布局视觉细化损失，在无需辅助信息的情况下对齐合成图像与真实图像的布局结构并优化视觉表示，从而提升文本到图像生成质量。
2023-04-13 cs.CV
Beyond the Foreground: FOV-Aware Polyp Image Synthesis via Lesion-Guided Adaptive Mucosal Context Propagation
Southeast University（东南大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Case Western Reserve University（凯斯西储大学）
针对结肠镜息肉图像合成中背景污染和纹理不一致问题，提出首个前景引导框架LAMP，利用视场掩膜和病灶引导的自适应黏膜上下文传播，在五个数据集上显著提升生成质量及下游分割性能。
2026-09-18 cs.CV
Adaptively Distilled ControlNet: Accelerated Training and Superior Sampling for Medical Image Synthesis
National University of Singapore（国立新加坡大学）；National University of Singapore Suzhou Research Institute（国立新加坡大学苏州市研究 institute）；City University of Hong Kong（香港城市大学）
针对医学图像标注受限、掩码可控扩散模型病灶对齐精度不足的问题，提出自适应蒸馏ControlNet框架，通过双模型蒸馏加速训练，采样仅用学生模型保护隐私，在两个医学数据集上助力分割模型取得SOTA性能提升。
2025-07-31 cs.CV
Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines
University of California, Berkeley（加州大学伯克利分校）；Fyusion Inc.（Fyusion公司）；Texas A&M University（得克萨斯农工大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们提出了一个实用而强大的深度学习解决方案，用于捕获和渲染复杂现实世界场景的新颖视图，以进行虚拟探索。以前的方法要么需要难以处理的密集视图采样，要么几乎没有提供用户应该如何对场景的视图进行采样以可靠地渲染高质量的新颖视图的指导。相反，我们提出了一种算法，从一个不规则的网格采样视图，首先扩展到一个局部光场通过多平面图像（MPI）的场景表示每个采样视图的视图合成，然后渲染新的视图混合相邻的局部光场。我们扩展了传统的全光采样理论，推导出一个界限，精确地指定如何密集的用户应该采样时，使用我们的算法的一个给定的场景的意见。在实践中，我们应用此界限来捕获和渲染现实世界场景的视图，以实现奈奎斯特速率视图采样的感知质量，同时使用多达4000倍的视图。我们证明了我们的方法的实用性与增强现实智能手机应用程序，引导用户捕捉输入图像的场景和观众，使桌面和移动平台上的实时虚拟探索。
2019-05-02 cs.CV cs.GR
ViewSplat: View-Adaptive 3D Gaussian Splatting for Feed-Forward Synthesis
University of Seoul（首尔市立大学）；Korea Electronics Technology Institute（韩国电子技术研究院）
ViewSplat通过视图自适应的3D高斯散射方法提升未置位图像的视图合成精度，采用视图依赖的残差更新机制，实现高保真度的实时渲染。
2026-06-29 cs.CV
Adaptive Adversarial Augmentation for Controllable Face Synthesis
Manipal University Jaipur（斋浦尔马尼帕尔大学）；Birla Institute of Technology and Science Pilani Dubai Campus（Pilani贝拉理工学院迪拜校区）；Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）
该研究提出集成反馈可控合成（EFCS）框架，用于生成多样化且真实的人脸合成数据，训练的识别模型泛化能力优于基线，还提出关联扰动难度等的分析公式，为平衡合成数据复杂度提供见解。
2026-10-09 cs.CV
PLACE: Adaptive Layout-Semantic Fusion for Semantic Image Synthesis
The University of Hong Kong（香港大学）；Harbin Institute of Technology（哈尔滨工业大学）；Pazhou Lab, Guangzhou（广州琶洲实验室）
针对语义图像合成中的语义与布局一致性难题，提出PLACE模块，通过时间步自适应融合布局与语义特征，并结合SA和LFP损失提升生成质量。
2024-03-04 cs.CV
AHS: Adaptive Head Synthesis via Synthetic Data Augmentations
KAIST（韩国国立科学技术院）；Korea University（韩国大学）；FLIPTION
本文提出AHS方法，通过合成数据增强解决头部合成中视角和表情多样性的限制，提升真实场景下的泛化能力。
2026-04-17 cs.CV
Harmonizing Light and Darkness: A Symphony of Prior-guided Data Synthesis and Adaptive Focus for Nighttime Flare Removal
College of Computer Science, Nankai University（南开大学计算机学院）；Nankai International Advanced Research Institute（南开大学国际高等研究院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
针对夜间多散射耀斑去除问题，本文提出先验引导数据集Flare7K*和即插即用的自适应聚焦模块AFM，使模型聚焦耀斑区域并避免误改干净背景，在真实测试集上达到最先进性能。
2024-03-30 cs.CV
Novel Object Synthesis via Adaptive Text-Image Harmony
RIKEN（理化学研究所）；College of Computer Science, Nankai University（南开大学计算机学院）
针对文本与图像条件失衡导致扩散模型偏向单一输入的问题，提出ATIH，通过注意力调节、平衡损失和自适应相似度评分生成高保真且可编辑的新物体。
2024-10-28 cs.CV
Pathology-Aware Adaptive Watermarking for Text-Driven Medical Image Synthesis
Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学）；Amazon（亚马逊）
针对通用水印应用于医学图像合成易破坏病理区域影响诊断的问题，提出MedSign病理感知自适应水印框架，通过交叉注意力生成病理定位图自适应调整水印强度，在保障水印鲁棒性的同时保留诊断完整性，性能达SOTA。
2025-09-02 cs.CV
Unifying Color and Lightness Correction with View-Adaptive Curve Adjustment for Robust 3D Novel View Synthesis
University of Tokyo（东京大学）；Tohoku University（东北大学）；University of California at Merced（加州默塞德大学）；Google DeepMind（谷歌DeepMind）；RIKEN AIP（理化学研究所AIP）
Luminance-GS++通过结合全局视图自适应亮度调整和局部像素级残差细化，实现鲁棒的3D新视角合成，提升重建保真度并保持实时渲染效率。
2026-02-20 cs.CV
Region-adaptive Texture Enhancement for Detailed Person Image Synthesis
DAMO Academy, Alibaba（阿里巴巴达摩院）
产生令人信服的纹理细节的能力对于合成人物图像的保真度至关重要。然而，现有的方法通常遵循“基于扭曲”的策略，该策略通过用于姿势转移的相同路径来传播外观特征。然而，由于下采样，大多数细粒度特征都会丢失，导致输出图像中的过度平滑衣服和丢失细节。在本文中，我们提出了率网，一种新的框架，用于合成的人的图像与尖锐的纹理细节。所提出的框架利用额外的纹理增强模块从源图像中提取外观信息，并估计细粒度的残差纹理图，这有助于细化来自姿态转移模块的粗略估计。此外，我们设计了一个有效的交替更新策略，以促进两个模块之间的相互指导，以更好的形状和外观的一致性。在DeepFashion基准数据集上进行的实验表明，与现有网络相比，我们的框架具有优越性。
2020-05-26 cs.CV
fMPI: Fast Novel View Synthesis in the Wild with Layered Scene Representations
Meta；Meta Reality Labs；Google（谷歌）
提出两种输入处理范式加速基于分层场景表示的新视角合成，通过并行处理平面扫描体和超采样相邻平面，实现比现有最先进方法快50倍且质量更优。
2023-12-26 cs.CV cs.LG
Long-Tail Adaptive Flow Matching with Explicit Conditional Consistency Guidance for Precise Multimodal Face Synthesis
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）；Beijing Jiaotong University（北京交通大学）；South China University of Technology（华南理工大学）
针对多模态人脸合成中语义对齐不佳的问题，提出EC²Face框架，通过显式条件一致性引导和长尾自适应流匹配，在训练时增强监督，推理无额外开销，稀有属性掩码准确率提升29.38%。
2026-09-25 cs.CV
Domain-Adaptive Full-Face Gaze Estimation via Novel-View-Synthesis and Feature Disentanglement
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；Delft University of Technology（代尔夫特理工大学）
针对全脸注视估计跨域性能下降及大范围姿态数据采集昂贵的问题，提出结合单图像三维重建合成、特征解耦自编码器和背景增强一致性的无监督域自适应训练流程。
2024-07-07 cs.CV
Domain Adaptive Person Search via GAN-based Scene Synthesis for Cross-scene Videos
Dalian Maritime University（大连海事大学）
本文针对真实监控视频中行人图像稀少且背景衣着单一导致特征判别性不足的问题，提出基于GAN的场景合成模型和辅助身份查询模块，通过在线学习协同合成与原始图像，在CUHK-SYSU和PRW上验证了行人搜索性能的提升。
2023-08-08 cs.CV
Domain-Adaptive 3D Medical Image Synthesis: An Efficient Unsupervised Approach
Southern University of Science and Technology（南方科技大学）；Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）
医学图像合成由于可以生成缺失的图像数据、提高诊断水平以及有利于许多下游任务而受到越来越多的关注。然而，到目前为止，所开发的合成模型不适应于呈现域转移的看不见的数据分布，限制了其在临床常规中的适用性。本工作的重点是探索域适应（DA）的3D图像到图像的合成模型。首先，我们强调了分类，分割和合成模型之间的DA技术差异。其次，我们提出了一种新的有效的适应方法的基础上的二维变分自动编码器，近似三维分布。第三，我们提出了适应数据量和关键超参数的影响的实证研究。我们的研究结果表明，所提出的方法可以显着提高合成精度看不见的领域在3D设置。该代码可在https://github.com/WinstonHuTiger/2D_VAE_UDA_for_3D_sythesis上公开获取
2022-07-02 cs.CV eess.IV
ArSDM: Colonoscopy Images Synthesis with Adaptive Refinement Semantic Diffusion Models
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen Health Development Research and Data Management Center（深圳市卫生健康发展研究和数据管理中心）；The Chinese University of Hong Kong（香港中文大学）；Sun Yat-sen University（中山大学）
本文提出ArSDM，一种利用真实分割掩码和自适应损失调整的扩散模型，生成高质量结肠镜图像，显著提升息肉分割与检测性能。
2023-09-03 cs.CV
Do Flat Minima Improve Sparse Novel View Synthesis?
Yonsei University（延世大学）
研究新视图合成中损失锐度与泛化的关系，提出结构感知锐度并根据局部图像结构自适应调整锐度正则化权重，可在保持细节重建所需锐度的同时促进泛化，提升多种基线方法。
2026-07-07 cs.CV
BlockGaussian: Efficient Large-Scale Scene Novel View Synthesis via Adaptive Block-Based Gaussian Splatting
Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对3D高斯溅射在大规模场景重建中的分割、优化与合并挑战，提出BlockGaussian框架，通过内容感知分割和可见性感知块优化，实现高效高质量重建，优化速度提升5倍、PSNR平均提高1.21dB，支持单24GB VRAM设备运行。
2025-04-15 cs.CV
AdaGen: Learning Adaptive Policy for Image Synthesis
Department of Automation, BNRist, Tsinghua University（自动化系、BNRist、清华大学）
AdaGen通过学习自适应策略提升图像合成性能，采用强化学习优化调度过程，实现更高效的生成效果和可控的保真度-多样性权衡。
2026-03-07 cs.CV
Learning Spatially-Adaptive Squeeze-Excitation Networks for Image Synthesis and Image Recognition
North Carolina State University（北卡罗来纳州立大学）
在图像合成和图像识别中学习轻量级但富有表现力的深度网络仍然是一个具有挑战性的问题。受最近观察到的数据特异性使得Transformer模型中的多头自注意（MHSA）如此强大的启发，本文提出将广泛采用的轻量级挤压激励（SE）模块扩展为空间自适应的，以增强其数据特异性，作为MHSA的卷积替代方案，同时保留SE的效率和卷积的归纳基础。提出了两种空间自适应挤压激励（SASE）模块的设计，分别用于图像合成和图像识别。对于图像合成任务，所提出的SASE进行了测试，在低拍摄和单次学习任务。它显示出比现有技术更好的性能。对于图像识别任务，所提出的SASE被用作ResNets中卷积层的直接替代品，并且比普通ResNets实现了更好的准确性，并且比MHSA的同类产品（如ImageNet-1000数据集中的Swin-Transformer和Pyramid-Transformer）略好，模型明显更小。
2022-10-03 cs.CV cs.LG
Adaptive Multi-Modal Control of Digital Human Hand Synthesis Using a Region-Aware Cycle Loss
Queen Mary University of London（伦敦玛丽女王大学）
针对扩散模型生成数字人手部姿态失真问题，研究通过整理How2Sign数据集、引入自适应多模态融合及提出区域感知循环损失，有效提升了手部及整体姿态生成质量。
2024-09-13 cs.CV
Sampling for View Synthesis: From Local Light Field Fusion to Neural Radiance Fields and Beyond
University of California San Diego（加利福尼亚大学圣迭戈分校）；NVIDIA（英伟达公司）
本文提出局部光场融合算法，通过扩展传统全光采样理论给出精确的视图采样密度界限，在保持奈奎斯特采样感知质量的同时将所需视图数量最多减少4000倍，并探讨了神经辐射场时代稀疏视图合成的采样指南可行性。
2024-08-08 cs.AI cs.CV cs.GR
3DGBGS: 3D Granular Ball Gaussian Splatting for Compact Novel View Synthesis
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Ant Consumer Finance Co., Ltd.（重庆蚂蚁消费金融有限公司）
本文针对现有锚点3DGS的空间适应性问题，提出3DGBGS框架，通过自适应颗粒球划分优化锚点，在维持渲染质量的同时降低了锚点数量与模型存储。
2026-07-30 cs.CV
Unconstrained Face Sketch Synthesis via Perception-Adaptive Network and A New Benchmark
South China University of Technology（华南理工大学）；Hong Kong Polytechnic University（香港理工大学）；Sun Yat-Sen University（中山大学）
人脸草图生成是视觉计算领域的一个研究热点。然而，现有的方法要么是有限的约束条件或严重依赖于各种预处理步骤来处理在野生情况下。在本文中，我们认为，准确地感知面部区域和面部组件是无约束草图合成的关键。为此，我们提出了一种新的感知自适应网络（PANet），它可以生成高质量的人脸草图在不受约束的条件下，在一个端到端的计划。具体来说，我们的PANet由i）用于分层特征提取的全卷积编码器，ii）用于提取潜在面部区域和处理面部变化的面部自适应感知解码器，以及iii）用于面部组件感知特征的组件自适应感知模块组成表示学习。为了便于进一步研究无约束的人脸素描合成，我们引入了一个新的基准称为WildSketch，其中包含800对人脸照片素描与姿势，表情，种族，背景和照明的变化很大。大量的实验表明，该方法是能够实现国家的最先进的性能在约束和无约束条件下。我们的源代码和WildSketch基准测试在项目页面http://lingboliu.com/unconstrained_face_sketch.html上重新密封。
2021-12-02 cs.CV cs.LG
Geometry-Aware Scene Configurations for Novel View Synthesis
Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）
提出场景自适应策略，利用几何先验指导基的最优放置与虚拟视点配置，有效提升了大规模室内场景新视角合成的渲染质量与内存效率。
2025-10-10 cs.CV
DS-MVSNet: Unsupervised Multi-view Stereo via Depth Synthesis
University of Chinese Academy of Sciences（中国科学院大学）；Chongqing University（重庆大学）；KAUST（阿卜杜拉国王科技大学）
近年来，基于监督或无监督学习的MVS方法取得了比传统方法更好的性能。然而，这些方法仅使用成本体积正则化计算的概率体积来预测参考深度，这种方式不能从概率体积中挖掘足够的信息。此外，无监督方法通常尝试使用两步或额外的输入进行训练，这使得过程更加复杂。在本文中，我们提出了DS-MVSNet，一个端到端的无监督MVS结构与源深度合成。为了挖掘概率体中的信息，我们创造性地通过将概率体和深度假设溅射到源视图来合成源深度。同时，我们提出了自适应高斯采样和改进的自适应箱采样方法，提高了深度假设的准确性。另一方面，我们利用源深度来渲染参考图像，并提出了深度一致性损失和深度平滑损失。这些可以根据不同视图中的光度和几何一致性提供额外的指导，而无需额外的输入。最后，我们在DTU数据集和Tanks & Temples数据集上进行了一系列实验，证明了我们的DS-MVSNet与最先进的方法相比的效率和鲁棒性。
2022-08-13 cs.CV
Efficient Semantic Image Synthesis via Class-Adaptive Normalization
University of Science and Technology of China（中国科学技术大学）；Microsoft Cloud AI（微软云AI）；Snap Inc.（Snap公司）；City University of Hong Kong（香港城市大学）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Wormpex AI Research LLC（Wormpex AI研究有限责任公司）
空间自适应归一化（SPADE）是最近在条件语义图像合成\cite{park2019semantic}中非常成功的方法，它通过从语义布局中学习的空间变化变换来调节归一化激活，以防止语义信息被冲走。尽管其令人印象深刻的性能，更彻底的了解盒子内的优点仍然是非常需要的，以帮助减少显着的计算和参数开销引入这种新颖的结构。在本文中，从投资回报率的角度来看，我们进行了深入的分析，这种空间自适应规范化的有效性，并观察到其调制参数受益于语义意识，而不是空间自适应，特别是对于高分辨率的输入掩码。受此启发，我们提出了类自适应规范化（CLADE），一个轻量级的，但同样有效的变种，只适应于语义类。为了进一步提高CLADE的空间自适应性，我们引入了基于语义布局的类内位置映射编码来调整CLADE的归一化参数，提出了一种真正的空间自适应CLADE变体CLADE-ICPE。通过在多个具有挑战性的数据集上的大量实验，我们证明了所提出的CLADE可以推广到不同的基于SPADE的方法，同时与SPADE相比，但它更有效，具有更少的额外参数和更低的计算成本。代码和预训练模型可在\url{https://github.com/tzt101/CLADE.git}上获得。
2021-05-04 cs.CV cs.GR
EvBS: Event-guided Blur Synthesis for Domain-adaptive Motion Deblurring
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出事件引导模糊合成框架EvBS，通过解耦运动与内容生成多样训练对，提升预训练去模糊模型的域自适应性能，经多基准实验验证其可增强模型在未见测试集上的鲁棒性。
2026-08-11 cs.CV eess.IV
Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization
可控人物图像生成的目标是生成具有所需属性（如给定姿势、布料纹理或发型）的逼真人物图像。然而，源图像和目标图像之间的大的空间未对准使得标准的图像到图像转换架构不适合于该任务。大多数最先进的方法专注于全局姿态转移任务的对齐。然而，它们无法处理特定区域的纹理转移任务，特别是对于具有复杂纹理的人物图像。为了解决这个问题，我们提出了一种新的空间自适应扭曲归一化（SAWN），它集成了一个学习的流场扭曲调制参数。它使我们能够有效地调整人的空间自适应风格与姿势特征。此外，我们提出了一种新的自训练部分替换（STPR）策略来细化纹理转移任务的模型，提高了生成的衣服的质量和非目标区域的保留能力。我们在广泛使用的DeepFashion数据集上的实验结果表明，与姿势转移和纹理转移任务的最新方法相比，所提出的方法有了显着的改进。该代码可在https://github.com/zhangqianhui/Sawn上获得。
2023-01-10 cs.CV cs.GR
