StyleLight: HDR Panorama Generation for Lighting Estimation and Editing
Nanyang Technological University（南洋理工大学）
我们提出了一种新的照明估计和编辑框架，以生成高动态范围（HDR）的室内全景照明从一个单一的有限的视场（LFOV）的低动态范围（LDR）相机捕获的图像。现有的照明估计方法要么直接回归照明表示参数，要么将该问题分解为LFOV到全景和LDR到HDR照明生成子任务。然而，由于局部观察，高动态范围的照明，和一个场景的固有的模糊性，照明估计仍然是一个具有挑战性的任务。为了解决这个问题，我们提出了一个耦合的双StyleGAN全景合成网络（StyleLight），它将LDR和HDR全景合成集成到一个统一的框架中。LDR和HDR全景合成共享类似的生成器，但具有单独的鉴别器。在推理过程中，给定一幅LDR LFOV图像，提出了一种遮盖焦点的GAN反演方法，通过LDR全景图合成分支找到其潜在编码，然后通过HDR全景图合成分支合成HDR全景图。StyleLight将LFOV到全景和LDR到HDR照明生成纳入统一的框架，从而大大提高了照明估计。大量的实验表明，我们的框架实现了优越的性能比国家的最先进的室内照明估计的方法。值得注意的是，StyleLight还可以在室内HDR摄影机上进行直观的照明编辑，适用于现实世界的应用。代码可在https://style-light.github.io上获得。
2022-07-29 cs.CV cs.LG
Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery
Australian National University（澳大利亚国立大学）；University of Oxford（牛津大学）；University of Technology Sydney（悉尼科技大学）
本文提出了一种新的方法来合成一个新的街景全景给定的开销卫星图像。以一个小的卫星图像补丁作为输入，我们的方法生成一个谷歌的全向街景类型的全景，就好像它是从同一地理位置的卫星补丁的中心捕获。现有的工作解决这个任务作为一个图像生成问题，采用生成对抗网络隐式学习的跨视图变换，而忽略了域的相关性。在本文中，我们建议明确建立两个视图之间的图像的几何对应关系，以促进跨视图变换学习。具体来说，我们观察到，当现实世界中的3D点在两个视图中都可见时，在给定该3D点的高度信息的情况下，在两个视图图像中的投影点之间存在确定性映射。出于这一动机，我们开发了一种新的卫星街景图像投影（S2SP）模块，明确建立这样的几何对应关系，并将卫星图像投影到街道的观点。以这些投影卫星图像作为网络输入，我们接下来采用一个生成器来合成与卫星图像在几何上一致的逼真街景贴图。我们的S2SP模块是可区分的，整个框架是以端到端的方式训练的。在两个交叉视图基准数据集上的大量实验结果表明，我们的方法生成的图像比现有方法更好地尊重场景几何形状。
2022-03-26 cs.CV
PanSplat: 4K Panorama Synthesis with Feed-Forward Gaussian Splatting
Monash University（莫纳什大学）；Building 4.0 CRC（4.0建筑合作研究中心）；ETH Zurich（苏黎世联邦理工学院）
针对现有全景视图合成方法分辨率受限的问题，提出PanSplat前馈方法，通过定制球面3D高斯金字塔与内存高效训练流水线，实现4K分辨率全景合成，在多数据集上取得SOTA效果。
2025-03-23 cs.CV
Layout-Guided Novel View Synthesis from a Single Indoor Panorama
ShanghaiTech University（上海科技大学）；KooLab；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
现有的视图合成方法主要针对透视图像，并取得了良好的效果。然而，由于针孔摄像机的视场有限，当采用大的摄像机运动时，性能迅速下降。在本文中，我们第一次尝试从一个单一的室内全景图生成新的意见，并考虑到大型摄像机的平移。为了解决这个具有挑战性的问题，我们首先使用卷积神经网络（CNN）从源视图图像中提取深度特征并估计深度图。然后，我们利用房间布局先验，一个强的室内场景的结构约束，以指导目标视图的生成。更具体地说，我们在源视图中估计房间布局，并将其转换为目标视点作为指导。同时，我们还约束生成的目标视图图像的房间布局，以加强几何一致性。为了验证我们的方法的有效性，我们进一步构建了一个包含小型和大型相机平移的大规模照片级真实感数据集。在我们具有挑战性的数据集上的实验结果表明，我们的方法达到了最先进的性能。该项目的页面位于https://github.com/bluestyle97/PNVS。
2021-03-31 cs.CV
SE360: Semantic Edit in 360$^\circ$ Panoramas via Hierarchical Data Construction
SE360通过分层数据构建实现360度全景图的语义编辑，提出自主数据生成管道和两阶段数据精修策略，提升编辑质量和语义准确性。
2025-12-23 cs.CV
PSGS: Text-driven Panorama Sliding Scene Generation via Gaussian Splatting
East China University of Science and Technology（东华大学）；Zhejiang University（浙江大学）；Beijing Institute of Technology（北京理工大学）
PSGS通过高斯点划法和双阶段框架实现高质量文本驱动全景场景生成，提升3D场景的真实感和细节保真度。
2026-01-31 cs.CV
Pano2Room: Novel View Synthesis from a Single Indoor Panorama
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
提出Pano2Room方法，通过全景RGBD修复器迭代细化初步网格并收集伪新视角，结合3D Gaussian Splatting训练，从单张室内全景图实现高质量3D场景重建与新视角合成。
2024-08-27 cs.CV cs.GR
Stepper: Stepwise Immersive Scene Generation with Multiview Panoramas
Google（谷歌）；University of Oxford（牛津大学）；MCML；Technical University of Munich（慕尼黑技术大学）
Stepper通过分步扩展多视角全景图，解决传统方法在视觉保真度与可探索性之间的权衡问题，实现高质量沉浸式3D场景生成。
2026-05-01 cs.CV
Cross-View Panorama Image Synthesis
Guangdong University of Petrochemical Technology（广东石油化工学院）；ETH Zurich（苏黎世联邦理工学院）；Wuhan University（武汉大学）；Nanjing University（南京大学）；Jinling Institute of Technology（金陵科技学院）；Jiangsu Hoperun Software Co. Ltd.（江苏润和软件股份有限公司）；Nanjing University of Science and Technology（南京理工大学）；University of Trento（特伦托大学）；Illinois Institute of Technology（伊利诺伊理工学院）
在本文中，我们解决的问题，合成一个地面视图的全景图像条件下的俯视航拍图像，这是一个具有挑战性的问题，由于两个图像域之间的巨大差距与不同的观点。我们提出了一个新的对抗性反馈GAN框架Pano GAN，它有两个关键组成部分：对抗性反馈模块和双分支判别策略，而不是在前馈通道中学习交叉视图映射。首先，将航拍图像输入生成器以产生目标全景图像及其相关联的分割图，以利于具有布局语义的模型训练。第二，由我们的对抗反馈模块编码的特征响应被反馈到生成器以细化中间表示，从而通过迭代生成过程不断提高生成性能。第三，为了保证生成的全景图像的高保真度和语义一致性，提出了一种基于双分支判别策略的像素分割对齐机制，以便于生成器和全景图像处理器之间的协作。在两个具有挑战性的跨视图图像数据集上进行的大量实验结果表明，PanoGAN能够生成高质量的全景图像，比最先进的方法具有更令人信服的细节。源代码和经过训练的模型可在\url{https://github.com/sswuai/PanoGAN}上获得。
2022-03-22 cs.CV cs.MM
JOPP-3D: Joint Open Vocabulary Semantic Segmentation on Point Clouds and Panoramas
本文提出JOPP-3D框架，通过联合利用点云和全景图像数据实现语言驱动的场景理解，提升开放词汇下点云和全景图像的语义分割性能。
2026-10-21 cs.CV
Semantically Multi-modal Image Synthesis
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
在本文中，我们专注于语义多模态图像合成（SMIS）的任务，即在语义层次上生成多模态图像。以前的工作试图使用多个类特定的生成器，限制其在具有少量类的数据集中的使用。相反，我们提出了一种新的组递减网络（GroupDNet），它利用生成器中的组卷积，并逐渐减少解码器中卷积的组数。因此，GroupDNet在将语义标签转换为自然图像方面具有更大的可控性，并且对于具有许多类的数据集具有合理的高质量收益。在几个具有挑战性的数据集上的实验证明了GroupDNet在执行SMIS任务方面的优越性。我们还表明，GroupDNet能够执行广泛的有趣的合成应用。代码和模型可在https://github.com/Seanseattle/SMIS上获得。
2020-04-02 cs.CV
LighthouseGS: Indoor Structure-aware 3D Gaussian Splatting for Panorama-Style Mobile Captures
Ulsan National Institute of Science and Technology (UNIST)（乌山国立科学技术研究院）
LighthouseGS通过利用室内结构和几何先验，提升单移动设备全景式捕捉的3D点估计和视图合成性能。
2026-02-11 cs.AI cs.CV cs.GR
PanoLlama: Generating Endless and Coherent Panoramas with Next-Token-Prediction LLMs
College of Computer Science and Technology（计算机科学与技术学院）
针对全景图像生成现有方法连贯性不足的问题，提出PanoLlama框架，通过免训练词元重定向策略让视觉自回归模型实现任意方向无限全景生成，性能达SOTA，还支持多种特殊应用并构建了新基准数据集。
2025-08-01 cs.CV
A Survey on Text-Driven 360-Degree Panorama Generation
Department of Statistical Science, University College London（统计科学系，伦敦大学学院）；Core AI team at Meta Reality Labs（Meta Reality Labs人工智能核心团队）
本文综述了文本驱动的360度全景生成技术，系统分析了最新算法，并延伸至3D场景与全景视频生成，同时指出当前局限与未来方向。
2025-11-05 cs.AI cs.CV
DreamCube: 3D Panorama Generation via Multi-plane Synchronization
The University of Hong Kong（香港大学）；Tencent（腾讯）；Astribot
本文提出DreamCube，一种基于多平面同步的RGB-D扩散模型，将2D基础模型能力扩展到3D全景生成，实现多样化外观、准确几何与多视图一致性，并在全景图像、深度估计和3D场景生成中验证有效性。
2025-06-20 cs.CV cs.GR cs.LG
Look Beyond: Two-Stage Scene View Generation via Panorama and Video Diffusion
University of Melbourne（墨尔本大学）
针对单图像新视图合成在长/环形轨迹上连贯性不足的问题，提出两阶段方法：先通过全景扩散生成360度场景，再以全景关键帧为锚，用视频扩散生成全局一致的新视图，性能优于现有方法。
2025-08-31 cs.AI cs.CV
Multi-Scale Diffusion: Enhancing Spatial Layout in High-Resolution Panoramic Image Generation
Zhejiang University（浙江大学）
本文提出多尺度扩散（MSD）框架，利用梯度下降将低分辨率结构信息融入高分辨率输出，解决了高分辨率全景图生成中空间布局不一致的问题，显著提升了生成连贯性。
2025-04-06 cs.CV
Pano2World: End-to-End 3D Generation via Unified Multi-View Sequences
Ke Holdings Inc.（贝壳找房）
提出Pano2World方法，利用全景扩散模型和视图感知注意力路由，从单张室内全景图直接生成可探索的三维高斯场景，解决多步管道误差累积和视频模型灵活性不足的问题。
2026-07-07 cs.AI cs.CV
StreetDiff: Multi-view Street Scenes Generation via Cross-view Consistent Multi-view Stable Diffusion with Structure Prompts
Shenzhen University（深圳大学）
针对多视角扩散模型在城市街道场景中跨视角一致性差的问题，提出StreetDiff框架，通过全景-透视协同设计和全景对齐模块显式施加跨视角对齐约束，并构建Street360数据集，显著提升结构一致性与视觉保真度。
2026-09-10 cs.CV
Semantic Image Synthesis with Semantically Coupled VQ-Model
University of Tübingen（图宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
语义图像合成通过允许对正在生成的内容进行指导来实现对无条件图像生成的控制。我们有条件地合成的潜在空间从矢量量化模型（VQ模型）预训练自动编码图像。我们发现，联合学习条件和图像潜伏期显著提高了Transformer模型的建模能力，而不是在单独学习的条件潜伏期和图像潜伏期上训练自回归Transformer。虽然我们联合训练的VQ模型在语义和图像潜在内容方面都实现了与普通VQ模型相似的重建性能，但在自动编码阶段将这两种模态联系起来被证明是提高自回归建模性能的重要因素。我们表明，我们的模型使用流行的语义图像数据集ADE 20 k，Cityscapes和COCO-Stuff上的自回归模型改进了语义图像合成。
2022-09-06 cs.AI cs.CV
Retrieving Semantics from the Deep: an RAG Solution for Gesture Synthesis
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；Utrecht University（乌得勒支大学）
针对现有神经手势生成系统难以产生语义丰富手势的挑战，提出RAG-Gesture方法，利用检索增强生成和扩散模型，通过DDIM反演和检索引导在推理时注入语义示例手势，无需训练即可生成自然且语义丰富的协同语音手势。
2025-04-04 cs.CV
ShapeShift: Text-to-Mosaic Synthesis via Semantic Phase-Field Guidance
Carnegie Mellon University USA（卡内基梅隆大学）
ShapeShift通过语义相场指导实现文本到马赛克合成，结合语义指导与可行性约束解决，提升排列的语义清晰性和有效性。
2026-02-23 cs.CV
TerraDiT: Point-Conditioned Diffusion Transformer for Satellite Image Synthesis
TerraDiT通过点条件控制实现文本到卫星图像生成，提供语义丰富的控制信号，具有灵活、标注友好和计算简单的推理特性。
2026-06-26 cs.CV
Guided Co-Modulated GAN for 360° Field of View Extrapolation
Université Laval（拉瓦尔大学）；Adobe（奥多比公司）
我们提出了一种方法，从一个单一的图像，允许用户控制的合成外画的内容外推360°的视野。为此，我们提出了对现有基于GAN的内部绘画架构的改进，用于绘制全景图像表示。我们的方法获得了最先进的结果，并在标准图像质量指标上优于以前的方法。为了允许控制外绘的合成，我们引入了一种新的引导共调制框架，该框架使用一个共同的预训练判别模型来驱动图像生成过程。这样做保持了所生成的全景图的高视觉质量，同时在外推的视场中启用用户控制的语义内容。我们展示了我们的方法的视野外推定性和定量的最先进的结果，提供了我们的新的编辑能力的透彻分析。最后，我们证明了我们的方法有利于照片中的高光泽物体的真实感虚拟插入。
2022-08-23 cs.CV
A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Pengcheng Lab（鹏城实验室）；Tsinghua University（清华大学）；Harbin Medical University Cancer Hospital（哈尔滨医科大学附属肿瘤医院）；Tongji University（同济大学）
CRAFTS通过语义增强的生成基础模型提升病理图像合成质量，生成多样化病理图像并增强多种临床任务性能。
2025-12-16 cs.AI cs.CV
Semantically Conditioned Diffusion Models for Cerebral DSA Synthesis
Department of Statistics, LMU Munich（统计学系）；Department of Biomedical Informatics (DBMI), Medical Faculty Mannheim, Heidelberg University（生物医学信息学系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Clinic for Diagnostic and Interventional Neuroradiology, Medical Faculty Mannheim, Heidelberg University（诊断和介入神经放射科）；Department of Anesthesiology and Intensive Care Medicine, BG Trauma Center Tuebingen（麻醉和重症医学科）
本研究提出一种具有语义条件的扩散模型，用于生成具有真实感的脑部DSA图像，以支持医学研究和算法开发。
2026-02-12 cs.AI cs.CV
Compositional Text-to-Image Synthesis with Attention Map Control of Diffusion Models
OPPO Research Institute（OPPO研究院）
针对文本到图像扩散模型组合能力不足导致的生成图像与提示语义不对齐问题，提出基于BoxNet预测目标框的注意力掩码控制策略，约束提示词元注意力区域，可即插即用提升合成语义准确性。
2023-12-13 cs.CV
ConvoFusion: Multi-Modal Conversational Diffusion for Co-Speech Gesture Synthesis
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
提出ConvoFusion，一种基于扩散的多模态手势合成方法，通过两个指导目标实现模态影响调节和词语强调控制，支持独白与对话手势生成，并发布DnD Group Gesture数据集以推进多方交互研究。
2024-03-26 cs.CV
ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment
Tsinghua University（清华大学）
针对永续3D场景生成中外扩误差累积导致的语义漂移，本文提出ScenePainter，通过SceneConceptGraph对齐场景概念关系并引导外扩，显著提升长序列3D视图的一致性与沉浸感。
2025-07-25 cs.CV
Discovering Class-Specific GAN Controls for Semantic Image Synthesis
Bosch Center for AI（博世人工智能中心）；MPI for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
先前的工作已经广泛研究了用于无条件图像合成的GANs的潜在空间结构，通过无监督地发现可解释的潜在方向来实现对生成图像的全局编辑。然而，用于语义图像合成（SIS）的条件GANs的潜在方向的发现仍然未被探索。在这项工作中，我们特别关注解决这一差距。我们提出了一种新的优化方法，用于在预训练的SIS模型的潜在空间中找到空间解纠缠的类特定方向。我们表明，通过我们的方法发现的潜在方向可以有效地控制语义类的局部外观，例如，彼此独立地改变它们的内部结构、纹理或颜色。对各种数据集上发现的GAN控件的视觉检查和定量评估表明，我们的方法为特定于类的编辑发现了一组独特且语义上有意义的潜在方向。
2022-12-02 cs.CV
Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis
UC Berkeley（加州大学伯克利分校）
我们提出了DietNeRF，一个从几个图像估计的3D神经场景表示。神经辐射场（NeRF）通过多视图一致性学习场景的连续体积表示，并且可以通过光线投射从新的视点渲染。虽然NeRF具有令人印象深刻的重建几何和精细细节的能力，但对于具有挑战性的360°场景，高达100个图像，当只有少数输入视图可用时，它通常会找到其图像重建目标的退化解决方案。为了提高Few-Shot质量，我们提出了DietNeRF。我们引入了一个辅助的语义一致性损失，鼓励逼真的渲染在小说构成。DietNeRF在各个场景上进行训练，以（1）正确渲染来自相同姿势的给定输入视图，以及（2）在不同的随机姿势中匹配高级语义属性。我们的语义损失允许我们从任意姿势监督DietNeRF。我们使用预先训练的视觉编码器（如CLIP）提取这些语义，CLIP是一种视觉Transformer，它在从网络上挖掘的数亿张不同的单视图2D照片上进行训练，并使用自然语言进行监督。在实验中，DietNeRF在从头开始学习时提高了Few-Shot视图合成的感知质量，当在多视图数据集上进行预训练时，可以使用少至一个观察到的图像渲染新视图，并生成完全未观察到的区域的合理完成。
2021-04-01 cs.AI cs.CV cs.GR
Self-Supervised Learning of Semantically Consistent Visual Features via a Simple 3D Prior
University of Edinburgh（爱丁堡大学）
该研究针对现有视觉特征无法区分对称或重复部件类别左右的问题，提出一种基于简单3D先验的自监督学习方法，通过对比学习和分布匹配学习特征，在多类对象上验证了方法的有效性。
2026-10-14 cs.CV
Exploring Active Learning for Label-Efficient Training of Semantic Neural Radiance Field
Institute for Infocomm Research (I 2 R), A*STAR, Singapore（信息通信研究所（I 2 R），A*STAR，新加坡）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）
本文研究语义 NeRF 像素级标签昂贵的问题，系统比较主动学习的选择粒度与策略，并提出融合三维几何约束的样本选择方法，使标注成本较随机采样降低逾2倍。
2025-07-23 cs.CV
Taming Transformers for High-Resolution Image Synthesis
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；Heidelberg University（海德堡大学）；IWR（跨学科科学计算中心）
Transformers旨在学习序列数据上的远程交互，在各种任务上继续显示最先进的结果。与CNN相反，它们不包含优先考虑局部相互作用的归纳偏差。这使得它们具有表现力，但对于长序列（如高分辨率图像）来说，计算上也是不可行的。我们展示了如何将CNN的感应偏差的有效性与Transformers的表现力相结合，使它们能够建模，从而合成高分辨率图像。我们展示了如何（i）使用CNN来学习图像成分的上下文丰富的词汇，反过来（ii）利用Transformers来有效地在高分辨率图像中建模它们的组成。我们的方法很容易适用于有条件的合成任务，其中非空间信息，如对象类，和空间信息，如分割，可以控制生成的图像。特别是，我们提出了第一个结果的语义指导合成的百万像素图像与Transformers，并获得最先进的自回归模型类条件ImageNet。代码和预训练模型可以在https://github.com/CompVis/taming-transformers上找到。
2021-06-23 cs.CV
High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis
University of Southern California（南加州大学）；Adobe Research（Adobe研究院）；Pinscreen；USC Institute for Creative Technologies（南加州大学创意技术研究所）
深度学习的最新进展已经显示出令人兴奋的前景，即用语义上合理的和上下文感知的细节来填充自然图像中的大洞，影响基本的图像处理任务，如对象删除。虽然这些基于学习的方法在捕获高级特征方面比现有技术更有效，但由于记忆限制和训练困难，它们只能处理非常低分辨率的输入。即使是稍微大一点的图像，修复后的区域也会显得模糊，并且可以看到令人不快的边界。我们提出了一种基于图像内容和纹理约束联合优化的多尺度神经补丁合成方法，该方法不仅保留了上下文结构，而且通过匹配和适应具有最相似的深层分类网络中层特征相关性的补丁来产生高频细节。我们在ImageNet和Paris Streetview数据集上评估了我们的方法，并实现了最先进的修复精度。我们表明，我们的方法比以前的方法产生更清晰，更连贯的结果，特别是对于高分辨率图像。
2017-04-13 cs.CV
Inferring Semantic Layout for Hierarchical Text-to-Image Synthesis
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
我们提出了一种新的层次化方法，通过推断语义布局的文本到图像的合成。我们的算法不是学习从文本到图像的直接映射，而是将生成过程分解为多个步骤，首先通过布局生成器从文本构建语义布局，然后通过图像生成器将布局转换为图像。所提出的布局生成器逐步构建一个语义布局在一个由粗到细的方式，通过生成对象的边界框和细化每个框内的对象形状估计框。图像生成器以推断的语义布局为条件来合成图像，该推断的语义布局提供了与文本描述匹配的图像的有用语义结构。我们的模型不仅生成语义上更有意义的图像，而且还允许自动注释生成的图像和用户控制的生成过程中，通过修改生成的场景布局。我们证明了所提出的模型在具有挑战性的MS-COCO数据集上的能力，并表明该模型可以大大提高图像质量，输出的可解释性和与输入文本的语义对齐。
2018-07-26 cs.CV
Any-to-All MRI Synthesis: A Unified Foundation Model for Nasopharyngeal Carcinoma and Its Downstream Applications
The Hong Kong Polytechnic University（香港理工大学）
本文提出统一基础模型实现任意到全部MRI合成，提升鼻咽癌放疗的准确性和临床实用性。
2026-02-09 cs.CV
Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（中国教育部机器智能与先进计算重点实验室）；Microsoft Research Asia（微软亚洲研究院）；University of Tokyo（东京大学）
我们提出了一个新的角度来实现图像合成，通过查看这个任务作为一个视觉令牌生成问题。不同于直接从单个输入合成完整图像的现有范例（例如，一个潜在的代码），新的公式能够灵活的本地操作不同的图像区域，这使得它有可能学习内容感知和细粒度的风格控制图像合成。具体地说，它将潜在标记序列作为输入来预测用于合成图像的视觉标记。在这个角度下，我们提出了一个基于令牌的生成器（即，TokenGAN）。特别地，TokenGAN输入两个语义上不同的视觉令牌，即，学习的恒定内容令牌和来自潜在空间的样式令牌。给定一系列样式令牌，TokenGAN能够通过使用Transformer的注意力机制将样式分配给内容令牌来控制图像合成。我们进行了大量的实验，并表明所提出的TokenGAN在几个广泛使用的图像合成基准上取得了最先进的结果，包括具有不同分辨率的FFHQ和LSUN CHURCH。特别是，生成器能够合成1024x1024大小的高保真图像，完全免除卷积。
2021-12-18 cs.CV
SemanticNVS: Improving Semantic Scene Understanding in Generative Novel View Synthesis
Max Planck Institute for Informatics, Saarland Informatics Campus, Germany（马克斯·普朗克研究所信息学院，萨尔兰州信息学院，德国）
SemanticNVS通过整合预训练语义特征提取器，提高生成式新视角合成中远距离视角下的生成质量与一致性。
2026-02-23 cs.CV
DT2I: Dense Text-to-Image Generation from Region Descriptions
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
尽管取得了惊人的进展，但生成复杂场景的逼真图像仍然是一个具有挑战性的问题。最近，布局到图像的合成方法已经引起了很大的兴趣，通过调节生成器的边界框和相应的类标签的列表。然而，以前的方法是非常严格的，因为标签的集合是固定的先验。与此同时，文本到图像的合成方法得到了很大的改进，为条件图像的生成提供了一种灵活的方法。在这项工作中，我们介绍了密集的文本到图像（DT 2 I）合成作为一个新的任务，铺平了道路，更直观的图像生成。此外，我们提出了DTC-GAN，一种新的方法来生成图像的语义丰富的区域描述，和多模态区域特征匹配损失，以鼓励语义图像-文本匹配。我们的研究结果表明，我们的方法来生成合理的图像的复杂场景，使用区域字幕的能力。
2022-04-05 cs.CV
Collaborative Score Distillation for Consistent Visual Synthesis
KAIST（韩国科学技术院）；Google Research（谷歌研究院）
本文提出协同分数蒸馏（CSD），将多张图像视为 SVGD 粒子并组合其分数函数，以实现全景图、视频和 3D 场景的一致视觉合成与编辑。
2023-07-04 cs.CV cs.LG
Guided and Unguided Conditional Diffusion Mechanisms for Structured and Semantically-Aware 3D Point Cloud Generation
Department of Computer Science；Engineering, University of Nevada, Reno, USA
本文提出一种将逐点语义条件直接嵌入扩散过程的框架，实现三维点云几何与语义的联合生成，并通过对比有引导与无引导扩散机制验证了条件变量对生成质量的显著提升。
2025-09-21 cs.AI cs.CV cs.LG
Fine-grained Cross-modal Fusion based Refinement for Text-to-Image Synthesis
Hefei University of Technology（合肥工业大学）
文本到图像合成是指从给定的文本描述生成视觉上逼真的和语义上一致的图像。以前的方法生成一个初始的低分辨率图像，然后将其细化为高分辨率。尽管取得了显著的进步，这些方法是有限的，在充分利用给定的文本，并可能产生文本不匹配的图像，特别是当文本描述是复杂的。提出了一种基于细粒度文本-图像融合的生成对抗网络（FF-GAN），它由两个模块组成：细粒度文本-图像融合模块（FF-Block）和全局语义细化模块（GSR）。FF-Block将注意力块和多个卷积层集成在一起，有效地将细粒度的词上下文特征融合到相应的视觉特征中，充分利用文本信息对初始图像进行更详细的细化。在细化过程中，提出了GSR来提高语言特征和视觉特征之间的全局语义一致性。在CUB-200和COCO数据集上进行的大量实验表明，FF-GAN在生成与给定文本语义一致的图像方面优于其他最先进的方法。代码可在www.example.com上获得。
2023-02-20 cs.CV
FastScene: Text-Driven Fast 3D Indoor Scene Generation via Panoramic Gaussian Splatting
Sun Yat-sen University（中山大学）；Guangdong Provincial Key Laboratory of Fire Science and Intelligent Emergency Technology（广东省火灾科学与智能应急技术重点实验室）
本文提出 FastScene 框架，由文本生成全景图并结合 CVS、PNVI、MVP 与 3DGS 重建，实现更快、更高质量且一致的 3D 室内场景生成。
2024-05-09 cs.CV
Semantic-aware Data Augmentation for Text-to-image Synthesis
University of Liverpool（利物浦大学）；Duke Kunshan University（昆山杜克大学）
针对文本生成图像合成中数据增强存在的语义不匹配与崩塌问题，提出含隐式文本语义保持增强和图像语义正则化损失的SADA框架，理论与实验均验证其能提升文图一致性与图像质量。
2023-12-13 cs.CV
HATS: Hardness-Aware Trajectory Synthesis for GUI Agents
HATS通过硬度感知轨迹合成框架，解决GUI代理训练中语义模糊性问题，提升任务执行鲁棒性。
2026-03-12 cs.CV
Video Perception Models for 3D Scene Synthesis
Tsinghua University（清华大学）；Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Microsoft（微软）；Stanford University（斯坦福大学）
提出VIPScene框架，利用视频生成模型的3D物理常识知识，结合前馈3D重建与开放词汇感知，实现高真实性与结构一致性的3D场景合成，并引入FPVScore进行评估。
2025-06-25 cs.CV
Anchored Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models
École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院洛桑分校）
本文提出锚定视频生成方法，通过解耦场景构建与时间合成任务，提升文本到视频扩散模型在复杂场景生成和时间逻辑遵循上的性能。
2026-03-25 cs.CV
Semantically Consistent Video Inpainting with Conditional Diffusion Models
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI（Inverted AI公司）
针对现有视频修复方法难以合成新内容的问题，提出基于条件视频扩散模型的修复框架，通过专用采样方案和已知像素条件约束，生成时空语义一致的高质量多样修复结果。
2024-10-08 cs.CV cs.LG
AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出AffordGrasp，通过跨模态扩散模型生成准确反映物体几何和用户指令的抓取姿态，提升AR/VR和具身AI中的手-物交互质量。
2026-03-28 cs.CV cs.RO
RomanTex: Decoupling 3D-aware Rotary Positional Embedded Multi-Attention Network for Texture Synthesis
Tencent Hunyuan（腾讯混元）；ShanghaiTech University（上海科技大学）
RomanTex提出一种结合三维感知旋转位置嵌入的多注意力网络，通过解耦特性和几何相关CFG机制，实现高质量、一致的多视图纹理合成，达到最先进水平。
2025-03-24 cs.CV
RealCamo: Boosting Real Camouflage Synthesis with Layout Controls and Textual-Visual Guidance
College of Artificial Intelligence, Nankai University, Tianjin, China（人工智能学院，南开大学，天津，中国）；School of Data Science, Fudan University, Shanghai, China（数据科学学院，复旦大学，上海，中国）
RealCamo通过布局控制和文本-视觉引导提升真实伪装合成，解决现有方法在伪装效果和背景一致性上的不足。
2026-01-15 cs.CV
Cluster-guided Image Synthesis with Unconditional Models
Imperial College London（伦敦帝国学院）；Queen Mary University of London（伦敦玛丽女王大学）；EPFL（洛桑联邦理工学院）；University of Athens（雅典大学）
生成对抗网络（GANs）是图像生成技术的驱动力。尽管它们能够合成高分辨率的照片级逼真图像，但生成具有不同粒度的按需调节的内容仍然是一个挑战。这一挑战通常通过用感兴趣的属性注释大量数据集来解决，这是一项艰巨的任务，并不总是可行的选择。因此，在无监督生成模型的生成过程中引入控制是至关重要的。在这项工作中，我们专注于通过利用以无监督方式训练有素的GANs来生成可控图像。为此，我们发现生成器的中间层的表示空间形成了许多聚类，这些聚类根据语义上有意义的属性（例如，头发颜色和姿势）。通过对聚类分配的条件，所提出的方法是能够控制生成的图像的语义类。我们的方法使采样从每个集群的隐式最大似然估计（IMLE）。我们使用不同的预训练生成模型展示了我们的方法在人脸（CelebA-HQ和FFHQ），动物（Imagenet）和物体（LSUN）上的功效。结果突出了我们的方法能够根据面部的性别，姿势和发型等属性以及不同对象类的各种特征来调节图像生成。
2021-12-24 cs.CV
DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising
University of Illinois Urbana - Champaign（伊利诺伊大学厄巴纳-香槟分校）
DreamPartGen通过协作潜在去噪实现语义引导的部件级3D生成，引入双部件潜在和关系语义潜在，提升几何和语义一致性，实现高质量文本对齐的3D合成。
2026-07-08 cs.AI cs.CV cs.LG
