Compositional 3D Scene Generation using Locally Conditioned Diffusion
Stanford University(斯坦福大学)
设计复杂的3D场景一直是一个繁琐的手动过程,需要领域专业知识。新兴的文本到3D生成模型显示出很大的希望,使这项任务更直观,但现有的方法仅限于对象级的生成。我们引入\textbf{locally conditioned diffusion}作为一种方法组成的场景扩散,使用文本提示和边界框提供对语义部分的控制,同时确保这些部分之间的无缝过渡。我们展示了一个分数蒸馏采样-基于文本到3D合成管道,使组成的3D场景生成在更高的保真度比相关的基线。
2023-03-23 cs.CV
Generating Compositional Scenes via Text-to-image RGBA Instance Generation
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院)
提出一种多阶段生成范式,通过训练扩散模型生成带透明度的RGBA实例,并多层组合,实现对复杂场景中物体属性和位置的细粒度控制。
2024-11-16 cs.CV cs.LG
Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
许多深度学习应用程序受益于具有多个回归和分类目标的多任务学习。在本文中,我们观察到,这样的系统的性能是强烈依赖于每个任务的损失之间的相对权重。手动调整这些权重是一个困难且昂贵的过程,使得多任务学习在实践中受到限制。我们提出了一种多任务深度学习的原则性方法,该方法通过考虑每个任务的同方差不确定性来权衡多个损失函数。这使我们能够在分类和回归设置中同时学习具有不同单位或尺度的各种量。我们展示了我们的模型学习每像素深度回归,语义和实例分割从单目输入图像。也许令人惊讶的是,我们发现我们的模型可以学习多任务权重,并且在每个任务上单独训练的单独模型都表现出色。
2018-04-24 cs.CV
Zero-Shot Action Recognition from Diverse Object-Scene Compositions
University of Amsterdam(阿姆斯特丹大学)
本文研究了在没有训练视频的情况下,zero-shot动作识别的问题。对于这种具有挑战性的场景,目前的主要方法是通过使用预先训练的网络识别视频中的对象,然后在对象和动作之间进行语义匹配,从而从图像域转移知识。当对象提供视频内容的局部视图时,在这项工作中,我们还寻求包括动作发生的场景的全局视图。我们发现,场景本身也能够识别看不见的动作,虽然比对象更边缘,基于对象和基于场景的分数的直接组合降低了动作识别性能。为了充分利用物体和场景,我们建议将它们构建为所有可能组合的笛卡尔乘积。我们概述了如何确定视频中的对象场景成分的可能性,以及从对象场景成分到动作的语义匹配,该动作在每个动作的最相关成分之间实施多样性。虽然简单,但我们基于合成的方法优于基于对象的方法,甚至是最先进的zero-shot方法,这些方法依赖于具有数百个可见动作的大规模视频数据集进行训练和知识转移。
2021-10-26 cs.CV
Mixture of Diffusers for scene composition and high resolution image generation
Instituto de Ingeniería del Conocimiento(知识工程研究所);Universidad Autónoma de Madrid(马德里自治大学)
扩散方法已被证明是非常有效的生成图像,同时对文本提示条件。然而,尽管生成的图像质量是前所未有的,但这些方法在试图生成特定的图像组合时似乎很困难。在本文中,我们提出了混合扩散器,一种算法,建立在现有的扩散模型,以提供一个更详细的控制组成。通过协调作用于画布不同区域的多个扩散过程,它允许生成更大的图像,其中每个对象和样式的位置由单独的扩散过程控制。
2023-02-05 cs.AI cs.CV cs.LG
Generating Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对极低数据量下GAN训练易过拟合的问题,提出双分支判别器架构的SIV-GAN,可从单图或单视频少量帧生成多样高质量的新颖场景构图。
2023-12-13 cs.CV cs.LG
GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);University of Cambridge(剑桥大学)
本文提出GraphDreamer框架,利用场景图中的节点和边信息引导预训练文本到图像扩散模型,并结合有符号距离场与穿透约束,实现无需图像级监督的组合式3D场景生成与对象解耦。
2024-06-10 cs.CV cs.GR cs.LG
SCENEFORGE: Enhancing 3D-text alignment with Structured Scene Compositions
Department of Electronics, Information and Bioengineering(电子、信息与生物工程系)
SceneForge通过结构化多对象场景组合增强3D点云与文本的对比对齐,解决数据稀缺问题,在零样本分类、少样本分割、3D问答和检索等任务上显著提升性能,且与模型架构无关。
2025-10-16 cs.CV cs.MM
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University(首尔国立大学)
提出CS-CLIP,利用场景图构建结构化负样本,解决组合推理中元素特定偏差,实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis
Georgia Institute of Technology(佐治亚理工学院);Ford Autonomy(福特自动驾驶部门)
提出光照感知神经场LANe,通过解耦世界与物体神经场并结合光场与着色器处理光照变化,实现了在空间光照变化下物理一致的驾驶场景组合合成。
2023-04-06 cs.CV
SceneLinker: Compositional 3D Scene Generation via Semantic Scene Graph from RGB Sequences
KAIST UVR Lab(韩国科学技术院UVR实验室);KAIST KI-ITC ARRC(韩国科学技术院KI-ITC ARRC);KAIST KI-ITC PMRC(韩国科学技术院KI-ITC PMRC)
SceneLinker通过语义场景图从RGB序列生成组合3D场景,提升混合现实内容的生成质量与一致性。
2026-02-03 cs.CV
Comp4D: LLM-Guided Compositional 4D Scene Generation
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
提出Comp4D框架,利用LLM分解文本提示并规划轨迹,分别构建场景中各4D物体,结合组合式分数蒸馏技术,实现了高质量且具备丰富物体交互的组合式4D场景生成。
2024-03-25 cs.CV
Generative Compositional Augmentations for Scene Graph Prediction
University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(人工智能向量研究所);Element AI(元素人工智能公司);University of Cambridge(剑桥大学);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);Concordia University(康考迪亚大学)
从场景图形式的图像中推断对象及其关系在视觉和语言交叉的许多应用中是有用的。我们考虑一个具有挑战性的问题,在这项任务中出现的合成泛化,由于长尾数据分布。当前的场景图生成模型是在与最频繁的组成相对应的分布的一小部分上训练的,例如<cup,on,table>。然而,测试图像可能包含对象和关系的零镜头和Few-Shot组合,例如<cup,on,surfboard>。尽管每个对象类别和谓词(例如“on”)在训练数据中是频繁的,但是模型通常不能正确地理解这种看不见的或罕见的成分。为了提高泛化能力,自然会尝试增加训练分布的多样性。然而,在图域中,这是不平凡的。为此,我们提出了一种方法来合成罕见的但似是而非的场景图,通过扰动真实的。然后,我们提出并实证研究了一个基于条件生成对抗网络(GANs)的模型,该模型允许我们生成扰动场景图的视觉特征,并以联合方式从中学习。在Visual Genome数据集上进行评估时,我们的方法在零拍摄和Few-Shot指标方面产生了边际但一致的改进。我们分析了我们的方法的局限性,为未来的研究指明了方向。
2021-10-01 cs.CV cs.LG stat.ML
Scene-Conditional 3D Object Stylization and Composition
University of Oxford(牛津大学)
提出一种场景条件化框架,通过可微光线追踪与扩散模型先验对3D资产纹理和光照进行优化,实现融入2D场景的风格化与逼真组合。
2025-05-01 cs.CV
Estimating Commonsense Scene Composition on Belief Scene Graphs
Robotics & AI Team, Department of Computer, Electrical and Space Engineering, Luleå University of Technology(机器人与人工智能团队,计算机、电气与空间工程系,卢勒奥技术大学)
本文提出在信念场景图上估计未见物体空间分布的常识性场景构成框架,包含图卷积网络基线和融合大语言模型空间本体的神经符号扩展,并在模拟与真实室内环境中验证了其场景空间解释能力。
2025-05-05 cs.CV cs.RO
SCION: Scene Composition with Instanced Neural Primitives
Princeton University(普林斯顿大学)
SCION提出层次化组合场景表示,用可复用基元和轻量级实例替代独立高斯,实现紧凑、可控、可编辑的神经场景表示。
2026-10-06 cs.CV
CC3D: Layout-Conditioned Generation of Compositional 3D Scenes
University of Toronto(多伦多大学);Stanford University(斯坦福大学);Google Research(谷歌研究院);Simon Fraser University(西蒙菲莎大学)
CC3D是一种基于2D语义布局的条件生成模型,通过建模3D场景的组合特性并引入新型3D场表示,实现了高效、高质量且可控的多对象复杂3D场景生成。
2023-09-08 cs.CV
SPOON: Towards Coherent Compositional 3D Scene Generation from Uncalibrated Multi-view Images
The University of Hong Kong(香港大学);Shenzhen Loop Area Institute(深圳河套学院);The Hong Kong University of Science and Technology(香港科技大学);Sun Yat-sen University(中山大学);TranscEngram
SPOON通过引导-路由-协调范式,利用重建几何协调多视角姿态,实现一致的三维场景生成,在ARSG-110K上显著降低倒角距离。
2026-10-01 cs.CV
Compositional Transformers for Scene Generation
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院);Facebook, Inc.(Facebook公司)
我们介绍GANformer2模型,这是一个迭代的面向对象的Transformer,用于生成建模的任务。该网络结合了强大而明确的结构先验,以反映视觉场景的组成性质,并通过顺序过程合成图像。它分为两个阶段:一个快速和轻量级的规划阶段,我们起草了一个高层次的场景布局,其次是一个基于注意力的执行阶段,布局正在被细化,演变成一个丰富和详细的图片。我们的模型远离传统的黑盒GAN架构,该架构具有平坦和单片的潜在空间,朝向透明的设计,鼓励效率,可控性和可解释性。我们通过对一系列数据集(从多对象CLEVR场景到具有挑战性的COCO图像)的仔细评估来展示GANformer2的优势和质量,表明它在视觉质量,多样性和一致性方面成功实现了最先进的性能。进一步的实验证明了模型的解纠缠,并提供了对其生成过程的更深入的了解,因为它从粗略的初始草图一步一步地进行,到详细的布局,考虑对象的深度和依赖性,直到最终的高分辨率描绘充满活力和复杂的现实世界场景。有关模型实现,请参见https://github.com/dorarad/gansformer。
2021-11-17 cs.AI cs.CV cs.LG
LAYOUTDREAMER: Physics-guided Layout for Text-to-3D Compositional Scene Generation
ShangHai University(上海大学)
LayoutDreamer通过结合3D高斯点云和物理引导,实现了高质量的文本到3D组合场景生成,提升了场景的真实性和可控性。
2025-03-22 cs.AI cs.CV cs.GR
UrbanGIRAFFE: Representing Urban Scenes as Compositional Generative Neural Feature Fields
Zhejiang University(浙江大学)
生成具有可控摄像机姿态和场景内容的真实感图像对于包括AR/VR和仿真在内的许多应用都是必不可少的。尽管在3D感知生成模型方面取得了快速进展,但大多数现有方法都集中在以对象为中心的图像上,并且不适用于生成城市场景以进行自由相机视点控制和场景编辑。为了解决这个具有挑战性的任务,我们提出了UrbanGIRAFFE,它使用一个粗略的3D全景先验,包括不可数的东西和可数的对象的布局分布,以指导3D感知生成模型。我们的模型是合成和可控的,因为它将场景分解为物质,物体和天空。利用语义体素网格形式的填充先验,我们构建了一个条件填充生成器,有效地结合了粗糙的语义和几何信息。对象布局先验进一步允许我们从杂乱的场景中学习对象生成器。适当的损失函数,我们的方法有利于逼真的三维感知图像合成与不同的可控性,包括大的相机运动,编辑的东西,和对象操作。我们在合成和真实世界的数据集上验证了我们的模型的有效性,包括具有挑战性的KITTI-360数据集。
2023-03-28 cs.CV
Evaluating Compositional Scene Understanding in Multimodal Generative Models
Department of Psychology, University of California, Los Angeles(加州大学洛杉矶分校心理学系);Microsoft Research, NYC(微软研究院纽约分部);Air Force Research Laboratory(美国空军研究实验室);Department of Statistics, University of California, Los Angeles(加州大学洛杉矶分校统计学系)
本研究评估了DALL-E 3、GPT-4V等当前多模态生成模型在组合场景理解上的能力,发现其较前代有所提升,但在处理多物体和多重关系的复杂场景时仍远不及人类水平。
2025-03-29 cs.AI cs.CV
ComGS: Efficient 3D Object-Scene Composition via Surface Octahedral Probes
Nanjing University(南京大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
提出ComGS框架,利用表面八面体探针加速可重照明物体重建,并简化场景光照估计,实现高质量实时三维物体-场景合成,编辑仅需36秒。
2025-10-09 cs.CV
Energy-based Models are Zero-Shot Planners for Compositional Scene Rearrangement
Carnegie Mellon University(卡内基梅隆大学)
提出用能量函数表示语言空间约束并经梯度下降推断目标布局,使机器人能零样本泛化执行长组合式场景重排指令。
2024-01-23 cs.AI cs.CL cs.CV
Learning and generalization of compositional representations of visual scenes
Intel Labs(英特尔实验室);UC Berkeley(加州大学伯克利分校)
由多个对象组成的复杂视觉场景,每个对象都具有属性,例如对象名称、位置、姿势、颜色等,为了训练神经网络,通常,深度学习网络是在分类场景描述的监督下训练的。场景的普通分类描述包含单个对象的名称,但缺乏关于其他属性的信息。在这里,我们使用分布式表示的对象属性和矢量操作的矢量符号架构,以创建一个完整的组成描述的场景在一个高维矢量。为了控制场景的组成,我们使用人工图像组成的多个,翻译和彩色MNIST数字。与学习类别标签相比,我们在这里训练深度神经网络来输出输入图像的完整组成向量描述。然后,深度网络的输出可以由VSA谐振器网络解释,以提取单个对象的对象身份或其他属性。我们评估随机生成的场景的系统的性能和泛化性能。具体来说,我们证明了网络能够学习任务,并推广到看不见的数字形状和场景配置。此外,训练模型的泛化能力有限。例如,在训练数据中存在间隙的情况下,如在训练期间在特定图像位置中未示出的对象,学习不会自动填充该间隙。
2023-03-23 cs.CV cs.NE
SimRecon: SimReady Compositional Scene Reconstruction from Real Videos
Tsinghua University(清华大学);Galbot Project(Galbot项目)
SimRecon通过引入主动视角优化和场景图合成器,解决了从真实视频中重建复杂场景时的视觉和物理真实性问题,实现了感知-生成-模拟的全流程流水线。
2026-03-03 cs.CV
Inferring Compositional 4D Scenes without Ever Seeing One
INSAIT, Sofia University “St. Kliment Ohridski”(INSAIT,索非亚大学“圣克莱门特·奥赫里德斯基”)
COM4D通过设计空间和时间注意力训练,仅用静态多物体或动态单物体监督,一致预测4D/3D对象的结构和时空配置,无需4D组合训练数据,实现从单目视频重建完整持久的4D场景。
2026-03-25 cs.CV
Flame3D: Zero-shot Compositional Reasoning of 3D Scenes with Agentic Language Models
Carnegie Mellon University(卡内基梅隆大学)
Flame3D通过可组合的空间工具和训练自由框架,实现3D场景的零样本组合推理,支持动态空间合成和外部数据整合,展示了在ScanQA和Compose3D上的竞争力。
2026-05-09 cs.AI cs.CV cs.LG
SceneTransporter: Optimal Transport-Guided Compositional Latent Diffusion for Single-Image Structured 3D Scene Generation
Xi’an Research Institute of Hi-Tech(西安高新技术研究院);Tsinghua University(清华大学);SkyWork AI;Tongji University(同济大学);Fudan University(复旦大学);Beijing Normal University(北京师范大学)
SceneTransporter通过最优传输引导的组合潜在扩散模型,提升单图像结构化3D场景生成的实例连贯性和几何保真度。
2026-02-26 cs.CV
SPSG: Self-Supervised Photometric Scene Generation from RGB-D Scans
Technical University of Munich(慕尼黑工业大学);Google(谷歌)
我们提出了SPSG,一种新的方法来生成高质量的,彩色的3D模型的场景从RGB-D扫描观察学习推断未观察到的场景几何形状和颜色在一个自我监督的方式。我们的自我监督方法通过将不完整的RGB-D扫描与该扫描的更完整版本相关联来学习联合修复几何形状和颜色。值得注意的是,我们不是依靠3D重建损失来告知我们的3D几何和颜色重建,而是提出了在2D渲染上操作的对抗性和感知损失,以实现场景的高分辨率,高质量的彩色重建。这利用了来自单个原始RGB-D帧的高分辨率、自一致信号,而帧的融合3D重建则表现出与视图相关效果的不一致性,例如色彩平衡或姿势不一致。因此,通过直接通过2D信号通知我们的3D场景生成,我们可以生成高质量的3D场景彩色重建,在合成和真实数据上都优于现有技术。
2021-04-28 cs.CV
REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Tencent(腾讯);Harvard University(哈佛大学)
REPARO提出一种从单图像生成组合式3D资产的两步方法:先提取并重建单个物体网格,再通过结合最优传输外观损失与语义损失的可微渲染优化布局,有效提升多物体场景的独立性、细节精度与整体连贯性。
2025-08-27 cs.CV
Regularizing Self-supervised 3D Scene Flows with Surface Awareness and Cyclic Consistency
Czech Technical University in Prague(布拉格捷克技术大学);Kyutai
针对自监督三维场景流预测中刚性簇定义难、影响流预测质量的问题,提出结合前向-后向循环时间一致性与表面朝向空间一致性的即插即用损失,在多架构和驾驶数据集上实现SOTA性能。
2024-08-13 cs.CV
Semantic Compositional Learning for Low-shot Scene Graph Generation
Monash University(莫纳什大学);University of Electronic Science and Technology of China(电子科技大学)
场景图为许多下游任务提供了有价值的信息。许多场景图生成(SGG)模型仅使用有限的注释关系三元组进行训练,导致其在低拍摄(少数和零)场景中表现不佳,特别是在罕见的谓词上。为了解决这个问题,我们提出了一种新的语义组合学习策略,使其能够构建额外的,现实的关系三元组与来自不同图像的对象。具体来说,我们的策略分解的关系三元组识别和删除不必要的组件,并组成一个新的关系三元组融合语义或视觉上相似的对象从视觉组件字典,同时确保现实的新组成的三元组。值得注意的是,我们的策略是通用的,可以与现有的SGG模型相结合,以显着提高其性能。我们对基准数据集Visual Genome进行了全面评估。对于最近的三个SGG模型,添加我们的策略将其性能提高了近50%,并且它们都大大超过了当前的最先进水平。
2021-08-19 cs.CV
SceneWiz3D: Towards Text-guided 3D Scene Composition
CUHK(香港中文大学);Snap Inc.(Snap公司);Stanford(斯坦福大学);UCLA(加州大学洛杉矶分校)
针对文本生成完整3D场景难度高的问题,提出SceneWiz3D方法,采用物体显式、场景隐式的混合3D表示,结合粒子群优化布局与RGBD全景扩散模型补全几何,生成高质量视图一致的3D场景。
2023-12-13 cs.CV
CineVerse: Consistent Keyframe Synthesis for Cinematic Scene Composition
University of Maryland, College Park(马里兰大学学院公园分校);Adobe Research(Adobe研究院)
提出CineVerse框架解决电影场景合成中的连贯性挑战,通过构建数据集并采用LLM规划与微调文生图模型的两阶段方法,有效生成视觉连贯且内容丰富的关键帧。
2025-04-28 cs.CV
PhiP-G: Physics-Guided Text-to-3D Compositional Scene Generation
School of Future Technology, Shanghai University(上海大学未来技术学院);Institute of Artificial Intelligence, Shanghai University(上海大学人工智能研究院)
针对文本到3D组合场景生成中布局不符物理定律、复杂描述捕捉难等问题,提出框架 PhiP-G。该框架结合LLM智能体、多模态2D生成与3D高斯生成构建物理世界模型,显著提升了场景生成质量、物理合理性及效率。
2025-02-02 cs.AI cs.CV
Action Genome: Actions as Composition of Spatio-temporal Scene Graphs
Stanford University(斯坦福大学)
动作识别通常将动作和活动视为视频中发生的单一事件。然而,来自认知科学和神经科学的证据表明,人们积极地将活动编码为一致的分层部分结构。然而,在计算机视觉中,很少有探索的表示编码的事件partonomies已经取得。受事件的原型单位是一个动作-对象交互的证据的启发,我们引入动作基因组,一种将动作分解成时空场景图的表示。动作基因组捕获动作发生时对象之间的变化及其成对关系。它包含10 K视频,其中包含0.4M对象和1.7M视觉关系注释。与动作基因组,我们扩展了现有的动作识别模型,将场景图作为时空特征银行,以实现更好的性能上的字谜数据集。接下来,通过分解和学习的视觉关系,导致在一个动作的时间变化,我们证明了一个分层的事件分解的效用,使Few-Shot动作识别,实现42.7%的mAP使用少至10个例子。最后,我们基准现有的场景图模型的时空场景图预测的新任务。
2019-12-15 cs.CV
HiGS: Hierarchical Generative Scene Framework for Multi-Step Associative Semantic Spatial Composition
Digital ART Lab, Shanghai Jiao Tong University(上海交通大学数字艺术实验室)
提出分层生成框架HiGS,通过渐进式分层空间语义图支持多步关联语义空间合成,实现用户细粒度控制与模型自动补全相结合,在布局合理性、风格一致性和用户偏好上优于单阶段方法。
2025-10-31 cs.CV cs.MM
Scene Graph Disentanglement and Composition for Generalizable Complex Image Generation
Shanghai Jiao Tong University(上海交通大学);Ningbo Institute of Digital Twin, Eastern Institute of Technology(东方理工大学宁波数字孪生研究院);University of Science and Technology of China(中国科学技术大学);The University of Hong Kong(香港大学)
本文提出利用场景图解耦与组合实现可泛化复杂图像生成,通过SL-VAE、CMA和MLS提升生成多样性、可控性及图操控一致性。
2024-10-01 cs.CV
ORIDa: Object-centric Real-world Image Composition Dataset
Yonsei University(延世大学)
本文构建真实采集的大规模对象合成数据集 ORIDa,含3万余张图像、200个对象及事实-反事实配对,以弥补现有数据在真实场景多样性与规模上的不足。
2025-06-10 cs.CV
ROI-NeRFs: Hi-Fi Visualization of Objects of Interest within a Scene by NeRFs Composition
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能和替代能源委员会);Université de Toulouse(图卢兹大学);Toulouse INP – IRIT(图卢兹国立理工学院 - 图卢兹计算机科学、集成与系统研究所)
本文提出 ROI-NeRFs 框架,通过 Scene NeRF 与多个 ROI NeRF 的分解及射线级组合渲染,在大规模文化遗产场景中高效实现多感兴趣对象的高保真可视化。
2025-02-18 cs.CV cs.GR
Dependency-Aware Discrete Diffusion for Scene Graph Generation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种依赖感知的层次约束离散扩散模型,用于生成场景图,通过分离结构与语义,提升生成的依赖关系和层次结构,实验显示在场景图和布局指标上优于基线方法,并在多对象场景中提升图像生成的对齐效果。
2026-05-09 cs.CV cs.LG
FBC-GAN: Diverse and Flexible Image Synthesis via Foreground-Background Composition
Nanyang Technological University(南洋理工大学)
生成对抗网络(GANs)已经成为图像合成中的事实标准。然而,在不考虑前景-背景分解的情况下,现有的GANs倾向于捕获前景和背景之间的过度内容相关性,从而限制了图像生成的多样性。本文提出了一种新的前景-背景合成GAN(FBC-GAN GAN),它通过同时独立地生成前景对象和背景场景来执行图像生成,然后将它们以风格和几何一致性进行合成。通过这种显式设计,FBC-GAN可以生成具有在内容上相互独立的前景和背景的图像,从而解除不期望学习的内容相关性约束并实现优异的多样性。它还通过允许相同的前景对象具有不同的背景场景、相同的背景场景具有不同的前景对象、或者相同的前景对象和背景场景具有不同的对象位置、大小和姿态来提供出色的灵活性。它还可以合成从不同数据集采样的前景对象和背景场景。在多个数据集上进行的大量实验表明,与最先进的方法相比,FBC-GAN实现了具有竞争力的视觉真实感和优越的多样性。
2021-07-07 cs.CV
ReplicateAnyScene: Zero-Shot Video-to-3D Composition via Textual-Visual-Spatial Alignment
Tsinghua University(清华大学);Zhejiang University(浙江大学)
本文提出ReplicateAnyScene框架,通过五阶段流水线实现视频到结构化3D场景的零样本合成,引入C3DR基准评估重建质量,实验表明其在生成高质量3D场景方面优于现有方法。
2026-04-12 cs.CV
MCCD: Multi-Agent Collaboration-based Compositional Diffusion for Complex Text-to-Image Generation
Academy for Engineering and Technology(工程与技术学院);Cognition and Intelligent Technology Laboratory (CIT Lab)(认知与智能技术实验室);School of Future Science and Engineering(未来科学与工程学院);Jilin Provincial Key Laboratory of Intelligence Science and Engineering(吉林省智能科学与工程重点实验室);Engineering Research Center of AI and Robotics, Ministry of Education(人工智能与机器人工程研究中心)
本文提出MCCD方法,通过多智能体场景解析和分层组合扩散,在无需训练的情况下提升复杂文本到图像生成的性能。
2025-05-06 cs.CV
Scene Designer: a Unified Model for Scene Search and Synthesis from Sketch
Universidade de São Paulo(圣保罗大学);University of Surrey(萨里大学);Adobe Research(Adobe研究院)
场景设计器是一种新颖的方法,用于搜索和生成图像,使用场景组成的手绘草图;即描述对象的外观和相对位置的绘图。我们的核心贡献是一个单一的统一模型来学习跨模态搜索嵌入,用于将草图组合匹配到图像,以及用于布局合成的对象嵌入。我们表明,一个图神经网络(GNN),然后在我们的新的对比学习设置下的Transformer是必需的,以允许学习对象类型,外观和安排之间的相关性,驱动掩模生成模块,合成连贯的场景布局,同时也提供了最先进的草图为基础的视觉搜索场景。
2021-08-16 cs.CV
LayoutAgent: A Vision-Language Agent Guided Compositional Diffusion for Spatial Layout Planning
Personalization Team, Walmart Global Tech(Walmart全球科技个性化团队)
本文提出 LayoutAgent 框架,结合视觉-语言模型预处理与机器人学中的组合扩散生成尊重语义和物理关系的边界框,并由前景条件生成器合成完整场景,在布局连贯性、空间真实性和美学对齐上优于现有模型。
2025-09-24 cs.AI cs.CV cs.LG
GaussianBlock: Building Part-Aware Compositional and Editable 3D Scene by Primitives and Gaussians
Lancaster University(兰卡斯特大学)
提出GaussianBlock,一种部件感知的组合式3D重建方法,通过基元与3D高斯的混合表示及注意力引导中心化损失,实现语义解纠缠、可编辑且高保真的场景重建。
2025-04-24 cs.CV
Pano3DComposer: Feed-Forward Compositional 3D Scene Generation from Single Panoramic Image
Sun Yat-sen University(中山大学)
Pano3DComposer通过端到端框架从单张全景图像高效生成高精度3D场景,采用Object-World Transformation Predictor和Coarse-to-Fine对齐机制提升几何一致性。
2026-03-06 cs.CV
Detecting Dominant Vanishing Points in Natural Scenes with Application to Composition-Sensitive Image Retrieval
The Pennsylvania State University(宾夕法尼亚州立大学)
线性透视广泛用于风景摄影,以在2D照片上创建深度的印象。在风景摄影中,线性透视的自动化理解有几个现实世界的应用,包括美学评估,图像检索和现场反馈的照片组成,但足够的自动化理解一直难以捉摸。我们通过检测照片中的主导消失点和相关的线结构来解决这个问题。然而,自然景观场景带来了巨大的技术挑战,因为通常收敛到主消失点的强边缘的数量不足。为了克服这一困难,我们提出了一种新的消失点检测方法,利用全局结构的场景中,通过轮廓检测。我们表明,我们的方法显着优于国家的最先进的方法,我们已经创建了一个公共地面实况景观图像数据集。基于检测结果,我们进一步展示了我们的线性透视理解方法如何通过一个新的视点特定的图像检索系统为业余摄影师的工作提供现场指导。
2017-05-13 cs.CV cs.MM
Modeling Image Composition for Complex Scene Generation
JD Explore Academy, JD.com(京东探索研究院,京东集团);The University of Sydney(悉尼大学);Shanghai JiaoTong University(上海交通大学)
我们提出了一种方法,通过准确建模复杂场景中包含的纹理,结构和关系,实现了具有挑战性的(Few-Shot)布局到图像生成任务的最先进的结果。在将RGB图像压缩成补丁令牌后,我们提出了具有焦点注意力的Transformer(TwFA),用于探索对象到对象、对象到补丁和补丁到补丁的依赖关系。与现有的基于CNN和基于Transformer的生成模型分别在像素级和块级以及对象级和块级上纠缠建模相比,所提出的焦点注意力模型通过只关注空间布局指定的高度相关的标记来预测当前块标记,从而在训练过程中实现消歧。此外,提出的TwFA大大提高了训练过程中的数据效率,因此,我们提出了第一个Few-Shot复杂场景生成策略的基础上训练好的TwFA。综合实验表明,我们的方法的优越性,这显着增加了定量指标和定性的视觉现实主义方面的最先进的CNN为基础的和基于变压器的方法。代码可在https://github.com/JohnDreamer/TwFA上获得。
2022-06-02 cs.CV
Adventurer's Treasure Hunt: A Transparent System for Visually Grounded Compositional Visual Question Answering based on Scene Graphs
University of Bremen(不来梅大学)
为了提高VQA推理过程的透明性和可视性,提出了一个基于场景图的组合式VQA任务模块化系统。我们的系统被称为“冒险家的寻宝”(或ATH),以我们在模型的答案搜索过程和冒险家的宝藏搜索之间的类比命名。我们开发ATH时考虑了三个特征:1.通过设计,ATH允许我们明确量化每个子组件对整体VQA性能的影响,以及它们对各自子任务的性能。2.通过对寻宝之后的搜索任务进行建模,ATH本质上为处理的问题产生了一个明确的、基于视觉的推理路径。3. ATH是第一个GQA训练的VQA系统,它通过直接查询视觉知识库来动态提取答案,而不是从预先固定的答案词汇表上专门学习的分类器的输出分布中选择一个。我们报告了所有组件的详细结果及其对GQA数据集整体VQA性能的贡献,并表明ATH在所有检查系统中获得了最高的视觉基础分数。
2021-06-28 cs.CV
MALeR: Improving Compositional Fidelity in Layout-Guided Generation
Adobe Research(Adobe研究)
MALeR针对布局引导图像生成中的主体越界、分布外伪影和属性泄漏问题,提出布局约束与掩码属性感知绑定机制,显著提升复杂组合场景下的组合准确性与属性绑定效果。
2025-11-08 cs.CV
Composition, Not Conversation: VLMs Lose the Scene, Not the Thread
NIT Silchar(锡尔恰尔国立理工学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);BML Munjal University(BML穆贾尔大学);KAUST(阿卜杜拉国王科技大学)
本研究提出Layered-VQA基准,发现视觉语言模型在场景碎片化时性能显著下降,表明证据的组合方式比证据本身更关键。
2026-10-01 cs.CV