SceneAE: Scene Generation and Reconstruction in Queryable 3D-Anchored Latent Space
University of California Berkeley(加州大学伯克利分校);PhiGent Robotics(菲智机器人);SynapX
该研究提出SceneAE,将场景表示为3D锚定隐空间,通过几何-内容分离提升相机可控性,在场景生成与重建任务中实现了更优的生成质量、更低的计算成本与更强的相机可控性。
2026-10-14 cs.AI cs.CV
SceneGen: Single-Image 3D Scene Generation in One Feedforward Pass
School of Artificial Intelligence, Shanghai Jiao Tong University(人工智能学院,上海交通大学)
SceneGen通过单图像输入在一次前馈传递中生成多个3D资产,无需额外优化或检索,提升3D内容生成的效率和鲁棒性。
2025-12-09 cs.AI cs.CV
PhiP-G: Physics-Guided Text-to-3D Compositional Scene Generation
School of Future Technology, Shanghai University(上海大学未来技术学院);Institute of Artificial Intelligence, Shanghai University(上海大学人工智能研究院)
针对文本到3D组合场景生成中布局不符物理定律、复杂描述捕捉难等问题,提出框架 PhiP-G。该框架结合LLM智能体、多模态2D生成与3D高斯生成构建物理世界模型,显著提升了场景生成质量、物理合理性及效率。
2025-02-02 cs.AI cs.CV
SceneMaker: Open-set 3D Scene Generation with Decoupled De-occlusion and Pose Estimation Model
Tsinghua University(清华大学);HKUST(香港科技大学);IDEA Research(IDEA研究院);LightIllusions
SceneMaker通过解耦去遮挡与姿态估计模型,提升开放集3D场景生成的准确性和泛化能力。
2025-12-11 cs.AI cs.CV
ScenePilot: Grow-and-Repair Policy for Text-Driven 3D Indoor Scene Generation
Southeast University(东南大学);Singapore Management University(新加坡管理大学)
ScenePilot是一种检索增强的生长-修复框架,通过HRAP模块检索布局先验、RMR模块进行轻量修复,实现了高效的文本驱动3D室内场景生成,提升了物理合理性等性能。
2026-09-01 cs.AI cs.CV
HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes
Beijing Institute of Technology(北京理工大学);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Peking University(北京大学);Yangtze Delta Region Academy of Beijing Institute of Technology(北京理工大学长三角研究院)
学习在3D场景中生成不同的场景感知和目标导向的人体运动仍然具有挑战性,因为现有的人-场景交互(HSI)数据集的平庸特性;它们只有有限的规模/质量和缺乏语义。为了填补这一空白,我们提出了一个大规模和语义丰富的合成HSI数据集,表示为HUMANISE,通过对齐捕捉到的人体运动序列与各种3D室内场景。我们用描述动作和场景中唯一交互对象的语言描述自动注释对齐的运动;例如,坐在书桌旁的扶手椅上。因此,HUMANISE实现了新一代任务,即3D场景中的语言调节人体运动生成。所提出的任务是具有挑战性的,因为它需要联合建模的三维场景,人体运动,和自然语言。为了解决这个问题,我们提出了一种新的场景和语言条件生成模型,可以产生三维人体运动的期望的动作与指定的对象进行交互。我们的实验表明,我们的模型产生不同的和语义一致的人体运动在3D场景。
2022-10-18 cs.AI cs.CV
Gaussian-Constrained LeJEPA Representations for Unsupervised Scene Discovery and Pose Consistency
Computer Vision Researcher(计算机视觉研究员)
本文提出基于高斯约束的LeJEPA表示方法,通过改进的管道提升无监督场景重建中场景分离和姿态估计的鲁棒性。
2026-01-31 cs.CV
Spatially Constrained Location Prior for Scene Parsing
Central Queensland University(中央昆士兰大学)
语义上下文是一个重要的和有用的线索,在复杂的自然图像中的物体和环境的变化量很大的场景解析。本文提出了空间约束的位置先验(SCLP)的有效建模的全局和局部的语义上下文场景中的类间空间关系。与现有的研究集中在相对或绝对位置先验的对象,SCLP有效地结合了相对和绝对位置先验,通过计算空间受限的图像块中的对象共现频率。SCLP是通用的,并且可以与各种基于视觉特征的预测模型(诸如人工神经网络和支持向量机(SVM))结合使用,以在类别标签上实施空间上下文约束。使用SVM分类器和线性回归模型,我们证明了与斯坦福背景和SIFT Flow数据集上的最先进方法相比,SCLP的结合实现了卓越的性能。
2018-02-24 cs.CV
3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation
Jilin University(吉林大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
本文提出3D-SceneDreamer,一种文本驱动的3D一致场景生成方法,通过三平面NeRF约束全局一致性和生成性细化网络利用2D先验与全局3D信息,支持多样化场景与任意轨迹,提升视觉质量与3D一致性。
2024-03-14 cs.AI cs.CV
HashCC: Lightweight Method to Improve the Quality of the Camera-less NeRF Scene Generation
University of Warsaw(华沙大学)
提出轻量级哈希颜色校正方法,在无相机位姿条件下提升神经辐射场渲染质量,避免复杂相机模型与训练开销。
2023-05-07 cs.AI cs.CV
Scene Splatter: Momentum 3D Scene Generation from Single Image with Video Diffusion Model
Tsinghua University(清华大学);WeChat Vision, Tecent Inc.(腾讯微信视觉)
提出Scene Splatter,一种基于动量的视频扩散范式,通过级联潜在级和像素级动量从单张图像迭代生成高保真且一致的3D场景,克服了视频长度限制和场景不一致问题。
2025-04-03 cs.AI cs.CV
Enhancing Scene Transition Awareness in Video Generation via Post-Training
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出TAV数据集,通过后训练提升视频生成中场景转换的理解能力,改善多场景生成效果并保持图像质量。
2026-07-31 cs.AI cs.CV
LT3SD: Latent Trees for 3D Scene Diffusion
Technical University of Munich(慕尼黑技术大学)
提出LT3SD潜在扩散模型,利用潜在树表示从粗到细编码3D场景的几何与细节,通过场景块训练实现任意尺寸大规模3D场景的高质量生成与概率补全。
2025-05-01 cs.AI cs.CV
InfBaGel: Human-Object-Scene Interaction Generation with Dynamic Perception and Iterative Refinement
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Sichuan University(四川大学);Shenzhen University(深圳大学);The University of Hong Kong(香港大学)
本文提出一种粗到细的指令条件交互生成框架,结合一致性模型的迭代去噪过程,通过动态感知策略和 bump-aware 指导减少物理伪影,提升 HOSI 和 HOI 生成性能。
2026-04-06 cs.AI cs.CV
GeoDiff3D: Self-Supervised 3D Scene Generation with Geometry-Constrained 2D Diffusion Guidance
Nanjing University(南京大学);Simon Fraser university(西蒙弗雷泽大学)
GeoDiff3D通过几何约束的2D扩散模型和自监督机制,实现高效且高质量的3D场景生成,减少对标注数据的依赖,提升复杂场景的生成质量。
2026-01-28 cs.CV
Bipartite Graph Network with Adaptive Message Passing for Unbiased Scene Graph Generation
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心);University of Chinese Academy of Sciences(中国科学院大学);KU Leuven(鲁汶大学)
场景图生成是一项重要的视觉理解任务,具有广泛的视觉应用。尽管最近取得了巨大的进展,但由于固有的长尾类分布和类内变化大,它仍然具有挑战性。为了解决这些问题,我们引入了一种新的置信度感知的二分图神经网络与自适应消息传播机制的无偏场景图生成。此外,我们提出了一个有效的双层数据存储策略,以减轻训练我们的图网络的数据分布不平衡的问题。我们的方法在几个具有挑战性的数据集上实现了优于或具有竞争力的性能,包括Visual Genome,Open Images V4/V6,证明了其有效性和通用性。
2021-04-29 cs.AI cs.CV
TSTMotion: Training-free Scene-aware Text-to-motion Generation
Singapore University of Technology and Design(新加坡科技设计大学);Lancaster University(兰卡斯特大学);University of Electronic Science and Technology of China(电子科技大学);Monash University(墨尔本大学)
本文提出首个免训练的场景感知文本到动作生成框架TSTMotion,通过基础模型推理生成场景感知动作引导并修改预训练空白背景动作生成器,无需大规模场景真实动作数据即可实现三维场景中的文本驱动动作生成。
2025-05-05 cs.AI cs.CV
MetaFind: Scene-Aware 3D Asset Retrieval for Coherent Metaverse Scene Generation
Northwestern University(西北大学);New York University(纽约大学)
针对元宇宙3D资产检索存在的一致性不足、缺乏专用范式的问题,提出支持多模态组合查询的场景感知框架MetaFind,通过等变布局编码器提升检索的空间与风格一致性,支持迭代场景构建。
2025-10-05 cs.AI cs.CV
Gaussian Constrained Attention Network for Scene Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);TAL Education Group(好未来教育集团)
场景文本识别一直是计算机视觉研究的热点。最近的方法采用注意力机制进行序列预测,取得了令人信服的结果。然而,我们认为,现有的注意力机制面临的注意力扩散的问题,其中该模型可能不会集中在某个字符区域。在本文中,我们提出高斯约束注意力网络来处理这个问题。它是一种基于2D注意力的方法,集成了一个新的高斯约束细化模块,该模块预测一个额外的高斯掩码来细化注意力权重。不同于简单地对注意力权重进行额外的监督,我们所提出的方法引入了显式的细化。通过这种方式,注意力权重将更加集中,并且基于注意力的识别网络实现了更好的性能。所提出的高斯约束细化模块是灵活的,可以直接应用到现有的基于注意力的方法。在多个基准数据集上的实验证明了该方法的有效性。我们的代码已在https://github.com/Pay20Y/GCAN上提供。
2020-10-19 cs.CV
Native3D: End-to-End 3D Scene Generation via Unified Mesh-Texture Modeling and Semantic Alignment
Kuaishou GameMind Lab(快手游戏大脑实验室)
提出Native3D,首个完全绕过2D中间表示的端到端3D场景生成框架,通过统一网格纹理联合表示和3D表示对齐损失,解决几何结构失真和纹理细节退化问题。
2026-06-05 cs.AI cs.CV
Mini-Splatting: Representing Scenes with a Constrained Number of Gaussians
The Hong Kong Polytechnic University(香港理工大学)
本研究提出Mini-Splatting方法,通过模糊分裂、深度重新初始化等密集化与简化策略优化高斯空间分布,在受限数量下提升渲染质量并降低资源消耗,为Gaussian-Splatting研究提供强基线。
2024-10-16 cs.CV
Fill My Mirror: Geometry-Constrained Mirror Inpainting
Reichman University(雷赫曼大学)
本文针对镜面修复问题,提出一种无需训练的几何约束双掩码扩散策略,通过估计场景几何并投影可见内容到镜面,结合生成模型平衡几何约束与先验,在MirrorBench-V2等数据集上提升了反射一致性。
2026-09-04 cs.CV
Broadening View Synthesis of Dynamic Scenes from Constrained Monocular Videos
Northeastern University(东北大学)
ExpanDyNeRF通过高斯溅射先验和伪地面真实生成策略,实现从受限单目视频中高质量动态场景视图合成,并在SynDM数据集上验证其在极端视角偏移下的优越性能。
2025-12-16 cs.CV
Diffusion-based Generation, Optimization, and Planning in 3D Scenes
National Key Laboratory of General Artificial Intelligence, BIGAI(北京通用人工智能研究院通用人工智能国家重点实验室);Tsinghua University(清华大学);Peking University(北京大学);Beijing Institute of Technology(北京理工大学)
介绍了一种用于三维场景理解的条件生成模型SceneDiffuser。SceneDiffuser为解决场景条件生成、优化和规划提供了一个统一的模型。与以前的作品相比,SceneDiffuser本质上是场景感知的,基于物理的,面向目标的。通过迭代采样策略,SceneDiffuser以完全可区分的方式通过基于扩散的去噪过程联合制定场景感知生成、基于物理的优化和面向目标的规划。这样的设计消除了不同模块之间的差异和先前场景条件生成模型的后崩溃。我们评估SceneDiffuser与各种3D场景理解任务,包括人体姿势和运动生成,灵巧把握生成,3D导航的路径规划,和机器人手臂的运动规划。结果表明,与以前的模型相比,显着的改进,展示了巨大的潜力,SceneDiffuser为广大社区的三维场景理解。
2023-01-15 cs.CV
SceneFactor: Factored Latent 3D Diffusion for Controllable 3D Scene Generation
Technical University of Munich(慕尼黑工业大学);Carnegie Mellon University(卡内基梅隆大学)
提出SceneFactor因子化潜空间3D扩散框架,利用语义与几何流形实现文本引导的任意规模场景生成,并通过语义3D框代理空间支持直观、局部且高保真一致的可控编辑。
2024-12-03 cs.CV
EchoScene: Indoor Scene Generation via Information Echo over Scene Graph Diffusion
Technical University of Munich(慕尼黑工业大学);Ludwig Maximilian University of Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Google(谷歌公司)
EchoScene提出一种基于场景图的双分支扩散模型,通过信息回声机制实现节点间协作,生成可控且全局一致的3D室内场景,并在保真度上超越现有方法。
2025-02-27 cs.AI cs.CV cs.LG
LAYOUTDREAMER: Physics-guided Layout for Text-to-3D Compositional Scene Generation
ShangHai University(上海大学)
LayoutDreamer通过结合3D高斯点云和物理引导,实现了高质量的文本到3D组合场景生成,提升了场景的真实性和可控性。
2025-03-22 cs.AI cs.CV cs.GR
Non-parametric spatially constrained local prior for scene parsing on real-world data
School of Engineering and Technology, Central Queensland University(中央昆士兰大学工程与技术学院)
场景解析的目的是识别场景图像中每个像素的对象类别,它在图像内容理解和计算机视觉应用中起着核心作用。然而,从不受约束的真实世界数据中准确地解析场景仍然是一项具有挑战性的任务。在本文中,我们提出了非参数的空间约束局部先验(SCLP)的场景分析的现实数据。对于给定的查询图像,通过首先检索与查询图像最相似的训练图像的子集,然后从检索到的子集收集关于空间图像块之间和相邻超像素之间的对象共现统计的先验信息来学习非参数SCLP。SCLP在捕获查询图像中关于对象间相关性的长距离和短距离上下文方面都是强大的,并且可以有效地与传统的视觉特征相结合以改进分类结果。我们在SIFT Flow和PASCAL-Context基准数据集上的实验表明,与最先进的方法相比,与超像素级视觉特征结合使用的非参数SCLP实现了最佳性能之一。
2020-06-23 cs.CV cs.LG eess.IV
DistScene: Object-to-Scene Distillation for 3D Scene Generation
The Hong Kong University of Science and Technology(香港科技大学);TeleAI, China Telecom(中国电信TeleAI)
提出DistScene框架,通过显式建模环境组件、联合生成场景帧与对象、以对象为中心的细化及对象到场景蒸馏,实现单图像组合式3D场景生成,提升场景级空间一致性。
2026-10-07 cs.CV
Image Scene Graph Generation (SGG) Benchmark
Microsoft Cloud + AI(微软云与人工智能部门);Microsoft Research at Redmond(微软雷德蒙德研究院)
由于需要建立超越目标检测的细粒度图像理解模型,因此对图像场景图生成(对象、属性和关系检测)的兴趣激增。由于缺乏一个好的基准,不同的场景图生成模型的报告结果不直接可比,阻碍了研究的进展。我们已经开发了一个急需的场景图生成基准的基础上maskrcnn基准和几个流行的模型。本文介绍了我们的基准测试的主要特点和全面消融研究的场景图生成模型使用的视觉基因组和OpenImages视觉关系检测数据集。我们的代码库在https://github.com/microsoft/scene_graph_benchmark上公开。
2021-07-27 cs.CV
Scene Labeling Through Knowledge-Based Rules Employing Constrained Integer Linear Programing
University of Central Florida(中佛罗里达大学)
场景标记任务是将图像分割成有意义的区域,并将它们分类为构成图像的对象类。常用的方法通常会找到每个片段的局部特征,并使用分类器对其进行标记。之后,标记被平滑,以确保相邻区域接收类似的标签。然而,由于昂贵的训练和推理,它们忽略了区域之间的表达性和非局部依赖性。在本文中,我们建议使用高层次的知识,在推理中的规则,将图像中的区域之间的依赖关系,以提高分数的分类。为了实现这一目标,我们从数据中提取这些规则,并将它们转换为约束条件,以优化将标签分配给图像的超像素(因此像素)的结构化问题。此外,我们建议在某些情况下使用软约束,允许违反约束施加惩罚,使模型更灵活。我们在三个数据集上评估了我们的方法,并获得了令人满意的结果。
2016-08-17 cs.CV
Urban Scene Segmentation with Laser-Constrained CRFs
The University of Sydney(悉尼大学)
机器人通常拥有不同模态的传感器,例如彩色相机、惯性测量单元和3D激光扫描仪。通常,当使用多个模态时,解决特定问题变得更容易。然而,虽然组合不同模态的传感器有不可否认的好处,但过程往往很复杂。将机器人观察到的场景分割成一组离散的类是自主性的核心要求,因为理解场景是推理未来情况的第一步。场景分割通常使用图像数据或3D点云数据来执行。在计算机视觉中,许多成功的场景分割方法都是基于条件随机场(CRF)的,其中分割的最大后验概率(MAP)解可以通过推理获得。在本文中,我们设计了一个新的CRF推理方法,结合全局约束的场景分割,强制节点集被分配相同的类标签。为了有效地做到这一点,CRF制定为一个宽松的二次规划,其MAP解决方案是使用基于梯度的优化方法。所提出的方法进行评估的图像和3D点云数据收集在城市环境中,图像数据提供的CRF所需的外观特征,而3D点云数据提供了全局空间约束的节点集。与信念传播,传统的二次规划松弛,高阶潜在的CRF的比较表明,所提出的方法的好处。
2017-01-07 cs.CV
Toward Scene Graph and Layout Guided Complex 3D Scene Generation
National Taiwan University(台湾大学);NVIDIA(英伟达)
本文提出GraLa3D框架,利用大语言模型构建带布局边界框的场景图,通过单对象节点和复合超节点建模对象交互并缓解外观泄漏,从而生成与文本提示高度一致的复杂三维场景。
2024-12-29 cs.CV
A Constrained Deformable Convolutional Network for Efficient Single Image Dynamic Scene Blind Deblurring with Spatially-Variant Motion Blur Kernels Estimation
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chongqing University(重庆大学)
现有的基于深度学习的单幅图像动态场景盲去模糊(SIDSBD)方法通常设计深度网络直接从一幅输入的运动模糊图像中去除空间变化的运动模糊,而不进行模糊核估计。受投影运动路径模糊(PMPB)模型和可变形卷积的启发,提出了一种新的约束可变形卷积网络(CDCN),用于有效的单幅图像动态场景盲去模糊,同时实现了精确的空变运动模糊核估计和高质量的运动模糊图像复原。在我们提出的CDCN中,我们首先构建了一个新的多尺度多级多输入多输出(MSML-MIMO)编码器-解码器架构,以获得更强大的特征提取能力。其次,与DLVBD方法使用多帧连续图像不同,提出了一种新的约束可变形卷积再模糊(CDCR)策略,该策略首先对输入的单幅运动模糊图像的模糊特征进行可变形卷积,以学习每个像素的运动模糊核的采样点,其类似于PMPB模型中相机抖动的运动密度函数的估计,然后提出一种新的基于PMPB的再模糊损失函数来约束学习的采样点收敛,可以使学习的采样点与各像素的相对运动轨迹更好地匹配,提高空变运动模糊核估计的准确性。
2022-08-23 cs.CV
What Makes a Scene ? Scene Graph-based Evaluation and Feedback for Controllable Generation
The Hong Kong Polytechnic University(香港理工大学);Institute of Automation, CAS(中国科学院自动化研究所)
针对场景图生成图像研究不足的问题,提出Scene-Bench基准、MegaSG数据集及SGScore指标,并构建反馈流程,有效提升生成图像的事实一致性。
2025-05-26 cs.CV
SceneDecorator: Towards Scene-Oriented Story Generation with Scene Planning and Scene Consistency
Monash University(莫纳什大学);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);South China University of Technology(华南理工大学)
SceneDecorator提出无需训练的场景导向故事生成框架,通过VLM引导场景规划和长期场景共享注意力,解决场景规划与一致性问题,提升艺术、电影和游戏领域的创造力。
2025-10-27 cs.CV
X-Scene: Large-Scale Driving Scene Generation with High Fidelity and Flexible Controllability
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
X-Scene通过高保真和灵活可控性实现大规模驾驶场景生成,支持多粒度控制和一致性外推,提升自动驾驶的数据生成与模拟能力。
2025-12-06 cs.CV
Symmetry-constrained Rectification Network for Scene Text Recognition
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Megvii (Face++) Inc.(旷视(Face++)公司);University of Oxford(牛津大学)
由于文本实例的多样性和自然场景的复杂性,在野外阅读文本是一项非常具有挑战性的任务。近年来,具有不规则形状的文本实例的识别问题越来越受到人们的关注。处理这个问题的一个直观而有效的方法是在识别之前将不规则文本纠正为规范形式。但是,这些方法在处理高度弯曲或扭曲的文本实例时可能会遇到困难。为了解决这个问题,本文提出了一种基于文本实例的局部属性(如中心线、比例和方向)的对称约束校正网络(ScRN)。这样的约束与文本形状的准确描述,使ScRN生成更好的校正结果比现有的方法,从而导致更高的识别精度。我们的方法在具有规则和不规则形状的文本上实现了最先进的性能。具体来说,该系统在包含相当大比例的不规则文本实例的数据集上的性能大大优于现有算法,例如,ICDAR 2015,SVT-Perspective和CUTE80。
2019-08-06 cs.CV
Graph Canvas for Controllable 3D Scene Generation
Beijing University of Technology(北京工业大学);East China University of Science(华东理工大学);Shandong University(山东大学);Tsinghua University(清华大学);Rutgers University(罗格斯大学);University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学)
提出 GraphCanvas3D 框架,利用上下文学习和分层图驱动描述实现无需重训的可控 3D/4D 场景生成与动态调整。
2024-12-06 cs.AI cs.CV cs.GR
Scene-SAM3D: Multi-View Scene Asset Generation Without Fine-Tuning
The University of Queensland(昆士兰大学);East China Normal University(华东师范大学);Shanghai AI Laboratory(上海人工智能实验室)
研究针对现实场景中3D生成难题,提出无需训练的Scene-SAM3D框架,通过选互补视图、潜在速度融合及高斯优化,实现多视图场景资产生成,实验证明其在减少场景级CD和降低计算成本上有显著成效。
2026-07-21 cs.CV
SceneFormer: Indoor Scene Generation with Transformers
Technical University of Munich(慕尼黑工业大学)
我们解决室内场景生成的任务,通过生成一系列的对象,以及他们的位置和方向的房间布局的条件。大规模的室内场景数据集允许我们从用户设计的室内场景中提取模式,并基于这些模式生成新的场景。现有的方法依赖于这些场景的2D或3D外观,除了对象的位置,并假设对象之间的可能关系。相比之下,我们不使用任何外观信息,并隐式学习对象关系使用Transformers的自我注意力机制。我们表明,我们的模型设计导致更快的场景生成与以前的方法相比,具有类似或改进的现实主义水平。我们的方法也很灵活,因为它不仅可以根据房间布局,而且可以根据房间的文本描述,只使用Transformers的交叉注意力机制。我们的用户研究表明,我们生成的场景在卧室和客厅场景中分别有53.9%和56.7%的时间比最先进的FastSynth场景更受欢迎。同时,我们平均在1.48秒内生成一个场景,比FastSynth快20%。
2021-04-02 cs.CV
ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment
Tsinghua University(清华大学)
针对永续3D场景生成中外扩误差累积导致的语义漂移,本文提出ScenePainter,通过SceneConceptGraph对齐场景概念关系并引导外扩,显著提升长序列3D视图的一致性与沉浸感。
2025-07-25 cs.CV
GHOST: Geometry-Constrained Hybrid Diffusion for Open-Vocabulary 3D Scene Graph Generation
University of Electronic Science and Technology of China(电子科技大学);Jilin University(吉林大学)
针对开放词汇3D场景图生成中空间谓词预测的几何一致性不足问题,提出GHOST框架,通过几何约束混合扩散实现最优性能,空间谓词较RelationField提升超17个百分点。
2026-10-14 cs.CV cs.MM
Compositional 3D Scene Generation using Locally Conditioned Diffusion
Stanford University(斯坦福大学)
设计复杂的3D场景一直是一个繁琐的手动过程,需要领域专业知识。新兴的文本到3D生成模型显示出很大的希望,使这项任务更直观,但现有的方法仅限于对象级的生成。我们引入\textbf{locally conditioned diffusion}作为一种方法组成的场景扩散,使用文本提示和边界框提供对语义部分的控制,同时确保这些部分之间的无缝过渡。我们展示了一个分数蒸馏采样-基于文本到3D合成管道,使组成的3D场景生成在更高的保真度比相关的基线。
2023-03-23 cs.CV
NeuralRoom: Geometry-Constrained Neural Implicit Surfaces for Indoor Scene Reconstruction
Wuhan University(武汉大学);Huawei(华为);Anhui University(安徽大学)
我们提出了一种新的神经表面重建方法NeuralRoom,用于直接从一组2D图像重建房间大小的室内场景。近年来,隐式神经表征由于其高质量的结果和简单性而成为从多视图图像重建表面的一种很有前途的方法。然而,隐式神经表征通常不能很好地重建室内场景,因为它们遭受严重的形状-辐射模糊。我们假设室内场景由纹理丰富和平坦纹理较少的区域组成。在纹理丰富的区域,多视点立体可以获得准确的结果。在平坦区域,正态估计网络通常可以获得较好的正态估计。基于上述观察,我们通过可靠的几何先验来减少隐式神经表面可能的空间变化范围,以减轻形状-辐射模糊。具体来说,我们使用多视图立体结果来限制NeuralRoom优化空间,然后使用可靠的几何先验来指导NeuralRoom训练。然后,NeuralRoom将产生一个神经场景表示,可以渲染与输入训练图像一致的图像。此外,我们提出了一种称为扰动残差约束的平滑方法,以提高平坦区域的准确性和完整性,该方法假设局部表面中的采样点应具有相同的法线和到观察中心的相似距离。在ScanNet数据集上的实验表明,该方法能够在保持细节准确性的前提下重建出室内场景的无纹理区域。我们还将NeuralRoom应用于更先进的多视图重建算法,并显着提高其重建质量。
2022-11-28 cs.CV
Picasso: Holistic Scene Reconstruction with Physics-Constrained Sampling
Massachusetts Institute of Technology(麻省理工学院);National University of Singapore(新加坡国立大学)
提出Picasso,一种通过快速拒绝采样推理多物体交互并考虑几何、非穿透和物理约束的整体场景重建方法,在物理合理性和重建精度上显著优于现有技术。
2026-07-29 cs.AI cs.CV cs.RO
WorldFlow3D: Flowing Through 3D Distributions for Unbounded World Generation
Princeton University(普林斯顿大学);Torc Robotics
WorldFlow3D通过流动3D分布生成无界3D世界,具备快速收敛、高精度结构与纹理生成能力,并在真实和合成场景中验证了跨领域泛化性。
2026-03-31 cs.AI cs.CV cs.GR
MMGDreamer: Mixed-Modality Graph for Geometry-Controllable 3D Indoor Scene Generation
Beijing Digital Native Digital City Research Center(北京数字原生数字城市研究中心)
提出MMGDreamer双分支扩散模型,利用混合模态图、视觉增强和关系预测实现几何可控的3D室内场景生成,达到最先进性能。
2025-03-26 cs.AI cs.CV cs.LG
Slot-VAE: Object-Centric Scene Generation with Slot Attention
Delft University of Technology(代尔夫特理工大学);Nanyang Technological University(南洋理工大学)
针对slot attention缺乏生成新颖场景能力的问题,提出Slot-VAE模型,通过结合slot attention与分层VAE框架,同时推断全局场景表征与对象级slot表征以生成结构连贯的场景,在样本质量和场景结构准确性上优于基线方法。
2024-02-13 cs.CV
Scene Generation at Absolute Scale: Utilizing Semantic and Geometric Guidance From Text for Accurate and Interpretable 3D Indoor Scene Generation
提出GuidedSceneGen框架,通过文本预测全局3D布局并利用全景扩散模型和视频扩散模型生成绝对尺度的室内场景,实现高一致性、可导航的3D重建。
2026-06-29 cs.CV
NuiScene: Exploring Efficient Generation of Unbounded Outdoor Scenes
Simon Fraser University(西蒙弗雷泽大学)
针对户外场景生成的高度差异大、需快速生成大景观等挑战,提出将场景分块编码为统一向量集的高效方法,搭配显式外扩模型提升连贯性与生成速度,整理NuiScene43数据集实现异构场景联合训练与环境融合。
2025-09-01 cs.CV
MIGS: Meta Image Generation from Scene Graphs
Technical University of Munich(慕尼黑工业大学)
从场景图生成图像是显式场景生成和操作的一个很有前途的方向。然而,从场景图生成的图像缺乏质量,这部分是由于数据的高难度和多样性。我们提出了MIGS(Meta Image Generation from Scene Graphs),这是一种基于元学习的方法,用于从图中生成Few-Shot图像,使模型能够适应不同的场景,并通过对不同的任务集进行训练来提高图像质量。通过以任务驱动的方式对数据进行采样,我们使用元学习对基于场景属性分类的不同任务集进行训练生成器。我们的研究结果表明,使用这种元学习方法从场景图中生成图像,在图像质量和捕捉场景中的语义关系方面实现了最先进的性能。项目网址:https://migs2021.github.io/
2021-10-22 cs.CV cs.LG
Scene Graph Generation with External Knowledge and Image Reconstruction
Nanyang Technological University(南洋理工大学);Adobe Research(奥多比研究院);University of Georgia(佐治亚大学);Google Cloud AI(谷歌云人工智能)
随着目标检测、属性和关系预测、~ \etc等图像理解任务的发展,场景图生成得到了越来越多的关注。然而,现有的数据集在对象和关系标签方面存在偏差,或者经常带有噪声和缺失的注释,这使得开发可靠的场景图预测模型非常具有挑战性。在本文中,我们提出了一种新的场景图生成算法与外部知识和图像重建损失,以克服这些数据集的问题。特别是,我们从外部知识库中提取常识知识,以改进场景图生成中的对象和短语特征,以提高泛化能力。为了解决噪声对象注释的偏差,我们引入了辅助图像重建路径来正则化场景图生成网络。大量的实验表明,我们的框架可以生成更好的场景图,在两个基准数据集上实现了最先进的性能:视觉关系检测和视觉基因组数据集。
2019-04-01 cs.CV
Unconditional Scene Graph Generation
Technische Universität München(慕尼黑工业大学);Google(谷歌)
尽管最近在单域或单对象图像生成方面取得了进展,但生成包含不同的多个对象及其交互的复杂场景仍然具有挑战性。场景图,由作为对象的节点和作为对象之间关系的有向边组成,提供了比图像更有语义基础的场景的替代表示。我们假设场景图的生成模型可能能够比图像更有效地学习现实世界场景的底层语义结构,从而以场景图的形式生成逼真的新场景。在这项工作中,我们探索了一个新的任务,无条件生成的语义场景图。我们开发了一个名为SceneGraphGen的深度自回归模型,它可以使用分层递归架构直接学习标记和有向图上的概率分布。该模型将种子对象作为输入,并在一系列步骤中生成场景图,每个步骤生成一个对象节点,然后是连接到先前节点的一系列关系边。我们表明,场景生成的场景图SceneGraphGen是不同的,并遵循真实世界场景的语义模式。此外,我们展示了所生成的图形在图像合成,异常检测和场景图完成中的应用。
2021-08-12 cs.CV