CAIRN: Cross-Room 3D Scene Understanding with Topology-Aware Large Multimodal Models
University of Oxford（牛津大学）；Microsoft（微软公司）；Simon Fraser University（西蒙弗雷泽大学）
研究针对现有3D-LLMs不能处理多房间场景问题，提出拓扑感知3D-LLM即CAIRN。其将Transformer注意力与场景层次对齐，通过多种方式增强模型能力。在新基准CAIRN-MR上实验，CAIRN在多房间任务中大幅超越前人，单房间任务也具竞争力。
2026-07-14 cs.CV
Dynamic Context-Aware Scene Reasoning Using Vision-Language Alignment in Zero-Shot Real-World Scenarios
Nitte (Deemed to Be University), Nitte Institute of Professional Education（尼特大学尼特专业教育学院）；Ballari Institute of Technology and Management（巴拉里技术与管理学院）
在现实环境中，人工智能系统经常面对没有标记数据的陌生场景，这对传统的场景理解模型构成了重大挑战。无法在看不见的上下文中进行概括，这限制了在动态、非结构化环境中部署基于视觉的应用程序。这项工作介绍了一个动态的上下文感知场景推理框架，利用视觉语言对齐，以解决zero-shot现实世界的场景。其目标是使智能系统能够推断和适应新的环境，而无需事先进行特定任务的培训。所提出的方法集成了预先训练的视觉Transformer和大语言模型，以使视觉语义与自然语言描述一致，从而增强上下文理解。动态推理模块通过结合全局场景线索和由语言先验指导的对象级交互来改进预测。在COCO、Visual Genome和Open Images等zero-shot基准上进行的大量实验表明，在复杂和不可见的环境中，场景理解准确度比基线模型提高了18%。结果还表明，由于视觉和语言的协同融合，在模糊或混乱的场景中表现出强大的性能。该框架为上下文感知推理提供了一种可扩展和可解释的方法，在动态的真实世界设置中推进了zero-shot泛化。
2025-10-30 cs.CV
SceneTeract: Probing and Improving Agent-Aware Activity Reasoning in 3D Indoor Scenes
École Polytechnique（巴黎综合理工学院）；Dassault Systèmes（达索系统）；Stanford University（斯坦福大学）；USI Lugano（卢加诺大学）；Technion（以色列理工学院）；NVIDIA（英伟达）
SceneTeract 通过结合高层语义推理与低层几何检查，验证3D场景功能，评估合成环境中的功能失败及VLM对功能可能性的预测能力，揭示语义信心与物理可行性之间的系统性不匹配。
2026-09-18 cs.CV
Audio Visual Scene-Aware Dialog (AVSD) Challenge at DSTC7
Georgia Tech（佐治亚理工学院）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
场景感知对话系统将能够与用户就他们周围的对象和事件进行对话。通过整合多个研究领域的最新技术，包括端到端对话系统、可视对话和视频描述，可以在此类系统上取得进展。我们介绍了视听场景感知对话框（AVSD）的挑战和数据集。在这个挑战中，这是第七届对话系统技术挑战（DSTC 7）研讨会1的一个轨道，任务是建立一个系统，在对话中生成关于输入视频的响应
2018-06-01 cs.CL cs.CV
SAIDO: Generalizable Detection of AI-Generated Images via Scene-Aware and Importance-Guided Dynamic Optimization in Continual Learning
East China Normal University（华东师范大学）；Shanghai Innovation Institute（上海创新研究院）
SAIDO通过场景感知和重要性引导的动态优化在持续学习中实现通用的人工智能生成图像检测，提升检测稳定性和可塑性。
2025-11-29 cs.CV
SA-Person: Text-Based Person Retrieval with Scene-aware Re-ranking
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院人工智能与机器人中心）；Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统（MAIS））；Wuhan University（武汉大学）；University of Chinese Academy of Sciences（中国科学院大学）
SA-Person通过整合个体外观和全局场景上下文，提升基于文本的人检索准确性，提出ScenePerson-13W数据集和两阶段检索框架。
2025-11-22 cs.CV
GA-DAN: Geometry-Aware Domain Adaptation Network for Scene Text Detection and Recognition
Nanyang Technological University（南洋理工大学）
最近的对抗性学习研究在对表观空间中的跨域数据转移进行建模方面取得了令人印象深刻的进展，但在对几何空间中的跨域转移进行建模方面却远远落后。本文提出了一种创新的几何感知领域自适应网络（GA-DAN），能够同时在几何空间和外观空间中对跨域移动进行建模，并将具有非常不同特征的图像跨域逼真地转换。在建议的GA-DAN，一种新的多模态空间学习技术的设计，将源域图像转换成多个图像的不同的空间视图，在目标域。引入了一种新的解纠缠的圈一致性损失，平衡了圈在表观空间和几何空间的一致性，大大提高了整个网络的学习能力。所提出的GA-DAN已被评估为经典的场景文本检测和识别任务，实验表明，领域适应的图像实现优越的场景文本检测和识别性能，而应用于网络训练。
2019-07-23 cs.CV
Taking A Closer Look at Interacting Objects: Interaction-Aware Open Vocabulary Scene Graph Generation
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
本文提出交互感知的开放词汇场景图生成框架 INOVA，通过区分交互对象、优先匹配交互对象及交互一致性蒸馏，在 VG 和 GQA 上达到最先进性能。
2025-02-06 cs.CV
OP3DSG: Open-Vocabulary Part-Aware 3D Scene Graph Generation for Real-World Environments
Gwangju Institute of Science and Technology（全州科学技术院）
提出OP3DSG框架，通过部件感知检测与融合、几何初始化先验图及LLM精炼，实现开放词汇下对象、交互部件、空间/功能关系及可供性的统一建模，在UniGraph3D基准上达到最优性能。
2026-08-21 cs.CV cs.RO
AiSDF: Structure-aware Neural Signed Distance Fields in Indoor Scenes
Artificial Intelligence Graduate School, UNIST（蔚山科学技术院人工智能研究生院）
本文提出一种室内场景中结构感知的在线SDF重建框架AiSDF，基于Atlanta世界假设推断场景结构并估计平面surfels区域，通过自适应采样和约束结构规律性，在维持高层结构的同时增强细节，显著提升了房间尺度场景的3D重建质量。
2024-03-04 cs.AI cs.CV cs.RO
MIME: Multimodal Interactive Motion Encoder
Purdue University（普渡大学）
研究针对动画、AR/VR等场景中多人交互的文本-运动表示学习问题，提出多模态交互式运动编码器MIME，通过特定方法捕捉结构并训练，在文本-运动检索任务中表现出色，还能跨数据集支持下游运动生成。
2026-07-28 cs.CV cs.LG
Space-Time Forecasting of Dynamic Scenes with Motion-aware Gaussian Grouping
Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
MoGaF通过运动感知的高斯分组和优化，实现动态场景的长期预测与空间一致性，提升预测质量和时间稳定性。
2026-02-25 cs.CV cs.GR
Nerflets: Local Radiance Fields for Efficient Structure-Aware 3D Scene Representation from 2D Supervision
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们解决了有效的和结构感知的3D场景表示从图像。Nerflets是我们的主要贡献--一组局部神经辐射场，它们共同代表一个场景。每个nerflet都保持自己的空间位置，方向和范围，在此范围内，它有助于全景，密度和辐射重建。通过仅利用光度和推断的全景图像监督，我们可以直接并联合优化一组nerflets的参数，以便形成场景的分解表示，其中每个对象实例由一组nerflets表示。在室内和室外环境的实验中，我们发现nerflets：（1）比传统的全局NeRF更有效地拟合和近似场景，（2）允许从任意视图中提取全景和光度渲染，（3）实现NeRF罕见的任务，如3D全景分割和交互式编辑。
2023-03-10 cs.CV cs.GR
DaReNeRF: Direction-aware Representation for Dynamic Scenes
United Imaging Intelligence（联影智能）；Vanderbilt University（范德堡大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Buffalo（布法罗大学）
本文提出DaReNeRF，利用六方向DaRe表示与逆DTCWT恢复平面特征，并以可训练掩码降低冗余，实现复杂动态场景高质量新视角合成，训练时间较先前方法减少2倍。
2024-03-04 cs.CV cs.GR
Human-Aware 3D Scene Generation with Spatially-constrained Diffusion Models
Wuhan University（武汉大学）；Hedra；JD Explore Academy（京东探索研究院）
针对从人体运动生成三维场景时物体重叠的问题，提出基于扩散模型的方法，引入两种空间碰撞引导机制，并自动化增强数据集，显著减少碰撞，生成更自然合理的场景。
2024-08-20 cs.CV cs.GR
OccluGaussian: Occlusion-Aware Gaussian Splatting for Large Scene Reconstruction and Rendering
Huawei Noah’s Ark Lab（华为诺亚实验室）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）；The University of Hong Kong（香港大学）；Huawei Embodied Intelligence Lab（华为具身智能实验室）
OccluGaussian通过遮挡感知的场景划分和区域渲染技术，提升大规模场景重建与渲染的质量和效率。
2025-11-29 cs.CV cs.GR
SceneGlue: Scene-Aware Transformer for Feature Matching without Scene-Level Annotation
School of Automation, Southeast University（东南大学自动化学院）；Shenzhen Research Institute of Southeast University（东南大学深圳研究院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息、生产与系统研究生学校）
SceneGlue通过引入隐式并行注意力和显式跨视图可见性估计，提升特征匹配的场景感知能力，无需场景级标注即可提高准确性和鲁棒性。
2026-04-15 cs.CV
3D-Aware Scene Manipulation via Inverse Graphics
Tsinghua University（清华大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
我们的目标是获得一个可解释的，富有表现力的，并解开场景表示，包含全面的结构和纹理信息，为每个对象。以前由神经网络学习的场景表示通常是不可解释的，仅限于单个对象，或者缺乏3D知识。在这项工作中，我们提出了3D场景去渲染网络（3D-SDN），以解决上述问题，将语义，几何和外观的解纠缠表示集成到一个深生成模型。我们的场景编码器执行逆图形，将场景转换为结构化的对象表示。我们的解码器有两个组成部分：一个微分形状渲染器和神经纹理生成器。语义、几何和外观的解纠缠支持3D感知场景操纵，例如，自由旋转和移动对象，同时保持一致的形状和纹理，并在不影响其形状的情况下改变对象外观。实验表明，我们的编辑方案的基础上3D-SDN是优于其2D对应。
2018-12-18 cs.CV cs.GR eess.IV
Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technology University（南洋理工大学）
在真实世界场景中合成长期人体运动序列的能力可以促进许多应用。先前的场景感知运动合成方法受到预定义的目标对象或位置的约束，从而限制了合成运动的人-场景交互的多样性。在本文中，我们专注于合成不同的场景感知的目标动作序列的指导下，人体运动的问题。为了实现这一点，我们首先分解的多样性场景感知人体运动到三个方面，即交互多样性（例如，坐在不同的对象在给定的场景中具有不同的姿势），路径多样性（例如，移动到目标位置遵循不同的路径），和运动多样性（例如，在移动过程中有各种身体运动）。在此分解方案的基础上，提出了一个层次化的框架，每个子模块负责一个方面的建模。我们评估我们的框架的有效性，对两个具有挑战性的数据集场景感知人体运动合成。实验结果表明，该框架在多样性和自然性方面明显优于以往的方法。
2022-05-25 cs.CV
SACANet: scene-aware class attention network for semantic segmentation of remote sensing images
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
本文提出融合场景感知注意力与局部—全局类别注意力的 SACANet，用于遥感图像语义分割，以增强上下文建模并抑制背景噪声，在三个数据集上优于现有最先进方法。
2023-04-22 cs.CV
SceneEncoder: Scene-Aware Semantic Segmentation of Point Clouds with A Learnable Scene Descriptor
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；School of Computer Science and Software Engineering, East China Normal University（华东师范大学计算机科学与软件工程学院）
在语义分割中，除了局部特征外，全局信息也起着至关重要的作用，但目前的研究工作往往未能明确地提取出有意义的全局信息并充分利用它，本文提出了一种场景编码器模块，以增强全局信息的场景感知引导效果。该模块预测一个场景描述符，该描述符学习表示场景中存在的对象的类别，并通过过滤掉不属于该场景的类别来直接指导点级语义分割。此外，为了减少局部区域的分割噪声，设计了一种区域相似性损失机制，将区分特征传播到具有相同标签的相邻点，从而增强了逐点特征的区分能力。我们将我们的方法集成到几个流行的网络中，并在基准数据集ScanNet和ShapeNet上进行了广泛的实验。结果表明，我们的方法大大提高了基线的性能，达到了最先进的性能。
2020-01-24 cs.CV
Hierarchical Semantic Contrast for Scene-aware Video Anomaly Detection
Zhejiang University（浙江大学）
增强场景感知是视频异常检测（VAD）的一个关键挑战。在这项工作中，我们提出了一个层次语义对比（HSC）的方法来学习场景感知VAD模型从正常的视频。我们首先通过利用预先训练的视频解析模型将前景对象和背景场景特征与高级语义结合起来。然后，基于自动编码器的重建框架的基础上，我们引入场景级和对象级的对比学习，以强制编码的潜在特征在相同的语义类内是紧凑的，同时在不同的类之间是可分离的。这种层次语义对比策略有助于处理正常模式的多样性，也提高了它们的辨别能力。此外，为了处理罕见的正常活动，我们设计了一个基于运动增强的模型，以增加样本，并进一步完善模型。在三个公共数据集和场景相关的混合数据集上的实验验证了该方法的有效性。
2023-03-23 cs.CV
Semantically-aware Neural Radiance Fields for Visual Scene Understanding: A Comprehensive Review
Huawei Paris Research Center（华为巴黎研究中心）；Centrale Lille（里尔中央理工学院）；University of Lille（里尔大学）；The University of Western Australia（西澳大学）
本综述分析了超250篇论文，全面探讨了语义感知神经辐射场在视觉场景理解中的作用，及其在3D表示推断、视点生成、场景补全分割和物体识别等任务中的多样化应用与发展。
2024-02-17 cs.CV
Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction
针对单目视频恢复大规模场景下4D人群运动的难题，提出Crowd4D框架，通过多阶段优化联合优化人群与场景，引入HSIP解决对齐问题、CSCR提升时间稳定性，实验证明其性能优于现有方法，可实现复杂场景下单目4D人群稳健重建。
2026-07-23 cs.CV
PhyScene3D: Physically Consistent Interactive 3D Tabletop Scene Generation
Sun Yat-sen University, China（中山大学）；Peng Cheng Laboratory（鹏城实验室）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）；Huawei（华为）
提出PhyScene3D框架，通过认知拓扑推理链和物理感知去噪对齐，解决3D桌面场景生成中的物理一致性问题，显著降低碰撞率。
2026-06-03 cs.CV
SAFE: Scene-Aware Feature Modulation for Color Constancy with Learned Color Space in Pure-Color Scenes
MediaTek Inc.（联发科技股份有限公司）；National Taiwan University（台湾大学）
针对纯彩色场景中色度线索坍缩导致色彩恒常性估计歧义的问题，提出结合SAFE网络与LCS的框架，显著降低了平均及高低分位数的角度误差。
2026-08-17 cs.CV
Retargetable AR: Context-aware Augmented Reality in Indoor Scenes based on 3D Scene Graph
Sony Corporation（索尼公司）
在本文中，我们提出了Retargetable AR，一种新的AR框架，产生一个AR体验，是知道在各种现实环境中设置的场景上下文，实现虚拟和现实世界之间的自然交互。为此，我们在3D空间中的对象之间的关系，而不是与坐标变换的场景上下文的特征。由AR内容假设的上下文和由用户体验AR的真实环境形成的上下文被表示为抽象图形表示，即场景图形。从RGB-D流，我们的框架生成一个立体地图，在其中集成了场景的几何和语义信息。此外，使用语义地图，我们抽象的场景对象为有向包围盒和估计他们的方向。有了这样的场景表示，我们的框架构造，在一个在线的方式，一个3D场景图表征的背景下，一个真实的AR环境。所构造的图与表示AR内容的上下文的AR场景图之间的对应关系提供了语义上配准的内容布置，这促进了虚拟世界与现实世界之间的自然交互。我们进行了广泛的评估，我们的原型系统，通过定量评估的性能定向限界框估计，主观评价的AR内容安排的基础上构建的3D场景图，和在线AR演示。这些评估的结果显示了我们的框架的有效性，表明它可以在各种真实场景中提供上下文感知的AR体验。
2020-08-18 cs.CV
SceneAdapt: Scene-aware Adaptation of Human Motion Diffusion
Yonsei University（延世大学）；Carnegie Mellon University（卡内基梅隆大学）；UC Merced（加州大学默塞德分校）；Google DeepMind（谷歌DeepMind）；Seoul National University（首尔国立大学）
本文提出SceneAdapt框架，通过运动插值和场景感知插值生成语义丰富的场景感知人类运动，无需大规模配对文本-场景-运动数据。
2026-03-30 cs.AI cs.CV
Collision-Aware and Observation-Aligned Object-Centric Scene Reconstruction from Point Cloud
Zhejiang University（浙江大学）
提出COOL框架，利用实例与背景点云条件化生成，结合碰撞损失与联合优化，实现碰撞感知、观测对齐的面向对象场景重建。
2026-09-30 cs.CV
Diffusion Implicit Policy for Unpaired Scene-aware Motion Synthesis
本文提出扩散隐式策略DIP，通过解耦人-场景交互与运动合成，在推理中结合隐式策略优化和扩散去噪，实现无需配对数据的场景感知运动合成，并验证其在合成与真实场景中的优越性。
2025-11-10 cs.CV
TARS: Traffic-Aware Radar Scene Flow Estimation
University of Wuppertal（乌尔姆大学）；Osnabrück University（奥斯纳布吕克大学）；Aptiv Services Deutschland GmbH（Aptiv Services德国公司）
本文提出TARS方法，通过交通层面的运动刚性提升雷达场景流估计，结合目标检测与场景流联合优化，构建交通向量场以实现交通层面的场景理解。
2025-07-25 cs.CV
Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations
Stanford University（斯坦福大学）
具有生成模型的无监督学习具有发现3D场景的丰富表示的潜力。虽然几何深度学习已经探索了场景几何的3D结构感知表示，但这些模型通常需要明确的3D监督。新兴的神经场景表示只能用2D图像来训练，但现有的方法忽略了场景的三维结构。我们提出了场景表示网络（SRN），一个连续的，三维结构感知的场景表示，编码的几何形状和外观。SRN将场景表示为将世界坐标映射到局部场景属性的特征表示的连续函数。通过将图像形成公式化为可微分的光线行进算法，可以仅从2D图像及其相机姿势端到端地训练SRN，而无需访问深度或形状。这个公式自然地概括了整个场景，在这个过程中学习强大的几何和外观先验。我们证明了潜在的SRN通过评估他们的新的视图合成，Few-Shot重建，关节形状和外观插值，和无监督发现的非刚性人脸模型。
2020-01-28 cs.AI cs.CV
BlobGAN-3D: A Spatially-Disentangled 3D-Aware Generative Model for Indoor Scenes
KAUST（阿卜杜拉国王科技大学）
3D感知图像合成已经吸引了越来越多的兴趣，因为它模拟了我们现实世界的3D性质。然而，在多对象场景中对生成的图像执行逼真的对象级编辑仍然是一个挑战。最近，称为BlobGAN的2D GAN在真实世界室内场景数据集上展示了强大的多对象编辑功能。在这项工作中，我们提出了BlobGAN-3D，这是对原始2D BlobGAN的3D感知改进。我们使明确的相机姿态控制，同时保持在场景中的各个对象的解纠缠扩展到3D斑点的2D斑点。我们保留了BlobGAN的对象级编辑功能，此外还允许灵活控制场景中对象的3D位置。我们在真实世界的室内数据集上测试了我们的方法，结果表明，与2D Blob GAN和其他3D感知GAN基线相比，我们的方法可以实现相当的图像质量，同时能够在具有挑战性的多对象真实世界场景中实现相机姿态控制和对象级编辑。
2023-03-26 cs.CV
Scene-aware Learning Network for Radar Object Detection
Nanjing University（南京大学）；UC Berkeley（加州大学伯克利分校）
目标检测对于安全的自动驾驶或辅助驾驶至关重要。以往的工作通常利用RGB图像或LiDAR点云来识别和定位自动驾驶中的多个对象。然而，相机在恶劣的驾驶条件下往往会出现故障，例如恶劣的天气或微弱的照明，而LiDAR扫描仪过于昂贵，无法在商业应用中广泛部署。雷达以其高鲁棒性和低成本的特点越来越受到人们的关注。在本文中，我们提出了一个场景感知的雷达学习框架，准确和强大的目标检测。首先，学习框架包含以雷达序列的场景类别为条件的分支;每个分支针对特定类型的场景进行优化。其次，提出了三种不同的基于三维自动编码器的雷达目标检测体系结构，并在不同的体系结构上进行集成学习，以进一步提高最终的性能。第三，我们提出了新的场景感知序列混合增强（SceneMix）和场景特定的后处理，以生成更强大的检测结果。在ROD 2021挑战赛中，我们取得了平均准确率为75.0%，平均召回率为81.0%的最终结果。此外，在停车场场景中，我们的框架以97.8%的平均准确率和98.6%的平均召回率排名第一，这证明了我们的框架的有效性。
2021-07-03 cs.CV
Depth Based Semantic Scene Completion with Position Importance Aware Loss
School of Computer Science, The University of Adelaide（阿德莱德大学计算机学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Autonomous Systems Lab, ETH Zurich（苏黎世联邦理工学院自主系统实验室）
语义场景完成（SSC）是指在完成3D形状的同时推断场景的3D语义分割的任务。我们提出了PALNet，一种新的混合网络SSC的基础上单深度。PALNet利用双流网络从多个阶段提取2D和3D特征，使用细粒度的深度信息来有效地捕获场景的上下文以及几何线索。当前的SSC方法同等对待场景的所有部分，导致对对象内部的不必要的关注。为了解决这个问题，我们提出了位置感知损失（PA-损失），它在训练网络时是位置重要性感知的。具体来说，PA损失考虑局部几何各向异性来确定场景内不同位置的重要性。它有利于恢复关键细节，如对象的边界和场景的角落。在两个基准数据集上的综合实验证明了该方法的有效性和优越的性能。模型和视频演示可以在https://github.com/UniLauX/PALNet上找到。
2020-01-30 cs.CV
TSTMotion: Training-free Scene-aware Text-to-motion Generation
Singapore University of Technology and Design（新加坡科技设计大学）；Lancaster University（兰卡斯特大学）；University of Electronic Science and Technology of China（电子科技大学）；Monash University（墨尔本大学）
本文提出首个免训练的场景感知文本到动作生成框架TSTMotion，通过基础模型推理生成场景感知动作引导并修改预训练空白背景动作生成器，无需大规模场景真实动作数据即可实现三维场景中的文本驱动动作生成。
2025-05-05 cs.AI cs.CV
DAS3R: Dynamics-Aware Gaussian Splatting for Static Scene Reconstruction
National University of Singapore（新加坡国立大学）；dConstruct Robotics（dConstruct机器人公司）
DAS3R通过动态感知高斯泼溅和运动掩码实现日常视频的静态背景重建，无需相机位姿或SLAM点云，在DAVIS和Sintel上PSNR领先超过2 dB。
2024-12-27 cs.CV
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
Australian National University（澳大利亚国立大学）
本文提出了一种具有物理意识的人体运动生成框架，通过建模人体相关力的全谱，包括人体-物体、人体-环境和内部身体动力学，提升动态场景中人体运动的物理合理性。
2026-05-01 cs.CV
Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
Scene-Aware Feature Matching
Southeast University（东南大学）
针对传统点级特征匹配缺乏场景理解、复杂场景下性能下降的问题，提出采用注意力分组的SAM模型，处理多层级特征并实现分组，仅用真实匹配训练，在多任务上达SOTA，兼具精度、鲁棒性与可解释性。
2023-08-22 cs.CV
PaMoSplat: Part-Aware Motion-Guided Gaussian Splatting for Dynamic Scene Reconstruction
PaMoSplat通过引入部分感知和运动先验，提出一种动态高斯散射框架，提升动态场景重建的渲染质量和跟踪精度。
2026-05-11 cs.CV cs.GR cs.RO
PAR3D: A Unified 3D-MLLM with Part-Aware Representation for Scene Understanding
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学）
提出PAR3D框架，通过部件感知3D表示学习和层次化分割查询生成，解决现有3D-MLLM在细粒度部件理解上的不足，在部件级问答和指代分割任务上取得显著提升。
2026-06-04 cs.CV
DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK（香港中文大学）；Snap Inc.（Snap公司）；HKUST（香港科技大学）；ZJU（浙江大学）；KAUST（阿卜杜拉国王科技大学）；UCLA（加州大学洛杉矶分校）
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象，并显示有限的能力，组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示（即，无语义标注的3D边界框）作为场景布局先验，其获得简单，通用于描述各种场景内容，并且还提供信息以解开对象和背景。此外，它还可以作为场景编辑的直观用户控件。基于这样的先验知识，该模型通过仅在具有全局-局部鉴别的2D图像上进行学习，将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性，同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能，包括具有挑战性的Waymo户外数据集。项目页面：https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
From Scene-Centric to Observer-Centric: Modeling Observer-Aware Relations for 3D Scene Graph Generation
Northwestern Polytechnical University（西北工业大学）；ShanghaiTech University（上海科技大学）
提出变换感知解耦（TAD）框架，通过将关系推理分解为视角稳定和视角变化两部分，结合视角稳定的对象表示，实现3D场景图生成在偏航视角变化下的鲁棒性，无需训练时旋转增强。
2026-07-21 cs.AI cs.CV cs.GR
MAMHOI: Factorizing Scene-Aware Human-Object Interaction through Affordances
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
针对人-物-场景配对数据稀缺的问题，提出MAMHOI方法，通过可供性介导分解场景感知HOI生成，实验显示其可减少物体-场景穿透，提升交互质量与物理可行性。
2026-10-09 cs.AI cs.CV
Scene-Aware Prompt for Multi-modal Dialogue Understanding and Generation
Hunan University（湖南大学）；Institute of Automation, Chinese Academy Sciences（中国科学院自动化研究所）
本文介绍了凌静团队在NLPCC-2022-Shared-Task-4多模态对话理解与生成（MDUG）中的实验方案。MDUG任务可以分为两个阶段：多模态上下文理解和响应生成。为了充分利用场景理解和对话生成的视觉信息，我们提出了场景感知提示的MDUG任务。具体来说，我们利用多任务策略，共同建模的场景和会话多模态的理解。采用视觉字幕来感知场景信息，并使用基于场景和会话感知标签的固定类型模板提示来进一步提高对话生成性能。大量的实验结果表明，所提出的方法已达到国家的最先进的（SOTA）的性能相比，其他有竞争力的方法，其中我们排名第一，在所有三个子任务在这个MDUG的竞争。
2022-07-05 cs.CL cs.CV
ObjectGS: Object-aware Scene Reconstruction and Scene Understanding via Gaussian Splatting
University of Science and Technology of China（中国科学技术大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
本文提出ObjectGS框架，通过将对象建模为共享ID的局部锚点并结合动态锚点管理与分类损失，统一了3D高斯泼溅的场景重建与语义理解，在开放词汇和全景分割任务上取得领先性能并支持场景编辑等应用。
2025-07-21 cs.AI cs.CV cs.GR
Tri-DehazeGS: Scene--Medium Decoupled Gaussian Splatting with Transmittance-Aware Optimization
Harbin Institute of Technology（哈尔滨工业大学）；Meituan（美团）
Tri-DehazeGS通过场景-介质解耦高斯泼溅和透射率感知优化，解决雾下3D重建中的辐射纠缠与监督不足问题，提升新视角重建质量。
2026-09-11 cs.CV
BlockGAN: Learning 3D Object-aware Scene Representations from Unlabelled Images
University of Bath（巴斯大学）；Adobe Research（Adobe研究院）；UCL（伦敦大学学院）
我们提出了BlockGAN，这是一种图像生成模型，可以直接从未标记的2D图像中学习对象感知的3D场景表示。当前的场景表示学习要么忽略场景背景，要么将整个场景作为一个对象。同时，考虑场景组合性的工作仅将场景对象视为具有alpha贴图的图像补丁或2D层。受计算机图形管道的启发，我们设计BlockGAN来学习首先生成背景和前景对象的3D特征，然后将它们组合成整个场景的3D特征，最后将它们渲染成逼真的图像。这使得BlockGAN能够推理对象外观之间的遮挡和交互，例如阴影和照明，并提供对每个对象的3D姿态和身份的控制，同时保持图像的真实感。BlockGAN是端到端训练的，只使用未标记的单个图像，而不需要3D几何形状，姿势标签，对象遮罩或同一场景的多个视图。我们的实验表明，使用显式3D特征来表示对象，可以让BlockGAN在对象（前景和背景）及其属性（姿态和身份）方面学习解纠缠表示。
2020-12-02 cs.CV
Semantic-Aware Scene Recognition
Universidad Autónoma de Madrid（马德里自治大学）
场景识别是当前计算机视觉中最具挑战性的研究领域之一。这可能是由于类之间的模糊性：几个场景类的图像可能共享相似的对象，这导致它们之间的混淆。当特定场景类的图像明显不同时，该问题加剧。卷积神经网络（CNN）已经显著提高了场景识别的性能，尽管它仍然远远低于其他识别任务（例如，对象或图像识别）。在本文中，我们描述了一种新的方法，场景识别的基础上，端到端的多模态CNN，结合图像和上下文信息的注意力模块。上下文信息，在语义分割的形式，用于门的特征提取的RGB图像，通过利用在语义表示编码的信息：场景对象和东西的集合，以及它们的相对位置。该门控过程通过将CNN的感受野重新聚焦到指示性场景内容来加强对指示性场景内容的学习并增强场景消歧。在四个公开数据集上的实验结果表明，该方法在显著减少网络参数数量的同时，性能优于其他所有最先进的方法。本文中使用的所有代码和数据都可以在https://github.com/vpulab/Semantic-Aware-Scene-Recognition上获得
2020-01-22 cs.CV
LookCloser: Frequency-aware Radiance Field for Tiny-Detail Scene
SenseTime Research（商汤科技研究院）；State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）
针对现有NeRF框架难以兼顾场景整体结构与高频细节的问题，提出频率感知框架FA-NeRF，通过3D频率量化、频率网格和特征重加权实现平衡建模，性能显著优于现有方法。
2025-07-29 cs.CV
Topology-Change-Aware Volumetric Fusion for Dynamic Scene Reconstruction
拓扑变化是动态场景4D重建的一个挑战性问题。在经典的基于体融合的框架中，通常从TSDF体中提取一个网格作为正则表面表示来帮助估计变形场。然而，表面和嵌入变形图（EDG）表示带来的冲突，在拓扑变化，因为表面网格具有固定的连接，但变形场可以是不连续的。在本文中，经典的框架进行了重新设计，使4D重建的动态场景下的拓扑变化，通过引入一种新的结构的非流形体网格TSDF和EDG的重新设计，它允许通过单元分裂和复制的连接更新。实验结果表明，令人信服的重建结果的拓扑结构变化的动态场景，相比，国家的最先进的方法。
2020-07-14 cs.CV
Panoptic Neural Fields: A Semantic Object-Aware Neural Scene Representation
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；Simon Fraser University（西蒙弗雷泽大学）；Georgia Tech（佐治亚理工学院）
我们提出了Panoptic Neural Fields（PNF），这是一种对象感知的神经场景表示，它将场景分解为一组对象（事物）和背景（东西）。每个对象由一个定向的3D限界框和一个多层感知器（MLP）表示，该感知器获取位置、方向和时间，并输出密度和辐射。背景内容由类似的MLP表示，该MLP还输出语义标签。每个对象MLP都是特定于实例的，因此可以比以前的对象感知方法更小更快，同时仍然利用通过元学习初始化合并的特定于类别的先验。我们的模型建立了一个panoptic辐射场表示的任何场景，只是彩色图像。我们使用现成的算法来预测相机姿态，对象轨迹，和二维图像语义分割。然后，我们共同优化MLP的权重和限界框参数使用分析合成与自我监督的彩色图像和伪监督预测语义分割。在与真实世界的动态场景的实验中，我们发现，我们的模型可以有效地用于几个任务，如新的视图合成，2D全景分割，3D场景编辑，和多视图深度预测。
2022-05-09 cs.CV
Embodied Scene-aware Human Pose Estimation
Carnegie Mellon University（卡内基梅隆大学）
我们提出了具体的场景感知人类姿态估计，我们估计3D姿态的基础上模拟代理的本体感受和场景意识，以及外部第三人称观察。与以前的方法，往往诉诸多级优化，非因果推理，和复杂的接触建模，以估计人体姿势和人类场景的相互作用，我们的方法是一个阶段，因果关系，并恢复全球3D人体姿势在模拟环境中。由于2D第三人称观察与摄像机姿势相结合，我们建议解开摄像机姿势，并使用全局坐标系中定义的多步投影梯度作为我们的具体代理的运动提示。利用物理模拟和预扫描场景（例如，3D网格），我们在日常环境（图书馆，办公室，卧室等）中模拟我们的代理。并为我们的智能体配备环境传感器，以智能地导航并与场景的几何形状进行交互。我们的方法也仅依赖于2D关键点，并且可以在来自流行的人体运动数据库的合成数据集上进行训练。为了进行评估，我们使用了流行的H36M和PROX数据集，并在具有挑战性的PROX数据集上实现了高质量的姿势估计，而无需使用PROX运动序列进行训练。代码和视频可以在项目页面上找到。
2022-10-13 cs.CV
