Physico-Geospatial Grounded Scene Interpretation for Mobile Robotics
Trier University of Applied Sciences（特里尔应用技术大学）；University of Luxembourg（卢森堡大学）
提出利用LLM融合VLM输出、OpenStreetMap数据及传感器信息，实现移动机器人场景解读的物理-地理空间接地，在校园测试中建筑接地F1为0.83。
2026-09-09 cs.CV cs.RO
Layered Interpretation of Street View Images
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））；University of Maryland College Park（马里兰大学帕克分校）
我们提出了一个分层的街景模型编码的深度和语义信息的街景图像的自动驾驶。最近，stixels，stix-mantics和分层场景标记方法已被提出来建模街景图像。我们提出了一个4层的街景模型，一个紧凑的表示在最近提出的stix-mantics模型。我们的层编码语义类，如地面，行人，车辆，建筑物和天空，以及深度。我们算法的唯一输入是一对立体图像。我们使用深度神经网络来提取语义类的外观特征。我们使用一个简单而有效的推理算法来共同估计语义类和分层深度值。我们的方法优于其他竞争的方法在戴姆勒城市场景分割数据集。我们的算法是大规模并行化，允许GPU实现的处理速度约9 fps。
2015-07-29 cs.CV
An Immersive Multi-Elevation Multi-Seasonal Dataset for 3D Reconstruction and Visualization
Johns Hopkins University（约翰斯·霍普金斯大学）
针对缺乏评估场景重建整体进展数据集的问题，提出一个多高度、多季节、大尺度采集的 Johns Hopkins Homewood Campus 图像数据集，经多阶段标定恢复相机参数，支持无约束环境下光照与多视角重建挑战的探索。
2024-12-19 cs.CV cs.LG
Video2BEV: Transforming Drone Videos to BEVs for Video-based Geo-localization
Faculty of Science and Technology and Institute of Collaborative Innovation, University of Macau（澳门大学科学与技术学院及协同创新研究所）；Institute of Artificial Intelligence, Beihang University（北航人工智能研究所）
本文提出基于视频的无人机地理定位范式Video2BEV，利用Gaussian Splatting生成低畸变BEV并以扩散模块构造困难负样本，同时构建UniV数据集验证其性能与低仰角鲁棒性。
2025-07-27 cs.CV
Multimodal 3D Reasoning Segmentation with Complex Scenes
针对现有3D场景理解缺乏推理能力且忽视多对象复杂场景的问题，提出3D推理分割任务，构建基准ReasonSeg3D并设计网络MORE3D，实现多对象3D场景的推理与分割。
2025-08-03 cs.CV
DSM-Free UAV Visual Localization via Latent-Depth Variable Projection and Structure-Adaptive Coupling
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）；College of Electronic Science and Technology, National University of Defense Technology（国防科技大学电子科学与工程学院）
针对无GNSS环境下无人机视觉定位依赖DSM的局限，提出LDVP与SAC方法，实现无DSM定位，性能优于现有方法且缩小了与DSM-based定位的差距。
2026-10-14 cs.CV
MLF-4DRCNet: Multi-Level Fusion with 4D Radar and Camera for 3D Object Detection in Autonomous Driving
MoE Key Laboratory of Brain-Inspired Intelligence Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知教育部重点实验室，中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究院，合肥国家科学中心）；Department of Electronic Engineering and Information Science, University of Science and Technology of China（电子工程与信息科学系，中国科学技术大学）；Department of Electrical and Computer Engineering, University of Delaware（电气与计算机工程系，德克萨斯大学）
本文提出MLF-4DRCNet两阶段框架，通过点级、场景级和提议级多级融合4D雷达与相机信息，克服雷达点云稀疏噪声问题，在VoD和TJ4DRadSet数据集上达到最先进的三维目标检测性能。
2025-09-23 cs.CV
Exploring the Feasibility of Generating Realistic 3D Models of Endangered Species Using DreamGaussian: An Analysis of Elevation Angle's Impact on Model Generation
Huawei Türkiye R&D Center（华为土耳其研发中心）
本研究针对濒危物种数据稀缺的问题，采用零样本稳定扩散模型框架DreamGaussian，探究仰角对单图生成濒危物种逼真3D模型效果的影响，验证了正确仰角可显著提升生成质量，为AI助力濒危物种保护提供参考。
2023-12-15 cs.CV
LOGOS: LiDAR-Only Gaussian Elevation Splatting for Unified Tiny Obstacle Segmentation
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院）
提出LOGOS系统，通过将路面建模为2D高斯原语的连续混合，利用无反向传播的激光雷达方法估计高程，实现微小障碍物分割，在道路和越野场景中优于现有方法。
2026-06-23 cs.CV cs.RO
Query3D: LLM-Powered Open-Vocabulary Scene Segmentation with Language Embedded 3D Gaussian
Drexel University（德雷塞尔大学）
提出Query3D，将语言嵌入3D Gaussians与LLM结合，用GPT-3.5 Turbo生成训练数据并微调小模型，在WayveScenes101上实现高效开放词汇3D场景分割。
2025-01-05 cs.CV cs.LG cs.RO
Axial-Relation Guided Fusion State Space Model for Optical-Elevation Sensing Image Segmentation
State Key Laboratory of Physical Oceanography, Ocean University of China（中国海洋大学物理海洋学国家重点实验室）；Department of Electrical and Computer Engineering, Mississippi State University（密苏里州立大学电气与计算机工程系）
本文提出了一种基于状态空间模型的框架，用于光学-海拔遥感图像分割，通过引入多尺度状态空间模块和轴向关系引导融合模块，有效提升了多源遥感图像语义分割的性能和计算效率。
2026-05-16 cs.CV eess.IV
Scene-Aware Conversational ADAS with Generative AI for Real-Time Driver Assistance
InfoTech Labs, Toyota Motor North America（丰田北美信息科技实验室）
本文提出SC-ADAS框架，集成生成式AI实现场景感知与多轮对话式ADAS控制，在CARLA模拟器中验证了无需微调的实时驾驶员辅助可行性。
2025-07-14 cs.AI cs.CV cs.HC
Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder
Institute of Computing Science, Poznan University of Technology（波兹南理工大学计算机科学学院）
针对深度学习架构缺乏捕捉基础视觉概念方法的问题，提出结合领域特定语言与卷积神经网络的神经符号组合自编码器，在合成基准上实现图像形成过程解耦、小数据学习等能力。
2024-09-15 cs.CV
Bootstrapping Robotic Ecological Perception from a Limited Set of Hypotheses Through Interactive Perception
CNRS（法国国家科学研究中心）
为了解决它的任务，机器人需要有能力解释它的感知。在视觉中，这种解释特别困难，依赖于对场景结构的理解，至少在其任务和感觉运动能力的范围内。一个有能力根据自己的任务和能力构建和调整这种解释过程的机器人，将打破机器人在非受控环境中所能达到的极限。一种解决方案是为机器人提供构建不特定于环境或情况的这种表示的过程。大量的工作集中在目标分割、识别和操作上。考虑到可能的对象和环境的范围很广，仅根据其视觉外观来定义对象是具有挑战性的。因此，当前的作品对场景的结构进行了简化假设。这样的假设降低了对象提取过程对假设成立的环境的适应性。为了限制这样的假设，我们介绍了一种探索方法，旨在确定场景中的可移动元素，而不考虑对象的概念。通过使用交互式感知框架，我们的目标是引导收购过程中的代表性的环境与最小的上下文特定的假设。机器人系统建立一个感知地图称为相关性地图，它指示当前场景的可移动部分。在线训练分类器以预测每个区域的类别（可移动或不可移动）。它还用于选择与之交互的区域，目的是最大限度地减少分类的不确定性。一个特定的分类器，以满足这些需求：协作混合模型分类器。该方法是测试一组日益复杂的情况下，使用模拟和PR2机器人。
2019-01-30 cs.AI cs.CV cs.LG
MAPS: A Synthetic Dataset for Probing Vision Models in a Controlled 3D Scene Space
FIAS & Institute of Computer Science Goethe University Frankfurt（FIAS与计算机科学研究所弗赖堡大学）；Mila & Department of Biology York University（Mila与生物学系约克大学）；Institute of Computer Science Goethe University Frankfurt（计算机科学研究所弗赖堡大学）
本文提出MAPS数据集，用于在受控3D场景空间中研究视觉模型的行为，通过回归敏感性分析评估20种模型对场景因素的依赖性，发现相机距离和高度是导致识别失败的主要因素，且现代CNN和Transformer模型在敏感性上表现出相似性。
2026-05-19 cs.CV
Beyond Visual Semantics: Exploring the Role of Scene Text in Image Understanding
IIT Jodhpur（印度理工学院焦特布尔分校）；University of Rouen（鲁昂大学）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
具有视觉和场景文本内容的图像在日常生活中无处不在。然而，当前的图像判读系统大多局限于仅使用视觉特征，而忽略了利用场景文本内容。在本文中，我们提出了联合使用场景文本和视觉通道强大的图像语义解释。我们不仅提取和编码视觉和场景文本线索，而且还建模它们的相互作用，以生成具有更丰富语义的上下文联合嵌入。因此产生的上下文嵌入应用于检索和分类任务的多媒体图像，场景文本内容，以证明其有效性。在检索框架中，我们增加了我们学到的文本视觉语义表示与场景文本线索，以减轻词汇失误，可能发生在语义嵌入。为了处理场景文本的不相关或错误识别，我们还将基于查询的注意力应用于我们的文本通道。我们展示了如何多通道的方法，涉及视觉语义和场景文本，提高了最先进的。
2019-12-04 cs.CV
3D Scene-Adaptive Trajectory-Controllable Human Image Animation with Camera Movement
Engineering Research Center of Autonomous Unmanned System Technology（自主无人系统工程研究中心）；Ministry of Education（教育部）；Anhui Provincial Key Laboratory of Security Artificial Intelligence（安徽省安全人工智能重点实验室）；School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；University of Warwick（沃林格大学）；Zhejiang Yuexiu University（浙江越秀大学）；University of Surrey（萨里大学）
提出场景自适应人体动画框架，通过地面自适应3D运动重定向和视角自适应潜在融合机制，实现自然场景中人体运动与相机轨迹的可控视频生成。
2026-08-04 cs.CV
A Multi-Stage Multi-Task Neural Network for Aerial Scene Interpretation and Geolocalization
University Politehnica of Bucharest（布加勒斯特理工大学）；Autonomous Systems（自治系统）
航空图像的语义分割和基于视觉的地理定位是计算机视觉中具有挑战性的任务。由于深度卷积网络的出现和相对低成本的无人机的可用性，它们目前在该领域引起了越来越多的关注。我们提出了一种新的多任务多阶段神经网络，能够同时处理这两个问题，在一个单一的向前通过。我们的网络的第一阶段预测像素级类别标签，而第二阶段使用两个分支提供精确的位置。一个分支使用回归网络，而另一个分支用于预测作为分割任务训练的位置图。从结构的角度来看，我们的架构在每个阶段使用编码器-解码器模块，重复使用相同的编码器结构。此外，它的大小受到限制，以便在嵌入式GPU上易于处理。我们实现了商业GPS级的定位精度，从卫星图像的空间分辨率为1平方米每像素在一个城市范围内的利益。在语义分割任务中，我们在两个具有挑战性的数据集（Inria航拍图像标记数据集和马萨诸塞州建筑物）上获得了最先进的结果。
2018-04-04 cs.CV
Complete 3D Scene Parsing from an RGBD Image
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
视觉的一个主要目标是从传感器推断物体、表面及其布局的物理模型。在本文中，我们的目标是解释室内场景从一个RGBD图像。我们的表示编码的正交墙的布局和对象的范围，与CAD一样的3D形状建模。我们解析场景的可见部分和被遮挡部分以及所有可观察到的对象，从而产生完整的3D解析。这样的场景解释对于机器人和视觉推理是有用的，但是由于众所周知的分割挑战、高度遮挡以及室内场景中对象的多样性而难以产生。我们采用数据驱动的方法，生成潜在的对象区域集，与训练图像中的区域进行匹配，并传输和对齐相关的3D模型，同时鼓励与观察结果和空间一致性的拟合。我们使用支持推理来帮助解释，并提出了一个检索方案，使用卷积神经网络（CNN）的区域分类和检索具有相似形状的对象。我们在新注释的NYUd v2数据集上展示了我们的方法的性能，该数据集具有详细的3D形状。
2018-11-13 cs.CV
Holistic Interpretation of Public Scenes Using Computer Vision and Temporal Graphs to Identify Social Distancing Violations
University of Peradeniya（佩拉德尼亚大学）；University of Maryland（马里兰大学）；Technical University of Munich（慕尼黑工业大学）；Cardiff University（卡迪夫大学）
COVID-19疫情引发了前所未有的全球公共卫生危机。鉴于其固有性质，建议采取社交距离措施作为遏制疫情蔓延的主要策略。因此，查明违反这些议定书的情况，对遏制疾病的传播和促进可持续的生活方式具有重要意义。本文提出了一种新型的基于计算机视觉的系统来分析闭路电视录像，以提供对COVID-19传播的威胁级别评估。该系统致力于全面捕获和解释跨越多个帧的CCTV录像的信息内容，以识别跨时间和空间的各种违反社交距离协议的情况，以及识别群体行为。该功能主要通过利用基于时间图的结构来表示CCTV录像的信息以及整体解释图并量化给定场景的威胁级别的策略来实现。各个组件在一系列场景中进行测试和验证，整个系统根据人类专家的意见进行测试。结果反映了威胁程度对人的依赖性，他们的物理接近度，相互作用，防护服和群体动态。该系统的准确率为76%，因此可以在城市中部署威胁监测系统，以确保社会的正常性和可持续性。
2022-08-17 cs.CV
Generative Learning of Differentiable Object Models for Compositional Interpretation of Complex Scenes
Institute of Computing Science（计算科学研究所）；Poznan University of Technology（波兹南技术大学）
本文扩展 DVP 以通过潜在与图像空间损失学习多对象可微模型，并提出新二维多对象基准，证明其在重建和重叠对象分解上优于 MONet 与 LIVE。
2025-06-09 cs.CV
From the Laboratory to Real-World Application: Evaluating Zero-Shot Scene Interpretation on Edge Devices for Mobile Robotics
Laboratories for Cognitive Systems and Robotics（认知系统与机器人实验室）；University of Luxembourg（卢森堡大学）
本文评估了适用于移动机器人边缘设备的小型视觉语言模型在零样本场景解读任务中的性能与应用潜力。
2025-12-10 cs.CV cs.RO
Self-supervised Hypergraphs for Learning Multiple World Interpretations
UPB（布加勒斯特理工大学）；IMAR（罗马尼亚数学研究所）；Bitdefender（比特梵德）；NORCE（挪威研究中心）；Google Research（谷歌研究院）
本研究提出基于多任务超图的自监督方法，利用少量标注学习多场景表征，可无额外标注优化预训练VisTransformer，性能优于同类模型，同时推出适用于多任务的无人机采集大型视频数据集Dronescapes。
2023-08-21 cs.CV
Aerial Scene Parsing: From Tile-level Scene Classification to Pixel-wise Semantic Labeling
State Key Lab. LIESMARS, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）；School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）
给定航拍图像，航拍场景解析（ASP）的目标是解释图像内容的语义结构，例如，通过为图像的每个像素分配语义标签。随着数据驱动方法的普及，在过去的几十年里，ASP已经取得了可喜的进展，在使用高分辨率航空影像时，采用瓦片级场景分类或基于分割的图像分析方案来解决问题。然而，前一种方案通常产生具有瓦片式边界的结果，而后一种方案需要处理从像素到语义的复杂建模过程，这通常需要具有像素式语义标签的大规模且注释良好的图像样本。在本文中，我们解决了这些问题，在ASP中，从瓷砖级场景分类的角度，以像素明智的语义标记。具体而言，我们首先通过文献回顾重新审视航空图像判读。然后，我们提出了一个大规模的场景分类数据集，其中包含一百万航空图像，称为百万援助。使用所提供的数据集，我们还报告了使用经典卷积神经网络（CNN）的基准测试实验。最后，我们执行ASP通过统一的瓦片级场景分类和基于对象的图像分析，以实现逐像素的语义标记。密集的实验表明，Million-AID是一个具有挑战性但有用的数据集，可以作为评估新开发算法的基准。当从Million-AID传输知识时，在Million-AID上预训练的微调CNN模型在空中场景分类方面的表现始终优于预训练的ImageNet。此外，我们设计的分层多任务学习方法实现了最先进的像素级分类的具有挑战性的GID，桥接瓦片级场景分类对像素级语义标记的航空图像判读。
2022-01-09 cs.CV
Radiation Search Operations using Scene Understanding with Autonomous UAV and UGV
Virginia Tech（弗吉尼亚理工大学）；Remote Sensing Laboratory（遥感实验室）
自主搜索危险辐射源需要空中和地面系统能够了解它们正在侦察的场景。在本文中，我们提出的系统，算法和实验进行辐射搜索，使用无人机（UAV）和无人地面车辆（UGV）采用语义场景分割。航空数据用于识别感兴趣的放射点，生成正射影像以及场景的数字高程模型（DEM），并执行语义分割以将类别（例如道路、草地）分配给正射影像中的每个像素。我们通过在我们收集和注释的图像数据集上训练模型来执行语义分割，使用模型对模型看不到的测试区域的图像进行推理，然后使用DEM细化结果，以便更好地推理每个像素的类别预测。然后，我们使用所有这些输出为携带LiDAR的UGV规划路径，以绘制环境并避免飞行过程中不存在的障碍物，以及辐射探测器从地面收集更精确的辐射测量值。对每种情况的分析结果都得到了有利的检验。我们还注意到，我们的方法是通用的，并有可能适用于各种不同的传感任务。
2016-08-31 cs.CV cs.RO
Places in the Wild: A Large, High-Resolution RAW Photograph Dataset for Ecologically Valid Vision Research
Barnard College, Columbia University（哥伦比亚大学巴纳德学院）
本文提出了一个包含67,574张高分辨率RAW照片的数据集，通过360度视角采样覆盖260个场景类别，支持视角依赖识别、真实场景理解及自然场景统计研究。
2026-06-01 cs.CV
Cognitive Interpretation of Everyday Activities: Toward Perceptual Narrative Based Visuo-Spatial Scene Interpretation
University of Bremen（不来梅大学）
我们定位一个叙事为中心的计算模型，高层次的知识表示和推理的范围内的辅助技术与“视觉空间感知和认知”的任务。我们提出的叙事模型包括\emph{space, events, actions, change, and interaction}等方面，从常识推理和大规模认知系统中的学习的观点。本文的广泛重点是在智能环境，环境智能等领域的“人类活动的解释”的背景下，“智能会议摄影”域，我们的位置提出的叙事模型，感性叙事的初步工作，并立即展望构建通用的开源工具感性叙事。ACM分类：I.2人工智能：I.2.0一般-认知模拟，I.2.4知识表示形式和方法，I.2.10视觉和场景理解：架构和控制结构，运动，感知推理，形状，视频分析一般关键词：认知系统;人机交互;空间认知和计算;常识推理;空间和时间推理;辅助技术
2013-06-22 cs.AI cs.CV cs.HC
Prediction of Scene Plausibility
Reichman University（赖希曼大学）
从2D图像理解3D世界不仅仅涉及场景中对象的检测和分割。它还包括对场景元素的结构和安排的解释。这种理解通常植根于对物质世界及其局限性的认识，以及对类似典型场景如何安排的先验知识。在这项研究中，我们提出了一个新的挑战，神经网络（或其他）场景理解算法-他们可以区分合理和不合理的场景？合理性既可以从物理性质的角度来定义，也可以从功能和典型安排的角度来定义。因此，我们将可解释性定义为在真实物理世界中遇到给定场景的概率。我们建立了一个包含似是而非和难以置信的场景的合成图像数据集，并测试了各种视觉模型在识别和理解可解释性任务中的成功。
2022-12-06 cs.CV
Natural Scene Text Editing Based on AI
Beijing University of Chemical Technology（北京化工大学）
在记录的情况下，文本信息是至关重要的场景解释和决策。直接在图像上编辑文本的能力具有许多优点，包括纠错、文本恢复和图像可重用性。该研究展示了如何在字母和数字级别上改变图像文本。我设计了一个两部分字母数字网络（LDN）来编码和解码数字图像，以及学习和传输源字符的字体风格到目标字符。此方法允许您更新图片中的小写字母、小写字母和数字。
2021-11-26 cs.CV
A Computational Model for Amodal Completion
Universitat Pompeu Fabra (UPF)（庞培法布拉大学）；Centre de Visió per Computador (CVC)（计算机视觉中心）；DxO Labs（DxO实验室）
本文提出了一个计算模型，以恢复最可能的解释三维场景结构的平面图像，其中一些对象可能会遮挡他人。估计场景的解释是通过整合一些全球和本地的线索，并提供了完整的无遮挡的对象，形成的场景和他们根据深度排序。我们的方法首先计算几个远端的场景是兼容的近端平面图像。为了计算这些不同的假设场景，我们提出了一种感知启发对象的去除遮挡方法，该方法通过最小化欧拉的弹性以及通过将部分遮挡轮廓的相关性和去除遮挡对象的凸性来工作。然后，为了估计优选场景，我们依赖于贝叶斯模型，并考虑到假设场景中的对象的全局复杂性以及将这些对象带入平面图像中的相对位置的努力来定义概率，这也是通过基于欧拉弹性的量来测量的。该模型与数值实验，合成和真实图像显示我们的模型重建被遮挡的对象和它们之间的首选感知顺序的能力。我们还提出了伯克利数据集的图像上的结果与提供的图形地面地面真相标签。
2016-03-29 cs.CV
Knowledge-Aware Neuron Interpretation for Scene Classification
Tsinghua University（清华大学）；Shanxi University（山西大学）；Inria（法国国家信息与自动化研究所）；The University of Manchester（曼彻斯特大学）；The University of Edinburgh（爱丁堡大学）
针对现有模型预测解释方法的三类局限，提出融入ConceptNet知识的神经元解释框架，通过核心概念补全、概念过滤融合及模型操控验证，在场景分类任务中显著提升解释效果与原始模型性能。
2024-01-29 cs.AI cs.CV
Semi-Supervised Learning for Multi-Task Scene Understanding by Neural Graph Consensus
University Politehnica of Bucharest（布加勒斯特理工大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Google Research（谷歌研究部门）
我们通过在神经网络的图中找到共识来解决在对世界的多种视觉解释的背景下的半监督学习的挑战性问题。每个图形节点是一个场景解释层，而每个边是一个深网，将一个节点处的一个层转换为来自不同节点的另一个层。在监督阶段，边缘网络独立训练。在下一个无监督阶段，边缘网络在到达网络的开始和结束节点的多个路径之间的共识所提供的伪地面真实上进行训练。这些路径充当任何给定边缘的系综教师，并且强共识用于高置信度监督信号。无监督学习过程重复几代，其中每个边都成为“学生”，也是不同的集合“教师”的一部分，用于训练其他学生。通过优化不同路径之间的这种共识，图在面对未知标签时，在多个解释和生成过程中达到一致性和鲁棒性。我们给出了理论上的理由，提出的想法，并验证了一个大的数据集。我们展示了如何预测不同的表示，如深度，语义分割，表面法线和姿势从RGB输入可以有效地学习通过自我监督的共识，在我们的图。我们还比较了多任务和半监督学习的最先进的方法，并显示出优越的性能。
2020-12-03 cs.CV
Traffic Sign Interpretation in Real Road Scene
NWPU（西北工业大学）；Shanghai AI Lab（上海人工智能实验室）
本文提出交通标志解读（TSI）任务及多任务学习架构，将场景中语义关联的交通标志解读为自然语言，并构建了真实道路数据集TSI-CN，实验验证了该任务与架构的有效性。
2023-11-28 cs.AI cs.CV
Fine-Grained Off-Road Semantic Segmentation and Mapping via Contrastive Learning
Peking University（北京大学）；China North Vehicle Research Institute（中国北方车辆研究所）
道路检测或可通过性分析是移动机器人穿越复杂越野场景的关键技术。在早期的作品中，这个问题主要是作为一个二进制分类问题，例如将像素与道路或非道路标签相关联。而越野机器人需要理解具有细粒度标签的场景，因为场景非常多样化，并且越野机器人的各种机械性能可能导致要穿越的安全区域的不同定义。如何定义和标注细粒度的标签，以实现有意义的场景理解的机器人穿越越野仍然是一个悬而未决的问题。本研究提出一种基于对比学习的方法。利用人工标注的锚点块，学习特征表示以区分不同可穿越性的区域，并提出细粒度的语义分割和映射方法，用于越野场景理解。实验是在三个驾驶段的数据集上进行的，这些驾驶段代表了非常多样化的越野场景。锚的准确率为89.8%，通过评估与人类注释的图像块在跨场景验证的匹配。相关的三维激光雷达数据的检查，细粒度段的视觉图像被证明有不同程度的韧性和地形海拔，这代表了他们的语义意义。所得到的地图包含细粒度的标签和置信度值，提供丰富的信息，以支持机器人穿越复杂的越野场景。
2021-03-05 cs.CV cs.RO
Image interpretation by iterative bottom-up top-down processing
Weizmann Institute of Science（魏茨曼科学研究学院）
场景理解需要提取和表示场景组件以及它们的属性和相互关系。我们描述了一个模型，其中有意义的场景结构从图像中提取的迭代过程中，结合自自底向上的【形】（BU）和自上而下（TD）的网络，通过它们之间的对称双向通信（逆流结构）进行交互。该模型通过迭代使用三个组件来构建场景表示。第一个模型组件是提取所选场景元素、属性和关系的BU流。第二部分（认知增强）基于相关的非视觉存储表示来增强所提取的视觉表示。它还以TD指令的形式向第三个组件TD流提供输入，指示模型下一步执行什么任务。然后，TD流引导BU视觉流在下一个周期中执行所选择的任务。在此过程中，从图像中提取的视觉表示可以与相关的非视觉表示相结合，使得最终的场景表示基于从场景中提取的视觉信息和相关的存储的世界知识。我们描述了如何使用TD指令序列来从感兴趣的场景结构中提取，包括自动选择序列中的下一个TD指令的算法。提取过程被证明具有良好的组合推广方面的属性，以及推广到新的场景结构和新的组合的对象，属性和关系在训练过程中没有看到。最后，我们比较模型与人类视觉的相关方面，并建议方向使用BU-TD计划整合视觉和认知组件的过程中的场景理解。
2021-05-12 cs.CV q-bio.NC
OpenGF: An Ultra-Large-Scale Ground Filtering Dataset Built Upon Open ALS Point Clouds Around the World
University of Waterloo（滑铁卢大学）；Central University of Finance and Economics（中央财经大学）
由于地形的剧烈变化和地物结构的复杂性，地面滤波一直是高精度数字高程模型自动生成中的一个研究热点，但一直未能完全解决。监督式深度学习算法在3D场景理解方面的最新突破为更好地解决此类问题带来了新的解决方案。然而，专门用于地面提取的大规模和场景丰富的公共数据集很少，这在很大程度上限制了有效的基于深度学习的地面滤波方法的发展。为此，我们提出了OpenGF，第一个超大规模地面过滤数据集，覆盖超过47个$km^2$的9个不同的典型地形场景建立在开放的ALS点云的4个不同的国家在世界各地。OpenGF包含超过5亿个精细标记的地面和非地面点，是事实标准ISPRS filtertest数据集标记点数量的数千倍。我们在我们的数据集上广泛评估了最先进的基于规则的算法和3D语义分割网络的性能，并提供了全面的分析。结果证实了OpenGF能够有效地训练深度学习模型。该数据集在https://github.com/Nathan-UW/OpenGF上发布，以促进地面滤波和大规模3D地理环境理解的更先进研究。
2021-04-12 cs.CV
RescueADI: Adaptive Disaster Interpretation in Remote Sensing Images with Autonomous Agents
Beihang University（北京航空航天大学）；Tianmushan Laboratory（天目山实验室）
本文提出自适应灾害解译任务及RescueADI数据集，并设计基于大语言模型驱动的自主智能体方法，实现复杂遥感灾害场景的规划、感知与识别，准确率比现有VQA方法高9%。
2024-10-17 cs.CV
CORAL: Colored structural representation for bi-modal place recognition
State Key Laboratory of Industrial Control Technology（工业控制技术国家重点实验室）；Institute of Cyber-Systems and Control, Zhejiang University（浙江大学网络空间安全与控制学院）
位置识别是无漂移定位系统不可缺少的一部分。由于环境的变化，使用单一模态的位置识别具有局限性。在本文中，我们提出了一种双模态位置识别方法，它可以从两个模态，视觉和激光雷达提取一个复合的全局描述符。具体来说，我们首先构建从3D点生成的高程图像作为结构表示。然后，我们推导出3D点和图像像素之间的对应关系，这些对应关系进一步用于将像素级视觉特征合并到高程图网格中。通过这种方式，我们将结构特征和视觉特征融合在一致的鸟瞰框架中，产生了一种语义表征，即CORAL。整个网络被称为CORAL VLAD。牛津RobotCar上的比较表明，CORAL-VLAD具有优于其他国家的最先进的方法的性能。我们还证明了我们的网络可以推广到跨城市数据集上的其他场景和传感器配置。
2021-07-19 cs.CV cs.RO
NODIS: Neural Ordinary Differential Scene Understanding
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Twente（特文特大学）
图像语义理解是计算机视觉中一个具有挑战性的课题。它不仅需要检测图像中的所有对象，而且还需要识别它们之间的所有关系。检测到的对象，它们的标签和所发现的关系可以用于构建场景图，该场景图提供图像的抽象语义解释。在以前的作品中，关系被确定为解决一个分配问题，制定为混合线性规划。在这项工作中，我们解释，制定为常微分方程（ODE）。所提出的架构执行场景图推理，通过解决一个神经变体的ODE端到端的学习。它在所有三个基准任务上都取得了最先进的结果：场景图生成（SGGen），分类（SGCls）和视觉关系检测（PredCls）。
2020-07-18 cs.CV
The Fabrication of Reality and Fantasy: Scene Generation with LLM-Assisted Prompt Interpretation
National Yang Ming Chiao Tung University（国立阳明交通大学）；Jilin University（吉林大学）；National Taiwan University（国立台湾大学）
针对文本到图像生成在处理复杂想象提示时的局限，本文提出RFBench基准和融合扩散模型与LLM的RFNet无训练方法，经人工及GPT评估验证其优于现有方法。
2024-07-17 cs.AI cs.CV
Neural Belief Propagation for Scene Graph Generation
Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
场景图生成的目的是通过显式地对潜在对象及其关系进行建模来解释输入图像，这主要是通过先前方法中的消息传递神经网络模型来解决的。目前，这种近似模型通常假设输出变量是完全独立的，从而忽略了信息结构的高阶相互作用。这可能导致对输入图像的不一致解释。在本文中，我们提出了一种新的神经信念传播方法来产生的场景图。它采用结构贝特近似，而不是平均场近似来推断相关的边缘。为了找到更好的偏差-方差权衡，所提出的模型不仅将成对相互作用，而且将高阶相互作用纳入相关的评分函数。它在各种流行的场景图生成基准上实现了最先进的性能。
2021-12-10 cs.CV
SparseGF: A Height-Aware Sparse Segmentation Framework with Context Compression for Robust Ground Filtering Across Urban to Natural Scenes
School of Remote Sensing and Geomatics Engineering, Nanjing University of Information Science and Technology（南京信息工程大学遥感与地理信息工程学院）；Tiandu-Nuist Deep Space Exploration Laboratory（天都-南京信息工程大学深空探测实验室）；School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院）；School of Land Science and Technology, China University of Geosciences（中国地质大学（北京）土地科学与技术学院）；School of Geospatial Artificial Intelligence, East China Normal University（华东师范大学地理信息智能学院）；Department of Geography and Environmental Management, University of Waterloo（滑铁卢大学地理与环境管理系）；Department of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系）
本文提出SparseGF，通过上下文压缩模块、混合稀疏体素点网络架构和高度感知损失函数，解决大规模处理中的上下文细节矛盾和高大物体随机误分类问题，实现跨场景鲁棒的地面过滤。
2026-04-23 cs.CV
Predicting Complete 3D Models of Indoor Scenes
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
视觉的一个主要目标是从传感器推断物体、表面及其布局的物理模型。在本文中，我们的目标是解释室内场景从一个RGBD图像。我们的表示编码的墙壁布局，这必须符合曼哈顿的结构，但在其他方面是灵活的，和布局和对象的范围，与CAD类似的3D形状建模。我们表示场景的可见部分和遮挡部分，从而产生完整的3D解析。这样的场景解释对于机器人和视觉推理是有用的，但是由于众所周知的分割挑战、高度遮挡以及室内场景中对象的多样性而难以产生。我们采用数据驱动的方法，生成潜在对象区域集，与训练图像中的区域进行匹配，并传输和对齐相关的3D模型，同时鼓励与观察结果和整体一致性的拟合。我们在NYU v2数据集上展示了令人鼓舞的结果，并强调了未来工作的各种有趣方向。
2017-08-18 cs.CV
Recent advances and opportunities in scene classification of aerial images with deep models
Wuhan University（武汉大学）
场景分类是遥感图像解译的基础性工作，因其在广泛应用中的重要作用而成为遥感界的研究热点。在过去的几年里，人们为开发遥感图像场景分类的强大方法做出了巨大的努力，从传统的视觉词袋模型发展到新一代的深度卷积神经网络（CNN）。基于深度CNN的方法在性能上表现出了显着的突破，大大优于以前强烈依赖手工特征的方法。然而，深度CNN的性能在现有的公共场景数据集上逐渐趋于稳定，这是由于这些数据集的显著缺点，例如训练样本的规模小和多样性低。因此，为了促进新方法的发展，使场景分类任务更进一步，我们深入探讨了场景分类任务中存在的问题，并相应地提出了三个开放的方向。我们相信这些潜在的方向将对该领域的研究人员具有指导意义。
2018-06-04 cs.CV
Scene Separation & Data Selection: Temporal Segmentation Algorithm for Real-Time Video Stream Analysis
Southwest Jiaotong University（西南交通大学）；University of Leeds（利兹大学）
本文提出用于实时视频流分析的时间分割算法2SDS，通过比较帧间图像差异检测场景变化并结合CNN模型为各场景选择最优结果，总体准确率超90%。
2023-08-01 cs.CV
Radar Instance Transformer: Reliable Moving Instance Segmentation in Sparse Radar Point Clouds
CARIAD SE；University of Bonn（波恩大学）；University of Oxford（牛津大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对稀疏雷达点云的运动实例分割，提出Radar Instance Transformer，通过时间信息增强、全分辨率骨干和类别无关实例头，在基于RadarScenes的新基准上取得优越性能。
2023-09-28 cs.CV
Information Pursuit: A Bayesian Framework for Sequential Scene Parsing
Johns Hopkins University（约翰斯·霍普金斯大学）
尽管在目标检测和分类方面取得了巨大的进步，但将目标实例之间的预期上下文关系纳入现代识别系统的问题仍然是一个关键挑战。在这项工作中，我们提出了信息追求，贝叶斯框架的场景分析，结合先验模型的几何形状的场景和空间排列的对象实例与数据模型的输出高层次的图像分类器训练，以回答有关场景的具体问题。在拟议的框架中，现场的解释是逐步完善的证据积累从一系列问题的答案。在每一步，我们选择的问题，以最大限度地提高互信息之间的新的答案和充分的解释给定的当前证据从以前的调查。我们还提出了一种方法，用于从合成的，注释的场景中学习模型的参数，通过自上而下的采样从一个易于学习的生成场景模型。最后，我们介绍了一个数据库的注释室内场景的餐桌，我们用它来评估所提出的方法。
2017-01-09 cs.AI cs.CV stat.ML
GTPBD-MM: A Global Terraced Parcel and Boundary Dataset with Multi-Modality
Sun Yat-sen University（中山大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；China Agricultural University（中国农业大学）；Southwest Jiaotong University（西南交通大学）；Northeastern University（东北大学）；National Supercomputing Center in Shenzhen（深圳国家超算中心）
本文提出GTPBD-MM数据集，用于复杂梯田地块提取，结合高分辨率影像、文本描述和DEM数据，提出ETTerra模型，通过文本和地形信息提升提取精度。
2026-04-14 cs.CV cs.MM
Bridging the Gap between Local Semantic Concepts and Bag of Visual Words for Natural Scene Image Retrieval
Faculty of Information Technology, Applied Science Private University（应用科学私立大学信息技术学院）
研究了基于语义的自然场景图像检索问题。典型的基于内容的图像检索系统将查询图像和数据集中的图像作为低级特征的集合来处理，并且基于查询图像的特征与图像数据集中的图像的特征之间的相似性来检索图像的排序列表。然而，检索列表中排名靠前的图像（其与查询图像具有高相似性）在用户的语义解释方面可能与查询图像不同，这被称为语义差距。为了减少语义鸿沟，本文研究了如何使用视觉词模型袋和局部语义概念的分布进行自然场景检索。本文研究了使用不同的方法来表示自然场景图像中描述的语义信息，用于图像检索的效率。实验研究了利用语义信息和视觉词袋模型进行自然和城市场景图像检索的有效性。
2022-10-17 cs.CV
ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings
Dept. of ECE & ASRI（电气与电子工程系及先进科学技术研究院）；IPAI, Seoul National University（首尔国立大学 IPAI）
本文提出ODGS，一种带几何解释的全向图像3D Gaussian Splatting光栅化管线，通过切平面投影实现快速高质量3D重建。
2024-10-28 cs.CV
OntoScene, A Logic-based Scene Interpreter: Implementation and Application in the Rock Art Domain
University of Milano Bicocca（米兰比可卡大学）；University of Genova（热那亚大学）
我们提出OntoScene，一个框架，旨在理解语义的视觉场景从语义的元素和它们之间的空间关系举行。OntoScene利用本体来表示知识，利用Prolog来指定领域专家可能采用的解释规则，并实现SceneInterpreter引擎。本体论允许设计者以可重用的方式形式化域，并使系统模块化，并与现有的多智能体系统互操作，而Prolog提供了一个坚实的基础，以定义复杂的解释规则的方式，可以负担得起的，即使是没有计算逻辑背景的人。选择进行OntoScene实验的领域是史前岩石艺术，它为我们提供了一个迷人而具有挑战性的试验平台。逻辑程序设计理论与实践（Theory and Practice of Logic Programming，TPLP）
2019-11-05 cs.AI cs.CV cs.LO
Scientific image rendering for space scenes with the SurRender software
Airbus Defence and Space（空中客车防务与航天公司）
航天器的自主性可以通过基于视觉的导航（VBN）技术来增强。应用范围从围绕太阳系物体的机动和在行星表面着陆，到在轨维修或空间碎片清除。VBN算法的开发和验证依赖于物理上准确的相关图像的可用性。然而，以往特派团的档案数据很少能用于这一目的，而获取新数据往往费用高昂。SurRender软件是一个图像模拟器，它解决了逼真图像渲染的挑战，具有高度的空间场景代表性。通过光线跟踪渲染图像，光线跟踪以物理单位实现几何光传播的物理原理。使用宏观仪器模型和场景物体反射函数。SurRender特别针对太空场景进行了优化，对象和场景之间的距离高达太阳系大小。光线跟踪可以方便地处理VBN算法的一些重要影响：图像质量，日食，二次照明，亚像素边缘成像等。通过指定物体（相机，太阳，行星，卫星）随时间的位置，3D形状和材料表面属性，可以轻松设置模拟（在MATLAB，Python等中）。SurRender自带建模工具，能够超越现有的形状、材料和传感器模型（投影、时间采样、电子等）。它是原生设计来模拟不同类型的传感器（可见光，激光雷达等）。工具可用于操作大型数据集以存储地图和数字高程模型，或用于程序（分形）纹理，生成大范围观测距离（从数百万公里到着陆）的高质量图像。我们说明SurRender性能与选择的案例研究，特别强调900公里的月球飞越模拟。
2018-10-02 astro-ph.EP astro-ph.IM cs.CV
SGDiff: Scene Graph Guided Diffusion Model for Image Collaborative SegCaptioning
SGDiff通过基于场景图引导的扩散模型，实现从简单提示到多样化描述与掩码对的图像协作分割与描述任务，提升语义对齐与灵活结果选择能力。
2025-12-01 cs.CV
CAGS: Open-Vocabulary 3D Scene Understanding with Context-Aware Gaussian Splatting
University of Chinese Academy of Sciences（中国科学院大学）
针对开放词汇3D场景理解中3DGS与开放词汇框架集成时的跨视角粒度不一致问题，提出CAGS框架，通过局部图上下文传播、掩码对比学习和预计算策略，提升3D实例分割性能并减少碎片化错误。
2025-04-16 cs.CV
