SceneGraphLoc: Cross-Modal Coarse Visual Localization on 3D Scene Graphs
ETH Zurich(苏黎世联邦理工学院);Google(谷歌公司);TU Munich(慕尼黑工业大学);Microsoft(微软公司)
针对多模态3D场景图参考地图下的图像定位新问题,提出SceneGraphLoc方法学习场景图节点固定嵌入实现对象匹配,在大幅降低存储与计算开销的同时取得接近现有最优技术的性能。
2024-07-12 cs.CV
Adversarial Scene Reconstruction and Object Detection System for Assisting Autonomous Vehicle
Dong-A University(东亚大学)
在当前的计算机视觉时代,通过视频监控系统对场景进行分类是一项至关重要的任务。随着人工智能和深度学习的兴起,人工智能视频监控技术得到了长足的发展。采用深度学习视觉分类方法的优越组合,在视觉场景分类方面实现了巨大的准确性。然而,视觉分类器面临的困难,检查在黑暗的可见区域的场景,特别是在夜间。此外,分类器在识别场景的上下文方面面临困难。本文提出了一种深度学习模型,将黑暗的视觉场景重构为类似日光的清晰场景,并为自动驾驶汽车识别视觉动作。该模型在场景重建和场景理解与检测任务中分别达到了87.3%和89.2%的准确率。
2021-10-13 cs.CV eess.IV
Optimizing Fiducial Marker Placement for Improved Visual Localization
Massachusetts Institute of Technology(麻省理工学院);Microsoft(微软)
将基准标记添加到场景中是使视觉定位算法更鲁棒的众所周知的策略。传统上,这些标记位置由熟悉视觉定位技术的人选择。本文探讨的问题,自动标记放置在一个场景。具体来说,给定一组预定的标记和场景模型,我们计算优化的标记位置的场景内,可以提高视觉定位的精度。我们的主要贡献是一个新的框架建模相机定位,结合自然场景的功能和人工基准标记添加到场景中。我们提出了优化标记放置(OMP),一个贪心算法,是基于相机定位框架。我们还设计了一个模拟框架,用于在3D模型和合成场景生成的图像上测试标记放置算法。我们已经在这个测试平台中评估了OMP,并在四个不同的场景中展示了高达20%的本地化率提高。
2023-03-17 cs.CV cs.RO
A Probabilistic Framework for Visual Localization in Ambiguous Scenes
KTH Royal Institute of Technology(KTH皇家理工学院);Univrses AB(Univrses公司)
视觉定位允许自主机器人在失去其姿势时通过将其当前观察与过去的观察相匹配来重新定位。然而,模糊的场景对这样的系统提出了挑战,因为重复的结构可以从许多不同的、同样可能的相机姿势中观察到,这意味着产生单个最佳姿势假设是不够的。在这项工作中,我们提出了一个概率框架,对于一个给定的图像预测其相机姿态的任意形状的后验分布。我们这样做,通过一个新的配方相机姿态回归使用变分推理,它允许从预测的分布采样。我们的方法优于现有的方法定位在模糊的场景。代码和数据将在https://github.com/efreidun/vapor上发布。
2023-01-05 cs.CV cs.RO
Semantic-Based Active Perception for Humanoid Visual Tasks with Foveal Sensors
Instituto Superior Técnico(高等技术学院)
本研究拓展基于语义的中央凹主动感知模型至视觉搜索任务,对比传统显著性模型等,证实自上而下语义信息可显著提升场景探索与视觉搜索性能,为其与自下而上线索整合提供研究方向。
2024-04-16 cs.CV eess.IV
Perception Framework through Real-Time Semantic Segmentation and Scene Recognition on a Wearable System for the Visually Impaired
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院人形机器人与智能系统研究所);Hangzhou SurImage Technology Company Ltd.(杭州 SurImage 科技有限公司);Hangzhou KrVision Technology Company Ltd.(杭州 KrVision 科技有限公司)
由于场景信息,包括对象和场景类型,是重要的人与视觉障碍,在这项工作中,我们提出了一个多任务的高效感知系统的场景解析和识别任务。基于紧凑的ResNet骨干网,我们设计的网络架构有两个共享参数的路径。在该结构中,语义分割路径集成了快速注意,目的是以有效的方式收集长距离上下文信息。同时,场景识别路径通过将语义特征传递到语义驱动的注意力网络中,并通过门控注意力模块将语义提取的表示与RGB提取的表示相结合来实现场景类型推断。在实验中,我们已经验证了系统的准确性和效率在公共数据集和现实世界的场景。该系统在可穿戴腰带上运行,配备英特尔实感LiDAR摄像头和Nvidia Jetson AGX Xavier处理器,可以陪伴视障人士,并在他们的导航任务中提供辅助场景信息。
2021-03-06 cs.CV cs.RO eess.IV
Improving Visual Relationship Detection using Semantic Modeling of Scene Descriptions
Siemens AG(西门子股份公司);Ludwig Maximilian University(路德维希-马克西米利安大学)
图像的结构化场景描述对于大型图像数据库的自动处理和查询非常有用。我们展示了如何结合语义和视觉统计模型,可以提高图像映射到其相关的场景描述的任务。在本文中,我们考虑的场景描述表示为一组三元组(主语,谓语,宾语),其中每个三元组包括一对视觉对象,出现在图像中,和它们之间的关系(例如,人骑大象,人戴帽子)。我们结合了一个标准的视觉模型的目标检测,基于卷积神经网络,与潜在变量模型的链接预测。我们应用多个国家的最先进的链接预测方法,并比较他们的视觉关系检测的能力。链接预测方法的主要优点之一是它们还可以推广到三元组,这在训练数据中从未观察到。我们的实验结果最近发表的斯坦福大学视觉关系数据集,一个具有挑战性的现实世界的数据集,表明使用链接预测方法的语义模型的集成可以显着提高视觉关系检测的结果。与斯坦福大学计算机视觉组的最先进方法相比,我们的组合方法实现了卓越的性能。
2018-09-01 cs.AI cs.CL cs.CV
Finding 3D Scene Analogies with Multimodal Foundation Models
Institute of New Media and Communications(新媒体与通讯研究所);Dept. of Electrical and Computer Engineering(电气与计算机工程系)
本文提出利用多模态基础模型,在零样本开放词汇下通过混合神经表示和从粗到细策略发现3D场景类比,实现轨迹与路径点的准确转移。
2025-10-27 cs.CV
CC-FMO: Camera-Conditioned Zero-Shot Single Image to 3D Scene Generation with Foundation Model Orchestration
Tsinghua University(清华大学)
CC-FMO通过结合语义感知和结构化潜在表示,实现基于相机的零样本单图像到3D场景生成,提升场景连贯性和实例保真度。
2025-11-29 cs.CV
OpenSU3D: Open World 3D Scene Understanding using Foundation Models
Huawei Munich Research Center(华为慕尼黑研究中心);Technical University of Munich(慕尼黑工业大学)
针对现有3D场景理解方法需预构建场景、可扩展性差的问题,提出OpenSU3D方法,利用2D基础模型增量构建实例级3D表示,结合特征融合与大语言模型,在多数据集上实现零样本泛化并超越现有最优水平。
2024-09-15 cs.CV
ProSGNeRF: Progressive Dynamic Neural Scene Graph with Frequency Modulated Foundation Model in Urban Scenes
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);National Taiwan University(国立台湾大学)
针对大规模城市场景中快速移动对象建模及相机自我运动处理难题,提出ProSGNeRF,通过渐进式场景图网络架构学习局部场景表示,利用基础模型网络编码潜码并引入频率调制模块,提升视图合成等能力。
2026-07-13 cs.CV
Zero-Shot Novel Depth Synthesis Using 3D Foundation Models Scene Representations
New York University(纽约大学);Tandon School of Engineering(坦登工程学院);Courant Institute of Mathematical Sciences(柯朗数学科学研究所)
该研究提出基于3D基础模型的Z3D方法,通过对其内部表示做潜在扩散,实现零样本下多数据集新视角真实感深度图的预测。
2026-09-04 cs.CV
Beyond Visual Semantics: Exploring the Role of Scene Text in Image Understanding
IIT Jodhpur(印度理工学院焦特布尔分校);University of Rouen(鲁昂大学);Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
具有视觉和场景文本内容的图像在日常生活中无处不在。然而,当前的图像判读系统大多局限于仅使用视觉特征,而忽略了利用场景文本内容。在本文中,我们提出了联合使用场景文本和视觉通道强大的图像语义解释。我们不仅提取和编码视觉和场景文本线索,而且还建模它们的相互作用,以生成具有更丰富语义的上下文联合嵌入。因此产生的上下文嵌入应用于检索和分类任务的多媒体图像,场景文本内容,以证明其有效性。在检索框架中,我们增加了我们学到的文本视觉语义表示与场景文本线索,以减轻词汇失误,可能发生在语义嵌入。为了处理场景文本的不相关或错误识别,我们还将基于查询的注意力应用于我们的文本通道。我们展示了如何多通道的方法,涉及视觉语义和场景文本,提高了最先进的。
2019-12-04 cs.CV
PhysFlow: Unleashing the Potential of Multi-modal Foundation Models and Video Diffusion for 4D Dynamic Physical Scene Simulation
The Hong Kong Polytechnic University(香港理工大学);Kuaishou Technology(快手科技)
PhysFlow利用多模态基础模型识别材料并初始化参数,结合视频扩散、可微MPM和光流引导优化,实现更准确的4D动态物理场景仿真。
2025-05-08 cs.CV
Learning to Efficiently Adapt Foundation Models for Self-Supervised Endoscopic 3D Scene Reconstruction from Any Cameras
TUM(慕尼黑工业大学)
针对医疗领域基础模型直接应用效果不佳、缺乏高效适配策略的问题,提出Endo3DAC框架,通过冻结主干、训练GDV-LoRA及集成网络,实现高效自监督内窥镜3D重建,性能更优且参数更少。
2025-03-20 cs.CV
PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via Foundation Models
Tencent Youtu Lab(腾讯优图实验室)
提出免训练范式PointSeg,利用视觉基础模型解决3D场景分割问题,通过双分支提示学习与双向匹配生成3D提示,在多个数据集上显著超越现有免训练和基于训练的专用方法。
2025-07-16 cs.CV
Visual Graphs from Motion (VGfM): Scene understanding with object geometry reasoning
Istituto Italiano di Tecnologia(意大利理工学院)
最近的视觉场景理解方法试图建立一个场景图--一个对象及其成对关系的计算表示。这种丰富的语义表示是非常有吸引力的,但很难从单个图像中获得,特别是当考虑场景中复杂的空间布置时。相应地,图像序列使用由相机运动引起的多视图几何关系来传达有用的信息。实际上,在这种情况下,对象关系自然地与3D场景结构相关。为此,本文提出了一种系统,首先计算对象的几何位置在一个通用的场景,然后有效地构建场景图从视频中嵌入这样的几何推理。这种引人注目的表示是使用一种新模型获得的,其中使用RNN框架合并了几何和视觉特征。我们报告的结果,我们创建的任务,在多个视图中的3D场景图生成的数据集。
2018-11-07 cs.CV
4D-VGGT: A General Foundation Model with SpatioTemporal Awareness for Dynamic Scene Geometry Estimation
National Key Lab of Multispectral Information Intelligent Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(多谱信息智能处理国家实验室,人工智能与自动化学院,华中科技大学);School of Computing, National University of Singapore(计算学院,新加坡国立大学)
4D-VGGT通过分而治之的时空表示方法,提升动态场景几何估计的准确性和通用性。
2025-11-23 cs.CV
Visual Causal Scene Refinement for Video Question Answering
Sun Yat-sen University(中山大学)
本文提出VCSR框架,通过因果前门干预与QGR、CSS模块精炼视觉因果场景,缓解VideoQA中的伪相关问题并提升可解释性与稳健性。
2023-08-01 cs.CV
A transition towards virtual representations of visual scenes
INESC TEC;University of Porto(波尔图大学);Polytechnic of Porto(波尔图理工学院)
针对视觉场景理解算法分散、缺乏统一框架的问题,提出一种面向3D虚拟合成的适应性统一架构,并通过多应用分析与概念验证系统验证其实用性。
2024-10-10 cs.CV
Attentional Graph Convolutional Network for Structure-aware Audio-Visual Scene Classification
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));McGill University(麦吉尔大学)
视听场景理解是一个具有挑战性的问题,由于非结构化的时空关系,存在于音频信号和空间布局的不同对象和各种纹理模式的视觉图像。近年来,许多研究都集中在从卷积神经网络中提取特征,而对声音信号和视觉图像的显式语义相关帧的学习却被忽视了。为此,我们提出了一个端到端的框架,即注意力图卷积网络(AGCN),结构感知的视听场景表示。首先,声音和输入图像的频谱图通过骨干网络进行特征提取。然后,为了建立输入特征的多尺度层次信息,我们利用注意力融合机制来聚合来自骨干网络的多个层的特征。值得注意的是,为了更好地表示视听输入的显著区域和上下文信息,为视听场景表示构建了显著声学图(SAG)和上下文声学图(CAG)、显著视觉图(SVG)和上下文视觉图(CVG)。最后,构造的图通过图卷积网络进行结构感知的视听场景识别。在音频、视频和视听场景识别数据集上的大量实验结果表明,AGCN方法取得了令人满意的结果。在频谱图和图像上的可视化图形已经被呈现以显示所提出的CAG/SAG和CVG/SVG的有效性,其可以集中于显著和语义相关的区域。
2022-12-31 cs.CV
Semantically-aware Neural Radiance Fields for Visual Scene Understanding: A Comprehensive Review
Huawei Paris Research Center(华为巴黎研究中心);Centrale Lille(里尔中央理工学院);University of Lille(里尔大学);The University of Western Australia(西澳大学)
本综述分析了超250篇论文,全面探讨了语义感知神经辐射场在视觉场景理解中的作用,及其在3D表示推断、视点生成、场景补全分割和物体识别等任务中的多样化应用与发展。
2024-02-17 cs.CV
Fully Exploiting Vision Foundation Model's Profound Prior Knowledge for Generalizable RGB-Depth Driving Scene Parsing
Frontiers Science Center for Intelligent Autonomous Systems, Tongji University(同济大学智能自主系统前沿科学中心)
针对RGB-深度驾驶场景解析中视觉基础模型(VFMs)潜力未被充分挖掘的问题,提出异构特征集成Transformer(HFIT),无需重新训练ViT即可高效集成RGB与深度特征,在Cityscapes和KITTI Semantics数据集上性能优于现有方法。
2025-02-10 cs.CV
SceneScaffold: Active Scene-State Construction for Unified 3D Scene Understanding
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
SceneScaffold提出活动场景状态构建框架,将视觉瓶颈转为主动场景组织者,构建角色感知空间脚手架,提升统一三维场景理解中关系密集与空间模糊场景的推理稳定性。
2026-11-04 cs.CV
SceneAssistant: A Visual Feedback Agent for Open-Vocabulary 3D Scene Generation
Peking University(北京大学);NVIDIA(英伟达)
SceneAssistant通过视觉反馈驱动代理实现开放词汇3D场景生成,结合3D物体生成模型和视觉-语言模型的空间推理能力,生成高质量且多样化的3D场景。
2026-03-12 cs.CV
LSceneLLM: Enhancing Large 3D Scene Understanding Using Adaptive Visual Preferences
South China University of Technology(华南理工大学);Tencent Robotics X(腾讯Robotics X实验室);Northeastern University(东北大学);UMass Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Pazhou Laboratory(琶洲实验室);Sichuan University(四川大学)
提出自适应框架LSceneLLM,利用LLM视觉偏好识别任务相关区域并结合场景放大器捕捉细粒度细节,同时引入跨房间基准XR-Scene,显著提升了大型3D场景理解能力。
2025-02-02 cs.CV
Less is More: Toward Zero-Shot Local Scene Graph Generation via Foundation Models
Pennsylvania State University(宾夕法尼亚州立大学)
该研究提出局部场景图生成新任务,构建基于多基础模型协作的零样本ELEGANT框架,还设计了开放式ECLIPSE评估指标,在开/闭集设置下均取得性能提升。
2023-10-02 cs.CV
Surgical Depth Anything: Depth Estimation for Surgical Scenes using Foundation Models
Vanderbilt University(范德堡大学)
针对手术场景中单目深度估计的挑战,本文通过微调 Depth Anything 基础模型,有效解决了模糊、出血和反射等问题,显著提升了手术环境下的深度估计精度与可靠性。
2024-10-09 cs.CV
InHabit: Scaling 3D Human-Scene Interaction Data With Image Foundation Models
Bosch Center of Artificial Intelligence(博世人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学院)
提出InHabit方法,通过渲染-生成-提升流程利用2D基础模型知识自动生成3D场景中与几何一致的人体交互数据,并构建大规模数据集InHabitants,显著提升3D人体-场景重建和接触估计性能。
2026-10-30 cs.CV
GSVisLoc: Generalizable Visual Localization for Gaussian Splatting Scene Representations
Weizmann Institute of Science(魏茨曼科学研究所);NVIDIA(英伟达)
GSVisLoc是用于3D高斯喷溅场景表示的视觉定位方法,通过匹配3D高斯生成的场景特征与图像特征来估计相机位姿,分三步进行,无需修改、再训练或额外图像,在标准基准上性能优且能有效推广到新场景。
2026-07-17 cs.CV
Visual Compiler: Synthesizing a Scene-Specific Pedestrian Detector and Pose Estimator
University of Oxford(牛津大学);Carnegie Mellon University(卡内基梅隆大学);Michigan State University(密歇根州立大学);Volvo Construction(沃尔沃建筑设备公司)
我们引入的概念,产生一个场景特定的行人检测器和姿态估计,没有任何行人的观察。给定单个图像和以相机参数和场景的几何布局的形式的辅助场景信息,视觉建模器首先通过使用计算机图形绘制来推断该场景中的人的几何和光度精确图像。使用这些渲染,我们学习一个场景和区域特定的空间变化的完全卷积神经网络,同时检测,姿态估计和分割的行人。我们证明,当真正的人类注释数据是稀缺的或不存在的,我们的数据生成策略可以提供一个很好的解决方案,引导人体检测和姿态估计。实验结果表明,我们的方法优于现成的最先进的行人检测器和姿势估计器,在真实数据上训练。
2016-12-15 cs.CV
Surgical Scene Understanding in the Era of Foundation AI Models: A Comprehensive Review
MBZ University of AI(MBZ人工智能大学);Hamad Bin Khalifa University(哈马德·本·卡西姆大学);Birmingham City University(伯明翰城市大学);Qatar University(卡塔尔大学);University Hospitals Birmingham and University of Birmingham(伯明翰大学医院和伯明翰大学)
本文综述了卷积神经网络、视觉Transformer及基础模型等深度学习技术在微创手术场景理解中的应用,指出其在分割、器械跟踪和阶段识别上的提升,并探讨了数据、计算挑战及临床整合的未来方向。
2025-11-03 cs.CV
Deep learning for scene recognition from visual data: a survey
University of Groningen(格罗宁根大学)
深度学习技术的使用在过去几年中呈爆炸式增长,对人工智能领域做出了直接贡献。这项工作的目的是回顾最先进的场景识别与深度学习模型从视觉数据。场景识别是计算机视觉中的一个新兴领域,目前已从单图像和动态图像的角度进行了研究。我们首先概述了用于图像和视频场景识别的可用数据集。后来,我们描述了集成技术在该领域的研究论文。最后,我们对我们的研究结果发表了一些评论,并讨论了我们认为该领域的挑战和未来的研究方向。本文旨在成为未来的指导模型选择的任务,场景识别。
2020-07-03 cs.CV
GeneAnnotator: A Semi-automatic Annotation Tool for Visual Scene Graph
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);College of Artificial Intelligence, Xi'an Jiaotong University(西安交通大学人工智能学院)
在这篇手稿中,我们介绍了一个半自动的场景图注释工具的图像,基因注释。该软件允许人类注释者以有向图的形式描述视觉场景中参与者之间的现有关系,从而实现对视觉关系的学习和推理,例如,图像描述、VQA和场景图生成等。某些图像数据集的注释可以合并到单个VG 150数据格式文件中,以支持大多数现有的场景图学习模型,也可以转换为每个图像的单独注释文件,以构建自定义数据集。此外,GeneAnnotator提供了一个基于规则的关系推荐算法,以减少繁重的注释工作量。与GeneAnnotator,我们提出了交通基因组,一个全面的场景图数据集与1000个不同的交通图像,这反过来验证了所提出的软件场景图注释的有效性。该项目的源代码,以及使用示例和示例数据可以在Apache开源许可证下的https://github.com/Milomilo0320/A-Semi-automatic-Annotation-Software-for-Scene-Graph上获得。
2021-09-06 cs.CV
Line Drawings of Natural Scenes Guide Visual Attention
University of Electronic Science and Technology of China(电子科技大学)
视觉搜索是人类视觉系统快速感知场景的重要策略。引导搜索理论认为,全局布局或其他自上而下的场景来源在引导对象搜索中起着至关重要的作用。为了验证场景布局和区域线索在引导视觉注意中的具体作用,我们在这项工作中执行了一个心理物理实验,用眼动跟踪系统记录人类对自然场景的线条画的注视。我们收集了10名受试者从498自然图像和另外10名受试者从相应的996人标记的边界线图纸(每幅图像两个边界图)在自由观看条件下的固定。实验结果表明,在缺乏颜色、亮度等基本特征的情况下,线条画与自然图像的注视点分布具有较高的相关性。此外,与区域的基本线索相比,被试更关注线描的封闭区域,这些区域通常与场景的主导对象有关。最后,我们建立了一个计算模型,证明了在自然场景中,线画上的注视信息可以用来显着提高经典的自底向上模型的注视预测性能。这些结果支持完形特征和场景布局是指导快速视觉对象搜索的重要线索。
2019-12-19 cs.CV
Learning 4D Panoptic Scene Graph Generation from Rich 2D Visual Scene
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学)
针对4D全景场景图研究的数据稀缺、词汇表外及流水线方法性能欠佳问题,提出融合3D掩码解码器的4D-LLM、链式SG推理机制与2D到4D迁移学习框架,显著提升了生成性能。
2025-03-19 cs.CV
Visual Relationship Detection using Scene Graphs: A Survey
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
通过解码图像中描绘的视觉关系来理解场景一直是一个长期研究的问题。虽然深度学习的最新进展和深度神经网络的使用在许多任务上已经达到了接近人类的准确性,但在各种视觉关系检测任务中,人类和机器级别的性能之间仍然存在相当大的差距。早期的任务,如对象识别,分割和字幕,侧重于一个相对粗糙的图像理解的发展,最近已经引入了新的任务,以处理更精细的图像理解水平。场景图是一种更好地表示场景和其中存在的各种关系的技术。随着其在各种任务中的广泛应用,如视觉问答,语义图像检索,图像生成等,它已被证明是更深入和更好的视觉关系理解的有用工具。在本文中,我们提出了一个详细的调查场景图生成的各种技术,他们的功效表示视觉关系,以及它如何被用来解决各种下游任务。我们还试图分析该领域在未来可能取得进展的各种未来方向。作为第一篇对这一主题进行详细调查的论文之一,我们也希望对场景图进行简洁的介绍,并指导从业者开发应用方法。
2020-05-16 cs.CV
VQD: Visual Query Detection in Natural Scenes
Rochester Institute of Technology(罗切斯特理工学院);PAIGE;Cornell Tech(康奈尔科技校区)
我们提出了视觉查询检测(VQD),一个新的视觉接地任务。在VQD中,系统由自然语言引导以定位图像中可变数量的对象。VQD与视觉指称表达识别有关,其任务是仅定位一个对象。我们描述了VQD的第一个数据集,我们提出了基线算法,证明了任务的难度相比,指表达识别。
2019-04-11 cs.CV
Multimodal grid features and cell pointers for Scene Text Visual Question Answering
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出了一种新的场景文本视觉问答模型,该模型基于一种注意力机制,该机制关注与问题相关的多模态特征,允许它对场景中的文本和视觉模态进行联合推理。该注意力模块在多模态空间特征网格上的输出权重被解释为图像的某个空间位置包含给定问题的答案文本的概率。我们的实验证明了在两个标准数据集的竞争力。此外,本文提供了一种新的分析的ST-VQA数据集的基础上,人类的表现研究。
2020-06-25 cs.CV
LSVG: Language-Guided Scene Graphs with 2D-Assisted Multi-Modal Encoding for 3D Visual Grounding
School of Automation Science and Engineering, South China University of Technology(自动化科学与工程学院,华南理工大学);School of Future Technology, South China University of Technology(未来技术学院,华南理工大学)
本文提出LSVG框架,通过构建具有被指称物体判别能力的语言引导场景图,并结合2D辅助的双分支视觉编码与图注意力机制,提升3D视觉定位中相似物体区分和关系感知能力。
2025-08-15 cs.CV
Adaptive Visual Scene Understanding: Incremental Scene Graph Generation
College of Computing and Data Science, Nanyang Technological University (NTU)(南洋理工大学计算与数据科学学院);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
针对场景图生成领域持续学习研究不足的问题,本文提出包含三种学习模式的CSEGG基准,以及RAS合成重放方法,实验证明其能提升效率、兼顾隐私与内存。
2024-11-01 cs.CV
Zero-shot object prediction using semantic scene knowledge
TU Dortmund University(多特蒙德工业大学)
这项工作的重点是视觉对象识别中场景和对象之间的语义关系。语义知识可以是一个强大的信息源,特别是在很少或没有注释的训练样本的情况下。这些场景被称为zero-shot或Few-Shot识别,并且通常建立在视觉属性上。这里,不是依赖于各种视觉属性,而是追求更直接的方式:在识别图像中描绘的场景之后,场景和对象之间的语义关系用于以无监督的方式预测对象的存在。最重要的是,场景和对象之间的关系可以很容易地从外部源(例如来自Web的大规模文本语料库)获得,因此不需要大量的手动标记工作。它将被证明,在混乱的场景中,视觉识别是困难的,场景知识是预测对象的重要线索。
2016-12-22 cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司)
语义信息建模有助于场景文本识别。在这项工作中,我们提出了一个视觉语义Transformer(VST)的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后,语义信息与视觉特征图(被视为序列)相结合,以形成结合视觉和语义信息的伪多域序列,该序列随后被馈送到基于变换器的交互模块中,以使得能够学习视觉和语义特征之间的交互。通过这种方式,可以通过语义信息增强视觉特征,反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后,解码的视觉特征和增强的语义特征由第三Transformer模块联合处理,获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性,在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
From Two to One: A New Scene Text Recognizer with Visual Language Modeling Network
University of Science and Technology of China(中国科学技术大学);Huawei Cloud & AI(华为云与AI)
本文摒弃了占主导地位的复杂语言模型,重新思考场景文本识别中的语言学习过程。不同于以往的方法考虑视觉和语言信息在两个独立的结构,我们提出了一个视觉语言建模网络(VisionLAN),它认为视觉和语言信息作为一个联合体,直接与语言能力的视觉模型。特别地,我们在训练阶段引入了字符遮挡特征图的文本识别。这种操作指导视觉模型不仅使用字符的视觉纹理,而且还使用视觉上下文中的语言信息进行识别时,视觉线索混淆(例如,遮挡,噪声等)。由于语言信息与视觉特征一起获得,而不需要额外的语言模型,VisionLAN将速度显著提高了39%,并自适应地考虑语言信息,以增强视觉特征,从而实现准确识别。此外,一个遮挡场景文本(OST)数据集提出了评估的情况下,失踪的字符明智的视觉线索的性能。几个基准测试的最新结果证明了我们的有效性。代码和数据集可在https://github.com/wangyuxin87/VisionLAN上获得。
2021-08-22 cs.CV
MCTBench: Multimodal Cognition towards Text-Rich Visual Scenes Benchmark
ByteDance(字节跳动);Huazhong University of Science and Technology(华中科技大学)
针对现有基准忽视多模态大语言模型认知能力评估的问题,提出MCTBench基准,通过视觉推理与内容创作任务结合自动评估流水线,揭示模型认知能力有待提升。
2024-10-15 cs.CV
Visual Commonsense Driven Knowledge Refinements for Scene Graph Generation
Computing Science Department, Umeå University(乌梅大学计算机科学系);School of Computer Science & Engineering, Constructor University(构造大学计算机科学与工程学院);School of Science and Technology, Örebro University(Örebro大学科学与技术学院);CoDesign Lab EU.(欧盟CoDesign实验室)
提出一种模型无关的语义引导知识精炼框架,通过挖掘训练数据中的常识约束并利用声明式常识推理在推理时修正场景图预测,无需人工规则或重新训练,在三个基准上持续提升强基线性能。
2026-06-04 cs.CV
Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds
Bosch Research, Robert Bosch GmbH(博世研究,罗伯特·博世有限公司);Institute for Neuro- and Bioinformatics, University of Lübeck(神经与生物信息学研究所,吕贝克大学)
本文提出PointINS框架,通过几何感知学习增强点云表示,引入ODR和SCR正则化策略,提升实例定位性能,在多个数据集上实现更优的mAP和PQ指标。
2026-09-15 cs.CV
Integrating Scene Text and Visual Appearance for Fine-Grained Image Classification
Huazhong University of Science and Technology (HUST)(华中科技大学);EPITA Research and Development Laboratory(EPITA研发实验室);University of Rochester(罗切斯特大学)
自然图像中的文本包含丰富的语义,通常与对象或场景高度相关。在本文中,我们专注于充分利用场景文本的视觉理解的问题。其主要思想是将单词表示和深度视觉特征结合到一个全局可训练的深度卷积神经网络中。首先,通过场景文本阅读系统获得识别的单词。然后,我们将识别出的单词的词嵌入和深度视觉特征结合到一个单一的表示中,该表示由卷积神经网络进行优化,用于细粒度的图像分类。在我们的框架中,注意力机制被用来揭示每个识别词与给定图像之间的相关性,这进一步提高了识别性能。我们在两个数据集上进行了实验:Con-Text数据集和饮料瓶数据集,分别用于商业场所和饮料瓶的细粒度分类。实验结果一致表明,所提出的方法相结合的文本和视觉线索显着优于分类只有视觉表示。此外,我们已经表明,学习的表示提高了饮料瓶图像的检索性能的大幅度提高,使其在产品搜索中有潜在的用途。
2017-05-30 cs.CV
Semi-supervised 3D Semantic Scene Completion with 2D Vision Foundation Model Guidance
VinAI Research(VinAI研究院);Ho Chi Minh City University of Technology(胡志明市技术大学)
针对3D语义场景补全依赖昂贵密集标注的问题,提出利用2D视觉基础模型提供几何与语义引导的半监督框架,仅用10%标注数据即达到全监督性能的85%。
2025-01-09 cs.CV
Self-localization Using Visual Experience Across Domains
University of Fukui(福井大学)
在这项研究中,我们的目标是解决单视图机器人自定位问题,通过使用跨域的视觉经验。虽然词袋方法构成了一种流行的单视图本地化方法,但当在不同领域学习和测试其视觉词汇时,它会严重失败。此外,我们有兴趣使用跨域设置,其中视觉词汇是在不同的季节和路线从输入查询/数据库场景学习。我们的策略是挖掘一个跨领域的视觉体验,在不同领域收集的原始视觉图像库,发现相关的视觉模式,有效地解释输入场景,并使用它们进行场景检索。特别是,我们表明,挖掘的视觉模式的查询场景的外观和姿态可以有效地和歧视性地匹配对那些数据库的场景,采用图像到类的距离和空间金字塔匹配。使用一个新的跨域数据集获得的实验结果表明,我们的系统取得了可喜的成果,尽管我们的视觉词汇被学习和测试在不同的领域。
2015-09-25 cs.CV
Visual Distant Supervision for Scene Graph Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);University of Hamburg(汉堡大学)
场景图生成的目的是识别图像中的对象及其关系,提供结构化的图像表示,可以促进计算机视觉中的许多应用。然而,场景图模型通常需要对大量带有密集人工注释的标记数据进行监督学习。在这项工作中,我们提出了视觉远程监督,一种新的范式的视觉关系学习,它可以训练场景图模型,没有任何人类标记的数据。直觉是,通过对齐常识知识库和图像,我们可以自动创建大规模的标记数据,为视觉关系学习提供远程监督。为了减轻噪声在遥远的标记数据,我们进一步提出了一个框架,迭代估计的概率关系标签,并消除噪声。综合实验结果表明,我们的远程监督模型优于强,弱监督和半监督基线。通过以半监督的方式进一步结合人类标记的数据,我们的模型比最先进的全监督模型表现更好(例如,8.3 Visual Genome评估中谓词分类的微观和7.8宏观召回率(50次改进)。我们在https://github.com/thunlp/VisualDS上公开了本文的数据和代码。
2021-08-20 cs.CV
Bridging the Gap between Local Semantic Concepts and Bag of Visual Words for Natural Scene Image Retrieval
Faculty of Information Technology, Applied Science Private University(应用科学私立大学信息技术学院)
研究了基于语义的自然场景图像检索问题。典型的基于内容的图像检索系统将查询图像和数据集中的图像作为低级特征的集合来处理,并且基于查询图像的特征与图像数据集中的图像的特征之间的相似性来检索图像的排序列表。然而,检索列表中排名靠前的图像(其与查询图像具有高相似性)在用户的语义解释方面可能与查询图像不同,这被称为语义差距。为了减少语义鸿沟,本文研究了如何使用视觉词模型袋和局部语义概念的分布进行自然场景检索。本文研究了使用不同的方法来表示自然场景图像中描述的语义信息,用于图像检索的效率。实验研究了利用语义信息和视觉词袋模型进行自然和城市场景图像检索的有效性。
2022-10-17 cs.CV
Scene Motion Decomposition for Learnable Visual Odometry
Samsung AI Center Russia(三星俄罗斯人工智能中心)
光流(OF)和深度通常用于视觉里程计,因为它们提供了关于刚性场景中相机自运动的足够信息。我们重新制定的自我运动估计的问题作为一个问题的运动估计的三维场景相对于一个静态相机。整个场景运动可以表示为其可见点的运动的组合。使用OF和深度,我们根据6DoF来估计每个点的运动,并以运动图的形式表示结果,每个运动图都处理单个自由度。在这项工作中,我们提供运动地图作为输入到一个深度神经网络,预测场景运动的6DoF。通过我们对室外和室内数据集的评估,我们表明,与深度和OF的朴素堆叠相比,利用运动地图可以提高精度。我们工作的另一个贡献是一种新型的网络架构,它有效地利用了运动映射,并优于可学习的RGB/RGB-D基线。
2019-07-16 cs.CV
Scene Graph Thinking: Reinforcing Structured Visual Reasoning for Multimodal Large Language Models
Fudan University(复旦大学)
针对多模态大语言模型忽视结构化关系的问题,提出场景图思维(SaGe)范式,通过自动数据引擎转换数据、构建训练数据,采用两阶段图对齐训练范式,在多模态基准测试中取得显著改进,提升细粒度感知和推理能力。
2026-07-14 cs.CV