Arbitrary-Oriented Scene Text Detection via Rotation Proposals
Fudan University（复旦大学）；Shanghai Advanced Research Institute, Chinese Academy of Sciences（中国科学院上海高等研究院）
本文介绍了一种新的基于旋转的框架，在自然场景图像中的任意方向的文本检测。我们提出了旋转区域建议网络（RRPN），这是专为产生倾斜的建议与文本方向角信息。然后，角度信息被适配用于限界框回归，以使建议在取向方面更准确地适合文本区域。旋转感兴趣区域（RRoI）池层被提出来将任意方向的建议投影到文本区域分类器的特征图上。整个框架是建立在一个区域建议为基础的架构，这保证了计算效率的任意面向文本检测相比，以前的文本检测系统。我们使用基于旋转的框架在三个真实场景文本检测数据集上进行实验，并证明了其在有效性和效率方面优于以前的方法。
2018-03-15 cs.CV
Rotation-Sensitive Regression for Oriented Scene Text Detection
Huazhong University of Science and Technology（华中科技大学）；Wuhan University（武汉大学）
自然图像中的文本是任意方向的，需要根据有向边界框进行检测。通常，多方向文本检测器通常涉及两个关键任务：1）文本存在检测，这是一个不考虑文本方向的分类问题; 2）有向限界框回归，它关注文本方向。以前的方法依赖于两个任务的共享功能，由于两个任务的不兼容性导致性能下降。为了解决这个问题，我们建议对不同特征的特征进行分类和回归，这些特征由不同设计的两个网络分支提取。具体地，回归分支通过主动旋转卷积滤波器来提取旋转敏感特征，而分类分支通过池化旋转敏感特征来提取旋转不变特征。在ICDAR 2015、MSRA-TD 500、RCTW-17和COCO-Text三个面向场景的文本基准数据集上，该方法取得了最好的性能。此外，RRD实现了一个船舶集合数据集上的显着改善，展示了其在面向目标检测的通用性。
2018-03-14 cs.CV
FC2RN: A Fully Convolutional Corner Refinement Network for Accurate Multi-Oriented Scene Text Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
目前的场景文本检测工作主要集中在曲线文本检测上。然而，在实际应用中，曲线文本比多方向文本更稀缺。准确检测尺度、方向和纵横比变化较大的多方向文本具有重要意义。在面向多个方向的检测方法中，场景文本几何形状的直接回归方法具有简单但功能强大的特点，在学术界和工业界得到了广泛的应用，但由于感受野的限制，它可能会产生不完美的检测结果，特别是对于长文本。在这项工作中，我们的目标是改善这一点，同时保持管道简单。提出了一种全卷积角点细化网络（FC2 RN）用于精确的多方向文本检测，该网络在一次通过中获得初始角点预测和细化角点预测。通过一种新的四边形RoI卷积操作，将初始四边形预测编码到特征图中，该特征图可进一步用于预测初始预测与地面实况之间的偏移，并输出精确的置信度得分。在MSRA-TD 500、ICDAR 2017-RCTW、ICDAR 2015和COCO-Text等四个公共数据集上的实验结果表明，FC2 RN的性能优于现有的方法。消融研究表明，角细化和评分的准确文本定位的有效性。
2020-07-10 cs.CV
Exploiting Long-Term Dependencies for Generating Dynamic Scene Graphs
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔研究院）
由于场景的时间动态性和预测的固有时间波动，从视频生成动态场景图是具有挑战性的。我们假设捕捉长期的时间依赖性是有效生成动态场景图的关键。我们建议通过使用Transformers捕获对象级长期tracklet的对象级一致性和对象间关系动态来学习视频中的长期依赖关系。实验结果表明，我们的动态场景图检测Transformer（DSG-DETR）优于国家的最先进的方法的基准数据集动作基因组的显着保证金。我们的消融研究验证了所提出的方法的每个组成部分的有效性。源代码可在https://github.com/Shengyu-Feng/DSG-DETR上获得。
2022-10-19 cs.CV
Deep Direct Regression for Multi-Oriented Scene Text Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在本文中，我们首先提供了一个新的角度来划分现有的高性能目标检测方法直接和间接回归。直接回归通过预测给定点的偏移量来执行边界回归，而间接回归则预测某些限界框建议的偏移量。然后分析了Faster-RCNN和SSD等最新检测结构所采用的间接回归方法在多方向场景文本检测中的不足，指出了直接回归方法的潜在优势。为了验证这一观点，我们提出了一种基于深度直接回归的多方向场景文本检测方法。我们的检测框架简单有效，具有完全卷积网络和一步后处理。全卷积网络以端到端的方式进行优化，并具有双任务输出，其中一个是文本和非文本之间的像素分类，另一个是直接回归以确定四边形文本边界的顶点坐标。所提出的方法是特别有益的定位附带场景文本。在ICDAR 2015偶然场景文本基准测试中，我们的方法达到了81%的F1测量值，这是一种新的最先进的方法，明显优于以前的方法。在其他具有聚焦场景文本的标准数据集上，我们的方法也达到了最先进的性能。
2017-03-24 cs.CV
TextBoxes++: A Single-Shot Oriented Scene Text Detector
Huazhong University of Science and Technology（华中科技大学）
场景文本检测是场景文本识别系统的重要环节，也是一个具有挑战性的问题。与一般的目标检测不同，场景文本检测的主要挑战在于自然图像中文本的任意方向、小尺寸和显著变化的长宽比。在本文中，我们提出了一个端到端可训练的快速场景文本检测器，名为TextBoxes++，它可以在单个网络前向传递中以高精度和高效率检测任意方向的场景文本。除了有效的非最大抑制之外，不涉及后处理。我们已经在四个公共数据集上评估了拟议的TextBoxes++。在所有实验中，TextBoxes++在文本定位准确性和运行时间方面优于竞争方法。更具体地说，TextBoxes++对于1024*1024 ICDAR 2015 Incidental文本图像在11.6fps下的f值为0.817，对于768*768 COCO-Text图像在19.8fps下的f值为0.5591。此外，与文本识别器相结合，TextBoxes++在流行的基准测试中显著优于最先进的单词识别和端到端文本识别任务方法。代码可在：https://github.com/MhLiao/TextBoxes_plusplus
2018-04-27 cs.CV
Clouds of Oriented Gradients for 3D Detection of Objects, Surfaces, and Indoor Scene Layouts
Georgia Institute of Technology（佐治亚理工学院）；University of California, Irvine（加州大学欧文分校）
我们开发新的表示和算法的三维（3D）目标检测和空间布局预测在杂乱的室内场景。我们首先提出了一个云的定向梯度（COG）描述符，链接的2D外观和3D姿态的对象类别，从而准确地模拟透视投影如何影响感知图像梯度。为了更好地表示大对象的3D视觉风格，并提供上下文线索，以提高小对象的检测，我们引入潜在的支持表面。然后，我们提出了一个“曼哈顿体素”表示，更好地捕捉常见的室内环境的三维房间布局几何。有效的分类规则是通过潜在的结构化预测框架学习的。通过级联分类器捕获类别和布局之间的上下文关系，从而产生超越SUN RGB-D数据库最先进水平的整体场景假设。
2019-06-11 cs.CV
Pixel-Anchor: A Fast Oriented Scene Text Detector with Combined Networks
Cloudwalk Technology（云从科技）
近年来，语义分割和通用目标检测框架已被场景文本检测任务广泛采用。但二者在实践中都存在明显的不足。在本文中，我们提出了一种新的端到端可训练的深度神经网络框架，称为Pixel-Anchor，它通过特征共享和锚级注意力机制将语义分割和SSD结合在一个网络中来检测定向场景文本。为了处理场景文本的大小和纵横比有很大的变化，我们结合FPN和ASPP操作作为我们的编码器-解码器结构的语义分割部分，并提出了一种新的自适应预测层的SSD。Pixel-Anchor在单个网络前向传递中检测场景文本，除了涉及有效的融合非最大值抑制之外，没有复杂的后处理。我们已经在公共数据集上对建议的Pixel-Anchor进行了基准测试。Pixel-Anchor在文本定位精度和运行速度方面优于竞争方法，更具体地说，在ICDAR 2015数据集上，所提出的算法在960 x 1728分辨率图像的10 FPS下实现了0.8768的F分数。
2018-11-19 cs.CV
Object-oriented Targets for Visual Navigation using Rich Semantic Representations
Numediart（努梅迪亚特研究所）；University of Mons（蒙斯大学）
当搜索对象时，人类使用语义信息和空间关系在场景中导航。我们寻找一个对象使用我们的知识，其属性和与其他对象的关系，以推断可能的位置。在本文中，我们建议解决视觉导航问题，使用丰富的语义表示的观察场景和面向对象的目标训练代理。我们表明，这两种方法都允许代理在很短的训练时间内推广到新的目标和看不见的场景。
2018-12-17 cs.CV
Multi-Oriented Scene Text Detection via Corner Localization and Region Segmentation
Huazhong University of Science and Technology（华中科技大学）；Megvii Technology Inc.（旷视科技有限公司）；National University of Singapore（新加坡国立大学）
先前基于深度学习的最先进的场景文本检测方法可以大致分为两类。第一类将场景文本作为一般对象，遵循一般的目标检测范式，通过文本框位置的回归来定位场景文本，但由于场景文本的任意方向性和大的长宽比而受到困扰。第二种方法直接分割文本区域，但大多需要复杂的后处理。在本文中，我们提出了一种方法，结合了这两种类型的方法的思想，同时避免了它们的缺点。我们建议通过定位文本边界框的角点并在相对位置分割文本区域来检测场景文本。在推理阶段，通过对角点进行采样和分组来生成候选框，并通过分割图对候选框进行评分和NMS抑制。与以前的方法相比，我们的方法可以自然地处理长文本，不需要复杂的后处理。在ICDAR 2013、ICDAR 2015、MSRA-TD 500、MLT和COCO-Text上的实验表明，该算法在准确率和效率上都取得了较好的效果。基于VGG 16，它在ICDAR 2015上实现了84.3%的F测量，在MSRA-TD 500上实现了81.5%的F测量。
2018-02-27 cs.CV
Task-oriented Sequential Grounding and Navigation in 3D Scenes
BIGAI（北京智源人工智能研究院）；Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）
本文提出面向任务的3D顺序定位与导航新任务及SG3D大规模数据集，并设计SG-LLM逐步定位方法，揭示多步骤上下文理解的挑战。
2025-03-08 cs.CV
Exploiting Spatial-Temporal Semantic Consistency for Video Scene Parsing
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Automation and Electrical Engineering, University of Science and Technology Beijing（北京科技大学自动化与电气工程学院）
与图像场景解析相比，视频场景解析引入了时间信息，可以有效提高预测的一致性和准确性。在本文中，我们提出了一个时空语义一致性的方法来捕获类排他的上下文信息。具体地说，我们设计了一个时空一致性损失，以限制在空间和时间维度的语义一致性。此外，我们采用伪标记策略来丰富训练数据集。我们在VSPW的开发（测试部分1）和测试集上分别获得了59.84%和58.85%的mIoU。我们的方法在ICCV2021的VSPW挑战赛中获得第一名。
2021-09-06 cs.CV
Embedding Rotation Invariance for Provable Multi-Oriented Scene Text Recognition
Sun Yat-sen University（中山大学）；Baidu Inc.（百度公司）；Nanjing University of Science and Technology（南京理工大学）
本研究提出带理论保证的端到端旋转不变场景文本识别网络RISTER，通过编码器嵌入旋转等变性、解码器嵌入旋转不变性，在多方向场景文本识别任务上实现最优性能且无额外推理成本。
2026-08-12 cs.CV
Exploiting Scene-specific Features for Object Goal Navigation
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
一个物体和它通常所在的房间之间的内在关系能帮助智能体完成视觉导航任务吗？我们研究这个问题的背景下，对象导航，一个问题，其中代理必须达到一个特定的类的对象，而在一个复杂的国内环境中移动。在本文中，我们介绍了一种新的简化数据集，它可以加快导航模型的训练，这是一项非常复杂的任务。我们提出的数据集允许在合理的时间内训练不利用在线构建的地图的模型，即使不使用巨大的计算资源。因此，这个简化的数据集保证了一个重要的基准，它可以用来识别有前途的模型，然后可以在更大和更具挑战性的数据集上进行尝试。随后，我们提出了SMTSC模型，这是一种基于注意力的模型，能够利用其中包含的场景和对象之间的相关性，定量地突出了这个想法是正确的。
2020-08-21 cs.CV
Exploiting Scene Graphs for Human-Object Interaction Detection
Monash University（莫纳什大学）；University of Electronic Science and Technology of China（电子科技大学）
人-物交互检测是一项基本的视觉任务，旨在定位和识别人与物体之间的交互。现有的作品侧重于人类和物体的视觉和语言特征。然而，他们没有利用图像中存在的高级和语义关系，这为HOI推断提供了关键的上下文和详细的关系知识。我们提出了一种新的方法来利用这些信息，通过场景图，人-物交互（SG 2 HOI）检测任务。我们的方法，SG 2 HOI，结合SG信息在两个方面：（1）我们嵌入一个场景图到一个全局上下文线索，作为场景特定的环境上下文;（2）我们建立了一个关系感知的消息传递模块来收集对象的邻居之间的关系，并将它们转换为交互。实证评估表明，我们的SG 2 HOI方法优于两个基准HOI数据集：V-COCO和HICO-DET的最先进的方法。代码将在https://github.com/ht014/SG2HOI上提供。
2021-08-19 cs.CV
Know Your Surroundings: Exploiting Scene Information for Object Tracking
ETH Zürich（苏黎世联邦理工学院）
当前最先进的跟踪器仅依赖于目标外观模型，以便在每个帧中定位对象。然而，这样的方法在例如快速外观变化或存在干扰物对象的情况下容易失败，其中单独的目标外观模型不足以进行鲁棒跟踪。在这种情况下，了解周围场景中其他对象的存在和位置是非常有益的。该场景信息可以通过序列传播，并且用于例如明确地避免干扰物对象并消除目标候选区域。在这项工作中，我们提出了一种新的跟踪架构，可以利用场景信息进行跟踪。我们的跟踪器代表这样的信息，密集的本地化状态向量，它可以编码，例如，如果本地区域是目标，背景，或干扰。这些状态向量通过序列传播，并与外观模型输出相结合，以定位目标。我们的网络通过直接最大化视频片段的跟踪性能来有效地利用场景信息。所提出的方法在3个跟踪基准上设置了一个新的最先进的水平，在最近的GOT-10 k数据集上实现了63.6%的AO得分。
2020-05-01 cs.CV
ROAD: Reality Oriented Adaptation for Semantic Segmentation of Urban Scenes
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
近年来，利用合成数据来学习深度模型引起了越来越多的关注。然而，合成图像和真实图像之间的固有域差异通常会导致将学习模型应用于真实世界场景时的显着性能下降。这主要是由于两个原因：1）模型过拟合到合成图像，使得卷积滤波器不能为真实图像提取信息表示; 2）合成数据和真实数据之间存在分布差异，这也被称为领域自适应问题。为此，我们提出了一种新的面向现实的适应方法，通过学习合成数据的城市场景语义分割。首先，我们提出了一种目标引导的蒸馏方法来学习真实的图像风格，这是通过训练分割模型来模仿使用真实图像的预训练真实风格模型来实现的。其次，我们进一步利用城市场景图像的内在空间结构，并提出了一个空间感知的自适应方案，以有效地对齐两个域的分布。这两个模块可以很容易地与现有的最先进的语义分割网络集成，以提高其泛化能力时，从合成到真实的城市场景。通过对GTAV和SYNTHIA数据集的调整，我们在Cityscapes数据集上对所提出的方法进行了评估，结果表明了我们方法的有效性。
2018-04-07 cs.CV
Exploiting Relationship for Complex-scene Image Generation
JD AI Research（京东人工智能研究院）；Ryerson University（瑞尔森大学）
生成对抗网络（GANs）的重大进展促进了基于语言输入的真实单对象图像生成。然而，复杂的场景生成（多个对象之间的各种交互）仍然遭受混乱的布局和对象失真，由于布局和外观的不同配置。现有的方法大多是对象驱动的，忽略了它们之间的相互关系，在复杂的场景图像中发挥了重要作用。这项工作探讨了关系感知的复杂场景图像生成，其中多个对象是相互关联的场景图。在关系的帮助下，我们提出了生成框架中的三个主要更新。首先，合理的空间布局推断联合考虑语义和对象之间的关系。与标准位置回归相比，我们发现相对尺度和距离是一个更可靠的目标。其次，由于对象之间的关系显着影响对象的外观，我们设计了一个关系引导的生成器来生成对象反映他们的关系。第三，提出了一种新的场景图映射方法，保证了生成图像与输入场景图的一致性。我们的方法倾向于合成合理的布局和对象，尊重图像中多个对象的相互作用。在Visual Genome和HICO-DET数据集上的实验结果表明，我们提出的方法在IS和FID指标方面明显优于现有技术。基于我们的用户研究和视觉检查，我们的方法是更有效地生成逻辑布局和外观的复杂场景。
2021-04-01 cs.CV
Scale-Invariant Multi-Oriented Text Detection in Wild Scene Images
Heritage Institute of Technology, Kolkata（加尔各答传统理工学院）；Indian Statistical Institute, Kolkata（印度统计研究所加尔各答分所）
在野外的场景文本的自动检测是一个具有挑战性的问题，特别是由于在处理（一）不同百分比的遮挡，（二）广泛不同的尺度和方向，（三）在图像质量等严重退化的困难。在这篇文章中，我们提出了一个完整的卷积神经网络架构，包括一个新的特征表示块（FRB）能够有效地抽象信息。所提出的网络已经训练使用课程学习方面的困难，在图像样本和逐步像素模糊。它能够检测不同尺度和方向的文本，这些文本受到来自多个可能来源的模糊、非均匀照明以及不同百分比的部分遮挡的影响。该框架在各种基准样本数据库（包括ICDAR 2015、ICDAR 2017 MLT、COCO-Text和MSRA-TD 500）上的文本检测性能显著提高了各自的最新结果。拟议架构的源代码将在github上提供。
2020-02-15 cs.CV
Language-Driven Object-Oriented Two-Stage Method for Scene Graph Anticipation
Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（计算机科学与工程系，香港科学与技术大学）；Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center, Qilu University of Technology（计算能力网络与信息安全重点实验室，教育部，山东计算机科学中心，齐鲁大学）；Academy of Interdisciplinary Studies, The Hong Kong University of Science and Technology（跨学科研究学院，香港科学与技术大学）
本文提出基于语言的面向对象两阶段方法，通过时间一致性正则化预测对象集动态和关系轨迹，显著提升视频场景图预见性能。
2025-12-03 cs.CV
Exploiting Implicit Rigidity Constraints via Weight-Sharing Aggregation for Scene Flow Estimation from Point Clouds
本文提出一种隐式利用刚性约束的权重共享聚合(WSA)方法和形变度模块，并将其集成到PointPWC-Net构建WSAFlowNet，在FlyingThings3D和KITTI数据集上大幅提升了场景流估计性能。
2023-04-01 cs.CV
Chat-Scene++: Exploiting Context-Rich Object Identification for 3D LLM
School of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出Chat-Scene++框架，通过将3D场景表示为语境丰富的物体序列，提升细粒度物体定位和上下文推理能力，在五个3D视觉语言基准测试中取得最佳性能。
2026-04-26 cs.CV
SOP^2: Transfer Learning with Scene-Oriented Prompt Pool on 3D Object Detection
National Yang Ming Chiao Tung University（国家阳明交通大学）；Internet of Things Laboratory（物联网实验室）；Chunghwa Telecom Laboratories（中华电信实验室）
本文提出SOP²，一种基于场景导向提示池的3D目标检测迁移学习方法，旨在提升模型在不同场景下的适应能力。
2025-12-09 cs.CV
FlashWorld: High-quality 3D Scene Generation within Seconds
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学）；Tencent（腾讯）；Yes Lab, Fudan University（复旦大学Yes实验室）
FlashWorld提出一种从单图或文本快速生成高质量3D场景的模型，通过双模态预训练和跨模态蒸馏，实现比以往快10-100倍的速度并保持优越渲染质量。
2025-10-15 cs.CV
MOST: A Multi-Oriented Scene Text Detector with Localization Refinement
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
在过去的几年中，场景文本检测领域取得了迅速的进展，现代文本检测器能够在各种具有挑战性的场景中捕获文本。但是，在处理极端纵横比和不同比例的文本实例时，它们可能仍然不够。为了解决这些困难，本文提出了一种新的场景文本检测算法，提出了一套策略，显着提高文本定位的质量。具体而言，文本特征对齐模块（TFAM）提出了基于初始原始检测动态调整特征的感受野;位置感知非最大值抑制（PA-NMS）模块被设计为选择性地集中于可靠的原始检测并排除不可靠的检测;此外，我们提出了用于平衡训练的实例IoU损失，以处理不同尺度的文本实例。一项广泛的消融研究证明了所提出的策略的有效性和优越性。由此产生的文本检测系统，它集成了所提出的策略与领先的场景文本检测器EAST，实现了最先进的或有竞争力的性能在各种标准的基准文本检测，同时保持快速的运行速度。
2021-04-05 cs.CV
Towards Better Exploiting Convolutional Neural Networks for Remote Sensing Scene Classification
Universidade Federal de Minas Gerais (UFMG)（米纳斯吉拉斯联邦大学）；SAMSUNG Research Institute（三星研究院）
我们分析了三种可能的策略，以利用现有卷积神经网络（ConvNets）在不同场景下的能力：完全训练，微调，以及使用ConvNets作为特征提取器。在许多应用中，特别是包括遥感，完全设计和训练一个新的ConvNet是不可行的，因为这通常需要大量的标记数据，并要求高计算成本。因此，了解如何从现有ConvNets中获得最佳利润非常重要。我们使用三个遥感数据集与六个流行的ConvNets进行实验。我们还将每个策略中的ConvNets与现有描述符和最先进的基线进行比较。结果指出，微调往往是最好的执行策略。事实上，使用线性SVM的微调ConvNet的特征可以获得最佳结果。我们还为所使用的三个数据集取得了最先进的结果。
2016-02-04 cs.CV
Canonical Voting: Towards Robust Oriented Bounding Box Detection in 3D Scenes
Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
由于传感器和点云深度学习方法的进步，3D目标检测引起了人们的广泛关注。目前最先进的方法，如VoteNet，通过额外的多层感知器网络，将直接偏移量回归到对象中心和框方向。由于旋转分类的基本困难，它们的偏移和方向预测都不准确。在工作中，我们将直接偏移分解为局部正则坐标（LCC）、盒尺度和盒方向。只有LCC和箱尺度回归，而箱方向产生的一个典型的投票计划。最后，LCC感知的反投影检查算法迭代地从生成的投票图中切出边界框，消除误报。我们的模型在三个标准的真实世界基准测试中达到了最先进的性能：ScanNet，SceneNN和SUN RGB-D。我们的代码可以在https://github.com/qq456cvb/CanonicalVoting上找到。
2022-03-09 cs.CV
Diffusion-based Generation, Optimization, and Planning in 3D Scenes
National Key Laboratory of General Artificial Intelligence, BIGAI（北京通用人工智能研究院通用人工智能国家重点实验室）；Tsinghua University（清华大学）；Peking University（北京大学）；Beijing Institute of Technology（北京理工大学）
介绍了一种用于三维场景理解的条件生成模型SceneDiffuser。SceneDiffuser为解决场景条件生成、优化和规划提供了一个统一的模型。与以前的作品相比，SceneDiffuser本质上是场景感知的，基于物理的，面向目标的。通过迭代采样策略，SceneDiffuser以完全可区分的方式通过基于扩散的去噪过程联合制定场景感知生成、基于物理的优化和面向目标的规划。这样的设计消除了不同模块之间的差异和先前场景条件生成模型的后崩溃。我们评估SceneDiffuser与各种3D场景理解任务，包括人体姿势和运动生成，灵巧把握生成，3D导航的路径规划，和机器人手臂的运动规划。结果表明，与以前的模型相比，显着的改进，展示了巨大的潜力，SceneDiffuser为广大社区的三维场景理解。
2023-01-15 cs.CV
SGDraw: Scene Graph Drawing Interface Using Object-Oriented Representation
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；The University of Tokyo（东京大学）；Jilin University（吉林大学）
针对传统场景图标注界面易用性差、自动生成方法易冗余缺细节的问题，提出采用面向对象表示的交互式场景图绘制工具SGDraw，实验证明其生成的场景图细节更丰富、描述更准确，可应用于多种视觉任务。
2023-06-16 cs.CV cs.HC
Fully Exploiting Vision Foundation Model's Profound Prior Knowledge for Generalizable RGB-Depth Driving Scene Parsing
Frontiers Science Center for Intelligent Autonomous Systems, Tongji University（同济大学智能自主系统前沿科学中心）
针对RGB-深度驾驶场景解析中视觉基础模型（VFMs）潜力未被充分挖掘的问题，提出异构特征集成Transformer（HFIT），无需重新训练ViT即可高效集成RGB与深度特征，在Cityscapes和KITTI Semantics数据集上性能优于现有方法。
2025-02-10 cs.CV
SGBANet: Semantic GAN and Balanced Attention Network for Arbitrarily Oriented Scene Text Recognition
East China Normal University（华东师范大学）；University of Malaya（马来亚大学）；iFLYTEK（科大讯飞）；Indian Statistical Institute（印度统计研究所）
场景文本识别是一项具有挑战性的任务，由于复杂的背景和多样的变化的文本实例。在本文中，我们提出了一种新的语义GAN和平衡注意力网络（SGBANet）识别场景图像中的文本。该方法首先利用语义GAN生成简单的语义特征，然后利用平衡注意模块识别场景文本。语义GAN的目标是匹配支持域和目标域之间的语义特征分布。与传统的图像到图像的翻译方法不同，语义GAN通过语义生成器模块（SGM）和语义鉴别器模块（SDM）在语义层面上进行生成和鉴别。对于目标图像（场景文本图像），语义生成器模块生成与支持图像（明文图像）共享相同特征分布的简单语义特征。语义判别模块用于区分支持域和目标域的语义特征。此外，还设计了一个平衡注意力模块来缓解注意力漂移的问题。平衡注意模块首先基于视觉一瞥向量和语义一瞥向量学习平衡参数，然后执行平衡操作以获得平衡的一瞥向量。在六个基准上进行了实验，包括常规数据集，即，IIIT5K、SVT、ICDAR 2013和不规则数据集，即，ICDAR2015、SVTP、CUTE80等算例验证了该方法的有效性。
2022-07-21 cs.CV
MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device Color Rendition
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
提出MetaISP模型，利用轻量级深度学习和跨协方差注意力机制学习全局场景语义，实现不同设备间色彩与局部对比度特征的精确转换，并利用元数据估计场景光源。
2024-01-06 cs.CV
Depth Map Completion by Jointly Exploiting Blurry Color Images and Sparse Depth Maps
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
我们的目标是预测一个完整的和高分辨率的深度图从不完整的，稀疏的和嘈杂的深度测量。现有的方法要么直接利用深度图上的各种正则化，要么采用基于学习的方法来处理这个问题。当相应的彩色图像可用时，深度图和彩色图像之间的相关性被用来提高完成性能，假设彩色图像是干净和清晰的。然而，在现实世界的动态场景中，彩色图像往往是模糊的，由于相机的运动和移动的物体在场景中。在本文中，我们提出了解决深度图完成的问题，通过联合利用模糊的彩色图像序列和稀疏的深度图测量，并提出了一种基于能量最小化的配方，同时完成深度图，估计场景流和去模糊的彩色图像。我们对室外和室内场景的实验评估证明了我们的方法的最先进的性能。
2017-11-27 cs.CV
Multi-Oriented Text Detection and Verification in Video Frames and Scene Images
Institute of Engineering & Management（工程与管理学院）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Statistical Institute（印度统计研究所）
在本文中，我们提出了一种新的方法，视频文本检测使用傅里叶-拉普拉斯滤波在频域中，其中包括使用隐马尔可夫模型（HMM）的验证技术。所提出的方法处理的文本区域不仅出现在水平或垂直方向，但也在任何其他倾斜或弯曲的方向在图像中。到目前为止，只有少数方法已被提出，看看弯曲的文本检测视频帧，其中在于我们的新颖性。在我们的方法中，我们首先对图像进行傅里叶-拉普拉斯变换，然后进行理想的拉普拉斯-高斯滤波。之后，采用K均值聚类来获得断言的文本区域，这取决于最大差异图。接下来，将所获得的连通分量（CC）归一化以区分各种文本串。复杂的组成部分分解成简单的，根据一个连接删除算法，然后对不相交的骨架的可能组合进行串联，以获得相应的文本区域。最后，这些文本的假设进行了验证，基于HMM的文本/非文本分类系统。因此，消除了误报，为我们提供了强大的文本检测性能。我们已经测试了我们的框架，在多面向文本行在四个脚本，即英语，中文，梵文和孟加拉语，在视频帧和场景文本。实验结果表明，该方法优于现有的文本检测方法。
2017-10-04 cs.CV
A Fast Hierarchical Method for Multi-script and Arbitrary Oriented Scene Text Extraction
Computer Vision Center, Universitat Autonoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
针对现有场景文本检测方法未充分利用文本分层结构的问题，提出一种基于凝聚相似聚类、结合判别分类器与感知组织度量的快速分层文本提取方法，在多文种任意方向场景下性能超越现有最优水平。
2014-07-28 cs.CV
GOPI: Generation-Oriented 3D Pose Inference for Furniture Insertion from Single-View RGB-D Indoor Scenes
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）；X-Era AI Lab（X-Era AI实验室）
本研究针对单视图RGB-D室内场景家具插入的不确定性问题，提出两阶段框架GOPI，通过数据驱动迭代推理实现合理3D位姿估计，结合几何引导生成策略，在3D放置和图像合成任务上均优于基线方法。
2026-08-10 cs.CV
Exploiting Multi-Object Relationships for Detecting Adversarial Attacks in Complex Scenes
University of California, Riverside（加州大学河滨分校）
众所周知，部署深度神经网络（DNN）的视觉系统容易受到对抗性示例的攻击。最近的研究已经表明，检查输入数据中的固有错误是检测对抗攻击（例如，通过检查复杂场景中的对象共现关系）。然而，现有的方法都与特定的模型相联系，不具有普遍性。出于观察自然场景图像的语言描述已经捕获的对象共现关系，可以通过语言模型学习，我们开发了一种新的方法来执行上下文一致性检查使用这样的语言模型。我们的方法的区别在于，它独立于部署的对象检测器，但在检测具有多个对象的实际场景中的对抗性示例方面提供了非常高的准确性。
2021-08-19 cs.CV cs.LG
Total-Text: A Comprehensive Dataset for Scene Text Detection and Recognition
University of Malaya（马来亚大学）
曲线方向的文本尽管是现实世界环境中常见的文本方向之一，但在广受欢迎的场景文本数据集中（如ICDAR 2013和MSRA-TD 500）几乎为零。Total-Text的主要动机是填补这一空白，并为场景文本社区提供新的研究方向。在传统的水平和多方向的文本之上，它以弯曲方向的文本为特色。全文本在取向上是高度多样化的，其半数以上的图像具有两个以上取向的组合。最近，一种新的解决方案，铸造文本检测作为一个分割问题已经证明了他们的有效性对多方向的文本。为了评估它对弯曲文本的鲁棒性，我们对DeconvNet进行了微调，并在Total-Text上进行了基准测试。Total-Text及其注释可在https://github.com/cs-chan/Total-Text-Dataset上获得
2017-10-28 cs.CV
Improving Scene Graph Classification by Exploiting Knowledge from Texts
Ludwig Maximilian University of Munich（路德维希·马克西米利安慕尼黑大学）
训练场景图分类模型需要大量带注释的图像数据。同时，场景图表示可以用来自文本或知识图谱的符号数据建模的关系知识。虽然图像注释需要大量的劳动力，但收集自然场景的文本描述需要较少的努力。在这项工作中，我们调查文本场景描述是否可以取代带注释的图像数据。为此，我们采用了一个场景图分类框架，不仅从注释图像，而且从符号数据进行训练。在我们的体系结构中，符号实体首先映射到其对应的基于图像的表示，然后送入关系推理管道。即使知识的结构化形式，如知识图谱中的形式，并不总是可用的，我们可以使用基于transformer的语言模型从非结构化文本中生成它。我们表明，通过使用从文本中提取的知识微调分类管道，我们可以在场景图分类中获得约8倍的准确结果，在对象分类中获得约3倍的准确结果，在谓词分类中获得约1.5倍的准确结果，而监督基线只有1%的注释图像。
2021-10-08 cs.AI cs.CV
When Scene Text Hijacks the Scene: Uncovering, Exploiting, and Mitigating Rendered-Text Semantic Leakage in Image Generation Models
Fudan University（复旦大学）；Shanghai University of Electric Power（上海电力大学）
本研究揭示图像生成模型中渲染文本的语义泄漏现象，提出缓解方法，发现其为可见数据与潜在语义的两用载体，暴露跨模态攻击面。
2026-10-09 cs.CV
Advancing WordArt-Oriented Scene Text Recognition: Datasets and Methods
Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所）；Shanghai Key Laboratory of Multimodal Embodied AI, Fudan University（复旦大学上海市多模态具身人工智能重点实验室）；WeChat Vision, Tencent Inc.（腾讯微信视觉团队）；South China University of Technology（华南理工大学）
针对艺术字场景文本识别（WATER）的挑战，构建了百万级合成数据集WATER-S，并提出支持任意形状输入和自回归解码的WATERec模型，在WordArt-Bench上达到90.40%准确率。
2026-06-24 cs.CV
Mask R-CNN with Pyramid Attention Network for Scene Text Detection
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；South China University of Technology（华南理工大学）
在本文中，我们提出了一种新的基于Mask R-CNN的文本检测方法，该方法可以以统一的方式从自然场景图像中鲁棒地检测多方向和弯曲的文本。为了增强Mask R-CNN在文本检测任务中的特征表示能力，我们建议使用金字塔注意力网络（PAN）作为Mask R-CNN的新骨干网络。实验表明，PAN能更有效地抑制类文本背景引起的虚警。我们提出的方法仅使用单尺度和单模型测试，在多方向（ICDAR-2015，ICDAR-2017 MLT）和弯曲（SCUT-CTW 1500）文本检测基准任务上都取得了优异的性能。
2018-11-22 cs.CV
EMR-MSF: Self-Supervised Recurrent Monocular Scene Flow Exploiting Ego-Motion Rigidity
Tokyo Institute of Technology（东京工业大学）
提出EMR-MSF自监督单目场景流模型，利用自运动刚性和软掩码过滤动态区域，结合多种损失与训练策略，在KITTI基准上SF-all指标提升44%，性能媲美监督方法。
2023-09-04 cs.CV
Exploiting Semantic Scene Reconstruction for Estimating Building Envelope Characteristics
EPFL（洛桑联邦理工学院）；Schindler EPFL Lab（迅达-洛桑联邦理工学院实验室）
针对现有2D图像方法分析3D建筑围护结构准确性不足的问题，提出融合SDF神经表面重建与语义模态的BuildNet3D框架，可从2D图像提取细粒度3D建筑特征，在窗墙比、占地面积估算上精度高且泛化性好，助力建筑改造与欧盟气候中和目标。
2024-10-29 cs.CV
Safety-Oriented Pedestrian Motion and Scene Occupancy Forecasting
Uber ATG（优步先进技术集团）；University of Toronto（多伦多大学）；Cornell University（康奈尔大学）
在本文中，我们解决的重要问题，在自动驾驶的预测多行人运动和他们的共享场景占用地图，安全导航至关重要。我们的贡献是双重的。首先，我们提倡预测个体运动以及场景占用图，以便有效地处理由后处理引起的缺失检测，例如，置信度阈值和非最大抑制。其次，我们提出了一个场景-演员图神经网络（SA-GNN），它通过二维卷积保留行人的相对空间信息，并捕捉在同一场景中的行人之间的相互作用，包括那些没有被检测到，通过消息传递。在nuScenes和ATG 4D这两个大规模的真实世界数据集上，我们展示了我们的场景占用预测比最先进的运动预测方法更准确，校准更好，同时也与行人运动预测指标相匹配。
2021-01-07 cs.CV cs.LG cs.RO
Coherence-Oriented Dream Scene Visualisation
School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院）
该研究提出DSV系统，通过大型语言模型拆分梦境描述为四部分，结合文本到图像模型生成连贯的四面板图像序列，经DreamBank数据集50次可视化评估，用CLIP等模型指标验证了其质量、保真度与连贯性。
2026-08-07 cs.AI cs.CV
Exploiting Minority Pseudo-Labels for Semi-Supervised Fine-grained Road Scene Understanding
Faculty of Electrical Engineering and Computer Science, Ningbo University（电子工程与计算机科学学院，宁波大学）；Zhejiang Cowain Automation Technology Co., Ltd（浙江科艾自动化技术有限公司）
本文提出通过利用少数类伪标签提升细粒度道路场景理解中少数类识别性能的方法，通过改进的半监督学习框架实现更平衡的模型性能。
2026-01-26 cs.CV
Exploiting Object-based and Segmentation-based Semantic Features for Deep Learning-based Indoor Scene Classification
University of Coimbra（科英布拉大学）；Polytechnic Institute of Tomar（托马理工学院）
针对室内场景分类的类间模糊和类内差异问题，提出融合目标检测语义信息与语义分割的SHMF特征及三分支GOS²F²App网络，在两个基准数据集上取得最优结果。
2024-04-11 cs.CV
SPACE: Unsupervised Object-Oriented Scene Representation via Spatial Attention and Decomposition
Rutgers University（罗格斯大学）；Zhejiang University（浙江大学）
将复杂的多对象场景分解为像对象这样有意义的抽象的能力是实现更高层次认知的基础。以往的无监督面向对象场景表示学习方法要么基于空间注意力，要么基于场景混合，可扩展性有限，这是对真实世界场景建模的主要障碍。在本文中，我们提出了一个生成的潜变量模型，称为空间，它提供了一个统一的概率建模框架，结合了最好的空间注意力和场景混合的方法。空间可以显式地为前景对象提供因子分解的对象表示，同时也分解复杂形态的背景段。以前的模型在这两方面都很好，但不是两者都好。空间还解决了以前的方法，通过将并行空间注意力的可扩展性问题，因此适用于场景中有大量的对象，而不会降低性能。我们通过在Atari和3D-Rooms上的实验表明，与SPAIR、IODINE和GENESIS相比，SPACE始终实现了上述属性。我们的实验结果可以在我们的项目网站上找到：https://sites.google.com/view/space-project-page
2020-03-15 cs.CV cs.LG eess.IV
Better Exploiting OS-CNNs for Better Event Recognition in Images
Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
从静止图像中识别事件是图像理解的重要问题之一。然而，与目标识别和场景识别相比，事件识别在计算机视觉界受到的研究关注要少得多。本文解决了静态图像中的文化事件识别问题，并专注于在这个问题上应用深度学习方法。特别是，我们利用对象场景卷积神经网络（OS-CNN）的成功架构来执行事件识别。OS-CNN由对象网络和场景网络组成，它们分别从大规模对象和场景识别数据集上的预训练模型中传输学习的表示。我们提出了四种类型的场景来探索OS-CNN的事件识别，将它们视为“端到端事件预测器”或“通用特征提取器”。我们的实验结果表明，OS-CNN的全局和局部表示是互补的。最后，基于我们对OS-CNN的调查，我们在2015年ICCV ChaLearn Looking at People（观察人）挑战赛上提出了文化事件识别轨道的解决方案。我们的团队在这次挑战中获得了第三名，我们的成绩非常接近最佳成绩。
2015-10-14 cs.CV
Retargetable AR: Context-aware Augmented Reality in Indoor Scenes based on 3D Scene Graph
Sony Corporation（索尼公司）
在本文中，我们提出了Retargetable AR，一种新的AR框架，产生一个AR体验，是知道在各种现实环境中设置的场景上下文，实现虚拟和现实世界之间的自然交互。为此，我们在3D空间中的对象之间的关系，而不是与坐标变换的场景上下文的特征。由AR内容假设的上下文和由用户体验AR的真实环境形成的上下文被表示为抽象图形表示，即场景图形。从RGB-D流，我们的框架生成一个立体地图，在其中集成了场景的几何和语义信息。此外，使用语义地图，我们抽象的场景对象为有向包围盒和估计他们的方向。有了这样的场景表示，我们的框架构造，在一个在线的方式，一个3D场景图表征的背景下，一个真实的AR环境。所构造的图与表示AR内容的上下文的AR场景图之间的对应关系提供了语义上配准的内容布置，这促进了虚拟世界与现实世界之间的自然交互。我们进行了广泛的评估，我们的原型系统，通过定量评估的性能定向限界框估计，主观评价的AR内容安排的基础上构建的3D场景图，和在线AR演示。这些评估的结果显示了我们的框架的有效性，表明它可以在各种真实场景中提供上下文感知的AR体验。
2020-08-18 cs.CV
Navigation-Oriented Scene Understanding for Robotic Autonomy: Learning to Segment Driveability in Egocentric Images
Aalborg University（奥尔堡大学）
这项工作解决了室外机器人导航的场景理解，仅依赖于车载摄像机捕获的图像。传统的视觉场景理解基于特定的描述类别来解释环境。然而，这样的表示是不能直接解释的决策和约束机器人操作到一个特定的域。因此，我们建议分段自我中心的图像直接在机器人如何可以在他们导航，并定制的学习问题，自主导航任务。围绕图像分割网络，我们提出了一个通用的启示，包括3个驾驶性能水平，可广泛适用于城市和越野场景。通过使用软序数标签对这些级别进行编码，我们在学习过程中结合了类间距离，与标准的“硬”独热标签相比，这改善了分割。此外，我们提出了一种面向导航的像素级损失加权方法，该方法赋予安全关键区域更高的重要性。我们评估了我们的方法对大规模的公共图像分割数据集，从阳光明媚的城市街道到积雪的森林小径。在跨数据集泛化实验中，我们表明，我们的启示学习方案可以应用于各种数据集的混合，并与通用的单数据集分割相比，提高了在看不见的环境中的驾驶性能估计。
2022-01-23 cs.CV cs.RO
ScanEnts3D: Exploiting Phrase-to-3D-Object Correspondences for Improved Visio-Linguistic Models in 3D Scenes
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Snap Inc.（Snap公司）
本文提出了ScanEnts3D数据集，通过建立指代句与3D场景对象的显式对应关系，利用直观损失函数显著提升了3D视觉-语言模型在监听和说话任务上的SoTA性能，使其泛化更高效可解释。
2023-04-01 cs.CV
WordSup: Exploiting Word Annotations for Character based Text Detection
Microsoft Research Asia（微软亚洲研究院）；IDL Baidu Research（百度研究院深度学习实验室）
图像文本通常被组织为若干视觉元素的层次结构，即字符、单词、文本行和文本块。在这些元素中，字符是最基本的元素，对于各种语言，如西方语言、中文、日语、数学表达式等，构造一个基于字符检测器的通用文本检测引擎是自然和方便的。然而，训练字符检测器需要大量的位置注释字符，这是昂贵的获得。实际上，现有的真实文本数据集大多是在单词或行级别上进行注释的。为了解决这个难题，我们提出了一个弱监督框架，可以利用字注释，无论是在紧四边形或更宽松的边界框，字符检测器训练。当应用于场景文本检测时，我们因此能够训练一个鲁棒的字符检测器，利用丰富的大规模真实场景文本数据集，如ICDAR 15和COCO文本中的单词注释。字符检测器在我们的文本检测引擎的管道中扮演着关键角色。它在几个具有挑战性的场景文本检测基准上实现了最先进的性能。我们还通过各种场景展示了我们的管道的灵活性，包括变形文本检测和数学表达式识别。
2017-08-22 cs.CV
