SAFL: A Self-Attention Scene Text Recognizer with Focal Loss
Hanoi University of Science and Technology(河内理工大学);School of Information and Communication Technology(信息与通信技术学院)
在过去的几十年里,场景文本识别由于其在广泛的应用中的重要性而得到了学术界和实际用户的广泛关注。尽管在光学字符识别方面取得了成就,但由于诸如失真或不规则布局等固有问题,场景文本识别仍然具有挑战性。大多数现有的方法主要利用基于递归或卷积的神经网络。然而,由于递归神经网络(RNN)的顺序计算,通常遭受缓慢的训练速度,并遇到消失梯度或瓶颈的问题,CNN忍受复杂性和性能之间的权衡。针对现有方法的局限性,本文提出了一种基于自注意的具有聚焦损失的神经网络模型SAFL用于场景文本识别。使用焦点损失而不是负对数似然有助于模型更专注于低频样本训练。此外,为了处理失真和不规则的文本,我们利用空间变换器网络(Spatial TransformerNetwork,简称SPNN)在传递到识别网络之前对文本进行校正。我们进行实验,比较所提出的模型与七个基准的性能。数值结果表明,我们的模型取得了最好的性能。
2022-01-01 cs.CV cs.LG
SACANet: scene-aware class attention network for semantic segmentation of remote sensing images
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
本文提出融合场景感知注意力与局部—全局类别注意力的 SACANet,用于遥感图像语义分割,以增强上下文建模并抑制背景噪声,在三个数据集上优于现有最先进方法。
2023-04-22 cs.CV
Slot-VAE: Object-Centric Scene Generation with Slot Attention
Delft University of Technology(代尔夫特理工大学);Nanyang Technological University(南洋理工大学)
针对slot attention缺乏生成新颖场景能力的问题,提出Slot-VAE模型,通过结合slot attention与分层VAE框架,同时推断全局场景表征与对象级slot表征以生成结构连贯的场景,在样本质量和场景结构准确性上优于基线方法。
2024-02-13 cs.CV
Feature boosting with efficient attention for scene parsing
University of Plymouth(普利茅斯大学);University of Leeds(利兹大学);Oxford Brookes University(牛津布鲁克斯大学)
提出特征增强网络,通过多层级空间上下文和通道注意力模块增强相关特征并衰减无关特征,在ADE20K和Cityscapes数据集上优于现有模型。
2024-02-29 cs.CV
Diffusion-Based Attention Warping for Consistent 3D Scene Editing
Tel-Aviv University(特拉维夫大学)
本研究提出一种基于扩散模型的3D场景编辑方法,通过单参考图注意力特征结合高斯溅射深度几何对齐实现多视角特征扭曲,保障编辑的视图一致性与真实感,显著提升3D场景编辑能力。
2024-12-10 cs.CV
SceneGATE: Scene-Graph based co-Attention networks for TExt visual question answering
University of Sydney(悉尼大学);University of Western Australia(西澳大学)
本文提出SceneGATE方法,通过场景图揭示物体、OCR标记与问题词间的语义关系,并结合语义关系感知和位置关系感知注意力模块,在Text-VQA和ST-VQA上取得优于现有方法的效果。
2023-08-07 cs.CL cs.CV
FESTA: Flow Estimation via Spatial-Temporal Attention for Scene Point Clouds
InterDigital(交互数字公司);The City College of New York(纽约城市学院)
场景流描述了3D场景的动态,这对于自动驾驶、机器人导航、AR/VR等各种应用至关重要。随着深度传感技术的发展,通过点云可以获得精确的3D测量,这引发了3D场景流的新研究。然而,由于点云采样模式的稀疏性和不规则性,从点云中提取场景流仍然具有挑战性。与不规则采样相关的一个主要问题被确定为点集抽象/特征提取期间的随机性-这是许多流量估计场景中的基本过程。因此,提出了一种新的注意空间抽象(SA^2)层,以减轻不稳定的抽象问题。此外,提出了具有注意力的时间抽象(TA^2)层来纠正时间域中的注意力,从而在更大范围内缩放运动。广泛的分析和实验验证了我们的方法的动机和显着的性能增益,被称为通过时空注意流估计(FESTA),相比,几个国家的最先进的场景流估计基准。
2021-12-06 cs.CV
Curvature-Aware Captioning:Leveraging Geodesic Attention for 3D Scene Understanding
East China Normal University(东华大学)
本文提出曲率感知描述生成框架,通过非欧几里得测地注意力机制解决定位与上下文化冲突,提升3D场景描述的精度与连贯性。
2026-05-09 cs.AI cs.CV cs.LG
Semantic Attention Flow Fields for Monocular Dynamic Scene Decomposition
Brown University(布朗大学)
提出语义注意力流场,从单目视频重建融合语义、注意力与场景流的神经体,并通过特征金字塔和显著性感知聚类实现无监督动态场景分解。
2023-09-29 cs.CV
Efficient Scene Text Detection with Textual Attention Tower
Xidian University(西安电子科技大学);OrionStar Ltd.(猎户星空有限公司);University of Western Australia(西澳大学)
场景文本检测多年来一直受到关注,并在各种基准测试中取得了令人印象深刻的性能。在这项工作中,我们提出了一个有效的和准确的方法来检测场景图像中的多方向文本。所提出的特征融合机制允许我们使用较浅的网络来降低计算复杂性。采用自注意力机制来抑制误报检测。在ICDAR 2013、ICDAR 2015和MSRA-TD 500等公共基准上的实验表明,该方法能够以较少的参数和较少的计算代价获得更好或相当的性能。
2020-01-30 cs.CV
Attention over Scene Graphs: Indoor Scene Representations Toward CSAI Classification
Instituto de Computação (IC) Universidade Estadual de Campinas (UNICAMP)(计算机学院(IC)Campinas大学(UNICAMP));Departamento de Ciência da Computação (DCC) Universidade Federal de Minas Gerais (UFMG)(计算机科学系(DCC)巴西矿务联邦大学(UFMG));School of Computer Science University of Sheffield(计算机科学学院谢菲尔德大学)
针对室内场景分类及CSAI分类任务,提出基于场景图与图注意力网络的ASGRA框架,兼具可解释性与隐私保护性,在Places8数据集和真实CSAI评估中均取得优于传统图像方法的效果。
2025-09-30 cs.AI cs.CV cs.LG
Aligning where to see and what to tell: image caption with region-based attention and scene factorization
Tsinghua University(清华大学)
最近的进展自动生成的图像字幕表明,它是可能的描述最显着的信息传达的图像准确和有意义的句子。在本文中,我们提出了一个图像字幕系统,利用图像和句子之间的并行结构。在我们的模型中,生成下一个单词的过程,给定先前生成的单词,与视觉感知体验一致,其中视觉区域之间的注意力转移施加了视觉顺序的线索。这种对齐表征了“抽象意义”的流动,编码了视觉场景和文本描述在语义上共享的内容。我们的系统还通过引入场景特定的上下文来捕获编码在图像中的更高级别的语义信息,从而做出了另一种新颖的建模贡献。上下文使用于词生成的语言模型适应特定场景类型。我们对我们的系统进行了基准测试,并与几个流行数据集上发表的结果进行了对比。我们表明,使用基于区域的注意力或特定场景的背景下,改善系统没有这些组件。此外,结合这两个造型成分达到国家的最先进的性能。
2015-06-20 cs.CV cs.LG stat.ML
Topic Scene Graph Generation by Attention Distillation from Caption
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS)(中国科学院智能信息处理重点实验室);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
如果一张图片讲述了一个故事,图片说明就是最好的叙述者。一般来说,场景图更倾向于成为一个无所不知的通才,而图像标题更愿意成为一个专家,它概述了要点。大量的研究发现,场景图并不像预期的那样实用,除非它能减少琐碎的内容和噪音。在这方面,图片说明是一个很好的导师。为此,我们让场景图借用图像字幕的能力,使其在保持全面性的基础上成为专家,从而产生了所谓的主题场景图。图像标题所关注的内容被提取并传递到场景图,以估计部分对象、关系和事件的重要性。具体地,在字幕生成期间,在每个时间步中关于个体对象的注意力被收集、汇集和组装以获得关于关系的注意力,其用作用于正则化关系的估计重要性分数的弱监督。此外,由于这种注意力的蒸馏过程提供了一个机会,结合图像标题和场景图的生成在一起,我们进一步将场景图转换成语言形式与丰富和自由形式的表达共享一个单一的生成模型与图像标题。实验结果表明,注意力蒸馏算法在无强监督的情况下对挖掘重要关系有显著的改善,主题场景图在后续应用中显示出巨大的潜力。
2021-10-12 cs.CV
Scene Coordinate Reconstruction Priors
Niantic Spatial;University of Oxford(牛津大学)
针对场景坐标回归模型在多视图约束不足时退化的问题,提出概率重解释并注入重建先验,利用3D点云扩散模型学习先验,提升场景表示质量与下游任务性能。
2025-10-14 cs.CV
Dynamic Scene Deblurring Based on Continuous Cross-Layer Attention Transmission
Wuhan Institute of Technology(武汉工程大学);Huazhong University of Science and Technology(华中科技大学)
基于注意力机制的深度卷积神经网络(CNN)在动态场景去模糊方面取得了巨大的成功。在这些网络中,只有经过注意力图细化的特征可以传递到下一层,并且不同层的注意力图彼此分离,这没有充分利用CNN中不同层的注意力信息。为了解决这个问题,我们引入了一种新的连续跨层注意力传输(CCLAT)机制,可以利用所有卷积层的分层注意力信息。基于CCLAT机制,我们使用一个非常简单的注意力模块来构造一个新的剩余密集注意力融合块(RDAFB)。在RDAFB中,从前一个RDAFB和每一层的输出中推断出的注意力地图直接连接到后续的注意力地图,从而产生CCLAT机制。以RDAFB为基础,设计了一种有效的动态场景去模糊体系结构RDAFNet。在基准数据集上的实验表明,该模型的去模糊性能优于现有的去模糊方法,证明了CCLAT机制的有效性。
2023-01-28 cs.CV
Robust Egocentric Visual Attention Prediction Through Language-guided Scene Context-aware Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出语言引导的场景上下文感知学习框架,通过上下文感知器和双训练目标提升自体视频中注意力预测的鲁棒性与准确性。
2026-01-05 cs.CV
SGAP-Gaze: Scene Grid Attention Based Point-of-Gaze Estimation Network for Driver Gaze
Department of Civil Engineering, Indian Institute of Technology Kanpur(印度理工学院坎浦尔分校土木工程系)
本文提出SGAP-Gaze网络,结合面部和场景信息,通过Transformer注意力机制提升驾驶员注视点估计精度,实验显示在UD-FSG和LBW数据集上均优于现有方法。
2026-09-29 cs.CV
Residual Attention Graph Convolutional Network for Geometric 3D Scene Classification
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
几何3D场景分类是一个非常具有挑战性的任务。当前的方法仅使用RGB-D传感器提供的深度通道来提取几何信息。这些类型的方法由于在深度通道中丢失局部几何上下文而引入可能的误差。这项工作提出了一种新的剩余注意力图卷积网络,利用内在的几何上下文内的3D空间,而不使用任何类型的点特征,允许使用有组织或无组织的3D数据。在NYU Depth v1和SUN-RGBD数据集上进行了实验,研究了不同的配置,并验证了所提方法的有效性。实验结果表明,该方法优于当前国家的最先进的几何三维场景分类任务。
2019-09-30 cs.CV
SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors
Technical University of Munich(慕尼黑工业大学);Snap Research(Snap研究院)
SceneTex提出一种基于深度到图像扩散先验的室内场景纹理合成方法,通过多分辨率纹理场和交叉注意力解码器在RGB空间中优化生成高质量且风格一致的纹理,在3D-FRONT场景上显著优于已有方法。
2023-11-28 cs.CV
Gaussian Constrained Attention Network for Scene Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);TAL Education Group(好未来教育集团)
场景文本识别一直是计算机视觉研究的热点。最近的方法采用注意力机制进行序列预测,取得了令人信服的结果。然而,我们认为,现有的注意力机制面临的注意力扩散的问题,其中该模型可能不会集中在某个字符区域。在本文中,我们提出高斯约束注意力网络来处理这个问题。它是一种基于2D注意力的方法,集成了一个新的高斯约束细化模块,该模块预测一个额外的高斯掩码来细化注意力权重。不同于简单地对注意力权重进行额外的监督,我们所提出的方法引入了显式的细化。通过这种方式,注意力权重将更加集中,并且基于注意力的识别网络实现了更好的性能。所提出的高斯约束细化模块是灵活的,可以直接应用到现有的基于注意力的方法。在多个基准数据集上的实验证明了该方法的有效性。我们的代码已在https://github.com/Pay20Y/GCAN上提供。
2020-10-19 cs.CV
DORS: Dynamic Attention Routing for Diffusion-based Object Removal in Dense Scenes
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
针对密集场景目标移除中因语义干扰致移除不完整的问题,提出基于动态注意力路由机制的DORS框架,含实例过滤注意力和上下文引导路由组件,经实验验证其性能优于现有方法。
2026-10-09 cs.CV
Attention-based Feature Decomposition-Reconstruction Network for Scene Text Detection
Beihang(北京航空航天大学)
近年来,场景文本检测一直是一个具有挑战性的任务。具有任意形状或大纵横比的文本通常很难检测。以前的基于分割的方法可以更准确地描述曲线文本,但遭受过度分割和文本粘连。在本文中,我们提出了基于注意力的特征分解-重构网络的场景文本检测,它利用上下文信息和低级别的功能,以提高基于分割的文本检测器的性能。在特征融合阶段,我们引入跨层次注意模块,通过在融合的多尺度特征上增加注意力机制来丰富文本的上下文信息。在概率图生成阶段,提出了一种特征分解-重构模块,该模块根据文本特征的频率特性对文本特征进行分解,然后通过添加低层特征进行重构,以缓解大纵横比文本的过分割问题。在两个公共基准数据集上进行了实验,结果表明,我们提出的方法达到了最先进的性能。
2021-11-29 cs.CV
Interactive Attention AI to translate low light photos to captions for night scene understanding in women safety
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Queen Marys College, Chennai(钦奈玛丽皇后学院);National Institute of Technology(国家理工学院)
基于深度学习的图像描述和弱光图像增强模型取得了惊人的进展。在文献中,本文首次开发了一种深度学习模型,将夜景翻译成句子,为人工智能在视障女性安全方面的应用开辟了新的可能性。受图像字幕和视觉问答的启发,提出了一种新的交互式图像描述。用户可以通过影响注意力评分来使AI专注于任何选择的感兴趣的人。注意力上下文向量从CNN特征向量和用户提供的开始词计算。编码器-注意力-解码器神经网络学习从低亮度图像产生字幕。本文展示了如何妇女的安全可以通过研究一种新的人工智能能力的交互式视觉语言模型在夜间感知环境。
2022-01-04 cs.CL cs.CV cs.LG
Using Image Priors to Improve Scene Understanding
University of California, Santa Cruz(加州大学圣克鲁兹分校);Intel AI Lab(英特尔人工智能实验室);EPFL(洛桑联邦理工学院)
语义分割算法可以在多个摄像机视点之间稳健地分割对象,对于确保自动驾驶等新兴应用中的导航和安全至关重要。现有的算法孤立地处理每个图像,但自动驾驶汽车经常重新访问相同的位置或保留最近的信息。我们提出了一种简单而有效的方法,用于利用这些图像先验知识来改进来自顺序驱动数据集的图像的语义分割。我们研究了几种方法来融合这些时间场景先验,并介绍了一个先验融合网络,能够学习如何传输这些信息。先验融合模型将动态类的准确率从69.1%提高到73.3%,静态类的准确率从88.2%提高到89.1%。与FCN-8等模型相比,我们之前的方法以少5倍的参数实现了相同的精度。我们使用了一个简单的编码器解码器骨干,但这种通用的先验融合方法可以应用于更复杂的语义分割骨干。我们还讨论了如何结构化表示的场景中的场景图的形式,可以利用作为先验,以进一步提高场景理解。
2019-10-02 cs.CV
In-Place Panoptic Radiance Field Segmentation with Perceptual Prior for 3D Scene Understanding
针对现有3D场景全景理解方法存在的映射不准、复杂场景处理难及伪标签噪声等问题,提出带感知先验引导的神经辐射场全景分割方法,通过同步多模态学习与扩展级联网格提升泛化性,实验验证其能有效提升3D场景表征与分割精度。
2024-10-06 cs.CV
A Multi-Object Rectified Attention Network for Scene Text Recognition
South China University of Technology(华南理工大学);SCUT-Zhuhai Institute of Modern Industrial Innovation(华南理工大学珠海现代产业创新研究院)
不规则文本被广泛使用。然而,由于它的各种形状和扭曲的图案,识别起来相当困难。因此,在本文中,我们提出了一个多对象纠正注意力网络(MORAN)的一般场景文本识别。MORAN由一个多目标校正网络和一个基于注意力的序列识别网络组成。针对含有不规则文字的图像,设计了多目标校正网络。它降低了识别的难度,使基于注意力的序列识别网络更容易阅读不规则文本。它是以弱监督方式训练的,因此只需要图像和相应的文本标签。基于注意力的序列识别网络专注于目标字符并顺序输出预测。此外,为了提高基于注意力的序列识别网络的灵敏度,在训练阶段提出了一种分数拾取方法用于基于注意力的解码器。通过校正机制,MORAN可以读取规则和不规则的场景文本。在各种基准上进行了大量的实验,结果表明MORAN达到了最先进的性能。源代码是可用的。
2019-01-10 cs.CV
Cars Can't Fly up in the Sky: Improving Urban-Scene Segmentation via Height-driven Attention Networks
LG Electronics(LG电子);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Korea University(高丽大学);KAIST(韩国科学技术院)
本文利用城市场景图像的内在特征,提出了一个通用的附加模块,称为高度驱动的注意力网络(HANet),用于改善城市场景图像的语义分割。它根据像素的垂直位置有选择地强调信息特征或类别。在城市场景图像的水平分割部分中,像素级分布彼此之间存在显著差异。同样,城市场景图像也有其独特的特征,但大多数语义分割网络并没有在架构中反映这些独特的属性。建议的网络架构采用的能力,利用属性,有效地处理城市场景数据集。我们验证了一致的性能(mIoU)增加的各种语义分割模型在两个数据集时,采用HANet。这种广泛的定量分析表明,将我们的模块添加到现有模型中是简单且具有成本效益的。我们的方法在Cityscapes基准测试中实现了新的最先进的性能,在基于ResNet-101的分割模型中具有很大的优势。此外,我们表明,所提出的模型是一致的,在城市场景中观察到的事实,通过可视化和解释的注意力地图。我们的代码和训练模型可在https://github.com/shachoi/HANet上公开获取
2020-04-07 cs.CV
Scene Text Recognition with Single-Point Decoding Network
University of Science and Technology Beijing(北京科技大学)
近年来,基于注意力的场景文本识别方法受到了广泛的关注。基于注意力的方法可以在解码过程中自适应地将注意力集中在一个小的区域甚至单个点上,其中注意力矩阵几乎是one-hot分布。此外,在推理过程中,整个特征图将被所有注意力矩阵加权和求和,导致巨大的冗余计算。在本文中,我们提出了一个有效的注意力自由单点解码网络(简称SPDN)的场景文本识别,它可以取代传统的注意力为基础的解码网络。具体来说,我们提出了单点采样模块(SPSM),以有效地采样特征图上的一个关键点解码一个字符。这样,我们的方法不仅可以精确地定位每个字符的关键点,但也删除了冗余的计算。基于SPSM,我们设计了一个高效的单点解码网络来代替基于注意力的解码网络。在公开的基准上进行的大量实验验证了我们的SPDN可以在不牺牲性能的情况下大大提高解码效率。
2022-09-05 cs.CV
Scene Parsing via Dense Recurrent Neural Networks with Attentional Selection
Temple University(天普大学)
循环神经网络(RNN)已经显示出通过捕获图像单元之间的长程依赖性来改进场景解析的能力。在本文中,我们通过探索图像单元之间的各种远程语义依赖关系,提出了用于场景标记的密集RNN。与现有的基于RNN的方法不同,我们的密集RNN能够通过实现每对图像单元之间的直接连接来捕获每个图像单元的更丰富的上下文依赖关系,这显着增强了它们的区分能力。此外,为了选择相关的依赖关系,同时抑制密集连接中每个单元的不相关依赖关系,我们在密集RNN中引入了注意力模型。注意力模型允许自动分配更多的重要性,有帮助的依赖关系,而较少的权重无关的依赖关系。结合卷积神经网络,我们开发了一个端到端的场景标注系统。在三个大规模基准测试上的实验表明,该方法可以大幅提高基线,并优于其他最先进的算法。
2018-11-09 cs.CV
Differentiating Features for Scene Segmentation Based on Dedicated Attention Mechanisms
Tongji University(同济大学)
语义分割是场景分析中的一个难题。它既需要上下文信息,又需要丰富的空间信息。在本文中,我们区分特征的场景分割的基础上专用的注意力机制(DF-DAM),并提出了两个注意力模块,以优化高层次和低层次的功能,分别在编码器。具体来说,我们使用ResNet的高层和低层特征分别作为上下文信息和空间信息的来源,并分别使用注意力融合模块和2D位置注意力模块对其进行优化。在注意力融合模块中,采用双通道权值对ResNet的最高两级特征选择性地调整通道映射,并将其融合得到上下文信息。对于2D位置注意力模块,我们使用注意力融合模块获得的上下文信息来辅助选择ResNet的最低级特征作为补充空间信息。最后,将两个模块得到的两组信息进行简单融合,得到预测结果。我们在Cityscapes和PASCAL VOC 2012数据集上评估了我们的方法。特别是,在我们的架构中没有复杂和冗余的处理模块,这大大降低了复杂性,并且我们在PASCAL VOC 2012测试数据集上实现了82.3%的平均IoU,而无需在MS-COCO数据集上进行预训练。
2019-11-19 cs.CV
Learning Dynamic Scene Reconstruction with Sinusoidal Geometric Priors
DMU(德蒙福特大学)
SirenPose通过结合正弦激活特性与几何先验,提升动态3D场景重建的时空一致性与运动建模准确性。
2025-12-25 cs.CV
GTC: Guided Training of CTC Towards Efficient and Accurate Scene Text Recognition
Nanyang Technological University(南洋理工大学);SenseTime Group Ltd.(商汤集团有限公司)
连接主义时态分类和注意力机制是当前场景文本识别研究中的两种主要方法。与基于注意力的方法相比,CTC解码器具有更短的推理时间,但准确率较低。为了设计一个高效和有效的模型,我们提出了CTC的指导训练(GTC),其中CTC模型从更强大的注意力指导中学习更好的对齐和特征表示。CTC模型通过引导式训练,在保持快速推理速度的同时,实现了对规则和不规则场景文本的鲁棒和准确预测。此外,为了进一步利用CTC解码器的潜力,提出了一种图卷积网络(GCN)来学习提取的特征的局部相关性。在标准基准上的大量实验表明,我们的端到端模型实现了规则和不规则场景文本识别的新的最先进水平,并且比基于注意力的方法需要短6倍的推理时间。
2020-02-04 cs.CV cs.LG eess.IV
Graph Attention Network for Camera Relocalization on Dynamic Scenes
University of Quebec at Montreal(魁北克大学蒙特利尔分校);University of Bahrain(巴林大学)
我们设计了一种基于图注意力网络的方法来学习场景三角形网格表示,以估计动态环境中的图像相机位置。以前的方法建立了一个场景相关的模型,显式或隐式嵌入场景的结构。他们使用卷积神经网络或决策树来建立2D/3D-3D对应关系。这样的映射过度拟合目标场景,并且不能很好地概括环境中的动态变化。我们的工作介绍了一种新的方法来解决相机重新定位问题,通过使用可用的三角形网格。我们的3D-3D匹配框架由三个模块组成:(1)一个图神经网络来计算网格顶点的嵌入,(2)一个卷积神经网络来计算RGB-D图像上定义的网格单元的嵌入,以及(3)一个神经网络模型来建立两个嵌入之间的对应关系。这三个组件都是端到端培训的。为了预测最终姿态,我们运行RANSAC算法来生成相机姿态假设,并使用点云表示来改进预测。我们的方法显着提高了摄像机的姿态精度的最先进的方法从$0.358$到$0.506$的RIO 10基准动态室内摄像机重新定位。
2022-09-29 cs.AI cs.CV cs.LG
Self-attention on Multi-Shifted Windows for Scene Segmentation
University of Technology Sydney(悉尼科技大学);CSIRO(澳大利亚联邦科学与工业研究组织)
图像中的场景分割是视觉内容理解中的一个基本而又具有挑战性的问题,即学习一个模型来为图像中的每个像素分配一个分类标签。这种学习任务的挑战之一是考虑空间和语义关系以获得描述性特征表示,因此从多个尺度学习特征图是场景分割中的常见做法。在本文中,我们探讨了多尺度图像窗口内的自注意力的有效使用,以学习描述性的视觉特征,然后提出了三种不同的策略来聚合这些特征图解码的特征表示密集预测。我们的设计是基于最近提出的Swin Transformer模型,它完全放弃了卷积运算。通过简单而有效的多尺度特征学习和聚合,我们的模型在PASCAL VOC 2012,COCO-Stuff 10 K,ADE 20 K和Cityscapes四个公共场景分割数据集上取得了非常有前途的性能。
2022-07-10 cs.CV
HAtt-Flow: Hierarchical Attention-Flow Mechanism for Group Activity Scene Graph Generation in Videos
University of Arkansas(阿肯色大学)
本文提出层次注意力流机制HAtt-Flow,将注意力中的值和键转化为源与汇以提升群体活动场景图生成性能,并扩展JRDB数据集验证其有效性。
2023-11-28 cs.CV
Line Drawings of Natural Scenes Guide Visual Attention
University of Electronic Science and Technology of China(电子科技大学)
视觉搜索是人类视觉系统快速感知场景的重要策略。引导搜索理论认为,全局布局或其他自上而下的场景来源在引导对象搜索中起着至关重要的作用。为了验证场景布局和区域线索在引导视觉注意中的具体作用,我们在这项工作中执行了一个心理物理实验,用眼动跟踪系统记录人类对自然场景的线条画的注视。我们收集了10名受试者从498自然图像和另外10名受试者从相应的996人标记的边界线图纸(每幅图像两个边界图)在自由观看条件下的固定。实验结果表明,在缺乏颜色、亮度等基本特征的情况下,线条画与自然图像的注视点分布具有较高的相关性。此外,与区域的基本线索相比,被试更关注线描的封闭区域,这些区域通常与场景的主导对象有关。最后,我们建立了一个计算模型,证明了在自然场景中,线画上的注视信息可以用来显着提高经典的自底向上模型的注视预测性能。这些结果支持完形特征和场景布局是指导快速视觉对象搜索的重要线索。
2019-12-19 cs.CV
Text Prior Guided Scene Text Image Super-resolution
The Hong Kong Polytechnic University(香港理工大学)
场景文本图像超分辨率(STISR)旨在提高低分辨率场景文本图像的分辨率和视觉质量,从而提高文本识别的性能。然而,现有的STISR方法大多将文本图像视为自然场景图像,忽略了文本的类别信息。在本文中,我们做了一个鼓舞人心的尝试,将分类文本先验嵌入STISR模型训练。具体地说,我们采用字符概率序列作为文本先验,它可以方便地从文本识别模型中获得。文本先验提供分类指导以恢复高分辨率(HR)文本图像。另一方面,重建的HR图像可以反过来细化文本先验。最后,我们提出了一个多阶段的文本先验引导超分辨率(TPGSR)框架STISR。在TextZoom基准数据集上的实验表明,TPGSR不仅能有效提高场景文本图像的视觉质量,而且与现有的STISR方法相比,文本识别的准确率也有显著提高。我们在TextZoom上训练的模型也对其他数据集中的LR图像表现出一定的泛化能力。
2021-06-30 cs.CV
Scene-Adaptive Attention Network for Crowd Counting
Hikvision Research Institute(海康威视研究院)
近年来,人群计数的研究取得了重大进展。然而,由于具有挑战性的规模变化和复杂的场景中存在的人群,无论是传统的卷积网络和最近的Transformer架构与固定大小的注意力不能很好地处理任务。为了解决这个问题,本文提出了一种场景自适应注意力网络,称为SAANet。首先,我们设计了一个可变形的注意力内置Transformer骨干,学习自适应的特征表示与可变形的采样位置和动态的注意力权重。在此基础上,进一步提出了多层次特征融合和计数关注特征增强模块,以增强全局图像背景下的特征表示。学习的表征可以关注前景,并适应不同规模的人群。我们对四个具有挑战性的人群计数基准进行了广泛的实验,证明我们的方法达到了最先进的性能。特别是,我们的方法目前在NWPU-Crowd基准测试的公共排行榜上排名第一。我们希望我们的方法可以成为一个强大的基线,以支持未来的人群计数研究。源代码将向社区发布。
2021-12-31 cs.CV
SCATTER: Selective Context Attentional Scene Text Recognizer
Amazon Web Services(亚马逊云服务)
场景文本识别(STR)是在复杂图像背景下识别文本的一个研究热点。目前最先进的(SOTA)方法仍然难以识别以任意形状书写的文本。在本文中,我们介绍了一种新的结构STR,命名为选择性上下文注意力文本识别器(SCATTER)。SCATTER在训练过程中使用了具有中间监督的堆栈块架构,为成功训练深度BiLSTM编码器铺平了道路,从而改善了上下文依赖的编码。使用两步1D注意力机制进行解码。第一个关注步骤将来自CNN主干的视觉特征与由BiLSTM层计算的上下文特征一起重新加权。第二个注意步骤,类似于以前的论文,对待的功能作为一个序列,并出席序列内的关系。实验结果表明,该方法在不规则文本识别基准测试中的性能平均比SOTA提高3.7%.
2020-03-25 cs.CV
Non-parametric spatially constrained local prior for scene parsing on real-world data
School of Engineering and Technology, Central Queensland University(中央昆士兰大学工程与技术学院)
场景解析的目的是识别场景图像中每个像素的对象类别,它在图像内容理解和计算机视觉应用中起着核心作用。然而,从不受约束的真实世界数据中准确地解析场景仍然是一项具有挑战性的任务。在本文中,我们提出了非参数的空间约束局部先验(SCLP)的场景分析的现实数据。对于给定的查询图像,通过首先检索与查询图像最相似的训练图像的子集,然后从检索到的子集收集关于空间图像块之间和相邻超像素之间的对象共现统计的先验信息来学习非参数SCLP。SCLP在捕获查询图像中关于对象间相关性的长距离和短距离上下文方面都是强大的,并且可以有效地与传统的视觉特征相结合以改进分类结果。我们在SIFT Flow和PASCAL-Context基准数据集上的实验表明,与最先进的方法相比,与超像素级视觉特征结合使用的非参数SCLP实现了最佳性能之一。
2020-06-23 cs.CV cs.LG eess.IV
SGBANet: Semantic GAN and Balanced Attention Network for Arbitrarily Oriented Scene Text Recognition
East China Normal University(华东师范大学);University of Malaya(马来亚大学);iFLYTEK(科大讯飞);Indian Statistical Institute(印度统计研究所)
场景文本识别是一项具有挑战性的任务,由于复杂的背景和多样的变化的文本实例。在本文中,我们提出了一种新的语义GAN和平衡注意力网络(SGBANet)识别场景图像中的文本。该方法首先利用语义GAN生成简单的语义特征,然后利用平衡注意模块识别场景文本。语义GAN的目标是匹配支持域和目标域之间的语义特征分布。与传统的图像到图像的翻译方法不同,语义GAN通过语义生成器模块(SGM)和语义鉴别器模块(SDM)在语义层面上进行生成和鉴别。对于目标图像(场景文本图像),语义生成器模块生成与支持图像(明文图像)共享相同特征分布的简单语义特征。语义判别模块用于区分支持域和目标域的语义特征。此外,还设计了一个平衡注意力模块来缓解注意力漂移的问题。平衡注意模块首先基于视觉一瞥向量和语义一瞥向量学习平衡参数,然后执行平衡操作以获得平衡的一瞥向量。在六个基准上进行了实验,包括常规数据集,即,IIIT5K、SVT、ICDAR 2013和不规则数据集,即,ICDAR2015、SVTP、CUTE80等算例验证了该方法的有效性。
2022-07-21 cs.CV
Visual Attention in Imaginative Agents
McGill University(麦吉尔大学)
我们提出了一个经常性的代理人通过一系列离散的固定感知周围环境。在每一个时间步,智能体都想象出与注视历史相一致的各种似是而非的场景。下一个固定计划使用想象场景内容的不确定性。随着时间的推移,代理人变得更加确定周围的内容,想象场景的多样性减少。该代理是建立使用变分自编码器和规范化流程,并在一个场景重建的代理任务的无监督的方式进行训练。想象场景的潜在表征被发现是有用的高阶模块执行像素级和场景级的任务。该代理在各种2D和3D数据集上进行测试。
2021-04-01 cs.CV
DR-TANet: Dynamic Receptive Temporal Attention Network for Street Scene Change Detection
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
街道场景变化检测一直是计算机视觉领域的研究热点。它的目的是识别在不同时间拍摄的成对街景图像的变化区域。基于编码器-解码器架构的最新网络利用两个通道之间对应级别的特征映射来获得足够的变化信息。尽管如此,特征提取、特征相关性计算甚至整个网络的效率还需要进一步提高。本文提出了时间注意的概念,探讨了时间注意的依赖范围大小对变化检测性能的影响。此外,在时间注意模块(TAM)的基础上,我们引入了一个更高效、更轻量的版本-动态接受时间注意模块(DRTAM),并提出了并行水平和垂直注意(CHVA),以提高网络对特定挑战实体的准确性。在街景数据集“GSV”,“TSUNAMI”和“VL-CMU-CD”上,我们的方法获得了出色的性能,建立了新的最先进的分数,同时保持了适用于自动驾驶汽车的高效率。
2021-05-28 cs.CV cs.LG cs.RO
Attention-based Multi-modal Fusion Network for Semantic Scene Completion
Tsinghua University(清华大学);Sun Yat-sen University(中山大学)
本文提出了一种名为基于注意力的多模态融合网络(AMFNet)的端到端3D卷积网络,用于从单视图RGB-D图像推断体积3D场景的占用和语义标签的语义场景完成(SSC)任务。与以往只使用从RGB-D图像中提取的语义特征的方法相比,所提出的AMFNet通过利用从RGB-D图像中推断2D语义分割的经验以及空间维度上的可靠深度线索来学习同时执行有效的3D场景完成和语义分割。它是通过采用一个多模态融合架构,从二维语义分割和三维语义完成网络授权的剩余注意力块。我们在合成的SUNCG-RGBD数据集和真实的NYUv 2数据集上验证了我们的方法,结果表明,我们的方法在合成的SUNCG-RGBD数据集和真实的NYUv 2数据集上分别实现了2.5%和2.6%的增益。
2020-04-16 cs.CV
Neural Scene Flow Prior
Argo AI;The University of Adelaide(阿德莱德大学)
在深度学习革命之前,许多感知算法都是基于运行时优化以及强先验/正则化惩罚。在计算机视觉中,这方面的一个主要例子是光学和场景流。监督学习在很大程度上取代了显式正则化的需求。相反,它们依赖于大量的标记数据来捕获先验统计数据,而这些数据并不总是容易用于许多问题。虽然采用优化来学习神经网络,但该网络的权重在运行时被冻结。因此,这些学习解决方案是特定于领域的,并且不能很好地推广到其他统计上不同的场景。本文回顾了场景流问题,主要依赖于运行时优化和强正则化。这里的一个核心创新是包含一个神经场景流先验,它使用神经网络的架构作为一种新型的隐式正则化。与基于学习的场景流方法不同,优化发生在运行时,我们的方法不需要离线数据集,这使得它非常适合在自动驾驶等新环境中部署。我们表明,完全基于多层感知器(MLP)的架构可以用作场景流之前。我们的方法达到竞争力-如果不是更好-场景流基准的结果。此外,我们的神经先验的隐式和连续场景流表示允许我们估计点云序列中的密集长期对应关系。密集的运动信息由场景流场表示,其中点可以通过整合运动矢量而在时间上传播。我们证明了这样的能力,积累了激光雷达点云序列。
2021-11-01 cs.CV
MASTER: Multi-Aspect Non-local Network for Scene Text Recognition
Ping An Property and Casualty Insurance Company(平安财产保险股份有限公司);Xuzhou Medical University(徐州医科大学);Huazhong University of Science and Technology(华中科技大学)
基于注意力的场景文本识别器已经取得了巨大的成功,它利用更紧凑的中间表示来通过基于RNN的编码器-解码器架构学习1d或2d注意力。然而,这样的方法遭受注意力漂移问题,因为在基于RNN的局部注意力机制下,编码特征之间的高相似性导致注意力混淆。此外,基于RNN的方法由于并行性差而效率低下。为了克服这些问题,我们提出了MASTER,一个基于自注意的场景文本识别器,它(1)不仅编码输入-输出注意,而且还学习编码编码器和解码器内部的特征-特征和目标-目标关系的自注意,(2)学习一个更强大和鲁棒的空间失真中间表示,以及(3)由于高训练并行化而具有高训练效率,并且由于高效的存储器缓存机制而具有高速推理。在各种基准测试上进行的大量实验证明了我们的MASTER在规则和不规则场景文本上的优越性能。Pytorch代码可以在https://github.com/wenwenyu/MASTER-pytorch找到,Tensorflow代码可以在https://github.com/jiangxiluning/MASTER-TF找到。
2021-04-11 cs.CV
Hierarchical Attention Learning of Scene Flow in 3D Point Clouds
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学)
场景流表示动态环境中每个点的三维运动。像光流表示的像素在2D图像中的运动,场景流的3D运动表示的许多应用,如自动驾驶和服务机器人。研究了从两个连续的三维点云数据中估计场景流的问题。本文提出了一种新型的双注意力分层神经网络,用于学习相邻帧中点特征的相关性,逐层由粗到细细化场景流。所提出的网络有一个新的多为少的分层架构。以多换少是指场景流估计的输入点数大于输出点数,这带来了更多的输入信息,并平衡了精度和资源消耗。在这种层次结构中,不同层次的场景流分别生成和监督。引入了一种新的注意嵌入模块,以块到块的方式使用双注意方法聚合相邻点的特征。在我们的网络设计中,仔细考虑了流嵌入和流监督的适当层。实验表明,该网络在FlyingThings3D和KITTI Scene Flow 2015数据集上的3D场景流估计性能优于最先进的性能。我们还将所提出的网络应用于现实的LiDAR测距任务,这是自动驾驶中的一个关键问题。实验结果表明,我们提出的网络可以优于基于ICP的方法,并显示出良好的实际应用能力。
2020-10-12 cs.CV
FACLSTM: ConvLSTM with Focused Attention for Scene Text Recognition
East China Normal University(华东师范大学);University of Technology Sydney(悉尼科技大学);Tongji University(同济大学)
场景文本识别最近被广泛视为序列到序列的预测问题,其中传统的全连接LSTM(FC-LSTM)发挥了关键作用。由于FC-LSTM的局限性,现有方法必须将二维特征映射转换为一维序列特征向量,严重破坏了文本图像的空间和结构信息。在本文中,我们认为,场景文本识别本质上是一个时空预测问题,其2-D图像输入,并提出了一个基于卷积LSTM(ConvLSTM)的场景文本识别器,即FACLSTM,即,Focused Attention ConvLSTM,在使用LSTM执行顺序预测时,充分利用像素的空间相关性。特别地,通过卷积运算将注意力机制适当地结合到有效的ConvLSTM结构中,并且生成附加的字符中心掩码以帮助将注意力集中在正确的特征区域上。在基准数据集IIIT 5 K、SVT和CUTE上的实验结果表明,我们提出的FACLSTM在规则、低分辨率和有噪声的文本图像上具有竞争力,在大边距的弯曲文本上优于现有的方法。
2020-01-05 cs.CV
Activating Self-Attention for Multi-Scene Absolute Pose Regression
Sungkyunkwan University(成均馆大学)
本文针对多场景绝对位姿回归中Transformer自注意力图坍塌问题,从query-key嵌入空间扭曲的新视角出发,提出辅助损失对齐query与key,并采用固定正弦位置编码,有效提升了室内外场景的位姿回归性能。
2024-11-18 cs.CV
Learning 3D Scene Priors with 2D Supervision
Technical University of Munich(慕尼黑工业大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
整体3D场景理解需要估计3D环境中的布局配置和对象几何形状。最近的工作已经示出了根据各种输入模态(例如,图像,3D扫描),通过利用3D监督(例如,3D边界框或CAD模型),对于这些模型,大规模收集是昂贵的并且通常是棘手的。为了解决这个缺点,我们提出了一种新的方法来学习布局和形状的3D场景先验,而不需要任何3D地面实况。相反,我们依赖于来自多视图RGB图像的2D监督。我们的方法将3D场景表示为一个潜在向量,从中我们可以逐步解码为一系列以其类类别,3D边界框和网格为特征的对象。通过我们训练的自回归解码器表示场景先验,我们的方法方便了许多下游应用,包括场景合成,插值和单视图重建。在3D-FRONT和ScanNet上的实验表明,该方法在单视图重建方面优于现有技术,在需要3D监控的基线场景合成方面也达到了现有技术的效果。
2022-11-25 cs.CV
Mask R-CNN with Pyramid Attention Network for Scene Text Detection
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);South China University of Technology(华南理工大学)
在本文中,我们提出了一种新的基于Mask R-CNN的文本检测方法,该方法可以以统一的方式从自然场景图像中鲁棒地检测多方向和弯曲的文本。为了增强Mask R-CNN在文本检测任务中的特征表示能力,我们建议使用金字塔注意力网络(PAN)作为Mask R-CNN的新骨干网络。实验表明,PAN能更有效地抑制类文本背景引起的虚警。我们提出的方法仅使用单尺度和单模型测试,在多方向(ICDAR-2015,ICDAR-2017 MLT)和弯曲(SCUT-CTW 1500)文本检测基准任务上都取得了优异的性能。
2018-11-22 cs.CV
InstructScene: Instruction-Driven 3D Indoor Scene Synthesis with Semantic Graph Prior
Peking University(北京大学)
针对三维室内场景合成中自然语言指令可控性不足的问题,提出InstructScene框架,结合语义图先验与布局解码器,提升生成可控性与保真度,并构建高质量数据集,实验大幅超越现有方法。
2024-02-07 cs.CV
Resistance Training using Prior Bias: toward Unbiased Scene Graph Generation
JD Explore Academy(京东探索研究院)
场景图生成(SGG)旨在使用对象和成对关系构建场景的结构化表示,这有利于下游任务。然而,由于训练数据的长尾分布,目前的SGG方法通常遭受次优场景图生成。为了解决这个问题,我们提出了阻力训练使用先验偏差(RTPB)的场景图生成。具体来说,RTPB使用基于分布的先验偏差来提高模型在训练过程中对不太频繁的关系的检测能力,从而提高模型在尾部类别上的泛化能力。此外,为了进一步探索对象和关系的上下文信息,我们设计了一个上下文编码骨干网络,称为双Transformer(DTrans)。我们进行了广泛的实验上一个非常流行的基准,VG150,证明我们的方法的有效性,无偏场景图生成。具体来说,我们的RTPB实现了超过10%的平均召回下,适用于目前的SGG方法的改进。此外,DTrans与RTPB的性能几乎优于所有最先进的方法,具有很大的优势。
2022-04-21 cs.CV
Forest2Seq: Revitalizing Order Prior for Sequential Indoor Scene Synthesis
USTC(中国科学技术大学);Simon Fraser University(西蒙菲莎大学)
该研究提出Forest2Seq框架,通过聚类与广度优先遍历将无序对象组织为有序层级树和森林,并由transformer自回归生成3D室内场景,在FID、KL及下游任务上优于基线。
2024-07-07 cs.CV