Scale-Aware Recognition in Satellite Images under Resource Constraints
Cornell University(康奈尔大学);Columbia University(哥伦比亚大学)
针对卫星图像分辨率选择与高成本图像获取的挑战,提出结合知识蒸馏、模型分歧采样与LLM尺度推断的系统,在预算约束下高效实现尺度感知识别,准确率提升达26.3%且高分辨率图像用量减少76.3%。
2025-02-02 cs.CV
SatSplatYOLO: 3D Gaussian Splatting-based Virtual Object Detection Ensembles for Satellite Feature Recognition
Florida Institute of Technology(佛罗里达理工学院)
针对在轨非合作卫星的自主交会需求,提出SatSplatYOLO方法,利用加速3D Gaussian splatting学习卫星3D表示并渲染虚拟视图,集成YOLOv5实现高置信度组件检测,支持星载自主制导与控制。
2024-06-04 cs.CV
Oriented Feature Alignment for Fine-grained Object Recognition in High-Resolution Satellite Imagery
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
遥感图像中的定向目标检测近年来取得了很大的进展。然而,目前的方法大多只关注于目标检测,不能很好地区分复杂场景中的细粒度目标。在这份技术报告中,我们分析了细粒度目标识别的关键问题,并使用一个有向特征对齐网络(OFA-Net)来实现高性能的光学遥感图像中的细粒度有向目标识别。OFA-Net通过旋转边界框细化模块实现精确的对象定位。在此基础上,应用边界约束旋转特征对齐模块实现局部特征提取,有利于细粒度的目标分类。该方法的单模型在高分竞赛中获得了46.51%的mAP,在ISPRS基准测试中获得了43.73%的mAP,获得了第3名。
2021-10-13 cs.CV
Neurosymbolic Framework for Concept-Driven Logical Reasoning in Skeleton-Based Human Action Recognition
Department of ECSE, Faculty of Engineering, Monash University, Australia(莫纳什大学工程学院电子与计算机工程系,澳大利亚);AIM for Health Lab, Faculty of Information Technology, Monash University, Australia(莫纳什大学信息科技学院健康人工智能实验室,澳大利亚);Department of DSAI, Faculty of Information Technology, Monash University, Australia(莫纳什大学信息科技学院数据科学与人工智能系,澳大利亚)
本文提出一种神经符号框架,将骨架动作识别转化为概念驱动的一阶逻辑推理,通过结合表征学习与符号推理,提升动作识别的可解释性。
2026-05-08 cs.AI cs.CV
Edge-Cloud Collaborative Satellite Image Analysis for Efficient Man-Made Structure Recognition
Zhejiang Lab(之江实验室);College of Civil and Environmental Engineering, Carnegie Mellon University(卡内基梅隆大学土木与环境工程学院)
针对高分辨率卫星图像海量数据处理的延迟与准确率权衡难题,提出边云协同架构,边缘轻量化初筛、云端复杂模型精分类,实验验证其相较传统方法在降低延迟的同时保持高准确率。
2024-10-08 cs.CV
Distribution-aware Interactive Attention Network and Large-scale Cloud Recognition Benchmark on FY-4A Satellite Image
State Key Laboratory of Integrated Services Networks, Xidian University(西安电子科技大学综合业务网理论及关键技术国家重点实验室)
针对卫星图像云识别特性关注不足的问题,提出包含9类云的FYH数据集,并设计DIAnet网络结合高分辨率分支、分布感知损失和交互式注意力模块,在mIoU上取得优于其他云识别网络的性能。
2024-01-06 cs.CV
TableCenterNet: A one-stage network for table structure recognition
School of Information Engineering(信息工程学院)
本文提出单阶段端到端网络 TableCenterNet,将表格空间与逻辑结构预测统一为并行回归,在提升训练和推理效率的同时于 TableGraph-24k 上达到最优性能。
2025-05-12 cs.CV
Development Of A Fire Detection System On Satellite Images
Plekhanov Russian University of Economics(俄罗斯普列汉诺夫经济大学)
本文讨论了用于识别卫星图像上野火的深度神经网络的卷积架构的开发。基于图像分类的结果,构建了宏观经济形势分析的模糊认知图。该文件还考虑了使用混合认知模型预测宏观经济指标的前景,该模型基于模糊认知图,利用卫星图像上已识别的野火数据。
2022-12-07 cs.CV
Hierarchical Modeling of Multidimensional Data in Regularly Decomposed Spaces: Applications in Image Analysis
这最后一个文档显示了图像分析中分层建模技术的逐步引入。第一章介绍了模式识别在工业应用领域的初步工作。第二章着重于这些技术在卫星图像中的使用,以及开发一个卫星数据存档系统,以便在数字地理学中使用这些技术。第三章是基于平面图像分析的人脸识别和部分隐藏模式的识别。本公开以描述与当前视频编码标准相关的静止或运动图像的自描述编码的未来系统而结束。正如在以前的文件中,它将被发现在附件算法针对图像分析根据两个互补的方法:-基于边界的方法,人工视觉的工业应用; -基于区域的方法,卫星图像分析。
2016-05-04 cs.CV
Supervised learning on graphs of spatio-temporal similarity in satellite image sequences
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE(法国国家信息与自动化研究所)
高分辨率卫星图像序列是由与众多和各种现象相关的时空模式组成的多维信号。贝叶斯方法先前已经在(Heas和Datcu,2005)中提出,以使用贝叶斯方法将卫星图像序列中包含的信息编码为图形表示。在此基础上,提出了一种基于时空模式的卫星图像序列语义监督学习方法。它能够识别和概率检索类似的事件。事实上,图形是附加到时空过程的统计模型,而时空过程又描述了所观察到的场景中的物理变化。因此,我们调整了一个参数模型,以表示用户特定的语义附加到时空现象的图形模式之间的相似性类型进行评估。学习步骤是通过用户提供的时空模式的例子附加到积极或/和消极的语义的相似性类型的增量定义。从这些示例中,使用贝叶斯网络和狄利克雷模型来推断概率。这使得能够将用户兴趣链接到图形模式之间的特定相似性模型。根据当前的学习状态,语义后验概率更新的所有可能的图形模式,使类似的时空现象可以识别和检索的图像序列。几个实验上进行的多光谱SPOT图像序列说明所提出的时空识别方法。
2007-09-20 cs.CV
Object Recognition for Economic Development from Daytime Satellite Imagery
Monash University(莫纳什大学);Monash Business School(莫纳什商学院);SoDa Labs(SoDa实验室);Faculty of Information Technology, Monash University(莫纳什大学信息技术学院);Department of Econometrics and Business Statistics, Monash University(莫纳什大学计量经济学与商业统计系);Department of Economics, Monash University(莫纳什大学经济学系)
关于发展中国家有形资本和基础设施存量的可靠数据通常非常缺乏。这对于国家以下一级的数据来说尤其是一个问题,因为现有数据往往已经过时,没有得到一致的衡量,或者覆盖面不完整。传统的数据收集方法耗时耗力,成本高昂,往往阻碍发展中国家收集这类数据。提出了一种从高分辨率卫星影像中提取基础设施特征的新方法。我们收集了覆盖21个非洲国家的500万个1公里$\times$ 1公里网格单元的高分辨率卫星图像。我们通过在地面真实数据上训练我们的机器学习算法,为这一领域不断增长的文献做出贡献。我们表明,我们的方法大大提高了预测精度。我们的方法可以建立基础,然后预测这些数据缺失或不可靠的地区的次国家经济发展指标。
2020-09-11 cs.CV econ.GN eess.IV
Overhead MNIST: A Benchmark Satellite Dataset
PeopleTec, Inc.(PeopleTec公司)
该研究提出了10个重要对象的俯视图,并遵循最流行的机器学习任务的一般格式要求:MNIST数字识别。该数据集提供了一个公共基准,从超过一百万个人工标记和策划的示例中提取。这项工作概述了关键的多类对象识别任务,同时与手写,癌症检测和零售数据集的先前工作相匹配。具有迁移学习和卷积神经网络(MobileNetV2)的原型深度学习方法正确识别了10个开销类,平均准确率为96.7%。该模型超过了人类93.9%的峰值性能。为了升级卫星图像和物体识别,这个新的数据集有利于各种努力,如救灾,土地使用管理和其他传统的遥感任务。这项工作扩展了卫星基准测试的新功能,以确定可能在小卫星上工作的高效和紧凑的算法,这是未来多传感器星座的一项实际任务。数据集可以在Kaggle和Github上找到。
2021-02-08 cs.CV cs.LG
Taking a PEEK into YOLOv5 for Satellite Component Recognition via Entropy-based Visual Explanations
U.S. Army Engineer Research and Development Center(美国陆军工程师研发中心)
本文提出PEEK方法,利用信息论分析YOLOv5隐藏层潜在表示,通过硬件在环实验揭示其卫星组件检测的决策过程,以识别模型优势、局限与偏差,提升安全关键任务的可解释性。
2023-11-25 cs.CV cs.IT math.IT
Satellite image classification and segmentation using non-additive entropy
São Carlos Institute of Physics, University of São Paulo (USP)(圣保罗大学圣卡洛斯物理研究所);Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto (FFCLRP), Universidade de São Paulo (USP)(圣保罗大学里贝朗普雷图哲学、科学与文学学院);Instituto Nacional de Ciências e Tecnologia de Sistemas Complexos(国家复杂系统科学技术研究所)
在这里,我们比较玻尔兹曼吉布斯香农(标准)与Tsallis熵的模式识别和分割的彩色图像获得的卫星,通过“谷歌地球”。通过分割,我们的意思是分割图像以定位感兴趣的区域。在这里,我们根据训练基础来区分和定义图像分区类。该培训基础包括三个模式类:水生,城市和植被地区。我们的数值实验表明,Tsallis熵,作为一个特征向量组成的不同的熵指标$q$优于标准熵。我们提出的方法有几个应用,一旦卫星图像可以用来监测从农村到城市地区的移民,农业活动,石油在海洋上的蔓延等。
2014-01-10 cs.CV
GeoWATCH for Detecting Heavy Construction in Heterogeneous Time Series of Satellite Images
Kitware, Inc.(Kitware公司)
针对多传感器卫星图像学习中的时空错位等挑战,提出可处理多视觉任务的GeoWATCH框架,其基于子图同构的部分权重加载机制支持持续训练,在保留核心骨干时调优可提升模型性能。
2024-07-08 cs.CV
GeoReason: Aligning Thinking And Answering In Remote Sensing Vision-Language Models Via Logical Consistency Reinforcement Learning
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航空信息研究所);Key Laboratory of Target Cognition and Application Technology, Chinese Academy of Sciences(中国科学院目标认知与应用技术重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
GeoReason通过逻辑一致性强化学习提升遥感视觉-语言模型的推理可靠性与可解释性,实现思考与决策的同步。
2026-01-08 cs.CV
A Spacecraft Dataset for Detection, Segmentation and Parts Recognition
The University of Adelaide(阿德莱德大学)
现代生活的几乎所有方面都依赖于空间技术。由于计算机视觉的巨大进步,特别是基于深度学习的技术,几十年来,世界见证了深度学习在解决空间应用问题方面的日益增长的使用,例如自动驾驶机器人,示踪剂,宇宙中的昆虫机器人和航天器的健康监测。这些只是在深度学习的帮助下推动航天工业发展的一些突出例子。然而,深度学习模型的成功需要大量的训练数据才能获得良好的性能,而另一方面,用于训练深度学习模型的公开可用空间数据集非常有限。目前,没有用于基于空间的目标检测或实例分割的公共数据集,部分原因是手动注释对象分割掩码非常耗时,因为它们需要像素级标记,更不用说从空间获取图像的挑战。在本文中,我们的目标是填补这一空白,释放一个数据集的航天器检测,实例分割和部分识别。这项工作的主要贡献是使用空间站和卫星的图像开发数据集,并带有丰富的注释,包括航天器的边界框和物体部件级别的掩模,这些注释是通过自动过程和手动工作的混合获得的。我们还提供了评估与国家的最先进的方法在目标检测和实例分割作为基准的数据集。下载建议数据集的链接可以在https://github.com/Yurushia1998/SatelliteDataset上找到。
2021-06-15 cs.CV
DeepSat - A Learning framework for Satellite Imagery
Louisiana State University(路易斯安那州立大学);Bay Area Environmental Research Institute(湾区环境研究所);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);NASA Advanced Supercomputing Division(美国国家航空航天局高级计算部门)
卫星图像分类是遥感、计算机视觉和机器学习的交叉点上的一个具有挑战性的问题。由于卫星数据固有的高度可变性,大多数当前的对象分类方法不适合处理卫星数据集。卫星图像分析的进展也因缺乏具有多个类别标签的单一标签高分辨率数据集而受到抑制。本文的贡献是双重的-(1)首先,我们提出了两个新的卫星数据集,称为SAT-4和SAT-6,(2)然后,我们提出了一个分类框架,从输入图像中提取特征,将其归一化,并将归一化的特征向量馈送到深度信念网络进行分类。在SAT-4数据集上,我们最好的网络产生了97.95%的分类准确率,并优于三种最先进的对象识别算法,即深度置信网络,卷积神经网络和堆叠去噪自动编码器约11%。在SAT-6上,它的分类准确率为93.9%,比其他算法高出约15%。与随机森林分类器的比较研究显示了无监督学习方法相对于传统监督学习技术的优势。基于分布可分性准则和内禀相似性估计的统计分析证实了我们的方法在学习更好的卫星图像表示的有效性。
2015-09-11 cs.CV
Canonical Correlation Analysis for Misaligned Satellite Image Change Detection
CNRS(法国国家科学研究中心);LIP6 Lab(巴黎第六大学实验室);Sorbonne University(索邦大学)
典型相关分析(CCA)是一种统计学习方法,旨在从多视图数据中构建与视图无关的潜在表示。该方法已成功地应用于几个模式分析任务,如图像到文本的映射和视图不变的对象/动作识别。然而,这种成功高度依赖于数据配对的质量(即,对齐)和错配不利地影响学习的CCA表示的泛化能力。在本文中,我们使用一种新的变异的典型相关分析称为不可知(AA)CCA的对齐错误的问题。从从不同视图获取的错误配对数据开始,该CCA通过优化将数据相关项与上下文正则化混合的约束最大化问题来找到变换矩阵;这两个项的特定设计减轻了学习CCA变换时对齐错误的影响。多视图任务,包括多时相卫星图像变化检测进行的实验表明,我们的AA CCA方法是非常有效的和弹性的错配错误。
2018-12-21 cs.CV
A Comparison of Deep Learning Object Detection Models for Satellite Imagery
Lockheed Martin Space(洛克希德·马丁航天公司)
在这项工作中,我们比较了几个国家的最先进的模型的检测精度和速度的任务,检测石油和天然气压裂井和小型汽车在商业电子光学卫星图像。从单阶段、两阶段和多阶段目标检测技术家族研究了几种模型。对于压裂井场(50 m-250 m)的检测,我们发现单级检测器提供了优越的预测速度,同时还匹配其两级和多级对应物的检测性能。然而,对于检测小型汽车,两阶段和多阶段模型以一定的速度为代价提供了更高的精度。我们还测量滑动窗口目标检测算法的计时结果,以提供比较基线。其中一些模型已被纳入洛克希德·马丁公司的全球可扩展自动目标识别(GATR)框架。
2020-09-10 cs.CV
Cascaded Coarse-to-Fine Deep Kernel Networks for Efficient Satellite Image Change Detection
CNRS(法国国家科学研究中心);LIP6 Lab(LIP6实验室);Sorbonne University(巴黎索邦大学)
深度网络现在在许多计算机视觉和模式识别任务中变得流行。在这些网络中,深度内核是特别有趣和有效的,然而,它们的计算复杂性是一个主要问题,特别是在廉价的硬件资源上。在本文中,我们解决了深度内核网络中的高效计算问题。我们提出了一个新的框架,大大降低了评估这些深内核的复杂性。我们的方法是基于一个由粗到细的级联网络设计的高效计算;级联的早期阶段是廉价的,有效地拒绝许多模式,而深阶段更昂贵和准确。这些降低复杂性的网络的设计原理是基于交叉熵准则的变体,该准则降低了级联中网络的复杂性,同时保留了原始内核网络的所有积极响应。进行的实验-具有挑战性和时间要求的变化检测任务,非常大的卫星图像-表明,我们提出的粗到细的方法是有效的,高效的。
2018-12-21 cs.CV
Towards On-Board Panoptic Segmentation of Multispectral Satellite Images
Queensland University of Technology(昆士兰科技大学)
针对多光谱卫星图像星上全景分割需求,提出基于跨模态注意力融合的多模态教师网络与在线知识蒸馏框架,将知识迁移至单模态学生网络适配星上环境,在PASTIS数据集上精度显著优于现有SOTA模型。
2022-04-05 cs.CV
Fast Wavelet-Based Visual Classification
Ecole Polytechnique(巴黎综合理工学院);Massachusetts Institute of Technology(麻省理工学院)
我们研究了一种生物学动机的方法来快速视觉分类,直接受到Serre等人最近工作的启发。具体来说,权衡生物学准确性和计算效率,我们探索使用小波和grouplet样变换来并行调节视觉皮层V1和V2细胞,交替使用最大操作来实现尺度和平移不变性。在学习过程中应用特征选择过程以加速识别。我们引入了一个简单的注意力反馈机制,显着提高识别和鲁棒性在多对象场景。在实验中,该算法在目标识别、纹理和卫星图像分类、语言识别和声音分类上达到或超过了最先进的成功率。
2008-06-08 cs.CV
Boundary Regularized Building Footprint Extraction From Satellite Images Using Deep Neural Network
York University(约克大学)
近年来,越来越多的远程卫星绕地球运行,传输大量的视觉数据,以支持广泛的民用,公共和军事应用。从卫星图像获得的关键信息之一是制作和更新人造环境的空间地图,因为其覆盖面广,具有高分辨率数据。然而,从卫星图像重建空间地图并不是一个简单的视觉任务,因为它需要重建一个场景或物体与高层次的表示,如图元。在过去的十年中,在目标检测和表示使用视觉数据已经取得了显着的进步,但基于连续性的对象表示仍然是一个具有挑战性的视觉任务。因此,高质量的空间地图主要是通过复杂的劳动密集型过程制作的。在本文中,我们提出了一种新型的深度神经网络,它能够联合检测建筑物实例并规则化来自单个卫星图像的有噪建筑物边界形状。所提出的深度学习方法由两阶段目标检测网络组成,以产生感兴趣区域(RoI)特征,并使用图形模型来学习多边形形状的几何信息。大量的实验表明,我们的模型可以同时完成多个任务的目标定位,识别,语义标记和几何形状提取。在建筑物提取精度,计算效率和边界正则化性能方面,我们的模型优于最先进的基线模型。
2020-06-23 cs.CV
Pattern Recognition Scheme for Large-Scale Cloud Detection over Landmarks
Universitat de València(瓦伦西亚大学);EUMETSAT(欧洲气象卫星应用组织)
地标识别和匹配是地球静止卫星服务的许多图像导航和配准(INR)模型中的关键步骤,也是维持地球观测卫星仪器数据处理链中几何质量评估(GQA)的关键步骤。准确地匹配地标是至关重要的,并且该过程可能受到给定地标的云污染的强烈影响。本文介绍了一个完整的模式识别方法,能够检测使用气象卫星第二代(MSG)数据的地标云的存在。该方法是基于专用的支持向量机(SVM)依赖于特定的地标和照明条件的合奏组合。这种分而治之的策略是由数据的复杂性,并遵循一个基于物理的策略,考虑在季节性和光照条件的变化沿一天分裂观察。此外,它允许以负担得起的计算成本用数百万个样本训练分类方案。图像档案由200个具有里程碑意义的试验场组成,其中近700万张多光谱图像对应于2010年期间的MSG采集。结果分析云检测精度和计算成本。我们向社区提供了说明性的源代码和一部分庞大的训练数据。
2020-12-08 cs.CV cs.LG
Learn Temporal Consistency For Robust Satellite Video Detector
Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences(中国科学院空间应用工程与技术中心);Key Laboratory of Space Utilization, Chinese Academy of Sciences(中国科学院空间应用重点实验室);University of Chinese Academy of Sciences(中国科学院大学);School of Electronics and Information Engineering, Harbin Institute of Technology(哈尔滨工业大学电子与信息工程学院)
提出基于时间一致性学习(TCL)的卫星视频目标检测框架,通过时间特征聚合、结构编码和时间一致性约束模块,实现定向细粒度目标检测,在SAT-MTB数据集上达到47.7% mAP,较基线提升4.8%。
2026-06-16 cs.CV
Are Accelerometers for Activity Recognition a Dead-end?
University of Oxford(牛津大学);Samsung AI(三星人工智能(Samsung AI))
基于加速度计(以及其他惯性传感器)的人类活动识别(HAR)研究是一个死胡同。这个传感器没有提供足够的信息让我们在HAR的核心领域取得进展-从传感器数据中识别日常活动。尽管人们在改进特征工程和机器学习模型方面做出了持续和长期的努力,但我们能够可靠识别的活动只是略有扩展,早期模型的许多相同缺陷今天仍然存在。我们不应该依赖加速度数据,而应该考虑具有更丰富信息的模态-一个合乎逻辑的选择是图像。随着图像传感硬件和建模技术的快速发展,我们相信,图像传感器的广泛采用将为广泛的人类活动提供准确和可靠的推理机会。在本文中,我们的情况下,成像仪代替加速度计作为默认传感器的人类活动识别。我们对过去工作的回顾导致我们观察到HAR的进展已经停滞,这是由于我们对加速计的依赖。我们进一步论证了活动识别的图像的适合性,通过说明其丰富的信息和计算机视觉的显着进步。通过可行性分析,我们发现在设备上部署成像器和CNN不会对现代移动硬件造成实质性负担。总的来说,我们的工作强调了远离加速度计的必要性,并呼吁进一步探索使用成像器进行活动识别。
2020-01-30 cs.CV
AI-based Density Recognition
Leibniz Supercomputing Centre (LRZ)(莱布尼茨超级计算中心(LRZ));German Aerospace Center (DLR)(德国航空航天中心(DLR));Ludwig-Maximilians-Universität (LMU)(慕尼黑大学(LMU))
本文提出一种基于AI的概念,通过神经网络从2D图像中提取体积、材料和密度等物理属性,以优化移动与机器人领域的因果相关逻辑交互。
2024-07-24 cs.CV
Mesh-Wise Prediction of Demographic Composition from Satellite Images Using Multi-Head Convolutional Neural Network
London School of Economics and Political Science(伦敦政治经济学院)
针对精细化人口老龄化监测难的问题,提出融合迁移学习的多头卷积神经网络,以多源卫星图像为输入估算日本网格级人口构成,测试集R²超0.89,还生成了非普查年份的人口构成可视化结果。
2023-08-25 cs.CV
Training Set Effect on Super Resolution for Automated Target Recognition
PeopleTec, Inc.(PeopleTec公司)
单图像超分辨率(SISR)是将低分辨率图像映射到高分辨率图像的过程。这在遥感中作为提高卫星图像空间分辨率的一种方式具有固有的应用。这表明了对图像分类和目标检测中的自动目标识别的可能改进。我们使用超分辨率生成对抗网络(SRGAN)来探索不同训练集对SISR的影响。我们在不同的土地利用类别(例如农业,城市,港口)上训练训练5个SRGAN,并在相同的未见过的数据集上测试它们。我们试图找到定性和定量的差异SISR,二进制分类,和目标检测性能。我们发现,在测试本体中包含对象的策划训练集在两个计算机视觉任务上都表现得更好,而具有复杂的图像分布允许目标检测模型表现得更好。然而,超分辨率(SR)可能对某些问题没有好处,并且对于更接近解决的数据集,其回报量将逐渐减少。
2020-02-07 cs.CV
Master's Thesis : Deep Learning for Visual Recognition
我们的研究目标是开发方法,推进自动视觉识别。为了预测与图像相关联的唯一或多个标签,我们研究了用于监督特征学习的不同类型的深度神经网络架构和方法。我们首先对卷积神经网络进行了最新的回顾,旨在了解这一系列统计模型背后的历史,现代架构的限制以及目前用于训练深度CNN的新技术。我们工作的独创性在于我们的方法专注于数据量较低的任务。我们引入了不同的模型和技术,以在几种数据集上实现最佳精度,例如用于构建Web API的中等食物食谱数据集(10万张图像),或用于我们赢得的DSG在线挑战的小型卫星图像数据集(6,000张)。我们还制定了最先进的弱监督学习,介绍了不同种类的CNN能够本地化感兴趣的区域。我们的最后一个贡献是一个框架,建立在Torch7之上,用于在任何视觉识别任务和任何规模的数据集上训练和测试深度模型。
2016-10-18 cs.CV
UniTabNet: Bridging Vision and Language Models for Enhanced Table Structure Recognition
University of Science and Technology of China(中国科学技术大学);iFLYTEK AI Research(讯飞AI研究院)
本文提出UniTabNet框架,通过图像到文本模型结合物理与逻辑解码器重建表格结构,并引入Vision Guider和Language Guider提升预测准确性与文本语义理解,在多个数据集上达到最先进性能。
2024-09-20 cs.CV
Combining UPerNet and ConvNeXt for Contrails Identification to reduce Global Warming
本研究针对卫星图像飞机凝结尾迹检测问题,结合UPerNet与ConvNeXt构建语义分割模型,经数据预处理、类别平衡等优化,Dice系数表现优异,位列参赛队伍前5%,助力减缓凝结尾迹的气候影响缓解。
2023-10-07 cs.CV
Angular Luminance for Material Segmentation
Rutgers University(罗格斯大学)
移动摄像机提供每个像素的多个强度测量,但通常语义分割、材料识别和对象识别不利用该信息。通过在移动相机序列的若干帧上的基本对准,获得在多个角度上的强度分布。从先前的工作中众所周知,自然图像的亮度直方图和统计数据提供了强有力的材料识别线索。我们利用每像素{ \it角亮度分布}作为区分表面材料的关键特征。多视角卫星图像序列中的角度空间采样是对材料的潜在反射函数的非结构化采样。对于真实世界的材料,存在显著的类内变化,可以通过构建角亮度网络(AngLNet)来管理。该网络将来自多个图像的角度反射线索与空间线索相结合,作为完全卷积网络的输入,用于材料分割。我们证明了AngLNet在卫星图像材料分割方面的性能优于现有技术。
2020-09-22 cs.CV cs.RO
SPARK: SPAcecraft Recognition leveraging Knowledge of Space Environment
LMO
本文提出了SPARK数据集作为一个新的独特的空间目标多模态图像数据集。基于图像的物体识别是空间态势感知的一个重要组成部分,特别是对于在轨服务、主动清除碎片和卫星编队等应用。然而,由于缺乏足够的附加说明的空间数据,在开发数据驱动的航天器识别方法方面的研究工作受到限制。SPARK数据集是在真实的空间模拟环境下生成的,不同轨道情景的传感条件差异很大。它提供每种模式,RGB和深度约150k图像,以及航天器和碎片的11类。该数据集提供了一个基准测试和进一步开发对象识别,分类和检测算法以及空间传感条件下的多模态RGB深度方法的机会。初步实验评价验证了数据的相关性,并突出了空间环境特有的有趣的挑战性情景。
2021-04-14 cs.CV cs.LG
WildSAT: Learning Satellite Image Representations from Wildlife Observations
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);GenBio AI;University of Edinburgh(爱丁堡大学)
WildSAT通过对比学习将卫星图像与数百万野生动物观测及文本栖息地描述配对,提升卫星图像识别性能并支持零样本检索,优于现有跨模态方法,适用于遥感与生物多样性监测。
2025-08-08 cs.CV cs.LG q-bio.QM
Cloud Detection in Multispectral Satellite Images Using Support Vector Machines With Quantum Kernels
Jagiellonian University(雅盖隆大学);KP Labs(KP实验室);European Space Agency(欧洲空间局);Silesian University of Technology(西里西亚工业大学)
本文提出结合Quantum Kernel Estimation与经典SVM训练的混合SVM,利用ZZ特征映射和核对齐优化实现多光谱卫星图像云检测,并在Landsat-8上达到与经典SVM相当的准确率。
2023-07-14 cs.CV quant-ph
Detecting Comma-shaped Clouds for Severe Weather Forecasting using Shape and Motion
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon Lab126(亚马逊Lab126);Accuweather Inc.(Accuweather公司);University of Almería(阿尔梅里亚大学)
气象学家利用卫星图像中云的形状和运动作为几种主要类型强风暴的指标。卫星假想数据在空间和时间上的分辨率越来越高,使得人类无法在预测中充分利用这些数据。需要能够在发现与风暴有关的云层模式时立即发现这些模式的自动卫星图像分析方法。我们提出了一种基于机器学习和模式识别的方法来检测卫星图像中的“逗号形”云,这是特定的云分布模式强烈相关的气旋制定。为了检测具有目标运动模式的区域,我们的方法在由形状和运动敏感特征表示的手动注释的云示例上进行训练。在不同尺度的滑动窗口,以确保密集的云将被捕获,我们实现了有效的选择规则,以缩小这些滑动窗口之间的感兴趣的区域。最后,我们评估了一个坚持注释逗号形云数据集的方法和交叉匹配的结果与记录的风暴事件在恶劣天气数据库。我们的方法的实用性和准确性验证建议一个很高的潜力,以协助气象学家在天气预报。
2018-12-13 cs.CV
Contour Sparse Representation with SDD Features for Object Recognition
计算一维曲线的斜率差分布(SDD)。该算法不仅对计算分割点实现曲线的逻辑分离具有鲁棒性,而且对计算分离曲线各部分的聚类中心也具有鲁棒性。SDD已被提出用于图像分割,它优于所有现有的图像分割方法。为了验证的目的,我们已经取得了比较SDD方法与现有的图像分割方法在Matlab中心免费提供的Matlab代码。物体的轮廓类似于图像的直方图。因此,通过SDD从对象的轮廓进行特征检测也是可行的。在这封信中,SDD功能的定义,他们形成的对象轮廓的稀疏表示。根据SDD特征建立每个目标的参考模型,然后利用模型匹配进行在线目标识别。实验结果非常令人鼓舞。对于手势识别,SDD在两个公共数据集上实现了100%的准确率:NUS数据集和近红外数据集。对于物体识别,SDD在Kimia 99数据集上实现了100%的准确率。
2020-09-03 cs.CV cs.LG eess.IV
A large-scale dataset for end-to-end table recognition in the wild
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);Zhuzhou CRRC Times Electric Co., Ltd(株洲中车时代电气股份有限公司);Pazhou Lab(琶洲实验室);College of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院)
本文提出首个大规模双语端到端表格识别数据集TabRecSet,包含38.1K个多样真实场景表格及完整多边形标注,并开发了可视化标注工具TableMe,填补了端到端TR研究缺乏基准数据集的空白。
2023-03-27 cs.CV
Learning to Reason: Targeted Knowledge Discovery and Fuzzy Logic Update for Robust Image Recognition
German Aerospace Center (DLR)(德国航空航天中心(DLR))
本文提出一种针对知识发现和模糊逻辑更新的方法,通过可微知识单元调节分类器logits,提升图像识别鲁棒性,实验表明在多个数据集上表现优于基线。
2026-04-30 cs.AI cs.CV
Effectivity of super resolution convolutional neural network for the enhancement of land cover classification from medium resolution satellite images
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
在现代世界,卫星图像在森林管理和退化监测方面发挥着关键作用。为了精确地量化森林土地覆盖的变化,必须提供空间上高分辨率的数据。自1972年以来,美国航天局的大地卫星卫星提供了覆盖地球每一个角落的地面图象,这些图象已被证明是分析地面变化的非常有用的资源,并已被用于许多其他部门。然而,可免费获得的卫星图像一般都是中低分辨率的,这是影响分析准确性的一个主要障碍。因此,我们进行了全面的研究,以证明我们的观点,提高分辨率的超分辨率卷积神经网络(SRCNN)将减少误分类的像素的机会,即使在既定的识别方法。我们测试了该方法对原始LANDSAT-7图像的不同地区的孙德尔本斯和他们的放大版本,分别由双线性插值,双三次插值,和SRCNN和它被发现,SRCNN优于其他显着的量。
2022-07-05 cs.CV cs.CY eess.IV
Material Segmentation of Multi-View Satellite Imagery
Rutgers University(罗格斯大学);Kitware(Kitware公司);Purdue University(普渡大学)
材料识别方法使用图像上下文和局部线索进行逐像素分类。在许多情况下,只有单个图像可用于进行材料预测。图像序列,经常在应用程序中获得,如多视图立体,可以提供一个采样的基本反射函数,揭示像素级的材料属性。我们研究多视图材料分割使用两个数据集生成的建筑材料分割和场景材料分割的SpaceNet挑战卫星图像数据集。在本文中,我们通过引入\textit{reflectance residual encoding}来探索多角度反射信息的影响,该方法可以捕获数据集中的多角度和多光谱信息。通过将稀疏采样反射率函数与预定义的密集采样反射率函数的字典进行差分来计算残差。我们提出的反射率残差功能提高材料分割性能时,集成到像素和语义分割架构。在测试时,来自各个分割的预测通过softmax融合进行组合,并通过建筑分段投票进行细化。我们证明了强大的和准确的像素分割结果使用建议的材料分割管道。
2019-04-17 cs.AI cs.CV
Feature Aggregation Network for Building Extraction from High-resolution Remote Sensing Images
Institut Polytechnique de Paris(巴黎理工学院)
针对高分辨率遥感图像中建筑物细粒度提取的挑战,提出Feature Aggregation Network (FANet),通过结合全局与局部特征提取模块及注意力机制,实现了精细的建筑物提取,并在多个数据集上验证了其卓越性能。
2023-09-12 cs.CV
Satellite Image Classification with Deep Learning
Lockheed Martin Space(洛克希德·马丁空间系统公司)
卫星图像对于许多应用都很重要,包括救灾、执法和环境监测。这些应用需要人工识别图像中的物体和设施。由于要覆盖的地理范围很广,而可用于进行搜索的分析师很少,因此需要自动化。然而,传统的目标检测和分类算法太不准确和不可靠,无法解决这个问题。深度学习是一系列机器学习算法,这些算法已显示出对此类任务自动化的承诺。利用卷积神经网络进行图像理解已取得成功。在本文中,我们将它们应用到高分辨率,多光谱卫星图像中的对象和设施识别的问题。我们描述了一个深度学习系统,用于将来自IARPA世界功能地图(fMoW)数据集的对象和设施分类为63个不同的类。该系统由卷积神经网络和将卫星元数据与图像特征相结合的附加神经网络组成。它使用Keras和TensorFlow深度学习库在Python中实现,并在带有NVIDIA Titan X图形卡的Linux服务器上运行。在撰写本文时,该系统在fMoW TopCoder竞赛中排名第二。它的总准确率为83%,F1得分为0.797,并以95%或更高的准确率对15个类别进行分类。
2020-10-13 cs.CV cs.LG
A Distributed Inference System for Detecting Task-wise Single Trial Event-Related Potential in Stream of Satellite Images
Korea University(高丽大学);Chungbuk National University(忠北国立大学)
针对卫星图像流中任务级单次试验事件相关电位检测问题,提出采用多任务优化模型的分布式推理系统,在两种实验范式下均取得优于传统方法的最高$F_β$分数,加入边界框可进一步提升识别效果。
2023-11-10 cs.AI cs.CV eess.SP
Automatic Extraction of Road Networks from Satellite Images by using Adaptive Structural Deep Belief Network
Prefectural University of Hiroshima(广岛县立大学)
在我们的研究中,限制玻尔兹曼机(RBM)和深度信念网络(DBN)的自适应结构学习方法已经发展成为一个突出的深度学习模型。RBM中的神经元生成-湮灭和DBN中的层生成算法在学习过程中对给定的输入生成最优的网络结构。在本文中,我们的模型被应用到道路网络系统的自动识别方法,称为RoadTracer。RoadTracer可以从航空照片数据生成地面上的道路图。在迭代搜索算法中,训练CNN以找到具有高检测能力的道路之间的网络图连通性。然而,该系统不仅在训练阶段而且在推理阶段都需要很长的计算时间,因此可能无法实现高精度。为了提高精度和计算时间,我们的自适应DBN是在RoadTracer上实现的,而不是在CNN上。我们开发的模型的性能进行了评估的卫星图像在郊区,日本。实验结果表明,与传统的CNN相比,自适应DBN不仅在检测精度上有优势,而且在推理时间上也有优势。
2021-10-25 cs.CV cs.NE
OCRBench v2: An Improved Benchmark for Evaluating Large Multimodal Models on Visual Text Localization and Reasoning
Huazhong University of Science and Technology(华中科技大学);South China University of Technology(华南理工大学);University of Adelaide(阿德莱德大学);ByteDance(字节跳动)
OCRBench v2通过构建任务更全、场景更广、含1万人工验证问答对及私有测试集的双语基准,系统评估并揭示了现有大型多模态模型在文本定位、细粒度感知与逻辑推理等方面的不足。
2025-06-05 cs.AI cs.CV
Bayesian aggregation improves traditional single image crop classification approaches
Center for Computational and Data-Intensive Science and Engineering (CDISE)(计算与数据密集型科学与工程中心(CDISE));Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院(Skoltech))
机器学习(ML)方法和神经网络(NN)被广泛应用于基于卫星图像的作物类型识别和分类。然而,这些研究大多数使用几个多时相图像,这可能是不适用于多云地区。我们提出了一个比较经典的ML方法和U-Net NN分类农作物与一个单一的卫星图像。结果表明,使用逐场分类的优势,逐像素的方法。我们首先使用贝叶斯聚合进行字段分类,并在多数投票聚合之间改进了1.5%的结果。单卫星图像作物分类的最佳结果是实现了梯度提升的总体精度为77.4%和宏观F1得分0.66。
2020-04-07 cs.CV cs.LG eess.IV
PhenoStitch: Training-Free Panoptic Crop Mapping from Satellite Image Time Series
PhenoStitch是无需特定任务梯度训练的全景作物制图流程,结合无标注地块划分与小样本物候识别,在每类仅20个标注的有限监督下,优于多种基线方法
2026-08-04 cs.CV cs.LG
LogicOCR: Do Your Large Multimodal Models Excel at Logical Reasoning on Text-Rich Images?
School of Computer Science, National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, and Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University(计算机学院、多媒体软件国家工程研究中心、人工智能研究院、多媒体与网络通信工程湖北省重点实验室、武汉大学)
LogicOCR通过构建包含生成和现实图像问题的基准测试,评估大型多模态模型在文本丰富图像上的逻辑推理能力,并提出TextCue方法提升模型对关键文本区域的感知。
2025-11-26 cs.CL cs.CV
Classroom Slide Narration System
IIIT-Hyderabad(印度国际信息技术学院海得拉巴分校)
幻灯片演示是教学界用于课堂交流的有效和高效的工具。然而,这种教学模式对盲人和视障学生来说可能具有挑战性。VI学生需要个人帮助来理解所呈现的幻灯片。这个缺点促使我们设计一个教室幻灯片旁白系统(CSNS),产生相应的幻灯片内容的音频描述。这个问题构成了图像到置标语言生成任务。初始步骤是从幻灯片图像中提取逻辑区域,如标题、文本、公式、图形和表格。在教室幻灯片图像中,基于图像的位置来分布逻辑区域。为了利用逻辑区域的位置进行幻灯片图像分割,我们提出了课堂幻灯片分割网络(CSSN)体系结构。这种架构的独特属性不同于大多数其他语义分割网络。公开可用的基准数据集,如WiSe和SPaSe用于验证我们的分割架构的性能。我们在WiSe数据集上获得了9.54的分割精度提高。我们从幻灯片中提取内容(信息),使用四个完善的模块,如光学字符识别(OCR),图形分类,方程描述和表结构识别器。有了这些信息,我们建立了一个课堂幻灯片叙述系统(CSNS),以帮助VI学生理解幻灯片内容。与现有的系统(如Facebook的自动Alt-Text(AAT)和Tesseract)相比,用户对拟议的CSNS的质量输出给出了更好的反馈。
2022-01-21 cs.AI cs.CV cs.MM
Landslide Geohazard Assessment With Convolutional Neural Networks Using Sentinel-2 Imagery Data
University of Sannio(萨尼奥大学);Massachusetts Institute of Technology (MIT)(麻省理工学院(MIT))
在本文中,作者的目标是将最新的图像识别模型与最好的公开卫星图像相结合,以创建一个滑坡风险缓解系统。我们首先专注于滑坡检测,并进一步提出了一个类似的系统用于预测。随着卫星图像的日益普及,这种模型很有价值,因为可以很容易地扩大规模,为灾害评估提供数据。其目标是利用卫星图像和相关数据丰富公共数据库,并指导救灾工作,以确定发生山体滑坡的准确地区。使用不同的图像增强方法来增加所选数据集的多样性,并创建更强大的分类。然后将所得输出馈送到3D卷积神经网络的变体中。对现有文献的回顾表明,没有使用CNN(卷积神经网络)和免费提供的卫星图像对滑坡风险进行分类的研究。该模型已被证明最终能够实现比基线更好的准确性。
2019-06-10 cs.CV cs.LG eess.IV