Spatial-Temporal Super-Resolution of Satellite Imagery via Conditional Pixel Synthesis
Stanford University(斯坦福大学)
事实证明,高分辨率卫星图像可用于广泛的任务,包括测量全球人口、地方经济生计和生物多样性等。不幸的是,高分辨率图像很少收集,而且购买价格昂贵,因此很难在时间和空间上有效地扩展这些下游任务。我们提出了一个新的条件像素合成模型,使用丰富的,低成本的,低分辨率的图像生成准确的高分辨率图像的位置和时间,它是不可用的。我们表明,我们的模型达到了照片般逼真的样本质量,并在关键的下游任务-对象计数-上优于竞争基线,特别是在地面条件迅速变化的地理位置。
2022-04-04 cs.AI cs.CV
Spatial-temporal Concept based Explanation of 3D ConvNets
Nagoya University(名古屋大学);Hitotsubashi University(一桥大学);Ritsumeikan University(立命馆大学)
最近的研究在解释2D图像识别ConvNets方面取得了杰出的成功。另一方面,由于计算成本和视频数据的复杂性,3D视频识别ConvNets的解释研究相对较少。在本文中,我们提出了一个用于解释3D ConvNets的3D ACE(基于概念的自动解释)框架。在我们的方法中:(1)使用高级超体素来表示视频,这对于人类理解是直接的;以及(2)解释框架估计每个体素的分数,这反映了其在决策过程中的重要性。实验结果表明,该方法可以发现不同重要性级别的时空概念,从而可以深入地探索这些概念对动作分类等目标任务的影响。这些代码是公开的。
2022-06-09 cs.AI cs.CV
Leveraging Activation Maximization and Generative Adversarial Training to Recognize and Explain Patterns in Natural Areas in Satellite Imagery
University of Bonn(波恩大学);Forschungszentrum Jülich(于利希研究中心)
本文提出一种结合激活最大化和生成对抗模型的框架,通过生成卫星图像并结合领域知识,精准定位并解释构成自然保护区自然真实性的空间与光谱模式,促进生态监测与保护。
2023-11-15 cs.AI cs.CV
T-STAR: A Large-Scale Benchmark for Spatio-Temporal Panoptic Scene Graph Generation in Satellite Video
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院)
本文针对卫星视频结构化理解难题,提出时空全景场景图生成任务,构建T-STAR大规模基准数据集,含超百万实例掩码和时空三元组,还提出统一框架,经实验验证其对卫星视频理解研究的重要性和框架有效性。
2026-07-24 cs.CV
Attention-based Multi-modal Deep Learning Model of Spatio-temporal Crop Yield Prediction with Satellite, Soil and Climate Data
Presidency University, Bengaluru, India(班加罗尔大学);University of Europe for Applied Sciences, Berlin(欧洲应用科学大学)
本文提出ABMMDLF模型,结合多年的卫星影像、高分辨率气象时间序列和初始土壤属性,通过卷积神经网络提取空间特征和时间注意力机制适应性加权关键物候期,实现高精度时空作物产量预测,R²达0.89。
2026-04-21 cs.AI cs.CV
Temporal Interpolation of Geostationary Satellite Imagery with Task Specific Optical Flow
NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);Bay Area Environmental Research Institute(湾区环境研究所)
卫星数据在天气跟踪和建模、生态系统监测、野火探测和土地覆盖变化等领域的应用,在很大程度上取决于对观测的空间、光谱和时间分辨率的权衡。在天气跟踪中,高频时间观测至关重要,用于改善预报,研究严重事件和提取大气运动等。然而,虽然目前这一代地球静止卫星每隔10-15分钟覆盖半球,但时间频率更高的观测对于研究中尺度恶劣天气事件是理想的。在这项工作中,我们应用特定于任务的光流方法,使用深度卷积神经网络进行时间上采样。我们将这种技术应用于GOES-R/高级基线成像仪中尺度数据集的16个波段,以在时间上增强从15分钟到1分钟的不同空间分辨率的全磁盘半球快照。实验表明,任务特定的光流和多尺度块内插高频恶劣天气事件相对于双线性和全球光流基线的有效性。最后,我们展示了强大的性能,在捕捉变化的对流降水事件。
2020-03-01 cs.CV
Supervised learning on graphs of spatio-temporal similarity in satellite image sequences
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE(法国国家信息与自动化研究所)
高分辨率卫星图像序列是由与众多和各种现象相关的时空模式组成的多维信号。贝叶斯方法先前已经在(Heas和Datcu,2005)中提出,以使用贝叶斯方法将卫星图像序列中包含的信息编码为图形表示。在此基础上,提出了一种基于时空模式的卫星图像序列语义监督学习方法。它能够识别和概率检索类似的事件。事实上,图形是附加到时空过程的统计模型,而时空过程又描述了所观察到的场景中的物理变化。因此,我们调整了一个参数模型,以表示用户特定的语义附加到时空现象的图形模式之间的相似性类型进行评估。学习步骤是通过用户提供的时空模式的例子附加到积极或/和消极的语义的相似性类型的增量定义。从这些示例中,使用贝叶斯网络和狄利克雷模型来推断概率。这使得能够将用户兴趣链接到图形模式之间的特定相似性模型。根据当前的学习状态,语义后验概率更新的所有可能的图形模式,使类似的时空现象可以识别和检索的图像序列。几个实验上进行的多光谱SPOT图像序列说明所提出的时空识别方法。
2007-09-20 cs.CV
Panoptic Segmentation of Satellite Image Time Series with Convolutional Temporal Attention Networks
LASTIG(LASTIG实验室);Univ. Gustave Eiffel(古斯塔夫·埃菲尔大学);ENSG(法国国立地理科学学院);IGN(法国国家地理林业信息研究所)
前所未有的获取多时相卫星图像的机会为各种地球观测任务开辟了新的前景。其中,农业地块的像素精确全景分割具有重大的经济和环境影响。虽然研究人员已经探讨了这个问题的单一图像,我们认为,复杂的时间模式的作物物候更好地解决与时间序列的图像。在本文中,我们提出了第一个端到端,单阶段的方法全景分割的卫星图像时间序列(SITS)。该模块可以与我们新的图像序列编码网络相结合,该网络依赖于时间自注意力来提取丰富的自适应多尺度时空特征。我们还介绍了PASTIS,第一个开放访问的SITS数据集与全景注释。我们证明了我们的编码器的语义分割对多个竞争体系结构的优越性,并建立了第一个国家的最先进的全景分割的SITS。我们的实现和PASTIS是公开的。
2022-06-27 cs.CV
ST-ABN: Visual Explanation Taking into Account Spatio-temporal Information for Video Recognition
Chubu University(中部大学)
在深度神经网络的推理过程中,人们很难对决策进行解释。视觉解释是解释深度学习决策的一种方法。它通过可视化突出区分区域的注意力地图来分析2D CNN的决策。在视频识别中,视觉解释用于解释决策过程是更加困难的,因为它不仅需要考虑空间信息,而且还需要考虑时间信息,这与静止图像的情况不同。在本文中,我们提出了一种视觉解释方法称为时空注意分支网络(ST-ABN)的视频识别。它使空间和时间信息的视觉解释。ST-ABN在网络推理过程中获得空间和时间信息的重要性,并将其应用于识别处理,以提高识别性能和视觉可解释性。使用Something-Something数据集V1 \& V2的实验结果表明,ST-ABN能够同时考虑空间和时间信息并提高识别性能的视觉解释。
2021-10-29 cs.CV
An Aligned Multi-Temporal Multi-Resolution Satellite Image Dataset for Change Detection Research
Purdue University(普渡大学)
本文提出了一个对齐的多时相和多分辨率的卫星图像数据集的变化检测的研究。我们希望我们的数据集对那些希望融合来自多个卫星的信息的研究人员有用,以检测地球表面的变化,这些变化可能在任何一个卫星上都无法完全看到。我们提出的数据集是通过用Landsat和Sentinel图像的时间并行堆栈来增强SpaceNet-7数据集而创建的。SpaceNet-7数据集由101个感兴趣区域(AOI)记录的按时间顺序排列的行星图像组成。在我们的数据集中,对于用于训练的60个AOI中的每一个,我们用Landsat和Sentinel图像的时间并行数据立方体来增强Planet数据立方体。高分辨率行星图像与大地卫星和哨兵图像之间的时间对齐是近似的,因为行星图像的时间分辨率是一个月-每张图像都是一个月内收集的最佳数据的拼接。每当我们可以选择哪些陆地卫星和哨兵图像与行星图像配对时,我们都会选择那些云层覆盖最少的图像。我们的数据集的一个特别重要的特征是,高分辨率和低分辨率图像与本文提出的MuRA框架在空间上对齐。对准计算的基础是用NASA的AROP算法中的多项式对卫星间失准误差建模。我们将数据集命名为MuRA-T,用于对齐跨卫星图像的MuRA框架,“T”表示数据集中的时间维度。
2023-02-27 cs.CV
Lightweight Temporal Self-Attention for Classifying Satellite Image Time Series
LASTIG, ENSG, IGN, Univ Gustave Eiffel(LASTIG,法国国家地理科学学院,法国国家地理与森林信息局,古斯塔夫·埃菲尔大学)
地球观测卫星数据的可获得性和精确度不断提高,为工业和国家行为者提供了相当多的机会。然而,这需要能够在全球范围内处理时间序列的有效方法。基于最近的工作采用多头自注意力机制分类遥感时间序列,我们提出了一个修改的时间注意力编码器。在我们的网络中,时间输入的通道分布在并行操作的几个紧凑的注意力头之间。每个头部提取高度专业化的时间特征,这些特征依次连接成单个表示。我们的方法优于其他国家的最先进的时间序列分类算法的开放访问的卫星图像数据集,同时使用显着更少的参数,并与降低计算复杂性。
2020-07-08 cs.CV cs.LG
SatSwinMAE: Efficient Autoencoding for Multiscale Time-series Satellite Imagery
Degas Ltd.(德加斯有限公司)
本文提出 SatSwinMAE,通过将 SwinMAE 扩展为分层 3D 掩码自编码器并结合 Video Swin Transformer 与跳跃连接,高效建模卫星时间序列多尺度时空特征,在多个地球观测下游任务中显著超越现有基础模型。
2024-10-18 cs.AI cs.CV
Learn Temporal Consistency For Robust Satellite Video Detector
Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences(中国科学院空间应用工程与技术中心);Key Laboratory of Space Utilization, Chinese Academy of Sciences(中国科学院空间应用重点实验室);University of Chinese Academy of Sciences(中国科学院大学);School of Electronics and Information Engineering, Harbin Institute of Technology(哈尔滨工业大学电子与信息工程学院)
提出基于时间一致性学习(TCL)的卫星视频目标检测框架,通过时间特征聚合、结构编码和时间一致性约束模块,实现定向细粒度目标检测,在SAT-MTB数据集上达到47.7% mAP,较基线提升4.8%。
2026-06-16 cs.CV
Taking a PEEK into YOLOv5 for Satellite Component Recognition via Entropy-based Visual Explanations
U.S. Army Engineer Research and Development Center(美国陆军工程师研发中心)
本文提出PEEK方法,利用信息论分析YOLOv5隐藏层潜在表示,通过硬件在环实验揭示其卫星组件检测的决策过程,以识别模型优势、局限与偏差,提升安全关键任务的可解释性。
2023-11-25 cs.CV cs.IT math.IT
Satellite Image Time Series Classification with Pixel-Set Encoders and Temporal Self-Attention
Univ. Gustave Eiffel(古斯塔夫·埃菲尔大学);IGN-ENSG(法国国家地理学院-国立地理科学学校);EA G&E Bordeaux INP(波尔多国立高等电子、计算机、电信、数学与力学学院 EA G&E 实验室);Université Bordeaux Montaigne(波尔多蒙田大学)
卫星图像时间序列由于其日益增加的可用性而得到支持,处于国际机构为实现自动化地球监测而作出的广泛努力的前沿。特别是,对农业地块的大规模控制是一个具有重大政治和经济意义的问题。在这方面,混合卷积递归神经架构已经显示出有前途的结果,卫星图像时间序列的自动分类。我们提出了一种替代方法,其中卷积层有利地取代了编码器上的无序像素集,利用通常粗糙的分辨率公开可用的卫星图像。我们还建议使用基于自我注意而不是循环网络的定制神经架构来提取时间特征。我们通过实验证明,我们的方法不仅在精度方面优于以前的最先进的方法,而且还显着降低了处理时间和内存需求。最后,我们发布了一个大型开放访问的注释数据集,作为未来卫星图像时间序列工作的基准。
2019-11-18 cs.CV
Building Disaster Damage Assessment in Satellite Imagery with Multi-Temporal Fusion
Massachusetts Institue of Technology(麻省理工学院);WL Research
自动变化检测和灾害损失评估目前是需要卫星图像分析人员进行大量劳动和手工工作的程序。在自然灾害发生时,及时发现变化可以挽救生命。在这项工作中,我们报告的问题框架,数据处理和培训程序,这是特别有助于使用新发布的xBD数据集的建筑物损坏评估的任务的调查结果。我们的见解导致xBD基准模型的实质性改进,我们在xView2挑战排行榜上名列前茅。我们发布了用于比赛的代码。
2020-04-12 cs.CV
Domain-Adversarial Training of Self-Attention Based Networks for Land Cover Classification using Multi-temporal Sentinel-2 Satellite Imagery
Politecnico di Torino(都灵理工大学);International Islamic University(国际伊斯兰大学)
大规模遥感标记数据的日益可用性促使研究人员开发越来越精确和准确的土地覆盖和作物分类(LC&CC)数据驱动模型。此外,随着自注意和内省机制的引入,深度学习方法在处理具有包含的计算请求的多谱域中的长时间序列方面已经显示出有希望的结果。然而,大多数实际应用不能依赖于标记数据,并且在现场,调查是一种耗时的解决方案,对收集的样本数量有严格的限制。此外,大气条件和特定的地理区域特征构成了一个相关的领域差距,不允许将现有数据集上的训练模型直接应用于感兴趣的区域。在本文中,我们研究了深度神经网络的对抗性训练,以弥合不同地理区域之间的领域差异。特别是,我们执行了一个彻底的分析领域自适应适用于具有挑战性的多光谱,多时相数据,准确地突出了适应国家的最先进的自我注意力为基础的模型LC&CC到不同的目标区域标记的数据是不可用的优势。大量的实验表明,在将域对抗训练应用于源和目标区域时,所提取特征的分布之间存在显着的差异,从而表现出显着的性能和泛化增益。
2021-06-30 cs.AI cs.CV
Weakly Supervised Framework Considering Multi-temporal Information for Large-scale Cropland Mapping with Satellite Imagery
School of Geosciences and Info-Physics, Central South University(中南大学地球科学与信息物理学院);The 27th Research Institute, China Electronic Technology Group Corporation(中国电子科技集团公司第二十七研究所)
针对大规模农田制图需大量精确标签的问题,提出考虑多时相信息的弱监督框架,结合GLC产品一致性提取高质量标签并融入物候特征,在多区域验证了适应性、鲁棒性及时间泛化性。
2024-11-27 cs.AI cs.CV
M3Fusion: A Deep Learning Architecture for Multi-{Scale/Modal/Temporal} satellite data fusion
IRSTEA(法国农业科学与环境研究所);University of Montpellier(蒙彼利埃大学);LIRMM(蒙彼利埃计算机科学、机器人与微电子研究所);CIRAD(法国农业国际合作研究发展中心);AgroParisTech(巴黎高等农业学院);CNRS(法国国家科学研究中心)
现代地球观测系统提供不同时间和空间分辨率的传感数据。在光学传感器中,今天的Sentinel-2计划提供高分辨率的时间(每5天)和高空间分辨率(10米)图像,可用于监测土地覆盖动态。另一方面,甚高空间分辨率图像(VHSR)仍然是绘制具有精细空间格局特征的土地覆盖图的重要工具。了解如何有效地利用这些互补的信息来源来处理土地覆盖制图仍然是一项挑战。为了通过融合多时相高空间分辨率和极高空间分辨率卫星图像来解决土地覆盖制图问题,我们提出了一个名为M3 Fusion的端到端深度学习框架,该框架能够同时利用时间序列数据中包含的时间知识以及VHSR信息中可用的精细空间信息。在留尼汪岛研究区进行的实验评估了我们的建议,考虑定量和定性方面的质量。
2018-03-05 cs.CV
Wetland mapping from sparse annotations with satellite image time series and temporal-aware segment anything model
Department of Geography, The University of Hong Kong, Hong Kong, China(香港大学地理系);Pengcheng Laboratory, Shenzhen, China(深圳鹏城实验室);Department of Electronics and Information Engineering, Harbin Institute of Technology (Shenzhen), Shenzhen, China(哈尔滨工业大学(深圳)电子与信息工程学院);Key Laboratory for Geo-Environmental Monitoring of Great Bay Area, Ministry of Natural Resources, Guangdong Key Laboratory of Urban Informatics, Shenzhen Key Laboratory of Spatial Smart Sensing and Services, Shenzhen University, Shenzhen, China(粤港澳大湾区地理环境监测重点实验室,自然资源部,广东省城市信息学重点实验室,深圳空间智能感知与服务重点实验室,深圳大学)
WetSAM通过整合卫星影像时间序列和双分支设计,有效解决稀疏标注下的湿地制图问题,实现高精度分割与低标注成本。
2026-01-16 cs.AI cs.CV
A Quantitative Evaluation Framework for Temporal Explainability in Echocardiographic Video Segmentation
University of Toronto(多伦多大学)
本文提出一个定量评估框架,用四个指标衡量超声心动图视频分割中Grad-CAM时间可解释性,发现中间层解释不稳定,时间瓶颈更稳定,并推动时间感知XAI方法。
2026-09-09 cs.CV cs.LG
Local-Global Temporal Difference Learning for Satellite Video Super-Resolution
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院);Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);State Key Laboratory of Information Engineering in Surveying, Mapping, and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);Department of Electrical Engineering and the Institute of Communications Engineering, National Tsing Hua University(国立清华大学电子工程系和通信工程研究所)
本文提出一种局部-全局时间差分学习方法用于卫星视频超分辨率,通过设计短期和长期时间差分模块及差异补偿单元,有效利用帧间时间信息进行补偿,在五个主流卫星数据集上表现优于现有方法。
2025-04-26 cs.CV
FuseTen: A Generative Model for Daily 10 m Land Surface Temperature Estimation from Spatio-Temporal Satellite Observations
INSA CVL, Université d’Orléans, PRISME UR 4229(法国奥尔良大学普里兹梅实验室)
针对卫星时空分辨率难以兼顾的问题,提出融合多卫星观测、生成10米分辨率每日地表温度的FuseTen生成框架,性能显著优于线性基线,是首个该分辨率下的非线性每日LST生成方法。
2025-07-30 cs.AI cs.CV cs.LG
Paving the way toward foundation models for irregular and unaligned Satellite Image Time Series
Univ Toulouse 3 Paul Sabatier(图卢兹第三大学保罗萨巴蒂埃大学);CNES(法国国家空间研究中心);IRD(法国发展研究院);CNRS(法国国家科学研究中心);INRAe(法国国家农业食品与环境研究院);CESBIO(环境生物地球科学研究中心)
针对现有卫星影像基础模型忽视光谱、空间、时间维度及不规则未对齐采样的问题,提出ALISE编码器,通过灵活查询机制和多视图掩码自编码框架生成对齐表示,在多个分割与变化检测任务上验证其有效性。
2024-09-30 cs.AI cs.CV
Spatio-temporal crop classification of low-resolution satellite imagery with capsule layers and distributed attention
Yale University(耶鲁大学)
低分辨率遥感影像的土地利用分类是遥感研究的热点之一。尽管卫星技术取得了重大进展,但高分辨率图像缺乏全球覆盖,而且长时间采购高分辨率图像的费用可能高得令人望而却步。在没有高分辨率图像的情况下对土地利用变化进行准确分类,可以监测全球发展议程的重要方面,包括气候智能型农业、抗旱作物和可持续土地管理。利用胶囊层和长短期记忆层与分布式注意力的组合,本文实现了最先进的精度在时间作物类型分类在30 × 30米的分辨率与哨兵2图像。
2019-04-23 cs.CV cs.LG stat.ML
A Multi-Agent Feedback System for Detecting and Describing News Events in Satellite Imagery
Massachusetts Institute of Technology(麻省理工学院);Planet Labs
提出一种迭代多智能体工作流SkyScraper,通过地理编码新闻文章并合成卫星图像序列描述,有效发现多时相事件并构建5000序列数据集。
2026-05-27 cs.CV cs.MA
RapidAI4EO: Mono- and Multi-temporal Deep Learning models for Updating the CORINE Land Cover Product
Planet(Planet公司);VITO(佛兰德技术研究所)
在遥感界,利用卫星图像进行土地利用/土地覆盖分类是当前研究活动的一个主要焦点。然而,准确和适当的LULC分类仍然是一项具有挑战性的任务。在本文中,我们使用RapidAI 4 EO数据集上的监督学习评估多时间(每月时间序列)与单时间(单时间步长)卫星图像的多标签分类性能。作为第一步,我们在单个时间步对图像训练了我们的CNN模型,用于多标签分类,即单时间。我们使用LSTM模型整合了时间序列图像,以评估来自卫星的多时相信号是否改善了CLC分类。结果表明,改进了约0.89%,在分类卫星图像上的15个类,使用多时相的方法,每月的时间序列图像相比,单时相的方法。利用多时相或单时相图像的特征,这项工作是朝着有效的变化检测和土地监测方法迈出的一步。
2022-10-26 cs.CV
Temporally-Similar Structure-Aware Spatiotemporal Fusion of Satellite Images
Department of Computer Science, Institute of Science Tokyo(计算机科学系,科学研究所东京)
本文提出TSSTF方法,通过时间引导的总变分和边缘约束提升卫星图像在噪声下的时空融合性能。
2026-01-28 cs.CV eess.SP
Removing Clouds and Recovering Ground Observations in Satellite Image Sequences via Temporally Contiguous Robust Matrix Completion
University of Chicago(芝加哥大学);IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心)
卫星图像序列在遥感领域有着广泛的应用,本文研究了卫星图像序列中云的去除和替换问题。我们的方法首先检测和删除云污染的图像序列的一部分。然后使用建议的"TECROMAC"(TEMporally Contistiffness RObust MAGNETIC Completion)目标从干净的部分恢复丢失的场景。目标函数在保持接近原始观测值的同时,用低秩解平衡时间平滑性。矩阵的行是像素,列是对应于图像的天数,具有低秩,因为像素反映了植被,道路和湖泊等土地类型,因此变化相对较少。我们为TECROMAC提供高效的优化算法,因此我们可以利用包含数百万像素的图像。真实卫星图像序列以及模拟数据的实验结果表明,我们的方法能够从严重云污染的观测中恢复底层图像。
2016-04-13 cs.CV cs.LG
Temporal Convolutional Neural Network for the Classification of Satellite Image Time Series
Monash University(莫纳什大学)
新的遥感传感器现在获得高空间和光谱卫星图像时间序列(SITS)的世界。这些系列图像是分类系统的一个关键组成部分,目的是获得最新和准确的地球表面土地覆盖图。更具体地说,新的SITS的时间、光谱和空间分辨率相结合,使监测植被动态成为可能。虽然传统的分类算法,如随机森林(RF),已成功地应用于SITS分类,这些算法没有充分利用时间域。相反,最近已经测试了一些考虑时间维度的方法,特别是递归神经网络(RNN)。本文提出了另一种深度学习方法的详尽研究,即时间卷积神经网络(TempCNN),其中卷积应用于时间维度。我们的目标是定量和定性地评估TempCNN对SITS分类的贡献。本文提出了一套实验进行了100万的时间序列从46台Formosat-2图像。实验结果表明,TempCNN比RF和RNN更准确,RF和RNN是SITS分类的最新技术。我们还强调了与计算机视觉中获得的结果的一些差异,例如关于池化层。此外,我们还提供了一些关于网络架构,常见正则化机制和超参数值(如批量大小)的一般指导方针。最后,我们评估了TempCNN生成的土地覆盖图的视觉质量。
2019-01-31 cs.CV
Crop Type Identification for Smallholding Farms: Analyzing Spatial, Temporal and Spectral Resolutions in Satellite Imagery
Indraprastha Institute of Information Technology, Delhi(德里英迪拉普拉斯塔信息技术学院);M S Swaminathan Research Foundation(M·S·斯瓦米纳坦研究基金会)
现代机器学习(ML)模型与遥感和农业的结合,扩大了卫星图像在农业领域的应用范围。在本文中,我们提出了如何提高作物类型识别的准确性,因为我们从中时空分辨率(MSTR)的高时空分辨率(HSTR)卫星图像。我们进一步证明了卫星图像中的高光谱分辨率可以提高低空间和时间分辨率(LSTR)图像的预测性能。当使用MSTR图像的多光谱数据时,与从HSTR图像获得的最佳结果相比,F1分数增加了7%。同样,当使用基于作物季节的多光谱数据时间序列时,我们观察到F1分数增加了1.2%。这一结果推动了合成条带生成领域的进一步发展。
2022-05-06 cs.CV cs.LG eess.IV
3D Fully Convolutional Neural Networks with Intersection Over Union Loss for Crop Mapping from Multi-Temporal Satellite Images
University of Twente(特文特大学)
关于种植作物的信息与大量粮食安全研究相关。不同的科学努力致力于通过机器学习方法从遥感图像生成这种信息。不幸的是,这些方法没有考虑到遥感图像中固有的时空关系。在我们的论文中,我们探讨了一个三维全卷积神经网络(FCN)的能力,映射作物类型从多时相图像。此外,我们提出的交集超过联盟(IOU)损失函数增加预测类和地面参考数据之间的重叠。所提出的方法被应用于识别大豆和玉米从一个研究区位于美国玉米带使用多时相Landsat图像。研究表明,我们的方法优于相关方法,获得91.8%的Kappa系数。我们的结论是,使用IOU损失函数提供了一个更好的选择,学习个别作物类型。
2021-10-19 cs.CV
TEA: Temporal Adaptive Satellite Image Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences(计算技术研究所,中国科学院)
TEA提出一种时间自适应的卫星图像语义分割方法,通过教师-学生模型和全序列重建提升模型在不同时间长度下的分割性能。
2026-01-08 cs.CV
Map-Repair: Deep Cadastre Maps Alignment and Temporal Inconsistencies Fix in Satellite Images
Graz University of Technology(格拉茨工业大学);German Aerospace Center (DLR)(德国航空航天中心(DLR))
在快速发展的国家,很难追踪新建筑物的建造或旧建筑物的破坏,因此,很难保持最新的地籍图。此外,由于城市区域的复杂性或用于地籍图提取的数据的不一致性,不对齐形式的误差是一个常见的问题。在这项工作中,我们提出了一种端到端的深度学习方法,该方法能够通过校正标签噪声来解决输入强度图像与可用建筑物足迹之间的不一致,同时,如果需要,还可以校正未对准。所得到的结果表明,所提出的方法的鲁棒性,甚至严重错位的例子,使其潜在的实际应用中,如OpenStreetMap校正。
2020-07-24 cs.CV
Anomaly detection in satellite imagery through temporal inpainting
Disaster Prevention Research Institute, Kyoto University(京都大学灾害预防研究所);Geolabe
本研究提出了一种基于时间修复的深度学习方法,通过卫星时间序列的冗余性检测地表变化,实现了更高的灵敏度和特异性。
2025-12-30 cs.CV physics.geo-ph
TRACE: Temporal Radiology with Anatomical Change Explanation for Grounded X-ray Report Generation
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
TRACE 是首个结合时序比较、变化分类和空间定位的模型,通过边界框坐标实现对胸片变化的自然语言描述,提升放射学报告生成的准确性与可靠性。
2026-02-03 cs.CV
Weakly Supervised Spatio-Temporal Candidate Discovery of Dairy Farm Sites from Seasonal Satellite Imagery
School of Computer Science, University of Galway(戈尔韦大学计算机科学学院);Faculty of Computer Science and Engineering, GIK Institute of Engineering Sciences and Technology(工程科学与技术GIK学院计算机科学与工程系)
研究从季节性卫星图像中发现奶牛场地点的时空候选排名问题,提出用弱监督管道,利用多季节图像块、巴洛双胞胎编码器及开放地图先验,经一系列操作形成候选集群,实验表明该方法能有效减少图像集供人工审查。
2026-07-15 cs.AI cs.CV
TEMPO: Global Temporal Building Density and Height Estimation from Satellite Imagery
Microsoft AI for Good Research Lab(微软人工智能善用研究实验室);Planet Labs PBC(Planet Labs公司)
本文提出TEMPO数据集,训练多任务深度学习模型基于PlanetScope卫星影像生成2018-2025年37.6米分辨率的全球季度建筑密度与高度地图,验证精度高且时序稳定,可低成本支撑大规模建成区监测。
2025-11-15 cs.CV cs.LG
Continuous Urban Change Detection from Satellite Image Time Series with Temporal Feature Refinement and Multi-Task Integration
Division of Geoinformatics(地理信息学系);Division of Robotics, Perception and Learning(机器人、感知与学习系);KTH Royal Institute of Technology(皇家理工学院)
针对卫星图像时间序列中的连续城市变化检测问题,提出含TFR和MTI模块的框架,通过保留时间特征并融合分割与变化输出提升检测性能。
2025-06-09 cs.CV
Multi-Modal Temporal Attention Models for Crop Mapping from Satellite Time Series
LASTIG, ENSG, IGN, Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);EA G&E Bordeaux INP, Univ Bordeaux Montaigne(波尔多蒙田大学)
光学和雷达卫星时间序列是协同作用的:光学图像包含丰富的光谱信息,而C波段雷达捕获有用的几何信息,不受云层覆盖的影响。最近成功的时间注意力为基础的方法在多个作物映射任务的动机,我们建议调查这些模型可以适应操作的几种方式。我们实现和评估多个融合方案,包括一种新的方法和简单的调整训练过程,显着提高性能和效率,几乎没有增加复杂性。我们发现,大多数融合方案有优点和缺点,使它们相关的特定设置。然后,我们评估多模态的好处,在几个任务:包裹分类,基于像素的分割,和全景包裹分割。我们表明,通过利用光学和雷达时间序列,基于多模态时间注意力的模型在性能和对云层覆盖的弹性方面可以胜过单模态模型。为了进行这些实验,我们增加了PASTIS数据集与空间对齐的雷达图像时间序列。由此产生的数据集PASTIS-R构成了第一个具有语义和实例注释的大规模、多模式和开放访问的卫星时间序列数据集。
2021-12-14 cs.CV eess.IV
Satellite to GroundScape -- Large-scale Consistent Ground View Generation from Satellite Views
The Ohio State University(俄亥俄州立大学)
提出一种基于固定潜在扩散模型的跨视图合成方法,通过卫星引导去噪和卫星时间去噪模块,利用超10万对视角的大规模数据集,实现从卫星视图生成一致且逼真的多视图地面图像。
2025-04-22 cs.CV
Large-scale unsupervised spatio-temporal semantic analysis of vast regions from satellite images sequences
Public University of Navarre(纳瓦拉公立大学);INAMAT(纳瓦拉应用数学研究所);Basque Center for Applied Mathematics(巴斯克应用数学中心)
提出一种结合深度嵌入与时间序列聚类的完全无监督方法,用于从卫星图像序列中提取大区域时空分类,并通过新程序优化嵌入以捕捉潜在模式,在西班牙北部220平方公里区域验证了其有效性。
2024-02-14 cs.CV cs.LG
OPTIMUS: Observing Persistent Transformations in Multi-temporal Unlabeled Satellite-data
University of Washington(华盛顿大学);Allen Institute for AI(人工智能 Allen 研究院)
针对卫星影像变化检测标注稀缺的问题,提出自监督方法OPTIMUS,通过时间序列顺序恢复与变化点检测识别持续性变化,AUROC得分较基线提升至87.6%。
2025-06-16 cs.CV
Intermediate and Future Frame Prediction of Geostationary Satellite Imagery With Warp and Refine Network
SI Analytics;NVIDIA(英伟达);National Institute of Meteorological Sciences (NIMS)(国家气象科学研究所)
地球静止卫星图像可用于气候和天气预报、规划自然能源和预测极端天气事件。为了进行精确和准确的预测,提高地球静止卫星图像的空间和时间分辨率至关重要。虽然最近地球静止卫星的分辨率有所提高,但由于分辨率不同,对气候应用的长期分析从过去到现在仅限于使用多颗卫星。为了解决这个问题,我们提出了扭曲和细化网络(WR-Net)。WR-Net分为光流扭曲组件和扭曲图像细化组件。我们使用TV-L1算法而不是基于深度学习的方法来提取光流扭曲分量。基于深度学习的模型是在RGB通道的以人为中心的视图上训练的,并且不适用于地球同步卫星,这是灰度单通道图像。细化网络通过多时间融合层细化变形图像。我们评估WR-Net的时间分辨率插值在4分钟的时间间隔2分钟的时间间隔在大规模GK 2A静止气象卫星图像。此外,我们将WR-Net应用于未来帧预测任务,并表明明确使用光流可以帮助未来帧预测。
2023-03-08 cs.CV
Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image
ETH Zurich(苏黎世联邦理工学院);The University of Tokyo(东京大学);Zhejiang University(浙江大学);The Ohio State University(俄亥俄州立大学);Microsoft(微软)
我们提出了一种新的方法合成时间和几何一致的街景全景视频从一个单一的卫星图像和摄像机的轨迹。现有的跨视点合成方法主要集中在图像上,而这种情况下的视频合成尚未得到足够的重视。对于几何和时间的一致性,我们的方法显式地创建一个三维点云表示的场景,并保持密集的3D-2D对应帧,反映从卫星视图推断的几何场景配置。至于在3D空间中的合成,我们实现了一个级联的网络架构,其中包含两个沙漏模块,用于从语义和每类潜在向量生成逐点的粗特征和细特征,然后投影到帧和上采样模块,以获得最终的逼真视频。通过利用计算的对应关系,所产生的街景视频帧坚持3D几何场景结构,并保持时间一致性。定性和定量实验表明,优越的结果相比,其他国家的最先进的合成方法,要么缺乏时间的一致性或现实的外观。据我们所知,我们的工作是第一个合成跨视图图像到视频。
2021-05-06 cs.CV
STS-NET: Spatio-Temporal Stress Network for Self-Supervised Crop Stress Detection using Satellite Image Time Series
Indian Institute of Technology Ropar(印度理工学院罗帕尔分校);Plaksha University(普拉卡莎大学)
研究利用卫星图像时间序列检测作物胁迫,提出基于自监督3D卷积自动编码器的STS-NET,利用四个植被指数捕捉胁迫模式,在实际甘蔗数据集上评估,结果显示其能有效检测胁迫且依赖标签数据少,还可作特征提取器。
2026-07-22 cs.CV
Satellite Image Time Series Semantic Change Detection: Novel Architecture and Analysis of Domain Shift
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS, France(法国国立桥梁学校 Gustave Eiffel大学 CNRS LIGM实验室);Inria Paris(法国国家信息与自动化研究所巴黎中心);Department of Computer Science, Ecole normale supérieure (ENS-PSL, CNRS, Inria)(巴黎文理研究大学 巴黎高等师范学院 计算机科学系);Courant Institute of Mathematical Sciences and Center for Data Science, New York University(纽约大学柯朗数学科学研究所与数据科学中心)
该研究针对卫星图像时间序列语义变化检测任务提出新型架构,同时探究时空偏移对模型的影响,发现空间域偏移最复杂,时间偏移对变化检测的影响更显著。
2024-07-10 cs.CV
Spatial Scaling of Satellite Soil Moisture using Temporal Correlations and Ensemble Learning
University of Florida(佛罗里达大学)
开发了一种新的算法来缩小土壤水分(SM),在10-40公里的卫星尺度上获得,利用其时间相关性的历史辅助数据在更细的尺度。包括这样的相关性大大减少了所需的训练集的大小,考虑了时间滞后的关系,并且即使在辅助数据中存在短间隙的情况下也能够缩小尺度。该算法是基于袋装回归树(BRT),并使用高分辨率遥感产品和SM观测之间的相关性。该算法训练多元回归树,并自动选择生成最佳缩减估计的树。该算法进行了评估,使用多尺度的合成数据集在佛罗里达州中北部的两年,包括两个生长季节的玉米和棉花的一个生长季节,每年。整个区域的时间平均误差为0.01 $\mathrm{m}^3/\mathrm{m}^3$,标准差为0.012 $\mathrm{m}^3/\mathrm{m}^3$,当0.02%的数据用于训练时,除了过去七天的时间相关性,以及过去一年的所有可用数据。对于具有棉花土地覆盖的像素,在缩小的SM中使用该算法获得的最大空间平均误差为0.005 $\mathrm{m}^3/\mathrm{m}^3$。当尺度缩减当日的地表温度不包含在模拟“数据间隙”的算法中时,当尺度缩减当日的地表温度不可用时,空间平均误差最小增加了0.015 $\mathrm{m}^3/\mathrm{m}^3$。结果表明,BRT算法提供了高精度的降尺度SM使用复杂的非线性时空相关性,在异构微气象条件下。
2016-01-21 cs.CV
Investigating Temporal Convolutional Neural Networks for Satellite Image Time Series Classification: A survey
University of Bristol(布里斯托大学)
本文综述并实验评估 Temporal CNN 在 SITS 分类中的应用,证明其在两个基准数据集上优于现有方法,但模型针对新数据集的优化仍具挑战。
2023-04-20 cs.CV cs.LG
Global Renewables Watch: A Temporal Dataset of Solar and Wind Energy Derived from Satellite Imagery
Microsoft AI for Good Research Lab(微软AI公益研究实验室);Planet Labs PBC(行星实验室公司);The Nature Conservancy (TNC)(大自然保护协会)
本研究发布Global Renewables Watch全球可再生能源时间序列数据集,通过深度学习分割模型分析卫星影像识别光伏与风电设施,验证精度高,为可持续发展研究和政策制定提供支撑。
2025-03-19 cs.CV cs.LG
Comparative analysis of dual-form networks for live land monitoring using multi-modal satellite image time series
1 Kayrros SAS 2 Universit\'e Paris-Saclay, ENS Paris-Saclay, CNRS, Centre Borelli, 91190, Gif-sur-Yvette, France 3 Institut Universitaire de France
本文研究了双形式注意力机制以提升多模态SITS分析效率,通过并行训练支持递归推理,针对时间不规则性和不一致性的挑战,提出基于实际获取日期计算token距离的方法,实验表明双形式机制在性能和效率上优于标准Transformer。
2026-03-25 cs.AI cs.CV eess.IV
SkySplat: Generalizable 3D Gaussian Splatting from Multi-Temporal Sparse Satellite Images
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感与信息工程学院);Technology Innovation Center for Collaborative Applications of Natural Resources Data in GBA, Ministry of Natural Resources(粤港澳大湾区自然资源数据协同应用技术创新中心,自然资源部);Department of Geography and Resource Management, The Chinese University of Hong Kong(香港中文大学地理与资源管理系);China Railway Siyuan Survey and Design Group Co., LTD(中国铁路syuan调查设计集团有限公司)
SkySplat通过整合RPC模型提升稀疏卫星图像的3D重建效率,采用自监督框架和跨自我一致性模块,实现86倍速度提升和更精确的重建结果。
2026-05-13 cs.CV
A possible low-level explanation of "temporal dynamics of brightness induction and White's illusion"
Saha Institute of Nuclear Physics(萨哈核物理研究所)
基于对猕猴初级视皮层细胞中时间依赖性方向选择性的生理观察以及对人类视觉中方向检测器调谐的心理物理学研究,我们认为,亮度感知的时间依赖性可以通过皮层对ODoG滤波器响应的方向调谐的时间演变来调节。一组差分高斯函数已被用来模拟方向调谐的时间依赖性。调谐的方向偏好和它的反转在稍后的时间已被认为是在定性解释的时间动态的亮度感知观察到的“简短的介绍揭示了时间动态的亮度感应和白的错觉”为58和82毫秒的刺激曝光。
2009-09-18 cs.CV physics.bio-ph q-bio.NC
Deep Neural Networks for automatic extraction of features in time series satellite images
许多地球观测计划,如Landsat、Sentinel、SPOT和Pleiades,每天都会产生大量的中高分辨率多光谱图像,这些图像可以按时间序列进行组织。在这项工作中,我们利用这些图像提供的时间和空间信息来生成土地覆盖图。为此,我们将完全卷积神经网络与卷积长短期记忆相结合。提出的时空神经网络架构的实施细节。实验结果表明,时间序列图像提供的时间信息可以提高土地覆盖分类的准确性,从而产生最新的地图,可以帮助确定地球上的变化。
2020-08-17 cs.CV cs.LG eess.IV