Technical Report: Towards Spatial Feature Regularization in Deep-Learning-Based Array-SAR Reconstruction
该研究将空间特征正则化整合到基于深度学习的阵列SAR重建中，提出切片内和切片间策略及两个计算框架，构建了四个专门的重建网络，显著提升了城市建筑结构的重建精度、完整性和鲁棒性。
2024-12-22 cs.CV eess.IV
SAR Tomography at the Limit: Building Height Reconstruction Using Only 3-5 TanDEM-X Bistatic Interferograms
Technische Universität München（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）
多基线干涉合成孔径雷达（InSAR）技术是获取城市区域三维信息的有效途径。为了获得合理的重建，有必要使用二十多个干涉图。因此，这些方法通常不适用于使用TanDEM-X数据的大规模3-D城市制图，其中每个城市平均只有少数采集可用。本文提出了一种新的SAR层析成像处理框架，将非局部滤波与SAR层析成像反演相结合。该算法的适用性证明使用TanDEM-X多基线叠加5双基地干涉图在整个城市的慕尼黑，德国。与TanDEM-X原始数字高程模型（DEM）和机载LiDAR数据的系统比较表明，该算法对三分之二建筑物的相对高程精度在2米以内，优于TanDEM-X原始DEM。
2020-03-17 cs.CV eess.IV
SARNet: Semantic Augmented Registration of Large-Scale Urban Point Clouds
针对城市场景激光雷达点云配准难题，提出语义增强配准网络SARNet，通过融合语义特征构建三模块配准流程，有效提升了城市级大规模点云的配准精度与效率。
2023-10-08 cs.CV
UrbanSARFloods: Sentinel-1 SLC-Based Benchmark Dataset for Urban and Open-Area Flood Mapping
Technical University of Munich（慕尼黑工业大学）
本文提出 UrbanSARFloods 基准数据集，基于 Sentinel-1 强度与相干影像覆盖 18 次洪水事件，用于评估 CNN 在城市与开阔区域洪水分割中的表现，揭示数据不平衡和小样本训练仍是主要挑战。
2024-06-06 cs.CV eess.IV
Large-scale Building Height Retrieval from Single SAR Imagery based on Bounding Box Regression Networks
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
基于合成孔径雷达（SAR）图像的建筑物高度反演在城市应用中具有重要意义，但由于SAR数据的复杂性，具有很大的挑战性。本文讨论了从单个TerraSAR-X聚光灯或条带图像中检索大规模城市地区建筑物高度的问题。基于雷达观察几何，我们建议，这个问题可以制定为一个边界框回归问题，因此允许集成高度数据从多个数据源生成地面实况在更大的规模。我们引入建筑物的足迹从地理信息系统（GIS）数据作为补充信息，并提出了一个边界框回归网络，利用建筑物的足迹和边界框之间的位置关系，允许快速计算。这对于大规模应用非常重要。四个城市的数据集使用TerraSAR-X图像在高分辨率聚光灯和条带模式的方法进行了验证。实验结果表明，与基于Faster R-CNN的方法相比，该网络可以显着降低计算成本，同时保持单个建筑物的高度精度。此外，我们研究了不准确的GIS数据对我们提出的网络的影响，这项研究表明，边界框回归网络对GIS数据中的定位误差是鲁棒的。该方法具有很大的潜力，可以应用到区域甚至全球尺度。
2021-11-18 cs.CV eess.IV
Multi-Sensor Mapping of Vulnerable Urban Settlements Using SAR, Multispectral, and Hyperspectral Imagery: A Case Study in Córdoba, Argentina
University of Pavia（帕维亚大学）；Instituto Gulich（古利奇研究所）；University of Sannio（萨尼奥大学）
本研究提出多传感器深度学习框架，整合SAR、多光谱、高光谱影像，以阿根廷科尔多瓦为例制图非正规住区，发现晚期融合结合高光谱数据效果最优，还可解释城市脆弱性模式。
2026-09-01 cs.CV
CG-Net: Conditional GIS-aware Network for Individual Building Segmentation in VHR SAR Images
Remote Sensing Technology Institute, German Aerospace Center（德国航空航天中心遥感技术研究所）；Signal Processing in Earth Observation, Technical University of Munich（慕尼黑工业大学地球观测信号处理部门）
甚高分辨率合成孔径雷达（VHR）图像目标检索与重建是城市SAR应用的重要内容，但由于SAR数据的复杂性，其研究具有很大的挑战性。本文讨论了在大规模的城市地区的单个VHR SAR图像的建筑物分割的问题。为了实现这一目标，我们引入了建筑物的足迹从GIS数据作为补充信息，并提出了一种新的条件GIS感知网络（CG-Net）。该模型学习多层次的视觉特征，并采用建筑物足迹来规范化的SAR图像预测建筑物掩模的功能。我们验证我们的方法使用高分辨率聚光灯TerraSAR-X图像收集在柏林。实验结果表明，所提出的CG-Net有效地带来了不同的骨干的改进。对于我们的任务，我们进一步比较了建筑物足迹的两种表示，即完整的建筑物足迹和传感器可见的足迹段，并得出结论，使用前者会导致更好的分割结果。此外，我们研究了不准确的GIS数据对CG-Net的影响，这项研究表明，CG-Net对GIS数据中的定位误差具有鲁棒性。此外，我们还提出了一种从精确的数字高程模型（DEM）生成建筑物地面真值的方法，该方法可用于生成大规模的SAR图像数据集。分割结果可以应用于重建3D建筑模型的细节水平（LoD）1，这是在我们的实验中证明。
2020-11-17 cs.CV eess.IV
Edge Preserving CNN SAR Despeckling Algorithm
Università degli Studi di Napoli Parthenope（那不勒斯帕耳忒诺珀大学）
SAR相干斑抑制是对地观测的重要手段。SAR图像的解释受到斑点的影响，斑点是一种与从照明场景到传感器的后向散射干扰有关的乘性噪声。降低噪声是理解场景的关键任务。基于我们以前的解决方案KL-DNN的结果，在这项工作中，我们定义了一个新的代价函数来训练卷积神经网络去斑。其目的是控制边缘保护，并更好地过滤人工结构和城市地区，这对KL-DNN来说非常具有挑战性。结果表明，在不均匀的区域上有很好的改善，保持了均匀区域的良好结果。仿真和实际数据的结果显示在文件中。
2020-07-10 cs.CV eess.IV
High Quality Large-Scale 3-D Urban Mapping with Multi-Master TomoSAR
Technische Universität München（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心（DLR））
针对TanDEM-X数据采集少的问题，提出集成非局部滤波的SAR层析成像框架，实现大规模三维城市测绘，精度优于原始DEM。
2023-05-08 cs.CV
Artificial Generation of Big Data for Improving Image Classification: A Generative Adversarial Network Approach on SAR Data
German Aerospace Center (DLR)（德国航空航天中心）；ETH Zurich（苏黎世联邦理工学院）；Technische Universitaet Muenchen (TUM)（慕尼黑工业大学）
甚高空间分辨率（VHSR）大比例尺SAR图像数据库是遥感领域尚未解决的问题。在这项工作中，我们提出了这样一个数据集，并使用它来探索基于块的分类在城市和城郊地区，考虑7个不同的语义类。在这种情况下，我们调查的准确性大CNN分类模型和预训练网络的SAR成像系统。此外，我们提出了一个生成对抗网络（GAN）的SAR图像生成和测试，无论是合成数据实际上可以提高分类精度。
2017-11-06 cs.CV
Identifying Corresponding Patches in SAR and Optical Images with a Pseudo-Siamese CNN
Technical University of Munich（慕尼黑工业大学）；Remote Sensing Technology Institute, German Aerospace Center（德国航空航天中心遥感技术研究所）
在这封信中，我们提出了一个伪连体卷积神经网络（CNN）的架构，能够解决识别相应的补丁在超高分辨率（VHR）的光学和合成孔径雷达（SAR）遥感图像的任务。在两个并行网络流中使用八个卷积层，用于融合每个流中学习的特征的全连接层，以及基于二进制交叉熵的损失函数，我们实现了两个补丁是否对应的独热指示。该网络是在自动生成的数据集上进行训练和测试的，该数据集基于通过先前重建并随后配准的3D点云对SAR和光学图像进行确定性对齐。从卫星图像中提取组成我们数据集的补丁，显示了包含许多高架物体（即建筑物）的复杂城市场景，从而提供了最困难的实验环境之一。所取得的结果表明，该网络是能够预测相应的补丁具有较高的精度，从而表明进一步发展的潜力，对一个广义的多传感器的关键点匹配过程。索引术语-合成孔径雷达（SAR）、光学成像、数据融合、深度学习、卷积神经网络（CNN）、图像匹配、深度匹配
2018-01-25 cs.CV eess.IV
A Novel Cost Function for Despeckling using Convolutional Neural Networks
Università di Napoli Parthenope（那不勒斯帕尔泰诺佩大学）
SAR图像相干斑噪声的去除一直是一个悬而未决的问题。SAR图像的解译是一个非常具有挑战性的问题，为了提高SAR图像的信息提取能力，必须对SAR图像进行相干斑抑制。由于不同的结构和不同的对象规模，城市环境使这项任务更加繁重。随着深度学习方法最近在几个遥感应用中的传播，在这项工作中，提出了一种基于卷积神经网络的去斑算法。该网络是在模拟SAR数据上训练的。本文主要研究了一种兼顾图像空间一致性和噪声统计特性的代价函数的实现。
2019-06-11 cs.CV eess.IV
SAR-to-EO Image Translation with Multi-Conditional Adversarial Networks
DAF MIT AI Accelerator（美国空军麻省理工学院人工智能加速器）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；MIT（麻省理工学院）
本文探讨了使用多条件对抗网络进行SAR到EO图像翻译。以前的方法只在输入SAR条件下对抗网络。我们表明，将多个互补的方式，如谷歌地图和IR可以进一步提高SAR到EO图像的翻译，特别是在保留人造物体的锐利边缘。我们在包括SEN12MS，DFC2020和SpaceNet6在内的各种数据集上证明了我们的方法的有效性。我们的实验结果表明，与仅在成对SAR和EO数据上训练的模型相比，互补模态提供的额外信息提高了SAR到EO图像翻译的性能。据我们所知，我们的方法是第一个利用多种模式来提高SAR到EO图像转换性能的方法。
2022-07-26 cs.CV eess.IV
Heterogeneous Feature Distillation Network for SAR Image Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
由于合成孔径雷达（SAR）具有全天时、全天候的成像能力，SAR图像的语义分割近年来受到遥感界的广泛关注。然而，SAR图像中不可避免地存在相干斑噪声和重叠，使得SAR图像的分割比光电（EO）图像更困难。为了解决这个问题，我们研究了如何引入EO特征来帮助SAR分割模型的训练，并提出了一种用于分割SAR图像的异构特征蒸馏网络，称为HFD网络，其中SAR分割学生模型从预先训练的EO分割教师模型中获得知识。在建议HFD-Net，学生和教师模型采用相同的架构，但不同的参数配置，和异构的特征提取模型进行了探索，潜在的EO功能从教师模型转移到学生模型，然后提高SAR图像分割的学生模型的能力。此外，一个异构的特征对齐模块进行了探索，聚合多尺度特征分割的学生模型和教师模型。在两个公开数据集上的实验结果表明，HFD-Net的分割性能优于现有的七种SAR图像语义分割方法。
2022-10-17 cs.CV eess.IV
Fully Polarimetric SAR and Single-Polarization SAR Image Fusion Network
Wuhan University（武汉大学）
数据融合技术旨在聚合不同数据的特征，获得具有多种数据优势的产品。为解决由于系统限制导致极化SAR图像分辨率降低的问题，提出了一种全极化合成孔径雷达（PolSAR）图像与单极化合成孔径雷达（SinSAR）图像融合网络来生成高分辨率PolSAR图像（HR-PolSAR）。为了充分利用低分辨率极化SAR（LR-PolSAR）图像的极化信息和高分辨率单极化SAR（HR-SinSAR）图像的空间信息，提出了一种LR-PolSAR图像和HR-SinSAR图像的联合融合框架，并设计了一种交叉注意机制来从联合输入数据中提取特征。此外，根据极化SAR的物理成像机理，设计了极化损失函数，用于约束网络训练。实验结果证实了融合网络相对于传统算法的优越性。平均PSNR提高了3.6db以上，平均MAE降低到0.07以下。极化分解和极化签名实验表明，该方法能较好地保持极化信息。
2021-07-18 cs.CV eess.IV
Transformer-based SAR Image Despeckling
Johns Hopkins University（约翰斯·霍普金斯大学）
合成孔径雷达（SAR）图像通常会受到乘性噪声（称为斑点噪声）的影响，这给SAR图像的处理和判读带来了困难。在本文中，我们介绍了一种基于变换的网络的SAR图像去斑。所提出的去斑网络包括一个基于变换的编码器，该编码器允许网络学习不同图像区域之间的全局依赖关系-有助于更好地去斑。该网络使用复合损失函数用合成生成的斑点图像进行端到端训练。实验结果表明，该方法在合成图像和真实SAR图像上的相干斑抑制效果均优于传统的相干斑抑制方法和基于卷积神经网络的相干斑抑制方法。
2022-01-23 cs.CV eess.IV
A CNN regression model to estimate buildings height maps using Sentinel-1 SAR and Sentinel-2 MSI time series
KTH Royal Institute of Technology（KTH皇家理工学院）；University of Liège（列日大学）
本文提出 MBHR-Net，融合 Sentinel-1 SAR 与 Sentinel-2 多光谱时间序列，在 10 米分辨率下回归估计建筑物高度，并在荷兰 10 个城市验证其有效性。
2023-07-03 cs.AI cs.CV eess.IV
Complexity Analysis of an Edge Preserving CNN SAR Despeckling Algorithm
SAR图像受乘性噪声的影响，影响其解释。在过去的几十年中，已经提出了几种SAR去噪方法，并且在过去的几年中，人们的注意力已经转向基于深度学习的解决方案。基于我们最后提出的用于SAR降斑的卷积神经网络，在这里我们利用网络复杂性的影响。更准确地说，一旦数据集被固定，我们就可以根据网络的层数和特征数量来分析网络性能。对模拟数据和实际数据进行了评价。结果表明，更深的网络可以更好地概括模拟图像和真实图像。
2020-06-17 cs.CV eess.IV
GPS-Denied Navigation Using SAR Images and Neural Networks
Sandia National Labs（桑迪亚国家实验室）
无人机（UAV）通常依赖GPS进行导航。然而，全球定位系统信号的功率非常低，很容易受到干扰或以其他方式中断。本文提出了一种方法，用于确定导航误差存在于GPS拒绝期间利用数据从合成孔径雷达（SAR）系统的开始。这是通过将在线生成的SAR图像与先验获得的参考图像进行比较来实现的。利用卷积神经网络学习和利用相对于参考图像的失真来恢复初始导航误差，该初始导航误差可以用于恢复整个合成孔径的真实飞行轨迹。所提出的神经网络方法是能够学习，以预测模拟和真实的SAR图像数据的初始误差。
2020-10-22 cs.CV eess.IV
Speckle2Void: Deep Self-Supervised SAR Despeckling with Blind-Spot Convolutional Neural Networks
Politecnico di Torino（都灵理工大学）
合成孔径雷达（SAR）图像中的相干斑噪声严重影响了图像信息提取，因此相干斑抑制是场景分析算法中的一个重要步骤。深度学习最近的成功设想了新一代的去斑技术，可以超越经典的基于模型的方法。然而，目前用于去斑的深度学习方法需要监督训练，而不可能获得干净的SAR图像。在文献中，这个问题是通过诉诸合成斑点的光学图像，表现出不同的属性，相对于真正的SAR图像，或多时相SAR图像，这是很难准确地获取或融合。在本文中，最近的工作的盲点去噪网络的启发，我们提出了一个自监督贝叶斯去斑方法。所提出的方法是训练只使用噪声SAR图像，因此可以学习真正的SAR图像，而不是合成数据的功能。实验表明，该方法的性能是非常接近的监督训练方法的合成数据和真实数据的定量和视觉评估的优越性。
2020-07-04 cs.CV eess.IV
SAR Despeckling Using Overcomplete Convolutional Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
合成孔径雷达（SAR）相干斑抑制是遥感领域的一个重要问题，因为相干斑会使SAR图像质量下降，影响后续的检测和分割等任务。最近的研究表明，卷积神经网络（CNN）优于经典的去斑方法。传统的CNN试图随着网络的深入而增加感受野的大小，从而提取全局特征。然而，散斑相对较小，并且增加感受野无助于提取散斑特征。这项研究采用了过完备的CNN架构，通过限制感受野来专注于学习低级特征。建议的网络由一个过完备分支，专注于本地结构和一个欠完备分支，专注于全球结构。我们表明，该网络提高了降斑性能相比，最近的降斑方法合成和真实的SAR图像。
2022-05-31 cs.CV eess.IV
An Object-Based Deep Learning Approach for Building Height Estimation from Single SAR Images
Department of Electrical, Computer and Biomedical Engineering, University of Pavia（电子、计算机与生物医学工程系，帕维亚大学）；Department of Engineering, University of Sannio（工程系，萨尼奥大学）
本文提出一种基于深度学习的目标回归方法，通过边界框检测和高度估计从单幅VHR SAR图像中自动估计建筑物高度，在多大陆数据集上验证了其OOD泛化能力，显著优于现有方法。
2025-07-10 cs.AI cs.CV
Electrooptical Image Synthesis from SAR Imagery Using Generative Adversarial Networks
PeopleTec, Inc.（PeopleTec公司）
本研究提出利用生成对抗网络（GANs）将SAR图像合成为光电（EO）图像，通过比较Pix2Pix、CycleGAN等模型及新型双生成器架构，显著提升了合成图像的真实感和可解释性，为遥感领域提供了增强数据解释的新工具。
2024-09-07 cs.CV cs.LG eess.IV
Buildings Detection in VHR SAR Images Using Fully Convolution Neural Networks
National University of Sciences & Technology（国家科学技术大学）；Graz University of Technology（格拉茨技术大学）；German Aerospace Center（德国航空航天中心）
针对超高分辨率合成孔径雷达（SAR）图像中人工建筑物的自动检测这一极具挑战性的问题。在这方面，本文有两个主要贡献：首先，它提出了一种新颖的通用工作流程，该工作流程首先将星载TomoSAR点云$ - $分类，该点云是通过使用称为SAR层析成像（TomoSAR）$ - $的先进干涉技术处理VHR SAR图像堆栈而生成的，并借助辅助信息（即，使用公开可用的2-D建筑物覆盖区或采用光学图像分类方案），然后将提取的建筑物点反向投影到SAR成像坐标上，以产生自动的大规模基准标记（建筑物/非建筑物）SAR数据集。其次，这些标记的数据集（即，建筑物掩模）已被用于构建和训练最先进的深度全卷积神经网络，其具有表示为递归神经网络的附加条件随机场，以检测单个VHR SAR图像中的建筑物区域。这种级联形式已成功地应用于计算机视觉和遥感领域的光学图像分类，但据我们所知，还没有被应用到SAR图像。建筑物检测的结果是说明和验证的TerraSAR-X VHR聚束SAR图像覆盖约39公里的$ ^2 $ $ - $几乎整个城市的柏林$ - $与平均像素精度约93.84%
2018-08-14 cs.CV eess.IV
High-Resolution Flood Mapping With Sentinel-1 and Sentinel-2 via Misalignment-Robust Cross-Sensor Learning and Generative Despeckling
Argonne National Laboratory（阿贡国家实验室）；University of Chicago（芝加哥大学）；Ohlone College（Ohlone学院）
提出一个集成框架，利用新数据集和错位鲁棒损失函数及生成式去斑方法，联合解决光学和SAR影像中的云雾、阴影、斑点噪声及配准不确定性，实现高分辨率洪水制图。
2026-06-29 cs.CV
SAR Image Despeckling by Deep Neural Networks: from a pre-trained model to an end-to-end training strategy
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院 LTCI）；Wuhan University（武汉大学）；Univ Lyon, UJM-Saint-Etienne（里昂大学 圣艾蒂安-让·莫内大学）；CNRS（法国国家科学研究中心）
相干斑抑制是合成孔径雷达（SAR）图像处理中的一个重要课题。许多不同的方案已经提出了恢复的强度SAR图像。在不同的可能的方法中，基于卷积神经网络（CNN）的方法最近已经显示出达到最先进的SAR图像复原的性能。CNN训练需要良好的训练数据：许多对无斑点/斑点损坏的图像。由于无斑点图像的固有稀缺性，这在SAR应用中是一个问题。为了处理这个问题，本文分析了不同的策略，可以采取，这取决于斑点去除任务之一，希望执行和SAR数据的多时相堆栈的可用性。第一种策略将经过训练以从自然图像中去除加性高斯白噪声的CNN模型应用于最近提出的SAR斑点去除框架：MuLoG（多通道对数高斯去噪）。不需要对SAR图像进行训练，该网络很容易应用于斑点抑制任务。第二种策略考虑了一种新的方法来构建一个可靠的数据集的无斑点SAR图像所需的训练的CNN模型。最后，还分析了一种混合方法：用于去除加性高斯白噪声的CNN在无斑点SAR图像上进行训练。所提出的方法相比，其他国家的最先进的斑点去除滤波器，去噪的质量进行评估，并讨论不同的策略的利弊。随着论文的发表，我们提供了训练网络的权重，以便其他研究人员使用。
2020-09-21 cs.CV eess.IV
Comparison of convolutional neural networks for cloudy optical images reconstruction from single or multitemporal joint SAR and optical images
INRAE（法国国家农业、食品与环境研究院）；CIRAD（法国国际农业发展研究中心）；CNES（法国国家空间研究中心）
随着Sentinel星座带来的光学和合成孔径雷达（SAR）图像的可用性越来越高，以及深度学习的爆炸式发展，近年来出现了新的方法来解决受云影响的光学图像的重建问题。在本文中，我们专注于评估卷积神经网络，联合使用SAR和光学图像检索丢失的内容，在一个单一的污染光学图像。我们提出了一个简单的框架，可以轻松创建数据集，用于训练针对光学图像重建的深度网络，以及验证基于机器学习的方法或确定性方法。这些方法在输入图像约束方面是完全不同的，并且比较它们是文献中没有解决的有问题的任务。我们展示了空间分区数据结构如何帮助查询样本的云覆盖率，相对采集日期，像素有效性和SAR和光学图像之间的相对接近度。我们生成了几个数据集，比较重建图像的网络，使用单对SAR和光学图像，与网络，使用多对，和一个传统的确定性方法在时域内进行插值。
2022-04-01 cs.CV eess.IV
A Light-Weighted Convolutional Neural Network for Bitemporal SAR Image Change Detection
Xidian University（西安电子科技大学）；Wuhan University（武汉大学）
近年来，许多卷积神经网络（CNN）被成功地应用于双时相SAR图像变化检测。然而，大多数现有的网络过于沉重，并占用大量的存储和计算的内存。受此启发，在本文中，我们提出了一个轻量级的神经网络，以减少计算和空间的复杂性，并促进边缘设备上的变化检测。在所提出的网络中，我们用瓶颈层取代了正常的卷积层，使输入和输出之间的通道数量保持不变。接下来，我们使用具有一些非零条目的扩张卷积核，以减少卷积运算符的运行时间。与传统的卷积神经网络相比，我们的轻量级神经网络将更有效地与更少的参数。我们验证了我们的轻量级神经网络上的四套双时SAR图像。实验结果表明，与传统的CNN相比，该网络具有更好的性能和更好的模型泛化能力，特别是在复杂场景的挑战性数据集上。
2020-06-21 cs.CV eess.IV
A Convolutional Neural Network with Parallel Multi-Scale Spatial Pooling to Detect Temporal Changes in SAR Images
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
在合成孔径雷达（SAR）图像变化检测中，如何从受相干斑噪声影响的差分图像中提取变化信息是一个很有挑战性的问题。在本文中，我们提出了一个多尺度空间池（MSSP）网络，利用变化的信息，从嘈杂的差异图像。与传统的卷积网络仅具有单尺度池化核不同，在所提出的方法中，在卷积网络中配备多尺度池化核，以利用来自差分图像的变化区域的空间上下文信息。此外，为了验证所提出的方法的泛化能力，我们将我们提出的方法应用到跨数据集的双时SAR图像变化检测中，其中MSSP网络（MSSP-Net）在数据集上进行训练，然后应用到未知的测试数据集。我们比较了所提出的方法与其他国家的艺术和比较具有挑战性的双时SAR图像数据集上进行。实验结果表明，我们提出的方法在YR-A和YR-B数据集上获得了与S-PCA-Net相当的结果，并且优于其他最先进的方法，特别是在场景更复杂的仙台A和仙台B数据集上。更重要的是，MSSP-Net比S-PCA-Net和卷积神经网络（CNN）更有效，在训练和测试阶段的执行时间更少。
2020-05-22 cs.CV eess.IV
MITE-Net: SWaP-Optimized 4K Video Tiny Target Perception for Embodied Edge SAR
University of Leicester（莱斯特大学）；Guangzhou University（广州大学）
本文针对嵌入式边缘搜救任务的SWaP约束，提出MITE-Net架构与SAR-Tiny数据集，在NVIDIA Jetson AGX Xavier上实现4K图像实时小目标感知，能效与召回率优于YOLO模型。
2026-08-18 cs.CV
Cloud removal in remote sensing images using generative adversarial networks and SAR-to-optical image translation
Iran University of Science and Technology（伊朗科技大学）
卫星图像经常被云污染。由于卫星图像应用的广泛性，去云技术受到了广泛的关注。随着云层的移动，移除云层的过程变得更具挑战性。在这种情况下，通常使用诸如近红外或合成孔径雷达（SAR）的辅助图像进行重建。在这项研究中，我们试图使用两个生成对抗网络（GANs）来解决这个问题。第一种方法将SAR图像转换为光学图像，第二种方法使用先前GAN的转换图像去除云。此外，我们提出了扩张的剩余初始块（DRIBs），而不是香草U-网的生成器网络，并使用结构相似性指标（SSIM）除了L1损失函数。通过扩张卷积减少下采样的数量和扩大感受野可以提高输出图像的质量。我们使用SEN 1 -2数据集来训练和测试两个GANs，并通过向光学图像添加合成云来制作多云图像。用PSNR和SSIM对恢复后的图像进行了评价。我们将所提出的方法与最先进的深度学习模型进行了比较，并在SAR到光学转换和云去除部分获得了更准确的结果。
2020-12-22 cs.CV eess.IV
Physically Explainable CNN for SAR Image Classification
Northwestern Polytechnical University（西北工业大学）；Remote Sensing Technology Institute (IMF), German Aerospace Center (DLR)（德国航空航天中心（DLR）遥感技术研究所（IMF））；University POLITEHNICA of Bucharest (UPB)（布加勒斯特理工大学（UPB））
为了增强深度学习的可解释性和物理意识，将合成孔径雷达（SAR）的特殊电磁特性集成到深度神经网络中至关重要。在本文中，我们首先提出了一种新的物理可解释的卷积神经网络的SAR图像分类，即物理引导和注入学习（PGIL）。它包括三个部分：（1）提供先验物理知识的可解释模型（XM），（2）将知识编码为物理感知特征的物理引导网络（PGN），以及（3）将物理感知特征自适应地引入分类流水线以用于标签预测的物理注入网络（PIN）。提出了一种用于评估的混合图像-物理SAR数据集格式，并对Sentinel-1和Gaofen-3 SAR数据进行了实验。实验结果表明，与数据驱动的CNN和其他预训练方法相比，PGIL在有限标记数据的情况下显著提高了分类性能.此外，物理解释进行了讨论，以表明可解释性和物理一致性保留的预测。我们认为，该方法将促进物理可解释的深度学习在SAR图像解释领域的发展。
2022-06-02 cs.CV eess.IV
Deep Network for Simultaneous Decomposition and Classification in UWB-SAR Imagery
The Pennsylvania State University（宾夕法尼亚州立大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
从场景中的其他自然和人为杂波对象中分类隐藏和模糊的感兴趣目标是美国陆军的一个重要问题。感兴趣的目标通常由使用低频（UHF至L波段）超宽带（UWB）合成孔径雷达（SAR）技术捕获的信号表示。该技术已被用于各种应用，包括地面穿透和穿墙传感。然而，该技术仍然面临着一个重大的问题，低分辨率的SAR图像在这个特定的频段，低雷达截面积（RCS），小的目标相比，雷达信号波长，和严重的干扰。基于稀疏表示的分类（SRC）方法可以从信号中提取噪声并利用跨信道信息，从而首先部分地解决了分类问题。尽管提供了潜在的结果，SRC相关的方法在表示非线性关系和处理较大的训练集方面存在缺点。在本文中，我们提出了一个同时分解和分类网络（SDCN），以减轻噪声推理，提高分类精度。该网络包含两个联合训练的子网络：分解子网络处理去噪，而分类子网络区分目标和混淆者。实验结果表明，显着的改进，在没有分解和SRC相关的方法的网络。
2018-02-22 cs.CV eess.IV
SAR Image Change Detection Based on Multiscale Capsule Network
Ocean University of China（中国海洋大学）；Southwest Jiaotong University（西南交通大学）
传统的基于卷积神经网络的合成孔径雷达图像变化检测方法面临着斑点噪声和变形敏感性的挑战。为了缓解这些问题，我们提出了一个多尺度胶囊网络（Ms-CapsNet）来提取变化和不变像素之间的区别信息。一方面，多尺度胶囊模块被用来利用特征的空间关系。因此，可以通过聚合来自不同位置的特征来实现等变特性。另一方面，一个自适应融合卷积（AFC）模块的建议Ms-CapsNet的设计。可以为初级胶囊捕获更高的语义特征。AFC模块提取的特征显著提高了对斑点噪声的鲁棒性。建议Ms-CapsNet的有效性进行了验证，在三个真实的SAR数据集。与四种最新方法的对比实验证明了该方法的有效性。我们的代码可在https://github.com/summitgao/SAR_CD_MS_CapsNet上获得。
2022-01-22 cs.CV eess.IV
A Dual-Polarization Information Guided Network for SAR Ship Classification
University of Electronic Science and Technology of China（电子科技大学）
如何充分利用极化信息来提高合成孔径雷达（SAR）的舰船目标识别能力是一个尚未解决的问题。因此，我们提出了一个双极化信息引导网络（DPIG-Net）来解决这个问题。
2022-07-11 cs.CV
Towards Deep Unsupervised SAR Despeckling with Blind-Spot Convolutional Neural Networks
PoliTO（都灵理工大学）
SAR相干斑抑制是遥感领域的一个重要问题，它代表了许多场景分析算法的第一步。最近，深度学习技术的性能优于经典的基于模型的去斑算法。然而，这样的方法需要干净的地面实况图像用于训练，因此由于不能获取干净的SAR图像，因此求助于合成斑点光学图像。在本文中，最近的工作的盲点去噪网络的启发，我们提出了一个自监督贝叶斯去斑方法。所提出的方法是训练只使用噪声图像，因此可以学习真正的SAR图像，而不是合成数据的功能。我们表明，所提出的网络的性能是非常接近的监督训练方法的合成数据和竞争力的真实数据。
2020-01-15 cs.CV cs.LG eess.IV
SAR-ShipNet: SAR-Ship Detection Neural Network via Bidirectional Coordinate Attention and Multi-resolution Feature Fusion
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）
研究了一种具有实际意义的基于神经网络的合成孔径雷达（SAR）图像舰船检测问题。我们广泛提取不同类型的SAR图像特征，并提出一个有趣的问题：这些提取的特征是否有利于（1）抑制数据变化（例如，复杂的海陆背景、散射噪声）;（2）增强了具有不同长宽比的小目标舰船的特征，从而提高了舰船检测性能。针对这一问题，本文提出了一种基于CenterNet的SAR舰船检测神经网络（SAR-ShipNet），它是在CenterNet的基础上，通过新发展的双向协调注意力（BCA）和多分辨率特征融合（MRF）来实现的。此外，考虑到任意舰船长宽比的变化，我们在CenterNet中采用椭圆高斯概率分布，以提高基础检测器模型的性能。在公共SAR-Ship数据集上的实验结果表明，我们的SAR-ShipNet在速度和准确性方面都具有竞争优势。
2022-03-29 cs.CV
Automotive Elevation Mapping with Interferometric Synthetic Aperture Radar
University of California, Berkeley（加州大学伯克利分校）；Zendar Inc.（曾达公司）
针对车载雷达波达方向分析受分辨率和灵敏度限制的问题，提出将InSAR与自动驾驶定制信号处理结合的低计算量方法，可实现低分辨率雷达阵列的三维目标定位与环境精细测绘，支撑自主感知决策。
2025-01-14 cs.CV eess.IV eess.SP
3MOS: Multi-sources, Multi-resolutions, and Multi-scenes dataset for Optical-SAR image matching
National University of Defense Technology（国防科技大学）；Macao Polytechnic University（澳门理工学院）
针对现有SAR数据集来源单一且缺乏场景分类的问题，本文提出了大规模多源、多分辨率、多场景的光学-SAR图像匹配数据集3MOS，实验揭示了现有方法在跨域匹配上的局限性及领域自适应挑战。
2024-04-01 cs.CV
Reciprocal Translation between SAR and Optical Remote Sensing Images with Cascaded-Residual Adversarial Networks
Fudan University（复旦大学）
尽管合成孔径雷达（SAR）具有全天候、全天时高分辨率成像的优势，但由于人类视觉对微波散射现象的不适应，SAR图像很少被普通人看到和使用。然而，可以通过并排比较SAR和光学图像来训练专家口译员，以学习从SAR到光学的映射规则。本文试图开发机器智能，可训练与大体积共配准SAR和光学图像的SAR图像转换为光学版本的辅助SAR图像判读。互易SAR光学图像转换是一项具有挑战性的任务，因为它是两种物理上非常不同的传感模式之间的原始数据转换。本文提出了一种新的互惠对抗网络方案，级联剩余连接和混合L1-GAN损失。它是训练和测试的星载GF-3和机载UAVSAR图像。给出了不同分辨率和极化的数据集的结果，并与其他最先进的方法进行了比较。FID用于定量评估翻译性能。本文还探讨了利用非成对SAR图像和光学图像进行无监督学习的可能性。结果表明，建议的翻译网络工作在许多情况下，它可能会被用于辅助SAR解释。
2019-10-09 cs.CV
Land Use Prediction using Electro-Optical to SAR Few-Shot Transfer Learning
University of Pennsylvania（宾夕法尼亚大学）
卫星图像分析对土地利用、城市化和生态系统监测具有重要意义。深度学习方法可以通过支持不同卫星模式之间的知识转移来弥补个别缺点，从而促进对电光（EO）和合成孔径雷达（SAR）图像等不同卫星模式的分析。最近的进展表明，神经网络嵌入的分布对齐如何通过采用切片Wasserstein距离（SWD）损失来产生强大的迁移学习模型。我们分析了如何将这种方法应用于哨兵-1和-2卫星图像，并开发了几个扩展，使其在实践中有效。在Few-Shot Local Climate Zone（LCZ）预测的应用中，我们证明了这些网络在具有大量类的数据集上优于多个常见基线。此外，我们提供的证据表明，实例规范化可以显着稳定的训练过程，并明确塑造嵌入空间使用监督对比学习可以提高性能。
2022-12-04 cs.AI cs.CV cs.LG
Dialectical GAN for SAR Image Translation: From Sentinel-1 to TerraSAR-X
German Aerospace Center (DLR)（德国航空航天中心）；School of Information and Electronics, Beijing Institute of Technology（北京理工大学信息与电子学院）
与光学图像不同，合成孔径雷达（SAR）图像所处的电磁波谱与人类视觉系统所不熟悉的电磁波谱不同。因此，随着越来越多的SAR应用，对增强的高质量SAR图像的需求已经大大增加。然而，由于当前SAR设备及其图像处理资源的限制，高质量的SAR图像需要高成本。为了提高SAR图像的质量和降低其生成成本，我们提出了一种辩证生成对抗网络（辩证GAN）来生成高质量的SAR图像。该方法基于SAR信息的层次分析和GAN框架的“辩证”结构。作为演示，将示出一个典型示例，其中低分辨率SAR图像（例如，具有大的地面覆盖的Sentinel-1图像）被转换成高分辨率SAR图像（例如，a TerraSAR-X图像）。比较了三种传统算法，在辩证法的指导下，结合条件WGAN-GP（Wasserstein Generative Adversarial Network - Gradient Penalty）损失函数和空间Gram矩阵，提出了一种基于网络框架的新算法。实验结果表明，SAR图像的翻译工作非常好，当我们比较我们提出的方法与所选择的传统方法的结果。
2018-07-20 cs.CV cs.LG eess.IV
CCESAR: Coastline Classification-Extraction From SAR Images Using CNN-U-Net Combination
International Institute of Information Technology Bangalore（班加罗尔国际信息技术学院）
本文提出CCESAR两阶段模型，结合CNN分类与U-Net分割，从SAR图像中提取海岸线，实验证明其优于单一U-Net模型。
2025-01-21 cs.CV cs.LG eess.IV
Multi-scale direction-aware SAR object detection network via global information fusion
Xidian University（西安电子科技大学）；University of Technology Sydney（悉尼科技大学）
本文提出SAR-Net框架，通过统一补偿机制（UCM）实现多尺度全局信息融合，并利用方向感知注意力模块（DAM）消除背景干扰，在多个SAR目标检测数据集上取得最先进结果。
2024-10-14 cs.CV
SAR image despeckling through convolutional neural networks
Université Paris Est（巴黎东大学）；CNRS（法国国家科学研究中心）；ESIEE Paris（巴黎高等电子与电工技术工程师学院）；University Federico II of Naples（那不勒斯费德里科二世大学）
在本文中，我们研究了使用判别模型学习通过卷积神经网络（CNN）的SAR图像去斑。该网络使用残差学习策略，因此它不会恢复滤波后的图像，而是恢复斑点分量，然后从噪声中减去斑点分量。通过考虑一个大的多时相SAR图像及其多视版本进行训练，以近似一个干净的图像。合成和真实SAR数据的实验结果表明，该方法相对于最先进的技术，以实现更好的性能。
2017-05-03 cs.CV
DGP-Net: Dense Graph Prototype Network for Few-Shot SAR Target Recognition
合成孔径雷达（SAR）图像由于其特殊的成像原理（俯角变化），不可避免地会产生特征偏差，导致识别精度不高，特别是在少样本学习（FSL）中。针对这一问题，提出了一种稠密图原型网络（DGP-Net），通过学习潜在特征来消除特征偏差，并通过学习特征分布来进行分类。原型在模型中的作用是解决FSL中由于单次抽样的偶然性而导致的同类样本之间距离过大的问题，增强模型的鲁棒性。在MSTAR数据集上的实验结果表明，DGP-Net对不同俯角的SAR图像都有较好的分类效果，其识别精度高于典型的FSL方法。
2023-02-19 cs.CV
Learning a Dilated Residual Network for SAR Image Despeckling
Wuhan University（武汉大学）；Anhui University（安徽大学）
为了突破传统线性模型在SAR图像降斑中的局限性，提出了一种新的深度学习方法，通过扩张残差网络（SAR-DRN）学习噪声和清晰SAR图像之间的非线性端到端映射。SAR-DRN是基于扩张卷积的，它既可以扩大感受野，又可以保持滤波器的大小和层深度，具有轻量级的结构。此外，在降斑模型中加入跳跃连接和残差学习策略，以保持图像细节，减少梯度消失问题。与传统的去斑方法相比，该方法在定量和视觉评估方面都表现出优于现有方法的性能，特别是对于强斑点噪声。
2018-01-24 cs.CV
SAR Image Colorization: Converting Single-Polarization to Fully Polarimetric Using Deep Neural Networks
Key Lab for Information Science of Electromagnetic Waves (MoE), Fudan University（复旦大学电磁波信息科学教育部重点实验室）
提出了一种基于深度神经网络的单极化灰度SAR图像全极化转换方法。它由两部分组成：一个特征提取器网络，用于提取灰度SAR图像的分层多尺度空间特征，然后由一个特征转换器网络，用于将空间特征映射到极化特征，利用该极化特征可以重建每个像素的极化协方差矩阵。通过对实际全极化数据的定性和定量实验，验证了该方法的有效性。重建的全极化SAR图像与真实全极化SAR图像吻合较好。现有的极化SAR应用，如基于模型的分解和无监督分类可以直接应用于重建的全极化SAR图像。该框架可以很容易地扩展到从紧凑的极点数据的全极点数据的重建。实验结果也表明，该方法可用于交叉极化信道的干扰消除。
2017-07-22 cs.CV
OpenEarthMap-SAR: A Benchmark Synthetic Aperture Radar Dataset for Global High-Resolution Land Cover Mapping
RIKEN Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能中心（AIP），理化学研究所）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）
针对SAR影像缺乏基准数据集的问题，提出OpenEarthMap-SAR，一个包含150万片段、覆盖多国区域的高分辨率土地覆盖制图基准数据集，并评估了最先进语义分割方法。
2025-01-22 cs.AI cs.CV eess.IV
SAR Image Despeckling Using a Convolutional Neural Network
Rutgers University（罗格斯大学）
合成孔径雷达（SAR）图像经常被称为斑点的乘性噪声污染。相干斑噪声给SAR图像的处理和判读带来了困难。我们提出了一种基于深度学习的方法，称为图像去斑点卷积神经网络（ID-CNN），用于自动从输入的噪声图像中去除斑点。具体而言，ID-CNN使用一组卷积层以及批量归一化和整流线性单元（ReLU）激活函数和分量分割残差层来估计斑点，并且使用欧几里得损失和总变差（TV）损失的组合以端到端的方式进行训练。合成和真实SAR图像上的大量实验表明，该方法取得了显着的改善，国家的最先进的相干斑抑制方法。
2018-06-26 cs.CV
SSN: Stockwell Scattering Network for SAR Image Change Detection
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
针对 SAR 图像变化检测中的斑点噪声及 DCNN 可解释性差、计算成本高的问题，提出融合 WSN 与 FSN 优点的 Stockwell 散射网络，在三个真实数据集上实现高效、鲁棒的最先进检测性能。
2023-04-22 cs.CV eess.IV eess.SP
SAR Image Change Detection Based on Multiscale Capsule Network
Ocean University of China（中国海洋大学）；Southwest Jiaotong University（西南交通大学）
传统的基于卷积神经网络（CNN）的变化检测方法面临着合成孔径雷达图像斑点噪声和变形敏感性的挑战。为了缓解这些问题，我们提出了一个多尺度胶囊网络（Ms-CapsNet）来提取变化和不变像素之间的区别信息。一方面，胶囊模块被用来开发的特征的空间关系。因此，可以通过聚合来自不同位置的特征来实现等变特性。另一方面，一个自适应融合卷积（AFC）模块的建议Ms-CapsNet的设计。可以为初级胶囊捕获更高的语义特征。AFC模块提取的特征显著提高了对斑点噪声的鲁棒性。建议Ms-CapsNet的有效性进行了验证，在三个真实的SAR数据集。与四种最先进的方法的对比实验证明了所提出的方法的有效性。我们的代码可在https://github.com/summitgao/SAR_CD_MS_CapsNet上获得。
2021-09-25 cs.CV cs.LG eess.IV
COVID-Net S: Towards computer-aided severity assessment via training and validation of deep neural networks for geographic extent and opacity extent scoring of chest X-rays for SARS-CoV-2 lung disease severity
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（DarwinAI公司）；Stony Brook School of Medicine（石溪大学医学院）；Montefiore Medical Center（蒙蒂菲奥里医疗中心）；Albert Einstein College of Medicine（阿尔伯特·爱因斯坦医学院）
背景资料：严重急性呼吸道综合征冠状病毒2型（SARS-CoV-2）是COVID-19大流行的原因，其有效护理和治疗计划的关键步骤是评估疾病进展的严重程度。胸部X线检查（CXR）通常用于评估SARS-CoV-2的严重程度，两个重要的评估指标是肺部受累程度和混浊程度。在这项概念验证研究中，我们评估了使用深度学习系统对SARS-CoV-2肺部疾病严重程度的CXR进行计算机辅助评分的可行性。材料和方法：数据包括来自SARS-CoV-2阳性患者病例的396个CXR。地理范围和不透明程度由两名委员会认证的专家胸部放射科医生（具有20年以上的经验）和一名第二年的放射科住院医师进行评分。本研究中使用的深度神经网络，我们将其命名为COVID-Net S，基于COVID-Net网络架构。使用来自研究的CXR的随机子集独立学习了100个版本的网络（50个用于执行地理范围评分，50个用于执行不透明度范围评分），并且我们使用分层Monte Carlo交叉验证实验评估了网络。调查结果：在分层蒙特卡罗交叉验证实验中，COVID-Net S深度神经网络在地理范围和不透明度范围的预测评分和放射科医师评分之间分别产生0.664 $\pm$ 0.032和0.635 $\pm$ 0.044的R $^2$。表现最好的网络实现了预测分数和放射科医师分数之间的R $^2$分别为0.739和0.741的地理范围和不透明度范围。释…
2021-04-16 cs.CV cs.LG eess.IV
Generating High Quality Visible Images from SAR Images Using CNNs
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）
提出了一种基于深度卷积生成对抗网络（GAN）架构的合成孔径雷达（SAR）图像生成高质量类可见光图像的新方法。所提出的方法是基于卷积神经网络（CNN）的级联网络的去斑和图像彩色化。级联结构导致训练期间更快的收敛，并从相应的SAR图像产生高质量的可见光图像。仿真和真实SAR图像上的实验结果表明，该方法可以产生更好的可见光图像相比，最近的国家最先进的深度学习为基础的方法。
2018-02-27 cs.CV
