Low-Shot Learning for the Semantic Segmentation of Remote Sensing Imagery
Rochester Institute of Technology（罗切斯特理工学院）
使用RGB图像的深度学习的计算机视觉的最新进展（例如，对象识别和检测）已经成为可能，这要归功于大型注释RGB图像数据集的发展。相比之下，多光谱图像（MSI）和高光谱图像（HSI）数据集包含的标记图像要少得多，部分原因是所使用的传感器种类繁多。这些注释特别限于遥感图像的语义分割或逐像素分类，因为生成图像注释是劳动密集型的。尽管标注数据量较小，低次学习算法也可以进行有效的推断。在本文中，我们研究了低拍摄学习使用自学特征学习语义分割。我们介绍了1）一个改进的自学特征学习框架的HSI和MSI数据和2）半监督分类算法。当这些结合起来，他们实现国家的最先进的性能遥感数据集，几乎没有注释训练数据可用。这些低拍摄学习框架将减少手动图像注释的负担，提高遥感图像的语义分割性能。
2018-03-26 cs.CV cs.LG
EarthMapper: A Tool Box for the Semantic Segmentation of Remote Sensing Imagery
Carlson Center for Imaging Science, Rochester Institute of Technology（卡尔森成像科学中心，罗切斯特理工学院）
深度学习继续推动颜色语义分割的最新性能（即，RGB）图像;然而，许多遥感传感器（即高光谱图像（HSI））缺乏注释数据，使研究人员无法利用最近的成功。由于生成传感器特定的数据集是时间密集型和成本高昂的，遥感研究人员已经接受了深度无监督特征提取。虽然这些方法已经在当前的HSI基准上推动了最先进的性能，但许多研究人员并不容易使用这些工具。在这封信中，我们介绍了一个软件管道，我们称之为EarthMapper，非RGB遥感图像的语义分割。它包括自学空间光谱特征提取，各种标准和深度学习分类器，以及用于后处理的无向图形模型。我们在Indian Pines和Pavia University数据集上评估了EarthMapper，并发布了此代码供公众使用。
2018-04-01 cs.CV cs.LG stat.ML
BAFNet: Bilateral Attention Fusion Network for Lightweight Semantic Segmentation of Urban Remote Sensing Images
School of Computer Science, Shaanxi Normal University（陕西师范大学计算机学院）
针对资源受限下城市遥感图像语义分割的长依赖捕获与细节恢复难题，提出含双路径与特征聚合的轻量BAFNet，在两个公开数据集上精度超越先进轻量模型且媲美非轻量前沿方法。
2024-09-16 cs.CV cs.LG
Semantic Compression via Multimodal Representation Learning
Dept. of Information Engineering, Electronics, and Telecomm.（信息工程、电子与电信系）
本文揭示模态间隙缩小与训练后语义压缩可行性的联系，提出直接作用于预训练编码器、以共享质心替代多模态嵌入的压缩方法，并在大规模下游任务中验证其可显著省内存且不损失性能。
2025-09-29 cs.LG
Semantic Retention and Extreme Compression in LLMs: Can We Have Both?
ESIEA Lab（ESIEA实验室）；ESIEA
本文研究 LLM 的剪枝与量化联合压缩，提出 SrCr 指标衡量压缩与语义保持的权衡，并证明推荐组合在同等理论压缩率下较仅量化模型平均提升 20% 性能。
2025-05-12 cs.AI cs.CL cs.LG
ChangeAnywhere: Sample Generation for Remote Sensing Change Detection via Semantic Latent Diffusion Model
State Key Laboratory of Remote Sensing Science, Beijing Normal Unieversity
针对遥感变化检测样本标注耗时的问题，提出基于语义潜扩散模型的ChangeAnywhere方法，利用单时相数据生成10万对带标注的合成样本，显著提升了模型在基准数据集上的零样本和少样本性能。
2024-04-13 cs.AI cs.CV cs.LG
ChessMix: Spatial Context Data Augmentation for Remote Sensing Semantic Segmentation
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
与图像分类和目标检测等任务相比，标记语义分割数据集是一个昂贵且费力的过程。对于遥感应用尤其如此，因为这些应用不仅处理极高空间分辨率的数据，而且通常还需要该领域专家的知识来进行人工标记。数据增强技术有助于在标记样本少且不平衡的情况下改进深度学习模型。在这项工作中，我们提出了一种新的数据增强方法，侧重于探索遥感语义分割的空间背景。这种方法ChessMix通过将数据集中变换的小面片混合在棋盘状网格中，从现有训练集中创建新的合成图像。ChessMix优先考虑具有更多最稀有类示例的补丁，以缓解不平衡问题。在三个不同的知名遥感数据集的结果表明，这是一个有前途的方法，有助于提高网络的性能，特别是在数据集的可用数据很少。结果还表明，与广泛使用的最常见的数据增强方法相比，ChessMix能够改善标记像素较少的对象的分割。
2021-08-26 cs.CV cs.LG
Semantic Communication based on Generative AI: A New Approach to Image Compression and Edge Optimization
本文提出将生成式人工智能与语义通信相结合，利用生成对抗网络和去噪扩散概率模型实现语义保持的图像压缩，并基于信息瓶颈原理构建面向目标的边缘网络优化框架，以提升带宽效率和降低延迟。
2025-02-01 cs.AI cs.CV cs.LG
Supervising Remote Sensing Change Detection Models with 3D Surface Semantics
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
遥感变化检测，识别同一位置的场景之间的变化，是一个活跃的研究领域，具有广泛的应用。多模态自我监督预训练的最新进展已经产生了最先进的方法，这些方法超过了仅在光学图像上训练的视觉模型。在遥感领域，有大量的重叠的2D和3D模态，可用于监督视觉模型中的表示学习。在本文中，我们提出了对比表面图像预训练（CSIP）的联合学习使用光学RGB和地上水平（AGL）的地图对。然后，我们在几个建筑物分割和变化检测数据集上评估这些预训练模型，以表明我们的方法确实提取了与自然和人工表面信息相关的下游应用相关的特征。
2022-02-26 cs.CV cs.LG
Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；McGill University（麦吉尔大学）；University Health Network（大学医疗网络）；University of Waterloo（滑铁卢大学）
该研究提出Varest图像分词压缩方法，以语义可替代性为指导，结合可变分辨率合并与[REL]寄存器剪枝，在三个骨干网络和13个基准测试中，仅用5.56%的分词数就保留了86.10%-92.33%的性能，优于15个基线。
2026-10-22 cs.AI cs.CV cs.LG
TopoCompress: Long Context Compression via Graph-Wired Semantic Trajectories
Iowa State University（爱荷华州立大学）
针对现有长上下文压缩方法的缺陷，本文提出无需训练、与模型无关的TopoCompress框架，通过语义片段打分与图传播实现压缩，在5项任务中表现优于基线，压缩预算仅为最强基线的1/4、时间比最快基线缩短1.41倍。
2026-09-02 cs.CL cs.LG
STAND: Semantic Anchoring Constraint with Dual-Granularity Disambiguation for Remote Sensing Image Change Captioning
Harbin Institute of Technology, Weihai, China（哈尔滨工业大学，威海）
STAND通过语义锚定约束与双粒度消歧方法，解决遥感图像变化描述中的视角、尺度和先验知识模糊问题，提升描述精度。
2026-08-20 cs.CV cs.LG
Deep learning for semantic segmentation of remote sensing images with rich spectral content
Univ. Savoie Mont Blanc, LISTIC（萨瓦勃朗峰大学 LISTIC 实验室）；ONERA, The French Aerospace Lab（法国航空航天实验室 ONERA）；Univ. Bretagne-Sud, UMR 6074, IRISA（南布列塔尼大学 IRISA 研究所）
随着遥感获取技术的快速发展，需要扩展和改进处理工具，以应对观测到的数据量和丰富性的增加。在遥感领域的流行技术中，深度学习获得了越来越多的关注，但取决于训练数据的质量。因此，本文介绍了最近的深度学习方法，用于精细或粗略的土地覆盖语义分割估计。测试了各种2D架构，并引入了新的3D模型，以联合处理数据的空间和光谱维度。这样一组网络使得能够比较不同的光谱融合方案。此外，我们还评估了使用“噪声地面实况”（即过时和低空间分辨率标签）来训练和测试网络。
2017-12-05 cs.CV cs.LG
Feature Fusion Detector for Semantic Cognition of Remote Sensing
College of Computer, National University of Defense Technology（国防科技大学计算机学院）
遥感图像的价值在许多领域都是至关重要的，需要通过一些认知方法来提炼。遥感检测是实现语义认知的一种合适的方法。然而，这种检测是一个具有挑战性的问题，规模多样性，多样性的意见，小目标，复杂的光和阴影背景。在这篇文章中，受最先进的检测框架FPN的启发，我们提出了一种新的方法来构建一个特征融合模块，优化检测中的特征上下文利用率，称我们的系统LFFN为层弱化特征融合网络。我们探讨了不同层次的最终决策的内在相关性，以及高层特征对低层特征的激励。更重要的是，我们在基本特征的挖掘和卷积信道的相关性利用方面探索了不同骨干网络的特点，并将我们的升级版本称为高级LFFN。在Google Earth遥感数据集上的实验结果表明，LFFN对遥感图像的语义认知是有效和实用的，mAP达到89%，比FPN提高了4.1%.此外，在泛化性能方面，LFFN在VOC 2007上实现了79.9%的mAP，在VOC 2012测试中实现了73.0%的mAP，而先进的LFFN在VOC 2007和2012上分别获得了80.7%和74.4%的mAP值，优于可比的最先进的SSD和更快的R-CNN模型。
2019-09-28 cs.CV cs.LG
Boundary Loss for Remote Sensing Imagery Semantic Segmentation
Skoltech（斯科尔科沃科技学院）
随着地理空间数据重要性的日益增长，包括语义分割在内的地理空间数据分析成为当今计算机视觉中越来越受欢迎的任务。卷积神经网络是一种功能强大的可视化模型，它可以产生层次化的特征，从业者广泛使用它来处理遥感数据。在进行遥感图像分割时，常常会遇到同一类的多个实例具有精确定义的边界的情况，准确地提取这些边界是至关重要的。分割区域边界划分的准确性直接影响到整个分割区域的质量。然而，广泛使用的分割损失函数，例如BCE、IoU损失或Dice损失，不能充分地惩罚边界的未对准。在本文中，我们提出了一种新的损失函数，即一个度量会计边界检测精度的可微代理。我们可以使用损失函数与任何神经网络进行二进制分割。我们进行了验证我们的损失函数与各种修改的UNet上的合成数据集，以及使用真实世界的数据（ISPRS波茨坦，INRIA AIL）。使用所提出的损失函数进行训练，模型在IoU得分方面优于基线方法。
2019-05-20 cs.CV cs.LG
Task-Oriented Semantic Feature Transmission for Multi-Task Satellite Remote Sensing over Low-SNR Channels
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出一种任务导向的语义特征传输框架，绕过图像重建直接传输多任务预训练特征，在低信噪比信道下显著提升分类与检测性能。
2026-09-18 cs.CV cs.LG
Decoder-Side Semantic Conditioning for Low-Bitrate Neural Speech Compression
Department of Computer Science and Data Science, NYU Shanghai（纽约大学上海校区计算机科学与数据科学系）；Department of Computer Science（计算机科学系）
SemDAC通过语义代码本提升神经语音压缩效率，实现更高效且适合识别的音频表示。
2026-09-09 cs.CL cs.LG cs.SD
Dense Dilated Convolutions Merging Network for Semantic Mapping of Remote Sensing Images
Norwegian Computing Center（挪威计算中心）；UiT, the Arctic University of Norway（挪威北极大学）
我们提出了一种称为密集扩张卷积合并网络（DDCM-Net）的语义映射网络，以提供一种深度学习方法，可以识别具有相似颜色和纹理的多尺度和复杂形状的对象，例如非常高分辨率的遥感图像中的建筑物，表面/道路和树木。所提出的DDCM-Net由具有不同膨胀率的密集膨胀卷积组成。这可以有效地扩大核的感受野，更重要的是，获得融合的局部和全局上下文信息，以提高周围的辨别能力。我们证明了所提出的DDCM-Net在公开的ISPRS波茨坦数据集上的有效性，并且仅使用RGB波段，无需任何后处理，即可实现92.3%的F1得分和86.0%的平均交叉精度。我们还展示了ISPRS Vaihingen数据集的结果，其中使用IRRG波段训练的DDCM-Net也获得了比以前最先进的方法更好的映射准确性（89.8%F1分数）。
2019-08-30 cs.CV cs.LG eess.IV
