NNVISR: Bring Neural Network Video Interpolation and Super Resolution into Video Processing Framework
Wuhan University(武汉大学)
NNVISR 是一个面向 VapourSynth 的开源滤镜插件,通过统一接入任意帧组增强网络并自动处理网络无关细节,将神经网络去噪、超分辨率、插值和时空超分辨率能力引入视频处理流水线。
2023-08-06 cs.CV
Self-Supervised Deep Blind Video Super-Resolution
Nanjing University of Science and Technology(南京理工大学)
现有的基于深度学习的视频超分辨率(SR)方法通常依赖于监督学习方法,其中训练数据通常通过具有已知或预定义核的模糊操作来生成(例如,双三次核),然后进行抽取操作。然而,这并不适用于实际应用,因为退化过程是复杂的,并且不能很好地近似于这些理想情况。此外,在真实世界场景中获得高分辨率(HR)视频和对应的低分辨率(LR)视频是困难的。为了克服这些问题,我们提出了一种自监督学习方法来解决盲视频SR问题,它同时估计模糊核和HR视频从LR视频。由于直接使用LR视频作为监督通常会导致琐碎的解决方案,我们开发了一种简单有效的方法,根据视频SR的图像形成从原始LR视频生成辅助配对数据,以便网络可以更好地约束所生成的配对数据,用于模糊核估计和潜在HR视频恢复。此外,我们引入了一个光流估计模块,利用相邻帧的信息进行HR视频恢复。实验表明,我们的方法表现良好,对国家的最先进的基准和现实世界的视频。
2022-01-19 cs.CV
Reference-based Video Super-Resolution Using Multi-Camera Video Triplets
POSTECH(浦项科技大学)
我们提出了第一个基于参考的视频超分辨率(RefVSR)的方法,利用参考视频高保真的结果。我们专注于三摄像头设置中的RefVSR,我们的目标是利用广角和长焦视频超分辨率低分辨率超宽视频。我们介绍了第一个RefVSR网络,该网络递归地对齐和传播与从低分辨率帧中提取的特征融合的时间参考特征。为了便于时间参考特征的融合和传播,我们提出了一个传播时间融合模块。为了学习和评估我们的网络,我们提出了第一个RefVSR数据集,该数据集由从智能手机的三个摄像头同时拍摄的超宽、广角和长焦视频组成。我们还提出了一个两阶段的训练策略,充分利用视频三元组在现实世界的4倍视频超分辨率建议的数据集。我们广泛地评估了我们的方法,结果显示了最先进的性能在4倍超分辨率。
2022-03-28 cs.CV
Optical Flow for Video Super-Resolution: A Survey
Wuhan University(武汉大学);Hubei University of Economics(湖北经济学院);Central China Normal University(华中师范大学);Arizona State University(亚利桑那州立大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
视频超分辨率是当前计算机视觉中最活跃的研究课题之一,因为它在许多视觉应用中起着重要的作用。通常,视频超分辨率包含重要分量,即,运动补偿,其用于估计连续视频帧之间的位移以进行时间对准。光流可以在连续帧之间提供密集的亚像素运动,是用于该任务的最常见的方法之一。为了更好地理解光流在视频超分辨率中的作用,本文首次对这一问题进行了全面的综述。本研究涵盖以下主要主题:超分辨率的功能(即,为什么我们需要超分辨率);视频超分辨率的概念(即,什么是视频超分辨率);评估度量的描述(即,(视频)超分辨率如何执行);引入基于光流的视频超分辨率;研究使用光流来捕获视频超分辨率的时间依赖性。重点对基于深度学习的视频超分辨率方法进行了深入研究,并对几种典型算法进行了分析和比较。此外,我们强调了一些有前途的研究方向和开放的问题,应进一步解决。
2022-03-20 cs.CV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.(百度公司)
最近,图像超分辨率得到了广泛的研究,并通过利用深度卷积神经网络的能力取得了重大进展。然而,由于视频中复杂的时间模式,视频超分辨率(VSR)的进展有限。在本文中,我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息,而对原始图像超分辨率的开销可以忽略不计。此外,我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能,并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
Deep Vehicle Detection in Satellite Video
Technical University Munich(慕尼黑工业大学);Austrian Institute of Technology(奥地利技术研究所);University of Technology Vienna(维也纳技术大学)
本文提出了一种用于卫星视频中车辆检测的深度学习方法。由于车辆的微小性(4-10像素)及其与背景的相似性,在单个EO卫星图像中可能无法检测车辆。相反,我们考虑卫星视频,它克服了缺乏空间信息的车辆运动的时间一致性。提出了一种新的紧凑型$3 \times 3$卷积神经网络的时空模型,该模型忽略了池化层并使用泄漏ReLU。然后,我们使用包含非最大值抑制(NMS)的输出热图的重新表述进行最终分割。两个新的注释卫星视频的实证结果再次证实了这种方法的车辆检测的适用性。更重要的是,它们表明对WAMI数据进行预训练,然后对新视频的几个注释视频帧进行微调就足够了。在我们的实验中,只有五个注释的图像产生的$F_1$分数为0.81的新视频显示更复杂的交通模式比拉斯维加斯的视频。我们在拉斯维加斯的最佳结果是$F_1$得分为0.87,这使得所提出的方法成为该基准的领先方法。
2022-06-07 cs.CV
Super-Resolving Commercial Satellite Imagery Using Realistic Training Data
Google Inc.(谷歌公司)
在基于机器学习的单幅图像超分辨率中,退化模型被嵌入到训练数据生成中。然而,大多数现有的卫星图像超分辨率方法使用具有固定核的简单下采样模型来创建训练图像。这些方法在合成数据上工作良好,但在真实卫星图像上表现不佳。提出了一种实用的商业卫星影像产品训练数据生成模型,该模型不仅包括卫星上的成像过程,还包括地面上的后处理过程。我们还提出了一个卷积神经网络优化的卫星图像。实验结果表明,所提出的训练数据生成模型能够有效提高真实卫星图像的超分辨率性能。
2020-02-26 cs.CV eess.IV
Can Location Embeddings Enhance Super-Resolution of Satellite Imagery?
German Aerospace Center (DLR)(德国航空航天中心 (DLR));The Remote Sensing Technology Institute(遥感技术研究所)
针对卫星图像超分辨率泛化差的问题,提出结合位置嵌入、GAN与扩散模型并利用相邻图像消除切片伪影的新框架,显著提升了建筑分割任务的性能。
2025-01-30 cs.CV
T-STAR: A Large-Scale Benchmark for Spatio-Temporal Panoptic Scene Graph Generation in Satellite Video
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院)
本文针对卫星视频结构化理解难题,提出时空全景场景图生成任务,构建T-STAR大规模基准数据集,含超百万实例掩码和时空三元组,还提出统一框架,经实验验证其对卫星视频理解研究的重要性和框架有效性。
2026-07-24 cs.CV
Memory-Augmented Non-Local Attention for Video Super-Resolution
JD AI Research(京东人工智能研究院);JD Finance America Corporation(京东金融美国公司)
本文提出了一种新的视频超分辨率方法,旨在从低分辨率(LR)视频生成高保真高分辨率(HR)视频。先前的方法主要利用时间相邻帧来辅助当前帧的超分辨率。这些方法实现有限的性能,因为它们遭受空间帧对准的挑战和缺乏来自相似LR相邻帧的有用信息。相比之下,我们设计了一种跨帧非局部注意力机制,允许视频超分辨率而无需帧对齐,从而对视频中的大运动更加鲁棒。此外,为了获取相邻帧以外的信息,我们设计了一种新的记忆增强注意模块,用于在超分辨率训练过程中记忆一般视频细节。实验结果表明,我们的方法可以实现更优越的性能在大的运动视频相比,国家的最先进的方法没有对齐帧。我们的源代码将被释放。
2021-08-25 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University(南洋理工大学)
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中,我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明,通过增强传播和对齐的经常性框架,可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是,我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB,参数数量相似。除了视频超分辨率之外,BasicVSR++还可以很好地推广到其他视频恢复任务,如压缩视频增强。在NTIRE 2021中,BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Self-Supervised Adaptation for Video Super-Resolution
Hanyang University(汉阳大学)
最近的单图像超分辨率(SISR)网络,它可以调整其网络参数,以特定的输入图像,已经显示出有前途的结果,通过利用输入数据以及大型外部数据集内可用的信息。然而,这些自我监督的SISR方法的视频处理的扩展还有待研究。因此,我们提出了一种新的学习算法,允许传统的视频超分辨率(VSR)网络,以适应他们的参数来测试视频帧,而不使用地面实况数据集。通过利用空间和时间上的许多自相似补丁,我们提高了完全预训练的VSR网络的性能,并产生时间上一致的视频帧。此外,我们提出了一个测试时的知识蒸馏技术,加快了适应速度与较少的硬件资源。在我们的实验中,我们证明了我们的新学习算法可以微调最先进的VSR网络,并大大提高了许多基准数据集的性能。
2021-03-18 cs.CV
Combining Contrastive and Supervised Learning for Video Super-Resolution Detection
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
视频放大检测是多媒体取证中的一个有用的工具,但它是一个具有挑战性的任务,涉及各种放大和压缩算法。分辨率增强方法有很多,包括插值和基于深度学习的超分辨率,并且它们会留下独特的痕迹。在这项工作中,我们提出了一种新的分辨率提升检测方法的基础上学习的视觉表示使用对比度和交叉熵损失。为了解释该方法如何检测视频,我们系统地回顾了我们框架的主要组成部分-特别是,我们表明大多数数据增强方法阻碍了该方法的学习。通过对各种数据集的广泛实验,我们证明了我们的方法即使在压缩视频中也能有效地检测到放大,并且优于最先进的替代方案。代码和模型可在https://github.com/msu-video-group/SRDM上公开获取
2022-05-20 cs.CV
Time-series Initialization and Conditioning for Video-agnostic Stabilization of Video Super-Resolution using Recurrent Networks
Toyota Technological Institute(丰田工业大学)
本文提出一种用于视频超分辨率的循环网络训练策略,通过重用依视频属性变化的隐藏状态并引入帧数条件化,有效消除了长短视频间的域差距,实现了独立于视频长度和动态特性的高效稳定超分。
2024-03-23 cs.CV
VideoGigaGAN: Towards Detail-rich Video Super-Resolution
Adobe Research(奥多比研究院);University of Maryland, College Park(马里兰大学帕克分校)
本文提出 VideoGigaGAN,通过改进 GigaGAN 的时间模块与关键技术,在保持时间一致性的同时生成细节更丰富的视频,并在公共数据集上验证了其 8 倍超分辨率效果。
2024-05-01 cs.CV
Detecting and Tracking Small and Dense Moving Objects in Satellite Videos: A Benchmark
National University of Defense Technology(国防科技大学);University of Oxford(牛津大学);Sun Yat-sen University(中山大学)
卫星摄像机可以对大范围区域进行连续观测,这对许多遥感应用都很重要。然而,由于目标外观信息不足和缺乏高质量的数据集,实现卫星视频中的运动目标检测和跟踪仍然具有挑战性。在本文中,我们首先建立了一个大规模的卫星视频数据集与丰富的注释的任务,运动目标检测和跟踪。该数据集由吉林一号卫星星座收集,由47个高质量视频组成,其中包含1,646,038个用于目标检测的感兴趣实例和3,711个用于目标跟踪的轨迹。然后,我们引入了一个运动建模基线,以提高检测率和减少基于累积多帧差分和鲁棒矩阵完成虚警。最后,我们建立了第一个公共基准移动目标检测和跟踪卫星视频,并广泛评估我们的数据集上的几个代表性的方法的性能。还提供了全面的实验分析和有见地的结论。该数据集可在https://github.com/QingyongHu/VISO上获得。
2021-11-25 cs.CV
Vehicle Perception from Satellite
本文提出从卫星视频进行车辆感知的新任务,构建了包含真实与合成视频的大规模基准,支持微小目标检测、计数与密度估计,并评估多种传统计算机视觉方法以分析挑战与前景。
2024-02-01 cs.CV
Towards High-Resolution Alignment and Super-Resolution of Multi-Sensor Satellite Imagery
The Pennsylvania State University(宾夕法尼亚州立大学);NASA Marshall Space Flight Center(美国国家航空航天局马歇尔空间飞行中心);University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校)
本研究提出一个初步框架,利用HLS10影像作为参考,对HLS30影像进行对齐和超分辨率重建,以弥合多传感器卫星影像的分辨率差距,实验验证了其有效性。
2025-08-01 cs.CV eess.IV
Learn Temporal Consistency For Robust Satellite Video Detector
Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences(中国科学院空间应用工程与技术中心);Key Laboratory of Space Utilization, Chinese Academy of Sciences(中国科学院空间应用重点实验室);University of Chinese Academy of Sciences(中国科学院大学);School of Electronics and Information Engineering, Harbin Institute of Technology(哈尔滨工业大学电子与信息工程学院)
提出基于时间一致性学习(TCL)的卫星视频目标检测框架,通过时间特征聚合、结构编码和时间一致性约束模块,实现定向细粒度目标检测,在SAT-MTB数据集上达到47.7% mAP,较基线提升4.8%。
2026-06-16 cs.CV
Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image
ETH Zurich(苏黎世联邦理工学院);The University of Tokyo(东京大学);Zhejiang University(浙江大学);The Ohio State University(俄亥俄州立大学);Microsoft(微软)
我们提出了一种新的方法合成时间和几何一致的街景全景视频从一个单一的卫星图像和摄像机的轨迹。现有的跨视点合成方法主要集中在图像上,而这种情况下的视频合成尚未得到足够的重视。对于几何和时间的一致性,我们的方法显式地创建一个三维点云表示的场景,并保持密集的3D-2D对应帧,反映从卫星视图推断的几何场景配置。至于在3D空间中的合成,我们实现了一个级联的网络架构,其中包含两个沙漏模块,用于从语义和每类潜在向量生成逐点的粗特征和细特征,然后投影到帧和上采样模块,以获得最终的逼真视频。通过利用计算的对应关系,所产生的街景视频帧坚持3D几何场景结构,并保持时间一致性。定性和定量实验表明,优越的结果相比,其他国家的最先进的合成方法,要么缺乏时间的一致性或现实的外观。据我们所知,我们的工作是第一个合成跨视图图像到视频。
2021-05-06 cs.CV
Self-Supervised Uncertainty Estimation For Super-Resolution of Satellite Images
本文提出一种自监督损失方法,用于估计图像超分辨率中的不确定性,无需地面真实高分辨率数据,通过贝叶斯风险最小化获得最优估计器,验证了其在合成数据集上的有效性。
2026-03-14 cs.CV cs.LG
Online Structured Sparsity-based Moving Object Detection from Satellite Videos
针对批量式低秩结构化稀疏分解检测卫星视频运动目标存在延迟的问题,提出逐帧交替更新的在线O-LSD方法,理论保证收敛,实验显示其性能与批量法相当且延迟大幅降低。
2019-12-10 cs.CV
Error Bounded Foreground and Background Modeling for Moving Object Detection in Satellite Videos
从地面视频中检测运动目标通常通过使用背景减除技术来实现。低秩矩阵分解启发了一套国家的最先进的方法来完成这项任务。在低秩结构稀疏分解(LSD)方法中,结合结构稀疏正则化实现背景减除。然而,当该方法应用于空间分辨率差且目标与背景的对比度低的卫星视频时,其性能受到限制,因为数据不再充分地适合前景结构或背景模型。在本文中,我们明确地处理这些无法解释的数据,并将空间运动目标检测作为先驱研究之一。我们提出了一种技术,通过扩展的分解公式与有界误差,命名为扩展低秩和结构化稀疏分解(E-LSD)。该公式将低秩背景、结构化稀疏前景及其残差集成到矩阵分解问题中。我们通过引入一种替代的处理方法,并采用乘子交替方向法(ADMM)的直接推广,提供了一个有效的解决方案。在两个卫星视频上对所提出的E-LSD进行了验证,实验结果表明,与现有方法相比,该方法在背景建模方面有所改进,运动目标检测精度有所提高。
2019-08-26 cs.CV
Handheld Burst Super-Resolution Meets Multi-Exposure Satellite Imagery
Université Paris-Saclay(巴黎萨克雷大学);ENS Paris-Saclay(巴黎萨克雷高等师范学院);CNRS(法国国家科学研究中心);Centre Borelli(博雷利中心)
图像分辨率是基于卫星图像的许多应用的重要标准。在这项工作中,我们采用了最先进的核回归技术,用于智能手机相机突发超分辨率卫星。该技术利用图像的局部结构来优化融合内核,限制最终高分辨率预测中的模糊,对图像进行降噪,并将细节恢复到缩放因子2。我们将这种方法扩展到多次曝光的情况下,从一系列的多次曝光的低分辨率帧的高分辨率和无噪声的预测。在单次曝光和多次曝光场景下的实验表明了该方法的优点。由于融合是无学习的,所提出的方法是确保不幻觉的细节,这是许多遥感应用的关键。
2023-03-10 cs.CV eess.IV
Single Image Super-resolution with a Switch Guided Hybrid Network for Satellite Images
Indian Institute of Science(印度科学学院)
卫星图像的主要缺点是分辨率低,分辨率低使得难以识别卫星图像中存在的对象。我们已经在SpaceNet数据集上试验了几种可用于单图像超分辨率的深度模型,并评估了每个模型在卫星图像数据上的性能。我们将深入研究过去几年SISR背景下深度模型的最新演变,并将对这些模型进行比较研究。一个区域的整个卫星图像被分成大小相等的块。每个贴片将单独用于训练。这些补丁将在性质上有所不同。例如,城市地区的斑块由于车辆、建筑物、道路等不同类型的物体而具有非均匀的背景。另一方面,丛林上的斑块在性质上更加均匀。因此,不同的深度模型将适合不同类型的补丁。在这项研究中,我们将尝试在开关卷积网络的帮助下进一步探索这一点。这个想法是训练一个开关分类器,将自动分类补丁到一个类别的模型最适合它。
2020-11-29 cs.CV eess.IV
SatSAM2: Motion-Constrained Video Object Tracking in Satellite Imagery using Promptable SAM2 and Kalman Priors
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Geospatial Engineering and Science, Sun Yat-sen University(中山大学测绘工程与科学学院)
本文提出SatSAM2,一种基于SAM2的零样本卫星视频跟踪器,通过引入卡尔曼滤波约束运动模块和运动约束状态机,提升跟踪鲁棒性,并在MatrixCity视频物体跟踪基准上验证了其优越性。
2026-04-23 cs.CV
Infrared Small Target Detection in Satellite Videos: A New Dataset and A Novel Recurrent Feature Refinement Framework
College of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学与技术学院)
针对卫星视频红外小目标检测难题,本文构建大规模半仿真数据集 IRSatVideo-LEO,并提出结合 PDA 与 TSFM 的 RFR 框架,显著提升检测性能。
2025-02-20 cs.CV
SDM-Car: A Dataset for Small and Dim Moving Vehicles Detection in Satellite Videos
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室)
针对卫星视频中低辐射暗弱运动车辆标注不足导致检测效果差的问题,构建了包含99个高质量视频的SDM-Car数据集,并提出基于图像增强和注意力机制的基准方法以提升暗弱车辆检测精度。
2024-12-24 cs.CV
On training deep networks for satellite image super-resolution
Future Processing(未来处理公司);Silesian University of Technology(西里西亚工业大学)
超分辨率重建(SRR)--用于增强图像空间分辨率的技术--的能力最近通过使用深度卷积神经网络而得到显著提高。通常,这种网络是使用由原始图像及其低分辨率对应图像组成的巨大训练集来学习的,这些图像是通过双三次下采样获得的。在本文中,我们研究如何影响SRR性能的方式,这样的低分辨率训练数据获得,这还没有探索到最新的。大量的实验研究表明,训练数据的特性对重建精度有很大的影响,并且广泛采用的方法对于处理卫星图像并不是最有效的。总体而言,我们认为,开发更好的训练数据准备例程可能是关键,使SRR适合现实世界的应用。
2019-06-16 cs.CV eess.IV
Super-resolution Probabilistic Rain Prediction from Satellite Data Using 3D U-Nets and EarthFormers
Nanjing University of Information Science and Technology(南京信息工程大学);Microsoft(微软)
准确及时的降雨预报是决策的关键,也是一项具有挑战性的任务。本文提出了一种基于多波段卫星图像的8小时概率降雨预报的解决方案,该方案在Weather4cast 2022 NeurIPS竞赛中获得了二等奖。深入研究了输入卫星图像的空间背景效应,找到了最佳背景范围,并基于不平衡的降雨分布,训练了具有不同损失函数的多个模型。为了进一步提高模式的性能,采用多模式集成和阈值优化的方法,最终生成概率降水预报。实验结果和排行榜分数表明,最佳空间上下文,组合损失函数,多模型集成,阈值优化都提供适度的模型增益。利用排列检验分析了各卫星波段对降水预报的影响,结果表明,表征云顶相位(8.7 μ m)和云顶高度(10.8和13.4 μ m)的卫星波段是降水预报的最佳预报因子。源代码可在https://github.com/bugsuse/weather4cast-2022-stage2上获得。
2022-12-06 cs.AI cs.CV
Self-Supervised Super-Resolution for Multi-Exposure Push-Frame Satellites
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Centre Borelli(博雷利中心);Kayrros SAS(凯罗斯公司)
现代地球观测卫星捕捉多曝光的推帧图像,可以通过计算手段进行超分辨率。在这项工作中,我们提出了一个超分辨率的方法,这样的多次曝光序列,一个问题,在文献中很少受到关注。所提出的方法可以处理输入中的信号相关噪声,处理任何长度的序列,并且对曝光时间的不准确性具有鲁棒性。此外,它可以通过自我监督进行端到端的训练,而不需要地面真实高分辨率帧,这使得它特别适合处理真实数据。我们的方法的核心是三个关键贡献:i)用于处理曝光时间中的错误的基本细节分解,ii)用于改进具有不同信噪比的帧的融合的噪声水平感知特征编码和iii)通过时间池算子的置换不变融合策略。我们评估所提出的方法的合成和真实的数据,并表明它优于现有的单次曝光的方法,我们适应了多次曝光的情况下,一个显着的利润率。
2022-05-04 cs.CV eess.IV
Spatial-Temporal Super-Resolution of Satellite Imagery via Conditional Pixel Synthesis
Stanford University(斯坦福大学)
事实证明,高分辨率卫星图像可用于广泛的任务,包括测量全球人口、地方经济生计和生物多样性等。不幸的是,高分辨率图像很少收集,而且购买价格昂贵,因此很难在时间和空间上有效地扩展这些下游任务。我们提出了一个新的条件像素合成模型,使用丰富的,低成本的,低分辨率的图像生成准确的高分辨率图像的位置和时间,它是不可用的。我们表明,我们的模型达到了照片般逼真的样本质量,并在关键的下游任务-对象计数-上优于竞争基线,特别是在地面条件迅速变化的地理位置。
2022-04-04 cs.AI cs.CV
Unsupervised Super-Resolution of Satellite Imagery for High Fidelity Material Label Transfer
University of Maryland(马里兰大学)
遥感图像中的城市物质识别是一个高度相关的,但极具挑战性的问题,由于难以获得人类的注释,特别是在低分辨率的卫星图像。为此,我们提出了一个无监督的领域自适应为基础的方法,使用对抗学习。我们的目标是从少量的高分辨率数据(源域)中获取信息,并利用这些信息来超分辨率低分辨率图像(目标域)。这可能有助于语义以及材料标签从注释丰富的源到目标域的转移。
2021-05-16 cs.CV cs.LG eess.IV
An Efficient Network Design for Face Video Super-resolution
Southeast University(东南大学);University of Cambridge(剑桥大学)
人脸视频超分辨率算法旨在通过连续输入的视频序列重建真实的人脸细节。然而,现有的视频处理算法通常包含冗余参数,以保证不同的超分辨率场景。在这项工作中,我们专注于超分辨率的人脸区域在原始视频场景,而其余地区的插值。这种特定的超分辨率任务使得在一般视频超分辨率网络中削减冗余参数成为可能。我们构建了一个完全由人脸视频序列组成的数据集,用于网络训练和评估,并在实验中进行超参数优化。我们使用三种组合策略来优化网络参数,并使用同步训练评估方法来加速优化过程。结果表明,同时训练评估方法提高了训练速度,有利于生成有效的网络。与现有的视频超分辨率算法相比,该算法至少减少了52.4%的参数和20.7%的FLOP,在PSNR、SSIM等性能指标上都有明显的提高。当处理36 x36 x1 x3输入视频帧序列时,高效网络提供47.62 FPS的实时处理性能。我们将我们的建议命名为人脸视频超分辨率(HO-FVSR)的超参数优化,该建议在https://github.com/yphone/efficient-network-for-face-VSR上开源。
2021-09-28 cs.AI cs.CV
Super-resolution of multispectral satellite images using convolutional neural networks
UP42 GmbH(UP42有限公司)
超分辨率旨在通过算法手段提高图像分辨率,近年来随着计算机视觉和深度学习领域的进步而取得了进展。基于各种架构的卷积神经网络已被应用于该问题,例如自动编码器和残差网络。虽然大多数研究集中在处理只包括RGB颜色通道的照片,很少有工作可以集中在多波段,分析卫星图像。卫星图像通常包括全色波段,其空间分辨率比其他波段高,但光谱分辨率比其他波段低。在遥感领域,对卫星图像进行全色锐化有着悠久的传统,即通过将多光谱波段与全色波段合并,提高多光谱波段的空间分辨率。据我们所知,到目前为止还没有利用全色波段的超分辨率方法。在本文中,我们提出了一种方法来训练国家的最先进的CNN使用对低分辨率多光谱和高分辨率泛锐化图像瓦片,以创建超分辨率的分析图像。导出的质量度量表明,该方法提高了处理后的图像的信息内容。我们比较了四种CNN架构创建的结果,其中RedNet30表现最好。
2020-04-08 cs.CV eess.IV
CVLNet: Cross-View Semantic Correspondence Learning for Video-based Camera Localization
Australian National University(澳大利亚国立大学);University of Technology Sydney(悉尼科技大学)
本文研究了基于跨视角视频的摄像机定位问题。任务是通过利用来自其过去观测的信息来定位查询相机,即,在先前时间戳观察到的图像的连续序列,并将它们与大型俯视卫星图像进行匹配。这项任务的关键挑战是学习一个强大的全球功能描述符的连续地面视图图像,同时考虑其域对齐参考卫星图像。为此,我们引入了CVLNet,它首先通过探索地面和头顶的几何对应关系将连续的地面视图图像投影到头顶视图中,然后利用投影图像之间的照片一致性来形成全局表示。以这种方式,跨视图域差异被桥接。由于参考卫星图像通常是预先裁剪和定期采样的,因此查询相机位置与其匹配的卫星图像中心之间总是存在不对准。出于这一动机,我们建议估计查询相机的相对位移的卫星图像相似性匹配之前。在这个位移估计过程中,我们还考虑了摄像机位置的不确定性。例如,摄像机不太可能在树上。为了评估所提出的方法的性能,我们从谷歌地图收集卫星图像的KITTI数据集,并构建了一个新的跨视图基于视频的本地化基准数据集,KITTI-CVL。大量的实验已经证明了基于视频的定位的有效性,基于单个图像的定位和每个模块的优越性,比其他替代品。
2022-08-07 cs.CV
Super-Resolving Beyond Satellite Hardware Using Realistically Degraded Images
Swinburne University of Technology(斯威本科技大学);Planet Labs Inc.(行星实验室公司)
现代深度超分辨率(SR)网络已经成为图像重建和增强中有价值的技术。然而,这些网络通常在基准图像数据上进行训练和测试,这些基准图像数据缺乏真实图像中存在的典型图像退化噪声。在本文中,我们测试的可行性,使用深SR在真实的遥感有效载荷重建现实退化的卫星图像评估SR的性能。我们证明了一种称为增强型深度超分辨率网络(EDSR)的最先进SR技术,在没有特定领域预训练的情况下,可以在地面采样距离差的图像上恢复编码像素数据,前提是地面分辨率距离足够。然而,这一回收率在选定的地理类型之间存在差异。我们的研究结果表明,自定义训练有可能进一步改善头顶图像的重建,新的卫星硬件应该优先考虑光学性能,而不是最小化像素大小,因为深度SR可以克服后者的不足,但不能克服前者。
2021-03-10 cs.CV cs.LG eess.IV
Effectivity of super resolution convolutional neural network for the enhancement of land cover classification from medium resolution satellite images
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
在现代世界,卫星图像在森林管理和退化监测方面发挥着关键作用。为了精确地量化森林土地覆盖的变化,必须提供空间上高分辨率的数据。自1972年以来,美国航天局的大地卫星卫星提供了覆盖地球每一个角落的地面图象,这些图象已被证明是分析地面变化的非常有用的资源,并已被用于许多其他部门。然而,可免费获得的卫星图像一般都是中低分辨率的,这是影响分析准确性的一个主要障碍。因此,我们进行了全面的研究,以证明我们的观点,提高分辨率的超分辨率卷积神经网络(SRCNN)将减少误分类的像素的机会,即使在既定的识别方法。我们测试了该方法对原始LANDSAT-7图像的不同地区的孙德尔本斯和他们的放大版本,分别由双线性插值,双三次插值,和SRCNN和它被发现,SRCNN优于其他显着的量。
2022-07-05 cs.CV cs.CY eess.IV
Satellite Streaming Video QoE Prediction: A Real-World Subjective Database and Network-Level Prediction Models
本文构建了LIVE-Viasat真实世界卫星QoE数据库(179个视频、54名受试者),并提出仅依赖网络参数的SatQA模型,实现高精度QoE预测以帮助ISP优化流媒体质量。
2024-10-17 cs.CV
On Learning Vehicle Detection in Satellite Video
AIT Austrian Institute of Technology, Center for Digital Safety & Security(奥地利技术学院(AIT)数字安全与保障中心);TU Wien, Institute of Visual Computing & Human-Centered Technology(维也纳技术大学视觉计算与以人类为中心技术研究所)
航空和卫星图像中的车辆检测仍然具有挑战性,因为与遥感图像的整体尺寸相比,它们的像素外观很小。经典的目标检测方法在这种情况下经常失败,因为违反了隐含的假设,如丰富的纹理,图像大小和目标大小之间的小到中等的比例。卫星视频是一种非常新的模态,它引入了时间一致性作为归纳偏差。卫星视频中的车辆检测方法使用背景减除、帧差分或子空间方法,表现出中等性能(0.26 - 0.82 $F_1$分数)。这项工作提出了将最近的深度学习应用于卫星视频上的广域运动图像(WAMI)。我们在第一种方法中显示了行星SkySat-1 LasVegas视频上的可比结果(0.84 $F_1$),并有进一步改进的空间。
2020-01-29 cs.CV cs.LG eess.IV
Geometric-Topological Perception and Motion Prior for Real-Time Satellite Video Object Tracking
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航天信息研究所);Key Laboratory of Technology in Geo-Spatial Information Processing and Application System, Chinese Academy of Sciences(中国科学院地理空间信息处理与应用系统技术重点实验室);School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences(中国科学院大学电子、电气与通信工程学院)
SiamGM通过几何感知和运动引导的孪生网络,实现高精度实时卫星视频目标跟踪,无需额外计算开销,达到每秒130帧的跟踪速度。
2026-08-04 cs.CV
Anomaly Detection in Satellite Videos using Diffusion Models
University Of Houston(休斯顿大学);Dulles High School(杜勒斯高中);Rice University(莱斯大学);NASA AMES(美国国家航空航天局艾姆斯研究中心)
针对卫星视频中快速移动异常检测需求,提出一种无需运动组件的扩散模型框架,可适配高频率卫星视频数据集,性能优于现有基线方法,服务于灾害管理中的极端事件实时检测。
2023-05-25 cs.CV cs.LG
Deep Learning Techniques for Super-Resolution in Video Games
Bournemouth University(伯恩茅斯大学);Department of Computing and Informatics(计算与信息学院)
视频游戏图形的计算成本正在增加,并且用于处理图形的硬件正在努力跟上。这意味着计算机科学家需要开发创造性的新方法来提高图形处理硬件的性能。用于视频超分辨率的深度学习技术可以使视频游戏具有高质量的图形,同时抵消大部分计算成本。这些新兴技术使消费者能够从视频游戏中获得更好的性能和乐趣,并有可能成为游戏开发行业的标准。
2020-12-17 cs.CV cs.NE eess.IV
VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution
USTC(中国科学技术大学);UC San Diego(加州大学圣地亚哥分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);UT Austin(德克萨斯大学奥斯汀分校);U of Oregon(俄勒冈大学);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
视频通常将流式和连续视觉数据记录为离散的连续帧。由于高保真视频的存储成本昂贵,因此大多数视频都以相对较低的分辨率和帧速率存储。空时视频超分辨率(STVSR)的最新工作是将时间插值和空间超分辨率结合在一个统一的框架中。然而,它们中的大多数仅支持固定的上采样尺度,这限制了它们的灵活性和应用。在这项工作中,而不是以下的离散表示,我们提出了视频隐式神经表示(VideoINR),我们展示了它的应用STVSR。学习的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明,VideoINR在常见的上采样尺度上与最先进的STVSR方法实现了竞争性能,并且在连续和训练分布尺度上显著优于先前的工作。我们的项目页面位于http://zeyuan-chen.com/VideoINR/。
2022-06-09 cs.CV cs.LG eess.IV
Efficient Video Compression via Content-Adaptive Super-Resolution
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
视频压缩是互联网视频传输的关键组成部分。最近的研究表明,深度学习技术可以与人类设计的算法相媲美或优于人类设计的算法,但这些方法的计算效率和功耗效率明显低于现有的编解码器。本文提出了一种新的方法,增强现有的编解码器与一个小的,内容自适应超分辨率模型,显着提高视频质量。我们的方法SRVC将视频编码成两个比特流:(i)内容流,通过使用现有编解码器压缩下采样的低分辨率视频产生,(ii)模型流,其将定期更新编码到针对视频的短片段定制的轻量级超分辨率神经网络。SRVC通过使解压缩的低分辨率视频帧通过(时变)超分辨率模型来解码视频以重构高分辨率视频帧。我们的研究结果表明,为了实现相同的PSNR,SRVC在慢速模式下需要H. 265的每像素比特数的16%,以及DVC的每像素比特数的2%,DVC是最近基于深度学习的视频压缩方案。SRVC在NVIDIA V100 GPU上以每秒90帧的速度运行。
2021-04-06 cs.AI cs.CV cs.LG
HighRes-net: Recursive Fusion for Multi-Frame Super-Resolution of Satellite Imagery
Element AI;Mila;Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学)
生成式深度学习引发了新一轮的超分辨率(SR)算法,这些算法可以增强单个图像,并获得令人印象深刻的美学效果,尽管其中包含虚构的细节。多帧超分辨率(MFSR)通过对多个低分辨率视图进行调节,为不适定问题提供了一种更接地的方法。这对于卫星监测人类对地球的影响-从砍伐森林到侵犯人权-十分重要,因为这些影响依赖于可靠的图像。为此,我们提出了HighRes-net,这是MFSR的第一种深度学习方法,它以端到端的方式学习其子任务:(i)共配准,(ii)融合,(iii)上采样,(iv)丢失配准。低分辨率视图的共配准是通过参考帧通道隐式地学习的,没有显式的配准机制。我们学习了一个全局融合算子,该算子递归地应用于任意数量的低分辨率对。我们引入了注册损失,通过学习将SR输出与ShiftNet的地面实况对齐。我们表明,通过学习多个视图的深度表示,我们可以超分辨率低分辨率信号并大规模增强地球观测数据。我们的方法最近在欧洲航天局的MFSR真实世界卫星图像竞赛中名列前茅。
2020-02-15 cs.CV cs.LG eess.IV
A Comparison of Super-Resolution and Nearest Neighbors Interpolation Applied to Object Detection on Satellite Data
Systems and Technology Research(系统与技术研究院)
随着超分辨率(SR)作为一个研究课题的成熟,它已被应用到图像重建以外的其他课题。特别地,将分类或目标检测任务与超分辨率预处理阶段相结合已经产生了准确性的改进,特别是对于相对于场景较小的对象。虽然SR已经显示出前景,但是还没有进行比较SR和朴素的放大方法(诸如最近邻(NN)插值)在作为目标检测的预处理步骤时的研究。我们将该主题应用于卫星数据,并将多尺度深度超分辨率(MDSR)系统与xView挑战数据集上的NN进行比较。为此,我们提出了一个处理卫星数据的管道,它结合了多级图像拼接和放大,YOLOv2目标检测架构和标签拼接。我们比较了使用放大因子为4的训练模型的效果,将图像从30 cm地面样本距离(GSD)放大到7.5 cm的有效GSD。通过该因子进行升级可以显著改善检测结果,将一般车辆类别的平均精度(AP)提高23%。我们证明了,虽然SR产生的放大图像比NN对应的图像在视觉上更令人愉悦,但目标检测网络在准确性上几乎没有差异,使用NN进行上采样的图像与MDSRx4增强图像的结果几乎相同,两种方法之间的差异为0.0002 AP。
2019-07-08 cs.CV cs.LG eess.IV
DeTracker: Motion-decoupled Vehicle Detection and Tracking in Unstabilized Satellite Videos
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);Hangzhou Institute of Technology, Xidian University(西安电子科技大学杭州研究院)
针对未稳定卫星视频中多目标跟踪的挑战,DeTracker提出一种联合检测与跟踪框架,通过全局局部运动解耦模块和时间依赖特征金字塔模块提升轨迹稳定性与目标识别一致性,实验表明其在SDM-Car-SU和真实卫星视频数据上均取得优异性能。
2026-04-16 cs.CV eess.IV
Addressing single object tracking in satellite imagery through prompt-engineered solutions
RSLab NTUA(希腊国家技术大学RSLab);UniWA(西澳大利亚大学)
针对卫星图像中传统单目标跟踪精度受背景、大气干扰等因素制约的问题,本研究结合SAM和TAPIR提出无需训练的基于点的小目标跟踪提示工程方法,经VISO数据集验证有效推动了卫星遥感跟踪技术发展。
2024-07-07 cs.CV
Wildfire Forecasting with Satellite Images and Deep Generative Model
Beloit College(贝洛伊特学院);SSEC, University of Wisconsin, Madison(威斯康星大学麦迪逊分校空间科学与工程中心);Stanford University(斯坦福大学)
野火预测一直是人文学科想要蓬勃发展的最关键的任务之一。它在保护人类生命方面起着至关重要的作用。另一方面,野火预测是困难的,因为它的随机和混沌特性。我们通过将一系列野火图像解释为视频来解决这个问题,并用它来预测未来火灾的行为。然而,创建考虑未来固有不确定性的视频预测模型具有挑战性。大部分已发表的尝试是基于随机图像自回归递归网络,这会带来各种性能和应用困难,例如计算成本和大规模数据集上的有限效率。另一种可能性是使用结合帧合成和时间动态的完全潜在的时间模型。然而,由于设计和训练问题,在文献中还没有提出这样的随机视频预测模型。本文通过引入一种新的随机时间模型来解决这些问题,该模型的动态是在一个潜在的空间中驱动的。它通过允许我们更轻,更可解释的潜在模型来自然预测视频动态,以击败GOES-16数据集上以前的最先进方法。结果将与各种基准模型进行比较。
2022-08-22 cs.CV
A deep learning approach to solar-irradiance forecasting in sky-videos
Carnegie Mellon University(卡内基梅隆大学);IBM Research Labs(IBM研究院实验室);GE Power(通用电气电力公司)
面板上入射太阳辐照度的提前预测指示预期的能量产量,并且对于有效的电网分布和规划至关重要。传统上,这些预测是基于气象物理模型,其参数由地球卫星感测的粗粒度辐射瓦片调整。这项研究提出了一种新的应用深度神经网络的方法来观察和估计短期天气的影响,从视频。具体来说,我们使用时间流逝的视频(天空视频)从向上面对的宽镜头相机(天空相机)直接估计和预测太阳辐照度。我们介绍并提出了两个大型的公开提供的数据集,从气象站在北美两个地区使用相对便宜的光学硬件的结果。这些数据集包含超过100万张图像,分别跨越1年和12年,是我们所知的最大的此类集合。与基于卫星的方法相比,所提出的深度学习方法显著降低了临近预报(即,在捕获帧的情况下对太阳辐照度的预测)以及预报(持续时间长达4小时的提前辐照度预测)两者的归一化平均绝对百分比误差。
2019-01-15 cs.CV
Highly Efficient and Unsupervised Framework for Moving Object Detection in Satellite Videos
College of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学学院);University of Oulu(奥卢大学);Center for Machine Vision and Signal Analysis (CMVS)(机器视觉与信号分析中心)
本文针对卫星视频中暗淡小目标的运动检测问题,提出一种结合伪标签演化的无监督框架和稀疏卷积无锚检测网络,在实现高检测精度的同时大幅降低标注与计算成本。
2024-11-24 cs.AI cs.CV
Trajectory-aware Cross-view Geo-localization with Sequential Observations
Washington University in St. Louis(圣路易斯华盛顿大学)
研究跨视角地理定位,提出TrajLoc统一框架处理视频片段和路线描述,利用视觉与语言语义相互强化匹配,还提出TrajMod模块,实验显示该框架在视频和文本地理定位上比现有方法有显著优势。
2026-07-20 cs.CV
Spatio-Temporal Wildfire Spread Prediction in Canada using a Video Swin-Hybrid-U-Net and Satellite Imagery
Faculty of Science, University of Alberta(阿尔伯塔大学理学院);Interdisciplinary Lab for Mathematical Ecology & Epidemiology (ILMEE), University of Alberta(阿尔伯塔大学数学生态与流行病学跨学科实验室);Department of Mathematical and Statistical Sciences, University of Alberta(阿尔伯塔大学数学与统计科学系)
提出一种结合Video Swin Transformer编码器和卷积解码器的U-Net架构,利用卫星影像和气象数据预测加拿大野火次日蔓延图,在2014-2023年主要火灾事件上取得良好性能。
2026-06-23 cs.CV cs.LG