Generalisable 3D Fabric Architecture for Streamlined Universal Multi-Dataset Medical Image Segmentation
University of Queensland(昆士兰大学);Australian e-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心)
数据稀缺在用于医学图像分割的深度学习模型中很常见。以前的工作提出了多数据集学习,同时或通过迁移学习来扩展训练集。然而,医学图像数据集具有不同大小的图像和特征,并且同时为多个数据集开发模型具有挑战性。这项工作提出了织物图像表示编码网络(FIRENet),这是一种用于同时进行多数据集分割和迁移学习的通用架构,涉及任意数量的数据集。为了处理不同大小的图像和特征,使用3D结构模块来封装许多多尺度子架构。可以隐式地学习这些子架构的最佳组合以最佳地适合目标数据集。对于不同尺度的特征提取,在每个结构节点中使用atrous空间金字塔池化(ASPP3D)的3D扩展,以用于丰富尺度图像特征的细粒度覆盖。在第一个实验中,FIRENet对人类膝关节、肩关节和髋关节的多个肌肉骨骼数据集进行了3D通用骨骼分割,并表现出出色的同时多数据集分割性能。在测试迁移学习时,FIRENet进一步表现出出色的单数据集性能(在前列腺数据集上进行预训练时),以及显着提高的通用骨骼分割性能。以下实验涉及10个医学分割十项全能(MSD)挑战数据集的同时分割。FIRENet展示了良好的多数据集分割结果和高度多样化图像尺寸的数据集间适应性。在这两个实验中,FIRENet通过一个统一的网络简化了多数据集学习,不需要超参数调整。
2022-11-29 cs.CV eess.IV
Experimental Large-Scale Jet Flames' Geometrical Features Extraction for Risk Management Using Infrared Images and Deep Learning Segmentation Methods
Tecnologico de Monterrey(蒙特雷科技大学);Universidad de las Americas Puebla(普埃布拉美洲大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
喷射火灾相对较小,在工业厂房可能发生的各种火灾事故中影响最小;然而,它们通常涉及称为多米诺效应的过程,该过程导致更严重的事件,例如爆炸或引发另一场火灾,使得对此类火灾的分析成为风险分析的重要组成部分。这项研究工作探讨了深度学习模型在另一种方法中的应用,该方法使用喷射火焰的语义分割来提取与火灾风险评估相关的主要几何属性。比较了传统的图像处理方法和一些最先进的深度学习模型。研究发现,最好的方法是称为UNet的深度学习架构,以及它的两个改进,Attention UNet和UNet++。然后,该模型被用来分割一组不同的管道出口直径的垂直射流火焰,以提取其主要的几何特征。注意UNet在火焰高度和面积的近似方面获得了最佳的总体性能,同时也显示出它与UNet++之间的统计学显着差异。UNet在离地距离近似方面获得了最佳的整体性能;然而,没有足够的数据证明Attention UNet和UNet++之间存在统计学显著差异。UNet++优于其他模型的唯一实例是在获得具有0.01275 m管道出口直径的喷射火焰的升空距离时。在一般情况下,探索的模型显示出良好的协议之间的实验和预测值相对较大的湍流丙烷射流火焰,在音速和亚音速制度释放,因此,使这些辐射区分割模型,不同的射流火焰风险管理方案的一个合适的方法。
2022-01-20 cs.CV eess.IV
See Clearer at Night: Towards Robust Nighttime Semantic Segmentation through Day-Night Image Conversion
State Key Laboratory of Modern Optical Instrumentation, Zhejiang University, China(中国浙江大学现代光学仪器国家重点实验室)
目前,语义分割在光照条件较好的白天场景等标准场景中表现出了显著的效率和可靠性。然而,在夜间等恶劣条件下,语义分割的准确性会大大降低。问题的主要原因之一是缺乏足够的夜间场景的注释分割数据集。在本文中,我们提出了一个框架,以减轻准确性下降时,语义分割采取不利条件下使用生成对抗网络(GANs)。为了桥接白天和夜间图像域,我们进行了关键观察,与不利条件下的数据集相比,标准条件下有相当数量的分割数据集,如BDD和我们收集的ZJU数据集。我们基于GAN的夜间语义分割框架包括两种方法。在第一种方法中,使用GANs将夜间图像转换为白天,因此可以使用已经在白天数据集上训练的鲁棒模型执行语义分割。在另一种方法中,我们使用GANs将数据集中不同比例的白天图像转换为夜间图像,但仍然带有标签。从这个意义上说,可以生成合成的夜间分割数据集,以产生准备在夜间条件下稳健操作的模型。在我们的实验中,后一种方法显着提高了夜间的性能,这一点通过使用交集超过并集(IoU)和像素精度(Acc)的定量结果得到了证明。我们表明,性能随数据集中合成夜间图像的比例而变化,其中最佳点对应于白天和夜晚的最稳健性能。
2019-08-16 cs.CV
Dark Model Adaptation: Semantic Image Segmentation from Daytime to Nighttime
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
这项工作解决了夜间场景的语义图像分割问题。虽然在语义图像分割方面已经取得了相当大的进展,但它主要与白天场景有关。本文提出了一种新的方法,逐步适应白天场景训练的语义模型,以及其中的大规模注释,通过黄昏时间的桥梁-黎明和日出之间的时间,或日落和黄昏之间的夜间场景。该方法的目标是通过从标准的白天条件下转移知识来减轻夜间图像的人工注释成本。除了该方法之外,还编制了一个新的道路场景数据集;它由35,000张图像组成,从白天到黄昏和夜间。此外,夜间图像的子集被密集注释用于方法评估。实验表明,该方法可以有效地实现从白天场景到夜间场景的模型自适应,而无需额外的人工标注。
2018-10-05 cs.CV
GPS-GLASS: Learning Nighttime Semantic Segmentation Using Daytime Video and GPS data
Korea University(高丽大学)
针对夜间语义分割标注缺乏和昼夜域差距问题,提出 GPS-GLASS 框架,通过 GPS 对齐图像匹配与带 GPS 缩放的视频光流生成像素级伪监督,实现无夜间标注训练并验证有效。
2023-08-18 cs.CV
Segmenting Objects in Day and Night:Edge-Conditioned CNN for Thermal Image Semantic Segmentation
Anhui University(安徽大学);Texas State University(德克萨斯州立大学)
尽管图像语义分割的研究取得了很大的进展,但在可见光成像的局限性所导致的恶劣环境条件下,它仍然具有挑战性。虽然热红外相机具有几个优于可见光谱相机的优点,例如在完全黑暗中操作,对照明变化不敏感,对阴影效果鲁棒,以及穿透薄雾和烟雾的能力强。热红外摄像机的这些优点使得语义目标的分割在白天和夜晚都可以实现。在本文中,我们提出了一种新的网络架构,称为边缘条件卷积神经网络(EC-CNN),热图像语义分割。特别地,我们精心设计了EC-CNN中的门控特征变换层,以自适应地结合边缘先验知识。整个EC-CNN是端到端训练的,可以在边缘指导下生成高质量的分割结果。同时,我们还引入了一个新的基准数据集“白天和黑夜中的分割对象”(SODA),用于热图像语义分割的综合评价。SODA包含超过7,168个手动注释和合成生成的热图像,具有20个语义区域标签,并且来自广泛的视角和场景复杂性。在SODA上的大量实验证明了所提出的EC-CNN对最先进方法的有效性。
2019-07-24 cs.CV
Map-Guided Curriculum Domain Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
我们解决了语义夜间图像分割的问题,并提高了国家的最先进的,适应白天的模型,夜间不使用夜间注释。此外,我们设计了一个新的评估框架,以解决大量的不确定性,在夜间图像的语义。我们的主要贡献是:1)一个课程框架,通过一天中逐渐变暗的时间,从白天到夜晚逐渐适应语义分割模型,利用来自参考地图的白天图像和暗图像之间的跨时间对应关系来指导暗域中的标签推断; 2)一种新的不确定性感知的语义分割的注释和评估框架和度量,以原则性的方式在评估中包括超出人类识别能力的图像区域; 3)Dark Zurich数据集,包括2416个未标记的夜间图像和2920个未标记的微光图像,其对应于它们的白天对应物,加上一组201个夜间图像,像素级注释创建与我们的协议,这是我们的小说评价的第一个基准。实验表明,我们的地图引导的课程自适应显着优于国家的最先进的方法在夜间集的标准指标和我们的不确定性感知度量。此外,我们的不确定性感知评估表明,选择性失效的预测可以改善结果的数据具有模糊的内容,如我们的基准和利润安全为导向的应用程序,涉及无效的输入。
2021-01-07 cs.CV
Guided Curriculum Model Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
语义分割的大多数进展报告在有利的光照条件下拍摄的白天图像。相反,我们解决了夜间图像的语义分割的问题,并提高了国家的最先进的,通过适应白天的模型,夜间不使用夜间注释。此外,我们设计了一个新的评估框架,以解决大量的不确定性,在夜间图像的语义。我们的主要贡献是:1)一个课程框架,通过标记的合成图像和未标记的真实图像,从白天到晚上逐渐适应语义分割模型,两者都是针对一天中逐渐变暗的时间,其利用真实图像的跨时间对应来指导它们的标签的推断; 2)一种新的不确定性感知的语义分割的注释和评估框架和度量,设计用于不利条件,并以原则性的方式在评估中包括超出人类识别能力的图像区域; 3)Dark Zurich数据集,其包括2416个未标记的夜间图像和2920个未标记的黄昏图像,其对应于它们的白天对应物,加上一组151个夜间图像,精细的像素级注释创建与我们的协议,作为第一个基准来执行我们的新的评估。实验表明,我们的指导课程适应显着优于国家的最先进的方法对真正的夜间集的标准指标和我们的不确定性感知度量。此外,我们的不确定性感知评估表明,选择性失效的预测可以导致更好的结果与模糊的内容,如我们的夜间基准和利润安全为导向的应用程序,涉及无效的输入数据。
2019-07-26 cs.CV
Not every day is a sunny day: Synthetic cloud injection for deep land cover segmentation robustness evaluation across data sources
French National Research Institute for Sustainable Development (IRD)(法国可持续发展国家研究所)
本文提出合成云注入算法以评估云层对土地覆盖分割的影响,并通过在解码层注入 NDIs 及融合 Sentinel-1 雷达数据,提升模型在无云和有云条件下的性能与鲁棒性。
2025-10-03 cs.CV
Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic Segmentation
Harbin Institute of Technology(哈尔滨工业大学);University of Trento(特伦托大学);ETH Zurich(苏黎世联邦理工学院);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
在自动驾驶中,学习能够适应各种环境条件的分割模型至关重要。特别是,在光照变化剧烈的情况下进行复制是一个迫切的需求,因为在日光数据上训练的模型在夜间表现不佳。在本文中,我们研究了域自适应夜间语义分割(DANSS)的问题,其目的是学习一个有区别的夜间模型与标记的白天数据集和未标记的数据集,包括粗略对齐的昼夜图像对。为此,我们提出了一种新的双向混合(Bi-Mix)框架DANSS,它可以有助于图像翻译和分割自适应过程。具体来说,在图像转换阶段,Bi-Mix利用昼夜图像对的知识来提高夜间图像重新照明的质量。另一方面,在分割自适应阶段,Bi-Mix有效地弥合了白天和夜间域之间的分布差距,使模型适应夜间域。在这两个过程中,Bi-Mix只是通过混合两个样本进行操作,而没有额外的超参数,因此很容易实现。在Dark Zurich和Nighttime Driving数据集上的大量实验证明了所提出的Bi-Mix的优势,并表明我们的方法在DANSS中获得了最先进的性能。我们的代码可在https://github.com/ygjwd12345/BiMix上获得。
2021-11-19 cs.CV
Day-Night Adaptation: An Innovative Source-free Adaptation Framework for Medical Image Segmentation
Northwestern Polytechnical University(西北工业大学);Ningbo No.2 Hospital(宁波市第二医院)
针对医学图像分割中的分布偏移和隐私问题,提出昼夜适应框架DyNA,利用昼夜循环在无源数据下适应模型,通过白天提示训练和夜间全局学生模型微调,在两个基准任务上超越现有方法。
2024-12-15 cs.CV
LoopDA: Constructing Self-loops to Adapt Nighttime Semantic Segmentation
Technical University of Munich(慕尼黑工业大学);Huawei Munich Research Center(华为慕尼黑研究中心);ETH Zurich(苏黎世联邦理工学院);Peking University(北京大学)
由于缺乏训练标签和注释困难,应对夜间等恶劣驾驶条件对自动驾驶汽车的感知系统提出了巨大挑战。因此,适应知识从一个标记的白天域到一个未标记的夜间域已被广泛研究。除了标记的白天数据集之外,现有的夜间数据集通常提供具有在附近位置处捕获的对应的白天参考图像的夜间图像以供参考。关键的挑战是最小化两个域之间的性能差距。在本文中,我们提出了LoopDA域自适应夜间语义分割。它由自循环组成,这些自循环导致使用预测的语义映射通过将输入数据渲染成编码的特征来重建输入数据。在预热训练阶段,自循环包括内环和外环,它们分别负责域内细化和域间对齐。为了减少昼夜姿势偏移的影响,在后期的自我训练阶段,我们提出了一个涉及离线伪监督信号和在线参考引导信号“DNA”(昼夜协议)的联合教学管道,为增强夜间分割带来了实质性的好处。我们的模型在Dark Zurich和Nighttime Driving数据集上的语义分割性能优于先前的方法。代码和预训练模型可在https://github.com/fy-vision/LoopDA上获得。
2022-11-21 cs.CV
Intelligent Spatial Estimation for Fire Hazards in Engineering Sites: An Enhanced YOLOv8-Powered Proximity Analysis Framework
University of Greater Manchester(格雷厄姆·曼彻斯特大学);Edge Hill University(埃德希尔大学);University of Khorfakkan(科夫阿克坎大学)
本研究提出一种增强的YOLOv8框架,结合双模型实现火灾检测与基于接近性的风险评估,通过像素距离转换和风险评分提升火灾预警性能。
2026-03-10 cs.CV
A Novel Approach for Image Segmentation based on Histograms computed from Hue-data
L. D. College of Engineering(L.D.工程学院)
计算机视觉在用户特定应用方面日益增长。任何此类应用的第一步都是分割图像。针对背景颜色分布均匀的情况,提出了一种新的基层图像分割算法。该算法可用于花卉,鸟类,昆虫和更多的图像中出现这样的背景条件。通过图像分割,计算机的可视化增加了流形,在分类过程中甚至可以达到接近人类的精度。
2017-07-30 cs.CV
Neural Gas Network Image Features and Segmentation for Brain Tumor Detection Using Magnetic Resonance Imaging Data
Pars AI Company(帕尔斯人工智能公司)
准确检测脑肿瘤可以挽救许多生命,提高这种二进制分类的准确性,即使只有百分之几也具有很高的重要性。神经气体网络(NGN)是一种快速、无监督的算法,可用于数据聚类、图像模式识别和图像分割。在这项研究中,我们使用元启发式萤火虫算法(FA)的图像对比度增强作为预处理和NGN权重的特征提取和分割的磁共振成像(MRI)数据的两个脑肿瘤数据集从Kaggle平台。此外,通过支持向量机(SVM)分类算法进行肿瘤分类,并与深度学习技术以及训练和测试阶段的其他特征进行比较。此外,NGN肿瘤分割通过著名的性能指标进行评估,如准确性,F-测量,Jaccard等,与地面真实数据进行比较,并与传统的分割技术进行比较。与其他方法相比,该方法在肿瘤分类和分割两个任务中都是快速和精确的。该方法的分类准确率为95.14%,分割准确率为0.977.
2023-01-28 cs.CV cs.LG eess.IV
Obscured Wildfire Flame Detection By Temporal Analysis of Smoke Patterns Captured by Unmanned Aerial Systems
Clemson University(克莱姆森大学)
本文提出一种基于烟雾模式时间分析的语义分割方法,利用深度卷积神经网络编码器-解码器架构和3D卷积,通过无人机RGB相机实时检测隐蔽野火,在FLAME2衍生数据集上取得高精度并显著优于其他方法。
2023-06-30 cs.AI cs.CV cs.LG
Deep Learning for Global Wildfire Forecasting
National Observatory of Athens(雅典国家天文台);Universitat de València(瓦伦西亚大学);Harokopio University of Athens(雅典哈罗科皮奥大学);Max Planck Institute for Biogeochemistry(马克斯·普朗克生物地球化学研究所)
本研究创建全球火灾数据集,利用分割深度学习模型提前8至64天预测全球燃烧区域,为全球野火预测提供新方法。
2023-10-16 cs.AI cs.CV cs.LG
Snowy Night-to-Day Translator and Semantic Segmentation Label Similarity for Snow Hazard Indicator
Yachiyo Engineering, Co., Ltd., RIIPS(八千代工程株式会社,RIIPS)
2021年,日本的降雪量是平时的三倍多,道路使用者可能会遇到危险情况。积雪造成的能见度低会引发交通事故。例如,2021年1月19日,由于干燥的降雪和27米/秒的强风,出现了暴风雪,展望已经无效。由于白烟现象,发生了多起事故,造成17人死亡,134辆车在1公里内堆积了10个小时。在夜间时段,气温下降,路面容易结冰。路面上的闭路电视图像的优点是我们能够同时监控主要点的状态。由于路面状况,道路管理人员甚至在夜间也必须作出封路和除雪工作的决定。与此同时,它们将为道路使用者提供危险路面警报。本文提出了一种自动化雪灾指示器的方法,使用条件GAN,pix 2 pix从夜间积雪图像中生成路面区域。此外,路面和积雪覆盖的ROI是使用语义分割DeepLabv 3+与骨干MobileNet预测,和雪危险指标,自动计算多少夜间路面被雪覆盖。我们展示了2021年1月19日至21日日本冬季寒冷和积雪地区的几个结果,并提到了雪夜到白天的假输出和真实雪天图像之间的高度相似性对夜间雪能见度的有用性。
2021-02-28 cs.CV
Enhancing Autonomous Vehicle Perception in Adverse Weather through Image Augmentation during Semantic Segmentation Training
Henry M. Gunn High School(亨利·M·冈恩高中);UC Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学)
针对仅晴天数据训练的语义分割模型恶劣天气性能差的问题,本研究用CARLA采集数据,在UNet训练中加入雨、雾、亮度增强,证实其可提升夜间恶劣天气分割性能,但仍不及真实天气数据训练的模型,为后续域适应优化提供方向。
2024-08-14 cs.AI cs.CV cs.LG
MCP-MedSAM: A Powerful Lightweight Medical Segment Anything Model Trained with a Single GPU in Just One Day
Division of Image Processing, Department of Radiology, Leiden University Medical Center(影像处理部,放射科,莱顿大学医学中心)
本文提出轻量级医学分割模型MCP-MedSAM,通过引入模态提示和内容提示及基于模态的数据采样策略,在单块A100 GPU上一天内完成训练并取得领先的分割性能。
2025-07-22 cs.CV
FireNet: Real-time Segmentation of Fire Perimeter from Aerial Video
CrowdAI;Joint Artificial Intelligence Center(联合人工智能中心);California Air National Guard(加利福尼亚空军国民警卫队)
在本文中,我们分享我们的方法来实时的【形】分割的火灾周边从航空全运动红外视频。我们首先从人道主义援助和救灾的角度来描述这个问题。具体来说,我们解释了这个问题的重要性,目前是如何解决的,以及我们的机器学习方法如何改进它。为了测试我们的模型,我们在领域专家的指导下注释了一个40万帧的大规模数据集。最后,我们分享了我们目前在生产中部署的方法,其推理速度为每秒20帧,准确率为92(F1分数)。
2019-10-14 cs.CV cs.LG eess.IV
MSNet: A Multilevel Instance Segmentation Network for Natural Disaster Damage Assessment in Aerial Videos
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们研究的问题,有效地评估建筑物损坏后,自然灾害,如飓风,洪水或火灾,通过航空视频分析。我们做出了两个主要贡献。第一个贡献是一个新的数据集,由来自社交媒体的用户生成的空中视频组成,并带有实例级建筑损坏遮罩的注释。这为定量评估模型提供了第一个基准,以使用航空视频评估建筑物损坏。第二个贡献是一个新的模型,即MSNet,其中包含新的区域建议网络设计和一个无监督的分数细化网络的置信度评分校准在限界框和掩码分支。我们表明,与我们数据集中以前的方法相比,我们的模型实现了最先进的结果。我们将发布我们的数据、模型和代码。
2020-12-31 cs.CV
Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Laboratory(深空探测实验室)
针对夜间低光照条件下语义分割的纹理受损与匹配误差问题,提出端到端模型 NightFormer,通过像素级纹理增强与对象级可靠匹配模块,在多个基准上取得优于现有方法的性能。
2024-08-25 cs.CV
Cross-modal semantic segmentation for indoor environmental perception using single-chip millimeter-wave radar raw data
School of Chemical Engineering(化工学院);Dalian University of Technology(大连理工大学)
面向消防救援室内感知,提出基于单芯片毫米波雷达与 U-Net 的跨模态语义分割模型,结合空间注意力和 LiDAR 自动标注,并验证 RD 张量优于 RA 张量及原始 ADC 输入。
2024-12-06 cs.CV cs.ET cs.LG
CloudSegNet: A Deep Network for Nychthemeron Cloud Image Segmentation
ADAPT SFI Research Centre(ADAPT SFI研究中心);Trinity College Dublin(都柏林圣三一学院);Nanyang Technological University(南洋理工大学);AI Singapore(新加坡人工智能中心);National University of Singapore(新加坡国立大学)
我们用地面的天空照相机分析地球大气中的云。由于云边界的模糊性,在所捕获的天空/云图像中的云的准确分割是困难的。已经提出了几种使用颜色作为云检测的判别特征的技术。然而,在现有的文献中,白天和夜间图像的分析被认为是分开的,主要是因为图像特性和应用的差异。在本文中,我们提出了一个轻量级的深度学习架构,称为CloudSegNet。它是第一个将白天和夜间(也称为nychthemeron)图像分割集成在一个框架中,并在公共数据库上实现最先进的结果。
2019-04-16 cs.CV eess.IV physics.ao-ph
EvSegSNN: Neuromorphic Semantic Segmentation for Event Data
i3S / CNRS Université Côte d’Azur(蔚蓝海岸大学 i3S / 法国国家科学研究中心)
针对传统深度语义分割模型算力与内存消耗高、难以部署在资源受限系统的问题,该研究提出结合SNN与事件相机的EvSegSNN架构,在DDD17数据集上MIoU优于同类SOTA模型,参数量减少1.6倍且无需批量归一化。
2024-06-20 cs.CV
Unsupervised Segmentation of Fire and Smoke from Infra-Red Videos
The University of New Mexico(新墨西哥大学)
本文提出了一种基于视觉的火灾和烟雾分割系统,该系统利用空间、时间和运动信息从视频帧中提取出所需的区域。信息的融合使用多个特征来完成,例如光流、发散度和强度值。从图像中提取的这些特征用于以无监督的方式将像素分割成不同的类。通过使用多种聚类算法进行分割的比较分析。在这里,马尔可夫随机场执行更准确地比其他分割算法,因为它的特点是使用有限数量的参数的像素的空间相互作用。它构建了一个概率图像模型,该模型使用最大后验概率(MAP)估计来选择最有可能的标签。这种无监督的方法在各种图像上进行了测试,并实现了95.39%的逐帧火灾检测率。因此,该方法可用于早期火灾的实时检测,它可以被纳入室内或室外监控系统。
2019-09-18 cs.CV cs.LG eess.IV
Active Learning for Improved Semi-Supervised Semantic Segmentation in Satellite Images
Orbital Insight(轨道洞察公司);Yale University(耶鲁大学)
遥感数据对于从监测森林火灾和森林砍伐到跟踪城市化的各种应用至关重要。这些任务中的大多数都需要模型的密集像素级注释,以便从这些卫星图像可用的有限标记数据中解析视觉信息。由于缺乏高质量的标记训练数据在这个领域,有必要集中在半监督技术。这些技术从一小组标记的示例中生成伪标签,这些示例用于增强标记的训练集。这就需要有一个高度代表性和多样性的标记训练集。因此,我们建议使用基于主动学习的采样策略来选择具有高度代表性的标记训练数据集。我们证明了我们提出的方法的有效性,现有的两个语义分割数据集包含卫星图像:UC Merced土地利用分类数据集和DeepGlobe土地覆盖分类数据集。我们报告了27%的改进mIoU与少至2%的标记数据,使用主动学习采样策略随机采样标记的训练数据的小集合。
2021-10-15 cs.CV
Stock Trend Prediction: A Semantic Segmentation Approach
University of California in Irvine(加州大学欧文分校)
市场财务预测是深度学习的一个趋势领域。深度学习模型能够解决股票市场数据中的经典挑战,例如其极其复杂的动态特性以及长期的时间相关性。为了捕捉这些时间序列之间的时间关系,递归神经网络。然而,循环模型很难学会跟踪长期信息。卷积神经网络已被用于更好地捕捉动态并提取短期和长期预测的特征。然而,语义分割及其精心设计的全卷积网络从未被研究用于时间序列密集分类。我们提出了一种新的方法来预测长期的每日股票价格变化趋势与完全2D卷积编码器-解码器。我们生成的输入框架与每日价格的时间框架T天。其目的是通过对当前价格框架进行像素分类来预测未来趋势。我们提出了一种分层的CNN结构,使用Atrous空间金字塔池块并行地将多个价格帧编码为多尺度潜在表示,并在解码阶段考虑时间粗特征堆栈。CNN的分层结构使其能够有效地捕获长期和短期的时间关系。已经研究了通过递增并行编码器增加输入时间范围的效果,其中输出分割掩模发生了有趣且实质性的变化。我们在未来20天内实现了联合趋势预测的整体准确度和AUC分别为78.18和0.88,超过了其他语义分割方法。我们将我们提出的模型与几个专门为技术分析设计的深度模型进行了比较,发现对于不同的产出范围,我们提出的模型优于其他模型。
2023-03-09 cs.CV cs.LG q-fin.ST
Real-Time Semantic Segmentation: A Brief Survey & Comparative Study in Remote Sensing
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学)
本文综述了遥感图像实时语义分割的最新进展,基于网络架构设计对高效深度学习方法进行分类,并在OpenEarthMap数据集上对比评估了现有模型,发现其分割质量良好但推理速度较低,限制了实时部署能力。
2023-09-12 cs.CV
Biologically-inspired Semi-supervised Semantic Segmentation for Biomedical Imaging
ISTI(ISTI机构)
针对生物医学图像标签稀缺问题,提出基于 Hebbian 局部学习的无监督预训练与少量标签反向传播微调相结合的半监督语义分割方法,并在多个数据集上超越 SOTA。
2025-03-18 cs.CV
A dynamic interactive learning framework for automated 3D medical image segmentation
Shenzhen University(深圳大学)
针对3D医学图像分割中标注成本高和模型迭代延迟的问题,提出融合交互式分割与流式弱监督学习的动态框架,以62%标注减少达到接近全监督在线及离线训练的性能。
2023-12-11 cs.CV
Disentangle then Parse:Night-time Semantic Segmentation with Illumination Disentanglement
University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室)
针对现有语义分割方法夜间场景表现不佳的问题,提出“先解耦再解析”范式,通过语义导向解耦提取光照不变反射分量,结合光照感知解析器聚合光照特征,显著提升夜间分割精度且参量开销极低。
2023-07-19 cs.CV
Scale-based Approach for Active Wildfire Segmentation on Satellite Imagery
该研究针对卫星图像主动野火分割的稀疏不平衡问题,提出数据驱动协议评估模型鲁棒性,对比U-Net等架构与SWIR波段,发现U-Net鲁棒性最强、SWIR2效果最优,明确光谱选择与架构设计的重要性。
2026-09-02 cs.CV
Fire Threat Detection From Videos with Q-Rough Sets
Engineering, Indian Institute of Technology, Jodhpur, India
本文提出了一种新的无监督火灾区域分割和火灾威胁检测方法。火在控制中为人类文明服务于许多目的,但一旦它的蔓延变得不受控制,它同时也可能成为一种威胁。火灾区域分割和火灾非火灾分类方法很多。但是,目前确定火灾威胁的方法比较少,还没有一种无监督的方法。在这里,我们专注于开发一种无监督的方法,可以量化火灾的威胁,并相应地在室内和室外的自动监控系统中生成警报。在制定这种方法时,没有任何人工干预/标记数据集的火灾区域分割是一个主要挑战。在这里,我们使用粗略的近似近似火灾区域,并管理知识库的不完整性,由于缺乏任何先验信息。Q学习的效用最大化已被用于最小化粗糙近似中的模糊性。本文提出的新的集合近似方法被称为Q-粗集。它用于从视频帧中分割火灾区域。输入视频流上的火灾火焰的威胁指数已经与最近帧上的火灾段的相对增长同步地被定义。本文定义的所有理论和指标都已通过不同类型的火灾视频进行了实验验证,通过演示和比较,优于现有技术。
2021-01-21 cs.CV
A Cross-Season Correspondence Dataset for Robust Semantic Segmentation
Chalmers University of Technology(查尔姆斯理工大学);Zenuity(泽努蒂公司);ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
在本文中,我们提出了一种方法,利用在不同的图像条件下拍摄的图像之间的2D-2D点匹配训练一个卷积神经网络的语义分割。在匹配中强制标签一致性使得最终的分割算法对季节变化具有鲁棒性。我们描述了如何生成这些2D-2D的匹配,几乎没有人的互动,几何匹配点从3D模型建立从图像。创建两个跨季节对应数据集,提供跨季节变化以及从白天到晚上的2D-2D匹配。这些数据集公开提供,以方便进一步研究。我们发现,在训练过程中添加对应关系作为额外的监督,提高了卷积神经网络的分割性能,使其对季节变化和天气条件更具鲁棒性。
2019-08-16 cs.CV
Comparing Machine Learning based Segmentation Models on Jet Fire Radiation Zones
Tecnológico de Monterrey(蒙特雷科技大学);Universidad de las Americas Puebla(普埃布拉美洲大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
风险评估在任何工作场所都是相关的,但是在处理易燃或危险材料时存在一定程度的不可预测性,因此火灾事故本身的检测可能是不够的。这方面的一个例子是喷射火焰的冲击,其中火焰的热通量可以到达附近的设备,并大大增加多米诺骨牌效应的可能性,从而导致灾难性的结果。因此,从风险管理的角度来看,对此类火灾事故的定性非常重要。其中一个特征是火焰内不同辐射区域的分割,因此本文对几种传统的计算机视觉和深度学习分割方法进行了探索性研究,以解决这一特定问题。丙烷射流火灾的数据集被用来训练和评估不同的方法,并给出了在图像的区域和背景的分布的差异,不同的损失函数,试图减轻数据不平衡,也进行了探索。此外,不同的度量与专家执行的手动排名相关,以做出与专家的标准非常相似的评估。Hausdorff距离和调整后的随机指数是具有最高相关性的度量,并且从具有加权交叉熵损失的UNet架构中获得了最佳结果。这些结果可以用于未来的研究,以提取更多的几何信息,从分割掩模,甚至可以实现对其他类型的火灾事故。
2021-11-01 cs.CV
Comparing Next-Day Wildfire Predictability of MODIS and VIIRS Satellite Data
Computer Vision Laboratory, Linköping University, Sweden(链接öping大学计算机视觉实验室)
该研究对比了MODIS和VIIRS卫星数据用于次日野火预测的效果,发现VNP14更适合作为预测目标,且MODIS输入结合VNP14目标可提升预测性能,证明MODIS的火灾探测模型存在改进空间。
2025-09-03 cs.CV
Improving Panoptic Segmentation for Nighttime or Low-Illumination Urban Driving Scenes
Queen Mary University of London(伦敦玛丽女王大学)
针对夜间或低照度城市驾驶场景全景分割性能差的问题,提出两种基于CycleGAN域转换的新方法,通过白天图像生成夜间数据重训练模型,在Cityscapes数据集上实现PQ、mIoU等指标显著提升并增强鲁棒性。
2023-06-23 cs.AI cs.CV
Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?
University of Bath(巴斯大学)
本文探讨利用未标注视频帧和粗略标注降低视频分割标注成本的方法,通过SAM和SAM 2模型实现自动掩码生成,减少约三分之一的标注需求,同时发现数据集帧多样性比数量更重要。
2026-03-29 cs.CV
Lirot.ai: A Novel Platform for Crowd-Sourcing Retinal Image Segmentations
KU Leuven(鲁汶大学);University Hospitals UZ Leuven(鲁汶大学医院)
本文提出Lirot.ai平台,通过iPadOS应用、Firebase后端和Python API支持远程众包视网膜图像分割,并利用Apple Pencil提升标注效率与准确性,用于构建视网膜眼底血管分割数据集。
2024-01-14 cs.CV
Promptable Fire Segmentation: Unleashing SAM2's Potential for Real-Time Mobile Deployment with Strategic Bounding Box Guidance
School of Computer Science and Technology(计算机科学与技术学院);University of Science and Technology of China(中国科学技术大学)
本文首次系统评估SAM2变体在火灾分割中的表现,提出边界框提示策略,其中Box+MP在Khan数据集上达到最高IoU 0.64和Dice 0.75,为移动部署提供轻量级方案。
2025-10-18 cs.CV
FireSenseNet: A Dual-Branch CNN with Cross-Attentive Feature Interaction for Next-Day Wildfire Spread Prediction
Sungkyunkwan University(成均馆大学);Advanced Institute of Convergence Technology (AICT)(先进融合技术研究所);Jeonju University(全州大学)
本文提出FireSenseNet,通过跨注意力特征交互模块有效建模燃料与天气模态的空间变化交互,实验表明其在野火预测中优于其他方法,且通过蒙特卡洛 Dropout 量化不确定性。
2026-04-09 cs.CV
A Sentinel-2 benchmark dataset for deep-learning active-fire segmentation across 25 California wildfires, July 2020-August 2026
California High School(加州高中);University of California, Davis(加州大学戴维斯分校)
该文介绍了一个包含25起加州野火、2148对图像-掩膜对的哨兵二号活动火灾分割基准数据集,并提供参考代码,支持稀有类别分割和跨事件迁移研究。
2026-10-27 cs.CV cs.LG eess.IV
Firearm Detection and Segmentation Using an Ensemble of Semantic Neural Networks
University of Oslo(奥斯陆大学)
近年来,我们看到世界各地的恐怖袭击激增。此类袭击通常发生在人群众多的公共场所,以造成最大的损害并获得最多的关注。尽管监控摄像头被认为是一种强大的工具,但它们在预防犯罪方面的效果还远不清楚,这是因为人类警惕监控视频监控的能力有限,或者原因很简单,它们是被动操作的。在本文中,我们提出了一种基于语义卷积神经网络集成的武器检测系统,它将武器的检测和定位问题分解为一组与武器的各个组成部分有关的较小的问题。这种方法具有计算和实际的优点:一组专用于特定任务的更简单的神经网络需要更少的计算资源,并且可以并行训练;由各个网络的输出的聚合给出的系统的总体输出可以由用户调整以权衡假阳性和假阴性;最后,根据系综理论,即使存在薄弱的个别模型,整个系统的输出也将是稳健和可靠的。我们评估了我们的系统运行模拟,旨在评估单个网络和整个系统的准确性。在合成数据和真实数据上的结果是有希望的,并且它们表明,与基于单个深度卷积神经网络的单片方法相比,我们的方法可能具有优势。
2020-02-11 cs.CV cs.LG
Eyes on the Environment: AI-Driven Analysis for Fire and Smoke Classification, Segmentation, and Detection
School of Computing, Clemson University(计算机科学学院,克莱姆斯大学);Department of Electrical and Computer Engineering, Clemson University(电气与计算机工程系,克莱姆斯大学)
本文系统回顾了20年来火灾与烟雾数据集,分析其特征并评估其适用性,使用ResNet-50、DeepLab-V3和YoloV8等算法进行广泛实验,以推进火灾管理研究。
2025-07-08 cs.AI cs.CV
PointVDP: Learning View-Dependent Projection by Fireworks Rays for 3D Point Cloud Segmentation
针对现有投影方法视角无关、投影多样性不足及计算冗余问题,提出PointVDP框架,通过烟花射线启发的视角依赖投影及颜色正则化优化,在S3DIS和ScanNet基准上取得竞争结果,实现资源高效的3D点云分割。
2025-11-19 cs.CV
HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with Thermal Images
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究院)
大多数基于学习的语义分割方法针对白天场景和有利的照明条件进行了优化。然而,现实世界的驾驶场景需要不利的环境条件,例如夜间照明或眩光,这对于现有方法来说仍然是一个挑战。在这项工作中,我们提出了一个多模态语义分割模型,可以在白天和夜间应用。为此,除了RGB图像外,我们还利用热图像,使我们的网络更加强大。我们避免了昂贵的夜间图像的注释,利用现有的白天RGB数据集,并提出了一个师生培训的方法,将数据集的知识转移到夜间域。我们进一步采用了一种领域自适应方法来调整学习的特征空间,并提出了一种新的两阶段训练方案。此外,由于缺乏自动驾驶的热数据,我们提出了一个新的数据集,包括超过20,000个时间同步和对齐的RGB热图像对。在这种情况下,我们还提出了一种新的无目标校准方法,允许自动鲁棒的外在和内在的热摄像机校准。除此之外,我们使用我们的新数据集来显示夜间语义分割的最新结果。
2020-03-10 cs.CV cs.LG cs.RO
DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation
University of South Carolina(南卡罗来纳大学);Farsee2 Technology Ltd(远见2科技有限公司)
夜间图像的语义分割在自动驾驶中扮演着与白天图像同样重要的角色,但由于光照条件差和人工注释繁琐,夜间图像的语义分割更具挑战性。在本文中,我们提出了一种新的领域自适应网络(DANNet)的夜间语义分割,而不使用标记的夜间图像数据。它使用带有标记的白天数据集和包含粗略对齐的昼夜图像对的未标记数据集进行对抗训练。具体来说,对于未标记的昼夜图像对,我们使用白天图像上的静态对象类别的像素级预测作为伪监督来分割其对应的夜间图像。我们进一步设计了一种重新加权策略来处理昼夜图像对之间的不对齐和白天图像的错误预测所造成的不准确性,以及提高小物体的预测精度。建议的DANNet是第一个一阶段的适应框架,夜间语义分割,不训练额外的昼夜图像传输模型作为一个单独的预处理阶段。在Dark Zurich和Nighttime Driving数据集上的大量实验表明,该方法在夜间语义分割方面具有最先进的性能。
2021-04-22 cs.CV
Next Day Wildfire Spread: A Machine Learning Data Set to Predict Wildfire Spreading from Remote-Sensing Data
Google(谷歌)
预测野火蔓延对土地管理和备灾至关重要。为此,我们提出了“第二天野火蔓延”,这是一个精心策划的,大规模的,多变量的历史野火数据集,汇集了美国近十年的遥感数据。与现有的基于地球观测卫星的火灾数据集相比,我们的数据集将二维火灾数据与多个解释变量(例如,地形、植被、天气、干旱指数、人口密度),为机器学习提供了一个功能丰富的数据集。为了证明这个数据集的有用性,我们实现了一个神经网络,利用这些数据的空间信息来预测野火蔓延。我们将神经网络的性能与其他机器学习模型进行了比较:逻辑回归和随机森林。该数据集可用作基准,用于开发基于遥感数据的野火传播模型,提前一天。
2022-03-02 cs.CV
A reconfigurable smart camera implementation for jet flames characterization based on an optimized segmentation model
Universidad de las Américas Puebla(普埃布拉美洲大学)
本文提出一种智能相机平台,用于工业喷射火焰特征识别,通过优化UNet分割模型实现边缘计算,降低延迟,提升处理效率。
2026-03-19 cs.AI cs.CV
Automated GI tract segmentation using deep learning
本文提出用深度学习自动化胃肠道分割,以加速放疗中器官勾画,缩短治疗时间,使更多患者受益。
2023-09-05 cs.CV cs.LG eess.IV
3D U-Net Based Brain Tumor Segmentation and Survival Days Prediction
University of Electronic Science and Technology of China(电子科技大学);New Jersey Institute of Technology(新泽西理工学院)
在过去的几年里,深度学习在许多应用场景中流行,其中之一就是医学图像处理。脑肿瘤的诊断和治疗需要对脑肿瘤进行准确可靠的分割作为前提。然而,这样的工作通常需要脑外科医生大量的时间。计算机视觉技术可以让外科医生从繁琐的标记过程中解脱出来。在本文中,基于3D U-net的深度学习模型已经在BraTS 2019竞赛中的脑肿瘤分割任务的大脑归一化和修补策略的帮助下进行了训练。在验证数据集上,增强肿瘤、肿瘤核心和整个肿瘤的Dice系数分别为0.737、0.807和0.894。测试数据集上的这三个值分别为0.778、0.798和0.852。此外,从预测的肿瘤标记中提取包括肿瘤大小与脑大小的比率和肿瘤表面的面积以及受试者的年龄在内的数值特征,并将其用于总生存天数预测任务。验证数据集的准确度为0.448,最终测试数据集的准确度为0.551。
2020-03-31 cs.CV eess.IV
Spatio-Temporal Event Segmentation and Localization for Wildlife Extended Videos
University of South Florida(南佛罗里达大学);Museum and Institute of Zoology, Polish Academy of Sciences(波兰科学院动物学博物馆与研究所)
使用离线训练方案,研究人员通过手动注释标签或自我监督的基于时代的训练提供完全或弱监督来解决事件分割问题。大多数作品考虑的视频是在最多10的分钟长。我们提出了一个自我监督的感知预测框架,能够通过随着时间的推移建立对象的稳定表示来进行时间事件分割,并在长视频上进行演示,跨越几天。这种方法看似简单,但非常有效。我们依赖于由标准深度学习主干计算的高级特征的预测。对于预测,我们使用LSTM,增强了注意力机制,使用预测误差以自我监督的方式进行训练。自学习的注意力地图有效地定位和跟踪每帧中的事件相关对象。所提出的方法不需要标签。它只需要一次通过视频,没有单独的训练集。由于缺乏很长视频的数据集,我们在10天(254小时)的连续野生动物监测数据的视频上展示了我们的方法,这些数据是我们在获得所需权限的情况下收集的。我们发现,该方法是强大的各种环境条件下,如白天/夜晚的条件下,下雨,尖锐的阴影,刮风的条件。对于时间定位事件的任务,我们在帧级分割的20%误报率下有80%的召回率。在活动水平上,每50分钟一次错误活动检测的活动召回率为80%。我们将使数据集,这是第一个同类,和代码提供给研究社区。
2021-07-18 cs.CV cs.LG eess.IV