Learnable Graph Convolutional Network and Feature Fusion for Multi-view Learning
Fuzhou University(福州大学);University of Vienna(维也纳大学)
在实际应用中,从不同角度描述目标的多视图数据有助于提高学习算法的精度。然而,给定多视图数据,通过图卷积网络同时学习判别节点关系和图信息的工作是有限的,近年来引起了相当多的研究人员的注意。现有的方法大多只考虑邻接矩阵的加权和,而将特征和图融合的联合神经网络还没有被研究。为了解决这些问题,本文提出了一种联合深度学习框架,称为可学习的图卷积网络和特征融合(LGCN-FF),包括两个阶段:特征融合网络和可学习的图卷积网络。前者旨在从异构视图中学习底层特征表示,而后者通过可学习的权重和被称为微分收缩激活(DSA)函数的参数激活函数探索更具鉴别力的图融合。在多视图半监督分类中,所提出的LGCN-FF被验证为优于各种最先进的方法。
2022-11-16 cs.AI cs.CV cs.LG
Deep Convolutional Neural Networks for Palm Fruit Maturity Classification
Kansas State University(堪萨斯州立大学)
本研究利用深度卷积神经网络(含ResNet50和InceptionV3的迁移学习)对棕榈果图像进行五级成熟度分类,在超8000张图像数据集上取得超85%的测试准确率,以优化收获决策。
2025-02-27 cs.AI cs.CV cs.LG
Using Convolutional Neural Networks to Count Palm Trees in Satellite Images
在本文中,我们提出了一个监督学习系统的计数和定位棕榈树在高分辨率,全色卫星图像(40厘米/像素至1.5米/像素)。在一组手掌图像和非手掌图像上训练的卷积神经网络分类器以滑动窗口的方式应用于整个卫星图像场景。所得到的置信度图用均匀滤波器平滑。将非最大抑制应用于平滑的置信图以获得峰值。该系统使用从卫星图像中裁剪的500张大小为40 x40的图像的小数据集进行训练,能够实现超过99%的树木计数准确度。
2017-01-23 cs.CV
Compressing Deep Neural Networks via Layer Fusion
University of Liverpool(利物浦大学);USC Information Sciences Institute(南加州大学信息科学研究所)
本文提出了\textit{layer fusion} -一种模型压缩技术,该技术发现要组合哪些权重,然后融合相似的全连接层、卷积层和注意力层的权重。层融合可以显著减少原始网络的层数,同时保持有竞争力的性能。从CIFAR-10上的实验中,我们发现,当使用层融合进行迭代再训练时,各种深度卷积神经网络可以保持在原始网络的2%精度点以内,压缩比高达3.33。对于使用预训练的Transformer模型的WikiText-2语言建模数据集的实验,我们实现了压缩,导致网络是其原始大小的20%,同时在原始网络的5个困惑点内。我们还发现,与原始网络相比,其他成熟的压缩技术可以实现具有竞争力的性能,只要有足够数量的再训练步骤。一般来说,我们观察到一个明确的拐点的性能作为压缩量的增加,这表明在性能指数下降之前可以实现的压缩量的约束。
2020-07-29 cs.LG stat.ML
GBU-Palm: A Multimodal Video Dataset and Benchmark for Palm Presentation Attack Detection
本文提出GBU-Palm多模态掌纹PAD数据集与基准,通过控制泄漏协议分离身份与攻击谱系,测试4种视频架构,发现环境变化下架构性能下降,RGB-NIR融合未始终优于仅RGB输入,为跨环境掌纹PAD研究提供基准。
2026-08-17 cs.AI cs.CV
Topology-Aware Global-Local Mamba Networks for Palm Vein Biometrics
University of Auckland(奥克兰大学)
针对掌纹识别的数据集限制问题,提出拓扑感知全局-局部Mamba网络,在两个公开掌纹数据集上以较少参数实现低等错误率,且浮点运算量表现优异。
2026-08-11 cs.CV
Palm-GAN: Generating Realistic Palmprint Images Using Total-Variation Regularized GAN
New York University(纽约大学);Sama Technical College, Azad University(阿扎德大学萨马技术学院);University of California, Riverside(加州大学河滨分校)
生成逼真的掌纹(更一般的生物特征)图像一直是一个有趣的,同时,具有挑战性的问题。经典的统计模型无法生成具有真实感的掌纹图像,因为它们不足以捕捉掌纹图像的复杂纹理表示。在这项工作中,我们提出了一个基于生成对抗网络(GAN)的深度学习框架,它能够生成逼真的掌纹图像。为了帮助模型学习更真实的图像,我们提出了一个合适的正则化的损失函数,这将产生的掌纹图像的线连接。这对于掌纹来说是非常理想的,因为手掌中的主要线条通常是相连的。我们将这个框架应用到一个流行的掌纹数据库中,并生成了看起来非常逼真的图像,与数据库中的样本相似。通过实验结果表明,生成的掌纹图像看起来非常逼真,具有良好的多样性,并且能够捕捉到不同部分的先验分布。我们还报告了所提出的模型的Frechet初始距离(FID),并表明我们的模型能够在FID得分方面实现非常好的定量性能。
2020-03-21 cs.CV cs.LG eess.IV
Towards the Generation of Synthetic Images of Palm Vein Patterns: A Review
Universidad Católica del Maule(马乌莱天主教大学);Research Center for Advanced Studies of Maule(马乌莱高级研究中心);Indian Institute of Technology Delhi(印度理工学院德里分校)
随着最近计算机视觉和深度学习的成功,使用静脉生物特征的自动个人识别已经取得了显着进展。然而,收集用于手掌静脉识别的大规模真实世界训练数据已被证明是具有挑战性的,这主要是由于在采集时包括的噪声和不规则变化。同时,现有的手掌静脉识别数据集通常是在近红外光下收集的,缺乏对属性的详细注释(例如,姿态),因此不同属性对静脉识别的影响研究得很少。因此,本文研究了合成静脉图像的适用性,以弥补公共可用的大规模数据集的迫切缺乏。本文首先从静脉的基本背景知识、静脉解剖结构、数据采集、公共数据库和质量评估等方面综述了近年来国内外手掌静脉识别的研究进展。然后,我们专注于国家的最先进的方法,允许生成的血管结构的生物识别的目的和建模的生物网络与各自的应用领域。此外,我们回顾了现有的研究生成的风格转移和基于生物本质的合成手掌静脉图像的算法。之后,我们正式的合成数据库的创建比较真实的手掌静脉图像和生成的合成样本,以获得一些了解到现实的静脉成像系统的发展的一般流程图。最后,我们讨论的挑战,见解和未来的前景,在生成合成棕榈静脉图像的进一步工作。
2022-05-20 cs.CV cs.LG
$\textit{sweet}$- An Open Source Modular Platform for Contactless Hand Vascular Biometric Experiments
Idiap Research Institute(日内瓦研究所)
本文提出开源非接触式手部血管生物特征平台 sweet,支持多光谱 NIR、RGB、立体视觉与光度立体采集,构建 120 人数据集及 3D 预处理流水线,并重点验证手指静脉识别与多模态融合效果。
2024-09-11 cs.CV
Deep-Learning-based Automated Palm Tree Counting and Geolocation in Large Farms from Aerial Geotagged Images
Prince Sultan University(苏丹王子大学);CISTER, INESC-TEC, ISEP, Polytechnic Institute of Porto(波尔图理工学院ISEP的INESC-TEC旗下CISTER(注:因原文为层级关联机构,按要求提取到学院/研究院级别,整合为:波尔图理工学院)
在本文中,我们提出了一个深度学习框架,用于使用卷积神经网络从航空图像中自动计数和地理定位棕榈树。为此,我们使用DJI无人机在沙特阿拉伯利雅得的Kharj地区的棕榈树农场收集了航空图像,并建立了一个包含约10,000棵棕榈树的数据集。然后,我们使用最先进的Faster R-CNN算法开发了一个卷积神经网络模型。此外,使用航空影像的地理标记的元数据,我们使用摄影测量的概念和距离校正来自动检测检测到的棕榈树的地理位置。这种地理定位技术在两种不同类型的无人机(DJI Mavic Pro和Phantom 4 Pro)上进行了测试,并被评估为提供平均2.8米的地理定位精度。这种GPS标记使我们能够从一系列无人机图像中唯一识别棕榈树并计算它们的数量,同时正确处理图像重叠的问题。此外,它可以推广到无人机图像中的任何其他对象的地理定位。
2020-05-11 cs.CV cs.LG cs.RO
Fast and Accurate 3D Hand Pose Estimation via Recurrent Neural Network for Capturing Hand Articulations
Korea University(高丽大学)
基于单幅深度图像的三维手姿态估计在计算机视觉和人机交互中具有重要的作用。虽然最近的手姿态估计方法,使用卷积神经网络(CNN)已经显示出显着的改善,在准确性,他们中的大多数有一个局限性,他们依赖于一个复杂的网络结构,而没有充分利用的关节结构的手。手是一个铰接的物体,由六个局部部分组成:手掌和五个独立的手指。每个手指由提供约束运动的顺序关节组成,称为运动链。在本文中,我们提出了一个分层结构的卷积循环神经网络(HCRNN),它有六个分支,可以独立地估计手掌和五个手指的3D位置。手掌位置通过全连接层预测。每个序列关节,即手指位置,使用循环神经网络(RNN)来捕获相邻关节之间的空间依赖性。然后将手掌和手指分支的输出特征连接起来以估计全局手部位置。HCRNN直接将深度图作为输入,而无需耗时的数据转换,例如3D体素和点云。在公共数据集上的实验结果表明,所提出的HCRNN不仅优于大多数使用深度图像作为输入的基于2D CNN的方法,而且还实现了与最先进的基于3D CNN的方法竞争的结果,在单个GPU上具有285 fps的高效运行速度。
2020-03-18 cs.CV cs.LG eess.IV
Robust Pose Invariant Shape and Texture based Hand Recognition
School of Computer Science and Software Engineering, The University of Western Australia(西澳大学计算机科学与软件工程学院)
本文提出了一种新的个人身份识别和验证系统,利用信息提取的手的形状和纹理。该系统有两个主要的组成模块:一个全自动和强大的peg自由分割和姿态归一化模块,和一个识别模块。在第一个模块中,手从其背景分割使用阈值技术的基础上大津的方法结合肤色检测器。然后提出了一套全自动的算法来分割手掌和手指。在这些算法中,估计手和手指的骨架和轮廓,并用于确定手的全局姿态和每个单独手指的姿态。最后,手掌和手指被裁剪,姿势校正和标准化。在识别模块中,提取各种基于形状和纹理的特征并用于匹配目的。采用改进的Hausdorff距离、迭代最近点(ICP)和独立分量分析(ICA)算法对手指的形状和纹理特征进行提取。对于掌纹,我们使用离散余弦变换(DCT),方向线特征和ICA。识别(识别和验证)测试进行融合策略的基础上的手指和手掌的相似性分数。实验结果表明,该系统在560个不同受试者的数据库中,手部识别和验证的准确率(出错率相等)超过98%,具有较好的性能.
2019-12-22 cs.CV
PALM: A Dataset and Baseline for Learning Multi-subject Hand Prior
Meta Reality Labs(Meta现实实验室);ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems, Tübingen(图宾根智能系统马克斯·普朗克研究所)
PALM是一个大规模手部数据库和基线,通过基于物理的反向渲染实现多主体手部建模和个性化虚拟角色生成。
2026-02-09 cs.CV
An Open Benchmark Dataset for GeoAI Foundation Models for Oil Palm Mapping in Indonesia
RECOFTC – The Center for People and Forests(RECOFTC——人民与森林研究中心);Spatial Informatics Group, LLC(空间信息集团有限公司);Faculty of Forestry, Hasanuddin University(哈桑丁大学林业学院);Department of Forestry, Faculty of Agriculture, Universitas Riau(农业学院林业系,里亚大学);University of San Francisco(圣弗朗西斯科大学)
针对印度尼西亚油棕种植导致的森林砍伐问题,构建了基于2020-2024年高分辨率卫星影像专家标注的开放地理空间数据集,提供多边形全覆盖标注与层级分类,适用于训练和基准测试GeoAI基础模型,助力可持续监测。
2025-09-10 cs.CV
Two-stream Fusion Model for Dynamic Hand Gesture Recognition using 3D-CNN and 2D-CNN Optical Flow guided Motion Template
IIT Guwahati(印度理工学院古瓦哈提分校)
手势的使用对于人机交互社区中的许多应用来说可以是有用的工具。在广泛的领域中,手势技术可以具体应用于手语识别、机器人手术等。在手势识别的过程中,由于手的形状和大小不同,正确检测和跟踪移动的手变得具有挑战性。这里的目标是跟踪手的运动,而不管手的形状、大小和颜色。为此,提出了一种光流引导的运动模板(OFMT)。OFMT是编码到单个图像中的姿势的运动信息的紧凑表示。在实验中,使用了不同的数据集,使用裸露的手与打开的手掌,和折叠的手掌戴着绿色手套,在这两种情况下,我们可以生成具有相同精度的OFMT图像。最近,与传统的手工制作的基于特征的技术相比,基于深度网络的技术已经显示出令人印象深刻的改进。此外,在文献中,可以看出,使用具有信息性输入数据的不同流有助于提高识别精度的性能。本文提出了一种基于光流的手势识别双流融合模型和一种简洁高效的运动模板。具体来说,双流网络由两层组成:将手势视频作为输入的3D卷积神经网络(C3 D)和将OFMT图像作为输入的2D-CNN。C3 D已经显示出其在捕获视频的时空信息方面的效率。而OFMT有助于消除不相关的手势,提供额外的运动信息。虽然每个流可以独立工作,但它们与融合方案相结合,以提高识别结果。我们已经在两个数据库上展示了所提出的双流网络的效率。
2020-07-17 cs.CV eess.IV
Hand Hygiene Video Classification Based on Deep Learning
Technological University, Dublin(都柏林理工大学)
在这项工作中,对手势识别领域的文献进行了广泛的回顾,并基于深度学习解决方案实施了一个简单的手部卫生阶段分类系统。鲁棒数据集的一个子集,包括双手洗手手势以及单手手势,如线性手部运动。预训练的神经网络模型RES Net 50,具有用于3类分类的图像净权重:线性手部运动、手掌到手掌的搓手和手指交错运动的搓手。对前两个类的正确预测,准确率> 60%。一个完整的数据集以及更多的类和训练步骤将作为未来的工作进行探索。
2021-08-18 cs.CV
DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion
University of Electronic Science and Technology of China(电子科技大学);School of Information and Communication Engineering(信息与通信工程学院);School of Resources and Environment(资源与环境学院)
针对红外与可见光图像融合中关键特征保留难的问题,提出带域自适应的DAF-Net,通过双分支编码器分别提取结构与细节特征,结合MK-MMD对齐特征空间,在多数据集上实现了更优的融合效果。
2024-09-18 cs.CV cs.LG
AE-Netv2: Optimization of Image Fusion Efficiency and Network Architecture
Northwestern Polytechnical University(西北工业大学)
现有的图像融合方法对融合效率和网络结构的研究较少。然而,图像融合的效率和精度在实际应用中有着重要的影响。为了解决这个问题,我们提出了一个\textit{efficient autonomous evolution image fusion method, dubed by AE-Netv2}。与其他基于深度学习的图像融合方法不同,AE-Netv 2受到人脑认知机制的启发。首先讨论了不同网络结构对图像融合质量和融合效率的影响,为图像融合结构的设计提供了参考。其次,研究了池化层对图像融合任务的影响,提出了一种基于池化层的图像融合方法。最后,探索了不同图像融合任务的共性和特点,为进一步研究人脑在图像融合领域的持续学习特性提供了研究基础。综合实验表明,AE-Netv 2在GTX 2070上以100+ FPS的实时的速度在不同融合任务中与最先进的方法相比具有优越性。在所有基于深度学习的测试方法中,AE-Netv 2具有更快的速度,更小的模型大小和更好的鲁棒性。
2020-10-06 cs.CV
FuseVis: Interpreting neural networks for image fusion using per-pixel saliency visualization
Visualisation, Faculty of Computer Science, Technische Universit\" a t Dresden, N\" o thnitzer Stra e 46, 01187 Dresden, Germany
图像融合有助于合并两个或多个图像,以构建信息量更大的单个融合图像。最近,基于无监督学习的卷积神经网络(CNN)已经被用于不同类型的图像融合任务,诸如医学图像融合、用于自动驾驶的红外-可见光图像融合以及用于卫星图像的多聚焦和多曝光图像融合。然而,分析这些CNN用于图像融合任务的可靠性是具有挑战性的,因为没有可用的地面实况。这导致了使用各种各样的模型架构和优化功能,从而产生完全不同的融合结果。此外,由于这种神经网络的高度不透明性,很难解释其融合结果背后的内部机制。为了克服这些挑战,我们提出了一种新的实时可视化工具,名为FuseVis,最终用户可以计算每像素的显着性图,检查输入图像像素对融合图像的每个像素的影响。我们在医学图像对上训练了几种基于图像融合的CNN,然后使用我们的FuseVis工具,通过解释每种融合方法的显着性图,对特定的临床应用进行了案例研究。我们具体可视化的相对影响,每个输入图像的融合图像的预测,并表明,一些评估的图像融合方法更适合于特定的临床应用。据我们所知,目前,还没有一种方法用于图像融合的神经网络的视觉分析。因此,这项工作为提高深度融合网络的可解释性开辟了一个新的研究方向。FuseVis工具还可以适用于其他基于深度神经网络的图像处理应用程序,以使其可解释。
2020-12-06 cs.CV cs.LG eess.IV
Image Colorization using U-Net with Skip Connections and Fusion Layer on Landscape Images
Universitas Brawijaya(布拉维贾亚大学)
我们提出了一种新的技术来自动着色灰度图像,结合U-Net模型和融合层功能。这种方法允许模型从预训练的U-Net中学习图像的着色。此外,融合层被应用于将依赖于小图像块的局部信息结果与每个类别上的整个图像的全局先验合并,从而形成视觉上更引人注目的着色结果。最后,我们通过用户研究评估来验证我们的方法,并将其与最先进的方法进行比较,从而得到改进。
2022-05-25 cs.CV cs.LG eess.IV
Lattice Fusion Networks for Image Denoising
提出了一种新的卷积神经网络特征融合方法。建议使用不同的特征融合技术来促进信息的流动并改善深度神经网络的训练。这些技术中的一些以及所提出的网络可以被认为是一种有向无环图(DAG)网络,其中一个层可以从其他层接收输入并向其他层输出。在所提出的Lattice Fusion Network(LFNet)的一般框架中,每个卷积层的特征映射基于格图结构被传递到其他层,其中节点是卷积层。为了评估所提出的架构的性能,不同的设计的基础上的LFNet的一般框架实现的任务的图像去噪。该任务被用作需要训练深度卷积网络的示例。结果与最先进的方法进行比较。该网络能够以更少的可学习参数获得更好的结果,这表明LFNets用于训练深度神经网络的有效性。
2021-07-01 cs.CV cs.LG eess.IV
AMVNet: Assertion-based Multi-View Fusion Network for LiDAR Semantic Segmentation
Motional;Nanyang Technological University(南洋理工大学)
在本文中,我们提出了一个基于断言的多视图融合网络(AMVNet)的激光雷达语义分割,聚合使用后期融合的单个基于投影的网络的语义特征。给定来自不同基于投影的网络的类分数,我们对分数不一致进行断言引导的点采样,并将每个采样点的一组点级特征传递给一个简单的点头,以细化预测。这种模块化和层次化的后期融合方法提供了具有两个独立网络的灵活性,而轻量级网络的开销较小。这样的方法对于机器人系统(例如,自动驾驶车辆)是期望的,对于机器人系统,计算和存储器资源通常是有限的。大量的实验表明,AMVNet在SemanticKITTI和nuScenes基准数据集上都取得了最先进的结果,并且我们的方法优于结合基于投影的网络的类得分的基线方法。
2020-12-09 cs.CV cs.LG cs.RO
NFCNN: Toward a Noise Fusion Convolutional Neural Network for Image Denoising
School of Mathematics, Sichuan University(四川大学数学学院)
基于深度学习的方法在图像去噪方面已经达到了最先进的性能。本文提出了一种基于深度学习的去噪方法,并在卷积神经网络中引入了一个称为融合块的模块。对于这种所谓的噪声融合卷积神经网络(NFCNN),其多级架构中有两个分支。一个分支的目的是预测潜在的清洁图像,而另一个预测的残留图像。通过将预测的干净图像和预测的残差图像作为输入的一部分,在每两个阶段之间包含融合块,并且其将融合结果输出到下一阶段。由于融合块,NFCNN具有吸引人的纹理保持能力。为了训练NFCNN,采用了分阶段的监督训练策略,以避免梯度消失和梯度爆炸问题。实验结果表明,与一些最先进的算法相比,NFCNN能够执行有竞争力的去噪结果。
2021-02-17 cs.CV cs.LG eess.IV
Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation
Carnegie Mellon University(卡内基梅隆大学);Salesforce Research(赛富时研究院)
本文提出 Deformer 框架,通过时空关系推理、动态融合邻近帧手部网格及 maxMSE 损失,提升严重遮挡或模糊场景下的 3D 手部姿态估计性能。
2023-08-18 cs.CV
Fusion of complex networks and randomized neural networks for texture analysis
São Carlos Institute of Physics, University of São Paulo(圣保罗大学圣卡洛斯物理研究所);Universidade Federal do Ceará(塞阿拉联邦大学);Institute of Mathematics and Computer Science, University of São Paulo(圣保罗大学数学与计算机科学研究所)
提出了一种基于复杂网络和随机神经网络融合的高分辨率纹理分析方法。在这种方法中,输入图像被建模为一个复杂的网络和它的拓扑属性以及图像像素被用来训练随机神经网络,以创建一个签名,表示纹理的深层特征。所获得的结果超过了文献中许多方法的精度。这种性能表明,我们提出的方法打开了一个有前途的研究来源,其中包括探索纹理分析领域的神经网络和复杂网络的协同作用。
2020-08-17 cs.CV cs.LG physics.data-an
LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images
Jiangnan University(江南大学);Tsinghua University(清华大学);University of Surrey(萨里大学)
本文提出LRRNet,通过低秩表示优化引导网络架构设计,构建端到端轻量级红外与可见光图像融合网络,在公开数据集上以更少参数取得优于现有方法的融合性能。
2023-04-16 cs.CV
An Attention-based Multi-Scale Feature Learning Network for Multimodal Medical Image Fusion
University of Toronto(多伦多大学);The Hospital for Sick Children(病童医院)
医学图像在临床应用中发挥着重要作用。多模态医学图像可以为医生提供丰富的患者信息,便于医生进行诊断。图像融合技术能够将来自多模态图像的互补信息合成到单个图像中。这项技术将防止放射科医生在不同图像之间来回切换,并在诊断过程中节省大量时间。在本文中,我们介绍了一种新的扩张剩余注意力网络的医学图像融合任务。我们的网络能够提取多尺度的深层语义特征。此外,我们提出了一种新的固定融合策略称为Softmax加权策略的基础上Softmax权重和矩阵核范数。大量的实验表明,我们提出的网络和融合策略超过了国家的最先进的性能相比,参考图像融合方法的四个常用的融合度量。
2022-12-09 cs.CV
A novel multimodal fusion network based on a joint coding model for lane line segmentation
Tsinghua University(清华大学);Edinburgh Napier University(爱丁堡龙比亚大学)
最近,利用多模态传感器来实现鲁棒的车道线分割的兴趣越来越大。在本文中,我们介绍了一种新的多模态融合架构从信息论的角度来看,并证明其实际效用使用光探测和测距(LiDAR)相机融合网络。特别是,我们开发的,第一次,一个多模态融合网络作为一个联合编码模型,其中每个单一的节点,层和管道表示为一个通道。因此,前向传播等于信道中的信息传输。然后,我们可以定性和定量地分析不同的融合方法的效果。我们认为,最佳的融合架构是有关的基本容量和分配的基础上的源和信道。为了测试这个多模态融合假设,我们逐步确定一系列的多模态模型的基础上提出的融合方法,并评估他们的KITTI和A2D2数据集。我们的最佳融合网络实现了85%以上的车道线准确度和98.7%以上的整体。模型之间的性能差距将为未来继续研究深度多模态学习社区的最佳融合算法提供信息。
2021-03-20 cs.CV
AE-Net: Autonomous Evolution Image Fusion Method Inspired by Human Cognitive Mechanism
Northwestern Polytechnical University(西北工业大学)
为了解决图像融合任务的鲁棒性和通用性问题,受人脑认知机制的启发,提出了一种具有自主进化能力的鲁棒通用图像融合方法,并将其表示为AE-Net。通过多种图像融合方法的协同优化,模拟人脑的认知过程,可以将无监督学习图像融合任务转化为半监督图像融合任务或有监督图像融合任务,从而提升网络模型权重的进化能力。首先,分析了人脑认知机制与图像融合任务的关系,建立了人脑认知机制的物理模型。其次,分析了现有的图像融合方法和图像融合损失函数,选择特征互补的图像融合方法构建算法模块,建立多损失联合评价函数,得到算法模块的最优解。每幅图像的最优解用于指导网络模型的权值训练。该方法能有效地统一跨模态图像融合任务和同模态图像融合任务,有效地克服不同数据集之间数据分布的差异。最后,在多聚焦数据集、红外和可见光数据集、医学图像数据集和多次曝光数据集上进行了大量的数值实验,验证了该方法的有效性和优越性。综合实验结果表明,该方法在鲁棒性和通用性方面具有一定的优越性。此外,实验结果还证明了人脑认知机制对提高图像融合的鲁棒性和通用性的有效性。
2020-07-17 cs.CV
RFN-Nest: An end-to-end residual fusion network for infrared and visible images
Jiangnan University(江南大学);University of Surrey(萨里大学)
在图像融合领域,基于深度学习的融合方法的设计远非常规。它总是特定于融合任务,需要仔细考虑。设计中最困难的部分是选择一个合适的策略来生成特定任务的融合图像。因此,设计可学习的融合策略是图像融合领域一个极具挑战性的问题。为了解决这个问题,一种新的端到端融合网络架构(RFN-Nest)的红外和可见光图像融合。本文提出了一种基于残差结构的残差融合网络(RFN)来代替传统的融合方法。提出了一种新的细节保持损失函数和特征增强损失函数来训练RFN。融合模型的学习是由一个新的两阶段的训练策略。在第一阶段,我们训练一个自动编码器的基础上创新的巢连接(巢)的概念。接下来,使用所提出的损失函数来训练RFN。在公共领域数据集上的实验结果表明,与现有方法相比,本文提出的端到端融合网络在主观评价和客观评价方面均优于现有方法.我们的融合方法的代码可在https://github.com/hli1221/imagefusion-rfn-nest上获得
2021-03-14 cs.CV
Deep Unfolding Multi-modal Image Fusion Network via Attribution Analysis
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院);ETH Zürich(苏黎世联邦理工学院);School of Mathematics and Statistics, Northwestern Polytechnical University(西北工业大学数学与统计学院)
本文提出UAAFusion网络,通过归因分析建立融合与语义分割之间的直接交互,并引入归因注意力机制和记忆增强模块,在提升图像融合质量的同时增强下游语义分割性能。
2025-02-03 cs.CV
Customized Fusion: A Closed-Loop Dynamic Network for Adaptive Multi-Task-Aware Infrared-Visible Image Fusion
本文提出闭环动态网络CLDyN,通过需求驱动语义补偿模块实现多任务自适应的图像融合,实验表明其在保持高质量融合的同时具备强多任务适应性。
2026-04-10 cs.CV
BiFNet: Bidirectional Fusion Network for Road Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于多传感器融合的道路分割技术在智能驾驶系统中起着重要的作用,因为它提供了一个可行驶的区域。现有的主流融合方法主要是在图像空间域进行特征融合,造成道路的透视压缩,损害了远处道路的性能。考虑到激光雷达的鸟瞰图(BEV)在水平面上保持空间结构,本文提出了一种双向融合网络(BiFNet)融合图像和点云的BEV。该网络由两个模块组成:1)稠密空间转换模块,解决摄像机图像空间与BEV空间的相互转换。2)基于上下文的特征融合模块,将不同场景的传感器信息从相应的特征中融合出来,在KITTI数据集上取得了较好的效果。
2020-04-18 cs.CV
Dynamic Image Restoration and Fusion Based on Dynamic Degradation
Northwestern Polytechnical University(西北工业大学)
基于深度学习的图像复原和融合方法取得了显著的效果。然而,现有的恢复和融合方法很少关注动态退化所带来的鲁棒性问题。本文提出了一种新的动态图像复原与融合神经网络,称为DDRF-Net,它能够解决两个问题,即,静态恢复与融合,动态退化。为了解决现有方法的静态融合问题,引入动态卷积学习动态恢复和融合权值。此外,提出了一种动态退化核,以提高图像复原和融合的鲁棒性。我们的网络框架可以有效地将图像退化与图像融合任务相结合,通过图像复原损失为图像融合任务提供更详细的信息,并通过图像融合损失优化图像复原任务。因此,图像融合中深度学习的绊脚石,例如,静态融合权重和专门设计的网络体系结构被大大减轻。大量的实验表明,我们的方法是更优越的国家的最先进的方法相比。
2021-04-30 cs.CV
Cross Attention-guided Dense Network for Images Fusion
China University of Mining and Technology(中国矿业大学)
近年来,基于深度学习的计算机视觉的各种应用取得了实质性进展,深度学习已被广泛用于图像融合,并表现出足够的性能。然而,由于现有的无监督图像融合模型对不同源图像空间对应关系的建模能力有限,如何提取合适的特征并实现自适应均衡融合仍然是一个很大的挑战。在本文中,我们提出了一种新的交叉注意引导的图像融合网络,这是一个统一的和无监督的框架,多模态图像融合,多曝光图像融合,多聚焦图像融合。与已有的自注意模型不同,本文提出的交叉注意模型着重于对不同源图像之间的互相关进行建模。使用所提出的交叉注意模块作为核心块,构建了一个密集连接的交叉注意引导网络,以动态学习空间对应关系,从而更好地对齐不同输入图像的重要细节。同时,设计了一个辅助分支对远距离信息进行建模,并附加一个融合网络,最终重构融合图像。在公开的数据集上进行了大量的实验,结果表明,该模型在定量和定性上都优于最先进的模型。
2022-08-14 cs.CV
Adaptive and Azimuth-Aware Fusion Network of Multimodal Local Features for 3D Object Detection
University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing University of Chemical Technology(北京化工大学);University of Science and Technology Beijing(北京科技大学);North China University of Technology(北方工业大学)
本文重点研究了更强的局部特征的构造以及图像和LiDAR数据的有效融合。我们采用不同形式的激光雷达数据,以产生更丰富的功能,并提出了一个自适应和方位角感知的网络聚合本地功能的图像,鸟瞰图和点云。我们的网络主要由三个子网络组成:地平面估计网络,区域建议网络和自适应融合网络。地平面估计网络提取点云的特征,并预测用于生成丰富的3D锚点的平面的参数。区域建议网络生成图像和鸟瞰图的特征以输出区域建议。为了融合异构图像和点云特征,自适应融合网络显式调整多个局部特征的强度,并通过引入方位感知融合模块实现图像和LiDAR数据之间的方向一致性。在KITTI数据集上进行了实验,实验结果验证了多模态局部特征聚合和自适应融合网络的优势。
2020-06-03 cs.CV
Coupled Degradation Modeling and Fusion: A VLM-Guided Degradation-Coupled Network for Degradation-Aware Infrared and Visible Image Fusion
针对退化图像导致融合性能下降的问题,提出VGDCFusion网络,通过VLM引导将退化建模与融合过程紧密耦合,实现退化感知与抑制,显著优于现有方法。
2025-10-13 cs.CV
PIF-Net: Ill-Posed Prior Guided Multispectral and Hyperspectral Image Fusion via Invertible Mamba and Fusion-Aware LoRA
PIF-Net通过可逆Mamba和融合感知LoRA模块,有效解决多光谱与高光谱图像融合中的病态问题,实现高质量图像恢复与高效模型性能。
2025-11-30 cs.CV
Multispectral and Hyperspectral Image Fusion by MS/HS Fusion Net
Xi’an Jiaotong University(西安交通大学);Harbin Institute of Technology(哈尔滨工业大学)
与传统的图像系统相比,高光谱成像可以帮助更好地了解不同材料的特性。然而,只有高分辨率的多光谱(HrMS)和低分辨率的高光谱(LrHS)的图像,通常可以捕获在视频速率在实践中。在本文中,我们提出了一种基于模型的深度学习方法,用于合并HrMS和LrHS图像以生成高分辨率高光谱(HrHS)图像。具体而言,我们构建了一种新的MS/HS融合模型,该模型考虑了低分辨率图像的观测模型和HrHS图像沿光谱模式的低秩知识。然后,我们设计了一个迭代算法求解模型,利用邻近梯度法。然后,通过展开所设计的算法,利用卷积神经网络学习邻近算子和模型参数,构造了一个深度网络,称为MS/HS融合网络。模拟和真实数据的实验结果证实了我们的方法的优越性,无论是在视觉上和定量相比,沿着这条研究路线的最先进的方法。
2019-01-10 cs.CV
MBDF-Net: Multi-Branch Deep Fusion Network for 3D Object Detection
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所);the Second Academy of CASIC(中国航天科工集团第二研究院)
点云和图像在表示3D对象时可以提供补充信息。融合两种数据通常有助于改善检测结果。然而,这是具有挑战性的融合两种数据模态,由于其不同的特性和干扰的非感兴趣的领域。为了解决这个问题,我们提出了一种用于3D目标检测的多分支深度融合网络(MBDF-Net)。所提出的检测器有两个阶段。在第一阶段中,我们的多分支特征提取网络利用自适应注意力融合(AAF)模块从单模态语义特征产生跨模态融合特征。在第二阶段中,我们使用感兴趣区域(ROI)池融合模块来生成增强的局部特征进行细化。提出了一种新的基于注意力的混合采样策略,用于选择下采样过程中的关键点。我们在两个广泛使用的基准数据集上评估了我们的方法,包括KITTI和SUN-RGBD。实验结果表明,我们的方法比国家的最先进的方法的优势。
2021-08-29 cs.CV
Deep attention-guided fusion network for lesion segmentation
Shanghai Jiao Tong University(上海交通大学);Minjiang Teachers College(闽江师范高等专科学校)
我们参与了任务1:病变分割。本文描述了我们的算法和ISIC挑战2018 -皮肤病变分析对黑色素瘤检测的验证集的最终结果。
2018-07-25 cs.CV
Adaptive Fusion Techniques for Multimodal Data
University of Waterloo(滑铁卢大学)
由于多模态数据的异构性,来自多模态(诸如视频、语音和文本)的数据的有效融合是具有挑战性的。在本文中,我们提出了自适应融合技术,旨在有效地从不同的模态建模上下文。我们没有为网络定义一个确定性的融合操作,比如级联,而是让网络决定“如何”更有效地组合一组给定的多模态特征。我们提出了两个网络:1)自动融合,它学习压缩来自不同模态的信息,同时保留上下文,以及2)GAN-Fusion,它从补充模态中正则化学习的潜在空间。对多模态机器翻译和情感识别任务的定量评估表明,我们的轻量级自适应网络可以比现有方法更好地从其他模态建模上下文,其中许多方法采用基于大规模transformer的网络。
2021-01-26 cs.CL cs.CV cs.LG
IAIFNet: An Illumination-Aware Infrared and Visible Image Fusion Network
School of Software Engineering, Beijing Jiaotong University(北京交通大学软件学院);School of Astronautics, Beihang University(北京航空航天大学宇航学院)
提出光照感知的红外与可见光图像融合网络IAIFNet,通过光照增强、自适应差分融合与显著目标感知模块,生成高质量融合图像,优于五种现有方法。
2024-05-26 cs.CV
TGFuse: An Infrared and Visible Image Fusion Approach Based on Transformer and Generative Adversarial Network
Jiangnan University(江南大学);University of Surrey(萨里大学)
端到端图像融合框架已经取得了令人鼓舞的性能,专用卷积网络聚合了多模态局部外观。然而,在现有的CNN融合方法中,直接忽略了长距离依赖性,从而阻碍了平衡复杂场景融合的整个图像级感知。因此,在本文中,我们提出了一种基于轻量级Transformer模块和对抗学习的红外和可见光图像融合算法。受全局相互作用势的启发,我们使用Transformer技术来学习有效的全局融合关系。特别地,由CNN提取的浅层特征在所提出的Transformer融合模块中相互作用,以同时在空间范围内和跨通道地细化融合关系。此外,在训练过程中设计了对抗性学习,通过引入输入的竞争一致性来提高输出的区分度,体现了红外和可见光图像的特殊性。实验性能证明了所提出的模块的有效性,具有对最先进技术的卓越改进,通过融合任务中的Transformer和对抗学习来推广新的范例。
2022-02-04 cs.CV
Remote Sensing Image Fusion Based on Two-stream Fusion Network
Beihang University(北京航空航天大学)
遥感图像融合(也称为全色锐化)的目的是从高空间分辨率的单波段全色(PAN)图像和低空间分辨率的多光谱图像的输入生成高分辨率的多光谱(MS)图像。受卷积神经网络(CNN)在各种计算机视觉任务中取得的惊人成就的启发,本文提出了一种双流融合网络(TFNet)来解决全色锐化问题。与以前的基于CNN的方法,认为泛锐化作为一个超分辨率的问题,并在像素级执行泛锐化,建议TFNet的目的是融合PAN和MS图像的特征级和重建泛锐化图像从融合的功能。TFNet主要由三部分组成。第一部分由两个网络组成,分别从PAN和MS图像中提取特征。随后的网络将它们融合在一起,形成紧凑的功能,同时代表PAN和MS图像的空间和光谱信息。最后,通过图像重建网络从融合特征恢复期望的高空间分辨率MS图像。在Quickbird和\mbox{GaoFen-1}卫星图像上的实验表明,该算法能够有效地融合PAN和MS图像,并产生具有竞争力的泛锐化图像,甚至优于现有技术。
2018-01-26 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University(首尔国立大学)
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成,它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同,所提出的融合网络在原始分辨率下混合两个流,以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外,多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果,我们有一个像素级的概率分割图,它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分,我们最终获得视频序列的前景分割结果,而无需任何用户干预,即,我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能,也实现了近半监督的性能。
2019-12-03 cs.CV
11K Hands: Gender recognition and biometric identification using a large dataset of hand images
York University(约克大学);Assiut University(艾斯尤特大学)
人类的手具有能够揭示性别信息的显著特征。此外,手被认为是用来识别一个人的主要生物特征之一。在这项工作中,我们提出了一个大型的数据集的人手图像(背侧和手掌侧)与详细的地面真相信息的性别识别和生物识别。使用该数据集,可以有效地训练卷积神经网络(CNN)以用于性别识别任务。在此基础上,我们设计了一个双流CNN来解决性别识别问题。然后将该训练模型用作特征提取器,以馈送用于生物特征识别任务的一组支持向量机分类器。我们表明,手背侧的手的图像,由一个普通的数码相机捕捉,传达有效的独特功能类似,如果不是更好,那些可在手掌的手图像。为了便于访问所提出的数据集和复制我们的实验,数据集,训练的CNN模型和Matlab源代码可在(https://goo.gl/rQJndd)获得。
2018-09-17 cs.CV
FAR-Net: Multi-Stage Fusion Network with Enhanced Semantic Alignment and Adaptive Reconciliation for Composed Image Retrieval
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
本文提出多阶段融合网络FAR-Net,通过增强语义对齐模块和自适应协调模块结合晚期与早期融合,在CIRR和FashionIQ上显著提升组合图像检索性能。
2025-07-17 cs.CV
SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images
Taiyuan University of Science and Technology(太原科技大学);Jiangnan University(江南大学);Nanyang Normal University(南阳师范学院)
现有的深度学习融合方法主要集中在卷积神经网络上,很少尝试使用Transformer。同时,卷积运算是图像和卷积核之间的内容无关的交互,这可能会丢失一些重要的上下文,并进一步限制融合性能。为此,我们提出了一个简单而强大的融合基线红外和可见光图像,即\textit{ Residual Swin Transformer Fusion Network},被称为Swinspiral。该算法包括全局特征提取、融合层和特征重构三部分。特别地,我们构建了一个完全注意力特征编码骨干来建模长距离依赖,它是一个纯Transformer网络,与卷积神经网络相比具有更强的表示能力。设计了一种基于序列矩阵$L_{1}$ -范数的特征融合策略,从行向量和列向量两个维度度量相应的活性水平,能够较好地保留红外亮度和可见光细节。最后,通过主观观察和客观比较,在3个不同的数据集上分别使用9种传统方法和深度学习方法对Swincloud进行了验证,实验结果表明,Swincloud融合算法具有较强的泛化能力和较好的计算效率,获得了令人惊讶的融合性能.该代码将在https://github.com/Zhishe-Wang/SwinFuse上提供。
2022-04-25 cs.CV
ASSR-Net: Anisotropic Structure-Aware and Spectrally Recalibrated Network for Hyperspectral Image Fusion
School of Information Science and Engineering, Hunan Normal University(湖南师范大学信息科学与工程学院);School of Robotics, Hunan University(湖南大学机器人学院)
ASSR-Net通过两阶段融合策略,解决超分辨率图像融合中各向异性结构重建不足和频谱失真问题,提升空间细节和频谱一致性。
2026-04-07 cs.CV
A Fully Convolutional Two-Stream Fusion Network for Interactive Image Segmentation
Loughborough University(拉夫堡大学);The ICE Agency(ICE机构)
在本文中,我们提出了一种新的全卷积双流融合网络(FCTSFN)的交互式图像分割。所提出的网络包括两个子网络:双流后期融合网络(TSLFN),以降低的分辨率预测前景,以及多尺度细化网络(MSRN),以全分辨率细化前景。TSLFN包括两个不同的深度流,然后是融合网络。直觉是,由于用户交互是关于前景/背景的比图像本身更直接的信息,TSLFN的双流结构减少了纯用户交互特征和网络输出之间的层数,允许用户交互对分割结果产生更直接的影响。MSRN融合了TSLFN不同层次的不同尺度的特征,以寻求局部到全局的前景信息,从而在全分辨率下改进分割结果。我们在四个基准数据集上进行了全面的实验。实验结果表明,与目前最先进的交互式图像分割方法相比,该网络具有很好的性能
2018-10-02 cs.CV
A Dual-branch Network for Infrared and Visible Image Fusion
Jiangnan University(江南大学)
深度学习是红外与可见光图像融合领域中发展迅速的一种方法。在此背景下,深度网络中密集块的使用显著提高了浅层信息的利用率,生成对抗网络(GAN)的结合也提高了两幅源图像的融合性能。我们提出了一种基于密集块和GANs的新方法,我们直接将输入图像-可见光图像插入整个网络的每一层。我们使用与感知更一致的SSIM和梯度损失函数,而不是均方误差损失。在生成器和神经网络之间的对抗训练之后,我们最终得到了一个经过训练的端到端融合网络-生成器网络。实验结果表明,该方法得到的融合图像在多个评价指标上均取得了较好的效果。此外,我们的融合图像具有更好的视觉效果,在多组对比度,这是更令人满意的人的视觉感知。
2021-01-24 cs.CV
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau(科布伦茨-兰道大学)
在本文中,我们提出了融合-GCN,一种使用图卷积网络(GCN)的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN,我们建议将各种传感器数据模式集成到一个图中,该图使用GCN模型进行训练,用于多模式动作识别。附加的传感器测量被合并到图形表示中,或者在通道维度(引入附加节点属性)上或者在空间维度(引入新节点)上。Fusion-GCN在两个公共可用数据集(UTD-MHAD和MMACT数据集)上进行了评估,并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果,并通过融合骨骼估计和加速度计测量,将大规模MMACT数据集的基线提高了高达12.37%(F1-Measure)的显著幅度。
2021-09-27 cs.CV
Multimodal Fusion Refiner Networks
Facebook AI
依赖于多模态信息的任务通常包括组合来自不同模态的信息的融合模块。在这项工作中,我们开发了一个细化融合网络(ReFNet),使融合模块能够将强单峰表示与强多峰表示相结合。ReFNet将融合网络与解码/解除模块相结合,该模块施加了以模态为中心的责任条件。该方法通过确保单峰和融合表示都在潜在融合空间中被强编码,解决了现有多模态融合框架中的巨大差距。我们证明,精炼融合网络可以提高性能强大的基线融合模块,如多模态Transformers。细化网络使诱导图形表示的融合嵌入在潜在的空间,我们证明在一定的条件下,并支持强有力的经验结果的数值实验。通过将ReFNet与多相似性对比损失函数相结合,进一步加强了这些图形结构。Refiner Fusion Network的模块化特性使其能够轻松地与不同的融合架构相结合,此外,Refiner步骤可以应用于未标记数据集的预训练,从而利用无监督数据来提高性能。我们在三个数据集上展示了Refiner Fusion Networks的强大功能,并进一步表明它们可以仅用一小部分标记数据保持性能。
2021-04-08 cs.AI cs.CV