Fusing Hierarchical Convolutional Features for Human Body Segmentation and Clothing Fashion Classification
School of Computer Science, Wuhan University(武汉大学计算机学院)
服装时尚反映了人们在穿着上的共同审美观。识别服装的流行时间对个人和行业都有意义。本文在服装款式逐年变化的假设下,将服装款式识别问题映射为服装款式分类问题。具体而言,提出了一种新型的深度神经网络,该网络通过在全卷积网络中融合多尺度卷积特征来实现准确的人体分割,然后对分割的部分进行特征学习和时尚分类,避免图像背景的影响。在实验中,收集了连续8年的9,339个时尚图像用于性能评估。实验结果验证了本文提出的人体分割和服装分类方法的有效性。
2018-03-13 cs.CV
Single Image 3D Hand Reconstruction with Mesh Convolutions
Imperial College London(帝国理工学院);Università della Svizzera italiana(瑞士意大利语区大学);Ariel AI(Ariel人工智能公司);Twitter, Inc.(推特公司)
可变形物体(如人体部位)的单目3D重建通常通过预测重量级线性模型的参数来实现。在本文中,我们展示了一种替代的解决方案,是基于图像编码成一个潜在的非线性表示网格的想法。3D手部形状的先验知识是通过在谱域中执行固有图卷积来训练自动编码器来学习的。预先训练的解码器充当非线性统计可变形模型。使用图像编码器预测重建图像中的手的形状和关节姿态的潜在参数。我们表明,我们的系统重建合理的网格和实时操作。我们评估了解码器在新数据集上产生的网格重建的质量,并显示了潜在的空间插值结果。我们的代码、数据和模型将公开提供。
2019-08-05 cs.CV
Latent World Recovery for Multimodal Learning with Missing Modalities
Queen's University Belfast(贝尔法斯特女王大学)
提出潜在世界恢复(LWR)框架,通过邻居潜在对齐和可用性感知融合,在缺失模态下实现鲁棒的多模态预测,避免显式重构误差。
2026-06-11 cs.AI cs.LG
FMT:Fusing Multi-task Convolutional Neural Network for Person Search
Anhui University(安徽大学)
人物搜索是指在没有任何建议和边界框的情况下,从图像中检测出所有的人物,并从检测出的人物中识别出查询人物,这不同于人物重新识别。在本文中,我们提出了一个融合多任务卷积神经网络(FMT-CNN),以解决与单个卷积神经网络的检测和重新识别的相关性和异质性。我们专注于人的检测和人的重新识别的相互作用如何影响整体性能。我们在区域建议网络中使用人标签来产生用于人重新识别和人检测网络的特征,这可以同时提高检测和重新识别的准确性。我们还使用多重丢失来训练我们的重新识别网络。在中大-中山大学Person Search数据集上的实验结果表明,该方法在mAP和top-1两个方面都优于现有的方法。
2020-03-01 cs.CV
Refining Latent Homophilic Structures over Heterophilic Graphs for Robust Graph Convolution Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
针对异质图上GCN的鲁棒性,提出自动学习潜在同质结构(LHS)的方法,通过自表达与对比学习细化结构,缓解结构性分布外问题,提升节点分类鲁棒性。
2023-12-27 cs.AI cs.LG cs.SI
Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning
ETH Zurich(苏黎世联邦理工学院);University of Basel(巴塞尔大学)
提出潜在注意力掩码自编码器(LAMAE),通过潜在空间跨模态信息交换和结构感知预训练,在120万住院数据上实现多模态心脏表征学习,优于现有基线并稳健处理缺失模态。
2026-10-09 cs.AI
Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space
Zyphra
本文提出压缩卷积注意力(CCA)和压缩卷积分组查询注意力(CCGQA),通过在共享潜在空间内执行注意力操作,显著减少参数、KV缓存和FLOPs,提升训练和推理效率。
2026-03-16 cs.AI cs.CL
Fusing Deep Convolutional Networks for Large Scale Visual Concept Classification
Başkent University(巴什肯特大学)
深度学习架构在包括图像分类、目标检测、事件检测和动作识别在内的各种计算机视觉领域显示出巨大的前景。在这项研究中,我们从大数据的角度研究了卷积神经网络(CNN)的各个方面。我们分析了最近的研究和不同的网络架构的运行时间和准确性。我们为大数据从业者提供了广泛的经验信息以及最佳实践。使用这些最佳实践,我们提出了有效的融合机制,为单一和多个网络模型。我们在基准数据集上呈现最先进的结果,同时将计算成本保持在较低水平。我们的论文的另一个贡献是,这些国家的最先进的结果可以达到不使用广泛的数据增强技术。
2016-08-05 cs.CV
POCO: Point Convolution for Surface Reconstruction
LIGM(巴黎东部马恩拉瓦雷计算机与图像实验室);Ecole des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
隐式神经网络已成功地用于点云数据的曲面重建。然而,他们中的许多人面临的可扩展性问题,因为他们编码的等值面函数的整个对象或场景到一个单一的潜在向量。为了克服这一限制,一些方法在粗糙的规则3D网格或3D补丁上推断潜在向量,并对它们进行插值以回答占用查询。在这样做的过程中,它们失去了与物体表面上采样的输入点的直接联系,并且它们在空间中均匀地附加信息,而不是在最重要的地方,即,靠近地表此外,依赖于固定的补丁大小可能需要离散化调整。为了解决这些问题,我们建议使用点云卷积并计算每个输入点的潜在向量。然后,我们使用推断的权重对最近邻执行基于学习的插值。在对象和场景数据集上的实验表明,我们的方法在大多数经典指标上显着优于其他方法,产生更精细的细节和更好地重建更薄的体积。该代码可在https://github.com/valeoai/POCO上获得。
2022-03-30 cs.CG cs.CV cs.LG
A Point Cloud Generative Model via Tree-Structured Graph Convolutions for 3D Brain Shape Reconstruction
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Shenzhen University(深圳大学);Renmin University of China(中国人民大学)
融合医学图像和相应的三维形状表示可以提供互补信息和微观结构细节,以提高脑外科手术的操作性能和准确性。然而,与大量的图像数据相比,使用传感器扫描等物理方法几乎不可能获得术中3D形状信息,特别是在微创手术和机器人引导手术中。本文提出了一种基于图卷积网络的通用生成对抗网络(GAN)架构,利用一张二维图像重建大脑的三维点云,从而缓解了手术过程中获取三维形状数据的限制。具体地说,一个树结构的生成机制被构造成有效地使用的潜在向量和隐藏层之间准确地转移功能。该生成模型实现了图像到PC机的自动实时转换。在我们的模型上取得了有竞争力的定性和定量实验结果。在多种评价方法中,该模型优于另一种常见的点云生成模型PointOutNet。
2021-07-21 cs.CV eess.IV
Fusing CNNs and statistical indicators to improve image classification
Universidad Politecnica de Madrid(马德里理工大学);Universidad Autonoma de Madrid(马德里自治大学)
卷积网络在过去的十年里一直主导着计算机视觉领域,表现出非常强大的特征提取能力和出色的分类性能。延长这一趋势的主要策略依赖于进一步扩大网络规模。然而,成本迅速增加,而性能的改善可能是微不足道的。我们假设,增加异构的信息源可能比建立一个更大的网络更具成本效益的CNN。在本文中,集成方法提出了准确的图像分类,融合自动检测功能,通过卷积神经网络架构与一组手动定义的统计指标。通过组合CNN的预测和在统计特征上训练的二级分类器,可以廉价地实现更好的分类性能。我们在不同数量的数据集上测试了多种学习算法和CNN架构,以验证我们的提议,并通过GitHub公开了我们所有的代码和数据。根据我们的研究结果,包含额外的指标和集成分类方法有助于提高9个数据集中的8个数据集的性能,其中两个数据集的精度显著提高了10%以上。
2021-06-04 cs.AI cs.CV
Fusing Convolutional Neural Network and Geometric Constraint for Image-based Indoor Localization
University of Michigan(密歇根大学);Nvidia Corporation(英伟达公司)
本文提出了一种新的基于图像的定位框架,明确定位摄像机/机器人融合卷积神经网络(CNN)和序列图像的几何约束。使用单个或几个观察到的图像和具有6自由度姿态标签的训练图像来定位相机。采用Siamese网络结构对图像描述符网络进行训练,从训练集中检索视觉相似的候选图像,对测试图像进行几何定位。同时,概率运动模型预测的基础上,一个恒定的速度假设的姿态。两个估计的姿势最后融合使用它们的不确定性,以产生准确的姿势预测。该方法利用了几何不确定性,适用于以漫射照明为主的室内场景。仿真和真实数据集上的实验证明了该方法的有效性。结果进一步表明,与仅使用CNN的方法相比,将基于CNN的框架与几何约束相结合实现了更好的精度,特别是当训练数据大小较小时。
2022-01-05 cs.CV cs.RO
Convolutional Two-Stream Network Fusion for Video Action Recognition
Graz University of Technology(格拉茨技术大学);University of Oxford(牛津大学)
最近应用卷积神经网络(ConvNets)进行视频中的人类动作识别,提出了不同的解决方案,用于合并外观和运动信息。我们研究了多种在空间和时间上融合ConvNet塔的方法,以便最好地利用这种时空信息。我们得出以下发现:(i)空间和时间网络可以在卷积层融合,而不是在softmax层融合,而不会损失性能,但可以大幅节省参数;(ii)最好在最后一个卷积层空间融合此类网络比之前更好,并且在类别预测层进行额外融合可以提高准确性;最后(iii)在时空邻域上汇集抽象卷积特征进一步提高性能。基于这些研究,我们提出了一个新的ConvNet架构的时空融合的视频片段,并评估其性能的标准基准,该架构实现了最先进的结果。
2016-09-26 cs.CV
Medical Image Segmentation Based on Multi-Modal Convolutional Neural Network: Study on Image Fusion Schemes
Massachusetts General Hospital(麻省总医院);Beijing Institute of Technology(北京理工大学);University of Pittsburgh(匹兹堡大学)
在生物医学成像领域中,使用多于一种模态(即多模态)的图像分析已被越来越多地应用。执行多模态分析的挑战之一是存在用于融合来自不同模态的信息的多个方案,其中这些方案依赖于应用并且缺乏统一的框架来指导其设计。在这项工作中,我们首先提出了一个概念架构的监督生物医学图像分析中的图像融合方案:融合在特征级,融合在分类器级,融合在决策级。此外,受最近将深度学习应用于自然图像分析的成功启发,我们基于具有不同结构的卷积神经网络(CNN)实现了上述三种图像融合方案,并将其组合到一个框架中。所提出的图像分割框架能够同时使用不同的融合方案来分析多模态图像。该框架被应用于从磁共振成像(MRI)、计算机断层扫描(CT)和正电子发射断层扫描(PET)图像的组合中检测软组织肉瘤的存在。从结果中发现,虽然所有的融合方案优于单模态方案,在特征级的融合通常可以实现最好的性能,在精度和计算成本方面,但也遭受从鲁棒性下降的存在下,在任何图像模态的大误差。
2017-11-02 cs.CV cs.LG
Med-IC: Fusing a Single Layer Involution with Convolutions for Enhanced Medical Image Classification and Segmentation
BRAC University(BRAC大学);University of Delaware(特拉华大学);Dublin City University(都柏林城市大学);Concordia University(康考迪亚大学)
本文提出Med-IC方法,在CNN前仅添加单层内卷以增强医学图像分类与分割性能,同时保持极低参数量,并证明过度使用内卷层可能导致预测不准确。
2024-09-27 cs.CV cs.LG eess.IV
Research on fusing topological data analysis with convolutional neural network
Smart City College, Beijing Union University(北京联合大学智慧城市学院)
针对CNN难以捕捉高维数据结构信息的问题,提出融合CNN数值分布特征与TDA拓扑结构特征的TDA-CNN方法,通过注意力机制自适应加权融合,在多数据集上有效提升多种网络的性能与特征学习能力。
2024-06-19 cs.CV
Crosslink-Net: Double-branch Encoder Segmentation Network via Fusing Vertical and Horizontal Convolutions
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Southeast University(东南大学);Nanjing University(南京大学);University of Sydney(悉尼大学);University of Wollongong(伍伦贡大学);Shandong University(山东大学);Shandong Chest Hospital(山东省胸科医院)
准确的图像分割在医学图像分析中起着至关重要的作用,但它面临着形状多样、大小不一、边界模糊的巨大挑战。为了解决这些问题,基于方核的编解码器结构被提出并得到了广泛的应用,但其性能仍然不能令人满意。为了进一步应对这些挑战,我们提出了一种新的双分支编码器架构。我们的架构受到两个观察结果的启发:1)由于通过平方卷积核学习的特征的区分需要进一步改进,我们建议在双分支编码器中利用非平方垂直和水平卷积核,因此可以预期两个分支学习的特征可以相互补充。2)考虑到空间注意力可以帮助模型更好地关注大尺寸图像中的目标区域,我们开发了一种注意力损失,以进一步强调对小尺寸目标的分割。结合上述两种方案,提出了一种新的用于医学图像分割的双分支编码器分割框架,即Crosslink-Net。在四个数据集上的实验验证了该模型的有效性。代码发布于https://github.com/Qianyu1226/Crosslink-Net。
2021-07-24 cs.CV cs.LG eess.IV
Learnable Sampling 3D Convolution for Video Enhancement and Action Recognition
USTC(中国科学技术大学);Microsoft Research(微软研究院)
视频增强和动作识别中的一个关键挑战是融合相邻帧中的有用信息。最近的工作建议在融合时间信息之前在相邻帧之间建立准确的对应关系。然而,生成的结果在很大程度上取决于对应性估计的质量。在本文中,我们提出了一个更强大的解决方案:跨邻域帧的\emph{sampling and fusing multi-level features}来生成结果。基于这一思想,我们引入了一个新的模块,以提高三维卷积的能力,即可学习的采样三维卷积(\emph{LS3D-Conv})。我们将可学习的2D偏移量添加到3D卷积中,旨在跨帧对空间特征图上的位置进行采样。可以针对特定任务学习偏移。\emph{LS3D-Conv}可以灵活地替换现有3D网络中的3D卷积层,并获得新的架构,该架构在多个特征级别上学习采样。在视频插值、视频超分辨率、视频去噪和动作识别等方面的实验证明了该方法的有效性。
2020-11-22 cs.CV
TranSiam: Fusing Multimodal Visual Features Using Transformer for Medical Image Segmentation
Tianjin University(天津大学);Central South University(中南大学);University of South Carolina(南卡罗来纳大学)
基于多模态的医学图像自动分割是疾病诊断的一个重要课题。虽然卷积神经网络(CNN)在图像分割任务中已被证明具有优异的性能,但难以获得全局信息。全局信息的缺乏会严重影响病变区域分割结果的准确性。此外,同一患者的多模态数据之间存在视觉表示差异。这些差异将影响自动分割方法的结果。为了解决这些问题,我们提出了一种适用于多模态医学图像的分割方法,可以捕获全局信息,命名为TranSiam。TranSiam是一个2D双路径网络,可以提取不同模态的特征。在每一条路径中,我们在低层利用卷积来提取细节信息,在高层设计一个ICMT模块来提取全局信息。ICMT模块将卷积嵌入到Transformer中,可以在提取全局信息的同时保留空间和细节信息。此外,我们设计了一种新的融合机制,称为TMM块的交叉注意和自注意的基础上,它可以有效地融合不同模态之间的功能。在BraTS 2019和BraTS 2020多模态数据集上,我们的准确性比其他流行方法有了显着提高。
2022-04-26 cs.CV
Learning Disentangling and Fusing Networks for Face Completion Under Structured Occlusions
National Laboratory of Pattern Recognition, CASIA(模式识别国家重点实验室,中国科学院自动化研究所);Center for Research on Intelligent Perception and Computing, CASIA(智能感知与计算研究中心,中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
人脸补全的目的是为缺失的人脸部分生成语义上的新像素。这是一个具有挑战性的生成任务,由于大的变化,面部外观。本文研究了结构化遮挡下的生成式人脸补全。我们把人脸补全和腐败看作是干净人脸和遮挡人脸的解缠和融合过程,提出了一种联合解缠和融合的生成对抗网络(DF-GAN).首先,构造了三个域,分别对应于遮挡人脸、干净人脸和结构化遮挡的分布。解缠和融合的过程被表述为三个域之间的转换。然后构建解缠和融合网络来学习来自未配对数据的转换,其中采用编码器-解码器结构,并允许DF-GAN通过修改潜在表示来模拟结构遮挡。最后,解缠和融合过程被统一到一个双重学习框架中,并带有一个对抗策略。所提出的方法进行评估Meshface验证问题。在四个Meshface数据库上的实验结果表明,我们提出的方法在结构化遮挡下的人脸完成的有效性。
2017-12-13 cs.CV
NDDR-CNN: Layerwise Feature Fusing in Multi-Task CNNs by Neural Discriminative Dimensionality Reduction
Wuhan University(武汉大学);City University of Hong Kong(香港城市大学);Johns Hopkins University(约翰斯·霍普金斯大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出了一种新的卷积神经网络(CNN)结构的通用多任务学习(MTL),使自动特征融合在每一层从不同的任务。这与最广泛使用的MTL CNN结构形成对比,MTL结构经验地或经验地共享一些特定层上的特征(例如,共享除了最后一个卷积层之外的所有特征)。所提出的分层特征融合方案是通过以一种新的方式组合现有的CNN组件来制定的,具有清晰的数学可解释性,作为判别维数约简,这被称为神经判别维数约简(NDDR)。具体来说,我们首先根据通道维度将来自不同任务的具有相同空间分辨率的特征连接起来。然后,我们证明了在一个CNN中可以通过1x1卷积、批量归一化和权重衰减来实现判别维数降低。现有CNN组件的使用确保了端到端训练以及所提出的NDDR层以“即插即用”方式可扩展到各种最先进的CNN架构。详细的烧蚀分析表明,所提出的NDDR层是易于训练,也对不同的超参数鲁棒。不同的任务集与各种基础网络架构的实验表明,我们所提出的方法的性能和理想的推广。我们论文的代码可以在https://github.com/ethanygao/NDDR-CNN上找到。
2019-04-04 cs.CV cs.LG
Crowd Counting by Adaptively Fusing Predictions from an Image Pyramid
City University of Hong Kong(香港城市大学)
由于深度神经网络强大的学习能力,通过密度图估计的计数性能在过去几年中得到了显著改善。然而,它仍然是非常具有挑战性的,由于严重的闭塞,大规模的变化,和透视失真。尺度变化(从图像到图像)加上透视失真(在一个图像内)导致对象大小的巨大尺度变化。基于卷积神经网络(CNN)的早期方法通常不显式地处理这种尺度变化,直到Hydra-CNN和MCNN。MCNN使用三列,每列具有不同的过滤器大小,以提取不同尺度的特征。在本文中,与使用不同大小的过滤器不同,我们利用图像金字塔来处理尺度变化。与使用更大的滤波器大小相比,调整馈送到网络中的输入的大小更有效和高效。其次,我们自适应地融合来自不同尺度的预测(使用自适应地改变每像素权重),这使得我们的方法能够适应图像内的尺度变化。自适应融合是通过生成一个跨尺度的注意力地图来实现的,该地图为每个像素选择一个合适的尺度,然后进行1x 1卷积。在三个流行的数据集上进行的广泛实验显示了非常引人注目的结果。
2018-09-20 cs.CV
TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation
Rayicer;Georgia Institute of Technology(佐治亚理工学院)
医学图像分割-许多临床需求的先决条件-已显着繁荣的最新进展卷积神经网络(CNN)。然而,它在建模显式长程关系方面表现出普遍的局限性,并且现有的解决方案,诉诸于构建深度编码器以及积极的下采样操作,导致冗余的深化网络和局部细节的丢失。因此,分割任务等待一个更好的解决方案,以提高建模全局上下文的效率,同时保持对低级细节的强大把握。在本文中,我们提出了一种新的并行分支架构,transmittance,以解决这一挑战。Transformer将Transformers和CNN以并行的方式结合在一起,可以以更浅的方式有效地捕获全局依赖性和低级别的空间细节。此外,一个新的融合技术- BiFusion模块,创建有效地融合多层次的功能,从两个分支。大量的实验表明,transmittance实现了最新的国家的最先进的结果在2D和3D医学图像集,包括息肉,皮肤病变,臀部,前列腺分割,具有显着的参数减少和推理速度的提高。
2021-07-10 cs.AI cs.CV
Decomposing and Fusing Intra- and Inter-Sensor Spatio-Temporal Signal for Multi-Sensor Wearable Human Activity Recognition
School of Big Data and Software Engineering, Chongqing University(重庆大学大数据与软件学院);Center for Data Science, Peking University(北京大学数据科学中心);School of Mathematical Sciences, Peking University(北京大学数学科学学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
针对多传感器可穿戴活动识别中现有方法难以捕获传感器内与传感器间时空关系的问题,提出DecomposeWHAR模型,通过分解与融合阶段结合深度可分离卷积、状态空间模型和自注意力机制,在三个数据集上显著优于现有模型。
2025-04-25 cs.AI cs.CV cs.HC
Entropy Decision Fusion for Smartphone Sensor based Human Activity Recognition
人类活动识别在构建连续行为监测系统中起着重要作用,这些系统可用于视觉监控,患者康复,游戏,甚至个人倾向的灵巧家庭。本文展示了我们的努力,以开发一个协作决策融合机制,集成的预测分数从多个学习算法训练智能手机传感器基于人类活动数据。提出了一种融合卷积神经网络、递归卷积网络和支持向量机的方法,通过计算和融合基于Tsallis熵的各个分类器的相对加权得分来提高人体活动识别性能。为了评估这种方法的适用性,实验进行了两个基准数据集,UCI-HAR和WISDM。使用所提出的方法获得的识别结果与现有的方法。
2020-05-30 cs.CV
FADE: Fusing the Assets of Decoder and Encoder for Task-Agnostic Upsampling
Huazhong University of Science and Technology(华中科技大学);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
我们考虑了密集预测中的任务不可知特征上采样问题,其中需要上采样算子来促进区域敏感任务(如语义分割)和细节敏感任务(如图像抠图)。现有的上采样运算符通常可以在任一类型的任务中很好地工作,但不能同时工作。在这项工作中,我们提出了FADE,一个新的,即插即用,和任务无关的上采样操作。FADE受益于三种设计选择:i)在上采样内核生成中联合考虑编码器和解码器特征; ii)有效的半移位卷积算子,其能够对每个特征点如何贡献于上采样内核进行粒度控制; iii)用于增强细节描绘的依赖于解码器的门控机制。我们首先研究了FADE在玩具数据上的上采样特性,然后在大规模语义分割和图像抠图上对其进行了评估。特别是,FADE揭示了其有效性和任务无关的特性,在不同的任务中始终优于最近的动态上采样算子。它还可以很好地推广到卷积和Transformer架构,并且计算开销很小。我们的工作还提供了关于任务不可知的上采样的深思熟虑的见解。代码可在:http://lnkiy.in/fade_in
2022-12-27 cs.CV
Deep Adaptation of Adult-Child Facial Expressions by Fusing Landmark Features
Old Dominion University(欧道明大学)
提出FACE-BE-SELF方法,利用Beta混合分布选择地标特征,在共享潜在空间对齐成人与儿童表情分布,实现跨年龄面部表情的稳健分类。
2024-03-12 cs.CV cs.LG
Fusing Bird View LIDAR Point Cloud and Front View Camera Image for Deep Object Detection
University of California, Berkeley(加利福尼亚大学伯克利分校);Department of Mechanical Engineering(机械工程系)
我们提出了一种在深度卷积神经网络(CNN)中融合LIDAR点云和相机捕获图像的新方法。该方法构造了一个新的层,称为非均匀池层,用于鸟瞰图和正视图之间的特征转换。稀疏LIDAR点云用于构建两个地图之间的映射。池化层允许在网络的任何阶段有效地融合鸟瞰图和正视图特征。这对于在自动驾驶场景中使用相机-LIDAR融合的3D-目标检测是有利的。设计了相应的深度CNN,并在KITTI鸟瞰图目标检测数据集上进行了测试,该数据集从鸟瞰图中产生3D边界框。与其他基于融合的目标检测网络相比,该融合方法对鸟瞰图中行人的检测具有特别的优势。
2018-02-14 cs.CV cs.LG
Latent fingerprint minutia extraction using fully convolutional network
Key Laboratory of Machine Perception (MOE), School of EECS, Peking University(北京大学信息科学技术学院机器感知与智能教育部重点实验室)
细节点在指纹识别中起着重要的作用。潜指纹往往质量较差,提取可靠的细节点是一个难点。针对传统手工特征的局限性,利用全卷积网络(FCN)直接从数据中学习特征,以克服复杂的背景噪声。原始指纹被映射到具有固定步幅的相应大小的细节点分数图。因此,通过给定的阈值将提取大量的细节点。然后,将以这些细节点为中心的小区域输入到卷积神经网络(CNN)中,以重新分类这些细节点并计算它们的方向。CNN与全卷积网络共享卷积层以加速。0.45第二个平均用于在GPU上检测一个指纹。在NIST SD 27数据库上,我们取得了53%的召回率和53%的准确率,优于许多其他算法。我们的训练模型也可视化,以表明我们已经成功地提取特征保留潜在指纹的脊线信息。
2017-09-07 cs.CV
Optical Flow Matters: an Empirical Comparative Study on Fusing Monocular Extracted Modalities for Better Steering
Capgemini Engineering(凯捷工程);Massachusetts Institute of Technology(麻省理工学院)
本研究提出一种端到端方法,融合单目相机提取的RGB、深度或光流模态,通过CNN-NCP、VAE-LSTM等模型,利用光流数据将转向估计误差降低31%,显著提升自动驾驶转向预测性能。
2024-09-18 cs.AI cs.CV
Fusing Multiple Multiband Images
Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织)
我们考虑融合任意数量的多频带的问题,即,全色、多光谱或高光谱图像属于同一场景。我们使用众所周知的前向观测和线性混合模型与高斯扰动制定的最大似然估计的融合图像的端元丰度矩阵。我们计算这个估计的Fisher信息矩阵,并检查估计的唯一性的条件。我们使用一个矢量全变差惩罚项与非负性和总和为一的约束条件的端元丰度正规化派生的最大似然估计问题。正则化有助于利用自然图像主要由具有有限突变的分段平滑区域组成的先验知识,即,边缘,以及应对潜在的不适定性的融合问题。我们使用乘子交替方向法求解所得的凸优化问题。我们利用循环卷积定理结合快速傅立叶变换,以减轻所提出的算法的计算复杂性。与多波段图像从真正的高光谱数据集构建的实验表明,所提出的算法相比,国家的最先进的算法,需要串联使用,以融合两个以上的多波段图像的优越性能。
2018-07-18 cs.CV
Fusing Modalities by Multiplexed Graph Neural Networks for Outcome Prediction in Tuberculosis
IBM Research Almaden(IBM阿尔马登研究中心);IBM Research(IBM研究院);VA Southern Nevada Healthcare System(VA南内华达医疗系统)
在复杂疾病如结核病中,疾病及其演变的证据可能存在于多种形式中,如临床,基因组或成像数据。有效的患者定制的结果预测和治疗指导将需要融合这些模式的证据。这种多模态融合是困难的,因为疾病的证据在所有模态中可能不一致,不是所有模态特征都可能是相关的,或者不是所有模态都可能存在于所有患者。所有这些细微差别使得早期、晚期或中期特征融合的简单方法不足以用于结果预测。在本文中,我们提出了一种新的融合框架,使用多路复用图,并推导出一个新的图神经网络,从这样的图学习。具体而言,该框架允许模态通过其目标编码来表示,并通过从组合潜在空间中的显著特征导出的多路复用图来显式地建模它们的关系。我们提出的结果表明,我们提出的方法优于最先进的方法融合模式的多结果预测的大型结核病(TB)数据集。
2022-10-25 cs.CV cs.LG eess.IV
CLAReSNet: When Convolution Meets Latent Attention for Hyperspectral Image Classification
Institute of Engineering and Management (IEM), University of Engineering and Management Kolkata, IEM Centre of Excellence for InnovAI, Department of Computer Science & Engineering(工程管理学院(IEM)、工程管理大学科塔卡尔,创新AI研究中心、计算机科学与工程系);Institute of Engineering and Management (IEM), University of Engineering and Management Kolkata, Department of Computer Science & Engineering(工程管理学院(IEM)、工程管理大学科塔卡尔,计算机科学与工程系)
CLAReSNet通过结合卷积与潜在注意力机制,有效解决超光谱图像分类中的高维度、复杂相关性和类别不平衡问题,实现高准确率。
2025-12-19 cs.AI cs.CV cs.LG
Latent Feature-Guided Diffusion Models for Shadow Removal
Johns Hopkins University(约翰霍普金斯大学);Adobe Research(Adobe研究)
针对阴影下纹理恢复难题,提出以继承无阴影图像特征的潜在空间为条件并融合噪声特征的扩散模型,在 AISTD 和 DESOBA 上显著提升阴影去除性能。
2025-05-10 cs.AI cs.CV
Object-based Probabilistic Similarity Evidence of Sparse Latent Features from Fully Convolutional Networks
本研究利用全卷积网络的稀疏潜在特征,通过两步法(特征提取与模糊推理)估计二维图像中对象的视觉相似性,并引入加权方案增强分析,为神经网络相似性分析提供见解。
2023-07-25 cs.CV
Robust Graph Data Learning via Latent Graph Convolutional Representation
School of Computer Science and Technology(计算机科学与技术学院)
图卷积表示(GCR)在图数据表示方面取得了令人印象深刻的性能。然而,现有的GCR一般定义在输入固定图上,这可能会限制表示能力,并且容易受到结构攻击和噪声的影响。为了解决这个问题,我们提出了一种新的潜在图卷积表示(LatGCR),用于鲁棒的图数据表示和学习。我们的LatGCR的基础上,从图的邻域重建方面重新制定图卷积表示。给定输入图$\textbf{A}$,LatGCR的目标是生成一个灵活的潜在图$\widetilde{\textbf{A}}$用于图卷积表示,这明显提高了表示能力,并且对图结构攻击和噪声具有鲁棒性.此外,LatGCR是以自监督的方式实现的,因此为监督和无监督图学习任务提供了一个基本块。在多个数据集上的实验证明了LatGCR的有效性和鲁棒性。
2021-10-13 cs.CV cs.LG
Latent Image and Video Resolution Prediction using Convolutional Neural Networks
Florida State University(佛罗里达州立大学)
本文提出潜在分辨率预测问题,构建数据集并引入包括两个CNN在内的机器学习方法,实验表明能以约95%准确率预测视频原始分辨率。
2024-10-17 cs.CV stat.AP
Latent hypernet: Exploring all Layers from Convolutional Neural Networks
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
由于卷积神经网络(ConvNets)能够同时学习特征和分类器来区分不同类别的活动,最近的工作采用ConvNets方法来执行基于可穿戴传感器的人类活动识别(HAR),从而允许去除昂贵的人工工作和专家知识。然而,这些方法的辨别能力主要受到组成网络的大量参数和可用于训练的样本数量减少的限制。受此启发,我们提出了一种准确而强大的方法,称为潜在超网络(LHN)。LHN使用来自早期层(hyper)的特征映射,并将它们单独投影到低维空间(latent)。然后,这些潜在特征被连接并呈现给分类器。为了证明LHN的鲁棒性和准确性,我们使用四种不同的网络架构在五个公开的HAR数据集的基础上可穿戴传感器,不同的采样率和活动的数量进行评估。我们的实验表明,所提出的LHN能够产生丰富的信息,改善了原始ConvNets的结果。此外,该方法优于现有的最先进的方法。
2018-11-16 cs.CV
Generative Convolutional Networks for Latent Fingerprint Reconstruction
USI Lugano(卢加诺大学);Intel(英特尔)
指纹识别的性能在很大程度上取决于细节点的提取。因此,指纹脊图案的增强是显著降低假阳性和假阴性检测率的必要预处理步骤。一个特别具有挑战性的设置是当指纹图像损坏或部分丢失时。在这项工作中,我们应用生成卷积网络来去除可见细节点的噪声,并预测脊线图案的缺失部分。所提出的增强方法进行测试,作为一个预处理步骤,结合几个标准的特征提取方法,如MINDTCT,其次是生物特征比较使用MCC和BOZORTH3。我们评估我们的方法上使用不同的传感器捕获的几个公开可用的潜在指纹数据集。
2017-05-04 cs.CV cs.LG
Object Skeleton Extraction in Natural Images by Fusing Scale-associated Deep Side Outputs
Shanghai University(上海大学);Nanyang Technological University(南洋理工大学);Huazhong University of Science and Technology(华中科技大学)
物体骨架是目标检测的重要线索,它是物体轮廓的补充,为描述物体各部分之间的关系提供了结构化的表示。而自然图像中的物体骨架提取是一个非常具有挑战性的问题,因为它要求提取器能够捕获局部和全局图像上下文,以确定每个骨架像素的内在尺度。现有的方法依赖于基于像素的多尺度特征计算,这导致建模困难和高时间消耗。在本文中,我们提出了一个具有多个尺度相关侧输出的全卷积网络来解决这个问题。通过观察网络中连续阶段的感受野大小与它们可以捕获的骨架尺度之间的关系,我们为每个阶段引入了一个与尺度相关的侧输出。我们通过将与尺度相关的侧输出引导到不同尺度的地面实况骨架来对不同的阶段进行监督。多个尺度相关侧输出的响应然后以尺度特定的方式融合以有效地定位具有多个尺度的骨架像素。我们的方法在两个骨架提取数据集上取得了令人满意的结果,并显着优于其他竞争对手。
2016-04-06 cs.CV
FastOcc: Accelerating 3D Occupancy Prediction by Fusing the 2D Bird's-Eye View and Perspective View
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Mogo Auto Intelligence and Telematics Information Technology Co., Ltd(摩国汽车智能与远程信息处理信息技术有限公司);Faculty of Information Technology, Beijing University of Technology(北京工业大学信息学部);Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University(复旦大学脑智能科学与技术研究院)
针对3D占用预测推理速度不足的问题,本文提出FastOcc,用融合2D BEV与3D体素特征的类残差预测头替代3D卷积,并在Occ3D-nuScenes上实现精度与速度的先进水平。
2024-03-05 cs.CV cs.RO
Generative Convolution Layer for Image Generation
Chungbuk National University Hospital(忠北国立大学医院);Hannam University(韩南大学)
本文介绍了一种新的卷积方法,称为生成卷积(GConv),这是一个简单而有效的提高生成对抗网络(GAN)的性能。与标准卷积不同,GConv首先选择与给定的潜在向量兼容的有用内核,然后线性组合所选内核以生成特定于潜在向量的内核。该方法使用特定于潜在特征的核函数生成特定于潜在特征的特征,从而鼓励生成器生成高质量的图像。这种方法很简单,但令人惊讶的有效。首先,GAN的性能得到了显著的提高,而增加了一点硬件成本。其次,GConv可以用于现有的最先进的发电机,而无需修改网络架构。为了揭示GConv的优越性,本文使用各种标准数据集(包括CIFAR-10,CIFAR-100,LSUN-Church,CelebA和tiny-ImageNet)进行了广泛的实验。定量评估表明,GConv显着提高了无条件和条件GANs的性能方面的初始得分(IS)和Frechet初始距离(FID)。例如,该方法将tiny-ImageNet数据集上的FID和IS分数分别从35.13提高到29.76和20.23提高到22.64。
2021-11-30 cs.CV
Fusing Multi-Stream Deep Networks for Video Classification
Fudan University(复旦大学);East China Normal University(华东师范大学)
本文研究了深度网络架构来解决视频分类问题。提出了一种多流框架,以充分利用视频中丰富的多模态信息。具体来说,我们首先训练三个卷积神经网络,分别对空间、短期运动和音频线索进行建模。长短期记忆网络,然后采用探索长期的时间动态。利用各个流的输出,我们提出了一种简单有效的融合方法来生成最终预测,其中每个类的最佳融合权重是自适应学习的,并且通过自动估计类关系来正则化学习过程。我们的贡献是双重的。首先,所提出的多流框架能够利用比以前尝试的更全面的多模态特征。其次,我们证明了自适应融合方法使用的类关系作为正则化优于传统的替代品,估计的权重在一个“自由”的方式。我们的框架在两个流行的基准测试中产生了比最先进的结果更好的结果,在UCF-101(不使用音频)上为92.2%,在哥伦比亚消费者视频上为84.9%。
2015-11-11 cs.CV cs.MM
Inferring latent neural sources via deep transcoding of simultaneously acquired EEG and fMRI
Columbia University(哥伦比亚大学)
同步脑电功能磁共振成像是一种多模态神经成像技术,提供互补的空间和时间分辨率。Cherking一直在开发用于融合模态的原则性和可解释的方法,特别是能够推断代表神经活动的潜在源空间的方法。在本文中,我们解决这个推理问题的框架内的转码-映射从一个特定的编码(模态)的解码(潜在的源空间),然后编码的潜在的源空间的其他模态。具体来说,我们开发了一种对称的方法,包括一个循环卷积转码器,转码EEG功能磁共振成像,反之亦然。在没有血液动力学响应函数或导联场矩阵的任何先验知识的情况下,完整的数据驱动方法利用模态与潜在源空间之间的时间和空间关系来学习这些映射。我们量化,对于模拟和真实的脑电图功能磁共振成像数据,以及如何从一个到另一个以及恢复的源空间,所有看不见的数据进行评估的方式可以转码。除了能够以一种新的方式对称地推断潜在的源空间之外,该方法还可以被视为低成本的计算神经成像-即从“低成本”EEG数据生成“昂贵”的fMRI BOLD图像。
2022-11-27 cs.AI cs.CV cs.LG
Self-localization on a 3D map by fusing global and local features from a monocular camera
Meijo University(名古屋大学)
本研究提出结合CNN与视觉Transformer的方法,提升单目相机在动态障碍物环境下的3D地图自定位精度。
2025-12-18 cs.CV cs.RO
Bimodal SegNet: Instance Segmentation Fusing Events and RGB Frames for Robotic Grasping
Faculty of Science, Engineering and Computing, Kingston University(科学、工程与计算学院,金斯顿大学);Aerospace Engineering Department, Khalifa University of Science and Technology(航空航天工程系,哈利法大学科技学院);Dubai Future Labs - RLab(迪拜未来实验室-RLab)
双模SegNet通过融合事件和RGB帧数据,提升机器人抓取中动态环境下物体分割的准确率。
2025-12-08 cs.CV
Enhancing, Refining, and Fusing: Towards Robust Multi-Scale and Dense Ship Detection
School of Integrated Circuits and Electronics, Beijing Institute of Technology(北京理工大学集成电路与电子学院)
针对SAR图像中复杂背景、密集目标和尺度变化问题,提出CASS-Det框架,通过CEM、NAM和CC-FPN增强中心、精炼边界并融合多尺度特征,在三个数据集上达到最先进检测性能。
2025-01-10 cs.CV
A 3D mesh convolution-based autoencoder for geometry compression
Telecom SudParis, Institut Polytechnique de Paris(巴黎理工学院南巴黎电信学院);Keyrus
本文提出一种基于3D网格卷积的自编码器,用于高效压缩不规则网格数据,通过直接学习网格特征提升几何重建和潜在空间分类性能。
2026-03-02 cs.CV
Generative AI Model for Artistic Style Transfer Using Convolutional Neural Networks
本文提出一种基于卷积神经网络的生成式AI艺术风格迁移方法,通过分离并操控深度图像表示中的内容与风格,结合损失计算与优化,实现高质量、和谐且通用的风格迁移合成。
2023-10-30 cs.CV cs.HC
SpACNN-LDVAE: Spatial Attention Convolutional Latent Dirichlet Variational Autoencoder for Hyperspectral Pixel Unmixing
Birla Inst. of Tech. & Sci. Pilani(比拉理工学院皮拉尼分校);Ontario Tech University(安大略理工大学)
本文提出SpACNN-LDVAE模型,通过空间注意力卷积网络扩展LDVAE,在高光谱像素解混中利用局部空间上下文,提升端元提取与丰度估计精度。
2024-05-24 cs.CV cs.LG eess.IV
CALM-PDE: Continuous and Adaptive Convolutions for Latent Space Modeling of Time-dependent PDEs
Machine Learning and Simulation Lab(机器学习与仿真实验室);Institute for Artificial Intelligence(人工智能研究所);University of Stuttgart(斯图加特大学);International Max Planck Research School for Intelligent Systems (IMPRS-IS)(智能系统国际马克斯·普朗克研究学校);Stuttgart Center for Simulation Science (SimTech)(斯图加特模拟科学中心)
CALM-PDE提出连续自适应卷积的编码器-解码器架构,在压缩潜空间中高效求解任意离散化的含时偏微分方程,兼顾内存与推理效率,性能优于或媲美基线。
2025-10-23 cs.AI cs.CV cs.LG
Relighting as a Probe of Visual Priors via Augmented Latent Intrinsics
UvA-Bosch Delta Lab, University of Amsterdam, Amsterdam, Netherlands(乌得勒支大学阿姆斯特丹分校博世Delta实验室);The University of Chicago, Chicago, USA(芝加哥大学);Johns Hopkins University, Baltimore, USA(约翰霍普金斯大学)
提出增强潜在本征属性(ALI)方法,融合密集像素对齐视觉特征到潜在本征重光照模型,平衡语义与光度保真度,提升复杂材质重光照质量。
2026-06-19 cs.CV
Multi-View Graph Convolutional Network and Its Applications on Neuroimage Analysis for Parkinson's Disease
Weill Cornell Medical College, Cornell University(康奈尔大学威尔康奈尔医学院);University of Connecticut(康涅狄格大学);Feinberg School of Medicine, Northwestern University(西北大学范伯格医学院);Michigan State University(密歇根州立大学)
帕金森病(PD)是影响数千万美国人的最普遍的神经退行性疾病之一。PD是高度进行性和异质性的。近年来,使用临床和生物标志物数据进行了相当多的PD预测或疾病进展建模研究。神经影像学作为神经退行性疾病的另一重要信息源,也引起了PD界的极大兴趣。在本文中,我们提出了一种基于图卷积网络(GCN)的深度学习方法,用于在关系预测中融合多种模式的脑图像,这对于区分PD病例和对照是有用的。在帕金森病进展标志物倡议(PPMI)队列中,我们的方法实现了$0.9537\pm 0.0587$ AUC,而传统方法(如PCA)实现了$0.6443\pm 0.0223$ AUC。
2019-05-07 cs.CV
A lightweight deep learning based cloud detection method for Sentinel-2A imagery fusing multi-scale spectral and spatial features
云是影响光学遥感图像可用性的一个非常重要的因素。最近,基于深度学习的云检测方法已经超过了基于规则和云的物理模型的经典方法。然而,大多数这些深层模型都非常大,这限制了它们的适用性和可解释性,而其他模型没有利用多光谱图像(如Sentinel-2)中的全光谱信息。在本文中,我们提出了一个轻量级的云检测网络,融合了多尺度光谱和空间特征(CDFM 3SF),并为处理Sentinel- 2A图像中的所有光谱波段而量身定制。所提出的方法包括一个编码器和一个解码器。在编码器中,三个输入分支被设计为处理光谱带在其原生分辨率和提取多尺度光谱特征。设计了三个新的组件:一个混合的深度可分离卷积(MDSC)和一个共享和扩张的残差块(SDRB)提取多尺度空间特征,和一个级联和求和(CS)操作融合多尺度光谱和空间特征,计算量小,没有额外的参数。CD-FM 3SF解码器输出与输入波段相同分辨率的3个云模板,增强了小、中、大云的监控信息。为了验证所提出的方法的性能,我们手动标记了36个均匀分布在中国大陆的Sentinel-2A场景。实验结果表明,CD-FM 3SF在准确性和速度方面优于传统的云检测方法和最先进的基于深度学习的方法。
2021-04-29 cs.CV eess.IV