On the Exploration of Convolutional Fusion Networks for Visual Recognition
Leiden University(莱顿大学)
尽管最近在多尺度深度表示方面取得了进展,但它们的局限性归因于昂贵的参数和弱融合模块。因此,我们提出了一种有效的方法来融合多尺度深度表示,称为卷积融合网络(CFN)。由于使用了1 $\times$ 1卷积和全局平均池,CFN可以有效地产生侧分支,而添加很少的参数。此外,我们提出了一个局部连接的融合模块,它可以学习自适应权重的侧分支,并形成一个有区别的融合功能。在CIFAR和ImageNet数据集上训练的CFN模型与普通CNN相比表现出显着的改进。此外,我们推广CFN三个新的任务,包括场景识别,细粒度识别和图像检索。实验结果表明,该方法能对迁移任务取得一致的改进。
2016-11-16 cs.CV
Entropy Decision Fusion for Smartphone Sensor based Human Activity Recognition
人类活动识别在构建连续行为监测系统中起着重要作用,这些系统可用于视觉监控,患者康复,游戏,甚至个人倾向的灵巧家庭。本文展示了我们的努力,以开发一个协作决策融合机制,集成的预测分数从多个学习算法训练智能手机传感器基于人类活动数据。提出了一种融合卷积神经网络、递归卷积网络和支持向量机的方法,通过计算和融合基于Tsallis熵的各个分类器的相对加权得分来提高人体活动识别性能。为了评估这种方法的适用性,实验进行了两个基准数据集,UCI-HAR和WISDM。使用所提出的方法获得的识别结果与现有的方法。
2020-05-30 cs.CV
IFR: Iterative Fusion Based Recognizer For Low Quality Scene Text Recognition
Shanghai Institute for Advanced Communication and Data Science, Shanghai University(上海大学上海先进通信与数据科学研究院)
尽管最近基于深度学习的工作在提高场景文本识别的识别精度方面取得了进展,但如何在端到端深度网络中处理低质量的文本图像仍然是一个研究挑战。在本文中,我们提出了一个基于迭代融合的识别器(IFR)低质量的场景文本识别,利用精细的文本图像输入和强大的特征表示。IFR包含两个分支,分别专注于场景文本识别和低质量场景文本图像恢复。我们利用两个分支之间的迭代协作,可以有效地减轻低质量输入的影响。提出了一个特征融合模块,将识别器的特征与图像复原分支进行融合,增强了两个分支的特征表达能力。在不改变识别网络结构的情况下,大量的定量和定性实验结果表明,该方法在提高基准数据集和TextZoom数据集中低分辨率图像的识别准确率方面明显优于基线方法。
2021-08-13 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University(东国大学)
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中,我们提出了一种多模态的面部表情识别方法,利用音频信息以及面部图像提供了一个重要的线索,以区分一些模糊的面部表情。具体来说,我们引入了模态融合模块(MFM)融合视听信息,其中图像和音频特征提取Swin Transformer。此外,我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为(ABAW)挑战中进行了评估。
2023-03-19 cs.CV
Interactive Fusion of Multi-level Features for Compositional Activity Recognition
Nanjing University of Science and Technology(南京理工大学);Huawei Inc.(华为公司)
为了理解一个复杂的动作,需要整合多个信息源,包括外观、位置和语义特征。然而,由于这些特征在模态和维度上往往存在显著差异,因此难以融合。在本文中,我们提出了一个新的框架,实现这一目标的交互式融合,即在不同的空间投影功能,并指导它使用辅助预测任务。具体来说,我们实现了三个步骤,即位置到外观特征提取,语义特征交互,语义到位置的预测框架。我们在两个动作识别数据集上评估了我们的方法,Something-Something和Charades。交互式融合实现了一致的精度增益,超越了现成的动作识别算法。特别是,在Something-Else上,Something-Something的组成设置,交互式融合报告在前1精度方面获得了2.9%的显着增益。
2020-12-10 cs.CV
LiCAF: LiDAR-Camera Asymmetric Fusion for Gait Recognition
Huazhong University of Science and Technology(华中科技大学)
针对现有步态识别多模态融合方法忽略模态特性、缺乏细粒度融合与时序建模的问题,提出采用非对称建模策略的LiCAF网络,通过ACCA和ICTM实现精准融合与时序建模,在SUSTech1K数据集上取得SOTA性能。
2024-06-18 cs.CV
DS_FusionNet: Dynamic Dual-Stream Fusion with Bidirectional Knowledge Distillation for Plant Disease Recognition
Yunnan Normal University(云南师范大学)
本文提出DS_FusionNet,通过双骨干架构、可变形动态融合模块和双向知识蒸馏,在仅用10% PlantDisease和CIFAR-10数据时实现超90%准确率,并在PlantWild上保持85%准确率,有效解决小样本、遮挡、光照变化和类间相似度高等植物病害识别难题。
2025-07-05 cs.CV
Next Level of Data Fusion for Human Face Recognition
Tripura University(特里普拉大学);Jadavpur University(贾达普大学)
本文演示了两种不同的融合技术在两个不同层次的人脸识别过程。第一个是在较低层次上的数据融合,第二个是在识别过程结束时的决策融合。首先对可见光图像和相应的热图像进行数据融合,生成融合图像。通过Daubechies小波系数(db2)分解后的图像在小波域中实现数据融合。在数据融合过程中,将近似系数的最大值与其他三个细节系数合并在一起。然后对融合后的系数进行主成分分析(PCA),最后分别采用多层感知器(MLP)和径向基函数(RBF)两种不同的人工神经网络对图像进行分类。在此之后,决策融合的决策,从两个分类器结合在一起,使用贝叶斯公式。对于实验,IRIS热/可见人脸数据库已被使用。实验结果表明,多分类器系统与决策融合的性能优于单分类器系统。
2011-06-17 cs.CV
Three-Stream Fusion Network for First-Person Interaction Recognition
Korea University(高丽大学)
第一人称交互识别是一项具有挑战性的任务,因为不稳定的视频条件所造成的相机佩戴者的运动。针对第一人称视角下的人机交互识别问题,提出了一种三流融合网络,该网络由三流结构和三流相关融合两部分组成。三码流结构捕捉目标外观,目标运动和摄像机自我运动的特性。同时,三个流的相关融合结合的特征图的三个流中的每一个考虑之间的相关性的目标外观,目标运动和摄像机自我运动。融合后的特征向量对摄像机运动具有鲁棒性,并能补偿摄像机自运动噪声。使用融合的特征向量对短期间隔进行建模,并且长短期记忆(LSTM)模型考虑视频的时间动态。我们在两个公共基准数据集上对所提出的方法进行了评估,以验证我们的方法的有效性。实验结果表明,所提出的融合方法成功地生成了一个有区别的特征向量,我们的网络在第一人称视频中的表现优于所有竞争活动识别方法,其中发生了相当大的相机自我运动。
2020-02-19 cs.CV
Learning Unit State Recognition Based on Multi-channel Data Fusion
尽管MOOC最近取得了进展,但目前的电子学习系统具有减轻教师和学生之间的时间差异和地理空间分离的障碍的优势。然而,一直存在“缺乏监督”的问题,网络学习者的学习单元状态(LUS)不能自动监督。在本文中,我们提出了一个融合框架,考虑三个通道的数据源:1)视频/图像从相机,2)眼动信息跟踪的低分辨率眼动仪和3)鼠标运动。基于这些数据模态,我们提出了一种新的多通道数据融合的方法来探索学习单元的状态识别。我们还提出了一种方法来建立一个学习状态识别模型,以避免手动标记图像数据。在我们设计的在线学习原型系统上进行了实验,选择CART、随机森林和GBDT回归模型对网络学习者的学习状态进行预测。结果表明,多通道数据融合模型比单通道模型具有更好的识别性能。此外,当融合图像、眼球运动和鼠标运动特征时,可以达到最佳的识别性能。
2018-05-25 cs.CV
Fusion of Minutia Cylinder Codes and Minutia Patch Embeddings for Latent Fingerprint Recognition
Havelsan Incorporation(哈维桑公司)
针对潜指纹因变形和伪影导致识别率低的问题,提出多阶段融合手工细节特征与深度神经网络嵌入特征的局部匹配方法,显著提升了真实数据集上的rank-1识别准确率。
2024-03-24 cs.CV
FusionAgent: A Multimodal Agent with Dynamic Model Selection for Human Recognition
Michigan State University(密歇根州立大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
FusionAgent通过动态模型选择提升人体识别鲁棒性,利用多模态大语言模型进行样本特定的模型选择,结合ACT分数融合方法,实验表明其在效率和性能上优于现有方法。
2026-03-27 cs.CV
Classifier Fusion Method to Recognize Handwritten Kannada Numerals
PES Institute of Technology(PES理工学院);PES School of Engineering(PES工程学院)
光学字符识别(OCR)是图像处理和模式识别领域的重要研究方向之一。手写体字符识别一直是一个具有挑战性的任务。在识别南印度语言的手写字符方面,只有很少的工作可以追溯到。卡纳达语是一种这样的南印度语言,也是印度的官方语言之一。由于卡纳达语字符之间的高度相似性,卡纳达语字符的准确识别是一项具有挑战性的任务。因此,要提取高质量的特征,需要更好的分类器来提高卡纳达语字符OCR的准确性。本文探讨了游程计数(RLC)和方向链码(DCC)等特征提取方法在手写体卡纳达数字识别中的有效性。本文提出了一种分类器融合的方法来提高识别率。对于分类器融合,我们考虑了K-最近邻(KNN)和线性分类器(LC)。该方法的新颖之处在于采用分类器融合的方法,以较少的特征获得更好的分类精度。该方法的平均识别率达到96%。
2013-01-02 cs.CV
EPIC-Fusion: Audio-Visual Temporal Binding for Egocentric Action Recognition
University of Bristol(布里斯托大学);University of Oxford(牛津大学)
我们专注于多模态融合的自我中心的动作识别,并提出了一种新的架构,多模态的时间绑定,即在一定范围内的时间偏移量的模态的组合。我们训练的架构与三个模态- RGB,流和音频-并将它们与中间级融合一起融合表示的稀疏时间采样。与以前的作品相比,模态融合之前的时间聚合,随着时间的推移共享的模态和融合权重。我们提出的架构是端到端训练的,优于单个模态以及模态的后期融合。我们证明了音频在以自我为中心的视觉中的重要性,在每类的基础上,识别动作以及交互对象。我们的方法在最大的以自我为中心的数据集:EPIC-Kitterfly的可见和不可见测试集上实现了最先进的结果,使用公共排行榜的所有指标。
2019-08-22 cs.CV
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University(复旦大学);University of Oxford(牛津大学)
人类可以很容易地识别动作,只有几个例子,而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣,在Few-Shot视频动作识别,其目的是学习新的动作,只有很少的标记样本。在本文中,我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别,这是被称为AMeFu-Net。具体来说,我们从三个方面解决了Few-Shot识别问题:首先,通过引入深度信息作为场景的载体,为模型带来额外的视觉信息,从而缓解了这一数据极度匮乏的问题;其次,我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合,第三,提出了一种新的深度引导自适应实例归一化(DGAdaIN)融合模块,有效地融合了两个流模态。此外,为了更好地模仿Few-Shot识别过程,我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion Recognition
University of Science and Technology of China(中国科学技术大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
基于音视频的情感识别的目的是将给定的视频分类为基本情感。在本文中,我们描述了我们在2019年的方法,主要探讨了音频和视觉模态的情感特征和特征融合策略。对于情感特征,我们使用语音谱图和Log Mel谱图来探索音频特征,并使用不同的CNN模型和不同的情感预训练策略来评估几个面部特征。在融合策略方面,我们探索了模态内和跨模态融合的方法,如设计注意力机制突出重要的情感特征,探索了跨模态特征融合的特征拼接和因子化双线性池(FBP)。经过仔细评估,我们在AFEW验证集上获得了65.5%,在测试集上获得了62.48%,在挑战中排名第三。
2020-12-27 cs.CV
Fusion of Wavelet Coefficients from Visual and Thermal Face Images for Human Face Recognition - A Comparative Study
Tripura University(特里普拉大学);Jadavpur University(贾达沃普尔大学)
在本文中,我们提出了一个比较研究的融合视觉和热图像使用不同的小波变换。在这里,从视觉和热图像的离散小波变换的系数分别计算和组合。然后对融合后的人脸图像进行离散小波逆变换,得到融合后的人脸图像。Haar和Daubechies(db2)小波变换已被用来比较识别结果。对于实验,使用IRIS热/视觉人脸数据库。使用Haar和Daubechies小波的实验结果表明,这里提出的方法的性能在许多情况下达到100%的最大成功率。
2010-07-05 cs.CV
Very Low-Resolution Iris Recognition Via Eigen-Patch Super-Resolution and Matcher Fusion
Halmstad University(哈尔姆斯塔德大学);University of Malta(马耳他大学)
目前虹膜识别的研究正朝着实现更宽松的采集条件的方向发展。这对所获取图像的质量有影响,其中低分辨率是主要问题。在这里,我们评估了一个超分辨率算法用于重建虹膜图像的基础上的特征变换的局部图像补丁。每个补丁分别重建,允许更好的质量增强图像通过保留局部信息。对比度增强用于提高重建质量,匹配器融合用于提高虹膜识别性能。我们使用1,872个近红外虹膜图像的数据库来验证该系统。所提出的方法优于双线性或双三次插值,特别是在较低的分辨率下,并且两个系统的融合将下采样因子的EER推到5%以下,图像大小仅为13 x13。
2022-10-18 cs.CV
MANet: Multimodal Attention Network based Point- View fusion for 3D Shape Recognition
三维形状识别作为三维视觉研究的一个重要课题,受到了越来越多的关注。3D数据的激增鼓励了基于3D数据的各种深度学习方法。现在已经有许多基于点云数据或多视图数据的深度学习模型。然而,在大数据时代,整合两种不同模态的数据以获得统一的3D形状描述符势必会提高识别精度。因此,本文提出了一种基于多模态注意力机制的融合网络用于三维形状识别。考虑到多视点数据的局限性,提出了一种软注意方案,利用全局点云特征对多视点特征进行过滤,实现了两种特征的有效融合。更具体地说,我们通过挖掘每个多视图图像对整体形状识别的贡献来获得增强的多视图特征,然后融合点云特征和增强的多视图特征以获得更具鉴别力的3D形状描述符。在ModelNet40数据集上进行了相关实验,实验结果验证了该方法的有效性。
2020-02-28 cs.CV
AdaFuse: Adaptive Temporal Fusion Network for Efficient Action Recognition
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);Microsoft(微软);Boston University(波士顿大学)
时间建模是高效视频动作识别的关键。虽然理解时间信息可以提高动态动作的识别精度,但去除时间冗余和重用过去的特征可以显着节省计算,从而实现高效的动作识别。在本文中,我们介绍了一个自适应的时间融合网络,称为Adaetron,动态融合通道,从当前和过去的特征映射强大的时间建模。具体来说,来自历史卷积特征图的必要信息与当前修剪的特征图融合,目标是提高识别准确性和效率。此外,我们使用一个跳跃操作,以进一步减少动作识别的计算成本。在Something V1 & V2,Jester和Mini-Kinetics上的大量实验表明,我们的方法可以实现约40%的计算节省,并且与最先进的方法具有相当的精度。该项目的页面可以在https://mengyuest.github.io/AdaFuse/上找到
2021-02-10 cs.CV
Fast and Robust Dynamic Hand Gesture Recognition via Key Frames Extraction and Feature Fusion
University of Trento(特伦托大学);Peking University(北京大学);Lingxi Artificial Intelligence Co., Ltd(灵汐人工智能有限公司)
手势识别是计算机视觉和模式识别领域的一个研究热点,在自然人机界面中起着至关重要的作用。虽然近年来取得了很大的进展,快速和鲁棒的手势识别仍然是一个开放的问题,因为现有的方法没有很好地平衡的性能和效率同时。为了弥补这一不足,本文结合图像熵和密度聚类,利用手势视频中的关键帧进行进一步的特征提取,提高了识别效率。此外,还提出了一种特征融合策略,进一步改善了特征表示,提高了识别性能。为了在“野生”环境中验证我们的方法,我们还引入了两个新的数据集,称为HandGesture和HandGesture 3D数据集。实验一致表明,我们的策略在西北大学,剑桥,HandGesture和3D手势数据集上取得了有竞争力的结果。我们的代码和数据集将在https://github.com/Ha0Tang/HandGestureRecognition上发布。
2019-01-15 cs.CV
Score-level Multi Cue Fusion for Sign Language Recognition
Boğaziçi University(博阿兹奇大学);Computer Engineering Department(计算机工程系)
手语是通过手和上半身的手势以及面部表情来表达的。因此,手语识别(SLR)需要关注所有这些线索。以前的工作使用手工制作的机制或网络聚合来提取不同的线索特征,以提高SLR的性能。这是缓慢的,涉及复杂的架构。我们提出了一种更直接的方法,专注于训练单独的线索模型,专门用于优势手,手,脸和上身区域。我们比较了专门用于这些区域的3D卷积神经网络(CNN)模型的性能,通过分数级融合将它们结合起来,并使用加权替代方案。我们的实验结果表明了混合卷积模型的有效性。他们的融合产生高达19%的精度提高基线使用整个上身。此外,我们还包括对融合设置的讨论,这可以帮助未来的手语翻译工作。
2020-09-29 cs.CV
Action Recognition based on Subdivision-Fusion Model
Queen Mary, University of London(伦敦玛丽女王大学)
提出了一种新的细分融合模型(SFM)来识别人体动作。在大多数动作识别任务中,重叠的特征分布是导致过拟合的常见问题。在细分阶段的建议SFM,在每个类别中的样本进行聚类。然后,这些样本被分组为多个更集中的子类别。子范畴的边界更容易找到,因此避免了过拟合。在后续的融合阶段,多子类分类结果被转换回原始类别识别问题。提供了两种确定聚类数的方法。该模型已被彻底测试与四个流行的数据集。在Hollywood2数据集中,准确率达到79.4%,优于最先进的64.3%的准确率。YouTube Action数据集的性能从75.8%提高到82.5%,而KTH和UCF50数据集的性能也有很大的提高。
2015-08-18 cs.CV
A Multimodal Fusion Network For Student Emotion Recognition Based on Transformer and Tensor Product
Stevens Institute of Technology(史蒂文斯理工学院);University of Southern California(南加州大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出基于Transformer和张量积融合的多模态模型,结合BERT文本与ViT图像向量识别学生心理状况,准确率达93.65%,优于CLIP和ViLBERT。
2024-11-16 cs.CV
Ear Recognition With Score-Level Fusion Based On CMC In Long-Wave Infrared Spectrum
Istanbul Technical University(伊斯坦布尔理工大学)
在长波红外波段的人耳识别方面的研究很少。因此,我们建立了基于长波红外波段的人耳数据库。我们称之为长波红外波段MIDAS数据库,包括81个主题的2430条记录。热带提供了无缝的操作,无论是晚上和白天,鲁棒的欺骗与理解活耳和不变的照明条件,人耳识别。我们已经提出使用不同的算法来揭示不同的特征。然后,我们使用子空间方法减少了维数。最后,根据分类器方法对数据进行降维。在此之后,通过最佳得分或将一些最佳得分与匹配融合相结合来确定决策。结果表明,融合技术是成功的。我们已经达到了97.71%的秩-1与567测试探针。此外,我们还定义了最佳秩,即在累积匹配曲线上识别率达到100%时的秩数。这种评估对于法医学特别重要,例如尸体鉴定、刑事调查等。
2018-01-27 cs.CV
Leveraging TCN and Transformer for effective visual-audio fusion in continuous emotion recognition
Chinatelecom Cloud(天翼云科技有限公司)
本文提出一种结合TCN和Transformer的多模态融合模型,有效整合视觉与音频信息以提升连续情感识别准确率,在ABAW竞赛的表情分类挑战中优于基线并获第3名。
2023-09-06 cs.CV
Feature Representation Learning with Adaptive Displacement Generation and Transformer Fusion for Micro-Expression Recognition
Wuhan University(武汉大学);Meta Reality Labs(Meta现实实验室);OPPO US Research Center, InnoPeak Technology Inc(OPPO美国研究中心,InnoPeak科技公司);FiberHome Telecommunication Technologies Co., Ltd(烽火通信科技股份有限公司)
针对微表情识别中目标特征学习与高效融合不足的问题,提出FRL-DGT框架,利用自适应位移生成模块提取动态特征,并结合Transformer融合机制提取多层次信息特征,实验证明其优于现有方法。
2023-04-10 cs.CV
CMFN: Cross-Modal Fusion Network for Irregular Scene Text Recognition
Intelligent Software Research Center, Institute of Software Chinese Academy of Sciences(中国科学院软件研究所智能软件研究中心);University of Chinese Academy of Sciences(中国科学院大学);The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统认知与决策智能实验室);State Key Laboratory of Computer Science, Institute of Software Chinese Academy of Sciences(中国科学院软件研究所计算机科学国家重点实验室)
针对不规则场景文本识别中语义挖掘忽视视觉线索的问题,本文提出CMFN,通过位置自增强编码器、视觉识别分支及带跨模态融合门的迭代语义分支融合视觉与语义信息,达到与SOTA相当的性能。
2024-01-18 cs.CV
Image Pixel Fusion for Human Face Recognition
Tripura University(特里普拉大学);Jadavpur University(jadavpur大学)
本文提出了一种基于图像像素融合方法的光学和热成像人脸图像融合技术。在视觉图像的情况下,在影响面部识别性能的几个因素中,照明变化是需要解决的重要因素。热图像在处理光照条件方面更好,但在捕捉面部纹理细节方面并不十分一致。其他因素,如太阳镜,胡子,胡子等也发挥积极作用,增加复杂的识别过程。热图像和视觉图像的融合是克服单独的热图像和视觉面部图像中存在的缺点的解决方案。在这里,融合图像被投影到特征空间中,并且使用径向基函数(RBF)神经网络以及多层感知器(MLP)对投影图像进行分类。在实验中,已使用的热和视觉人脸图像的对象跟踪和分类超可见光谱(OTCBVS)数据库基准。实验结果表明,该方法在识别人脸图像时,RBF神经网络和MLP的成功率分别为96%和95.07%。
2010-07-05 cs.CV
Recurrent Convolutional Fusion for RGB-D Object Recognition
Automation and Control Institute (ACIN), TU Wien(维也纳技术大学自动化与控制研究所);Italian Institute of Technology(意大利理工学院)
为机器提供像人类一样识别物体的能力一直是机器视觉的主要目标之一。RGB-D相机的推出为这一方向的重大飞跃铺平了道路,这要归功于这些传感器提供的丰富信息。然而,机器视觉社区仍然缺乏一种有效的方法来协同使用RGB和深度数据来提高对象识别。为了朝着这个方向迈出一步,我们引入了一种用于RGB-D对象识别的新型端到端架构,称为递归卷积融合(RCFusion)。我们的方法通过结合互补RGB和代表不同抽象级别的深度信息来生成紧凑且具有高度区分力的多模态特征。在两个流行的数据集RGB-D Object Dataset和JHUIT-50上进行的大量实验表明,RCFusion在对象分类和实例识别任务中的性能明显优于最先进的方法。
2019-02-24 cs.CV
Feature-level and Model-level Audiovisual Fusion for Emotion Recognition in the Wild
University of South Carolina(南卡罗来纳大学);Innopeak Technology Inc.(Innopeak科技公司);Sigma Technologies(12西格玛科技公司);JD.com, Inc.(京东集团);University of Washington Bothell(华盛顿大学博塞尔分校)
情感识别在人机交互中起着重要的作用,并且已经被广泛研究了几十年。虽然已经取得了巨大的进步,提出的表情,识别人类的情感在“接近现实世界”的环境仍然是一个挑战。在本文中,我们提出了两种策略来融合从不同模态提取的信息,即,音频和视频具体来说,我们利用LBP-TOP(CNN的集成)和双向LSTM(BLSTM)从视觉通道中提取特征,并利用OpenSmile工具包从音频通道中提取特征。两种融合方法,即,特征级融合和模型级融合,开发利用从两个通道中提取的信息。在ECOTIW 2018 AFEW数据集上的实验结果表明,所提出的融合方法明显优于基线方法,并且与最先进的方法相比,实现了更好或至少相当的性能,其中模型级融合在其中一个通道完全失败时表现更好。
2019-06-06 cs.CV
Employing Fusion of Learned and Handcrafted Features for Unconstrained Ear Recognition
University of South Florida(南佛罗里达大学);Federal University of Bahia(巴伊亚联邦大学)
我们提出了一个不受约束的人耳识别框架,在不同的公开可用的图像数据库中的性能优于最先进的系统。为此,我们开发了基于CNN的耳标准化和描述解决方案,我们使用了众所周知的手工描述符,并融合了学习和手工特征以提高识别率。我们设计了一个两阶段的地标检测器,成功地在未经训练的情况下工作。我们使用生成的结果来执行几何图像归一化,从而提高了所有评估描述符的性能。我们的CNN描述符优于文献中其他基于CNN的作品,特别是在更困难的情况下。学习和手工制作的匹配器的融合似乎是互补的,因为它在所有实验中取得了最佳性能。所获得的结果优于UERC挑战的所有其他报告结果,其中包含当今最困难的数据库。
2017-10-20 cs.CV
Hybrid Approach to Face Recognition System using Principle component and Independent component with score based fusion process
JJT University(JJT大学);GRMECT Research Center(GRMECT研究中心)
混合方法在人脸识别系统中具有特殊的地位,它将不同的识别方法以串行或并行的方式结合起来,以克服单个方法的缺点。本文探讨了该地区的混合人脸识别使用分数为基础的战略组合器/融合过程。在所提出的方法中,识别系统在两种模式下运行:训练和分类。训练模式涉及人脸图像(训练集)的归一化,使用主成分分析(PCA)和独立成分分析(ICA)提取适当的特征。然后,使用反向传播神经网络(BPNN)并行训练提取的特征,以将特征空间划分为不同的人脸类别。在分类模式中,训练好的PCA BPNN和ICA BPNN被输入新的人脸图像。基于得分的策略作为一个组合器,适用于PCA BPNN和ICA BPNN的结果,根据在训练模式中获得的人脸类别对给定的新人脸图像进行分类。在ORL等人脸库上进行了实验,实验结果表明,该方法比使用单一特征提取器的人脸识别系统具有更高的准确率。
2014-01-02 cs.CV
Semi-Coupled Two-Stream Fusion ConvNets for Action Recognition at Extremely Low Resolutions
Boston University(波士顿大学)
深度卷积神经网络(ConvNets)最近被证明在标准分辨率视频的动作识别方面具有最先进的性能。然而,很少关注极低分辨率(eLR)下的识别性能(例如,16 x 12像素)。使用eLR相机的可靠动作识别将解决各种应用环境中的隐私问题,如私人住宅,医院,护理/康复设施等。在本文中,我们提出了一个半耦合滤波器共享网络,利用高分辨率(HR)视频在训练过程中,以协助eLR ConvNet。我们还研究了融合为eLR视频定制的空间和时间ConvNets的方法,以利用外观和运动信息。我们的方法在IXMAS(93.7%)和HMDB(29.2%)数据集上的极低分辨率下优于最先进的方法。
2018-10-05 cs.CV
Chinese Herbal Recognition based on Competitive Attentional Fusion of Multi-hierarchies Pyramid Features
South China University of Technology(华南理工大学)
卷积神经网络(CNN)已成功应用于图像识别任务。本研究首先探索了基于神经网络的中药自动识别方法,并建立了标准的中药数据集。针对中药图像的特点,提出了竞争注意力融合金字塔网络模型,从不同层次上对中药图像的特征映射关系进行建模,并采用通道级注意力机制对多级通道进行重新加权。通过这种方式,我们可以根据每个草药图像的视觉特征动态地调整来自各个层的特征图的权重。此外,我们还引入了空间注意力来重新校准的采样造成的特征融合的失调。在我们提出的数据集上进行了大量的实验,并验证了我们提出的模型的优越性能。中草药数据集将在验收后发布,以促进中草药识别的研究。
2018-12-23 cs.CV
SAFCAR: Structured Attention Fusion for Compositional Action Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个一般的框架组成的动作识别-即动作识别的标签组成的更简单的组件,如主体,原子动作和对象。组合动作识别的主要挑战是,有一个组合的可能的动作,可以使用基本组件组成的大集合。然而,组合性也提供了一个可以利用的结构。为此,我们开发并测试了一种新的结构化注意力融合(SAF)的自我注意力机制,结合信息从目标检测,捕捉的动作的时间序列结构,与视觉线索,捕捉上下文信息。我们表明,我们的方法比当前最先进的系统更有效地识别新的动词-名词组合物,并且它可以从只有少数标记的示例中非常有效地推广到看不见的动作类别。我们在Something-Something-V2数据集的具有挑战性的Something-Else任务上验证了我们的方法。我们进一步表明,我们的框架是灵活的,可以推广到一个新的领域,显示竞争力的结果Charades-Fewshot数据集。
2020-12-17 cs.CV
A Multi-Stage Adaptive Feature Fusion Neural Network for Multimodal Gait Recognition
Central South University(中南大学);Southern University of Science and Technology(南方科技大学);Research Institute of Trustworthy Autonomous System, Southern University of Science and Technology(南方科技大学可信自主系统研究院)
针对多模态步态识别中融合不充分的问题,提出多阶段自适应特征融合网络(MSAFF),通过多阶段融合策略、自适应融合模块和多尺度时空特征提取器,在三个数据集上取得最先进性能,并利用特征维度池化降低表示维度。
2023-12-22 cs.CV
Polar Fusion Technique Analysis for Evaluating the Performances of Image Fusion of Thermal and Visual Images for Human Face Recognition
Tripura University(特里普拉大学);Jadavpur University(贾达普大学);Université Pierre et Marie Curie, Paris-6(皮埃尔和玛丽·居里大学(巴黎第六大学));Université Denis Diderot, Paris-7(丹尼斯·狄德罗大学(巴黎第七大学))
本文提出了两种不同的方法,这是基于视觉和热图像的融合和极坐标变换的比较研究。在这里,调查是为了应对人脸识别的挑战,其中包括姿态变化,面部表情的变化,部分遮挡,照明变化,通过不同的角度旋转,规模的变化等,为了克服这些障碍,我们已经实施并通过严格的实验彻底检查了两种不同的融合技术。在第一种方法中,对数极坐标变换应用于视觉和热图像融合后获得的融合图像,而在第二种方法中,融合应用于对数极坐标变换的个体视觉和热图像。在以一种形式或另一种形式获得的该步骤之后,应用主成分分析(PCA)来降低融合图像的维度。对数极坐标变换图像能够处理由缩放和旋转引入的复杂性。采用融合的主要目的是产生一个融合的图像,提供更详细和可靠的信息,这是能够克服存在于个人的视觉和热人脸图像的缺点。最后,使用多层感知器神经网络对这些简化的融合图像进行分类。用于这里进行的实验的数据库是对象跟踪和分类超可见光谱(OTCBVS)数据库基准热和视觉人脸图像。第二种方法表现出更好的性能,这是95.71%(最高),平均93.81%的正确识别率。
2011-06-17 cs.CV
Single-Stream Multi-Feature Fusion with Temporal Robustness for Gait Emotion Recognition
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);College of Physical Science and Technology, Southwest University(西南大学物理科学与技术学院);Wisesoft Inc.(四川川大智胜软件股份有限公司)
针对步态情绪识别中标注成本高、数据稀缺及泛化差的问题,提出单流多特征融合框架SV-GCN,通过帧内相对运动特征和全局掩码引导模块实现时间鲁棒性,在E-Gait数据集上性能与最先进方法相当。
2026-09-11 cs.CV
Feature refinement: An expression-specific feature learning and fusion method for micro-expression recognition
Jiangsu University(江苏大学);Nanjing Institute of Technology(南京工程学院);University of Oulu(奥卢大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Xiamen University(厦门大学)
微表情识别已经变得具有挑战性,因为提取微表情的细微面部变化非常困难。近年来,一些方法提出了几种表情共享特征算法用于微表情识别。然而,它们没有揭示特定的判别特征,这导致次优性能。本文提出了一种新的特征细化({FR})与表情特定的特征学习和融合的微表情识别。它的目的是获得显着的和歧视性的特征,为特定的表达,并预测表达通过融合的表达特定的功能。FR由一个带有注意力机制的表达建议模块和一个分类分支组成。首先,设计了基于光流的初始化模块,以获取表情共享特征。第二,为了提取特定表情的显著性和区分性特征,将表情共享特征馈送到具有注意力因子和建议损失的表情建议模块中。最后,在分类分支中,类别的标签预测的表达特定的功能的融合。在三个公开数据库上的实验验证了FR在不同协议下的有效性。公共基准测试的结果表明,我们的FR微表情识别提供了显着的和歧视性的信息。实验结果也表明,与现有的最先进的微表情识别方法相比,我们的FR实现了更好的或有竞争力的性能。
2021-01-13 cs.CV
HyperFaceNet: A Hyperspectral Face Recognition Method Based on Deep Fusion
School of Life Science and Technology, Xidian University(西安电子科技大学生命科学技术学院)
人脸识别已经在可见光和红外下,在光谱内和交叉光谱的情况下得到了很好的研究。然而,如何融合不同的光带,即,高光谱人脸识别是一个开放的研究课题,与单波段人脸识别相比,高光谱人脸识别具有信息量大、全天候等优点。在为数不多的高光谱人脸识别工作中,大量使用传统的非深度学习技术。因此,本文将深度学习引入到高光谱人脸识别中,提出了一种新的高光谱人脸融合模型(称为HyperFaceNet)。该融合模型的特点是残差密集学习,反馈式编码器和面向融合的损失函数。在实验中,我们的方法被证明是更高的识别率比人脸识别使用可见光或红外线。此外,我们的融合模型被证明是优于其他通用的图像融合方法,包括国家的最先进的,在图像质量和识别性能方面。
2020-09-12 cs.CV cs.LG
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame(圣母大学)
我们引入了一种深度卷积神经网络(CNN)架构,通过共享学习范式同时对面部属性进行分类和识别面部图像,以提高面部属性预测和面部识别性能的准确性。在该方法中,我们使用人脸属性作为辅助信息源,以辅助从人脸图像中提取的CNN特征,以提高人脸识别性能。具体来说,我们使用一个共享的CNN架构,通过一个共享的学习参数,同时联合预测人脸属性和识别人脸图像,然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征,以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明,该模型提高了人脸识别和人脸属性预测的性能,特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估,结果表明,所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Motion Fused Frames: Data Level Fusion Strategy for Hand Gesture Recognition
Institute for Human-Machine Communication(人机通信研究所);Technical University of Munich(慕尼黑工业大学)
获取动作的时空状态是动作分类的关键步骤。在本文中,我们提出了一种数据级融合策略,运动融合帧(MFFs),旨在融合运动信息到静态图像作为更好的代表时空状态的行动。MFF可以用作任何深度学习架构的输入,只需对网络进行很少的修改。我们使用三个视频数据集- Jester,ChaLearn和NVIDIA Dynamic Hand Gesture Datasets -评估手势识别任务的MFF,这些数据集需要捕获手部运动的长期时间关系。我们的方法在Jester和ChaLearn基准测试中获得了非常有竞争力的性能,分类准确率分别为96.28%和57.4%,同时在NVIDIA基准测试中获得了84.7%的准确率。
2018-04-26 cs.CV
Integrating Large Pre-trained Models into Multimodal Named Entity Recognition with Evidential Fusion
针对多模态命名实体识别中注意力机制不可靠且缺乏可解释性的问题,提出基于正态-逆伽马分布的证据融合算法,并结合预训练大型基础模型的高效特征融合方法,在两个数据集上实现了最先进的性能。
2023-06-29 cs.CV
MinkLoc++: Lidar and Monocular Image Fusion for Place Recognition
Warsaw University of Technology(华沙理工大学);Tooploox
我们引入了一个歧视性的多模态描述符的基础上的一对传感器读数:从激光雷达的点云和RGB相机的图像。我们的描述符名为MinkLoc++,可用于机器人或自动驾驶汽车应用中的位置识别,重新定位和循环闭合目的。我们使用后期融合方法,其中每个模态被单独处理并在处理管道的最后部分融合。所提出的方法实现了国家的最先进的性能标准的地方识别基准。我们还确定了主导模态问题时,训练多模态描述符。当网络集中在对训练数据具有较大过拟合的模态时,问题就显现出来了。这在训练期间降低了损失,但导致评估集上的次优性能。在这项工作中,我们描述了如何使用深度度量学习方法来训练多模态神经网络时检测和减轻这种风险。我们的代码可在项目网站上公开获取:https://github.com/jac99/MinkLocMultimodal。
2021-04-14 cs.CV
Cloud based Scalable Object Recognition from Video Streams using Orientation Fusion and Convolutional Neural Networks
Comsats University(科姆萨特大学);University of Leicester(莱斯特大学);University of Calabria(卡拉布里亚大学);Free University of Bozen-Bolzano(博岑-博尔扎诺自由大学);Edinburgh Napier University(爱丁堡龙比亚大学)
从实时视频流中进行对象识别面临着许多挑战,例如照明条件和姿势的变化。卷积神经网络(CNN)已被广泛用于执行智能视觉对象识别。然而,CNN仍然遭受严重的准确性下降,特别是在照明变量数据集上。为了解决这个问题,我们提出了一种新的CNN方法的基础上,方向融合的视觉目标识别。所提出的基于云的视频分析系统开创了使用二维经验模式分解将视频帧分割成固有模式函数(IMF)。我们进一步提出这些IMF来承受Reisz变换以产生单基因对象组件,这些组件反过来用于CNN的训练。过去的工作已经证明了如何对象定向组件可以用来追求高达93%的准确度。在这里,我们展示了如何的方向组件的特征融合策略,导致进一步提高视觉识别精度到97%。我们还评估了我们的方法的可扩展性,同时查看正在审查的视频流的数量和大小。我们在公开的耶鲁数据集上进行了广泛的实验,包括一个自己生成的视频数据集,发现与AlexNet,LeNet和SE-ResNeXt相比,这是三个最常用的深度学习模型,用于视觉对象识别和分类。
2021-06-19 cs.CV
Vision Language Model Fusion for Explainable Face Recognition
Hochschule Darmstadt(达姆施塔特应用科学大学)
本研究提出多视觉语言模型(VLM)融合框架,结合相似度分数、文本解释与人脸图像,提升了人脸识别准确率,同时生成更丰富稳健的可解释决策,助力开发负责任的可解释人脸识别系统。
2026-08-26 cs.CV
Human Expression Recognition using Facial Shape Based Fourier Descriptors Fusion
City University of Hong Kong(香港城市大学);COMSATS University Islamabad(COMSATS大学伊斯兰堡校区)
动态面部表情识别在社交网络、多媒体内容分析、安全系统等方面具有许多有用的应用。这个具有挑战性的过程必须在图像照明和低分辨率的经常性问题下进行,这些问题在部分遮挡时发生变化。本文旨在提出一种新的基于面部肌肉变化的面部表情识别方法。几何特征用于指定面部区域,即,嘴巴眼睛和鼻子该方法将通用傅立叶形状描述子与椭圆傅立叶形状描述子结合作为一种属性,在频谱特征下表达不同的情感。然后采用多类支持向量机对七种表情进行分类。统计分析表明,我们的方法获得了全面的合格的识别,使用5折交叉验证的知名面部表情数据集上的高准确率。
2020-12-28 cs.CV
Enhancing Domain Diversity in Synthetic Data Face Recognition with Dataset Fusion
Idiap Research Institute(Idiap研究机构)
针对单一生成器合成人脸数据易引入模型特定伪影的问题,本文提出融合两个架构不同的最先进合成数据集,以增强域多样性并正则化训练,从而在多个标准人脸识别基准上取得更优性能。
2025-07-22 cs.CV
Two Stream LSTM: A Deep Fusion Framework for Human Action Recognition
Queensland University of Technology(昆士兰科技大学)
在本文中,我们解决的问题,从视频序列的人体动作识别。受计算机视觉中通过自动特征学习和深度学习方法获得的示例性结果的启发,我们将注意力集中在通过卷积神经网络(CNN)学习显着的空间特征上,然后借助长短期记忆(LSTM)网络映射它们的时间关系。我们在本文中的贡献是一个深度融合框架,它更有效地利用了CNN的空间特征和LSTM模型的时间特征。我们还广泛评估了它们的优点和缺点。我们发现,通过组合这两组特征,全连接特征有效地充当了一种注意力机制,将LSTM引导到卷积特征序列的有趣部分。我们的融合方法的意义是它的简单性和有效性相比,其他国家的最先进的方法。评估结果表明,这种分层多流融合方法具有更高的性能相比,单流映射方法,使其能够实现高精度优于目前最先进的方法在三个广泛使用的数据库:UCF11,UCFSports,jHMDB。
2017-04-04 cs.CV
Data-Augmented Multimodal Feature Fusion for Multiclass Visual Recognition of Oral Cancer Lesions
MSA University(MSA大学)
本文提出一种数据增强驱动的多模态特征融合框架,用于提升口腔癌病变的多类视觉识别性能。
2026-01-05 cs.CV
Deep Heterogeneous Feature Fusion for Template-Based Face Recognition
尽管深度学习在人脸识别方面取得了令人印象深刻的性能,但许多研究表明,不同的网络学习不同的特征图:虽然一些网络更容易接受姿势和照明,但其他网络似乎捕捉更多的本地信息。因此,在这项工作中,我们提出了一种深度异构特征融合网络,以利用不同深度卷积神经网络(DCNN)生成的特征中存在的互补信息进行基于模板的人脸识别,其中模板是指来自不同来源的一组静态人脸图像或视频帧,这些图像或视频帧比传统的人脸数据集引入了更多的模糊,姿态,照明和其他变化。所提出的方法通过以下方式有效地融合不同深度特征的判别信息:1)联合学习深度特征的非线性高维投影; 2)生成更具判别力的模板表示,该模板表示保留了特征空间中深度特征的固有几何形状。在IARPA Janus Challenge Set 3(Janus CS3)数据集上的实验结果表明,该方法能有效地提高识别性能.此外,我们还提出了一系列的协变量实验的人脸验证任务,深入的定性评估所提出的方法。
2017-02-15 cs.CV
A Fusion-based Gender Recognition Method Using Facial Images
Sharif University of Technology(谢里夫理工大学)
提出了一种基于融合的人脸图像性别识别方法。首先,本文利用预处理和特征点检测方法,找出人脸的重要特征点。此后,四个不同的框架,提出了国家的最先进的性别识别系统的启发。第一个框架使用局部二进制模式(LBP)和主成分分析(PCA)提取特征,并使用反向传播神经网络。第二个框架使用Gabor滤波器,PCA和内核支持向量机(SVM)。第三个框架使用人脸的下半部分作为输入,并使用核支持向量机进行分类。第四个框架使用线性判别分析(LDA),以分类的侧面轮廓的人脸标志。最后,四个框架的决策融合使用加权投票。本文利用纹理和几何信息,这两种主要类型的信息在面部性别识别。实验结果表明了该方法的有效性。该方法对FEI人脸数据集的中性人脸的识别率为94%,与该数据集的最新水平相当。
2017-11-17 cs.CV
Fusion of Methods Based on Minutiae, Ridges and Pores for Robust Fingerprint Recognition
Unesp - Brazil(巴西圣保罗大学(Unesp - 巴西))
使用物理和行为特征进行身份识别被称为生物识别。在众多生物特征中,指纹是使用最广泛的。指纹识别是基于指纹的印痕模式,指纹的印痕模式包括指纹的纹线模式和指纹的细节点模式,分别是指纹的第一级特征和第二级特征。由于传感器的低成本,当前的识别系统使用这两个级别的指纹特征。然而,由于传感器技术的最新进展,可以使用存在于脊内的第三级特征,例如汗孔。最近的研究表明,使用第三级特征可以提高生物识别系统的安全性和欺诈保护,因为它们很难复制。此外,由于多生物特征识别的诸多优点,近年来的研究也集中在多生物特征识别上。这项工作的目标是应用融合技术的指纹识别,以结合细节,脊和孔为基础的方法,从而提供更强大的生物识别系统。对基于各向同性和自适应的自动毛孔提取方法以及基于毛孔的方法与基于细节点和脊线的识别方法的融合进行了评价。实验在公共数据库PolyU HRF上进行,与单独使用这些方法获得的最佳结果相比,相等出错率降低了约16%。
2018-05-28 cs.CV