Learning to Authenticate with Deep Multibiometric Hashing and Neural Network Decoding
Lane Department of Computer Science and Electrical Engineering West Virginia University（西弗吉尼亚大学计算机科学与电气工程莱恩系）
在本文中，我们提出了一种新的多模式深度哈希神经解码器（MDHND）架构，它集成了深度哈希框架与神经网络解码器（NND），以创建一个有效的多生物特征认证系统。MDHND由两个独立的模块组成：多模态深度哈希（MDH）模块，其用于多个生物特征的特征级融合和二进制化;以及神经网络解码器（NND）模块，其用于细化由MDH生成的中间二进制代码并补偿登记和探针生物特征之间的差异（姿态、照明等的变化）。使用NND有助于提高整个多模式身份验证系统的性能。MDHND框架使用两个模块的联合优化在3个步骤中训练。在步骤1中，MDH参数被训练和学习以生成共享的多模态潜码;在步骤2中，来自步骤1的潜码被传递通过常规纠错码（ECC）解码器以生成地面真值以训练神经网络解码器（NND）;在步骤3中，NND解码器使用来自步骤2的地面真值来训练，并且MDH和NND被联合优化。在标准多模态数据集上的实验结果表明，该方法相对于现有的多模态认证系统具有更好的性能
2019-03-07 cs.CV cs.LG eess.IV
Experts Fusion and Multilayer Perceptron Based on Belief Learning for Sonar Image Classification
ENSIETA（法国布雷斯特国立工程师学校）
声纳图像提供了一个快速的海底视图，以表征它。然而，在这样的不确定环境中，真正的海底是未知的，我们可以获得的唯一信息，是不同的人类专家的解释，有时会发生冲突。在本文中，我们建议管理这种冲突，以提供一个强大的现实的学习步骤的分类算法。分类是由一个多层感知器，考虑到在学习阶段的现实的不确定性。这一海底特征的结果在真实的声纳图像上呈现。
2008-06-12 cs.AI cs.CV
Fusion of Methods Based on Minutiae, Ridges and Pores for Robust Fingerprint Recognition
Unesp - Brazil（巴西圣保罗大学（Unesp - 巴西））
使用物理和行为特征进行身份识别被称为生物识别。在众多生物特征中，指纹是使用最广泛的。指纹识别是基于指纹的印痕模式，指纹的印痕模式包括指纹的纹线模式和指纹的细节点模式，分别是指纹的第一级特征和第二级特征。由于传感器的低成本，当前的识别系统使用这两个级别的指纹特征。然而，由于传感器技术的最新进展，可以使用存在于脊内的第三级特征，例如汗孔。最近的研究表明，使用第三级特征可以提高生物识别系统的安全性和欺诈保护，因为它们很难复制。此外，由于多生物特征识别的诸多优点，近年来的研究也集中在多生物特征识别上。这项工作的目标是应用融合技术的指纹识别，以结合细节，脊和孔为基础的方法，从而提供更强大的生物识别系统。对基于各向同性和自适应的自动毛孔提取方法以及基于毛孔的方法与基于细节点和脊线的识别方法的融合进行了评价。实验在公共数据库PolyU HRF上进行，与单独使用这些方法获得的最佳结果相比，相等出错率降低了约16%。
2018-05-28 cs.CV
Dynamic Belief Fusion for Object Detection
提出了一种新的融合不同目标检测方法的检测分数的方法。为了有效地整合多个检测器的输出，使用相应检测器的精确度/召回率关系来估计每个单独检测分数中的模糊性水平（称为“不确定性”）。所提出的融合方法，称为动态信念融合（DBF），动态分配基本概率命题（目标，非目标，不确定）的基础上的置信水平，在个别方法的检测结果。一个联合的基本概率分配，包含来自所有检测器的信息，使用Dempster的组合规则确定，并很容易减少到一个单一的融合检测得分。在ARL和PASCAL VOC 07数据集上的实验表明，DBF的检测精度大大高于传统的融合方法以及最先进的单个检测器。
2015-11-12 cs.CV
Enhanced Object Detection via Fusion With Prior Beliefs from Image Classification
University of Southern California（南加州大学）；Booz Allen Hamilton Inc.（博思艾伦咨询公司）；U.S. Army Research Laboratory（美国陆军研究实验室）
在本文中，我们介绍了一种新的融合方法，可以通过融合两种不同类型的计算机视觉任务：目标检测和图像分类的决策，提高目标检测性能。在所提出的工作中，从图像分类获得的图像的类标签被视为关于某些对象的存在或不存在的先验知识。然后将先验知识与目标检测的决策融合，以通过减轻与先验知识强烈矛盾的目标检测器的假阳性来提高检测精度。最近推出的一种新的融合方法称为动态信念融合（DBF）被用来融合检测器输出与分类先验。实验结果表明，在基准数据集上，通过所提出的融合框架，所提出的工作中使用的所有检测算法的检测性能得到改善。
2016-10-21 cs.CV
Dynamic Belief Fusion for Object Detection
U.S. Army Research Laboratory（美国陆军研究实验室）
提出了一种新的异构目标检测方法的融合方法。为了有效地整合多个检测器的输出，使用相应检测器的精确度/召回率关系来估计每个单独检测分数中的模糊度水平。所提出的工作的主要贡献是一种新的融合方法，称为动态置信度融合（DBF），它动态地分配概率的假设（目标，非目标，中间状态（目标或非目标））的基础上的检测结果的置信水平的条件下，个别检测器的先验性能。在DBF中，一个联合的基本概率分配，最佳地融合来自所有检测器的信息，由Dempster的组合规则确定，并很容易减少到一个单一的融合检测得分。ARL和PASCAL VOC 07数据集上的实验表明，DBF的检测精度大大高于传统的融合方法以及用于融合的单个检测器。
2015-11-10 cs.CV
DBF: Dynamic Belief Fusion for Combining Multiple Object Detectors
Army Research Laboratory（陆军研究实验室）
在本文中，我们提出了一种新的和高度实用的分数级融合的方法，称为动态信念融合（DBF），直接集成的推理分数的个人检测从多个目标检测方法。为了有效地整合多个检测器的各个输出，使用建立在相应检测器的精确度-召回率关系上的置信度模型来估计每个检测分数中的模糊度水平。对于每个检测器输出，DBF然后基于以各个检测器的先验置信模型为条件的检测分数的置信水平计算三个假设（目标、非目标和中间状态（目标或非目标））的概率，这被称为基本概率分配。所有检测器的概率分布在三个假设的最佳融合通过Dempster的组合规则。在ARL、PASCAL VOC 07和12个数据集上的实验表明，DBF的检测精度明显高于任何基线融合方法以及用于融合的单个检测器。
2022-04-06 cs.CV
Fusion of evidential CNN classifiers for image classification
Université de technologie de Compiègne（贡比涅技术大学）；Institut universitaire de France（法国大学研究院）
提出了一种基于置信函数的卷积神经网络信息融合方法。在这种方法中，几个预先训练的基于DS的CNN架构从输入图像中提取特征，并将其转换为不同识别帧上的质量函数。然后，融合模块使用Dempster规则聚合这些质量函数。端到端的学习过程允许我们使用带有软标签的学习集来微调整体架构，这进一步提高了分类性能。使用三个基准数据库的实验证明了这种方法的有效性。
2021-08-23 cs.AI cs.CV
Uncertainty-Aware Multimodal Anti-UAV Detection via Evidential Fusion and Conflict-Discounted Belief Aggregation
University of Amsterdam（阿姆斯特丹大学）；SUNY Empire State University（纽约州立大学帝国州立大学）
针对现有多模态反无人机检测未建模不确定性的问题，本文扩展EDTC提出DBF方法实现多模态融合，在Anti-UAV基准上达到0.670准确率、至少38 FPS，校准良好但定位失败检测能力弱于空间方差。
2026-09-01 cs.CV
Application of belief functions to medical image segmentation: A review
Université de technologie de Compiègne（贡比涅技术大学）；University of Rouen Normandy（诺曼底鲁昂大学）；Institut universitaire de France（法国大学研究院）
不确定性的调查是非常重要的风险关键的应用，如医学图像分割。信度函数理论作为一种不确定性分析和多证据融合的形式化框架，在医学图像分割领域做出了重大贡献，特别是自深度学习发展以来。在本文中，我们提供了一个介绍的主题，医学图像分割方法的信念函数理论。根据融合步骤对融合方法进行了分类，并阐述了如何利用信度函数理论对不确定或不精确信息进行建模和融合。此外，我们还讨论了目前基于信念函数的医学图像分割的挑战和局限性，并提出了未来的研究方向。未来的研究可以同时研究置信函数理论和深度学习，以获得更有希望和可靠的分割结果。
2022-12-05 cs.CV
Medical Image Segmentation with Belief Function Theory and Deep Learning
University of Technology of Compiègne（贡比涅技术大学）；Heudiasyc Laboratory（欧洲计算机科学与自动化研究院）；University of Paris-Saclay（巴黎萨克雷大学）；University of Artois（阿图瓦大学）；ENSMM School（国立高等机械与微技术学院）；University of Rouen（鲁昂大学）
本文针对深度学习在医学图像分割中处理不完美信息的局限，结合信度函数理论与深度学习，提出了半监督分割、深度证据模型及多模态融合框架，有效建模与融合不确定证据。
2023-09-12 cs.CV
Predictive Dynamic Fusion
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Tianjin Key Lab of Machine Learning（天津市机器学习重点实验室）
针对动态多模态融合缺乏理论保证的问题，提出预测性动态融合框架，从泛化角度推导可预测协作信念并降低误差上界，经实验验证其优越性。
2024-11-05 cs.CV cs.LG
Revisiting Multi-Scale Feature Fusion for Semantic Segmentation
Google Research（谷歌研究院）；Waymo Inc.（Waymo公司）
通常认为，高内部分辨率与昂贵的操作（例如，无环卷积）相结合对于准确的语义分割是必要的，这导致速度慢和大量的存储器使用。在本文中，我们质疑这种信念，并证明，既不需要高的内部分辨率，也不需要atrous卷积。我们的直觉是，虽然分割是一个密集的每像素预测任务，每个像素的语义往往取决于附近的邻居和遥远的上下文;因此，一个更强大的多尺度特征融合网络起着至关重要的作用。根据这种直觉，我们重新审视了传统的多尺度特征空间（通常以P5为上限），并将其扩展到更丰富的空间，直到P9，其中最小的特征仅为输入大小的1/512，因此具有非常大的感受野。为了处理如此丰富的特征空间，我们利用最近的BiFPN来融合多尺度特征。基于这些见解，我们开发了一个简化的分割模型，命名为ESeg，它既没有高的内部分辨率，也没有昂贵的atrous卷积。也许令人惊讶的是，我们的简单方法可以在多个数据集上以比现有技术更快的速度实现更好的准确性。在实时设置中，ESeg-Lite-S在CityScapes上以189 FPS实现了76.0%的mIoU [12]，优于FasterSeg [9]（170 FPS时为73.1% mIoU）。我们的ESeg-Lite-L运行速度为79 FPS，实现了80.1%的mIoU，大大缩小了实时和高性能分割模型之间的差距。
2022-06-14 cs.AI cs.CV
Large-scale and Efficient Texture Mapping Algorithm via Loopy Belief Propagation
The Ohio State University（俄亥俄州立大学）；Nanjing University Of Aeronautics And Astronautics（南京航空航天大学）
针对大规模多视角多变光照场景下纹理映射效率与全局一致性难以兼顾的问题，提出基于循环置信传播的非参数化多视角纹理映射框架，实现面片级多视角纹理融合，在三类数据集上效果更优且速度更快，尤其适用于大规模场景。
2023-05-08 cs.CV
AffectVerse: Emotional World Models for Multimodal Affective Computing
Great Bay University（大湾大学）；Tencent（腾讯）；Tsinghua University（清华大学）；Shenzhen Technology University（深圳技术大学）
本研究提出AffectVerse，一种基于Qwen2.5-Omni的多模态情感计算模型，通过引入情感世界模块实现短期潜在情感预测，利用未来预测作为自监督信号，提高了情感计算的准确性。
2026-05-19 cs.CV
Multiview Manifold Evidential Fusion for PolSAR Image Classification
Department of Computer Science and Technology, Shaanxi Key Laboratory for Network Computing and Security Technology, Xi’an University of Technology（计算机科学与技术系、网络计算与安全技术陕西省重点实验室、西安理工大学）；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院、南洋理工大学）
针对PolSAR图像分类中协方差矩阵与多特征位于不同流形且现有融合方法忽略视图重要性与不确定性的问题，提出多视图流形证据融合网络（MMEFnet），在HPD与Grassmann流形上分别建模并融合证据，显著提升了分类准确率、鲁棒性和可解释性。
2025-10-13 cs.CV
Detecting Drivable Area for Self-driving Cars: An Unsupervised Approach
Xi’an Jiaotong University（西安交通大学）
人们已经充分认识到，检测可驾驶区域是自动驾驶汽车的核心。现有的道路定位方法大多是利用车道线来定位路面，从而限制在具有清晰车道线的可行驶区域内。本文提出了一种利用单目摄像机图像数据和3D-LIDAR扫描仪点云数据检测可行驶区域的无监督方法。我们的方法定位初始驾驶区域的基础上获得的“方向射线图”的图像激光雷达数据融合。此外，融合的特征层也适用于更强大的性能。一旦初始的可行驶区域被描述为不同的功能，功能融合问题制定为马尔可夫网络和信念传播算法来执行模型推理。我们的方法是无监督的，避免了常见的假设，但在ROAD-KITTI基准测试中得到了最先进的结果。实验表明，我们的无监督方法是有效的和强大的自动驾驶汽车检测可行驶区域。
2017-05-01 cs.CV
Auxiliary Multimodal LSTM for Audio-visual Speech Recognition and Lipreading
University of the Chinese Academy of Sciences（中国科学院大学）
视听语音识别（Aduio-visual Speech Recognition，AVSR）是多模态学习的一种应用，它利用视频和音频信息进行自动语音识别（Automatic Speech Recognition，ASR），使ASR系统具有更好的鲁棒性和准确性。传统的AVSR模型通常将AVSR作为推理或投影处理，但严格的先验限制了它的能力。随着深度学习的复兴，深度神经网络（Deep Neural Networks，DNN）已成为ASR、图像分类、自然语言处理等传统分类任务的重要工具。AVSR中使用了一些DNN模型，如多模态深度自动编码器（MDAE），多模态深度信念网络（MDBN）和多模态深度玻尔兹曼机（MDBM），它们实际上比传统方法更好。然而，这样的DNN模型有几个缺点：（1）它们没有平衡模态融合和时态融合，甚至没有时态融合;（2）这些模型的架构不是端到端的，训练和测试变得繁琐。我们提出了一个DNN模型，辅助多模态LSTM（am-LSTM），以克服这种弱点。该方法可实现一次训练和测试，易于训练和自动防过拟合。同时考虑了系统的可扩展性和灵活性。实验表明，am-LSTM在三个数据集上的性能明显优于传统方法和其他DNN模型。
2017-03-17 cs.CV
