3D Gated Recurrent Fusion for Semantic Scene Completion
The University of Adelaide（阿德莱德大学）；Nanjing University of Science and Technology（南京理工大学）；Northwestern Polytechnical University（西北工业大学）；ETH Zurich（苏黎世联邦理工学院）
本文研究语义场景补全任务中的数据融合问题，该任务可以同时处理语义标注和场景补全。RGB图像包含对象的纹理细节，这对于语义场景理解至关重要。同时，深度图像捕获与形状完成高度相关的几何线索。使用RGB和深度图像可以进一步提高SSC的准确性，而不是孤立地采用一种模态。我们提出了一种3D门控递归融合网络（GRFNet），它通过使用门和记忆模块来学习自适应地选择和融合来自深度和RGB的相关信息。在单级融合的基础上，进一步提出了一种多级融合策略，该策略可以对网络中不同阶段之间的相关性进行建模。在两个基准数据集上进行的大量实验证明了GRFNet在SSC数据融合中的优越性能和有效性。代码将提供。
2020-02-17 cs.CV
Kinship Verification from Videos using Spatio-Temporal Texture Features and Deep Learning
Centre de Développement des Technologies Avancées（先进技术发展中心）；University of Oulu（奥卢大学）；Ecole Nationale Supèrieure d’Informatique（国立高等信息学学院）；Northwestern Polytechnical University（西北工业大学）
基于人脸图像的亲属关系自动确认是计算机视觉领域中一个较新且具有挑战性的研究课题。它包括通过检查两个人的面部属性来自动预测他们是否有生物亲属关系。虽然大多数现有的作品提取浅手工制作的功能，从静止的人脸图像，我们从时空的角度来处理这个问题，并探讨使用浅纹理特征和深特征来表征人脸。在基准UvA-NEMO Smile数据库上获得了令人满意的结果，特别是深度特征。我们广泛的实验也显示了使用视频的优势，静态图像，因此指出了重要的作用，面部动态的亲属关系验证。此外，融合的两种类型的功能（即浅时空纹理特征和深功能）显示出显着的性能改善相比，国家的最先进的方法。
2017-08-14 cs.CV
Visible and Near Infrared Image Fusion Based on Texture Information
Jilin University（吉林大学）；Queen’s University（女王大学）
多传感器融合技术在自主车辆环境感知系统中有着广泛的应用。解决了环境变化带来的干扰，使整个驱动系统更加安全可靠。提出了一种基于纹理信息的可见光和近红外融合方法，用于增强非结构化环境图像。针对传统可见光与近红外图像融合方法存在的伪影、信息丢失和噪声等问题。该方法首先通过相对全变分（RTV）计算得到纹理去除后的可见光图像（RGB）和近红外图像（NIR）的结构信息，作为融合图像的基层，然后建立贝叶斯分类模型计算噪声权值和噪声信息，利用联合双边滤波器自适应滤除可见光图像中的噪声信息;最后进行颜色空间转换得到融合图像。实验结果表明，该算法能较好地保留可见光和近红外图像的光谱特征和独特信息，且无伪影和颜色失真，具有较好的鲁棒性和独特的纹理特征。
2022-07-22 cs.CV
Attention-Guided NIR Image Colorization via Adaptive Fusion of Semantic and Texture Clues
近红外（NIR）成像在弱光成像场景中得到了广泛的应用，但在无色的近红外区域，人和算法难以感知真实场景。虽然生成对抗网络（GAN）已被广泛用于各种图像着色任务中，但是对于诸如常规GAN的直接映射机制来说，将图像从NIR变换到RGB域同时具有正确的语义推理、良好保留的纹理和生动的颜色组合是具有挑战性的。在这项工作中，我们提出了一种新的基于注意力的近红外图像彩色化框架，通过自适应融合的语义和纹理线索，旨在实现这些目标在同一框架内。纹理转换和语义推理的任务在两个独立的网络块中进行。具体地说，纹理传输块（TTB）的目的是从近红外图像的拉普拉斯分量中提取纹理特征，并将其传输给后续的颜色融合。语义推理块（SRB）提取语义线索并将NIR像素值映射到RGB域。最后，融合注意块（FAB）提出了自适应融合的特征，从两个分支，并产生一个优化的彩色化结果。为了增强网络在语义推理中的学习能力以及纹理传输中的映射精度，我们提出了残差坐标注意块（RCAB），它将坐标注意力纳入残差学习框架，使网络能够沿着通道方向捕获长距离依赖关系，同时可以沿着空间方向保留精确的位置信息。RCAB也被合并到FAB中，以便于在融合过程中精确的纹理对齐。定量和定性的评价表明，该方法优于国家的最先进的近红外图像彩色化方法。
2022-01-15 cs.CV
2D-3D Geometric Fusion Network using Multi-Neighbourhood Graph Convolution for RGB-D Indoor Scene Classification
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
多模态融合已被证明有助于提高场景分类任务的性能。本文提出了一个二维-三维融合阶段，结合三维几何特征和二维纹理特征获得的二维卷积神经网络。为了获得鲁棒的3D几何嵌入，提出了一种使用两个新层的网络。第一层，多邻域图卷积，旨在学习场景的更鲁棒的几何描述符，该描述符结合了两个不同的邻域：一个在欧几里得空间中，另一个在特征空间中。第二层，最近的体素池，提高了性能的著名的体素池。在NYU-Depth-V2和SUN RGB-D数据集上的实验结果表明，该方法在RGB-D室内场景分类任务中的性能优于当前最先进的方法。
2021-05-27 cs.AI cs.CV
ViFusionTST: Deep Fusion of Time-Series Image Representations from Load Signals for Early Bed-Exit Prediction
The University of British Columbia, Canada（不列颠哥伦比亚大学）
针对床旁跌倒预警滞后问题，本文提出ViFusionTST双流Swin Transformer，将单称重传感器信号编码为多类图像并交叉注意力融合，在95张床、六个月真实数据上取得0.885准确率与0.794 F1。
2025-10-21 cs.AI cs.CV
Summarisation of Short-Term and Long-Term Videos using Texture and Colour
NICTA；University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
我们提出了一种新的视频摘要方法，利用袋的视觉纹理（BoT）的方法。提出了两个系统，一个仅基于BoT方法，另一个利用颜色信息和BoT功能。在来自开放视频项目的50个短期视频上，我们表明我们的BoT和融合系统都达到了最先进的性能，分别获得了0.83和0.86的平均F测量，与之前的最先进水平相比，相对提高了9%和13%。当应用于包含33个长期视频的新水下监控数据集时，所提议的系统将连续镜头的数量减少了27倍，而信息内容只有轻微的退化。视频数据的这一数量级减少代表了在手动审查此类镜头时在时间和潜在劳动力成本方面的显著节省。
2014-03-03 cs.CV stat.AP
Sensor interoperability and fusion in signature verification: A case study using tablet PC
Universidad Autonoma de Madrid（马德里自治大学）
介绍了信息融合技术在签名验证中的应用。然而，很少有工作集中在传感器融合和传感器互操作性。在本文中，这两个主题进行了评估，使用两个不同的商业平板电脑的签名验证。还提出了一个注册策略，使用两个平板电脑的签名。认证性能的实验报告使用的数据库超过3000个签名。
2022-10-20 cs.CV
Research on the Multiple Feature Fusion Image Retrieval Algorithm based on Texture Feature and Rough Set Theory
East China Normal University（华东师范大学）；Dickinson College（狄金森学院）
最近，我们目睹了具有复杂信息和内容的图像的爆炸性增长。为了从大规模图像数据库中高效、准确地检索出所需图像，提出了一种基于纹理特征和粗糙集理论的多特征融合图像检索算法。与传统的只使用单一特征或标准的方法不同，我们通过归一化操作融合不同的特征。粗糙集理论将有助于提高检索系统面对不完备数据仓库的鲁棒性。为了增强纹理提取的范例，我们使用小波Gabor函数，具有更好的鲁棒性。此外，从内、外归一化的角度，对提取的特征进行了重新组织，使其具有更好的组合。数值实验验证了该方法的可行性。与其他最先进的算法相比，我们提高了整体的准确性。
2016-12-08 cs.CV
3D Face Tracking and Texture Fusion in the Wild
Reutlingen University（罗伊特林根大学）
我们提出了一个全自动的方法，实时三维人脸重建从单眼在野外的视频。通过使用基于级联回归的人脸跟踪和3D Morphable Face Model形状拟合，我们得到了一个半稠密的3D人脸形状。我们进一步使用来自多个帧的纹理信息来从视频帧构建整体3D人脸表示。我们的系统能够捕捉面部表情，不需要任何针对个人的培训。我们在具有挑战性的300个野生视频（300-VW）数据集上展示了我们方法的鲁棒性。我们的实时拟合框架可以在http://4dface.org上作为开源库获得。
2016-05-22 cs.CV
Fine-Grained Texture Identification for Reliable Product Traceability
V-Origin Technology（维源科技）
纹理存在于许多产品中，如木材，牛肉和压缩茶。这些丰富的和随机的纹理模式是显着不同的任何两个产品之间。与传统的数字身份跟踪不同，本文提出了一种新的产品追溯方法，直接使用产品本身的自然纹理作为唯一标识符。以普洱紧压茶为例，设计了一个基于纹理识别的可追溯系统，验证了该方案的可行性。通过对茶砖生产企业和个人用户的茶砖图像采集，形成了一个大规模的茶砖图像数据集，用于评价茶砖纹理验证和搜索算法的性能。结合局部特征提取和匹配的纹理相似性方法分别达到了99.6%的验证准确率和98.9%的top-1搜索准确率。
2021-04-23 cs.CV
Dynamic Cross Attention for Audio-Visual Person Verification
Computer Research Institute of Montreal (CRIM)（蒙特利尔计算机研究所（CRIM））
提出动态交叉注意力（DCA）模型，通过条件门控层根据音视频模态间的强弱互补关系动态选择特征，在Voxceleb1数据集上持续提升性能并超越现有最先进方法。
2024-04-22 cs.CV cs.LG cs.SD
Texture Image Classification Using DWT AlexNet Feature Fusion and Deep Neural Networks
The University of Texas at Tyler（德克萨斯大学泰勒分校）
针对纹理图像分类中手工特征与深度学习模型的不足，提出DWT_AlexNet_DNN混合特征融合框架，结合DWT特征与AlexNet深度特征实现纹理图像分类。
2026-08-31 cs.AI cs.CV
PTGCF: Printing Texture Guided Color Fusion for Impressionism Oil Painting Style Rendering
Xi’an University of Technology（西安理工大学）；University of Strathclyde（思克莱德大学）
本文提出PTGCF笔触渲染方法，通过融合原始油画的色调特征与代表性颜色实现印象派风格化，实验表明其更适用于方向感均匀的点彩派作品及自然场景。
2022-07-27 cs.CV
Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image Fusion
Tianjin University（天津大学）
红外与可见光图像融合的目的是综合多源信息，以达到在探测等实际任务中优于单一模态的性能。然而，现有的方法大多直接将纹理细节和不同模态的物体对比度结合起来，忽略了现实中物体的动态变化，从而降低了良好光照条件下的可见纹理和低光照条件下的红外对比度。为了填补这一空白，我们提出了一个动态的图像融合框架与多模态门控混合的本地到全球的专家，称为MoE-Fusion，动态提取有效和全面的信息，从各自的方式。我们的模型由一个混合的本地专家（MoLE）和一个混合的全球专家（MoGE）的多模态门引导。MoLE对多模态局部特征进行专门的学习，促使融合图像以样本自适应的方式保留局部信息，而MoGE则专注于全局信息，该全局信息通过整体纹理细节和对比度补充融合图像。大量的实验表明，我们的MoE-Fusion在通过局部到全局的动态学习范式保持多模态图像纹理和对比度方面优于最先进的方法，并且在检测任务上也取得了优异的性能。我们的代码将提供：https://github.com/SunYM2020/MoE-Fusion。
2023-03-23 cs.CV
IMFNet: Interpretable Multimodal Fusion for Point Cloud Registration
Image X Institute, University of Sydney（悉尼大学 Image X 研究所）；Jiangxi University of Finance and Economics（江西财经大学）；Sany（三一集团）
现有的点描述器只依赖于点的结构信息，而忽略了纹理信息。然而，纹理信息对于我们人类区分场景部分至关重要。此外，目前基于学习的点描述符都是黑箱，不清楚原始点如何对最终描述符做出贡献。在本文中，我们提出了一种新的多模态融合方法来产生一个点云注册描述符，同时考虑结构和纹理信息。具体而言，一种新的注意力融合模块被设计为提取加权纹理信息的描述符提取。此外，我们提出了一个可解释的模块来解释原始点，有助于最终的描述符。我们使用描述符元素作为反向传播到目标层的损失，并将梯度视为该点对最终描述符的重要性。本文进一步解释了注册任务中的深度学习。在3DMatch、3DLoMatch和KITTI上的综合实验表明，该多模态融合描述子达到了最新的精度，提高了描述子的区分度。我们还证明了我们的解释模块在解释注册描述符提取。
2021-11-18 cs.CV
A Fusion Method Based on Decision Reliability Ratio for Finger Vein Verification
Peking University（北京大学）
手指静脉身份验证自提出以来已经有了很大的发展，但仍然没有一个完善的算法。证明了具有相同总体精度的算法可能具有不同的误分类模式。我们可以利用这种互补性将各个算法融合在一起，以获得更精确的结果。根据我们的观察，算法对它的决策有不同的信心，但它很少被考虑在融合方法。我们的工作是首先定义的决策可靠性比来量化这种信心，然后提出了最大决策可靠性比（MDRR）融合方法结合加权投票。在1000个手指的数据集上进行的实验证明了该方法的有效性。通过MDRR方法得到的分类器的准确率为99.42%，而原始个体分类器的最高准确率为97.77%。实验结果也表明，MDRR优于传统的融合方法，如投票，加权投票，总和和加权总和。
2016-12-17 cs.CV
EqGAN: Feature Equalization Fusion for Few-shot Image Generation
针对少样本图像生成缺乏精细结构与纹理的问题，提出EqGAN，通过双分支解耦融合结构与纹理并进行多尺度特征均衡化，显著提升了图像生成质量、多样性及下游分类准确率。
2023-07-27 cs.CV
Attention-Guided Progressive Neural Texture Fusion for High Dynamic Range Image Restoration
Hong Kong Baptist University（香港浸会大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究院）；vivo Mobile Communication Co. Ltd（维沃移动通信有限公司）；City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
通过多次曝光融合的高动态范围（HDR）成像是大多数现代成像平台的重要任务。尽管最近在硬件和算法创新方面取得了进展，但在由饱和度、运动和在多曝光融合期间引入的各种伪影（诸如重影、噪声和模糊）引起的内容关联模糊性方面仍然存在挑战。在这项工作中，我们提出了一个注意力引导的渐进神经纹理融合（APNT融合）HDR恢复模型，旨在解决这些问题在一个框架内。提出了一种有效的双流结构，分别侧重于饱和区域的纹理特征转移和多曝光色调和纹理特征融合。提出了一种神经特征传递机制，该机制基于掩蔽饱和HDR域中的多尺度VGG特征在不同曝光之间建立空间对应关系，以在模糊图像区域上提供有区别的上下文线索。设计了渐进式纹理融合模块，实现了对编码后的双流特征的多尺度渐进式融合。此外，我们还介绍了几种新的注意机制，即，运动注意模块检测并抑制参考图像之间的内容差异;饱和度注意模块便于区分由饱和度引起的未对准和由运动引起的未对准;以及比例注意模块确保不同编码器/解码器比例之间的纹理混合一致性。我们进行了全面的定性和定量评估和消融研究，验证了这些新模块在相同的框架下一致地工作，并优于最先进的方法。
2021-07-13 cs.CV eess.IV
Deep Fusion Network for Image Completion
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Megvii Technology（旷视科技）
深度图像完成通常无法将恢复的图像和谐地混合到现有内容中，特别是在边界区域。本文从创建平滑过渡的新角度来处理这个问题，并提出了一个简洁的深度融合网络（DFNet）。首先，引入融合块来生成用于组合已知区域和未知区域的灵活的α组成图。融合块不仅提供了恢复和现有内容之间的平滑融合，而且还提供了一个注意力地图，使网络更多地关注未知像素。通过这种方式，它为结构和纹理信息搭建了一座桥梁，使信息可以自然地从已知区域传播到完整区域。此外，融合块被嵌入到网络的几个解码器层中。在各层上引入可调损耗约束，获得了更准确的结构信息。我们在Places2和CelebA数据集上定性和定量地比较了我们的方法与其他最先进的方法。实验结果表明，DFNet在纹理过渡协调性、纹理细节和语义结构一致性等方面具有较好的性能。我们的源代码将在以下网址提供：\url{https://github.com/hughplay/DFNet}
2019-04-17 cs.CV
A novel hybrid score level and decision level fusion scheme for cancelable multi-biometric verification
Indian Institute of Technology Indore（印度理工学院印多尔分校）
尽管基于生物特征的认证系统的好处，有很少的关注，因为生物特征数据的异常值的敏感性，由于类内的变化和信息泄漏造成的隐私侵犯造成的低性能。为了解决这些问题，我们提出了一个混合融合框架，只有受保护的模态相结合，以满足保密性和性能提高的要求。本文提出了一种基于均值闭合加权（MCW）评分水平和Dempster-Shafer（DS）理论的虹膜和指纹决策层融合的可取消模态集成方法，以缓解个体评分或决策融合机制的局限性。建议的混合融合方案采用了不同的匹配器对应于每个保护模态的相似性得分。使用MCW分数融合方法将从不同匹配器获得的每个模态的个体分数相结合。MCW技术实现了得分计算中涉及的每个匹配器的最佳权重。此外，DS理论被应用于诱导分数以输出最终决策。在三个虚拟数据库上进行的严格的实验评估表明，所提出的混合融合框架优于组件级或单个融合方法（评分级和决策级融合）。实验结果表明，在Virtual_A、Virtual_B和Virtual_C数据库上，与单模态可取消虹膜和单模态可取消指纹验证系统相比，性能分别提高了（48%，66%）、（72%，86%）和（49%，38%）.同时，该方法对分数和离群值的变化具有足够的鲁棒性，满足安全认证的要求。
2018-05-26 cs.CV
Multi-Focus Image Fusion Based on Spatial Frequency(SF) and Consistency Verification(CV) in DCT Domain
本文提出一种基于离散余弦变换（DCT）域的多聚焦图像融合算法，利用源图像块的空间频率（SF）决定融合准则并结合一致性验证（CV）提升质量，在JPEG图像上验证了其优于其他DCT方法的视觉质量。
2023-05-18 cs.CV
Robust Pose Invariant Shape and Texture based Hand Recognition
School of Computer Science and Software Engineering, The University of Western Australia（西澳大学计算机科学与软件工程学院）
本文提出了一种新的个人身份识别和验证系统，利用信息提取的手的形状和纹理。该系统有两个主要的组成模块：一个全自动和强大的peg自由分割和姿态归一化模块，和一个识别模块。在第一个模块中，手从其背景分割使用阈值技术的基础上大津的方法结合肤色检测器。然后提出了一套全自动的算法来分割手掌和手指。在这些算法中，估计手和手指的骨架和轮廓，并用于确定手的全局姿态和每个单独手指的姿态。最后，手掌和手指被裁剪，姿势校正和标准化。在识别模块中，提取各种基于形状和纹理的特征并用于匹配目的。采用改进的Hausdorff距离、迭代最近点（ICP）和独立分量分析（ICA）算法对手指的形状和纹理特征进行提取。对于掌纹，我们使用离散余弦变换（DCT），方向线特征和ICA。识别（识别和验证）测试进行融合策略的基础上的手指和手掌的相似性分数。实验结果表明，该系统在560个不同受试者的数据库中，手部识别和验证的准确率（出错率相等）超过98%，具有较好的性能.
2019-12-22 cs.CV
Fusion of complex networks and randomized neural networks for texture analysis
São Carlos Institute of Physics, University of São Paulo（圣保罗大学圣卡洛斯物理研究所）；Universidade Federal do Ceará（塞阿拉联邦大学）；Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学研究所）
提出了一种基于复杂网络和随机神经网络融合的高分辨率纹理分析方法。在这种方法中，输入图像被建模为一个复杂的网络和它的拓扑属性以及图像像素被用来训练随机神经网络，以创建一个签名，表示纹理的深层特征。所获得的结果超过了文献中许多方法的精度。这种性能表明，我们提出的方法打开了一个有前途的研究来源，其中包括探索纹理分析领域的神经网络和复杂网络的协同作用。
2020-08-17 cs.CV cs.LG physics.data-an
DePF: A Novel Fusion Approach based on Decomposition Pooling for Infrared and Visible Images
Jiangnan University（江南大学）；Suzhou University of Science and Technology（苏州科技大学）
本文提出DePF融合网络，通过分解池化编码器提取多尺度特征并以逆操作替代上采样，有效保留纹理与边缘细节，在多个基准上取得领先融合性能。
2023-07-04 cs.CV
VaLID: Verification as Late Integration of Detections for LiDAR-Camera Fusion
University of California Santa Cruz（加州大学圣克鲁兹分校）
本文提出模型自适应后期融合方法 VaLID，通过轻量验证网络用相机检测校验 LiDAR 边界框，在 KITTI 上平均减少 63.9% 误报并提升 3DAP。
2025-02-19 cs.CV
Bayesian Fusion for Infrared and Visible Images
Xi'an Jiaotong University（西安交通大学）
红外与可见光图像融合一直是图像融合领域的研究热点。在这项任务中，融合图像既包含梯度和详细的纹理信息的可见光图像，以及热辐射和突出目标的红外图像，期望得到。提出了一种新的红外与可见光图像贝叶斯融合模型。在我们的模型中，图像融合任务被转换成一个回归问题。为了衡量变量的不确定性，我们制定了一个分层贝叶斯的方式模型。为了使融合图像满足人眼视觉特性，该模型引入了全变差惩罚。随后，该模型是有效地推断的期望最大化（EM）算法。我们测试我们的算法TNO和近红外图像融合数据集与几个国家的最先进的方法。与以往的方法相比，该模型能更好地融合出目标亮度高、纹理细节丰富的图像，提高了目标自动检测与识别系统的可靠性。
2020-05-12 cs.CV
Texture-based Presentation Attack Detection for Automatic Speaker Verification
Hochschule Darmstadt（达姆施塔特应用技术大学）；EURECOM（欧洲通信学院）；Hochschule Ansbach（安斯巴赫应用技术大学）
如今，生物识别系统在广泛的应用中被采用。它们提供高安全性和高效率，并且在许多情况下是用户友好的。尽管有这些和其他优点，一般的生物特征系统和特别是自动说话者验证（ASV）系统可能容易受到攻击呈现。最近的ASVSpoof 2019竞赛表明，大多数形式的攻击都可以通过基于集成分类器的呈现攻击检测（PAD）方法可靠地检测到。然而，这些从根本上取决于系综中系统的互补性。为了提高PAD解决方案的通用性，本文报告了我们对纹理描述符应用于语音谱图图像分析的探索。特别是，我们提出了一个共同的Fisher向量特征空间的基础上生成模型。实验结果表明，我们的方法的合理性：在100个真正的演示文稿中，最多有16个被拒绝，而只有一个在100个攻击演示文稿被接受。
2020-10-08 cs.CV cs.LG cs.SD
GMF: General Multimodal Fusion Framework for Correspondence Outlier Rejection
Jiangxi University of Finance and Economics（江西财经大学）；Sany（三一集团）；Shanghai AI Laboratory（上海人工智能实验室）
拒绝对应异常值能够提高对应质量，这是实现高点云配准精度的关键步骤。现有的孤立点剔除方法只利用了对应关系的结构特征。然而，纹理信息是至关重要的拒绝在我们的人类视觉系统的对应离群值。在本文中，我们提出了通用多模态融合（GMF）学习拒绝对应离群值利用结构和纹理信息。具体地说，提出了两个基于交叉注意的融合层来融合成对图像的纹理信息和点对应的结构信息。此外，我们提出了一个卷积位置编码层，以增强令牌之间的差异，使编码功能关注邻居信息。我们的位置编码层将使交叉注意操作整合局部和全局信息。在多个数据集（3DMatch，3DLoMatch，KITTI）和最新的最先进的模型（3DRegNet，DGR，PointDSC）上的实验证明，我们的GMF具有广泛的泛化能力，并不断提高点云配准精度。此外，一些烧蚀研究证明了所提出的GMF对不同损失函数、照明条件和噪声的鲁棒性。https://github.com/XiaoshuiHuang/GMF
2022-11-01 cs.CV
Generalizable Person Re-Identification via Viewpoint Alignment and Fusion
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute, Northwestern Polytechnical University（西北工业大学宁波研究院）；Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
在目前的人再识别（ReID）方法中，大多数领域泛化工作集中于处理领域之间的风格差异，而在很大程度上忽略了不可预测的摄像机视角变化，这是导致ReID方法泛化能力差的另一个主要因素。为了解决视点的变化，这项工作提出了使用一个三维密集的姿态估计模型和一个纹理映射模块来映射行人图像到规范的视图图像。由于纹理映射模块的不完善性，标准视图图像可能会丢失原始图像中的可区分细节线索，直接用于ReID不可避免地会导致性能不佳。为了解决这个问题，我们建议通过一个基于transformer的模块来融合原始图像和规范视图图像。该设计的关键见解在于，Transformer中的交叉注意力机制可以是将来自原始图像的区别性纹理线索与规范视图图像对齐的理想解决方案，这可以补偿规范视图图像的低质量纹理信息。通过大量的实验，我们表明，我们的方法可以导致优于现有的方法在各种评估设置的性能。
2022-12-05 cs.CV
IRPol-Fuse: Energy-structure coordination for infrared polarization fusion under low visibility
Foshan University（佛山大学）
该研究针对低能见度下红外偏振图像融合的缺陷，提出IRPol-Fuse框架，构建LI-PI数据集，实验验证其在目标与细节保留及下游任务中的优异性能。
2026-08-11 cs.CV
See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning
Nanjing University of Science and Technology（南京理工大学）；People’s Daily Online（人民网）；University of Science and Technology of China（中国科学技术大学）
提出TriMatch框架，融合几何、纹理语义和结构语义特征，通过语义引导调制和层次细化，提升重复结构等场景下的对应点鉴别能力。
2026-06-08 cs.CV
S^2F-Net:A Robust Spatial-Spectral Fusion Framework for Cross-Model AIGC Detection
School of Computer Science and Engineering, Guangdong Ocean University（计算机科学与工程学院，广东海洋大学）；School of Artificial Intelligence, Guangzhou University（人工智能学院，广州大学）
S²F-Net通过空间-频谱融合技术，有效检测跨模型AIGC生成内容，实现90.49%的高准确率。
2026-01-18 cs.CV
A Multimodal Fusion Framework for Bridge Defect Detection with Cross-Verification
School of Computing George Mason University Fairfax, VA（计算学院乔治·马歇尔大学弗劳伊德堡）
本文提出一种结合无损评估与图像处理的多模态融合框架，通过交叉验证实现桥梁缺陷精准定位，F1分数达0.83，可减少误报并提升检测准确性。
2024-12-23 cs.CV
Multibiometric: Feature Level Fusion Using FKP Multi-Instance biometric
University of Mysore（迈索尔大学）；P.E.S College of Engineering（P.E.S工程学院）
本文提出了使用多实例特征级融合作为一种手段，以提高性能的手指指关节纹（FKP）验证。采用log-Gabor滤波器提取图像局部方向信息，并表示FKP特征。使用FKP数据库进行实验，该数据库由7，920幅图像组成。结果表明，多实例验证方法优于使用任何单一的实例更高的性能。研究了不同融合规则下特征级融合对生物识别性能的影响。
2012-10-02 cs.CV
Supervised Contrastive Learning and Feature Fusion for Improved Kinship Verification
Ecole Nationale Supérieure d’Informatique Algiers（阿尔及尔国立高等计算机学院）
人脸亲属关系验证是确定两张人脸图像之间的亲属关系程度的任务。它最近在法医学，社交媒体和人口统计学研究的各种应用中获得了很大的兴趣。在过去的十年中，基于深度学习的方法已经成为解决这个问题的一个有前途的解决方案，实现了最先进的性能。在本文中，我们提出了一种新的方法来解决亲属关系验证，通过使用监督对比学习，训练模型，以最大限度地提高相关个体之间的相似性，并最小化它之间的无关个体。我们的实验显示了最先进的结果，并在野生家族（FIW）数据集中达到了81.1%的准确率。
2023-02-19 cs.CV eess.IV
Multi-feature Co-learning for Image Inpainting
Guangzhou University（广州大学）
图像修补通过同时利用图像的结构和纹理特征，取得了很大的进展。然而，由于缺乏有效的多特征融合技术，现有的图像修补方法仍然表现出有限的改进。本文设计了一个用于图像修补的深度多特征协同学习网络，包括软门控双特征融合（SDFF）和双边传播特征聚合（BPFA）模块。具体来说，我们首先使用两个分支分别学习结构特征和纹理特征。SDFF模块将结构特征与纹理特征相结合，同时利用纹理特征辅助结构特征的生成。这样的协同学习策略使得结构和纹理特征更加一致。接下来，提出的BPFA模块通过共同学习上下文注意力、通道信息和特征空间来增强从局部特征到整体一致性的连接，这可以进一步细化生成的结构和纹理。最后，在基准数据集上进行了大量的实验，包括CelebA，Places2和Paris StreetView。实验结果表明，该方法优于国家的最先进的。源代码可在https://github.com/GZHU-DVL/MFCL-Inpainting。
2022-05-21 cs.CV
DogWeave: High-Fidelity 3D Canine Reconstruction from a Single Image via Normal Fusion and Conditional Inpainting
University of Wisconsin--Madison（威斯康星大学麦迪逊分校）
DogWeave通过法线融合与条件修复技术，从单张图像实现高保真3D犬只重建，优于现有方法。
2026-03-08 cs.CV
Contrast-Free Myocardial Scar Segmentation in Cine MRI using Motion and Texture Fusion
University of Oxford（牛津大学）；University of Southampton（南安普顿大学）；National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；Zhongshan Hospital, Fudan University（复旦大学附属中山医院）
本文提出融合电影MRI心脏运动与图像纹理的深度学习框架，通过全周期图像配准分割左心室心肌瘢痕，在无造影剂条件下达到与LGE MRI相当的准确性。
2025-01-09 cs.CV eess.IV
Tackling Face Verification Edge Cases: In-Depth Analysis and Human-Machine Fusion Approach
Technical University of Munich（慕尼黑工业大学）
针对人脸验证系统存在的边缘分类错误问题，本文分析了SOTA模型的挑战性场景，结合60人实验验证了人机决策融合可进一步提升多基准数据集上的人脸验证性能。
2023-08-24 cs.CV cs.LG
Noise-tolerant Audio-visual Online Person Verification using an Attention-based Neural Network Fusion
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在本文中，我们提出了一个多模式的在线人验证系统，同时使用语音和视觉信号。受语音和面部关联的神经科学发现的启发，我们提出了一个基于注意力的端到端神经网络，它学习多感官关联，用于人员验证任务。我们提出的网络中的注意力机制学习有条件地选择语音和面部表示之间的突出模态，从而在互补输入之间提供平衡。凭借这种能力，网络对来自任一模态的丢失或损坏的数据具有鲁棒性。在VoxCeleb2数据集中，我们证明了我们的方法与竞争的多模态方法相比表现良好。即使对于大腐败或完全缺失模态的极端情况，我们的方法也比其他单峰方法具有鲁棒性。
2018-11-27 cs.CV eess.AS
MMF-Track: Multi-modal Multi-level Fusion for 3D Single Object Tracking
Northeastern University（东北大学）
针对点云单模态3D跟踪难以区分相似结构目标的问题，提出MMF-Track，通过空间对齐、多层级特征交互和相似度融合利用RGB纹理与点云几何信息，在KITTI和NuScenes上取得优异结果。
2023-08-15 cs.CV
Keypoint Description by Symmetry Assessment -- Applications in Biometrics
Halmstad University（哈尔姆斯塔德大学）
本文提出用调和函数有限展开评估关键点邻域对称性的模型化特征，在指纹与眼周生物特征识别中验证其鉴别力，并证明其与 Gabor 纹理特征融合可显著降低 EER。
2023-11-03 cs.CV
Combining multiple matchers for fingerprint verification: A case study in biosecure network of excellence
Universidad Autonoma de Madrid（马德里自治大学）；Halmstad University（哈尔姆斯塔德大学）
我们报告在第一次生物安全住宅研讨会期间进行的指纹模式的实验。两个用于指纹验证的参考系统与另外两个非参考系统一起进行了测试。这些系统遵循不同的指纹处理方法，并详细讨论。融合实验I volving不同组合的可用系统。实验结果表明，最好的识别策略包括基于细节和相关性的测量。关于融合实验，当融合基于用于特征提取和/或匹配的异构策略的系统时，获得最佳的相对改进。两个/三个/四个系统的最佳组合总是包括最佳的单个系统，而最佳的验证性能是在组合所有可用系统时获得的。
2022-12-04 cs.CV
Multi-level Texture Encoding and Representation (MuLTER) based on Deep Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个多层次的纹理编码和表示网络（MuLTER）的纹理相关的应用。基于多级池化架构，MuLTER网络同时利用低级和高级特征来维护纹理细节和空间信息。这样的池化架构涉及很少的额外参数，并保持特征尺寸固定，尽管图像大小的变化。与最先进的纹理描述符相比，MuLTER网络在MINC-2500和GTOS-mobile等典型纹理数据集上具有更高的识别精度，具有区分性和紧凑的表示。此外，我们分析了不同层次的特征组合的影响，这支持了我们的主张，多层次特征的融合有效地提高了识别性能。我们的源代码将发布在GitHub（https：//github.com/olivesgatech）上。
2019-05-23 cs.CV
Modality-Specific Hierarchical Enhancement for RGB-D Camouflaged Object Detection
College of Computer and Data Science, Fuzhou University（福州大学计算机与数据科学学院）
本文提出MHENet框架，通过引入纹理和几何层次增强模块及自适应动态融合模块，提升RGB-D伪装物体检测的性能，实验表明其优于16种现有方法。
2026-04-03 cs.CV
GAN-HA: A generative adversarial network with a novel heterogeneous dual-discriminator network and a new attention-based fusion strategy for infrared and visible image fusion
College of New Materials and New Energies, Shenzhen Technology University（深圳技术大学新材料与新能源学院）
本文提出GAN-HA，通过异构双判别器分别学习红外强度与可见光梯度信息，并引入注意力融合策略，有效提升红外与可见光图像融合质量。
2024-09-02 cs.CV eess.IV
Fusion of Deep and Shallow Features for Face Kinship Verification
University of Mohamed Khider Bejaia（穆罕默德·希德尔贝贾亚大学）；University Mohamed Khider of Biskra（比斯克拉穆罕默德·希德尔大学）
针对人脸亲缘关系验证难题，引入MSR预处理提升图像质量，提出用LR在分数层融合VGG16深度特征与BSIF浅层纹理描述符的方法，在三个亲缘数据集上验证了有效性。
2023-12-16 cs.AI cs.CV
Bridging Pixels and Words: Mask-Aware Local Semantic Fusion for Multimodal Media Verification
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所人机混合增强智能全国重点实验室）
本文提出MaLSF框架，通过主动双向验证和层次语义聚合模块，解决多模态虚假信息检测中的局部语义不一致问题，实现像素与词语的语义连接。
2026-03-27 cs.AI cs.CV
Multi-Feature Fusion Approach for Generative AI Images Detection
本文提出多特征融合框架，结合MSCN、CLIP和MLBP特征，提升生成式AI图像检测的鲁棒性，实验显示融合效果优于单一特征空间。
2026-03-31 cs.CV
Fingerprint Feature Extraction by Combining Texture, Minutiae, and Frequency Spectrum Using Multi-Task CNN
Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究科）；Biometrics Research Laboratories, NEC Corporation（NEC公司生物识别研究所）
虽然大多数指纹匹配方法利用指纹图像的细节点和/或纹理作为指纹特征，但是频谱也是有用的特征，因为指纹由具有其固有频带的脊图案组成。我们提出了一种新的基于CNN的方法提取指纹特征的纹理，细节，和频谱。为了从细节点周围的局部区域提取有效的纹理特征，该方法引入了细节点关注模块。我们还提出了新的数据增强方法，该方法考虑了指纹图像的特征，以增加训练过程中的图像数量，因为我们在训练中只使用公共数据集，其中包括一些指纹类。通过一组使用FVC 2004 DB 1和DB2的实验，我们证明了所提出的方法具有有效的性能指纹验证相比，商业指纹匹配软件和传统的方法。
2020-08-27 cs.CV
On the Behavior of Audio-Visual Fusion Architectures in Identity Verification Tasks
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Oregon State University（俄勒冈州立大学）；North Carolina State University（北卡罗来纳州立大学）
该研究针对身份验证任务中的音视频融合架构，对比不同融合方式，发现输出嵌入平均法在全模态及单模态缺失场景下均能降低错误率，且对嵌入空间的利用更充分。
2023-11-09 cs.CV cs.LG cs.SD
Deep Fusion Siamese Network for Automatic Kinship Verification
University of Science and Technology of China（中国科学技术大学）
自动亲属关系验证旨在确定某些个体是否属于同一家庭。帮助失踪人员与家人团聚具有重要的研究意义。在这项工作中，具有挑战性的问题是逐步解决在两个方面。首先，我们提出了一个深度连体网络来量化两个个体之间的相对相似性。当给定两个输入人脸图像时，深度连体网络从其中提取特征，并通过组合和连接来融合这些特征。然后，融合后的特征被送入一个全连接的网络，以获得两个人脸之间的相似性得分，这是用来验证亲属关系。为了提高性能，陪审团制度也被用于多模型融合。第二，将两个深度连体网络集成为用于三主题的深度三重网络（即，父亲、母亲和孩子）亲属关系核实，旨在确定一个孩子是否与一对父母有亲属关系。具体地，对所获得的父子相似度得分和母子相似度得分进行加权，以生成用于亲属关系验证的父子相似度得分。Recognizing Families In the Wild（RFIW）是一个具有挑战性的多轨道亲属关系识别任务，它基于Families in the Wild（FIW），一个大规模和全面的图像数据库，用于自动亲属关系识别。在正在进行的RFIW 2020挑战期间，支持亲属关系验证（第一轨道）和三主体验证（第二轨道）。我们的团队（中国科大-nelslip）在第二赛道排名第一，在第一赛道排名第三。该代码可在https://github.com/gniknoil/FG2020-kinship上获得。
2020-06-07 cs.CV cs.MM
Fingerprint Image-Quality Estimation and its Application to Multialgorithm Verification
信号质量意识已被发现，以提高识别率，并支持多传感器环境中的决策显着。然而，自动质量评估仍然是一个悬而未决的问题。在这里，我们研究的方向张量的指纹图像量化的信号损伤，如噪声，缺乏结构，模糊，对称描述符的帮助下。一个强烈减少的参考是特别有利的生物特征，但较少的信息是不够的方法。这也得到了许多实验的支持，这些实验涉及一种更简单的质量估计器、一种训练方法（NFIQ），以及人类对几个公共数据库上指纹质量的感知。此外，质量测量被广泛地重用，以适应融合参数在一个单峰多算法指纹识别环境。在这项研究中，几个训练和非训练的分数级融合方案进行了研究。一个基于贝叶斯的战略，将专家过去的表现和当前的质量状况，一个新的级联计划的计算效率，除了简单的融合规则。定量结果有利于各个方面的质量意识，提高识别率，并有效地融合不同技能的专家（通过培训）。
2022-11-24 cs.CV
