Human Expression Recognition using Facial Shape Based Fourier Descriptors Fusion
City University of Hong Kong（香港城市大学）；COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）
动态面部表情识别在社交网络、多媒体内容分析、安全系统等方面具有许多有用的应用。这个具有挑战性的过程必须在图像照明和低分辨率的经常性问题下进行，这些问题在部分遮挡时发生变化。本文旨在提出一种新的基于面部肌肉变化的面部表情识别方法。几何特征用于指定面部区域，即，嘴巴眼睛和鼻子该方法将通用傅立叶形状描述子与椭圆傅立叶形状描述子结合作为一种属性，在频谱特征下表达不同的情感。然后采用多类支持向量机对七种表情进行分类。统计分析表明，我们的方法获得了全面的合格的识别，使用5折交叉验证的知名面部表情数据集上的高准确率。
2020-12-28 cs.CV
Trajectory-guided Motion Perception for Facial Expression Quality Assessment in Neurological Disorders
School of Computer Science（计算机科学学院）；Translational Health Sciences（转化医学科学系）；University of Bristol（布里斯托尔大学）
针对神经疾病中面部表情质量评估难以捕捉细微肌肉运动的问题，提出轨迹引导运动感知Transformer（TraMP-Former）框架，融合面部关键点轨迹特征与RGB帧视觉语义线索回归质量分数，在PFED5等神经疾病基准数据集上取得SOTA性能。
2025-04-16 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network
University of Cambridge（剑桥大学）；Indian Institute of Science（印度科学理工学院）
伪装人脸识别（DFI）是一个极具挑战性的问题，因为可以使用不同的伪装引入许多变化。本文介绍了一个深度学习框架，首先检测14个面部关键点，然后利用这些关键点进行伪装人脸识别。由于深度学习架构的训练依赖于大型带注释的数据集，因此引入了两个带注释的面部关键点数据集。针对每个关键点，提出了面部关键点检测框架的有效性。通过与其他深度网络的比较，也证明了关键点检测框架的优越性。通过与现有人脸伪装分类方法的比较，验证了该方法的有效性。
2017-08-30 cs.CV
Improving Speech Related Facial Action Unit Recognition by Audiovisual Information Fusion
University of South Carolina（南卡罗来纳大学）
从自发的面部表情中识别面部动作单位是一个挑战，特别是当它们伴随着语音时。主要原因是信息是从单一来源提取的，即，视觉通道，在目前的实践中。然而，面部活动与自然人类通信中的语音高度相关。本文提出了一种新的视听融合框架，而不是仅仅提高视觉观察，它最好地利用视觉和声学线索识别语音相关的面部AU。特别是，一个动态贝叶斯网络（DBN）明确建模的语义和动态生理之间的关系AU和音素以及测量不确定性。一个试点的视听AU编码的数据库已被收集到评估建议的框架，其中包括一个“干净”的子集，包含正面的脸在良好控制的情况下，一个具有挑战性的子集与大的头部运动和闭塞。在该数据库上的实验已经证明，所提出的框架在识别语音相关的AU产生显着的改善相比，最先进的视觉为基础的方法，特别是对于那些AU的视觉观察在语音过程中受损，更重要的是还优于特征级融合方法，通过明确地建模和利用AU和音素之间的生理关系。
2017-06-29 cs.CV
A Perception CNN for Facial Expression Recognition
School of Computer Science and Technology, Harbin Institute of Technology（计算机科学与技术学院，哈尔滨工业大学）；School of Software, Northwestern Polytechnical University（软件学院，西北工业大学）；School of Software, Zhengzhou University of Light Industry（软件学院，郑州轻工业学院）；School of Computer Science, Northwestern Polytechnical University（计算机科学学院，西北工业大学）；School of Science and Engineering, Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））
本文提出了一种用于面部表情识别的感知CNN，通过多域交互机制和两阶段损失函数提升识别性能。
2025-12-06 cs.CV
Facial Expression Recognition Based on Complexity Perception Classification Algorithm
South China University of Technology（华南理工大学）
人脸表情识别一直是计算机视觉领域的一个具有挑战性的课题。不同的表情和不受控制的环境因素导致FER的复杂性和表情类别之间的可变性不一致，这在大多数面部表情识别系统中经常被忽视。为了有效地解决这一问题，本文提出了一种简单高效的CNN模型来提取人脸特征，并提出了一种复杂度感知分类（CPC）算法。CPC算法通过评估适合分类的面部特征的复杂度，将数据集分为容易分类的样本子空间和复杂分类的样本子空间。在Fer 2013和CK-plus数据集上的实验结果证明了该算法的有效性和优越性。
2018-03-01 cs.AI cs.CV
Event-based Facial Keypoint Alignment via Cross-Modal Fusion Attention and Self-Supervised Multi-Event Representation Learning
本文提出基于跨模态融合注意力和自监督多事件表征学习的事件面部关键点对齐框架，解决事件数据中空间信息有限和标注数据不足的问题，通过实验验证其在多个评估指标上优于现有方法。
2026-03-27 cs.CV
FaceBench: A Multi-View Multi-Level Facial Attribute VQA Dataset for Benchmarking Face Perception MLLMs
Shenzhen University（深圳大学）；Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）；City University of Hong Kong（香港城市大学）；Sun Yat-sen University（中山大学）
针对现有MLLMs面部感知评估缺失，构建FaceBench多视角多层次属性VQA数据集，并训练Face-LLaVA基线，实验表明其超越开源模型、媲美商业模型。
2025-03-27 cs.CV
Facial Expression-based Parkinson's Disease Severity Diagnosis via Feature Fusion and Adaptive Class Balancing
School of Mathematics and Computer Sciences（数学与计算机科学学院）；Nanchang University（南昌大学）；Yichun University（宜春大学）；Nanchang University Second Affiliated Hospital（南昌大学第二附属医院）
针对现有基于面部表情的帕金森病诊断依赖单一面部表情、存在类别不平衡且多为二分类的问题，提出融合多表情特征、结合自适应类别平衡的严重程度诊断方法，性能表现优异。
2025-10-21 cs.CV
Speech Fusion to Face: Bridging the Gap Between Human's Vocal Characteristics and Facial Imaging
Nanyang Technological University（南洋理工大学）；Northwestern Polytechnical University（西北工业大学）；PVoice Technology（PVoice科技）
虽然深度学习技术现在能够生成令人困惑的逼真图像，但研究工作正在转向图像合成，以实现更具体和特定于应用的目的。基于语音特征的人脸图像生成就是其中一个重要而又具有挑战性的课题。它是影响图像生成用例的关键推动因素，特别是对于公共安全和娱乐业务。由于缺乏用于训练和适当整合声音特征的优质数据集，speech 2face问题的现有解决方案导致图像质量有限，并且无法保留面部相似性。在本文中，我们研究这些关键技术挑战，并提出语音融合到人脸，或简称SF2F，试图解决面部图像质量和声音特征域和现代图像生成模型之间的联系不佳的问题。通过在数据模型和训练上采用新的策略，我们展示了与最先进的解决方案相比显着的性能提升，通过将个体身份的召回率提高一倍，并基于VGGFace分类器的互信息分数将质量分数从15提高到19。
2020-06-10 cs.CV
Signal-level Fusion for Indexing and Retrieval of Facial Biometric Data
Hochschule Darmstadt（达姆施塔特应用科学大学）
世界各地生物识别部署的范围、规模和数量不断增长，强调了研究促进高效和可靠的生物识别查询技术的必要性。这项工作提出了一种索引生物特征数据库的方法，它依赖于信号级融合的面部图像（变形），以创建一个多阶段的数据结构和检索协议。通过连续地预过滤潜在候选身份的列表，所提出的方法使得可以减少完成生物特征识别事务所需的生物特征模板比较的次数。所提出的方法是广泛的公开可用的数据库使用开源和商业现成的识别系统进行评估。结果表明，使用所提出的方法，计算工作量可以减少到30%左右，同时在闭集和开集识别场景中完全保持了基线基于穷举搜索的检索的生物识别性能。
2021-03-05 cs.CV
FISTNet: FusIon of STyle-path generative Networks for Facial Style Transfer
University of Sindh（信德大学）；West Virginia University（西弗吉尼亚大学）；IKLab Inc.（IKLab公司）；Tech University of Korea（韩国技术大学）；University of Calabria（卡拉布里亚大学）；Munster Technological University（芒斯特理工大学）
本文提出FISTNet，通过融合预训练多路径StyleGAN与残差调制模块及门控映射单元，在有限数据下实现多风格面部迁移并保留身份细节。
2024-04-02 cs.CV
Facial Expression and Peripheral Physiology Fusion to Decode Individualized Affective Experience
Northeastern University（东北大学）
在本文中，我们提出了一个多模态的方法，同时分析面部运动和几个外围生理信号解码个性化的情感体验下积极和消极的情绪背景下，同时考虑他们的个性化休息动态。我们提出了一个特定于个人的递归网络来量化人的面部运动和生理数据中存在的动态。面部运动表示使用一个强大的头部与3D面部地标定位和跟踪方法，和生理数据进行处理，通过提取相关的基本情感体验的已知属性。然后通过提取几个复杂的经常性网络度量来评估不同输入模态之间的动态耦合。然后使用这些指标作为特征来训练推理模型，以预测个体在给定背景下的情感体验，之后将其静息动态从其响应中排除。我们使用多模态数据集验证了我们的方法，该数据集包括（i）面部视频和（ii）几个外周生理信号，这些信号是在观看4个基于视频的情感刺激时从12名参与者同步记录的。情感体验的预测结果表明，我们的多模态融合方法提高了预测精度高达19%相比，仅使用一个或一个子集的输入模态的预测。此外，我们得到的预测改善情感体验，考虑到个性化的休息动力学的影响。
2018-11-18 cs.CV
Fusion Network for Face-based Age Estimation
The University of Warwick（华威大学）；University of Bath（巴斯大学）；Charles Sturt University（查尔斯史都华大学）
卷积神经网络（CNN）作为核心框架已被应用于年龄相关的研究。虽然人脸由许多面部属性组成，但大多数使用CNN的作品仍然将人脸视为典型对象，并且没有足够关注携带特定年龄特征的面部区域。在本文中，我们提出了一种新的CNN架构称为融合网络（FusionNet）来解决年龄估计问题。除了整个面部图像外，FusionNet还连续将几个特定年龄的面部斑块作为输入的一部分，以强调特定年龄的特征。通过实验，我们表明，FusionNet显着优于其他国家的最先进的模型在MORPH II基准。
2018-07-27 cs.CV
AFIF4: Deep Gender Classification based on AdaBoost-based Fusion of Isolated Facial Features and Foggy Faces
York University（约克大学）；Assiut University（艾斯尤特大学）
性别分类的目的是确认一个人的性别。尽管这项任务的最先进的方法达到了很高的准确性，但在广义和不受限制的数据集上仍有改进的空间。在本文中，我们倡导一种新的策略，灵感来自人类的行为在性别识别。而不是处理的人脸图像作为一个单一的功能，我们依赖于孤立的面部特征和一个整体的功能，我们称之为雾脸的组合。然后，我们使用这些特征来训练深度卷积神经网络，然后使用基于AdaBoost的分数融合来推断最终的性别类别。我们在四个具有挑战性的数据集上评估了我们的方法，以证明其在使用最先进的方法实现更好或同等精度方面的有效性。此外，我们提出了一个新的人脸数据集，加剧了遮挡人脸和光照变化的挑战，我们认为这是性别分类研究急需的资源。
2017-11-18 cs.CV
Adaptive Physical-Facial Representation Fusion via Subject-Invariant Cross-Modal Prompt Tuning for Video-Based Emotion Recognition
Department of Biomedical Engineering（生物医学工程系）；Anhui Province Key Laboratory of Measuring Theory and Precision Instrument（安徽省测量理论与精密仪器重点实验室）；School of Computer Science and Information Engineering（计算机科学与信息工程学院）
本文提出一种主体不变的跨模态提示调优框架，通过将rPPG波形转换为噪声鲁棒的时间-频率表示，并引入解耦共享-特定适配器以提升跨主体泛化能力，实验证明在MAHNOB-HCI和DEAP基准上优于现有方法。
2026-05-07 cs.CV
Research on facial expression recognition based on Multimodal data fusion and neural network
Huazhong University of Science and Technology（华中科技大学）；Anyang Institute of Technology（安阳工学院）
人脸表情识别是神经网络应用于模式识别的一个具有挑战性的课题。目前的人脸识别研究大多基于单源人脸数据，普遍存在识别准确率低、鲁棒性差的缺点。提出了一种基于多模态数据融合的人脸表情识别神经网络算法。该算法基于多模态数据，以人脸图像、图像方向梯度直方图和人脸特征点为输入，建立CNN、LNN和HNN三个子神经网络进行数据特征提取，利用多模态数据特征融合机制提高人脸表情识别的准确率。实验结果表明，得益于多模态数据的互补性，该算法与传统的人脸表情识别算法相比，在准确性、鲁棒性和检测速度上都有很大的提高。特别是在部分遮挡、光照和头部姿态变换的情况下，该算法也表现出较高的置信度。
2021-09-26 cs.AI cs.CV
MMTalker: Multiresolution 3D Talking Head Synthesis with Multimodal Feature Fusion
IEEE Publication Technology Group（IEEE出版技术组）；Piscataway, NJ（新泽西州皮萨卡威）
提出一种基于多分辨率表示和多模态特征融合的3D语音驱动面部动画合成方法MMTalker，通过网格参数化、非均匀可微采样、残差图卷积网络和双交叉注意力机制，实现高唇同步精度和逼真面部表情。
2026-05-31 cs.CV
A Fusion-based Gender Recognition Method Using Facial Images
Sharif University of Technology（谢里夫理工大学）
提出了一种基于融合的人脸图像性别识别方法。首先，本文利用预处理和特征点检测方法，找出人脸的重要特征点。此后，四个不同的框架，提出了国家的最先进的性别识别系统的启发。第一个框架使用局部二进制模式（LBP）和主成分分析（PCA）提取特征，并使用反向传播神经网络。第二个框架使用Gabor滤波器，PCA和内核支持向量机（SVM）。第三个框架使用人脸的下半部分作为输入，并使用核支持向量机进行分类。第四个框架使用线性判别分析（LDA），以分类的侧面轮廓的人脸标志。最后，四个框架的决策融合使用加权投票。本文利用纹理和几何信息，这两种主要类型的信息在面部性别识别。实验结果表明了该方法的有效性。该方法对FEI人脸数据集的中性人脸的识别率为94%，与该数据集的最新水平相当。
2017-11-17 cs.CV
I Only Have Eyes for You: The Impact of Masks On Convolutional-Based Facial Expression Recognition
Istituto Italiano di Tecnologia（意大利理工学院）
当前的COVID-19疫情向我们表明，我们的社会仍面临不可预测的挑战。对社交互动的必要限制严重影响了我们对社交机器人和人工智能未来的设想和准备。基于面部感知和情感理解之间的硬分离，使当前的情感感知模型适应于受限感知，将有助于我们提供鲁棒的系统。在本文中，我们进行了深入的分析，如何识别的影响，从人的面具不同于一般的面部表情知觉。我们评估最近提出的FaceChannel如何适应识别面具人的面部表情。在我们的分析中，我们评估了不同的训练和微调方案，以更好地理解蒙面面部表情的影响。我们还执行特定的功能级别的可视化，以展示如何的FaceChannel的固有功能，学习和结合面部特征的变化时，在一个受约束的社交互动场景。
2021-04-16 cs.CV cs.NE
Facial Expression Recognition with Visual Transformers and Attentional Selective Fusion
Hunan University（湖南大学）
由于在无约束条件下的遮挡、头部姿态变化、面部变形和运动模糊，野外的面部表情识别（FER）极具挑战性。虽然在过去的几十年里，自动FER已经取得了很大的进展，以前的研究主要是针对实验室控制的FER。由于这些信息缺失的区域和复杂的背景，真实世界中的遮挡、头部姿态的变化等问题无疑增加了FER的难度。与以前的纯CNN方法不同，我们认为将面部图像转换为视觉单词序列并从全局角度进行表情识别是可行和实用的。因此，我们提出了视觉Transformers与特征融合（VTFF），以解决FER在野外的两个主要步骤。首先，我们提出了注意力选择性融合（ASF），用于利用两种由两个分支CNN生成的特征图。ASF通过融合多个特征与全局-局部注意力来捕获区分性信息。融合后的特征图然后被展平并投影成视觉单词序列。第二，受Transformers在自然语言处理中的成功启发，我们提出用全局自我注意来建模这些视觉词之间的关系。该方法在三个公开的野生面部表情数据集（RAF-DB，FERPlus和AffectNet）上进行了评估。在相同的设置下，大量的实验表明，我们的方法显示出优于其他方法的性能，在RAF-DB上设置了新的最先进的88.14%，FERPlus为88.81%，AffectNet为61.85%。CK+上的跨数据集评估显示了所提出的方法有前途的泛化能力。
2022-02-22 cs.CV
EchoVideo: Identity-Preserving Human Video Generation by Multimodal Feature Fusion
ByteDance（字节跳动）
针对身份保持视频生成中的伪影和相似度低问题，提出EchoVideo，通过图像-文本融合模块和两阶段训练策略，实现高质量、高保真且可控的视频生成。
2025-02-27 cs.CV
Facial Affect Recognition based on Multi Architecture Encoder and Feature Fusion for the ABAW7 Challenge
Hefei University of Technology（合肥工业大学）
本文针对ABAW7挑战赛的VA估计、Expr分类和AU检测任务，采用最先进模型提取视觉特征，利用Transformer Encoder进行特征融合，并引入仿射模块对齐维度，结果显著优于基线。
2024-07-26 cs.CV
Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition
Ho Chi Minh City University of Education（胡志明市师范大学）；University of Economics Ho Chi Minh City-UEH（胡志明市经济大学）；Vietnamese-German University（越南德国大学）；Ho Chi Minh City University of Technology（胡志明市理工大学）；Posts and Telecommunications Institute of Technology（邮电技术学院）
针对FER数据集有限导致模型泛化不足的问题，提出融合MAE-Face自监督学习与多视图融合注意力的方法，并通过Aff-wild2数据集验证性能提升。
2024-05-12 cs.CV
ARPGNet: Appearance- and Relation-aware Parallel Graph Attention Fusion Network for Facial Expression Recognition
School of Computer Science, Northwestern Polytechnical University（计算机科学学院，西北工业大学）；Pengcheng Laboratory（鹏城实验室）；Zhejiang Lab（浙江实验室）
ARPGNet通过结合面部区域关系图和图注意力机制，提升面部表情识别的时空表示学习能力。
2025-11-27 cs.AI cs.CV
Capturing Dynamics: The 4D Facial Expression Intensity Dataset
École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（LS2N实验室）；Nantes Université（南特大学）；CAPACITÉS SAS（CAPACITÉS公司）；Institut universitaire de France (IUF)（法国大学研究院）；University of Oulu（奥卢大学）
本文提出4D面部表情强度数据集（4DFEID），包含2,869个3D网格序列和90,000多个主观评分，并验证时空图模型优于传统方法，为动态3D表情强度感知研究提供新资源。
2026-10-05 cs.CV
Transformer-based Multimodal Information Fusion for Facial Expression Analysis
Netease Fuxi AI Lab（网易伏羲人工智能实验室）
人类情感行为分析是人机交互领域的研究热点。在本文中，我们介绍了我们提交的CVPR 2022年情感行为分析比赛（ABAW）。为了充分利用来自多个视图的情感知识，我们利用了从Aff-Wild 2数据集中的视频剪辑中提取的口语、语音韵律和面部表情的多模态特征。基于这些特征，我们提出了一个统一的基于transformer的多模态框架，用于动作单元检测和表情识别。具体地，首先从当前帧图像编码静态视觉特征。同时，通过滑动窗口裁剪相邻帧，从图像、音频和文本序列中提取三种多模态特征。然后，我们介绍了一个基于transformer的融合模块，它集成了静态视觉特征和动态多模态特征。融合模块中的交叉注意模块使输出的综合特征集中在关键部位，有利于下游检测任务的完成。我们还利用一些数据平衡技术，数据增强技术和后处理方法，以进一步提高模型的性能。在ABAW 3比赛的官方测试中，我们的模型在EXPR和AU赛道中排名第一。广泛的定量评估，以及对Aff-Wild 2数据集的消融研究，证明了我们所提出的方法的有效性。
2022-04-18 cs.CV
Exploring a Multimodal Fusion-based Deep Learning Network for Detecting Facial Palsy
Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）
本文提出融合面部线段图像与表情特征的多模态深度学习模型，并在21名患者视频上评估，发现融合模型精确率提升至77.05但召回率下降。
2025-03-13 cs.AI cs.CV cs.LG
FaceInsight: A Multimodal Large Language Model for Face Perception
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区计算机科学与技术学院）；Key Laboratory of Education Informatization for Nationalities (Yunnan Normal University), Ministry of Education（民族教育信息化重点实验室（云南师范大学））
针对通用多模态大语言模型在人脸感知任务表现不佳的问题，提出FaceInsight模型，通过视觉-文本对齐和人脸分割图辅助感知，在三项任务中优于九个对比模型。
2025-04-25 cs.CV
A Lightweight Attention-based Deep Network via Multi-Scale Feature Fusion for Multi-View Facial Expression Recognition
针对面部表情识别中CNN面临的高计算复杂度和多视角姿态挑战，提出轻量级注意力网络LANMSFF，结合MassAtt和PWFS模块实现多尺度特征融合，在多个数据集上取得与SOTA相当的准确率且参数更轻量。
2025-02-10 cs.CV
Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds
Queen’s University（女王大学）
协作感知允许联网自主车辆（CAV）与附近的其他CAV交互，以增强对周围物体的感知，从而提高安全性和可靠性。它可以弥补传统车辆感知的局限性，如盲点，低分辨率和天气影响。一个有效的特征融合模型可以改善特征选择和信息聚合，进一步提高协同感知的中间融合方法的感知精度。我们提出了自适应特征融合模型与可训练的特征选择模块。我们提出的模型之一空间自适应特征融合（S-AdaFusion）在OPV 2V数据集的两个子集上的性能优于所有其他最先进的（SOTA）：用于车辆检测的默认CARLA Towns和用于领域自适应的Culver City。此外，以前的研究只测试了车辆检测的合作感知。然而，行人更有可能在交通事故中受重伤。我们使用CODD数据集评估车辆和行人检测的合作感知性能。我们的架构在CODD数据集上实现了比其他现有模型更高的车辆和行人检测平均精度（AP）。实验结果表明，与传统的单车辆感知过程相比，协同感知也提高了行人检测的准确性。
2023-01-12 cs.CV
Facial Dynamics in Video: Instruction Tuning for Improved Facial Expression Perception and Contextual Awareness
Tongyi Group, Alibaba（阿里巴巴通义实验室）；VCIP, CS, Nankai University（南开大学计算机与通信工程学院）
针对视频多模态大语言模型在面部表情描述任务中数据不足、视觉token容量有限的问题，本文构建了专用指令数据集，提出FaceTrack-MM模型与新型评估指标，并发布FEC-Bench基准以提升相关任务性能。
2025-01-14 cs.AI cs.CV
Multimodal Channel-Mixing: Channel and Spatial Masked AutoEncoder on Facial Action Unit Detection
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；Rice University（莱斯大学）
针对多模态面部AU检测中异质性数据表征学习难、早期融合研究不足的问题，提出带通道混合模块的多模态重建预训练网络MCM，通过随机丢通道+掩码自编码器重建实现鲁棒特征学习，在相关数据集上性能超越SOTA基线。
2023-08-21 cs.CV
HadaSmileNet: Hadamard fusion of handcrafted and deep-learning features for enhancing facial emotion recognition of genuine smiles
CS Department Johns Hopkins University Baltimore, MD, USA（计算机科学系约翰霍普金斯大学巴尔的摩，MD，美国）
针对真实与伪装微笑识别的计算效率问题，提出HadaSmileNet框架，通过Hadamard乘法融合Transformer表示与D-Marker特征，在4个数据集上取得SOTA结果，参数减少26%，提升真实微笑表情识别性能。
2025-09-23 cs.CV
3D Face Alignment Through Fusion of Head Pose Information and Features
Soongsil University（崇实大学）
本研究提出一种融合头部姿态信息与人脸对齐网络特征图的3D人脸对齐新方法，结合双维度多维度特征网络与知识蒸馏训练策略，在多个基准数据集上取得了与当前最优方法相当的性能。
2023-08-25 cs.CV
POSTER++: A simpler and stronger facial expression recognition network
Hangzhou Dianzi University（杭州电子科技大学）
人脸表情识别在人机交互等实际应用中扮演着重要的角色。POSTER通过双流金字塔交叉融合设计，有效地将面部标志和图像特征相结合，在FER中实现了最先进的（SOTA）性能。然而，POSTER的结构无疑是复杂的。它会导致昂贵的计算成本。为了减轻POSTER的计算压力，本文提出了POSTER++。它在三个方向上改进了POSTER：交叉融合、双流和多尺度特征提取。在交叉融合中，我们使用基于窗口的交叉注意力机制代替普通的交叉注意力机制。在双流设计中，我们删除了图像到地标的分支。对于多尺度特征提取，POSTER++将图像与地标的多尺度特征相结合，以取代POSTER的金字塔设计。在几个标准数据集上的大量实验表明，我们的POSTER++以最小的计算成本实现了SOTA FER性能。例如，POSTER++在RAF-DB上达到92.21%，在AffectNet（7 cls）上达到67.49%，在AffectNet（8 cls）上达到63.77%，仅使用8.4G浮点运算（FLOPs）和43.7M参数（Param）。这证明了我们改进的有效性。
2023-02-12 cs.CV
Facial Affect Recognition based on Transformer Encoder and Audiovisual Fusion for the ABAW5 Challenge
Hefei University of Technology（合肥工业大学）
在本文中，我们提出了我们的解决方案，第五届研讨会和比赛的情感行为分析在野外（ABAW），其中包括四个子挑战的效价唤醒（VA）估计，表达（Expr）分类，行动单位（AU）检测和情绪反应强度（ERI）估计。第五届ABAW竞赛的重点是利用不同的模式和数据集进行面部情感识别。在我们的工作中，我们使用大量的sota模型提取强大的音频和视觉特征。Transformer Encoder和TEMMA融合了这些特性。此外，为了避免不同特征之间的尺寸差异可能带来的影响，我们设计了一个仿射模块来将不同的特征对齐到相同的尺寸。大量的实验证明了该方法的优越性。对于VA估计子挑战，我们的方法获得的平均一致性相关系数（CCC）为0.6066。对于表达分类子挑战，平均F1评分为0.4055。对于AU检测子挑战，平均F1评分为0.5296。对于情绪反应强度估计子质询，验证集上的平均pearson相关系数为0.3968。四个子挑战的结果都以较大幅度超过基线。
2023-03-20 cs.CV
FuseAnyPart: Diffusion-Driven Facial Parts Swapping via Multiple Reference Images
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Peking University（北京大学）；Central South University（中南大学）
提出FuseAnyPart框架，通过Mask-based Fusion Module和Addition-based Injection Module在扩散模型UNet中融合多参考面部特征，实现高效细粒度的面部局部替换定制。
2024-11-11 cs.CV
SAC$^2$-Net: Semantic Anchoring and Complementary-Consensus Fusion for Multimodal Micro-Expression Recognition
College of Electronic and Information Engineering, Southwest University（西南大学电子信息工程学院）
针对微表情识别中光流与运动放大模态的不对称失效问题，提出SAC$^2$-Net，通过语义锚定软对齐减少跨模态异质性，并设计互补共识融合机制实现可靠性感知融合，在五个基准上取得最优或竞争力强的性能。
2026-07-09 cs.CV
A Multimodal Fusion Model Leveraging MLP Mixer and Handcrafted Features-based Deep Learning Networks for Facial Palsy Detection
Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）
提出一种结合 MLP mixer 处理图像与前馈神经网络处理结构化特征的多模态融合面瘫检测模型，并在 40 名受试者视频上验证其 F1 显著优于单模态方法。
2025-03-13 cs.AI cs.CV cs.LG
Collective PV-RCNN: A Novel Fusion Technique using Collective Detections for Enhanced Local LiDAR-Based Perception
University of Tübingen（蒂宾根大学）
针对自动驾驶感知受限问题，提出CPV-RCNN，在局部LiDAR检测流程中融合集体检测，扩展PV-RCNN++框架，提升感知能力。
2023-09-11 cs.CV
FACEMUG: A Multimodal Generative and Fusion Framework for Local Facial Editing
College of Computer Science and Artificial Intelligence, Wenzhou University（温州大学计算机与人工智能学院）；Memorial University of Newfoundland（纽芬兰纪念大学）；State Key Laboratory of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）
本文提出FACEMUG框架，通过统一生成潜空间融合草图、文本、属性等多模态条件，并结合自监督潜空间变形算法，实现全局一致的高质量局部人脸编辑。
2024-12-26 cs.CV cs.MM
Infrared and Visible Image Fusion with Hierarchical Human Perception
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；Key Laboratory of Image Cognition, Chongqing University of Posts and Telecommunications（重庆邮电大学图像认知重点实验室）
针对现有图像融合方法缺乏人类感知增强的问题，提出HPFusion方法，利用大视觉语言模型引入分层人类语义先验，在信息保留和视觉增强上实现高质量融合。
2024-09-14 cs.CV
Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
University of California Los Angeles（加州大学洛杉矶分校）；Shanghai AI Lab（上海人工智能实验室）；Beijing Institute of Technology（北京理工大学）；East China Normal University（华东师范大学）
本文综述了自动驾驶感知中多模态传感器融合方法，提出了基于融合阶段的新分类法，并分析了现有方法的剩余问题与未来研究方向。
2024-12-16 cs.CV
CooGAN: A Memory-Efficient Framework for High-Resolution Facial Attribute Editing
Shanghai Jiao Tong University（上海交通大学）；Huawei HiSilicon（华为海思）；Huawei（华为）
与在低分辨率下消耗存储器的面部编辑方法的巨大成功相反，为了操纵高分辨率（HR）面部图像，即，通常大于7682个像素，而存储器非常有限，这仍然是一个挑战。这是由于1）难以处理的巨大内存需求; 2）低效的多尺度特征融合。为了解决这些问题，我们提出了一种新颖的像素翻译框架，称为合作GAN（CooGAN）的人力资源面部图像编辑。该框架的特征在于用于细粒度局部面部补丁生成的局部路径（即，块级HR，低存储器）和用于全局低分辨率（LR）面部结构监测的全局路径（即，映像级LR，低内存），这大大降低了内存需求。两条路径在局部到全局一致性目标下以合作方式工作（即，用于平滑缝合）。此外，我们提出了一个更轻的选择性传输单元，更有效的多尺度特征融合，产生更高保真的面部属性操作。CelebAHQ上的大量实验很好地证明了所提出的框架的内存效率以及高图像生成质量。
2020-11-03 cs.CV
Deep fusion of visual signatures for client-server facial analysis
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等电子工程工程师学院）；CNRS（法国国家科学研究中心）；IIT Kanpur（坎普尔印度理工学院）
人脸分析是实现人机交互的关键技术。在这种情况下，我们提出了一个客户-服务器的【形】框架，其中客户端将待分析的面部的签名发送到服务器，并且作为回报，服务器发送回描述面部的各种信息，例如，该人是男性还是女性，她/他是否秃顶，他是否有胡子，等等。视觉特征（或组合）;从非常简单和有效的特征（如局部二进制模式）到更复杂和计算量大的特征（如基于Fisher向量和CNN），这取决于可用的计算资源。本文所面临的挑战是设计一个通用的通用表示，这样一个单一的合并签名被发送到服务器，无论是由客户端计算的功能的类型和数量，但确保最佳性能。我们的解决方案是基于学习一个共同的最佳子空间，用于对齐不同的面部特征并将其合并为通用签名。我们已经在具有挑战性的CelebA数据集上验证了所提出的方法，当测试时有丰富的表示时，我们的方法优于现有的最先进的方法，同时由于客户端的资源限制，当测试时只有简单的签名（如LBP）时，我们的方法具有竞争力。
2016-11-09 cs.CV
Non-linear and Selective Fusion of Cross-Modal Images
Northwestern Polytechnical University（西北工业大学）
人类视觉感知系统在图像融合中具有很强的鲁棒性。这种鲁棒性是基于人类视觉感知系统的特征选择特性和不同特征的非线性融合。为了在图像融合任务中模拟人类的视觉感知机制，提出了一种结合光照因子和注意力机制的多源图像融合框架。该框架有效地结合了传统图像特征和现代深度学习特征。首先，我们对多源图像进行多尺度分解。然后，将视觉显著图和深度特征图与照度融合因子相结合，进行高低频非线性融合。其次，通过通道注意力网络选择高低频融合特征，得到最终融合图。通过在图像融合中模拟人类视觉感知系统的非线性特性和选择特性，使融合后的图像更符合人类视觉感知机制。最后，我们验证了我们的融合框架上的红外和可见光图像，医学图像和多聚焦图像的公共数据集。实验结果表明，我们的融合框架在视觉质量，客观的融合指标和鲁棒性方面优于最先进的。
2020-06-21 cs.CV
CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion
针对协同感知中单一传感器数据共享的局限，提出CoBEVFusion框架，融合激光雷达与相机数据生成BEV表示，利用DWCA模块和3D CNN聚合多车特征，在OPV2V数据集上优于单模态及最先进BEV融合模型。
2023-10-09 cs.CV
Facial Expression Classification using Fusion of Deep Neural Network in Video for the 3rd ABAW3 Competition
Chonnam National University（全南国立大学）
对于计算机识别人类情感，表情分类是人机交互领域中同样重要的问题。在第三届情感行为分析野外比赛中，表情分类的任务包括八个类别，其中包括来自视频的人脸的六种基本表情。在本文中，我们采用了一个Transformer机制，从骨干编码的鲁棒表示。鲁棒表示的融合在表情分类任务中发挥着重要作用。我们的方法在验证集和测试集上的$F_1$得分分别达到30.35%和28.60%。该结果显示了基于Aff-Wild 2数据集的所提出的架构的有效性。
2022-04-08 cs.CV eess.IV
Improving Face-Based Age Estimation with Attention-Based Dynamic Patch Fusion
University of Warwick（华威大学）；Deakin University（迪肯大学）
随着卷积神经网络（CNN）的日益普及，最近基于人脸的年龄估计工作采用这些网络作为骨干。然而，最先进的基于CNN的方法平等地对待每个面部区域，从而完全忽略了一些可能包含丰富的年龄特定信息的面部补丁的重要性。在本文中，我们提出了一个基于人脸的年龄估计框架，称为基于注意力的动态补丁融合（ADPF）。在ADPF中，实现了两个独立的CNN，即AttentionNet和FusionNet。AttentionNet采用一种新的排名引导多头混合注意力（RMHHA）机制，动态地定位和排名特定年龄的补丁。FusionNet使用发现的补丁以及面部图像来预测受试者的年龄。由于所提出的RMHHA机制根据其重要性对发现的补丁进行排名，因此FusionNet中每个补丁的学习路径长度与其携带的信息量成正比（越长，越重要）。ADPF还引入了一种新的多样性损失来指导AttentionNet的训练，减少补丁之间的重叠，从而发现不同的重要补丁。通过大量的实验，我们表明，我们提出的框架优于国家的最先进的方法在几个年龄估计基准数据集。
2021-12-19 cs.CV
Ada-DF: An Adaptive Label Distribution Fusion Network For Facial Expression Recognition
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）
针对面部表情识别中数据集标注模糊的问题，提出双分支自适应分布融合框架Ada-DF，通过辅助分支获取标签分布并计算类别分布，利用注意力权重自适应融合分布以训练目标分支，在三个真实数据集上表现优于现有方法。
2024-04-24 cs.AI cs.CV
AFNet-M: Adaptive Fusion Network with Masks for 2D+3D Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）；National Engineering Laboratory for Brain-inspired Intelligence（类脑智能技术国家工程实验室）
2D+3D人脸表情识别（FER）通过同时融合2D纹理和更鲁棒的3D深度信息，可以有效地应对光照变化和姿态变化。大多数基于深度学习的方法采用简单的融合策略，该策略在完全连接的层之后直接连接多模态特征，而不考虑每个模态的不同重要程度。同时，如何同时关注显著区域中的二维和三维局部特征仍然是一个巨大的挑战。在这封信中，我们提出了自适应融合网络与掩模（AFNet-M）的2D+3D FER。为了增强2D和3D局部特征，我们把面具标注的人脸的显著区域作为先验知识，并设计了面具注意模块（MA），它可以自动学习两个调制向量调整的特征图。此外，我们引入了一种新的融合策略，可以通过设计的重要性权重计算模块（IWC）在卷积层进行自适应融合。实验结果表明，我们的AFNet-M在BU-3DFE和Bosphorus数据集上实现了最先进的性能，并且与其他模型相比需要更少的参数。
2022-05-24 cs.AI cs.CV
Ig3D: Integrating 3D Face Representations in Facial Expression Inference
State University of New York at Buffalo（纽约州立大学布法罗分校）
本文提出 Ig3D 方法，将基于 FLAME 的三维人脸表示通过中间融合和后期融合架构整合到面部表情推理中，在 AffectNet 和 RAF-DB 上超越现有最优方法，并可作为其他方法的补充以提升情感推理性能。
2024-08-29 cs.CV
