CMED: A Child Micro-Expression Dataset
本研究构建了首个儿童微表情数据集CMED，基于视频会议软件在野外采集，并建立了自动定位与识别的基线，以探索儿童与成人微表情的差异。
2025-03-27 cs.CV
Facial Micro-Expression Spotting and Recognition using Time Contrasted Feature with Visual Memory
Kalyani Government Engineering College（卡利亚尼政府工程学院）；Nanyang Technological University（南洋理工大学）；Cognizant Technology Solutions（高知特科技解决方案公司）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
面部微表情是突然的、无意识的微小肌肉运动，它揭示了人们试图隐藏的真实情绪。由于微表情持续时间短，强度大，因此发现并识别它是一项重大挑战。许多作品追求传统的和基于深度学习的方法来解决这个问题，但由于数据集的不可用，在学习低级特征和更高的准确性上妥协。这促使我们提出了一种新的时空网络联合架构，该架构从特征图中提取时间对比特征，以对比快速肌肉运动中的微表情。时间对比特征的使用大大提高了从不明显的面部运动中发现微表情的能力。此外，我们还包括一个记忆模块来预测跨微表情剪辑的时间帧的微表情的类别和强度。我们的方法实现了优越的性能相比，其他传统的方法在CASMEII数据集。
2019-04-19 cs.CV
MMME: A Spontaneous Multi-Modal Micro-Expression Dataset Enabling Visual-Physiological Fusion
The Defense Innovation Institute, Academy of Military Sciences（国防科技创新院，军事科学学院）；Northwestern Polytechnical University（西北工业大学）
本研究推出多模态微表情数据集MMME，首次同步采集微表情、脑电及多种外周生理信号，验证了生理信号融合可显著提升微表情识别与定位性能，推动微表情研究从单视觉模态转向多模态融合。
2025-06-12 cs.CV
Spotting Micro-Expressions on Long Videos Sequences
CentraleSupélec（中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；IETR（雷恩电子与电信研究所）；Institute of Psychology, Chinese Academy of Sciences（中国科学院心理研究所）；Manchester Metropolitan University（曼彻斯特城市大学）
本文通过评估SAMM和CAS（ME）2上的局部时间模式（LTP），展示了2019年第一次微表达定位挑战赛的基线结果。提出的LTP模式提取应用PCA在一个时间窗口上的几个面部局部区域。然后通过LTP的局部分类和全局融合来定位微表达序列。通过Leave-One-Subject-Out交叉验证评估性能。此外，我们定义的标准，确定在一个视频中的重叠率的真阳性，并设置度量F1得分为整个数据库的发现性能。SAMM和CAS（ME）2基线结果的F1评分分别为0.0316和0.0179。
2019-07-13 cs.CV
Towards Reading Hidden Emotions: A comparative Study of Spontaneous Micro-expression Spotting and Recognition Methods
University of Oulu（奥卢大学）；University of Oxford（牛津大学）
微表情（Micro-expressions，ME）是一种快速、无意识的面部表情，它揭示了人们不想表现出来的情绪。研究ME是有价值的，因为识别它们有许多重要的应用，特别是在法医学和心理治疗中。然而，分析自发ME是非常具有挑战性的，由于其持续时间短，强度低。ME自动分析包括两个任务：ME定位和ME识别。对于ME发现，以前的研究集中在姿势而不是自发的视频。对于ME识别，以前的研究的性能是低的。为了应对这些挑战，我们做出了以下贡献：（i）我们提出了第一种在长视频中发现自发ME的方法（通过利用特征差异对比度）。这种方法是免费训练的，适用于任意看不见的视频。（ii）我们提出了一个先进的ME识别框架，它在两个具有挑战性的自发ME数据库（SMIC和CASMEII）上的性能大大优于以前的工作。（iii）我们提出了第一个自动ME分析系统（MESR），它可以从自发视频数据中发现和识别ME。最后，我们展示了我们的方法在ME识别任务中的表现优于人类，并且在发现并识别自发ME的非常具有挑战性的任务中实现了与人类相当的性能。
2017-02-08 cs.CV
SpotFormer: Multi-Scale Spatio-Temporal Transformer for Facial Expression Spotting
Graduate School of Information Science and Technology, The University of Osaka（大阪大学信息科学与技术研究生院）；D3 Center, The University of Osaka（大阪大学D3中心）
本文提出SpotFormer框架，通过CSW-MRO特征提取和多尺度时空Transformer实现准确的面部表情识别，实验表明其在微表情识别上优于现有方法。
2026-04-11 cs.CV
AU-aware graph convolutional network for Macro- and Micro-expression spotting
University of Science and Technology of China（中国科学技术大学）
长视频中的自动微表达（ME）点样是ME分析中的关键步骤，但由于ME的持续时间短且强度低，因此也是一项具有挑战性的任务。在解决这个问题时，以往的工作一般缺乏考虑人脸的结构和表情与相关面部肌肉之间的对应关系。为了解决这个问题，以更好的性能ME发现，本文试图提取更精细的空间特征，通过建模的面部感兴趣区域（ROI）之间的关系。具体来说，我们提出了一个基于图卷积的网络，称为AUW-Unit-aWare图卷积网络（AUW-GCN）。此外，为了注入先验信息并应对小数据集的问题，将AU相关统计数据编码到网络中。综合实验表明，我们的结果优于基线方法一致，并实现了新的SOTA性能在两个基准数据集，CAS（ME）^2和SAMM-LV。我们的代码可在https://github.com/xjtupanda/AUW-GCN上获得。
2023-03-16 cs.CV
Synergistic Spotting and Recognition of Micro-Expression via Temporal State Transition
School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院）；School of Intelligence Science and Technology, University of Science and Technology Beijing（北京科技大学智能科学与技术学院）
针对现有微表情检测与识别方法受滑动窗口限制、未利用任务互补性的问题，提出基于状态空间模型的时间状态转移架构与协同策略，用视频级回归替代窗口级分类，实现了当前最优性能。
2024-09-15 cs.CV
Weak Supervision with Arbitrary Single Frame for Micro- and Macro-expression Spotting
University Of Electronic Science And Technology Of China（电子科技大学）
提出点级弱监督表情定位框架PWES，仅需单帧标注，通过设计多精炼伪标签生成和分布引导特征对比学习策略解决标签稀疏及预测碎片化问题，性能媲美全监督方法。
2024-03-21 cs.CV
ADS-ME: Anomaly Detection System for Micro-expression Spotting
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动处理实验室）
微表情（ME）是一种罕见且不可控制的面部事件，可以突出情感欺骗并出现在高风险环境中。本文提出了一种时空运动元定位算法。由于ME是不寻常的事件，我们将其视为与预期的正常面部行为（NFB）模式不同的异常模式。NFB对应于面部肌肉激活、眨眼/凝视事件和嘴巴张开/闭合运动，这些都是面部变形而不是ME。我们提出了一个概率模型来估计的概率密度函数模型的时空分布的NFB模式。为了对输出进行排名，我们计算负对数似然，并开发了一种自适应阈值技术来识别NFB中的ME。虽然只使用NFB数据，但主要挑战是捕获内在的时空特征，因此我们设计了一个用于特征表示的递归卷积自动编码器。最后，我们表明，我们的系统是优于以前的作品ME发现。
2019-03-11 cs.CV
RMES: Real-Time Micro-Expression Spotting Using Phase From Riesz Pyramid
Hong Kong University of Science and Technology（香港科技大学）；Ydentity Organization（Ydentity 机构）；Bright Nation Limited（Bright Nation 有限公司）
提出RMES实时微表情定位框架，利用Riesz金字塔相位表示运动并输入三流浅层CNN，计算量减少77.8%，在CAS(ME)2和SAMM Long Videos上达到最先进性能。
2023-05-09 cs.CV
3D-CNN for Facial Micro- and Macro-expression Spotting on Long Video Sequences using Temporal Oriented Reference Frame
Manchester Metropolitan University（曼彻斯特城市大学）；University of Manchester（曼彻斯特大学）
面部表情定位是微观和宏观表情分析的第一步。在视频序列中可靠地发现这种表达的任务目前尚未解决。目前最好的系统依赖于光流方法来提取区域运动特征，然后将该运动分类为特定类别的面部运动。光流易受漂移误差的影响，这对于具有长期依赖性的运动（诸如高帧率宏表达式）引入了严重的问题。我们提出了一种纯粹的深度学习解决方案，该解决方案不是跟踪帧差分运动，而是通过卷积模型将每个帧与两个时间局部参考帧进行比较。根据计算的微观和宏观表达持续时间对参考帧进行采样。作为MEGC 2021使用leave-one-subject-out评估方法的基线，我们表明我们的解决方案在高帧速率（200 fps）SAMM长视频数据集（SAMM-LV）中实现了0.105的F1分数，并且在低帧速率（30 fps）（CAS（ME）2）数据集中具有竞争力。在看不见的MEGC 2022挑战数据集上，SAMM挑战数据集的基线结果为0.1176，CAS（ME）3为0.1739，两个数据集的总体性能为0.1531。
2022-05-26 cs.CV
End-to-End Facial Expression Detection in Long Videos
Hong Kong University of Science and Technology（香港科技大学）；University of Edinburgh（爱丁堡大学）；Ydentity Organization（Ydentity组织）
本文提出FEDN网络，将面部表情识别与检测统一为端到端任务，通过时间注意力模块提升多时间尺度表现，优于现有基准。
2026-06-28 cs.CV
Causal-Ex: Causal Graph-based Micro and Macro Expression Spotting
CyPhi AI Lab, Monash University, Malaysia campus（CyPhi AI实验室，墨尔本大学，马来西亚校区）
Causal-Ex通过构建面部动作单元的因果图，有效消除训练中的偏见，提升情绪定位的F1分数。
2025-03-12 cs.CV
Shallow Optical Flow Three-Stream CNN for Macro- and Micro-Expression Spotting from Long Videos
Multimedia University（多媒体大学）；Heriot-Watt University Malaysia（赫瑞-瓦特大学马来西亚校区）
面部表情从可见到细微都有变化。近年来，微表情分析$-$一种自然发生的抑制一个人的真实情绪，引起了研究人员的注意，具有广泛的潜在应用。然而，在长视频中发现微表情与正常或宏观表情交织在一起时变得越来越具有挑战性。在本文中，我们提出了一个浅光流三流CNN（CNN Net）模型来预测一个分数，该分数捕获了一个帧在一个表达区间中的可能性。通过将定位任务作为回归问题，我们引入伪标签来促进学习过程。我们在最近的MEGC 2020基准测试中证明了所提出的方法的有效性和效率，其中CAS（ME）$^{2}$实现了最先进的性能，SAMM长视频也取得了同样有希望的结果。
2021-06-11 cs.CV cs.MM
PESFormer: Boosting Macro- and Micro-expression Spotting with Direct Timestamp Encoding
University Of Electronic Science And Technology Of China（电子科技大学）；West China Hospital, Sichuan University（四川大学华西医院）
针对宏/微表情检测中锚框编码与滑动窗口丢失训练区间的问题，提出基于 vision transformer 的 PESFormer，用 DTE 和零填充实现点到区间检测，并在三个数据集上达到最佳性能。
2024-10-24 cs.CV
STEP -- Towards Structured Scene-Text Spotting
Computer Vision Center（计算机视觉中心）；UAB（巴塞罗那自治大学）；AllRead MLT
提出结构化场景文本识别任务及 STEP 模型，利用正则表达式同时引导文本检测与识别，实现零样本、多场景的按需专用 OCR。
2023-12-11 cs.CV
Multi-Scale Spatio-Temporal Graph Convolutional Network for Facial Expression Spotting
Osaka University（大阪大学）
本文提出多尺度时空图卷积网络SpoT-GCN用于面部表情定位，通过感受野自适应滑动窗口策略提取鲁棒动作特征，结合面部局部图池化和有监督对比学习，在SAMM-LV和CAS(ME)^2数据集上达到最先进性能。
2024-03-24 cs.AI cs.CV
Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions
Northwestern Polytechnical University（西北工业大学）；Chinese Academy of Sciences（中国科学院）；University of Oulu（奥卢大学）
近年来，自发性面部微表情的识别任务因其在现实世界中的广泛应用而备受关注。大量的手工或学习的功能已被用于各种分类器，并取得了良好的性能识别微表情。然而，由于微表情的细微时空变化，微表情识别仍然具有挑战性。为了充分利用深度学习的优点，本文提出了一种基于深度递归卷积网络的微表情识别方法，该方法捕捉微表情序列的时空变形。具体而言，所提出的深度模型由用于提取视觉特征的几个递归卷积层和用于识别的分类层组成。它通过端到端的方式进行优化，避免了手动特征设计。为了处理序列数据，我们采用了两种类型的跨时间域扩展卷积网络的连接性，其中时空变形分别在面部外观和几何形状的视图中建模。此外，为了克服训练样本有限和不平衡的缺点，我们的深度网络联合使用了时间数据增强策略以及平衡损失。通过在三个自发的微表情数据集上进行实验，我们验证了我们提出的微表情识别方法的有效性相比，国家的最先进的方法。
2019-01-15 cs.CV
A Novel Apex-Time Network for Cross-Dataset Micro-Expression Recognition
Intelligent Security Center（智能安全中心）；UCL Interaction Centre（伦敦大学学院交互中心）；University College London（伦敦大学学院）；Southwest University（西南大学）
自从深度学习方法的成功引入以来，微表情的自动识别得到了推动。随着研究这些主题的研究人员正在从微表情的本质中学习，使用深度学习技术的实践已经从处理微表情的整个视频片段发展到对顶点帧的识别。使用顶点帧能够去除冗余的视频帧，但是微表情的相关时间证据将因此被遗漏。本文提出了一种新的顶点时间网络（ATNet）识别微表情的基础上的空间信息的顶点帧，以及从各自相邻的帧的时间信息。通过对三个基准测试的广泛实验，我们证明了通过学习这种时间信息所取得的改进。特别地，具有这种时态信息的模型在跨数据集验证中更鲁棒。
2019-08-17 cs.CV
A Review on Facial Micro-Expressions Analysis: Datasets, Features and Metrics
Sudan University of Science and Technology（苏丹科技大学）；Manchester Metropolitan University（曼彻斯特城市大学）；University of Manchester（曼彻斯特大学）
面部微表情是非常短暂的，自发的面部表情，出现在人类脸上时，他们故意或无意识地隐藏一种情绪。微表达的持续时间比宏表达短，这对人和机器来说更具挑战性。近十年来，微表情自动识别越来越受到心理学、计算机科学、安全、神经科学等相关学科研究者的关注。本文的目的是提供自动微表情的见解和建议，为未来的研究。在过去的十年中，发布了大量的数据集，促进了该领域的快速增长。然而，由于实验方案、使用的特征和评价方法的不一致性，不同数据集之间的比较是困难的。为了解决这些问题，我们回顾了文献中部署的数据集，功能和性能指标。相关的挑战，如时空设置在数据汇集，情感类与客观类的数据标签，面对地区的数据分析，标准化的指标和现实世界的实施要求进行了讨论。最后，我们提出了一些有前途的未来方向，以推进微表情研究。
2018-05-07 cs.CV
Spotting Macro- and Micro-expression Intervals in Long Video Sequences
Institute of Psychology, Chinese Academy of Sciences（中国科学院心理研究所）；University of the Chinese Academy of Sciences（中国科学院大学）；Manchester Metropolitan University（曼彻斯特城市大学）
本文介绍了第三届面部微表情大挑战赛（MEGC 2020）的基线结果。采用主方向最大差分分析（MDMD）方法，对CAS（ME）$^2$和SAMM长视频中的宏、微观表情区间进行了识别。MDMD方法使用光流特征的主方向上的幅度最大差异来发现面部运动。将原始MDMD方法的单帧预测结果进行后处理，得到合理的视频间隔。评估基线结果的度量F1-评分：对于CAS（ME）$^2$，宏观和微观表达的F1-评分分别为0.1196和0.0082，总体F1-评分为0.0376;对于SAMM长视频，宏表情和微表情的F1分数分别为0.0629和0.0364，总体F1分数为0.0445。基准项目代码可在https://github.com/HeyingGithub/Baseline-project-for-MEGC2020_spotting上公开查阅。
2020-03-20 cs.CV eess.IV
LEARNet Dynamic Imaging Network for Micro Expression Recognition
与普遍的面部表情不同，微表情具有微妙的，不自主的肌肉运动，本质上是短暂的。这些微小的肌肉运动反映了一个人的真实情感。由于持续时间短，强度低，这些微表情很难被正确地感知和解释。在本文中，我们提出了动态表示的微表情，以保持面部运动信息的视频在一个单一的帧。我们还提出了一个横向增生混合网络（LEARNet），以捕捉面部区域的表情的微观层次的功能。LEARNet通过在网络中加入增积层（AL），以增积的方式细化显著的表达特征。AL的响应保持由先前横向连接的卷积层生成的混合特征图。此外，LEARNet架构结合了卷积层之间的交叉解耦关系，这有助于保留微小但有影响力的面部肌肉变化信息。拟议的LEARNet的视觉反应描绘系统的有效性，通过保留高和微观层次的面部表情的边缘特征。在CASME-I、CASME-II、CAS（ME）^2和SMIC四个基准数据集上对LEARNet的有效性进行了评估。在CASME-I、CASME-II、CAS（ME）^2和SMIC数据集上的实验结果表明，与ResNet相比，该算法的性能分别提高了4.03%、1.90%、1.79%和2.82%。
2019-04-20 cs.CV
Weakly-supervised Micro- and Macro-expression Spotting Based on Multi-level Consistency
University Of Electronic Science And Technology Of China（电子科技大学）
本文提出弱监督表情检测框架MC-WES，通过多一致性协同机制缓解多示例学习中的模态间、样本间和任务间差距，仅用视频级标签实现细粒度帧级检测，在三个基准数据集上达到与全监督方法相当的性能。
2023-10-30 cs.CV cs.MM
Cross-Database Micro-Expression Recognition: A Benchmark
Southeast University（东南大学）；South China University of Technology（华南理工大学）；University of Oulu（奥卢大学）；Nanjing University of Science and Technology（南京理工大学）
跨数据库微表情识别是近年来微表情分析领域的一个热点问题。CDMER比传统的微表情识别（MER）更具挑战性，因为CDMER中的训练样本和测试样本来自不同的微表情数据库，导致训练集和测试集之间的特征分布不一致。本文从三个方面对这一问题进行了探讨。首先，我们建立了一个CDMER实验评估协议，旨在让研究人员方便地工作在这个话题上，并提供了一个标准的平台来评估他们提出的方法。其次，我们使用九个最先进的领域自适应（DA）方法和六个流行的时空描述符进行基准实验，分别从两个不同的角度研究CDMER问题。第三，我们提出了一种新的DA方法称为区域选择性转移回归（RSTR）来处理CDMER任务。我们的RSTR利用一个重要的线索来识别微表情，即，面部局部区域在MER中的不同贡献。RSTR的整体优越性能表明，考虑到有利于MER的重要线索，例如，的人脸局部区域信息，有助于发展有效的DA方法来处理CDMER问题。
2019-11-11 cs.CV
Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition
MOEMIL Laboratory, School of Optoelectronic Science and Engineering, University of Electronic Science and Technology of China, Chengdu, 611731, China（电子科学与技术大学光电科学与工程学院）；School of Optoelectronic Science and Engineering, University of Electronic Science and Technology of China（电子科学与技术大学光电科学与工程学院）；UESTC-MIT Joint Institute of Intelligent Microtechnique, Yibin, 644000, China（UESTC-MIT智能微技术联合研究所）
该研究针对微表情强度低、公开数据集规模小的问题，提出基于自知识蒸馏的三流时域移位注意力网络，经5个公开微表情数据集验证，性能优于现有方法且达到新的最优。
2026-08-26 cs.CV
HTNet for micro-expression recognition
Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）
针对微表情识别中肌肉运动微妙且现有方法忽略面部空间关系的问题，提出分层Transformer网络（HTNet），通过划分面部区域并利用局部自注意力与聚合层捕捉局部及全局特征，在四个数据集上取得显著优于以往方法的性能。
2023-07-27 cs.CV
Automatic Micro-Expression Apex Frame Spotting using Local Binary Pattern from Six Intersection Planes
University of Tabriz（大不里士大学）；Qazvin Branch, Islamic Azad University（伊斯兰阿扎德大学加兹温分校）
面部表情是非言语交际中最有效的方式之一，在高风险情境下，面部表情可以表现为微表情。ME是无意识的，快速的，微妙的，它们可以揭示真正的人类意图。然而，由于它们的低强度和非常短的持续时间，它们的特征提取非常具有挑战性。三正交平面局部二值模式（LBP-TOP）特征提取器虽然对ME分析很有用，但它没有考虑必要的信息。为了解决这个问题，我们提出了一个新的特征提取器称为本地二进制模式从六个相交平面（LBP-SIP 1）。该方法在六个相交平面上提取LBP码，然后将它们合并。实验结果表明，与CASME数据库上的相关方法相比，该方法具有更好的自动定位性能。仿真结果表明，使用所提出的方法，顶点帧已被发现在43%的主题在CASME数据库中，自动。此外，平均绝对误差为1.76，使用我们的新方法。
2021-04-05 cs.CV eess.IV
DIANet: A Phase-Aware Dual-Stream Network for Micro-Expression Recognition via Dynamic Images
Faculty of Information Technology, VNU University of Engineering and Technology（信息科技学院，越南工程大学）
针对微表情识别中忽略时间相位特征的问题，提出相位感知双流网络DIANet，利用起始-峰值和峰值-偏移动态图像，经卷积网络与交叉注意力融合，在三个基准数据集上优于传统方法。
2025-10-14 cs.CV
AMMSM: Adaptive Motion Magnification and Sparse Mamba for Micro-Expression Recognition
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对微表情持续时间短、信号微弱导致识别困难的问题，提出多任务学习框架 AMMSM，结合自监督细微运动放大与稀疏空间选择 Mamba 架构，并利用进化搜索优化超参数，在标准数据集上实现了SOTA的准确率与鲁棒性。
2025-03-31 cs.CV
How to Synthesize a Large-Scale and Trainable Micro-Expression Dataset?
Australian National University（澳大利亚国立大学）；Tsinghua University（清华大学）
本文不包含技术新颖性，但介绍了我们在数据生成协议，数据库和见解的关键发现。由于数据汇集成本过高，使得大规模训练不太可行，因此我们的目标是解决微表情（MiE）识别中缺乏大规模数据集的问题。为此，我们开发了一个协议，自动合成大规模的MiE训练数据，使我们能够训练改进的识别模型，为现实世界的测试数据。具体来说，我们发现了三种类型的行动单位（AU），可以构成可训练的MIEs。这些AU来自真实世界的MiE，宏表情视频的早期帧，以及AU和由人类专家知识定义的表情类别之间的关系。有了这些AU，我们的协议然后采用大量的各种身份的面部图像和现成的面部生成器进行MiE合成，产生MiE-X数据集。MiE识别模型在MiE-X上进行训练或预训练，并在真实世界的测试集上进行评估，获得非常有竞争力的准确性。实验结果不仅验证了所发现的AU和MiE-X数据集的有效性，而且还揭示了MiE的一些有趣特性：它们在人脸中泛化，接近早期的宏表达式，并且可以手动定义。
2022-09-20 cs.CV
Efficient Neural Architecture Search for Emotion Recognition
University of Miami（迈阿密大学）；Kalinga Institute of Industrial Technology（卡林加工业技术学院）；JP Morgan Chase & Co（摩根大通公司）；Walmart Global Tech（沃尔玛全球技术）
从面部表情中自动识别人类情感是一个研究得很好的问题，仍然是一个非常具有挑战性的任务。在文献中已经提出了一些有效或准确的深度学习模型。然而，设计一个既有效又准确的模型是相当困难的。此外，识别宏观和微观表情的面部区域中的微小特征变化需要网络设计方面的专业知识。在本文中，我们提出了寻找一个高效和强大的神经结构的宏观和微观层面的面部表情识别。据我们所知，这是第一次尝试设计一个基于NAS的解决方案，为宏观和微观表情识别。我们产生轻量级的模型与基于梯度的架构搜索算法。为了保持宏观和微观表情之间的一致性，我们利用动态成像和微表情序列转换成一个单一的帧，保留在面部区域的时空特征。CNAS已经评估了超过13个数据集（7个宏表达数据集：CK+，DISFA，MUG，ISED，OULU-VIS CASIA，FER 2013，RAF-DB和6个微表达数据集：CASME-I，CASME-II，CAS（ME）2，SAMM，SMIC，MEGC 2019挑战）。所提出的模型优于现有的国家的最先进的方法，并执行非常好的速度和空间复杂度。
2023-03-23 cs.CV
MicroExpNet: An Extremely Small and Fast Model For Expression Recognition From Face Images
Middle East Technical University（中东技术大学）
本文的目的是创建非常小的和快速的卷积神经网络（CNN）的问题，面部表情识别（FER）从正面的人脸图像。为此，我们采用了流行的知识蒸馏（KD）方法，并确定了其用途：的两个主要缺点：1）需要细粒度的网格搜索来调整温度超参数; 2）为了找到最佳的大小精度平衡，需要搜索最终的网络大小（或压缩率）。另一方面，KD被证明是有用的模型压缩的FER问题，我们发现，它的效果越来越显着的模型大小的减少。此外，我们假设使用最大池化层实现的平移不变性对于FER问题没有用，因为表达式对眼睛和嘴巴周围的小的像素变化很敏感。然而，当使用最大池时，我们发现了一个有趣的泛化改进。我们在两个广泛使用的FER数据集CK+和Oulu-CASIA上进行了实验。我们使用知识蒸馏获得的最小模型（MicroExpNet）大小小于1MB，在Intel i7 CPU上以每秒1851帧的速度工作。尽管不像最先进的那样精确，MicroExpNet仍然为设计FER问题的微架构提供了重要的见解。
2019-12-24 cs.CV
Transferring Dual Stochastic Graph Convolutional Network for Facial Micro-expression Recognition
微表情识别在测谎、刑事侦查、心理咨询等领域有着广泛的应用，因此受到越来越多的关注。为了提高小微表情数据的识别性能，提出了一种传递对偶随机图卷积网络（TDSGCN）模型。我们提出了一种随机图构造方法和对偶图卷积网络，从微表情图像中提取更具鉴别力的特征。我们使用迁移学习从宏表达数据预训练SGCN。结合光流算法提取了它们的时间特征。我们融合空间和时间特征，以提高识别性能。据我们所知，这是第一次尝试将迁移学习和图卷积网络用于微表情识别任务。此外，为了处理数据集的类别不平衡问题，我们重点设计了焦点损失函数。通过广泛的评估，我们提出的方法实现了最先进的性能SAMM和最近发布的MMEW基准。我们的代码将随本文一起公开提供。
2022-03-10 cs.CV eess.IV
A Benchmark for Incremental Micro-expression Recognition
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）；Xi’an Jiaotong University（西安交通大学）；Zhejiang University（浙江大学）
本文提出增量微表情识别基准测试，通过定制学习设置、有序数据集和交叉评估协议，为研究提供基础，并提供六个基线方法的评估结果。
2026-03-30 cs.AI cs.CV
ME-TST+: Micro-expression Analysis via Temporal State Transition with ROI Relationship Awareness
School of Computer and Communication Engineering, University of Science and Technology Beijing（信息与通信工程学院，北京科技大学）
本文提出基于状态空间模型的ME-TST和ME-TST+架构，通过时序状态转换机制将窗口级分类替换为视频级回归，并结合多粒度ROI建模与slowfast Mamba框架及定位识别协同策略，实现了最先进的微表情分析性能。
2025-08-11 cs.CV
Multi-scale multi-modal micro-expression recognition algorithm based on transformer
微表情是一种自发的无意识的面部肌肉运动，可以揭示人们试图隐藏的真实情绪。尽管人工方法已经取得了很好的进展，而且深度学习也越来越突出。由于微表情的持续时间短，且人脸区域表达的尺度不同，现有算法无法在提取多模态多尺度人脸区域特征的同时，考虑上下文信息学习底层特征。为此，针对上述问题，本文提出了一种基于Transformer网络的多模态多尺度算法，旨在通过微表情的两种模态特征--运动特征和纹理特征，充分学习微表情的局部多粒度特征。为了获得不同尺度下的人脸局部区域特征，首先学习两种模式下不同尺度下的斑块特征，然后融合多层多头注意力权重，通过对斑块特征加权获得有效特征，并结合跨模式对比学习进行模型优化。在3个自发数据集上进行了综合实验，结果表明，该算法在SMIC单测量数据库上的准确率达到78.73%，在CASMEII上的F1值达到0.9071，处于领先水平。
2023-01-11 cs.AI cs.CV
Micro-expression Recognition Based on Dual-branch Feature Extraction and Fusion
China University of Petroleum (Beijing) Karamay Campus（中国石油大学（北京）克拉玛依校区）
本文提出双分支特征提取与融合网络，通过残差网络、Inception网络和自适应融合模块提升微表情识别准确率，实验显示在CASME II数据集上达到74.67%的准确率。
2026-02-27 cs.AI cs.CV
An Overview of Facial Micro-Expression Analysis: Data, Methodology and Challenge
National Chung Hsing University（国立中兴大学）
面部微表情是指在情感交流过程中出现的简短而微妙的面部动作。与宏表达式相比，微表达式由于时间跨度短、变化粒度细而更难分析。近年来，微表情识别（MER）因其在警察审讯、临床诊断、抑郁症分析、商务谈判等方面的广泛应用而备受关注。在本次调查中，我们提供了一个新的概述，讨论了MER任务的新研究方向和挑战。例如，我们审查MER方法从三个新的方面：宏观到微观的适应，识别的基础上的关键顶点帧，识别的基础上，面部动作单元。此外，为了缓解有限和有偏见的ME数据的问题，合成数据生成调查的微表达数据的多样性富集。由于微表情点样技术可以促进微表情分析，本文还介绍了最新的点样工作。最后，我们讨论了MER研究中面临的挑战，并提供了潜在的解决方案以及进一步研究的可能方向。
2020-12-21 cs.CV cs.LG
Boosting Micro-Expression Analysis via Prior-Guided Video-Level Regression
University of Science and Technology Beijing（北京科技大学）
提出先验引导的视频级回归方法，通过可扩展区间选择策略和协同优化框架，精确检测微表情起始、顶点和结束阶段，并在多个基准上取得最优性能。
2025-08-26 cs.CV
MEGC2025: Micro-Expression Grand Challenge on Spot Then Recognize and Visual Question Answering
Department of Computing and Mathematics, Manchester Metropolitan University（计算与数学系，曼彻斯特 Metropolitan 大学）；State Key Laboratory of Cognitive Science and Mental Health, Institute of Psychology, Chinese Academy of Sciences（认知科学与心理健康国家重点实验室，心理学研究所，中国科学院）；Department of Psychology, University of the Chinese Academy of Sciences（心理学系，中国科学院大学）；National Taiwan University（台湾大学）；Zhejiang University（浙江大学）；University of Oulu（奥卢大学）；Harbin Institute of Technology（哈尔滨工业大学）
MEGC2025提出微表情先定位后识别与视觉问答两个任务，利用多模态大模型提升长视频中微表情分析的性能，并设排行榜供算法评测。
2025-10-15 cs.CV cs.MM
Facial Prior Based First Order Motion Model for Micro-expression Generation
Sun Yat-sen University（中山大学）
本文提出微表情生成任务，结合一阶运动模型与面部先验知识，通过区域聚焦、运动预测和表情生成三个模块生成微表情视频，并在MEGC2021中取得第一名。
2023-08-08 cs.CV
Micro-expression detection in long videos using optical flow and recurrent neural networks
Eindhoven University of Technology（埃因霍温理工大学）
面部微表情是微妙的和不自觉的表情，可以揭示隐藏的情绪。微表情在诸如测谎、心理健康、情感分析等应用领域中是非常宝贵的信息源。这一研究领域的最大挑战之一是可用的自发微表达数据量很少。然而，自发的数据汇集被耗时且昂贵的注释所拖累。因此，需要一些方法来减少注释者必须审查的数据量。提出了一种基于光流特征的递归神经网络（RNN）微表情定位方法。我们提取定向光流（HOOF）特征直方图来编码选定面部区域的时间变化。最后，RNN发现可能包含相关面部微运动的短间隔。所提出的方法进行评估的SAMM数据库。通过使用Leave-One-Subject-Out交叉验证来训练RNN，消除了任何受试者偏见的机会。将斑点间隔与标记数据进行比较显示，该方法产生了1569个假阳性，同时获得了0.4654的召回率。初步结果表明，该方法将视频长度减少了3.5倍，同时仍然保留了几乎一半的相关微运动。最后，随着模型获得更多的数据，它在检测间隔方面变得更好，这使得所提出的方法适合于支持注释过程。
2019-03-26 cs.CV
Learning to Rank Onset-Occurring-Offset Representations for Micro-Expression Recognition
Southeast University（东南大学）
针对微表情识别问题，提出名为LTR3O的深度学习方法，通过灵活的3O序列结构及候选表示校准增强微表情可见性，在三个常用数据集上性能优于现有最先进方法。
2023-10-07 cs.CV
Feature refinement: An expression-specific feature learning and fusion method for micro-expression recognition
Jiangsu University（江苏大学）；Nanjing Institute of Technology（南京工程学院）；University of Oulu（奥卢大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Xiamen University（厦门大学）
微表情识别已经变得具有挑战性，因为提取微表情的细微面部变化非常困难。近年来，一些方法提出了几种表情共享特征算法用于微表情识别。然而，它们没有揭示特定的判别特征，这导致次优性能。本文提出了一种新的特征细化（{FR}）与表情特定的特征学习和融合的微表情识别。它的目的是获得显着的和歧视性的特征，为特定的表达，并预测表达通过融合的表达特定的功能。FR由一个带有注意力机制的表达建议模块和一个分类分支组成。首先，设计了基于光流的初始化模块，以获取表情共享特征。第二，为了提取特定表情的显著性和区分性特征，将表情共享特征馈送到具有注意力因子和建议损失的表情建议模块中。最后，在分类分支中，类别的标签预测的表达特定的功能的融合。在三个公开数据库上的实验验证了FR在不同协议下的有效性。公共基准测试的结果表明，我们的FR微表情识别提供了显着的和歧视性的信息。实验结果也表明，与现有的最先进的微表情识别方法相比，我们的FR实现了更好的或有竞争力的性能。
2021-01-13 cs.CV
From Macro to Micro: Boosting micro-expression recognition via pre-training on macro-expression videos
University of Science
针对微表情识别数据短缺问题，提出MA2MI迁移学习范式与MIACNet双分支网络，通过宏表情视频预训练和特征解耦提升识别性能。
2024-06-04 cs.CV
Micro-expression Action Unit Detection with Spatio-temporal Adaptive Pooling
动作单元检测在人脸表情识别中起着重要的作用。据我们所知，很少有研究AU分析的微表情。在本文中，我们专注于AU检测微表情。由于微表情数据库数量少、强度低、面部肌肉变化持续时间短以及类别不平衡，微表情AU检测具有挑战性。为了缓解这些问题，我们提出了一种新的时空自适应池（STAP）网络，用于微表情中的AU检测。首先，STAP由一系列不同大小的卷积滤波器聚合而成。这样，空时自适应处理可以获得空间和时间域上的多尺度信息。另一方面，STAP包含较少的参数，因此具有较小的计算成本，适合于非常小的数据库上的微表达AU检测。此外，还设计了STAP模块，在空间域和时间域上汇集微表情AU的判别信息。最后，采用Focal loss方法防止大量的阴性样本淹没微表情AU检测器。在实验中，我们首先在三个常用的数据库上抛光AU注释。我们在三个微表达数据库上进行了深入的实验，并提供了一些关于微表达AU检测的基线结果。结果表明，我们提出的方法优于基本的膨胀inception-v1（I3 D）的平均F1分数。我们还评估了我们提出的方法在跨数据库协议上的性能。实验结果表明，该方法对于跨数据库的微表情AU检测是可行的。重要的是，三个微表达数据库和跨数据库协议的结果为微表达AU检测的未来研究提供了广泛的基线结果。
2020-04-10 cs.CV
A Survey of Automatic Facial Micro-expression Analysis: Databases, Methods and Challenges
Multimedia University（多媒体大学）；University of Nottingham（诺丁汉大学）；Monash University Malaysia（莫纳什大学马来西亚分校）
在过去的几年里，自动面部微表情分析已经获得了越来越多的关注，来自不同学科的专家，因为它在各个领域的潜在应用，如临床诊断，法医调查和安全系统。计算机算法和视频采集技术的进步使机器分析面部微表情成为可能，而几十年前，这主要是精神科医生的领域，分析主要是手动的。事实上，虽然面部微表情的研究是心理学中一个成熟的领域，但从计算的角度来看，它仍然是一个相对较新的领域，有许多有趣的问题。在这项调查中，我们提出了一个全面的审查国家的最先进的数据库和方法的微表情发现和识别。这些任务的自动化所涉及的各个阶段也进行了详细的描述和审查。此外，我们还讨论了自动面部微表情分析这一日益增长的领域所面临的挑战和未来的发展方向。
2018-06-15 cs.CV cs.MM
Spontaneous Facial Micro-Expression Recognition using Discriminative Spatiotemporal Local Binary Pattern with an Improved Integral Projection
University of Oulu（奥卢大学）
近年来，从人脸图像序列中推断微表情的研究受到越来越多的关注。由于微表情的细微运动，特征提取成为自发人脸微表情识别的重要和关键问题。目前的研究多采用时空局部二值模式进行微表情分析。然而，常用的时空局部二值模式考虑了人脸图像的动态纹理信息，而忽略了人脸图像的形状属性。另一方面，他们的工作是从全局人脸区域中提取时空特征，忽略了两个微表情类之间的区分信息。上述问题严重限制了时空局部二值模式在微表情识别中的应用。针对微表情识别中的时空局部二值模式问题，提出了一种基于改进积分投影的判别式时空局部二值模式.首先，我们提出了一种改进的积分投影，以保持微表情的形状属性。此外，一个改进的积分投影被纳入跨空间和时间域的本地二进制模式算子。具体来说，我们提取新的时空特征，将形状属性纳入时空纹理特征。为了提高微表情识别的区分度，提出了一种基于拉普拉斯算子的特征选择方法来提取微表情识别的区分信息。密集的实验进行了三个可用公布的微表情数据库。我们比较我们的方法与国家的最先进的算法。实验结果表明，我们提出的方法取得了良好的性能微表情识别。
2016-08-07 cs.CV
ICE-GAN: Identity-aware and Capsule-Enhanced GAN with Graph-based Reasoning for Micro-Expression Recognition and Synthesis
University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）
微表情是人们真实情感和动机的反映，因此吸引了越来越多的研究者对人脸微表情自动识别的研究。短的检测窗口，微妙的面部肌肉运动和有限的训练样本使得微表情识别具有挑战性。为此，我们提出了一种新的基于图推理的身份感知和胶囊增强的生成对抗网络（ICE-GAN），引入微表情合成作为辅助任务来辅助识别。生成器生成具有可控微表情和身份感知特征的合成人脸，其长期依赖性通过图推理模块（GRM）捕获，并且该生成器检测图像真实性和表情类。我们的ICE-GAN在Micro-Expression Grand Challenge 2019（MEGC 2019）上进行了评估，与获奖者相比有显著改善（12.9%），并超过了其他最先进的方法。
2021-04-26 cs.CV
Fine-Grained 3D Facial Reconstruction for Micro-Expressions
本文提出细粒度3D面部重建方法，通过结合全局动态特征和局部丰富特征，提升微表情重建的几何精度和感知细节。
2026-03-07 cs.CV
Micro-Attention for Micro-Expression recognition
University College London（伦敦大学学院）；Chongqing Institute of Green and Intelligent Technology, CAS（中国科学院重庆绿色智能技术研究院）；Southwest University（西南大学）；Institute of Psychology, CAS（中国科学院心理研究所）
微表情由于其在情感检测中的高度客观性，已成为情感计算中一种很有前途的模式。最近，深度学习方法已被成功引入微表情识别领域。虽然实现了更高的识别精度，但微表情识别仍然存在重大挑战。但由于人脸局部小区域内存在微表情，且现有数据库规模有限，使得对这种情绪化的人脸行为的识别精度受到限制。在这项工作中，为了应对这些挑战，我们提出了一种新的注意力机制称为微注意力与剩余网络合作。微注意使网络能够学习关注覆盖不同动作单元的感兴趣的面部区域。此外，针对小数据集，微注意力的设计没有增加明显的参数，而一个简单而有效的迁移学习方法一起使用，以减轻过拟合的风险。通过对三个基准测试（CASMEII、SAMM和SMIC）和事后特征可视化的广泛实验评估，我们证明了所提出的微注意的有效性，并推动了微表情自动识别的边界。
2019-08-27 cs.CV
Advanced local motion patterns for macro and micro facial expression recognition
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
在本文中，我们开发了一种新的方法，识别面部表情，创新的局部运动模式功能的基础上，有三个主要贡献。第一个是面部皮肤的时间弹性和面部变形的分析表达。第二种是宏观和微观表情识别的统一方法。第三个是朝着野外表达识别迈出的一步，处理各种强度和各种表达激活模式，照明变化和小头部姿势变化等挑战。我们的方法优于国家的最先进的方法，微观表情识别和位置本身的顶级国家的最先进的方法，宏观表情识别。
2018-05-04 cs.CV
Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition
Renmin University of China（中国人民大学）
针对微表情短暂复杂及现有方法忽视时间依赖或存在冗余的问题，提出ATM-GCN框架，通过自适应时间运动层聚合全局与局部运动特征，在Composite和CAS(ME)^3数据集上取得领先性能。
2024-06-13 cs.CV
